JP3321332B2

JP3321332B2 - 画像蓄積通信装置

Info

Publication number: JP3321332B2
Application number: JP8256995A
Authority: JP
Inventors: 信行江間; 慶一日比; 次郎仲林; 恒明岩野; 修中村; 洋二金田; 恒子倉; 孝大島
Original assignee: Nippon Telegraph and Telephone Corp; Sharp Corp
Current assignee: Nippon Telegraph and Telephone Corp; Sharp Corp
Priority date: 1995-04-07
Filing date: 1995-04-07
Publication date: 2002-09-03
Anticipated expiration: 2017-09-03
Also published as: JPH08279979A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像蓄積通信装置に関
し、より詳細には、通信回線に接続された端末装置との
間で、画像符号化データを集配信する画像情報通信シス
テムに使用される画像蓄積通信装置に関する。

【０００２】

【従来の技術】近年、ディジタル伝送路の整備，普及及
び画像処理技術の進歩に伴い、高速ディジタル信号処理
およびそのためのＬＳＩ技術の発展によって、ＩＳＤＮ
（Integrated Services Digital Network：サービス総
合ディジタル網）に代表されるような高速ディジタル通
信回線を利用した画像情報サービスの有効な利用法が期
待されている。画像情報通信サービスの代表的なものと
しては、テレビ電話サービスやテレビ会議サービス等が
現実のものとなっているが、最近の新しいサービスとし
て、ユーザがオーディオビジュアル端末（以下、端末装
置と称する）等を利用してホストセンタ等の蓄積（記
録）装置へアクセスし、画像情報等を任意に蓄積または
再生する画像情報のデータベースサービスが注目されて
いる。このシステムの一つとして、画像蓄積通信装置が
あり、ホストセンタ等から端末装置との画像情報の蓄積
および再生の制御を行うものである。

【０００３】図６は、前記画像情報データベースサービ
スを行うためのシステム構成を示す図で、図中、１〜ｎ
は端末装置、７はディジタル伝送網、１０は画像蓄積通
信装置で、図７に、図６に示した画像蓄積通信装置１０
の詳細を示す。画像蓄積通信装置１０は、図７に示すよ
うに、受信部１１，リフレッシュ画面検出部１２，転送
部１３，通信制御部１４，映像蓄積部１５，再生制御部
１６，送信部１７等の各部からなっており、受信部１１
と送信部１７はディジタル伝送網７と接続され、端末装
置１〜ｎとの通信を行う。前記画像蓄積通信装置１０
は、端末装置１〜ｎとの接続が前提とされているが、こ
れら端末装置の画像情報符号化は、ＩＴＵ−Ｔ（国際電
気通信連合）勧告に準拠して勧告Ｈ.２６１の方式に統
一することになっている。国内標準では、ＴＴＣ（電信
電話技術委員会）標準ＪＴ−Ｈ.２６１に準拠する。

【０００４】蓄積系の画像情報サービスでは、そのアプ
リケーションの性質から、蓄積データの早送り／早戻し
再生の機能が用意されていると便利である。しかし、勧
告Ｈ.２６１に従って符号化された映像データは、通
常、フレーム間符号化されているため、画像フレーム間
の差分情報で構成されている。これを蓄積して再生しよ
うとする場合、その先頭フレームのデータがフレーム間
符号化されていると、これを受信する端末装置側で画像
フレームとして復元できずにしばらくの間表示映像が乱
れることになる。そのため、先頭フレームのデータはフ
レーム間符号化（＝ＩＮＴＥＲ符号化）でなく、フレー
ム内符号化（＝ＩＮＴＲＡ符号化）されたデータを蓄積
する。また、勧告Ｈ.２６１では、符号化による誤差の
累積を抑制するために周期的リフレッシュが行われ、周
期的にフレーム内モードで動画像データの符号化が行わ
れる。このことを利用してフレーム内モードで符号化さ
れたフレームデータを先頭にしたデータ単位で蓄積し、
その蓄積データ単位の間隔で再生データを間引くこと
で、早送り／早戻し再生の実現が可能になる。

【０００５】このような、周期的リフレッシュを利用し
て早送り，早戻し再生を実現する画像蓄積通信装置に関
しては、特開平５−９１４９７号公報に記載されてい
る。この公報に記載のものは、早送りなどの制御を行っ
た場合でも、必ずフレーム内符号化したデータ、つまり
フレーム間符号化の最初のフレームデータからスタート
でき、映像データと音声データとの同期処理を保証する
ものである。

【０００６】

【発明が解決しようとする課題】しかしながら、周期的
リフレッシュの処理は端末装置側に依存し、端末装置に
よってフレーム内モードで符号化される時間が異なるた
め、画像蓄積通信装置側では早送り再生の速度を制御で
きないという欠点があった。図５（ａ）は、従来の画像
蓄積通信装置におけるリフレッシュ処理の一例を示す図
で、端末装置側で周期的リフレッシュの処理が行われた
時点でＡ０，Ｂ０，Ｃ０などのイントラモードの符号化
画像データが不定間隔で挿入される。そして、早送り再
生時には、…,Ａ０，Ｂ０，Ｃ０,…の順に、早戻し再生
時には、…,Ｃ０,Ｂ０，Ａ０,…の順で端末装置に符号
化画像データが転送されることになり、特殊再生の早送
り速度が一定せずサービスを行う上で望ましくない。本
発明は、このような実情に鑑みてなされたもので、端末
装置から受信した第１の画像符号化データの中の任意の
画像フレームの画像符号化データを、該第１の画像符号
化データを再符号化した第２の画像符号化データで置き
替えて蓄積することにより、該蓄積画像符号化データを
再生する相手端末の如何に関わらず、例えば、任意の速
度での早送り再生や早戻し再生などを行うことが可能な
画像蓄積通信装置を提供することを目的とするものであ
る。

【０００７】

【課題を解決するための手段】本発明は、上記課題を解
決するために、（１）通信回線に接続された端末装置と
の間で、画像符号化データを集配信する画像情報通信シ
ステムに使用される画像蓄積通信装置において、前記端
末装置より、第１の画像符号化データを、前記通信回線
を介して受信する受信部と、前記受信部で受信した前記
第１の画像符号化データを再符号化することにより、第
２の画像符号化データを作成するとともに、前記第１の
画像符号化データにおける任意の画像フレームの画像符
号化データを、該画像フレームに対応する前記第２の画
像符号化データで置き替えることにより、第３の画像符
号化データを生成する画像生成部と、前記画像生成部で
生成した前記第３の画像符号化データを蓄積する画像蓄
積部と、前記画像蓄積部に蓄積された画像符号化データ
を読み出す再生制御部と、前記再生制御部により読み出
された画像符号化データを前記通信回線を介して送信す
る送信部とを備えたこと、更には、（２）前記画像生成
部は、前記第1の画像符号化データを復元する画像復元
部と、前記画像復元部で復元された画像データを、フレ
ーム内符号化する再符号化部とを含むこと、或いは、
（３）前記画像生成部は、前記第1の画像符号化データ
を復元する画像復元部と、前記画像復元部で復元された
画像データを、静止画符号化する再符号化部とを含むこ
ととしたものである。

【０００８】

【作用】本発明の画像蓄積通信装置は、端末装置より受
信した前記第１の画像符号化データを再符号化すること
により、第２の画像符号化データを作成し、前記第１の
画像符号化データにおける任意の画像フレームの画像符
号化データを、該画像フレームに対応する前記第２の画
像符号化データで置き替えて、画像蓄積部に蓄積する。
再生の際には、再生制御部が前記画像蓄積部から任意の
間隔で画像符号化データを読み出して、送信部より送信
する。画像生成部では、受信部で受信した第1の画像符
号化データを逐次復元し、再度フレーム内符号化や静止
画符号化を行って、第２の画像符号化データを作成して
いる。而して、該蓄積画像符号化データを再生する相手
端末の如何に関わらず、例えば、任意の速度での早送り
再生や早戻し再生などを行うことを可能としている。

【０００９】

【実施例】図１は、本発明による映像蓄積通信装置（画
像蓄積通信装置）１０の一実施例を説明するための構成
図で、図中、２１は特殊画像生成部（以下、単に、画像
生成部と称する）、２２は蓄積制御部、２３は再生制御
部で、その他、図７に示した従来技術と同様の作用をす
る部分には、図７の場合と同一の参照番号が付してあ
る。図１に示した映像蓄積通信装置１０は、受信部１１
および送信部１７を介して通信回線と接続され、該通信
回線を介して複数の端末装置と画像符号化データの送受
信を行う。まず、受信部１１で画像符号化データ（第１
の画像符号化データと称する）を受信すると、通信制御
部１４の制御に従い、画像生成部２１および蓄積制御部
２２へ画像符号化データを送る。ここでの第１の画像符
号化データは、一般の画像データと同様に、動き補償フ
レーム間予測とフレーム内直交変換符号化を組み合わせ
た、ハイブリッド符号化方式で符号化されている従来技
術に記載したものと同様の画像符号化データである。

【００１０】画像生成部２１は、受信部１１で受信した
前記第１の画像符号化データを再符号化して、第２の画
像符号化データを作成するものであり、図２（ａ）に示
すように、Ｈ.２６１復号部２１ａおよびＨ.２６１イン
トラ符号化部２１ｂから構成され、Ｈ.２６１復号部２
１ａでは、受信部１１より入力された第１の画像符号化
データを復号化して逐次復号画像データとして復元す
る。ここでは、動き補償フレーム間予測復号、逆ＤＣＴ
（Discrete Cosine Transform：離散コサイン変換）等
の一般のＨ.２６１デコーダと同様な処理が行われる。
また、Ｈ.２６１イントラ符号化部２１ｂでは、Ｈ.２６
１復号部２１ａで復号化された前記復号画像データをＩ
ＴＵ勧告Ｈ.２６１に規定されているフレーム内符号化
モードのみを用いて符号化して、第２の画像符号化デー
タとして出力する。このため、Ｈ.２６１イントラ符号
化部２１ｂは、フレーム間予測符号化を行う必要がなく
なり、通常のＨ.２６１コーダにおける処理負荷の大部
分を占めると考えられる動き補償予測処理や、そのため
のフレームメモリが不要となり、静止画のコーダと同様
な、非常に簡単な処理とそのためのハードウェアとな
る。

【００１１】図２（ｂ）は、画像生成部２１の他の実施
例を示す構成図で、この例の場合、Ｈ.２６１復号化部
２１ａおよび静止画像符号化部２１ｃから構成され、
Ｈ.２６１復号化部２１ａでは、受信部１１より入力さ
れた第１の画像符号化データを復号化して、逐次復号画
像データとして復元する。ここでは、動き補償フレーム
間予測復号、逆ＤＣＴ（Discrete Cosine Transform：
離散コサイン変換）等の一般のＨ.２６１デコーダと同
様な処理が行われる。また、静止画像符号化部２１ｃで
は、Ｈ.２６１復号部２１ａで復号化された前記復号画
像データを、ＩＴＵ−Ｔ勧告Ｔ.８１などにある静止画
符号化アルゴリズムを用いて符号化して、第２の画像符
号化データとして出力する。このような構成にすると、
インター／イントラ符号化即ちフレーム間／フレーム内
符号化の場合に比べて１画像フレーム当たりの画像符号
化データ量は大きくなるが、動画像データの復号機能を
持たない端末装置や、画像蓄積通信装置に直接接続した
画像表示装置などでも、再生時に静止画のみを端末装置
または画像表示装置に転送を行うよう再生制御部２３を
制御することで簡易的な動画像データの再生が可能にな
る。このように、静止画像符号化などの符号化手段をも
つ静止画像符号化部２１ｃを使用することで、前述した
Ｈ.２６１イントラ符号化部２１ｂを使用する場合を含
めて、受信した第１の画像符号化データを再符号化する
ことにより、第２の画像符号化データとして様々な符号
化フォーマットに対応することが可能である。

【００１２】通信制御部１４は、蓄積制御部２２に蓄積
開始，蓄積終了，受信した受信フレーム映像情報即ち第
１の画像符号化データまたは再符号化した符号化映像情
報即ち第２の画像符号化データのどちらの蓄積を行うか
などの制御情報を指示する。蓄積制御部２２は、図３に
示すように、映像情報選択制御部２２ａ，選択スイッチ
２２ｂ，転送部２２ｃから構成され、通信制御部１４か
らの蓄積開始，蓄積終了，受信フレーム映像情報即ち第
１の画像符号化データの蓄積または符号化映像情報即ち
第２の画像符号化データの蓄積などの制御情報に従っ
て、受信部１１からの受信フレーム映像情報即ち第１の
画像符号化データと画像生成部２１からの符号化映像情
報即ち第２の画像符号化データを選択して選択スイッチ
２２ｂを切り換え、蓄積画像情報としてイントラ／イン
ターモード（即ち、フレーム内符号化／フレーム間符号
化モード）などの符号化画像情報を付与して、蓄積画像
符号化データとして映像蓄積部（画像蓄積部）１５に転
送する。

【００１３】図４は、本発明による画像情報蓄積制御装
置の動作を説明するためのフローチャートで、いま、受
信部１１に端末装置からの画像符号化データ（第１の画
像符号化データ）が受信されると（step１）、前記第１
の画像符号化データは、画像生成部２１および蓄積制御
部２２に転送される。画像生成部２１に転送された前記
第１の画像符号化データは、前記Ｈ.２６１復号化部２
１ａで復号化され（step２）、復元画像データとしてフ
レームメモリに保存される。その後、前記Ｈ.２６１復
号化部２１ａの前記フレームメモリから前記復元画像デ
ータが読み出され、前記Ｈ.２６１イントラ符号化部２
１ｂでイントラ符号化（あるいは、図４に図示していな
いが、静止画像符号化部２１ｃで静止画像符号化）が行
われ、第２の画像符号化データが作成される（step
３）。前記Ｈ.２６１イントラ符号化部２１ｂから出力
されたイントラ符号化モード（あるいは、静止画像符号
化部２１ｃから出力された静止画像符号化モード）の第
２の画像符号化データは、蓄積制御部２２に転送され
る。

【００１４】蓄積制御部２２では、通信制御部１４から
の指示に従い、イントラ符号化モード（あるいは、静止
画像符号化モード）の第２の画像符号化データ（画像生
成部２１からの出力データ）または受信部１１で受信し
ていた第１の画像符号化データ（受信部１１からの出力
データであり、インター／イントラ符号化モードいずれ
かの符号化画像データ）のどちらを映像蓄積部１５へ転
送するかを判断する（step４）。通信制御部１４からイ
ントラ符号化モード（あるいは、静止画符号化モード）
の第２の画像符号化データを蓄積するよう指示されてい
た場合には、蓄積する画像符号化データにイントラ符号
化モード（あるいは、静止画符号化モード）で符号化さ
れた画像符号化データであることを示す蓄積画像情報を
付与し、また、前記通信制御部１４から受信部１１で受
信した画像符号化データがインター符号化モードであっ
た場合の第１の画像符号化データを蓄積するよう指示さ
れていた場合には、蓄積する画像符号化データにインタ
ー符号化モードで符号化された画像符号化データである
ことを示す蓄積画像情報を付与し、前記転送部２２ｃを
介して映像蓄積部（画像蓄積部）１５へ転送される（st
ep５）。

【００１５】なお、前記通信制御部１４は、前記蓄積制
御部２２に対して、蓄積を行わない場合には非蓄積を指
示し、インター符号化モードでの第１の画像符号化デー
タの蓄積を行う場合には、インター符号化モードでの蓄
積指示をし、イントラ符号化モード（あるいは、静止画
符号化モード）での第２の画像符号化データの蓄積を行
う場合には、イントラ符号化モード（あるいは、静止画
符号化モード）での蓄積指示をし、また、用途に応じて
任意の間隔でイントラ符号化モードまたはインター符号
化モードでの画像符号化データの蓄積指示を行う。即
ち、受信した第１の画像符号化データをそのまま蓄積す
る代わりに、該第１の画像符号化データを画像生成部２
１によりイントラ符号化モード（あるいは、静止画符号
化モード）で再符号化した第２の画像符号化データを用
いて、前記第１の画像符号化データの任意の画像フレー
ムを、該画像フレームに対応する前記第２の画像符号化
データにより置き替えて、蓄積対象の第３の画像符号化
データとして生成して、該第３の画像符号化データを、
前記転送部２２ｃを介して映像蓄積部（画像蓄積部）１
５へ転送することが可能である。

【００１６】図５（ｂ）は、前記映像蓄積通信装置１０
を用いて端末装置からの第１の画像符号化データを映像
蓄積部（画像蓄積部）１５に蓄積した場合の例を示して
おり、説明を簡明にするため端末装置から送信されてく
る第１の画像符号化データのフレームレート（１秒間に
通信される画像フレーム数）が一定である場合を例にあ
げている。而して、図５（ｂ）では、前記蓄積処理によ
り、画像生成部２１で作成された第２の画像符号化デー
タであるイントラ符号化モード（即ち、フレーム内符号
化モード）の画像符号化データで第１の画像符号化デー
タを置換した前記第３の画像符号化データが適宜挿入さ
れ、例えば、イントラ符号化モードの第３の画像符号化
データが一定のフレーム間隔で挿入されることになる。
Ａ０，Ｂ０，Ｃ０，Ｄ０がイントラ符号化モードの画像
符号化データを、Ａ１〜Ａ２，Ｂ１〜Ｂ２，Ｃ１〜Ｃ
２，Ｄ１はインター符号化モードの画像符号化データを
示しており、例では、３画像フレームに１画像フレーム
の間隔でイントラ符号化モードの画像符号化データが挿
入されている。

【００１７】蓄積画像符号化データの再生時には、通信
制御部１４は映像蓄積部（画像蓄積部）１５に蓄積画像
符号化データの読み出しを指示する。また、通信制御部
１４は、再生制御部２３に対して、例えば、通常再生，
早送り再生，早戻し再生を行うための再生制御情報（再
生する蓄積画像符号化データ，時間軸に対する方向，飛
ばし再生のためのフレーム数・時間）を指示する。再生
制御部２３は、通信制御部１４からの前記再生制御情報
に従い、映像蓄積部（画像蓄積部）１５から蓄積画像符
号化データを読み出し、送信部１７に転送する。送信部
１７は、再生制御部２３から受信した蓄積画像符号化デ
ータを端末装置に転送する。

【００１８】次に、図５（ｂ）を用いて、通常再生，早
送り再生，早戻し再生時に端末装置に転送する蓄積画像
符号化データについて説明する。通常再生時には、イン
トラ符号化画像符号化データとフレーム間予測動き補償
符号化を用いたインター符号化画像符号化データの転送
が可能なため、…，Ａ０，Ａ１，Ａ２，Ｂ０，Ｂ１，Ｂ
２，Ｃ０，Ｃ１，Ｃ２，Ｄ０，Ｄ１，…の順で端末装置
に画像符号化データが転送される。早送り再生時には、
フレーム間予測動き補償符号化を用いたインター符号化
画像符号化データの転送を行うと、端末装置で予測補償
が正常に行えないため、イントラ符号化画像符号化デー
タのみの転送しか行えず、…，Ａ０，Ｂ０，Ｃ０，Ｄ
０，…や、…，Ａ０，Ｃ０，…などの順で端末装置に画
像符号化データが転送される。また、早戻し再生時に
は、早送り再生時と同様にイントラ符号化画像符号化デ
ータのみの転送しか行えないため、…，Ｄ０，Ｃ０，Ｂ
０，Ａ０，…や、…，Ｄ０，Ｂ０，…などの順で端末装
置に画像符号化データが転送される。

【００１９】以上、本発明の実施例によれば、端末装置
より受信した第１の画像符号化データに、任意の間隔で
イントラ符号化モードの第２の画像符号化データを第３
の画像符号化データとして挿入することが可能となり、
飛ばし再生を行う際には、蓄積時に任意の間隔で挿入さ
れたイントラ符号化画像符号化データを選択し、端末装
置に転送することが可能となる。

【００２０】

【発明の効果】以上の説明から明らかなように、本発明
の画像蓄積通信装置は、受信した第１の画像符号化デー
タを再度フレーム内符号化や静止画符号化を用いて再符
号化することにより、第２の画像符号化データを作成
し、前記第１の画像符号化データにおける任意の画像フ
レームの画像符号化データを、該画像フレームに対応す
る前記第２の画像符号化データで置き替えて、画像蓄積
部に蓄積するため、再生の際には、再生制御部が前記画
像蓄積部から読み出す間引きフレームの間隔の制御を行
い易くすることができ、例えば、任意の速度での早送り
再生や早戻し再生などを行うことが可能となる。

【図面の簡単な説明】

【図１】本発明による画像蓄積通信装置の一実施例を説
明するための全体構成図である。

【図２】それぞれ図１における特殊画像生成部の実施例
を示す構成図である。

【図３】図１における蓄積制御部の一実施例の構成図で
ある。

【図４】図１における画像蓄積制御装置の動作を説明す
るための画像データのフローチャートである。

【図５】従来の画像蓄積通信装置を用いた場合の蓄積画
像フレームの説明図（図５（ａ））及び本発明による画
像蓄積通信装置を用いた場合の蓄積画像フレームの説明
図（図５（ｂ））である。

【図６】本発明が適用される画像通信システムの構成図
である。

【図７】従来の画像蓄積通信装置の一例を説明するため
の構成図である。

【符号の説明】

１〜ｎ…端末装置、７…ディジタル伝送網、１０…映像
蓄積通信装置（画像蓄積通信装置）、１１…受信部、１
２…リフレッシュ画面検出部、１３…転送部、１４…通
信制御部、１５…映像蓄積部（画像蓄積部）、１６…再
生制御部、１７…送信部、２１…特殊画像生成部（画像
生成部）、２１ａ…Ｈ.２６１復号化部、２１ｂ…Ｈ.２
６１イントラ符号化部、２１ｃ…静止画像符号化部、２
２…蓄積制御部、２２ａ…映像情報選択制御部、２２ｂ
…選択スイッチ、２２ｃ…転送部、２３…再生制御部。

───────────────────────────────────────────────────── フロントページの続き (72)発明者仲林次郎大阪府大阪市阿倍野区長池町22番22号シャープ株式会社内 (72)発明者岩野恒明大阪府大阪市阿倍野区長池町22番22号シャープ株式会社内 (72)発明者中村修東京都千代田区内幸町１丁目１番６号日本電信電話株式会社内 (72)発明者金田洋二東京都千代田区内幸町１丁目１番６号日本電信電話株式会社内 (72)発明者倉恒子東京都千代田区内幸町１丁目１番６号日本電信電話株式会社内 (72)発明者大島孝東京都千代田区内幸町１丁目１番６号日本電信電話株式会社内 (56)参考文献特開平５−216800（ＪＰ，Ａ) 特開平５−276193（ＪＰ，Ａ) 特開平５−91497（ＪＰ，Ａ) 特開昭64−36179（ＪＰ，Ａ) 特開平８−251582（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68 H04N 5/76 - 5/956 H04N 7/10 H04N 7/14 - 7/173

Claims

(57)【特許請求の範囲】

【請求項１】通信回線に接続された端末装置との間
で、画像符号化データを集配信する画像情報通信システ
ムに使用される画像蓄積通信装置において、前記端末装
置より、第１の画像符号化データを、前記通信回線を介
して受信する受信部と、前記受信部で受信した前記第１
の画像符号化データを再符号化することにより、第２の
画像符号化データを作成するとともに、前記第１の画像
符号化データにおける任意の画像フレームの画像符号化
データを、該画像フレームに対応する前記第２の画像符
号化データで置き替えることにより、第３の画像符号化
データを生成する画像生成部と、前記画像生成部で生成
した前記第３の画像符号化データを蓄積する画像蓄積部
と、前記画像蓄積部に蓄積された画像符号化データを読
み出す再生制御部と、前記再生制御部により読み出され
た画像符号化データを前記通信回線を介して送信する送
信部とを備えたことを特徴とする画像蓄積通信装置。
【請求項２】前記画像生成部は、前記第１の画像符号
化データを復元する画像復元部と、前記画像復元部で復
元された画像データを、フレーム内符号化する再符号化
部とを含むことを特徴とする請求項１記載の画像蓄積通
信装置。
【請求項３】前記画像生成部は、前記第１の画像符号
化データを復元する画像復元部と、前記画像復元部で復
元された画像データを、静止画符号化する再符号化部と
を含むことを特徴とする請求項１記載の画像蓄積通信装
置。