JPH1023372A - 動画像データ再生方法および再生システム - Google Patents
動画像データ再生方法および再生システムInfo
- Publication number
- JPH1023372A JPH1023372A JP17489796A JP17489796A JPH1023372A JP H1023372 A JPH1023372 A JP H1023372A JP 17489796 A JP17489796 A JP 17489796A JP 17489796 A JP17489796 A JP 17489796A JP H1023372 A JPH1023372 A JP H1023372A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- image data
- reproduction
- data
- jump
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 32
- 230000005540 biological transmission Effects 0.000 claims description 24
- 238000004891 communication Methods 0.000 abstract description 27
- 230000004044 response Effects 0.000 abstract description 24
- 230000009191 jumping Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 57
- 238000001514 detection method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N5/926—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
- G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N5/926—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation
- H04N5/9261—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation involving data reduction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
(57)【要約】
【課題】 マルチメディア通信における動画像再生で、
任意の動画像に飛び越して再生を行うとき、これを高速
化して操作レスポンスを向上させる動画像データ再生方
法および動画像データ再生システムを実現する。 【解決手段】 アプリケーション機能部３２からマルチ
メディアサーバ機能部３３に対して飛び先再生データ要
求４１が出される。マルチメディアサーバ機能部３３か
ら応答４２を受けたアプリケーション機能部３２では、
デバイスドライバ機能部３１に対してデータの再生指示
４３を行う。デバイスドライバ機能部３１はこれを受け
てマルチメディアデータ処理部２１に対して、イニシャ
ライズ処理４４を行う。そして、再生指示完了応答４５
をアプリケーション機能部３２に返す。これまでの時間
ｔ1 よりも長い時間ｔ2 が経過すると、マルチメディア
サーバ機能部３３から飛び先データが送信され、動画像
が再生される。制御階層での制御が省略され、動画像再
生までの高速化が図られている。
任意の動画像に飛び越して再生を行うとき、これを高速
化して操作レスポンスを向上させる動画像データ再生方
法および動画像データ再生システムを実現する。 【解決手段】 アプリケーション機能部３２からマルチ
メディアサーバ機能部３３に対して飛び先再生データ要
求４１が出される。マルチメディアサーバ機能部３３か
ら応答４２を受けたアプリケーション機能部３２では、
デバイスドライバ機能部３１に対してデータの再生指示
４３を行う。デバイスドライバ機能部３１はこれを受け
てマルチメディアデータ処理部２１に対して、イニシャ
ライズ処理４４を行う。そして、再生指示完了応答４５
をアプリケーション機能部３２に返す。これまでの時間
ｔ1 よりも長い時間ｔ2 が経過すると、マルチメディア
サーバ機能部３３から飛び先データが送信され、動画像
が再生される。制御階層での制御が省略され、動画像再
生までの高速化が図られている。
Description
【０００１】
【発明の属する技術分野】本発明は例えばマルチメディ
ア通信で重要とされる圧縮された動画像データの再生に
好適な動画像データ再生方法および動画像データ再生シ
ステムに関する。
ア通信で重要とされる圧縮された動画像データの再生に
好適な動画像データ再生方法および動画像データ再生シ
ステムに関する。
【０００２】
【従来の技術】通信技術の発展や通信データを処理する
コンピュータ等の機器の処理速度の向上およびこれらの
機器の普及によって、従来の音声や文字情報中心の通信
から画像通信を含めたマルチメディア通信が盛んに行わ
れるようになってきている。このようなマルチメディア
通信では、処理するデータ量が多いので、通信端末が再
生処理をいかに効率良く、かつスムーズに行うかによっ
て同一の通信データでも処理時間が大きく左右されるこ
とになる。
コンピュータ等の機器の処理速度の向上およびこれらの
機器の普及によって、従来の音声や文字情報中心の通信
から画像通信を含めたマルチメディア通信が盛んに行わ
れるようになってきている。このようなマルチメディア
通信では、処理するデータ量が多いので、通信端末が再
生処理をいかに効率良く、かつスムーズに行うかによっ
て同一の通信データでも処理時間が大きく左右されるこ
とになる。
【０００３】そこで、特開平７−１１５６３０号公報に
記載の技術では、通信回線を介して自端末と相手端末が
接続された時点で行われる能力仕様の送信に要する時間
の短縮を図っている。すなわち、この技術では相手端末
との通信開始時におけるネゴシエーションにおいて、従
来行われていたように自端末の有するすべての能力仕様
を通信するのではなく、自端末で予め設定した通信モー
ドのみに対応した能力仕様を相手端末に送信するように
して、能力仕様の送信に要する時間を短縮している。ま
た、相手端末についての認識回路とその端末能力を記憶
する記憶回路を持つことによって、２度目以降にその相
手端末との間で行われるネゴシエーションでは、前回の
記録を読み出すことで再ネゴシエーションに要する時間
を短縮している。
記載の技術では、通信回線を介して自端末と相手端末が
接続された時点で行われる能力仕様の送信に要する時間
の短縮を図っている。すなわち、この技術では相手端末
との通信開始時におけるネゴシエーションにおいて、従
来行われていたように自端末の有するすべての能力仕様
を通信するのではなく、自端末で予め設定した通信モー
ドのみに対応した能力仕様を相手端末に送信するように
して、能力仕様の送信に要する時間を短縮している。ま
た、相手端末についての認識回路とその端末能力を記憶
する記憶回路を持つことによって、２度目以降にその相
手端末との間で行われるネゴシエーションでは、前回の
記録を読み出すことで再ネゴシエーションに要する時間
を短縮している。
【０００４】また、特開平４−１８０４８９号公報に
は、テレビ電話のモニタ画面に画像を表示する技術が開
示されている。この技術では、通信開始時に画像伝送の
頻度が低いことに着目し、必要な画像信号をこの時点で
先に伝送してそれぞれのメモリ領域に記憶するようにし
ている。したがって、画像の表示を行うときにはこれら
の画像信号については格納されているメモリ領域の指示
情報のみを伝送すればよく、見掛け上の画像伝送時間を
短縮することができる。
は、テレビ電話のモニタ画面に画像を表示する技術が開
示されている。この技術では、通信開始時に画像伝送の
頻度が低いことに着目し、必要な画像信号をこの時点で
先に伝送してそれぞれのメモリ領域に記憶するようにし
ている。したがって、画像の表示を行うときにはこれら
の画像信号については格納されているメモリ領域の指示
情報のみを伝送すればよく、見掛け上の画像伝送時間を
短縮することができる。
【０００５】更に特開昭６３−２８８５５６号公報に
は、電話網を用いて画像情報を送受する画像通信方法が
開示されている。この方法では、送信側の装置が、送信
要求操作に基づいて特定のＤＴＭＦ信号等からなる伝送
開始信号を一定時間送信した後に高速モデムを用いた画
像情報の送信を開始するようにしている。受信側の装置
では、この伝送開始信号を規定時間以上受信したときに
のみ高速モデムを使用した画像情報の受信を開始する。
したがって、従来のファクシミリ通信等と比較すると、
伝送手順が大幅に簡略化されることになり、特に画像情
報の量が少ないときに効率の良い通信を行うことができ
る。
は、電話網を用いて画像情報を送受する画像通信方法が
開示されている。この方法では、送信側の装置が、送信
要求操作に基づいて特定のＤＴＭＦ信号等からなる伝送
開始信号を一定時間送信した後に高速モデムを用いた画
像情報の送信を開始するようにしている。受信側の装置
では、この伝送開始信号を規定時間以上受信したときに
のみ高速モデムを使用した画像情報の受信を開始する。
したがって、従来のファクシミリ通信等と比較すると、
伝送手順が大幅に簡略化されることになり、特に画像情
報の量が少ないときに効率の良い通信を行うことができ
る。
【０００６】
【発明が解決しようとする課題】しかしながら、従来の
このような画像データ再生に係わる技術では、動画再生
時に、ある任意の動画像にまで飛び越してその再生画像
を見ようとすると、この操作開始からその動画の再生が
行われるまでにある程度の時間がかかってしまい、再生
処理がスムーズに行われないという問題があった。これ
は、動画像データを再生する受信側と動画像データを送
信する送信側との間に制御階層があり、階層間でコマン
ド制御を行っているためにこの制御に時間を要すること
によるものである。
このような画像データ再生に係わる技術では、動画再生
時に、ある任意の動画像にまで飛び越してその再生画像
を見ようとすると、この操作開始からその動画の再生が
行われるまでにある程度の時間がかかってしまい、再生
処理がスムーズに行われないという問題があった。これ
は、動画像データを再生する受信側と動画像データを送
信する送信側との間に制御階層があり、階層間でコマン
ド制御を行っているためにこの制御に時間を要すること
によるものである。
【０００７】そこで本発明の目的は、マルチメディア通
信における動画像再生で、任意の動画像に飛び越して再
生を行うとき、これを高速化して操作レスポンスを向上
させることのできる動画像データ再生方法および動画像
データ再生システムを提供することにある。
信における動画像再生で、任意の動画像に飛び越して再
生を行うとき、これを高速化して操作レスポンスを向上
させることのできる動画像データ再生方法および動画像
データ再生システムを提供することにある。
【０００８】
【課題を解決するための手段】請求項１記載の発明によ
る動画像データ再生方法では、動画再生状態で動画の飛
び先再生が指示されたとき、飛び先再生の指示された圧
縮された動画像データを準備し、圧縮された動画像デー
タの送信先からこの圧縮された動画像データを受信する
受信側へその間の制御階層での制御を省略して、その飛
び先再生の指示のあった時間から所定時間経過後にその
送信を開始させ、これを再生中の動画像データに代えて
受信側で再生させることを特徴としている。
る動画像データ再生方法では、動画再生状態で動画の飛
び先再生が指示されたとき、飛び先再生の指示された圧
縮された動画像データを準備し、圧縮された動画像デー
タの送信先からこの圧縮された動画像データを受信する
受信側へその間の制御階層での制御を省略して、その飛
び先再生の指示のあった時間から所定時間経過後にその
送信を開始させ、これを再生中の動画像データに代えて
受信側で再生させることを特徴としている。
【０００９】すなわち請求項１記載の発明では、飛び先
再生の指示された圧縮された動画像データを、飛び先再
生の指示のあった時間から所定時間経過後に受信側へ送
信することにして、その間の制御階層での制御を省略
し、再生までの高速化を図っている。
再生の指示された圧縮された動画像データを、飛び先再
生の指示のあった時間から所定時間経過後に受信側へ送
信することにして、その間の制御階層での制御を省略
し、再生までの高速化を図っている。
【００１０】請求項２記載の発明では、請求項１記載の
動画像データ再生方法で飛び先再生を行う動画像データ
への切り替え時に、この飛び先再生前に送られてくる現
在再生中の残った動画像データの受信を一定の間無効に
することを特徴としている。新しい飛び先データが来る
までのデータは、途中で打ち切られた中途半端なデータ
として受信される可能性が高いので、これにより、この
ようなデータが入力されるのを防止することができる。
動画像データ再生方法で飛び先再生を行う動画像データ
への切り替え時に、この飛び先再生前に送られてくる現
在再生中の残った動画像データの受信を一定の間無効に
することを特徴としている。新しい飛び先データが来る
までのデータは、途中で打ち切られた中途半端なデータ
として受信される可能性が高いので、これにより、この
ようなデータが入力されるのを防止することができる。
【００１１】請求項３記載の発明では、（イ）圧縮され
た動画像データを再生する動画像データ再生手段と、
（ロ）圧縮された動画像データを蓄積し所望のものをこ
の動画像データ再生手段に送信する動画像データ送信手
段と、（ハ）動画像データ再生手段で再生中の動画像デ
ータの飛び先再生を指示する飛び先再生指示手段と、
（ニ）この飛び先再生指示手段が飛び先再生を指示した
とき動画像データ再生手段で現在再生中の動画像データ
の画面を固定させる画面固定手段と、（ホ）飛び先再生
指示手段が飛び先再生を指示したとき動画像データ送信
手段から送られてくる飛び先再生による動画像データの
再生開始タイミングを検出する再生開始タイミング検出
手段と、（ヘ）飛び先再生指示手段が飛び先再生を指示
したとき動画像データ送信手段から送られてくる飛び先
再生前の動画像データの受け付けを所定時間拒否する現
動画像データ受付拒否手段と、（ト）再生開始タイミン
グ検出手段が検出した再生タイミングに再生中の動画像
データに代えて飛び先再生を指示された動画像データの
再生を開始する動画像データ再生切替手段とをプリント
データ展開装置に具備させる。
た動画像データを再生する動画像データ再生手段と、
（ロ）圧縮された動画像データを蓄積し所望のものをこ
の動画像データ再生手段に送信する動画像データ送信手
段と、（ハ）動画像データ再生手段で再生中の動画像デ
ータの飛び先再生を指示する飛び先再生指示手段と、
（ニ）この飛び先再生指示手段が飛び先再生を指示した
とき動画像データ再生手段で現在再生中の動画像データ
の画面を固定させる画面固定手段と、（ホ）飛び先再生
指示手段が飛び先再生を指示したとき動画像データ送信
手段から送られてくる飛び先再生による動画像データの
再生開始タイミングを検出する再生開始タイミング検出
手段と、（ヘ）飛び先再生指示手段が飛び先再生を指示
したとき動画像データ送信手段から送られてくる飛び先
再生前の動画像データの受け付けを所定時間拒否する現
動画像データ受付拒否手段と、（ト）再生開始タイミン
グ検出手段が検出した再生タイミングに再生中の動画像
データに代えて飛び先再生を指示された動画像データの
再生を開始する動画像データ再生切替手段とをプリント
データ展開装置に具備させる。
【００１２】すなわち請求項３記載の発明では、飛び先
再生指示手段が飛び先再生を指示したとき画面固定手段
で現在再生中の動画像データの画面を固定させると共
に、飛び先再生指示手段が飛び先再生を指示したとき動
画像データ送信手段から送られてくる飛び先再生による
動画像データの再生開始タイミングを再生開始タイミン
グ検出手段によって検出し、飛び先再生指示手段が飛び
先再生を指示したとき動画像データ送信手段から送られ
てくる飛び先再生前の動画像データの受け付けを所定時
間拒否する一方、再生開始タイミング検出手段が検出し
た再生タイミングに再生中の動画像データに代えて飛び
先再生を指示された動画像データの再生を開始するよう
にしている。これにより、再生までの時間を高速化して
操作レスポンスを向上させることができる。
再生指示手段が飛び先再生を指示したとき画面固定手段
で現在再生中の動画像データの画面を固定させると共
に、飛び先再生指示手段が飛び先再生を指示したとき動
画像データ送信手段から送られてくる飛び先再生による
動画像データの再生開始タイミングを再生開始タイミン
グ検出手段によって検出し、飛び先再生指示手段が飛び
先再生を指示したとき動画像データ送信手段から送られ
てくる飛び先再生前の動画像データの受け付けを所定時
間拒否する一方、再生開始タイミング検出手段が検出し
た再生タイミングに再生中の動画像データに代えて飛び
先再生を指示された動画像データの再生を開始するよう
にしている。これにより、再生までの時間を高速化して
操作レスポンスを向上させることができる。
【００１３】請求項４記載の発明では、請求項３記載の
動画像データ再生システムで、再生中の動画像データの
飛び先再生を飛び先再生指示手段が動画像データ送信手
段に指示してから動画像データ送信手段がこれに対して
応答し動画像データ再生手段が再生中の動画像データを
飛び先再生の指示された動画像データの再生に切り替え
るためのイニシャライズ処理を行い再生指示の終了を応
答するまでの時間と、再生中の動画像データの飛び先再
生を飛び先再生指示手段が動画像データ送信手段に指示
してから動画像データ送信手段が指示された飛び先の動
画像データの送信を開始するまでの時間を比較し、後者
が前者よりも長くなるように飛び先の動画像データの送
信を開始するタイミングを調整するタイミング調整手段
を具備することを特徴としている。これは飛び先データ
の再生が一部不可能になる等の影響を無くすためであ
る。
動画像データ再生システムで、再生中の動画像データの
飛び先再生を飛び先再生指示手段が動画像データ送信手
段に指示してから動画像データ送信手段がこれに対して
応答し動画像データ再生手段が再生中の動画像データを
飛び先再生の指示された動画像データの再生に切り替え
るためのイニシャライズ処理を行い再生指示の終了を応
答するまでの時間と、再生中の動画像データの飛び先再
生を飛び先再生指示手段が動画像データ送信手段に指示
してから動画像データ送信手段が指示された飛び先の動
画像データの送信を開始するまでの時間を比較し、後者
が前者よりも長くなるように飛び先の動画像データの送
信を開始するタイミングを調整するタイミング調整手段
を具備することを特徴としている。これは飛び先データ
の再生が一部不可能になる等の影響を無くすためであ
る。
【００１４】請求項５記載の発明では、請求項３記載の
動画像データ再生システムが飛び先再生の指示された動
画像データの画像と音声の同期をとる画像・音声同期手
段を具備することを特徴としている。それまで再生され
た画像のデータから飛び先画像データに変わるとき、時
間的な連続性が崩れるので、新たに飛び先画像データか
ら画像と音声の同期をとるようにしている。
動画像データ再生システムが飛び先再生の指示された動
画像データの画像と音声の同期をとる画像・音声同期手
段を具備することを特徴としている。それまで再生され
た画像のデータから飛び先画像データに変わるとき、時
間的な連続性が崩れるので、新たに飛び先画像データか
ら画像と音声の同期をとるようにしている。
【００１５】
【００１６】まず、本発明の実施例を説明する前に本発
明の概念を説明する。
明の概念を説明する。
【００１７】図１は本発明の動画像データ再生システム
の原理的な構成を表わしたものである。この動画像デー
タ再生システムは、動画像データを蓄積し、検索し、通
信制御を行うマルチメディアサーバ１１を有している。
マルチメディア端末１２は、マルチメディアサーバ１１
との間でデータの制御を行い、動画像データの再生処理
を行うようになっている。マルチメディア端末１２に
は、入出力装置として外部出力装置１３および外部入力
装置１４が接続されている。
の原理的な構成を表わしたものである。この動画像デー
タ再生システムは、動画像データを蓄積し、検索し、通
信制御を行うマルチメディアサーバ１１を有している。
マルチメディア端末１２は、マルチメディアサーバ１１
との間でデータの制御を行い、動画像データの再生処理
を行うようになっている。マルチメディア端末１２に
は、入出力装置として外部出力装置１３および外部入力
装置１４が接続されている。
【００１８】マルチメディア端末１２は、マルチメディ
アサーバ１１からのデータの入力経路としての回線処理
部１６と通信処理部１７を備えている。これらは、制御
の中枢となる中央制御部１８と、外部入力装置１４から
の入力処理を行う入出力制御部１９およびデータ処理を
行うマルチメディアデータ処理部２１と共にバス２２と
接続されている。マルチメディアデータ処理部２１は、
回線処理部１６から受け取った圧縮された動画像データ
を入力するシステム処理部２３を備えている。システム
処理部２３は、圧縮された動画像データを解析すると共
に、データの個別情報が入ったデータ部分と再生される
動画像のみのデータ部分とに分離するようになってい
る。後者の動画像のみのデータ部分が記憶手段２４に一
時的に格納され、読み出されたデータは再生処理部２５
に入力される。再生処理部２５では入力されたデータが
再生されて、目で見ることのできる形のデータとなる。
このデータは出力処理部２６に入力され、外部出力装置
１３に適したデータ変換が行われる。このデータ変換後
のデータは外部出力装置１３に入力され、再生動画像が
出力されることになる。以上の動画像についての処理
は、外部入力装置１４からの入力操作に基づいて行われ
る。外部入力装置１４から入力操作が行われると、その
操作情報が中央制御部１８に伝えられ、所望の制御が行
われることになる。
アサーバ１１からのデータの入力経路としての回線処理
部１６と通信処理部１７を備えている。これらは、制御
の中枢となる中央制御部１８と、外部入力装置１４から
の入力処理を行う入出力制御部１９およびデータ処理を
行うマルチメディアデータ処理部２１と共にバス２２と
接続されている。マルチメディアデータ処理部２１は、
回線処理部１６から受け取った圧縮された動画像データ
を入力するシステム処理部２３を備えている。システム
処理部２３は、圧縮された動画像データを解析すると共
に、データの個別情報が入ったデータ部分と再生される
動画像のみのデータ部分とに分離するようになってい
る。後者の動画像のみのデータ部分が記憶手段２４に一
時的に格納され、読み出されたデータは再生処理部２５
に入力される。再生処理部２５では入力されたデータが
再生されて、目で見ることのできる形のデータとなる。
このデータは出力処理部２６に入力され、外部出力装置
１３に適したデータ変換が行われる。このデータ変換後
のデータは外部出力装置１３に入力され、再生動画像が
出力されることになる。以上の動画像についての処理
は、外部入力装置１４からの入力操作に基づいて行われ
る。外部入力装置１４から入力操作が行われると、その
操作情報が中央制御部１８に伝えられ、所望の制御が行
われることになる。
【００１９】図２は、このような構成の動画像データ再
生システムにおける制御階層間の制御の流れを表わして
いる。図１と共にこれを説明する。この動画像データ再
生システムは、マルチメディアデータ処理部２１の他に
ソフトウェアにより実現させるべき機能部分として、デ
バイスドライバ機能部３１と、アプリケーション機能部
３２とマルチメディアサーバ機能部３３の３つの機能部
が存在する。ここでマルチメディアサーバ機能部３３で
は、マルチメディアサーバ１１から圧縮された動画像デ
ータを検索し、またアプリケーション機能部３２との間
での通信制御を行う。アプリケーション機能部３２は、
マルチメディアデータ処理部２１におけるマルチメディ
アサーバ１１との通信制御と、デバイスドライバ機能部
３１とのデータ制御を行う。デバイスドライバ機能部３
１は、マルチメディアデータ処理部２１の制御と、アプ
リケーション機能部３２とのコマンドの制御を行う。
生システムにおける制御階層間の制御の流れを表わして
いる。図１と共にこれを説明する。この動画像データ再
生システムは、マルチメディアデータ処理部２１の他に
ソフトウェアにより実現させるべき機能部分として、デ
バイスドライバ機能部３１と、アプリケーション機能部
３２とマルチメディアサーバ機能部３３の３つの機能部
が存在する。ここでマルチメディアサーバ機能部３３で
は、マルチメディアサーバ１１から圧縮された動画像デ
ータを検索し、またアプリケーション機能部３２との間
での通信制御を行う。アプリケーション機能部３２は、
マルチメディアデータ処理部２１におけるマルチメディ
アサーバ１１との通信制御と、デバイスドライバ機能部
３１とのデータ制御を行う。デバイスドライバ機能部３
１は、マルチメディアデータ処理部２１の制御と、アプ
リケーション機能部３２とのコマンドの制御を行う。
【００２０】さて、マルチメディア端末１２が動画像デ
ータの再生状態にあるとする。この状態で外部入力装置
１４から、見たい再生時間画像に飛んで再生するための
トリック再生要求が入力されたとする。これにより、ア
プリケーション機能部３２からマルチメディアサーバ機
能部３３に対して飛び先再生データ要求４１が出され
る。マルチメディアサーバ機能部３３では、この飛び先
再生データ要求４１を受け取ると、すぐにアプリケーシ
ョン機能部３２に応答４２を返す。
ータの再生状態にあるとする。この状態で外部入力装置
１４から、見たい再生時間画像に飛んで再生するための
トリック再生要求が入力されたとする。これにより、ア
プリケーション機能部３２からマルチメディアサーバ機
能部３３に対して飛び先再生データ要求４１が出され
る。マルチメディアサーバ機能部３３では、この飛び先
再生データ要求４１を受け取ると、すぐにアプリケーシ
ョン機能部３２に応答４２を返す。
【００２１】これと同時に、今までマルチメディアサー
バ１１からマルチメディア端末１２に対して送信してい
た動画像データの送信が、再生処理部２５での再生に影
響を与えにくい極小のデータ単位で停止される。マルチ
メディアサーバ機能部３３は、飛び先再生データをマル
チメディアサーバ１１から検索し、その転送準備を行
う。
バ１１からマルチメディア端末１２に対して送信してい
た動画像データの送信が、再生処理部２５での再生に影
響を与えにくい極小のデータ単位で停止される。マルチ
メディアサーバ機能部３３は、飛び先再生データをマル
チメディアサーバ１１から検索し、その転送準備を行
う。
【００２２】マルチメディアサーバ機能部３３から応答
４２を受けたアプリケーション機能部３２では、デバイ
スドライバ機能部３１に対してデータの再生指示４３を
行う。デバイスドライバ機能部３１はこれを受けてマル
チメディアデータ処理部２１に対して、次に説明するイ
ニシャライズ処理４４を行う。そして、再生指示完了応
答４５をアプリケーション機能部３２に返す。
４２を受けたアプリケーション機能部３２では、デバイ
スドライバ機能部３１に対してデータの再生指示４３を
行う。デバイスドライバ機能部３１はこれを受けてマル
チメディアデータ処理部２１に対して、次に説明するイ
ニシャライズ処理４４を行う。そして、再生指示完了応
答４５をアプリケーション機能部３２に返す。
【００２３】図３は、イニシャライズ処理の流れを表わ
したものである。図１と共にこの流れを説明する。ま
ず、図１の外部出力装置１３で表示している画面を現在
表示している画像に固定する（ステップＳ１０１）。イ
ニシャライズ処理を行う過程で表示されている画像が影
響を受けるので、これを視聴者に見せないようにするた
めである。次に、システム処理部２３からの入力が無効
にされる（ステップＳ１０２）。新しい飛び先データが
来るまでのデータは、途中で打ち切られた中途半端なデ
ータとして受信される可能性が高いので、このようなデ
ータが入力されるのを防止するためである。この後、記
憶手段２４の記憶内容がクリアされ初期化される（ステ
ップＳ１０３）。
したものである。図１と共にこの流れを説明する。ま
ず、図１の外部出力装置１３で表示している画面を現在
表示している画像に固定する（ステップＳ１０１）。イ
ニシャライズ処理を行う過程で表示されている画像が影
響を受けるので、これを視聴者に見せないようにするた
めである。次に、システム処理部２３からの入力が無効
にされる（ステップＳ１０２）。新しい飛び先データが
来るまでのデータは、途中で打ち切られた中途半端なデ
ータとして受信される可能性が高いので、このようなデ
ータが入力されるのを防止するためである。この後、記
憶手段２４の記憶内容がクリアされ初期化される（ステ
ップＳ１０３）。
【００２４】次に、再生処理部２５で、要求に基づいた
新しいデータの再生が開始するときのそのタイミングを
発生させるための命令を行う（ステップＳ１０４）。こ
れは、ステップＳ１０１で画面を固定したので、その解
除のタイミングを取得する必要があるからである。次
に、新しいデータが再生されるときの画像と音声の同期
をとるための命令が行われる（ステップＳ１０５）。こ
れは、それまで再生された画像のデータから飛び先画像
データに変わるとき、時間的な連続性が崩れるので、新
たに飛び先画像データから画像と音声の同期をとる必要
があるからである。
新しいデータの再生が開始するときのそのタイミングを
発生させるための命令を行う（ステップＳ１０４）。こ
れは、ステップＳ１０１で画面を固定したので、その解
除のタイミングを取得する必要があるからである。次
に、新しいデータが再生されるときの画像と音声の同期
をとるための命令が行われる（ステップＳ１０５）。こ
れは、それまで再生された画像のデータから飛び先画像
データに変わるとき、時間的な連続性が崩れるので、新
たに飛び先画像データから画像と音声の同期をとる必要
があるからである。
【００２５】この後、ステップＳ１０２で行ったシステ
ム処理部２３への入力無効の処理が解除されるための待
ち時間を設定する（ステップＳ１０６）。これは、マル
チメディアサーバ１１から来る途中で打ち切られた残デ
ータを受け付けないようにするためである。最後に、シ
ステム処理部２３からの新たなデータの入力を有効にす
る（ステップＳ１０７）。
ム処理部２３への入力無効の処理が解除されるための待
ち時間を設定する（ステップＳ１０６）。これは、マル
チメディアサーバ１１から来る途中で打ち切られた残デ
ータを受け付けないようにするためである。最後に、シ
ステム処理部２３からの新たなデータの入力を有効にす
る（ステップＳ１０７）。
【００２６】図２に戻って説明を続ける。このようにし
てイニシャライズ処理が終了すると、デバイスドライバ
機能部３１はアプリケーション機能部３２に対して再生
指示完了応答４５を返す。先の飛び先再生データ要求４
１から再生指示完了応答４５までの経過時間をｔ1 とす
る。
てイニシャライズ処理が終了すると、デバイスドライバ
機能部３１はアプリケーション機能部３２に対して再生
指示完了応答４５を返す。先の飛び先再生データ要求４
１から再生指示完了応答４５までの経過時間をｔ1 とす
る。
【００２７】ところで、アプリケーション機能部３２か
ら飛び先再生データ要求４１が出されると、時刻ｔ2 経
過後にマルチメディアサーバ機能部３３はマルチメディ
アサーバ１１から送信された飛び先再生データをマルチ
メディアデータ処理部２１に送信する。この送信４６
は、アプリケーション機能部３２やデバイスドライバ機
能部３１との間で制御や応答を行うことなくダイレクト
に行われる。
ら飛び先再生データ要求４１が出されると、時刻ｔ2 経
過後にマルチメディアサーバ機能部３３はマルチメディ
アサーバ１１から送信された飛び先再生データをマルチ
メディアデータ処理部２１に送信する。この送信４６
は、アプリケーション機能部３２やデバイスドライバ機
能部３１との間で制御や応答を行うことなくダイレクト
に行われる。
【００２８】この飛び先再生データをマルチメディアデ
ータ処理部２１が再生を開始すると、画像と音声の同期
がとられ再生開始の検出４７が行われる。この再生開始
の検出４７により、デバイスドライバ機能部３１は画面
の固定状態を解除させ、飛び先データの再生画面を表示
させる。デバイスドライバ機能部３１はこのとき再生開
始応答４８をアプリケーション機能部３２へ送出する。
ータ処理部２１が再生を開始すると、画像と音声の同期
がとられ再生開始の検出４７が行われる。この再生開始
の検出４７により、デバイスドライバ機能部３１は画面
の固定状態を解除させ、飛び先データの再生画面を表示
させる。デバイスドライバ機能部３１はこのとき再生開
始応答４８をアプリケーション機能部３２へ送出する。
【００２９】飛び先再生データ要求４１から再生指示完
了応答４５までの経過時間ｔ1 と、飛び先再生データ要
求４１が出されてから飛び先データの送信４６までの所
要時間ｔ2 との関係は、次の（１）式を満たす必要があ
る。 ｔ1 ＜ｔ2 ……（１） この関係を満たしていないと、飛び先データの再生が一
部不可能になる等の影響が生じる。この（１）式の関係
を満たさない場合には、マルチメディアサーバ機能部３
３が所要時間ｔ2 の調整を行う。このようにして（１）
式が満たされれば、マルチメディアサーバ機能部３３か
らのデータ送信のタイミングを、アプリケーション機能
部３２およびデバイスドライバ機能部３１とを用いて調
整することなく、データ送信が可能になる。
了応答４５までの経過時間ｔ1 と、飛び先再生データ要
求４１が出されてから飛び先データの送信４６までの所
要時間ｔ2 との関係は、次の（１）式を満たす必要があ
る。 ｔ1 ＜ｔ2 ……（１） この関係を満たしていないと、飛び先データの再生が一
部不可能になる等の影響が生じる。この（１）式の関係
を満たさない場合には、マルチメディアサーバ機能部３
３が所要時間ｔ2 の調整を行う。このようにして（１）
式が満たされれば、マルチメディアサーバ機能部３３か
らのデータ送信のタイミングを、アプリケーション機能
部３２およびデバイスドライバ機能部３１とを用いて調
整することなく、データ送信が可能になる。
【００３０】
【実施例】以下実施例につき本発明を詳細に説明する。
【００３１】図４は、実施例におけるこの動画像データ
再生システムの構成を表わしたものである。このシステ
ムで図１に示したマルチメディアサーバ１１は、ネット
ワーク１０１に接続されたサーバ部１０２が対応する。
サーバ部１０２には、プログラムを格納したＡＰサーバ
（アプリケーションサーバ）１０３、ビデオデータの検
索や管理を行うための管理サーバ１０４およびビデオデ
ータを登録して蓄積するビデオサーバ１０５が備えられ
ている。ＡＰサーバ１０３は、メニューデータやファイ
ルデータの登録や管理あるいはＳＴＢ（Set Top Box ）
へのデータの送信を行う機能をもっている。
再生システムの構成を表わしたものである。このシステ
ムで図１に示したマルチメディアサーバ１１は、ネット
ワーク１０１に接続されたサーバ部１０２が対応する。
サーバ部１０２には、プログラムを格納したＡＰサーバ
（アプリケーションサーバ）１０３、ビデオデータの検
索や管理を行うための管理サーバ１０４およびビデオデ
ータを登録して蓄積するビデオサーバ１０５が備えられ
ている。ＡＰサーバ１０３は、メニューデータやファイ
ルデータの登録や管理あるいはＳＴＢ（Set Top Box ）
へのデータの送信を行う機能をもっている。
【００３２】マルチメディア端末１０６は、図１に示し
た回線処理部１６に相当する回線インタフェース（Ｉ／
Ｆ）回路１１１と、通信処理部１７に相当するネットワ
ークインタフェース回路１１２を備えている。図１で説
明したと同様にサーバ部１０２からネットワーク１０１
を介して入力するデータは、回線インタフェース回路１
１１を経由してマルチメディアデータ処理部１１４に入
力するものと、ネットワークインタフェース回路１１２
を介してここからバス１１５上を転送されるものとがあ
る。図１で説明した入出力制御部１９は、ここでは入出
力（Ｉ／Ｏ）回路１１６で構成されている。図１に示し
た中央制御部１８に相当するものとして、図２に示した
動画像データ再生システムはＣＰＵ（中央処理装置）１
１７、グラフィック回路１１８、メインメモリ１１９お
よびハードディスク装置１２１を備えている。グラフィ
ック回路１１８はグラフィック処理を専用に扱う回路で
ある。ハードディスク装置１２１は外部記憶装置であ
り、必要に応じて光ディスク装置等の他の記憶装置を使
用することもできる。本実施例の入出力回路１１６は、
外部入力装置としてのリモートコントローラ１２２から
入力データの供給を受けるようになっている。
た回線処理部１６に相当する回線インタフェース（Ｉ／
Ｆ）回路１１１と、通信処理部１７に相当するネットワ
ークインタフェース回路１１２を備えている。図１で説
明したと同様にサーバ部１０２からネットワーク１０１
を介して入力するデータは、回線インタフェース回路１
１１を経由してマルチメディアデータ処理部１１４に入
力するものと、ネットワークインタフェース回路１１２
を介してここからバス１１５上を転送されるものとがあ
る。図１で説明した入出力制御部１９は、ここでは入出
力（Ｉ／Ｏ）回路１１６で構成されている。図１に示し
た中央制御部１８に相当するものとして、図２に示した
動画像データ再生システムはＣＰＵ（中央処理装置）１
１７、グラフィック回路１１８、メインメモリ１１９お
よびハードディスク装置１２１を備えている。グラフィ
ック回路１１８はグラフィック処理を専用に扱う回路で
ある。ハードディスク装置１２１は外部記憶装置であ
り、必要に応じて光ディスク装置等の他の記憶装置を使
用することもできる。本実施例の入出力回路１１６は、
外部入力装置としてのリモートコントローラ１２２から
入力データの供給を受けるようになっている。
【００３３】マルチメディアデータ処理部１１４は、図
１のシステム処理部２３に相当するシステムインタフェ
ース回路１３１を有している。システムインタフェース
回路１３１から出力される動画像のみのデータ部分は、
ＦＩＦＯ（ファーストイン・ファーストアウト）メモリ
１３２に入力され、その入力された順序で所定時間遅延
されて、ＭＰＥＧ（Moving Picture Experts Group）デ
コーダ１３３に入力されるようになっている。ＦＩＦＯ
メモリ１３２が図１の記憶手段２４に相当する。ＭＰＥ
Ｇデコーダ１３３は、圧縮動画データであるＭＰＥＧデ
ータを視覚的な動画データに再生するようになってい
る。システムインタフェース回路１３１から出力される
音声データ部分はオーディオデコーダ１３４に入力さ
れ、音声の再生が行われるようになっている。音声の再
生信号は、図１の外部出力装置１３に対応するスピーカ
１３６へ供給され、ここから音声として出力されるよう
になっている。ＭＰＥＧデコーダ１３３によって再生さ
れた映像信号は、ビデオオーバレイ回路１３７に入力さ
れてグラフィック回路１１８でグラフィック処理された
画像とオーバレイ（重ね合わせ）され、ＮＴＳＣエンコ
ーダ１３８でＮＴＳＣ（National Television System C
onnittee）方式のカラーテレビ用の画像信号に変換され
た後、図１の外部出力装置１３に対応するテレビジョン
（ＴＶ）モニタ１３９に入力されて、ここから映像とし
て出力されるようになっている。
１のシステム処理部２３に相当するシステムインタフェ
ース回路１３１を有している。システムインタフェース
回路１３１から出力される動画像のみのデータ部分は、
ＦＩＦＯ（ファーストイン・ファーストアウト）メモリ
１３２に入力され、その入力された順序で所定時間遅延
されて、ＭＰＥＧ（Moving Picture Experts Group）デ
コーダ１３３に入力されるようになっている。ＦＩＦＯ
メモリ１３２が図１の記憶手段２４に相当する。ＭＰＥ
Ｇデコーダ１３３は、圧縮動画データであるＭＰＥＧデ
ータを視覚的な動画データに再生するようになってい
る。システムインタフェース回路１３１から出力される
音声データ部分はオーディオデコーダ１３４に入力さ
れ、音声の再生が行われるようになっている。音声の再
生信号は、図１の外部出力装置１３に対応するスピーカ
１３６へ供給され、ここから音声として出力されるよう
になっている。ＭＰＥＧデコーダ１３３によって再生さ
れた映像信号は、ビデオオーバレイ回路１３７に入力さ
れてグラフィック回路１１８でグラフィック処理された
画像とオーバレイ（重ね合わせ）され、ＮＴＳＣエンコ
ーダ１３８でＮＴＳＣ（National Television System C
onnittee）方式のカラーテレビ用の画像信号に変換され
た後、図１の外部出力装置１３に対応するテレビジョン
（ＴＶ）モニタ１３９に入力されて、ここから映像とし
て出力されるようになっている。
【００３４】このような実施例の動画像データ再生シス
テムで、視聴者がマルチメディア端末１０６で、ある動
画タイトルの動画を見ているものとし、その途中で再生
画像を飛ばして新たに見たい画像を指示したものとす
る。このような指示は、リモートコントローラ１２２を
用いてテレビジョンモニタ１３９のメニュー画面で、飛
ばしたい時間位置を入力することによって行われる。
テムで、視聴者がマルチメディア端末１０６で、ある動
画タイトルの動画を見ているものとし、その途中で再生
画像を飛ばして新たに見たい画像を指示したものとす
る。このような指示は、リモートコントローラ１２２を
用いてテレビジョンモニタ１３９のメニュー画面で、飛
ばしたい時間位置を入力することによって行われる。
【００３５】本実施例の動画像データ再生システムで
も、図２で示したようにマルチメディアデータ処理部１
１４の他に、ソフトウェアにより実現させるべき機能部
分として、デバイスドライバ機能部３１と、アプリケー
ション機能部３２とマルチメディアサーバ機能部３３の
３つの機能部が存在している。したがって、視聴者がリ
モートコントローラ１２２から飛ばしたい時間位置を入
力すると、入出力回路１１６から飛び先データ要求コー
ドが出力され、図２に示したデバイスドライバ機能部３
１がこれを検知する。そして、更にアプリケーション機
能部３２に対して飛び先データ要求４１が出される。
も、図２で示したようにマルチメディアデータ処理部１
１４の他に、ソフトウェアにより実現させるべき機能部
分として、デバイスドライバ機能部３１と、アプリケー
ション機能部３２とマルチメディアサーバ機能部３３の
３つの機能部が存在している。したがって、視聴者がリ
モートコントローラ１２２から飛ばしたい時間位置を入
力すると、入出力回路１１６から飛び先データ要求コー
ドが出力され、図２に示したデバイスドライバ機能部３
１がこれを検知する。そして、更にアプリケーション機
能部３２に対して飛び先データ要求４１が出される。
【００３６】アプリケーション機能部３２では、リモー
トコントローラ１２２によってメニュー画面から入力さ
れた情報を基にして、飛び先再生位置の再生データをネ
ットワークインタフェース回路１１２からネットワーク
１０１を介してサーバ部１０２に要求する。
トコントローラ１２２によってメニュー画面から入力さ
れた情報を基にして、飛び先再生位置の再生データをネ
ットワークインタフェース回路１１２からネットワーク
１０１を介してサーバ部１０２に要求する。
【００３７】図２に示したマルチメディアサーバ機能部
３３では、アプリケーション機能部３２からこの飛び先
データ要求４１があると、すぐにアプリケーション機能
部３２に対して応答４２を返すと共に、現在再生中の動
画像データの送信を１２ＫＢ（キロバイト）単位で打ち
切る。これは、この実施例で画像の再生に影響を与えに
くい極小のデータ単位である。マルチメディアサーバ機
能部３３から応答４２を受けたアプリケーション機能部
３２では、デバイスドライバ機能部３１に対してデータ
の再生指示４３を行う。デバイスドライバ機能部３１は
これを受けてマルチメディアデータ処理部２１に対し
て、次に説明するイニシャライズ処理４４を行う。そし
て、再生指示完了応答４５をアプリケーション機能部３
２に返す。
３３では、アプリケーション機能部３２からこの飛び先
データ要求４１があると、すぐにアプリケーション機能
部３２に対して応答４２を返すと共に、現在再生中の動
画像データの送信を１２ＫＢ（キロバイト）単位で打ち
切る。これは、この実施例で画像の再生に影響を与えに
くい極小のデータ単位である。マルチメディアサーバ機
能部３３から応答４２を受けたアプリケーション機能部
３２では、デバイスドライバ機能部３１に対してデータ
の再生指示４３を行う。デバイスドライバ機能部３１は
これを受けてマルチメディアデータ処理部２１に対し
て、次に説明するイニシャライズ処理４４を行う。そし
て、再生指示完了応答４５をアプリケーション機能部３
２に返す。
【００３８】図５は、イニシャライズ処理の流れを表わ
したものである。図４と共にこの流れを説明する。ま
ず、ビデオオーバレイ回路１３７にフリーズ（freeze）
処理命令を出して、図４のテレビジョンモニタ１３９で
表示している画面を現在表示している画像に固定する
（ステップＳ２０１）。イニシャライズ処理を行う過程
で表示されている画像が影響を受けるので、これを視聴
者に見せないようにするためである。次に、システムイ
ンタフェース回路１３１への入力が無効にされる（ステ
ップＳ２０２）。新しい飛び先データが来るまでのデー
タは、途中で打ち切られた中途半端なデータとして受信
される可能性が高いので、このようなデータが入力され
るのを防止するためである。この後、ＦＩＦＯメモリ１
３２の記憶内容がクリアされ初期化される（ステップＳ
２０３）。
したものである。図４と共にこの流れを説明する。ま
ず、ビデオオーバレイ回路１３７にフリーズ（freeze）
処理命令を出して、図４のテレビジョンモニタ１３９で
表示している画面を現在表示している画像に固定する
（ステップＳ２０１）。イニシャライズ処理を行う過程
で表示されている画像が影響を受けるので、これを視聴
者に見せないようにするためである。次に、システムイ
ンタフェース回路１３１への入力が無効にされる（ステ
ップＳ２０２）。新しい飛び先データが来るまでのデー
タは、途中で打ち切られた中途半端なデータとして受信
される可能性が高いので、このようなデータが入力され
るのを防止するためである。この後、ＦＩＦＯメモリ１
３２の記憶内容がクリアされ初期化される（ステップＳ
２０３）。
【００３９】次に、ＭＰＥＧデコーダ１３３で要求に基
づいた新しいデータの再生が開始するときのそのタイミ
ングを発生させるための命令を行う（ステップＳ２０
４）。これは、ステップＳ２０１で画面を固定したの
で、その解除のタイミングを取得する必要があるからで
ある。次に、ＭＰＥＧデコーダ１３３に対して新しいデ
ータが再生されるときの画像と音声の同期をとるための
命令が行われる（ステップＳ２０５）。これは、それま
で再生された画像のデータから飛び先画像データに変わ
るとき、時間的な連続性が崩れるので、新たに飛び先画
像データから画像と音声の同期をとる必要があるからで
ある。
づいた新しいデータの再生が開始するときのそのタイミ
ングを発生させるための命令を行う（ステップＳ２０
４）。これは、ステップＳ２０１で画面を固定したの
で、その解除のタイミングを取得する必要があるからで
ある。次に、ＭＰＥＧデコーダ１３３に対して新しいデ
ータが再生されるときの画像と音声の同期をとるための
命令が行われる（ステップＳ２０５）。これは、それま
で再生された画像のデータから飛び先画像データに変わ
るとき、時間的な連続性が崩れるので、新たに飛び先画
像データから画像と音声の同期をとる必要があるからで
ある。
【００４０】この後、ステップＳ２０２で行ったシステ
ムインタフェース回路１３１への入力無効の処理が解除
されるための待ち時間を設定する（ステップＳ２０
６）。これは、ネットワーク１０１から来る途中で打ち
切られた残データを受け付けないようにするためであ
る。最後に、システムインタフェース回路１３１からの
新たなデータの入力を有効にする（ステップＳ２０
７）。
ムインタフェース回路１３１への入力無効の処理が解除
されるための待ち時間を設定する（ステップＳ２０
６）。これは、ネットワーク１０１から来る途中で打ち
切られた残データを受け付けないようにするためであ
る。最後に、システムインタフェース回路１３１からの
新たなデータの入力を有効にする（ステップＳ２０
７）。
【００４１】図４に戻って説明を続ける。このようにし
てイニシャライズ処理が終了すると、デバイスドライバ
機能部３１はアプリケーション機能部３２に対して再生
指示完了応答４５をアプリケーション機能部３２に返
す。先の飛び先再生データ要求４１から再生指示完了応
答４５までの経過時間がｔ1 である。
てイニシャライズ処理が終了すると、デバイスドライバ
機能部３１はアプリケーション機能部３２に対して再生
指示完了応答４５をアプリケーション機能部３２に返
す。先の飛び先再生データ要求４１から再生指示完了応
答４５までの経過時間がｔ1 である。
【００４２】ところで、アプリケーション機能部３２か
ら飛び先再生データ要求４１が出されると、マルチメデ
ィアサーバ機能部３３ではサーバ部１０２内のビデオサ
ーバ１０５に登録された圧縮動画像データを、ＡＰサー
バ１０３での視聴者からの要求情報に基づいて管理サー
バ１０４が検索する。そして、該当するその圧縮動画像
データとしての飛び先再生データをネットワーク１０１
を介してネットワークインタフェース回路１１２に送出
する（図２の飛び先データ送信４６）。飛び先再生デー
タ要求４１が出されてから飛び先データの送信４６まで
が所要時間ｔ2である。経過時間ｔ1 と所要時間ｔ2 の
関係は先の（１）式に示した通りである。
ら飛び先再生データ要求４１が出されると、マルチメデ
ィアサーバ機能部３３ではサーバ部１０２内のビデオサ
ーバ１０５に登録された圧縮動画像データを、ＡＰサー
バ１０３での視聴者からの要求情報に基づいて管理サー
バ１０４が検索する。そして、該当するその圧縮動画像
データとしての飛び先再生データをネットワーク１０１
を介してネットワークインタフェース回路１１２に送出
する（図２の飛び先データ送信４６）。飛び先再生デー
タ要求４１が出されてから飛び先データの送信４６まで
が所要時間ｔ2である。経過時間ｔ1 と所要時間ｔ2 の
関係は先の（１）式に示した通りである。
【００４３】ネットワークインタフェース回路１１２で
は、通信プロトコルによりデータを処理する。この処理
したデータがシステムインタフェース回路１３１に送出
される経路は、バス１１５から回線インタフェース回路
１１１を経由する経路の場合と、ネットワークインタフ
ェース回路１１２から回線インタフェース回路１１１に
直接送られる場合とがある。
は、通信プロトコルによりデータを処理する。この処理
したデータがシステムインタフェース回路１３１に送出
される経路は、バス１１５から回線インタフェース回路
１１１を経由する経路の場合と、ネットワークインタフ
ェース回路１１２から回線インタフェース回路１１１に
直接送られる場合とがある。
【００４４】前者の場合は構内系のＶＯＤ（Video On D
emand ）システムで用いられるデータ処理経路であり、
圧縮動画像データはマルチメディアデータ処理部１１４
へバス１１５を介して送られる。すなわち、端末内部の
通信ボードを介して送られる。構内系ではＣＡＴＶアナ
ログ放送を受けることがないので、ネットワークインタ
フェース回路１１２からバス１１５を介してＣＰＵ１１
７による制御が容易に行える。この場合では、システム
規模に応じてコストを下げやすい。
emand ）システムで用いられるデータ処理経路であり、
圧縮動画像データはマルチメディアデータ処理部１１４
へバス１１５を介して送られる。すなわち、端末内部の
通信ボードを介して送られる。構内系ではＣＡＴＶアナ
ログ放送を受けることがないので、ネットワークインタ
フェース回路１１２からバス１１５を介してＣＰＵ１１
７による制御が容易に行える。この場合では、システム
規模に応じてコストを下げやすい。
【００４５】これに対して、後者の場合はＣＡＴＶ系の
ＶＯＤシステムで用いられるデータ処理経路であり、圧
縮動画像データはマルチメディアデータ処理部１１４へ
バス１１５を介さずにダイレクトに送られてくる。バス
１１５を介さないとは、その間に通信ボードを介さない
こと、すなわちＣＰＵ１１７を介さないことを意味す
る。送られてくるデータの制御は、マルチメディアデー
タ処理部１１４からの制御信号をＣＰＵ１１７で受けて
間接的に制御することになる。後者のこの経路をとる理
由は、ＣＡＴＶのアナログ放送に切り替える場合を配慮
したためである。このときには、アナログ放送のデータ
がデコード処理を行う部分をそのまま通過して表示され
るからである。
ＶＯＤシステムで用いられるデータ処理経路であり、圧
縮動画像データはマルチメディアデータ処理部１１４へ
バス１１５を介さずにダイレクトに送られてくる。バス
１１５を介さないとは、その間に通信ボードを介さない
こと、すなわちＣＰＵ１１７を介さないことを意味す
る。送られてくるデータの制御は、マルチメディアデー
タ処理部１１４からの制御信号をＣＰＵ１１７で受けて
間接的に制御することになる。後者のこの経路をとる理
由は、ＣＡＴＶのアナログ放送に切り替える場合を配慮
したためである。このときには、アナログ放送のデータ
がデコード処理を行う部分をそのまま通過して表示され
るからである。
【００４６】ネットワークインタフェース回路１１２に
受信された圧縮された動画像データは、そのデータの時
間情報や個別情報と、動画および音声再生データ部分と
に分離される。このうちの時間情報や個別情報は廃棄さ
れ、動画像の部分がＦＩＦＯメモリ１３２に入力され、
音声再生データの部分がオーディオデコーダ１３４に入
力される。これらのデータは、ＭＰＥＧデコーダ１３３
とオーディオデコーダ１３４で再生が開始される。する
と、ＭＰＥＧデコーダ１３３で再生開始の検出４７が行
われる。この検出されたタイミングでデバイスドライバ
機能部３１はビデオオーバレイ回路１３７に画面の固定
を解除する命令を出す。これにより、再生画像はビデオ
オーバレイ回路１３７でグラフィック回路１１８からの
グラフィック画像データとオーバーレイ（重ね合わせ）
されて、ＮＴＳＣエンコーダ１３８からテレビジョンモ
ニタ１３９用の信号に変換される。この変換後の信号が
テレビジョンモニタ１３９に供給されることで、外部に
再生画像として出力される。このとき、再生音声はスピ
ーカ１３６から出力される。
受信された圧縮された動画像データは、そのデータの時
間情報や個別情報と、動画および音声再生データ部分と
に分離される。このうちの時間情報や個別情報は廃棄さ
れ、動画像の部分がＦＩＦＯメモリ１３２に入力され、
音声再生データの部分がオーディオデコーダ１３４に入
力される。これらのデータは、ＭＰＥＧデコーダ１３３
とオーディオデコーダ１３４で再生が開始される。する
と、ＭＰＥＧデコーダ１３３で再生開始の検出４７が行
われる。この検出されたタイミングでデバイスドライバ
機能部３１はビデオオーバレイ回路１３７に画面の固定
を解除する命令を出す。これにより、再生画像はビデオ
オーバレイ回路１３７でグラフィック回路１１８からの
グラフィック画像データとオーバーレイ（重ね合わせ）
されて、ＮＴＳＣエンコーダ１３８からテレビジョンモ
ニタ１３９用の信号に変換される。この変換後の信号が
テレビジョンモニタ１３９に供給されることで、外部に
再生画像として出力される。このとき、再生音声はスピ
ーカ１３６から出力される。
【００４７】このようにして、視聴者が飛び先の画像を
選択してからその見たい画像が表示されるまでのレスポ
ンスを向上させることができる。
選択してからその見たい画像が表示されるまでのレスポ
ンスを向上させることができる。
【００４８】ところで、通常の場合には、経過時間ｔ1
と所要時間ｔ2 の関係は先の（１）式に示した通りとな
る。これは、２つの時間ｔ1 とｔ2 を解析してみると、
所要時間ｔ2 は飛び先のデータをサーバから検索して読
み出してくるまでに時間を要するので、通常の場合には
経過時間ｔ1 よりも遅くなるからである。実際の運用時
における負荷試験でもこのことが実証されている。マル
チメディアサーバ機能部３３では、本来は下位層のアプ
リケーション機能部３２からの応答を待って飛び先デー
タの送信を行うと確実であるが、それではこのシーケン
スの時間短縮が難しくなる。本実施例では実測で５０パ
ーセント程度のシーケンスの短縮を可能にしている。
と所要時間ｔ2 の関係は先の（１）式に示した通りとな
る。これは、２つの時間ｔ1 とｔ2 を解析してみると、
所要時間ｔ2 は飛び先のデータをサーバから検索して読
み出してくるまでに時間を要するので、通常の場合には
経過時間ｔ1 よりも遅くなるからである。実際の運用時
における負荷試験でもこのことが実証されている。マル
チメディアサーバ機能部３３では、本来は下位層のアプ
リケーション機能部３２からの応答を待って飛び先デー
タの送信を行うと確実であるが、それではこのシーケン
スの時間短縮が難しくなる。本実施例では実測で５０パ
ーセント程度のシーケンスの短縮を可能にしている。
【００４９】なお、以上説明した実施例では外部入力装
置１４としてリモートコントローラ１２２を使用した
が、飛び先再生する画像を指定するキーボード等のその
他の入力手段を使用することが可能なことはいうまでも
ない。その他の構成部品についても、他の均等な部品を
同様に使用することができる。
置１４としてリモートコントローラ１２２を使用した
が、飛び先再生する画像を指定するキーボード等のその
他の入力手段を使用することが可能なことはいうまでも
ない。その他の構成部品についても、他の均等な部品を
同様に使用することができる。
【００５０】また、実施例では経過時間ｔ1 と所要時間
ｔ2 の関係について後者が前者よりも長いことを前提と
して説明したが、この関係を確実に保証させるためには
マルチメディアサーバ機能部３３にタイマからなるタイ
ミング調整回路を備えさせればよい。タイマの設定によ
って、データ送信の遅延時間を調整し、（１）式に示し
た関係を保証することができる。
ｔ2 の関係について後者が前者よりも長いことを前提と
して説明したが、この関係を確実に保証させるためには
マルチメディアサーバ機能部３３にタイマからなるタイ
ミング調整回路を備えさせればよい。タイマの設定によ
って、データ送信の遅延時間を調整し、（１）式に示し
た関係を保証することができる。
【００５１】
【発明の効果】以上説明したように本発明によれば、飛
び先再生の指示された圧縮された動画像データを、飛び
先再生の指示のあった時間から所定時間経過後に受信側
へ送信することにしたので、その間の制御階層での制御
を省略することができ、飛び越し再生のレスポンスを向
上させることができる。
び先再生の指示された圧縮された動画像データを、飛び
先再生の指示のあった時間から所定時間経過後に受信側
へ送信することにしたので、その間の制御階層での制御
を省略することができ、飛び越し再生のレスポンスを向
上させることができる。
【図１】本発明の動画像データ再生システムの原理的な
構成を表わしたブロック図である。
構成を表わしたブロック図である。
【図２】本発明における飛び先データ再生のための制御
階層間の制御シーケンスを表わしたシーケンス説明図で
ある。
階層間の制御シーケンスを表わしたシーケンス説明図で
ある。
【図３】本発明におけるイニシャライズ処理の流れを表
わした流れ図である。
わした流れ図である。
【図４】本発明の一実施例における動画像データ再生シ
ステムの構成を表わしたブロック図である。
ステムの構成を表わしたブロック図である。
【図５】本実施例におけるイニシャライズ処理の流れを
表わした流れ図である。
表わした流れ図である。
１１ マルチメディアサーバ １２、１０６ マルチメディア端末 １３ 外部出力装置 １４ 外部入力装置 １６ 回線処理部 １７ 通信処理部 １８ 中央制御部 ２１、１１４ マルチメディアデータ処理部 ２３ システム処理部 ２４ 記憶手段 ２５ 再生処理部 ２６ 出力処理部 ３１ デバイスドライバ機能部 ３２ アプリケーション機能部 ３３ マルチメディアサーバ機能部 １０１ ネットワーク １０２ サーバ部 １１１ 回線インタフェース回路 １１２ ネットワークインタフェース回路 １１７ ＣＰＵ １２２ リモートコントローラ １３１ システムインタフェース回路 １３２ ＦＩＦＯメモリ １３３ ＭＰＥＧデコーダ １３４ オーディオデコーダ １３６ スピーカ １３７ ビデオオーバレイ回路 １３８ ＮＴＳＣエンコーダ １３９ テレビジョンモニタ
Claims (5)
- 【請求項１】 動画再生状態で動画の飛び先再生が指示
されたとき、飛び先再生の指示された圧縮された動画像
データを準備し、圧縮された動画像データの送信先から
この圧縮された動画像データを受信する受信側へその間
の制御階層での制御を省略して、その飛び先再生の指示
のあった時間から所定時間経過後にその送信を開始さ
せ、これを再生中の動画像データに代えて受信側で再生
させることを特徴とする動画像データ再生方法。 - 【請求項２】 飛び先再生を行う動画像データへの切り
替え時に、この飛び先再生前に送られてくる現在再生中
の残った動画像データの受信を一定の間無効にすること
を特徴とする請求項１記載の動画像データ再生方法。 - 【請求項３】 圧縮された動画像データを再生する動画
像データ再生手段と、 圧縮された動画像データを蓄積し所望のものをこの動画
像データ再生手段に送信する動画像データ送信手段と、 前記動画像データ再生手段で再生中の動画像データの飛
び先再生を指示する飛び先再生指示手段と、 この飛び先再生指示手段が飛び先再生を指示したとき前
記動画像データ再生手段で現在再生中の動画像データの
画面を固定させる画面固定手段と、 前記飛び先再生指示手段が飛び先再生を指示したとき前
記動画像データ送信手段から送られてくる飛び先再生に
よる動画像データの再生開始タイミングを検出する再生
開始タイミング検出手段と、 前記飛び先再生指示手段が飛び先再生を指示したとき前
記動画像データ送信手段から送られてくる飛び先再生前
の動画像データの受け付けを所定時間拒否する現動画像
データ受付拒否手段と、 前記再生開始タイミング検出手段が検出した再生タイミ
ングに再生中の動画像データに代えて飛び先再生を指示
された動画像データの再生を開始する動画像データ再生
切替手段とを具備することを特徴とする動画像データ再
生システム。 - 【請求項４】 再生中の動画像データの飛び先再生を前
記飛び先再生指示手段が前記動画像データ送信手段に指
示してから動画像データ送信手段がこれに対して応答し
前記動画像データ再生手段が再生中の動画像データを飛
び先再生の指示された動画像データの再生に切り替える
ためのイニシャライズ処理を行い再生指示の終了を応答
するまでの時間と、再生中の動画像データの飛び先再生
を前記飛び先再生指示手段が前記動画像データ送信手段
に指示してから前記動画像データ送信手段が指示された
飛び先の動画像データの送信を開始するまでの時間を比
較し、後者が前者よりも長くなるように飛び先の動画像
データの送信を開始するタイミングを調整するタイミン
グ調整手段を具備することを特徴とする請求項３記載の
動画像データ再生システム。 - 【請求項５】 飛び先再生の指示された動画像データの
画像と音声の同期をとる画像・音声同期手段を具備する
ことを特徴とする請求項３記載の動画像データ再生シス
テム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17489796A JP2976889B2 (ja) | 1996-07-04 | 1996-07-04 | 動画像データ再生システム |
| GB9713523A GB2319920B (en) | 1996-07-04 | 1997-06-26 | Moving picture and audio data reproducing method and system therefor |
| US08/888,071 US6101311A (en) | 1996-07-04 | 1997-07-03 | Moving picture and audio data reproducing method and system therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17489796A JP2976889B2 (ja) | 1996-07-04 | 1996-07-04 | 動画像データ再生システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1023372A true JPH1023372A (ja) | 1998-01-23 |
| JP2976889B2 JP2976889B2 (ja) | 1999-11-10 |
Family
ID=15986608
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17489796A Expired - Fee Related JP2976889B2 (ja) | 1996-07-04 | 1996-07-04 | 動画像データ再生システム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6101311A (ja) |
| JP (1) | JP2976889B2 (ja) |
| GB (1) | GB2319920B (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100257070B1 (ko) * | 1997-08-14 | 2000-05-15 | 김영환 | 박막트랜지스터 및 이의 제조방법 |
| KR100301826B1 (ko) * | 1997-12-29 | 2001-10-27 | 구자홍 | 비디오디코더 |
| US7107351B2 (en) * | 1999-12-30 | 2006-09-12 | International Business Machines Corporation | File futures |
| JP2002216976A (ja) * | 2001-01-15 | 2002-08-02 | Sony Corp | 発光素子及びその製造方法 |
| US20050086386A1 (en) * | 2003-10-17 | 2005-04-21 | Bo Shen | Shared running-buffer-based caching system |
| WO2006022148A1 (ja) * | 2004-08-25 | 2006-03-02 | Pioneer Corporation | 情報再生装置 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63288556A (ja) * | 1987-05-20 | 1988-11-25 | Sanyo Electric Co Ltd | 画像通信方法 |
| GB8904906D0 (en) * | 1989-03-03 | 1989-04-12 | British Broadcasting Corp | Videodisc and videodisc player,and vision mixing simulator using the same |
| JPH04180489A (ja) * | 1990-11-15 | 1992-06-26 | Mitsubishi Electric Corp | テレビ電話通信方式 |
| US5659350A (en) * | 1992-12-09 | 1997-08-19 | Discovery Communications, Inc. | Operations center for a television program packaging and delivery system |
| US5610841A (en) * | 1993-09-30 | 1997-03-11 | Matsushita Electric Industrial Co., Ltd. | Video server |
| JPH07115630A (ja) * | 1993-10-20 | 1995-05-02 | Nippon Telegr & Teleph Corp <Ntt> | 画像通信端末 |
| JPH08154242A (ja) * | 1994-11-28 | 1996-06-11 | Nippon Telegr & Teleph Corp <Ntt> | ビデオ番組の配送方法及びその実施装置 |
| US5732217A (en) * | 1995-12-01 | 1998-03-24 | Matsushita Electric Industrial Co., Ltd. | Video-on-demand system capable of performing a high-speed playback at a correct speed |
| JP3364869B2 (ja) * | 1996-04-05 | 2003-01-08 | 日本電信電話株式会社 | ビットストリームの再生方法およびビデオオンデマンドシステム |
-
1996
- 1996-07-04 JP JP17489796A patent/JP2976889B2/ja not_active Expired - Fee Related
-
1997
- 1997-06-26 GB GB9713523A patent/GB2319920B/en not_active Expired - Lifetime
- 1997-07-03 US US08/888,071 patent/US6101311A/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US6101311A (en) | 2000-08-08 |
| GB9713523D0 (en) | 1997-09-03 |
| GB2319920B (en) | 2000-07-26 |
| JP2976889B2 (ja) | 1999-11-10 |
| GB2319920A (en) | 1998-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10869102B2 (en) | Systems and methods for providing a multi-perspective video display | |
| US7623759B2 (en) | Reproduction apparatus and reproduction method | |
| KR100618923B1 (ko) | 정보 처리 장치, 방법 및 컴퓨터 판독가능 매체 | |
| US5913039A (en) | Video on demand system with a transmission schedule table in the video server including entries for client identifiers, video titles, and reproduction start times | |
| KR100575995B1 (ko) | 수신장치 | |
| US7248781B2 (en) | Live picture presentation while digital video recording | |
| WO1999066722A1 (en) | Broadcasting method and broadcast receiver | |
| JP2000125260A (ja) | 動画像伝送サーバおよび同サーバを用いた動画像伝送システム並びに動画像伝送制御方法 | |
| JPH09275555A (ja) | 情報伝送方法および情報伝送システム | |
| US7536077B2 (en) | Method for sending information on a network, and electronic information equipment | |
| JP3935412B2 (ja) | 受信装置及び受信装置の制御方法、ストリームデータ配信システム | |
| JP2976889B2 (ja) | 動画像データ再生システム | |
| KR20020021113A (ko) | 대화 방식의 사전 레코딩된 텔레비전 프로그램 재생에따른 디지털 텔레비전 수신기/디코더 디바이스 | |
| US8316403B2 (en) | Receiving apparatus and control method thereof | |
| JP2009303062A (ja) | 放送受信端末、放送データ合成方法、プログラムおよび記録媒体 | |
| JP2002176599A (ja) | 受信装置及び画像再生方法 | |
| US20050259576A1 (en) | Information distributing system and information distributing method as well as information recording medium | |
| JPH1022999A (ja) | コマンド入力制御方法 | |
| JPH0974391A (ja) | テレビジョン放送センタ | |
| KR101378092B1 (ko) | 스트리밍 데이터 스킵 탐색 방법 및 장치 | |
| JPH10257472A (ja) | リアルタイム映像情報及び蓄積映像情報提供システム | |
| JPH10191303A (ja) | 双方向型デジタル放送システム用データ送受信装置およびデータ送受信方法 | |
| JPH08322035A (ja) | 双方向テレビジョンシステムの通信方法及びその送受信装置 | |
| JPH1042254A (ja) | 動画像データ再生方式 | |
| JPH09163337A (ja) | 情報処理装置、情報処理方法および該情報処理装置を用いた情報提供システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080910 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080910 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090910 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090910 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100910 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110910 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120910 Year of fee payment: 13 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120910 Year of fee payment: 13 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120910 Year of fee payment: 13 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120910 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120910 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130910 Year of fee payment: 14 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |