JP4112350B2 - 動画像通信システム、動画再生端末、動画像配信装置及び動画像の配信方法 - Google Patents
動画像通信システム、動画再生端末、動画像配信装置及び動画像の配信方法 Download PDFInfo
- Publication number
- JP4112350B2 JP4112350B2 JP2002347074A JP2002347074A JP4112350B2 JP 4112350 B2 JP4112350 B2 JP 4112350B2 JP 2002347074 A JP2002347074 A JP 2002347074A JP 2002347074 A JP2002347074 A JP 2002347074A JP 4112350 B2 JP4112350 B2 JP 4112350B2
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- image data
- reproduction
- slow
- command
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ネットワーク網に接続される動画像配信サーバーと、その動画像配信サーバーへ無線回線網を介して接続して所望の動画像データを再生する動画像再生端末とを有する画像通信システム、動画再生端末、動画像配信装置及び動画像の配信方法に関する。
【０００２】
【従来の技術】
従来の動画像再生端末の一つである携帯電話装置を構成要素とする動画像通信システムは、ネットワーク網に接続された動画像配信サーバーなどにより送信されてくる動画像データを携帯電話装置（自端末）の表示装置で再生するだけであった。また、従来の携帯電話装置は、早送り、巻き戻し及び一時停止の制御のみが行えた。また、従来の携帯電話装置は、高画質な画像が必要な場合、静止画像を受信するという手法しかとることができなかった（例えば、特許文献１，２参照）。
【０００３】
【特許文献１】
特開平２０００−２５３４００号公報
【特許文献２】
特開平２０００−２５３３９９号公報
【０００４】
【発明が解決しようとする課題】
従って、従来の動画像通信システムでは、携帯電話装置において、受信したストリームを再生中に、早送り、巻き戻し又は一時停止などの制御しかできないため、動画像配信サーバーが提供する番組についてユーザが見たい場面をスローで再生することができないという問題点があった。
【０００５】
また、従来の動画像通信システムでは、動画像配信サーバーにおいて、スローで再生する画像を配信する場合、予め決められたコンテンツの決められたシーンをスローにした後に符号化するため、ユーザの所望のタイミングでスロー再生をすることができないという問題点があった。
【０００６】
さらにまた、従来の動画像通信システムでは、スローで再生しても通常の再生時と画質があまり変わらず、高画質のスロー画像を見ることができないという問題点があった。
【０００７】
本発明は、動画像配信サーバーが提供する番組についてユーザが見たい場面をスローで再生することができ、そのスロー画像の画質を向上することが可能な動画像通信システム、動画再生端末、動画像配信装置及び動画像の配信方法の提供を目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するために、本発明は、ネットワーク網に接続されて、階層符号化された動画像データを配信する動画像配信装置と、該動画像配信装置に無線回線網を介して接続されている動画像再生端末とから構成される動画像通信システムにおいて、前記動画像再生端末は、前記動画像配信装置から動画像データを受信するデータ受信手段と、該データ受信手段が受信した動画像を表示する表示手段と、該表示手段に表示している動画像をスロー再生指示する指示手段と、該指示手段がスロー再生を指示した際の時間情報を含めたスロー再生コマンドを前記動画像配信装置に送信するコマンド送信手段と、を備え、前記動画像配信装置は、前記動画像再生端末から送信されたコマンドを受信するコマンド受信手段と、前記コマンド受信手段がスロー再生コマンドを受信した際に当該コマンドに含まれた時間情報に基づいて動画像データを検索する検索手段と、該検索手段が検索した前記時間情報に対応する動画像データの画像フレームから、通常再生時の画像データのフレーム間に、スロー再生用の前記階層符号化された動画像データの拡張部分のフレームを挿入するとともに、該拡張部分のフレームの挿入に伴って前記通常再生時の画像データに含まれる時間情報を書き換えて、前記動画像再生端末に動画像データを送信するデータ送信手段と、を備えたことを特徴とする。
このようにすると、ユーザは、動画像再生端末の操作部を操作することで、動画像配信装置から送信された動画像の所望部分をスロー再生して見ることができる。
【０００９】
また、前記データ送信手段は、前記時間情報に対応する動画像データとスロー再生用の動画像データを前記動画像再生端末に送信する際は、音声データと動画像データの送信比率を変更して送信することを特徴とする。
【００１０】
また、前記コマンド送信手段は、前記指示手段がスロー再生を指示した際のｎ秒前の時間情報をスロー再生コマンドに含めて送信することを特徴とする。
このようにすると、ユーザが動画像再生端末の操作部を操作することで、その操作時のｎ秒前のシーンからスロー再生することができる。
【００１２】
本発明は、動画像配信装置から階層符号化された動画像データを受信する動画像再生端末において、動画像配信装置から動画像データを受信する受信手段と、該受信手段が受信した動画像を表示する表示手段と、該表示手段に表示している動画像をスロー再生指示する指示手段と、該指示手段がスロー再生を指示した際の時間情報を含めたスロー再生コマンドを前記動画像配信装置に送信する送信手段と、を備え、前記表示手段は、前記送信手段が送信した前記時間情報に対応する動画像データの画像フレームから、通常再生時の画像データのフレーム間に挿入されたスロー再生用の階層符号化された動画像データの拡張部分のフレームに伴って書き換えられた画像データの時間情報に基づいて動画像を表示することを特徴とする。
【００１３】
本発明は、動画像再生端末に対して階層符号化された動画像データを送信する動画像配信装置において、動画像データとスロー再生用の動画像データを記憶する記憶手段と、前記動画像再生端末に対して動画像データを送信する送信手段と、前記動画像再生端末から送信されたコマンドを受信する受信手段と、前記受信手段がスロー再生コマンドを受信した際に当該コマンドに含まれる時間情報に基づいて動画像データを検索する検索手段と、を備え、前記送信手段は、前記検索手段が検索した前記時間情報に対応する動画像データの画像フレームから、通常再生時の画像データのフレーム間に、スロー再生用の前記階層符号化された動画像データの拡張部分のフレームを挿入するとともに、該拡張部分のフレームの挿入に伴って前記通常再生時の画像データに含まれる時間情報を書き換えて、前記動画像再生端末に動画像データを送信することを特徴とする。
【００１４】
本発明は、動画像配信装置から配信される階層符号化された動画像を動画像再生端末においてスロー再生する動画像の配信方法において、前記動画像再生端末が動画像のスロー再生指示を検出した時は、スロー再生コマンドに前記検出した時間情報を含めて前記動画像配信装置に送信し、前記スロー再生コマンドを受信した該動画像配信装置は、当該スロー再生コマンドに含まれる時間情報に対応する動画像データの画像フレームから、通常再生時の画像データのフレーム間に、スロー再生用の前記階層符号化された動画像データの拡張部分のフレームを挿入するとともに、該拡張部分のフレームの挿入に伴って前記通常再生時の画像データに含まれる時間情報を書き換えて、前記動画像再生端末に動画像データを送信することを特徴とする。
【００１５】
【発明の実施の形態】
以下、図面を参照し、本発明の一実施形態に係る動画像通信システムついて説明する。
【００１６】
図１は本発明の一実施形態に係る動画像通信システムのブロック図である。本動画像通信システムは、ネットワーク網に接続される動画像配信サーバー（動画像配信装置）100と、動画像配信サーバー100へ無線回線網を介して接続して所望の動画像データを再生する動画像再生端末200とを有してなる。
【００１７】
動画像再生端末200は、少なくとも動画像を表示するための表示手段206と、ネットワーク網へ接続してデータを送受信するネットワークインターフェイス手段202と、符号化された動画像データを復号化する画像復号化手段204と、動画像データ内に含まれる時間情報によって復号化された画像データを表示するタイミングを同期させる同期手段209と、受信した符号化された音声情報を復号化する音声復号化手段203と、復号化された音声情報を再生する音声再生手段205と、動画像配信サーバー100へコマンドを送出するコマンド送出部208と、ＣＰＵ部207と、ユーザが操作を行う操作部201とを有する。
【００１８】
動画像配信サーバー100は、ネットワーク網に接続するネットワークインターフェース部101と、動画像再生端末200から送られてくるコマンドを受信するコマンド受信手段102と、コマンドを解析するコマンド解析手段103と、コマンドに含まれる時間情報に基づいて時間的情報が合致する動画像データフレームを検索する検索手段106と、各画像フレームに対応する時間情報を含む階層符号化された動画像データ104を送出するとともに、音声データと動画像データ104の送出比率を変更可能なデータ送出部105とを有する。
【００１９】
次に、動画像通信システムの動作について説明する。まず、動画像再生端末200を用いるユーザが操作部201を操作し、ネットワークインターフェイス手段202を介して動画像配信サーバー100へ接続する。またユーザが操作部201を操作して所望の動画像データのコンテンツを選択することで、動画配信サーバー100から送信されてくる動画像データを、動画像再生端末200のネットワークインターフェイス部202が受信する。
【００２０】
ネットワークインターフェイス部202により受信された動画像データのうち、音声符号化データは、音声復号化手段203で復号化され、音声再生手段205により再生される。その受信された動画像データのうち、画像符号化データは、画像復号化手段204で復号化され、同期手段209により、動画像データに含まれる時間情報に同期して、表示手段206により再生される。
【００２１】
この動画像データを再生中に、ユーザがスローで再生したいシーンについて所望のタイミングで操作部201を操作すると、CPU部207はスロー再生要求の操作が行われたことを検出する。次いで、CPU部207は、現在再生を行っている画像フレームの時間情報を抽出し、その時間情報からｎ秒前の時間情報を作成し、それを格納したスロー再生コマンドをコマンド送出部208を介して動画像配信サーバー100へ送出する。
【００２２】
動画像配信サーバー100は、ネットワークインターフェイス部101及びコマンド受信手段102を介して受信したコマンドをコマンド解析手段103により解析する。解析したコマンドがスロー再生要求コマンドであった場合、コマンド解析手段103は、そのコマンド中に含まれる時間情報を抽出する。次いで、検索手段106が、その時間情報に対応した動画像フレームを動画像データ104から検索する。データ送出部105は、それまで送信を行っていた動画像データの送信を停止し、検索手段106が検索した動画像フレームから送信を行う。
【００２３】
ここで、もし、動画像データがMPEGやH.263等のようにフレーム内符号化データとフレーム間符号化データが存在するような圧縮方式で保存されており、かつ、検索手段106が検索した結果がフレーム間符号化データの部分であった場合には、以下の構成を動画像配信サーバー100に設けることにより対処する。すなわち、検索手段106は近傍のフレーム内符号化データも検索し、動画像配信サーバー100内に画像復号化手段を設け、その画像復号化手段により、検索されたフレーム間符号化データまで復号化を行い、再度そのフレームをフレーム内符号化することにより、正確に指定されたフレームよりデータを送出することが可能である。
また、そこまでの必要がない場合には、検索されたフレーム内符号化データの部分より、最も近いフレーム内符号化データを検索し、そこから送信を行えばよい。
【００２４】
データ送出部105は、それまで送信していた画像データに対して、音声フレームを削除し、かつ階層化された動画像符号化データの拡張部分を含めた動画像データの送信を開始する。この時、動画像再生端末200がスローで再生を行うことが可能なように、画像フレームに含まれる時間情報を書き換える。時間情報は、各画像フレームの表示間隔を示すものであり、時間情報で示される表示間隔を増大することにより、動画像再生端末200では、受信した動画像のスロー再生が可能となる。
【００２５】
また、動画像配信サーバーは階層化された動画像符号化データの拡張部分を含めた動画像データを送信するため、動画像再生端末200ではコマ落ちがないスムースなスロー再生が行える。
この際に、データ送出部105は、削除された音声フレームに相当するビットレート分の画像データを余分に送出できるため、より高画質な画像データを送出することも可能になる。
【００２６】
次に、動画像データと時間情報の関係について詳細に説明する。図２は、上記動画像通信システムにおける動画像データと時間情報の関係を示す図である。通常、動画像データを再生している場合には、通常再生時の画像データ303で示されるように画像データを送出し、この画像データには対応する時間情報として通常再生時の時間情報304が付加されていく。この例では、通常再生時、２ｆｐｓで再生される動画像データを示しているが特にこの限りではない。
【００２７】
スロー再生時には、階層符号化によって得られているスロー再生時に追加される画像データ301を通常再生時の画像データ303の画像フレーム間に補完する形で挿入していく。このとき図２に示すように時間情報は、ｍ個（ｍは１以上の整数）のフレームで補完する。再生時のフレームレートを一定にする場合には、スロー再生時の時間情報302で示されるような形で時間情報を書き換えることにより、動画像再生端末200側では、同一のフレームレートでスロー再生が可能となる。
【００２８】
図３は、本実施形態の動画像通信システムにおける時間軸に対応した送出データフォーマットを示す図である。図３において画像フレームのフレーム番号に関しては、図２のものと対応しており、この例では１／３倍にスロー再生を行う例を示している。
【００２９】
通常再生時には、通常再生時の送出データ401で示すように、通常再生時に送出する画像データと音声データを送出していく。スロー再生時には、スロー再生時の送出データ402で示すように、通常再生時に送出する画像データのフレーム間に、階層符号化された画像データの拡張部分のフレームを補完するように送出する。このとき音声データはスローにはできないので音声データの送出は削除してよい。
【００３０】
図４は、本実施形態の動画像通信システムにおいてリアルタイム配信をするときの構成を示すブロック図である。動画像再生端末200は図１で示したものと同じものである。図４の動画像配信サーバー500と図１の動画像配信サーバー100の主な相違点は、動画像配信サーバー500にはリアルタイムエンコーダー502と動画像バッファ501a,501ｂが設けられている点である。
【００３１】
リアルタイム配信を行う場合、リアルタイムエンコーダー502はリアルタイムで動画像の階層符号化を行い、動画像バッファ501a,501ｂへ一次記憶させる。通常再生時には、データ送出部505は動画像バッファ501aに蓄積されているデータのうち、通常再生時に使用する画像フレームのみを送出する。動画像バッファ501a,501bは、ｎ秒前までのスロー再生に対応するために、階層化された符号データも含めてｎ秒前までの画像データを常に蓄えている。
【００３２】
スロー再生コマンドをコマンド受信手段504が受信し、そのコマンドがコマンド解析手段506により解析されると、検索手段507は動画像バッファ501aよりその時間情報に対応したフレームを検索する。データ送出部505は、検索手段507の検索結果より、対応した画像フレームを動画像バッファ501aから階層化符号データを含めた形で取り込んで送信する。
【００３３】
スロー再生中のリアルタイムエンコードされた画像データは、動画像バッファ502bに最新のｎ秒前のデータのみ常に蓄積される。スロー再生が終了した後、通常再生に戻る際には、データ送出部505は動画像バッファ501bに蓄積されているデータを使用する。これにより、リアルタイム配信時でもスロー再生を行うことができる。
【００３４】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【００３５】
【発明の効果】
以上説明したように、本発明によれば、動画像配信装置より送信された動画像データを動画像再生端末が受信して再生してる最中に、ユーザが所望のシーンをスローで再生することができ、なおかつスロー再生時の画質を向上させることが可能な動画像通信システム、動画再生端末、動画像配信装置及び動画像の配信方法を提供することができる。
【図面の簡単な説明】
【図１】 本発明の実施形態に係る動画像通信システムを示すブロック図である。
【図２】 同上の動画像通信システムにおける動画像データと時間情報の関係を示す図である。
【図３】 同上の動画像通信システムにおける時間軸に対応した送出データフォーマットを示す図である。
【図４】 本実施形態の動画像通信システムにおいてリアルタイム配信をするときの構成を示すブロック図である。
【符号の説明】
１００ 動画像配信サーバー （動画像配信装置）
１０１ ネットワークインターフェイス部
１０２ コマンド受信手段
１０３ コマンド解析手段
１０４ 動画像データ
１０５ データ送出部
１０６ 検索手段
２００ 動画像再生端末
２０１ 操作部
２０２ ネットワークインターフェイス手段
２０３ 音声復号化手段
２０４ 画像復号化手段
２０５ 音声再生手段
２０６ 表示手段
２０７ CPU部
２０８ コマンド送出部
２０９ 同期手段
３０１ スロー再生時に追加される画像データ
３０２ スロー再生時の時間情報
３０３ 通常再生時の画像データ
３０４ 通常再生時の時間情報
４０１ 通常再生時の送出データ
４０２ スロー再生時の送出データ
５００ （リアルタイム配信可能な）動画像配信サーバー
５０１ａ 動画像バッファ
５０１ｂ 動画像バッファ
５０２ リアルタイムエンコーダー
５０３ ネットワークインターフェース部
５０４ コマンド受信手段
５０５ データ送出部
５０６ コマンド解析手段
５０７ 検索手段
【発明の属する技術分野】
本発明は、ネットワーク網に接続される動画像配信サーバーと、その動画像配信サーバーへ無線回線網を介して接続して所望の動画像データを再生する動画像再生端末とを有する画像通信システム、動画再生端末、動画像配信装置及び動画像の配信方法に関する。
【０００２】
【従来の技術】
従来の動画像再生端末の一つである携帯電話装置を構成要素とする動画像通信システムは、ネットワーク網に接続された動画像配信サーバーなどにより送信されてくる動画像データを携帯電話装置（自端末）の表示装置で再生するだけであった。また、従来の携帯電話装置は、早送り、巻き戻し及び一時停止の制御のみが行えた。また、従来の携帯電話装置は、高画質な画像が必要な場合、静止画像を受信するという手法しかとることができなかった（例えば、特許文献１，２参照）。
【０００３】
【特許文献１】
特開平２０００−２５３４００号公報
【特許文献２】
特開平２０００−２５３３９９号公報
【０００４】
【発明が解決しようとする課題】
従って、従来の動画像通信システムでは、携帯電話装置において、受信したストリームを再生中に、早送り、巻き戻し又は一時停止などの制御しかできないため、動画像配信サーバーが提供する番組についてユーザが見たい場面をスローで再生することができないという問題点があった。
【０００５】
また、従来の動画像通信システムでは、動画像配信サーバーにおいて、スローで再生する画像を配信する場合、予め決められたコンテンツの決められたシーンをスローにした後に符号化するため、ユーザの所望のタイミングでスロー再生をすることができないという問題点があった。
【０００６】
さらにまた、従来の動画像通信システムでは、スローで再生しても通常の再生時と画質があまり変わらず、高画質のスロー画像を見ることができないという問題点があった。
【０００７】
本発明は、動画像配信サーバーが提供する番組についてユーザが見たい場面をスローで再生することができ、そのスロー画像の画質を向上することが可能な動画像通信システム、動画再生端末、動画像配信装置及び動画像の配信方法の提供を目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するために、本発明は、ネットワーク網に接続されて、階層符号化された動画像データを配信する動画像配信装置と、該動画像配信装置に無線回線網を介して接続されている動画像再生端末とから構成される動画像通信システムにおいて、前記動画像再生端末は、前記動画像配信装置から動画像データを受信するデータ受信手段と、該データ受信手段が受信した動画像を表示する表示手段と、該表示手段に表示している動画像をスロー再生指示する指示手段と、該指示手段がスロー再生を指示した際の時間情報を含めたスロー再生コマンドを前記動画像配信装置に送信するコマンド送信手段と、を備え、前記動画像配信装置は、前記動画像再生端末から送信されたコマンドを受信するコマンド受信手段と、前記コマンド受信手段がスロー再生コマンドを受信した際に当該コマンドに含まれた時間情報に基づいて動画像データを検索する検索手段と、該検索手段が検索した前記時間情報に対応する動画像データの画像フレームから、通常再生時の画像データのフレーム間に、スロー再生用の前記階層符号化された動画像データの拡張部分のフレームを挿入するとともに、該拡張部分のフレームの挿入に伴って前記通常再生時の画像データに含まれる時間情報を書き換えて、前記動画像再生端末に動画像データを送信するデータ送信手段と、を備えたことを特徴とする。
このようにすると、ユーザは、動画像再生端末の操作部を操作することで、動画像配信装置から送信された動画像の所望部分をスロー再生して見ることができる。
【０００９】
また、前記データ送信手段は、前記時間情報に対応する動画像データとスロー再生用の動画像データを前記動画像再生端末に送信する際は、音声データと動画像データの送信比率を変更して送信することを特徴とする。
【００１０】
また、前記コマンド送信手段は、前記指示手段がスロー再生を指示した際のｎ秒前の時間情報をスロー再生コマンドに含めて送信することを特徴とする。
このようにすると、ユーザが動画像再生端末の操作部を操作することで、その操作時のｎ秒前のシーンからスロー再生することができる。
【００１２】
本発明は、動画像配信装置から階層符号化された動画像データを受信する動画像再生端末において、動画像配信装置から動画像データを受信する受信手段と、該受信手段が受信した動画像を表示する表示手段と、該表示手段に表示している動画像をスロー再生指示する指示手段と、該指示手段がスロー再生を指示した際の時間情報を含めたスロー再生コマンドを前記動画像配信装置に送信する送信手段と、を備え、前記表示手段は、前記送信手段が送信した前記時間情報に対応する動画像データの画像フレームから、通常再生時の画像データのフレーム間に挿入されたスロー再生用の階層符号化された動画像データの拡張部分のフレームに伴って書き換えられた画像データの時間情報に基づいて動画像を表示することを特徴とする。
【００１３】
本発明は、動画像再生端末に対して階層符号化された動画像データを送信する動画像配信装置において、動画像データとスロー再生用の動画像データを記憶する記憶手段と、前記動画像再生端末に対して動画像データを送信する送信手段と、前記動画像再生端末から送信されたコマンドを受信する受信手段と、前記受信手段がスロー再生コマンドを受信した際に当該コマンドに含まれる時間情報に基づいて動画像データを検索する検索手段と、を備え、前記送信手段は、前記検索手段が検索した前記時間情報に対応する動画像データの画像フレームから、通常再生時の画像データのフレーム間に、スロー再生用の前記階層符号化された動画像データの拡張部分のフレームを挿入するとともに、該拡張部分のフレームの挿入に伴って前記通常再生時の画像データに含まれる時間情報を書き換えて、前記動画像再生端末に動画像データを送信することを特徴とする。
【００１４】
本発明は、動画像配信装置から配信される階層符号化された動画像を動画像再生端末においてスロー再生する動画像の配信方法において、前記動画像再生端末が動画像のスロー再生指示を検出した時は、スロー再生コマンドに前記検出した時間情報を含めて前記動画像配信装置に送信し、前記スロー再生コマンドを受信した該動画像配信装置は、当該スロー再生コマンドに含まれる時間情報に対応する動画像データの画像フレームから、通常再生時の画像データのフレーム間に、スロー再生用の前記階層符号化された動画像データの拡張部分のフレームを挿入するとともに、該拡張部分のフレームの挿入に伴って前記通常再生時の画像データに含まれる時間情報を書き換えて、前記動画像再生端末に動画像データを送信することを特徴とする。
【００１５】
【発明の実施の形態】
以下、図面を参照し、本発明の一実施形態に係る動画像通信システムついて説明する。
【００１６】
図１は本発明の一実施形態に係る動画像通信システムのブロック図である。本動画像通信システムは、ネットワーク網に接続される動画像配信サーバー（動画像配信装置）100と、動画像配信サーバー100へ無線回線網を介して接続して所望の動画像データを再生する動画像再生端末200とを有してなる。
【００１７】
動画像再生端末200は、少なくとも動画像を表示するための表示手段206と、ネットワーク網へ接続してデータを送受信するネットワークインターフェイス手段202と、符号化された動画像データを復号化する画像復号化手段204と、動画像データ内に含まれる時間情報によって復号化された画像データを表示するタイミングを同期させる同期手段209と、受信した符号化された音声情報を復号化する音声復号化手段203と、復号化された音声情報を再生する音声再生手段205と、動画像配信サーバー100へコマンドを送出するコマンド送出部208と、ＣＰＵ部207と、ユーザが操作を行う操作部201とを有する。
【００１８】
動画像配信サーバー100は、ネットワーク網に接続するネットワークインターフェース部101と、動画像再生端末200から送られてくるコマンドを受信するコマンド受信手段102と、コマンドを解析するコマンド解析手段103と、コマンドに含まれる時間情報に基づいて時間的情報が合致する動画像データフレームを検索する検索手段106と、各画像フレームに対応する時間情報を含む階層符号化された動画像データ104を送出するとともに、音声データと動画像データ104の送出比率を変更可能なデータ送出部105とを有する。
【００１９】
次に、動画像通信システムの動作について説明する。まず、動画像再生端末200を用いるユーザが操作部201を操作し、ネットワークインターフェイス手段202を介して動画像配信サーバー100へ接続する。またユーザが操作部201を操作して所望の動画像データのコンテンツを選択することで、動画配信サーバー100から送信されてくる動画像データを、動画像再生端末200のネットワークインターフェイス部202が受信する。
【００２０】
ネットワークインターフェイス部202により受信された動画像データのうち、音声符号化データは、音声復号化手段203で復号化され、音声再生手段205により再生される。その受信された動画像データのうち、画像符号化データは、画像復号化手段204で復号化され、同期手段209により、動画像データに含まれる時間情報に同期して、表示手段206により再生される。
【００２１】
この動画像データを再生中に、ユーザがスローで再生したいシーンについて所望のタイミングで操作部201を操作すると、CPU部207はスロー再生要求の操作が行われたことを検出する。次いで、CPU部207は、現在再生を行っている画像フレームの時間情報を抽出し、その時間情報からｎ秒前の時間情報を作成し、それを格納したスロー再生コマンドをコマンド送出部208を介して動画像配信サーバー100へ送出する。
【００２２】
動画像配信サーバー100は、ネットワークインターフェイス部101及びコマンド受信手段102を介して受信したコマンドをコマンド解析手段103により解析する。解析したコマンドがスロー再生要求コマンドであった場合、コマンド解析手段103は、そのコマンド中に含まれる時間情報を抽出する。次いで、検索手段106が、その時間情報に対応した動画像フレームを動画像データ104から検索する。データ送出部105は、それまで送信を行っていた動画像データの送信を停止し、検索手段106が検索した動画像フレームから送信を行う。
【００２３】
ここで、もし、動画像データがMPEGやH.263等のようにフレーム内符号化データとフレーム間符号化データが存在するような圧縮方式で保存されており、かつ、検索手段106が検索した結果がフレーム間符号化データの部分であった場合には、以下の構成を動画像配信サーバー100に設けることにより対処する。すなわち、検索手段106は近傍のフレーム内符号化データも検索し、動画像配信サーバー100内に画像復号化手段を設け、その画像復号化手段により、検索されたフレーム間符号化データまで復号化を行い、再度そのフレームをフレーム内符号化することにより、正確に指定されたフレームよりデータを送出することが可能である。
また、そこまでの必要がない場合には、検索されたフレーム内符号化データの部分より、最も近いフレーム内符号化データを検索し、そこから送信を行えばよい。
【００２４】
データ送出部105は、それまで送信していた画像データに対して、音声フレームを削除し、かつ階層化された動画像符号化データの拡張部分を含めた動画像データの送信を開始する。この時、動画像再生端末200がスローで再生を行うことが可能なように、画像フレームに含まれる時間情報を書き換える。時間情報は、各画像フレームの表示間隔を示すものであり、時間情報で示される表示間隔を増大することにより、動画像再生端末200では、受信した動画像のスロー再生が可能となる。
【００２５】
また、動画像配信サーバーは階層化された動画像符号化データの拡張部分を含めた動画像データを送信するため、動画像再生端末200ではコマ落ちがないスムースなスロー再生が行える。
この際に、データ送出部105は、削除された音声フレームに相当するビットレート分の画像データを余分に送出できるため、より高画質な画像データを送出することも可能になる。
【００２６】
次に、動画像データと時間情報の関係について詳細に説明する。図２は、上記動画像通信システムにおける動画像データと時間情報の関係を示す図である。通常、動画像データを再生している場合には、通常再生時の画像データ303で示されるように画像データを送出し、この画像データには対応する時間情報として通常再生時の時間情報304が付加されていく。この例では、通常再生時、２ｆｐｓで再生される動画像データを示しているが特にこの限りではない。
【００２７】
スロー再生時には、階層符号化によって得られているスロー再生時に追加される画像データ301を通常再生時の画像データ303の画像フレーム間に補完する形で挿入していく。このとき図２に示すように時間情報は、ｍ個（ｍは１以上の整数）のフレームで補完する。再生時のフレームレートを一定にする場合には、スロー再生時の時間情報302で示されるような形で時間情報を書き換えることにより、動画像再生端末200側では、同一のフレームレートでスロー再生が可能となる。
【００２８】
図３は、本実施形態の動画像通信システムにおける時間軸に対応した送出データフォーマットを示す図である。図３において画像フレームのフレーム番号に関しては、図２のものと対応しており、この例では１／３倍にスロー再生を行う例を示している。
【００２９】
通常再生時には、通常再生時の送出データ401で示すように、通常再生時に送出する画像データと音声データを送出していく。スロー再生時には、スロー再生時の送出データ402で示すように、通常再生時に送出する画像データのフレーム間に、階層符号化された画像データの拡張部分のフレームを補完するように送出する。このとき音声データはスローにはできないので音声データの送出は削除してよい。
【００３０】
図４は、本実施形態の動画像通信システムにおいてリアルタイム配信をするときの構成を示すブロック図である。動画像再生端末200は図１で示したものと同じものである。図４の動画像配信サーバー500と図１の動画像配信サーバー100の主な相違点は、動画像配信サーバー500にはリアルタイムエンコーダー502と動画像バッファ501a,501ｂが設けられている点である。
【００３１】
リアルタイム配信を行う場合、リアルタイムエンコーダー502はリアルタイムで動画像の階層符号化を行い、動画像バッファ501a,501ｂへ一次記憶させる。通常再生時には、データ送出部505は動画像バッファ501aに蓄積されているデータのうち、通常再生時に使用する画像フレームのみを送出する。動画像バッファ501a,501bは、ｎ秒前までのスロー再生に対応するために、階層化された符号データも含めてｎ秒前までの画像データを常に蓄えている。
【００３２】
スロー再生コマンドをコマンド受信手段504が受信し、そのコマンドがコマンド解析手段506により解析されると、検索手段507は動画像バッファ501aよりその時間情報に対応したフレームを検索する。データ送出部505は、検索手段507の検索結果より、対応した画像フレームを動画像バッファ501aから階層化符号データを含めた形で取り込んで送信する。
【００３３】
スロー再生中のリアルタイムエンコードされた画像データは、動画像バッファ502bに最新のｎ秒前のデータのみ常に蓄積される。スロー再生が終了した後、通常再生に戻る際には、データ送出部505は動画像バッファ501bに蓄積されているデータを使用する。これにより、リアルタイム配信時でもスロー再生を行うことができる。
【００３４】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【００３５】
【発明の効果】
以上説明したように、本発明によれば、動画像配信装置より送信された動画像データを動画像再生端末が受信して再生してる最中に、ユーザが所望のシーンをスローで再生することができ、なおかつスロー再生時の画質を向上させることが可能な動画像通信システム、動画再生端末、動画像配信装置及び動画像の配信方法を提供することができる。
【図面の簡単な説明】
【図１】 本発明の実施形態に係る動画像通信システムを示すブロック図である。
【図２】 同上の動画像通信システムにおける動画像データと時間情報の関係を示す図である。
【図３】 同上の動画像通信システムにおける時間軸に対応した送出データフォーマットを示す図である。
【図４】 本実施形態の動画像通信システムにおいてリアルタイム配信をするときの構成を示すブロック図である。
【符号の説明】
１００ 動画像配信サーバー （動画像配信装置）
１０１ ネットワークインターフェイス部
１０２ コマンド受信手段
１０３ コマンド解析手段
１０４ 動画像データ
１０５ データ送出部
１０６ 検索手段
２００ 動画像再生端末
２０１ 操作部
２０２ ネットワークインターフェイス手段
２０３ 音声復号化手段
２０４ 画像復号化手段
２０５ 音声再生手段
２０６ 表示手段
２０７ CPU部
２０８ コマンド送出部
２０９ 同期手段
３０１ スロー再生時に追加される画像データ
３０２ スロー再生時の時間情報
３０３ 通常再生時の画像データ
３０４ 通常再生時の時間情報
４０１ 通常再生時の送出データ
４０２ スロー再生時の送出データ
５００ （リアルタイム配信可能な）動画像配信サーバー
５０１ａ 動画像バッファ
５０１ｂ 動画像バッファ
５０２ リアルタイムエンコーダー
５０３ ネットワークインターフェース部
５０４ コマンド受信手段
５０５ データ送出部
５０６ コマンド解析手段
５０７ 検索手段
Claims (6)
- ネットワーク網に接続されて、階層符号化された動画像データを配信する動画像配信装置と、該動画像配信装置に無線回線網を介して接続されている動画像再生端末とから構成される動画像通信システムにおいて、
前記動画像再生端末は、
前記動画像配信装置から動画像データを受信するデータ受信手段と、
該データ受信手段が受信した動画像を表示する表示手段と、
該表示手段に表示している動画像をスロー再生指示する指示手段と、
該指示手段がスロー再生を指示した際の時間情報を含めたスロー再生コマンドを前記動画像配信装置に送信するコマンド送信手段と、を備え、
前記動画像配信装置は、
前記動画像再生端末から送信されたコマンドを受信するコマンド受信手段と、
前記コマンド受信手段がスロー再生コマンドを受信した際に当該コマンドに含まれた時間情報に基づいて動画像データを検索する検索手段と、
該検索手段が検索した前記時間情報に対応する動画像データの画像フレームから、通常再生時の画像データのフレーム間に、スロー再生用の前記階層符号化された動画像データの拡張部分のフレームを挿入するとともに、該拡張部分のフレームの挿入に伴って前記通常再生時の画像データに含まれる時間情報を書き換えて、前記動画像再生端末に動画像データを送信するデータ送信手段と、
を備えたことを特徴とする動画像通信システム。 - 前記データ送信手段は、前記時間情報に対応する動画像データとスロー再生用の動画像データを前記動画像再生端末に送信する際は、音声データと動画像データの送信比率を変更して送信することを特徴とする請求項１記載の動画像通信システム。
- 前記コマンド送信手段は、前記指示手段がスロー再生を指示した際のｎ秒前の時間情報をスロー再生コマンドに含めて送信することを特徴とする請求項１記載の動画像通信システム。
- 動画像配信装置から階層符号化された動画像データを受信する動画像再生端末において、
動画像配信装置から動画像データを受信する受信手段と、
該受信手段が受信した動画像を表示する表示手段と、
該表示手段に表示している動画像をスロー再生指示する指示手段と、
該指示手段がスロー再生を指示した際の時間情報を含めたスロー再生コマンドを前記動画像配信装置に送信する送信手段と、を備え、
前記表示手段は、前記送信手段が送信した前記時間情報に対応する動画像データの画像フレームから、通常再生時の画像データのフレーム間に挿入されたスロー再生用の階層符号化された動画像データの拡張部分のフレームに伴って書き換えられた画像データの時間情報に基づいて動画像を表示することを特徴とする動画像再生端末。 - 動画像再生端末に対して階層符号化された動画像データを送信する動画像配信装置において、
動画像データとスロー再生用の動画像データを記憶する記憶手段と、
前記動画像再生端末に対して動画像データを送信する送信手段と、
前記動画像再生端末から送信されたコマンドを受信する受信手段と、
前記受信手段がスロー再生コマンドを受信した際に当該コマンドに含まれる時間情報に基づいて動画像データを検索する検索手段と、を備え、
前記送信手段は、前記検索手段が検索した前記時間情報に対応する動画像データの画像フレームから、通常再生時の画像データのフレーム間に、スロー再生用の前記階層符号化された動画像データの拡張部分のフレームを挿入するとともに、該拡張部分のフレームの挿入に伴って前記通常再生時の画像データに含まれる時間情報を書き換えて、前記動画像再生端末に動画像データを送信することを特徴とする動画像配信装置。 - 動画像配信装置から配信される階層符号化された動画像を動画像再生端末においてスロー再生する動画像の配信方法において、
前記動画像再生端末が動画像のスロー再生指示を検出した時は、スロー再生コマンドに前記検出した時間情報を含めて前記動画像配信装置に送信し、
前記スロー再生コマンドを受信した該動画像配信装置は、当該スロー再生コマンドに含まれる時間情報に対応する動画像データの画像フレームから、通常再生時の画像データのフレーム間に、スロー再生用の前記階層符号化された動画像データの拡張部分のフレームを挿入するとともに、該拡張部分のフレームの挿入に伴って前記通常再生時の画像データに含まれる時間情報を書き換えて、前記動画像再生端末に動画像データを送信することを特徴とする動画像の配信方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002347074A JP4112350B2 (ja) | 2002-11-29 | 2002-11-29 | 動画像通信システム、動画再生端末、動画像配信装置及び動画像の配信方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002347074A JP4112350B2 (ja) | 2002-11-29 | 2002-11-29 | 動画像通信システム、動画再生端末、動画像配信装置及び動画像の配信方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004180224A JP2004180224A (ja) | 2004-06-24 |
| JP4112350B2 true JP4112350B2 (ja) | 2008-07-02 |
Family
ID=32707782
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002347074A Expired - Fee Related JP4112350B2 (ja) | 2002-11-29 | 2002-11-29 | 動画像通信システム、動画再生端末、動画像配信装置及び動画像の配信方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4112350B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8572670B2 (en) | 2008-02-20 | 2013-10-29 | Nec Corporation | Video distribution device, video distribution system, and video distribution method |
| JP2012142874A (ja) * | 2011-01-06 | 2012-07-26 | Sony Corp | 情報処理装置、情報処理方法、およびプログラム |
| KR101750060B1 (ko) * | 2015-08-13 | 2017-06-22 | 이철우 | 반응형 영상 생성방법 및 생성프로그램 |
-
2002
- 2002-11-29 JP JP2002347074A patent/JP4112350B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004180224A (ja) | 2004-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101868280B1 (ko) | 정보 처리 장치, 정보 처리 방법 및 컴퓨터 판독 가능한 기록 매체 | |
| KR100945548B1 (ko) | 비디오 오류 회복 | |
| JP5026167B2 (ja) | ストリーム伝送サーバおよびストリーム伝送システム | |
| JP4695669B2 (ja) | 映像配信システム | |
| JP2000125260A (ja) | 動画像伝送サーバおよび同サーバを用いた動画像伝送システム並びに動画像伝送制御方法 | |
| CN101106697A (zh) | 数据传输系统、接收装置和方法、以及发送装置和方法 | |
| JP2003018568A (ja) | 再生システム、サーバ装置及び再生装置 | |
| US7072574B2 (en) | Method and apparatus for recording and playing back moving picture data | |
| JP4294933B2 (ja) | マルチメディアコンテンツ編集装置およびマルチメディアコンテンツ再生装置 | |
| JP5282383B2 (ja) | コンテンツ再生装置、コンテンツ再生方法、プログラム、およびコンテンツ再生システム | |
| JP4148673B2 (ja) | 映像配信システム | |
| JP4315914B2 (ja) | 画像再生装置及び画像再生方法 | |
| JP3935412B2 (ja) | 受信装置及び受信装置の制御方法、ストリームデータ配信システム | |
| JP4112350B2 (ja) | 動画像通信システム、動画再生端末、動画像配信装置及び動画像の配信方法 | |
| JP2002077820A (ja) | 蓄積再生装置およびデジタル放送送信装置 | |
| JP4406623B2 (ja) | 動画受信装置 | |
| JP2644132B2 (ja) | 動画像蓄積再生処理方法 | |
| JP2009164964A (ja) | 情報処理装置、情報処理方法、情報処理システム、及び情報処理プログラム | |
| JP2003284025A (ja) | マルチメディア情報伝送システム | |
| KR101378092B1 (ko) | 스트리밍 데이터 스킵 탐색 방법 및 장치 | |
| JP4271452B2 (ja) | 動画像配信方法、動画像配信システム、利用側装置、配信側装置 | |
| JP2005277803A (ja) | 動画像再生装置 | |
| JP2007036705A (ja) | 映像蓄積再生装置 | |
| JP2005136504A (ja) | ストリーミングサーバ、携帯端末、ストリーミングコンテンツ再生システム、ストリーミングコンテンツ再生方法、携帯端末制御プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050413 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070913 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071002 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071203 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080108 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080310 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080401 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080409 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110418 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120418 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130418 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140418 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |