JP5472094B2 - 動画像変換装置、動画像配信システム、動画像変換方法及びプログラム - Google Patents

Description

本発明は、動画像変換技術に関し、符号化された動画像圧縮符号化ビットストリームを端末側で早送り、巻き戻しする際の符号化データの変換および配信を行う動画像変換装置、動画像配信システム、動画像変換方法及びプログラムに関する。

近年、動画像信号を低ビットレートで効率良く伝送するための動画像圧縮符号化方式として、ＩＴＵ−Ｔ勧告Ｈ．２６１及びＨ．２６３、またはＩＳＯ／ＩＥＣで国際標準化されているＭＰＥＧ-４が知られている。また、ＩＴＵ−ＴとＩＳＯ／ＩＥＣで国際標準化されたＨ．２６４／ＭＰＥＧ−４ ＡＶＣが、上記の動画像圧縮符号化方式よりも動画像信号を効率良く伝送できる方式として注目を浴びている。

動画像圧縮符号化方式には、現在フレームの画像データのみを用いて符号化するイントラ予測によるものと、過去や未来のフレームの画像を参照して符号化するインター予測によるものとがある。

イントラ予測による方式は、入力画像フレームを符号化するときに、マクロブロックと呼ばれる単位毎にDCT (Discrete Cosine Transform)を行った後、DCT係数を可変長符号化する。もしくは、マクロブロックやマクロブロックを更に細かく分割したブロック毎に、左や上といった近傍のブロックの画素を用いて予測を行い、予測残差信号に対してDCTやDIT(Discrete
Integer Transform)を行った後、DCT係数、またはDIT係数を可変長符号化する。

一方、インター予測による方式は、入力画像フレームを符号化するときに、過去、または未来のフレームの復号画素との間で、動き補償予測を行って予測残差信号を求め、これに対してDCTまたはDITを行った後、動きベクトルやDCT係数等を可変長符号化する。
特開２００２−３７４５１５号公報 特開平０９−２７５５４５号公報

上述したような動画像圧縮符号化方式で符号化されたデータ（符号化データ）を、ネットワーク上のサーバーから端末側に配信し再生する場合は、符号化データを基の動画像信号へ復号する必要が生じるが、この場合以下のような問題があることが指摘されている。

第１の問題点は、端末で動画像信号を間隔をあけて再生される場合があるが、このような場合にはそれらのデータを一時的にバッファリングするために端末に多大なメモリを持つ必要があることである。その理由は、端末で復号した動画像信号を間隔をあけて再生するためには配信されたすべての符号化データ、もしくはすべての符号化データを復号した動画像信号を保存しておく必要があるためである。

第２の問題点は、ネットワークを介して配信された符号化データを端末が早送りや巻き戻しで再生する場合に、早送りや巻き戻し再生が円滑に行われない場合があることである。その理由は、現行の符号化データの配信技術では早送り、巻き戻し再生で表示するフレーム以外の符号化データも受信する必要があるため、受信データ量が多くなりデータ伝送に相応の時間を要するからである。

第３の問題点は、特定のフレームタイプのみを抽出した場合、早送り、巻き戻し再生のスピードを制御できないことである。その理由は、早送り、巻き戻し再生で使うフレームタイプの間隔は圧縮する時点で決められてしまい、その再生時には調整できないからである。

第４の問題点は、特定のフレームタイプのみを抽出して復号する場合、再生映像が乱れてしまう場合があることである。その理由は、特定のフレームタイプのみを抽出して復号する場合、符号化時に参照していたデータが抽出されたデータの中に存在しないことがあるので復号時に不整合が生じるからである。

上記の問題点に関連して、特開２００２−３７４５１５号公報（特許文献１）、特開平０９−２７５５４５号公報（特許文献２）等に記載される技術が存在する。特許文献１には、ネットワーク接続された配信サーバーから端末に動画像データを配信するシステムにおいて、ユーザ指定により動画像データの必要フレームを抽出し、配信する技術が開示されている。また、特許文献２には、動画像データのジャンプ、飛ばし読み再生時、早送りから通常に戻る再生時に用いる蓄積フォーマット変換部の構成が開示されている。

しかしながら特許文献１に開示の技術では、配信サーバー上の一部の動画像データのみを配信して端末で受信するデータ量を少なくすることはできるものの、ユーザが早送りや巻き戻し再生を要求する場合での配信データ量を少なくする方法は明示されていない。従って、早送りや巻き戻し再生を要求する場合には、これに相応する動画像データのすべてが配信されることとなって、配信するデータ量の削減や円滑な再生は期待できないという問題がある。

また、特許文献２に開示の技術では、ジャンプや飛ばし読みなどシーケンスと異なる順番でフレーム再生する場合、読み出したブロックが直前のブロックと符号化シーケンス上連続するか否かを示す情報を復号化単位毎に設け、新旧ブロック領域に今までと異なる値を設定する必要がある。このため、処理に時間を要すると共に配信データ量を少なくするのが困難である。

（発明の目的）
本発明の目的は、ネットワークを介して符号化データを配信する場合に、端末に多大なメモリを設ける必要のない動画像変換装置、動画像配信システム、動画像変換方法及びプログラムを提供することである。

本発明の他の目的は、端末が早送り、巻き戻し再生に必要が無い符号化データを受信しなくても良い動画像変換装置、動画像配信システム、動画像変換方法及びプログラムを提供することである。

本発明の他の目的は、端末が早送り、巻き戻し再生を行う際に、その符号化データのフレームタイプに依存せず、早送り、巻き戻し再生を行える動画像変換装置、動画像配信システム、動画像変換方法及びプログラムを提供することである。

本発明の他の目的は、早送り、巻き戻し再生の動画像信号の画質を向上させる動画像変換装置、動画像配信システム、動画像変換方法及びプログラムを提供することである。

本発明による動画像変換装置は、操作信号の要求に従って、受信した動画像の符号化データから必要なフレームの符号化データを抽出する手段と、抽出したフレームの符号化データを端末に送信する手段を含む。

本発明による動画像変換方法は、操作信号の要求に従って、受信した動画像の符号化データから必要なフレームの符号化データを抽出するステップと、抽出したフレームの符号化データを端末に送信するステップを含む。

本発明による動画像変換プログラムは、コンピュータに、操作信号の要求に従って、受信した動画像の符号化データから必要なフレームの符号化データを抽出する処理と、抽出したフレームの符号化データを端末に送信する処理を実行させる。

第１の効果は、ネットワークを介して符号化データを配信する場合に、端末が多大なメモリを設ける必要がないことである。

第２の効果は、端末が早送り、巻き戻し再生に必要が無い符号化データを受信しなくても良いことである。

第３の効果は、端末が早送り、巻き戻し再生を行う際に符号化データのフレームタイプに依存せずに、早送り、巻き戻し再生を行えることである。

第４の効果は、早送り、巻き戻し再生の動画像信号の画質を向上させることができることである。

本発明の第１の実施の形態に係る動画像配信システムにおける構成を示したブロック図である。 図１のトランスコーダにおける詳細な構成を示すブロック図である。 動画像変換装置の動作を示したフローチャートである。 本発明の第２の実施の形態に係る動画像配信システムにおける構成を示したブロック図である。 図４のトランスコーダの詳細な構成を示すブロック図である。 動画像変換装置の動作を示したフローチャートである。 本発明の第３の実施の形態に係る動画像配信システムにおける構成を示すブロック図である。 図７のトランスコーダの詳細な構成を示すブロック図である。 動画像変換装置の動作を示したフローチャートである。 端末から巻き戻し再生の要求があった場合のフレームの配信順位を説明するための図である。 予測ミスマッチを補正する変換処理について説明するための図である。 本発明の実施の形態による動画像変換装置のハードウェア構成例を示すブロック図である。

（第１の実施の形態）
次に、本発明の第１の実施の形態について図面を参照して詳細に説明する。

（第１の実施の形態の構成）
図１、図２を参照して、本実施の形態における動画像配信システムの全体構成について詳細に説明する。図１は動画像配信システムにおける詳細な構成を示したブロック図である。動画像配信システム１００は、配信サーバー１０１、動画像変換装置１０２、端末１０３を備えている。

配信サーバー１０１は、動画像変換装置１０２からの符号化データ取得要求１０４に従って、動画像変換装置１０２へ符号化データ１０５を送信する。また、この際、配信サーバー１０１は送信する符号化データをフレーム単位に昇順または降順で送信する機能を有している。

符号化データ取得要求１０４は、符号化データの選択や、再生、停止、一時停止、早送り、巻き戻し再生の操作を行うために必要な符号化データの取得順序情報を含む。再生、早送り再生を行う場合は、符号化データをそのフレームの順番通りに送る様に要求し、巻き戻し再生を行う場合は、現在のフレームから逆順に符号化データを送る様に要求する。

符号化データ１０５は、動画像信号を圧縮した符号化データの他に、動画像信号を圧縮したときのパラメータの情報（能力情報）を含む。能力情報としては、例えばＤＣＩ(Decoder Configuration Infomation)やＳＰＳ(Sequence Parameter Set)、ＰＰＳ(Picture
Parameter Set)がある。

動画像変換装置１０２は、第１送受信部１０８、命令解析部１０９、トランスコーダ１１０、第２送受信部１１１を含む。

第１送受信部１０８は、命令解析部１０９で生成された符号化データ取得要求１０４を受信し、配信サーバー１０１へ送信する。また、配信サーバー１０１から符号化データ１０５を受信して、トランスコーダ１１０に送信する。

命令解析部１０９は、第２送受信部１１１から受信した操作信号１１５を解析し、解析した結果に基づいて符号化データ取得要求１１２を第１送受信部１０８に送信する。また、命令解析部１０９は、操作信号１１５を解析した結果に基づき、トランスコーダ１１０へ符号化データ変換要求１１４を送信する。

符号化データ変換要求１１４は、トランスコーダ１１０に対して、第１送受信部１０８から受信した符号化データ１１３を、操作信号１１５が要求する早送りまたは巻き戻し再生の速度に基づいて、一定のフレーム間隔を空けてフレーム単位で抽出する様に要求する。

トランスコーダ１１０は、第１送受信部１０８からの符号化データ１１３を受信し、命令解析部１０９からの符号化データ変換要求１１４の内容に基づいて、受信した符号化データを変換し、これを符号化データ１１６として第２送受信部１１１へ送信する。トランスコーダ１１０の具体的な構成については後述する。

第２送受信部１１１は、端末１０３から送信された操作信号１０６を受信して命令解析部１０９へ送信する。また、トランスコーダ１１０からの符号化データ１１６を符号化データ１０７として端末１０３へ送信する。

操作信号１０６には、符号化データの選択や、再生、停止、一時停止、早送り、巻き戻し再生の操作情報、早送り、巻き戻し再生の速度情報が含まれる。

端末１０３は、ユーザが動画像をその所望する方法で再生する端末であり、所望の符号化データを再生、停止、一時停止、早送り、巻き戻しするために、操作信号１０６を動画像変換装置１０２に送信する。そして、動画像変換装置１０２から受信した符号化データを復号し表示する機能を有する。

本実施の形態における動画像変換装置１０２は、配信サーバー１０１の中にあっても良いし、ネットワーク上の他の場所に設置されても良い。

図２は、図１のトランスコーダ１１０における詳細な構成を示すブロック図である。図においてトランスコーダ１１０は、受信バッファ２０１、解析部２０２、送信バッファ２０３を備えている。

受信バッファ２０１は、第１送受信部１０８から受信した符号化データ１１３を解析部２０２へ送信する。

解析部２０２は、命令解析部１０９から受信した符号化データ変換要求１１４に基づいて、受信バッファ２０１から受信した符号化データ２０４を、一定のフレーム間隔を空けてフレーム単位で抽出して、符号化データ２０５として送信バッファ２０３へ送信する。

送信バッファ２０３は、解析部２０２から受信した符号化データ２０５を第２送受信部１１１へ送信する。

（第１の実施の形態による動作）
次に、図３に沿って、端末から動画像の配信要求があった場合の、第１の実施の形態における動画像変換装置１０２における動作について説明する。図３は動画像変換装置１０２の動作を示したフローチャートである。

図において、端末１０３からの動画像の配信要求があると、命令解析部１０９において、その操作信号１１５の内容が解析される（ステップＳ３０１）。命令解析部１０９は操作信号１１５から端末によって要求されている符号化データを特定し、配信サーバー１０１にその配信を要求する（ステップＳ３０２）。

次いで、配信サーバー１０１からの符号化データ１０５の受信を所定のタイムアウト期間待つ（ステップＳ３０３）。符号化データが配信サーバー１０１から送信されてくると、命令解析部１０９は、先の操作信号１１５の解析結果に従って、トランスコーダ１１０に対して受信した符号化データの変換を要求する（ステップＳ３０４）。

トランスコーダ１１０が命令解析部１０９からのこの要求を受けると、その要求されている再生方法、すなわち再生、停止、一時停止、早送り、巻き戻しの各方法に準じて、符号化データを一定フレーム間隔を空けてフレーム単位で抽出する（ステップＳ３０５）。そして、この抽出された符号化データを端末１０３へ送信する（ステップＳ３０６）。端末１０３においてはこの送信された符号化データは、復号化されその要求されている方法で再生される。

（第１の実施の形態の効果）
以上説明したように、本実施の形態によれば、少ない演算量で、端末に多大なメモリを搭載せず、かつ端末で不要な符号化データを受信しなくても早送り、巻き戻しを行えるといった効果がある。

（第２の実施の形態）
（第２の実施の形態の構成）
次に、本発明の第２の実施の形態について、図４〜図６を参照して詳細に説明する。図４は、本発明の第２の実施の形態に係る動画像配信システムにおける構成を示すブロック図である。なお、以下では、先の実施の形態と同じ構成部分には同じ符号を付してその説明については省略する。

画像配信システム４００は、配信サーバー１０１、動画像変換装置４０１、端末１０３を備え、動画像変換装置４０１は、第１送受信部１０８、命令解析部４０２、トランスコーダ４０３、第２送受信部１１１を備えている。

命令解析部４０２は、第２送受信部１１１から受信した操作信号１１５を解析し、解析した結果に基づいて符号化データ取得要求１１２を第１送受信部１０８に送信する。また、命令解析部４０２は、操作信号１１５を解析した結果に基づき、トランスコーダ４０３へ符号化データ変換要求４０４を送信する。

符号化データ変換要求４０４は、トランスコーダ４０３に対して、第１送受信部１０８から受信した符号化データ１１３を、操作信号１１５の早送り、巻き戻し再生に基づいて、特定のフレームタイプのみフレーム単位で抽出する様に要求する。このとき、早送り再生のときの特定のフレームタイプとしては、例えばイントラ予測符号化されたフレーム及び、過去のフレームを参照してインター予測符号化されたフレームが考えられる。もしくは、イントラ予測符号化されたフレームのみのものでも良い。巻き戻し再生のときの特定のフレームタイプとしては、イントラ予測符号化されたフレームが考えられる。また、早送り、巻き戻し再生の速度を上げる場合は、特定のフレームタイプを一部飛ばして抽出する。抽出する判断情報としては、例えば時間情報、フレームタイプの限定、フレームをスキップする枚数をトランスコーダ４０３に送信する。

トランスコーダ４０３は、第１送受信部１０８からの符号化データ１１３を受信し、命令解析部４０２からの符号化データ変換要求４０４の内容に基づいて、受信した符号化データを変換し、これを符号化データ４０５として第２送受信部１１１へ送信する。

図５は、本実施の形態に係るトランスコーダ４０３の詳細な構成を示すブロック図である。トランスコーダ４０３は、受信バッファ２０１、解析部５０１、送信バッファ２０３から構成される。

解析部５０１は、命令解析部４０２から受信した符号化データ変換要求４０４に基づいて、受信バッファ２０１から受信した符号化データ２０４から、特定のフレームタイプのみをフレーム単位で抽出して送信バッファ２０３へ送信する。また、符号化データ変換要求４０４で早送り、巻き戻し再生の速度を上げる様に要求があった場合は、抽出するフレームを一部飛ばして送信バッファ２０３へ送信する。例えば、読み飛ばす時間間隔の情報が通知された場合、符号化データに含まれる能力情報の時間情報を基にして、読み飛ばすフレーム枚数を計算することにより、フレームを抽出する。

フレームタイプを限定する場合は、符号化データ変換要求４０４で通知されたフレームタイプのみを抽出する。フレームをスキップする枚数が符号化データ変換要求４０４で通知された場合は、早送り、巻き戻し再生で抽出するフレームタイプからスキップする枚数毎に抜き出して抽出する。もしくは、受信した符号化データの中からフレームスキップする枚数分読み飛ばした後に現れる特定のフレームタイプの符号化データを抽出するようにしても良い。

本実施の形態における動画像変換装置４０１も、配信サーバー１０１の中に設けても良いし、ネットワーク上の他の場所に設置されても良い。

（第２の実施の形態の動作）
次に、図６に沿って、端末から動画像の配信要求があった場合の、第２の実施の形態における動画像変換装置４０１における動作について説明する。図６は動画像変換装置４０１の動作を示したフローチャートである。

図において、端末１０３からの動画像の配信要求があると、命令解析部４０２において、その操作信号１１５の内容が解析される（ステップＳ６０１）。命令解析部４０２は操作信号１１５から端末によって要求されている符号化データを特定し、配信サーバー１０１にその配信を要求する（ステップＳ６０２）。

次いで、配信サーバー１０１からの符号化データ１０５の受信を所定のタイムアウト期間待つ（ステップＳ６０３）。符号化データが配信サーバー１０１から送信されてくると、命令解析部４０２は、先の操作信号１１５の解析結果に従って、トランスコーダ４０３に対して受信した符号化データの変換を要求する（ステップＳ６０４）。

トランスコーダ４０３が命令解析部４０２からのこの要求を受けると、その要求されている再生方法、すなわち早送り、巻き戻し再生に基づいて、受信した符号化データを、特定のフレームタイプのみフレーム単位で抽出する（ステップＳ６０５）。そして、この抽出された符号化データを端末１０３へ送信する（ステップＳ６０６）。端末１０３においてはこの送信された符号化データは、復号化されその要求されている方法で再生される。

（第２の実施の形態の効果）
以上説明したように、本実施の形態によれば、少ない演算量で、端末に多大なメモリを搭載せず、かつ端末で不要な符号化データを受信しなくても早送り、巻き戻しを行える効果がある。なお、本実施の形態では、第１の実施の形態の構成に比べて解析部５０１での処理量が増える傾向があるが、端末で早送り、巻き戻しするための符号化データを復号する場合にその画質を向上させることができるという利点がある。

（第３の実施の形態）
（第３の実施の形態の構成）
次に、本発明の第３の実施の形態について、図７〜図１１を参照して詳細に説明する。図７は、本発明の第３の実施の形態に係る動画像配信システムにおける構成を示すブロック図である。なお、以下では、先の実施の形態と同じ構成部分には同じ符号を付してその説明については省略する。

画像配信システム７００は、配信サーバー７１０、動画像変換装置７０１、端末１０３を備え、動画像変換装置７０１は、第１送受信部１０８、命令解析部７０４、トランスコーダ７０５、第２送受信部１１１を備えている。

配信サーバー７１０は、動画像変換装置７０１からの符号化データ取得要求１０４に従って、動画像変換装置７０１へ符号化データ７０２を送信する。また、この際、符号化データをフレーム単位に順序通り、もしくは逆順に送信する機能を有している。特に、巻き戻しを行う場合は、イントラ予測符号化されたフレームを先頭にして次のイントラ予測符号化フレームの直前までのフレームを順序通りに送信した後、このイントラ予測符号化フレームの１つ前のイントラ予測符号化フレームに遡り、遡ったイントラ予測フレームを先頭にしてその直前までのフレームを送信する機能を有している。

図１０は、この様子を図解したものである。すなわち、端末から巻き戻し再生の要求があった場合、同図（ａ）に示した、もとの符号化データ順序は、配信サーバー７１０において、同図（ｂ）に示すように、フレームの配信順位の置き換えが行われ、これが出力される。

図７に戻り、動画像変換装置７０１は、第１送受信部１０８、命令解析部７０４、トランスコーダ７０５、第２送受信部１１１から構成される。

命令解析部７０４は、第２送受信部１１１から受信した操作信号１１５を解析し、解析した結果に基づいて符号化データ取得要求１１２を第１送受信部１０８に送信する。また、命令解析部７０４は、操作信号１１５を解析した結果に基づき、トランスコーダ７０５へ符号化データ変換要求７０７を送信する。

符号化データ変換要求７０７は、トランスコーダ７０５に対して、第１送受信部１０８から受信した符号化データ７０６を、操作信号１１５の早送り、巻き戻し再生に基づいて特定のフレームタイプのみ、あるいは、一定のフレーム間隔でフレーム単位に抽出する様に要求する。このとき、早送り再生のときの特定のフレームタイプとしては、例えばイントラ予測符号化されたフレーム及び、過去のフレームを参照してインター予測符号化されたフレームが考えられる。もしくは、イントラ予測符号化されたフレームのみのものでも良い。巻き戻し再生のときの特定のフレームタイプとしては、イントラ予測符号化されたフレームが考えられる。また、早送り、巻き戻し再生の速度を上げる場合は、特定のフレームタイプを一部飛ばして抽出する。早送り、巻き戻し再生の速度を落とす場合は、特定のフレームタイプ以外のフレームを特定のフレームタイプに変換する。抽出、変換する判断情報としては、例えば時間情報、フレームタイプの限定、フレームをスキップする枚数をトランスコーダ７０５に送信する。

トランスコーダ７０５は、第１送受信部１０８からの符号化データ７０６を受信し、命令解析部７０４からの符号化データ変換要求７０７の内容に基づいて、受信した符号化データを変換し、これを符号化データ７０８として第２送受信部１１１へ送信する。

図８は、本実施の形態に係るトランスコーダ７０５の詳細な構成を示すブロック図である。トランスコーダ７０５は、受信バッファ２０１、変換制御部８００、解析部８０１、画像復号部８０２、画像符号化部８０３、スイッチ８０４、送信バッファ２０３から構成される。

変換制御部８００は、符号化データ変換要求７０７に基づいて、解析部８０１へ符号化データ抽出要求８０６を送信し、画像符号化部８０３へ符号化データ変換要求８１２を送信する。

符号化データ抽出要求８０６は、受信バッファ２０１から受信した符号化データ８０５を、早送り、巻き戻し再生に基づいて特定のフレームタイプのみ、あるいは、一定のフレーム間隔でフレーム単位に抽出する様に要求する。また、早送り、巻き戻し再生の速度を上げる場合は、特定のフレームタイプを一部飛ばして抽出する様に要求する。抽出、変換する判断情報としては、例えば時間情報、フレームタイプの限定、フレームをスキップする枚数をトランスコーダ７０５に送信する。

解析部８０１は、変換制御部８００から受信した符号化データ抽出要求８０６に基づいて、受信バッファ２０１からの符号化データ８０５から、特定のフレームタイプのみ、もしくは一定の間隔でフレーム単位に抽出して送信バッファ２０３へ送信する。また、符号化データ変換要求７０７で早送り、巻き戻し再生の速度を上げる様に要求があった場合は、抽出するフレームを一部飛ばして送信バッファ２０３へ送信する。例えば、読み飛ばす時間間隔の情報が通知された場合、符号化データに含まれる能力情報の時間情報を基にして、読み飛ばすフレーム枚数を計算して抽出する。

フレームタイプを限定する場合は、符号化データ抽出要求８０６で通知されたフレームタイプのみを抽出する。フレームをスキップする枚数が符号化データ抽出要求８０６で通知された場合は、早送り、巻き戻し再生で抽出するフレームタイプからスキップする枚数毎に抜き出して抽出する。もしくは、受信した符号化データの中からフレームスキップする枚数分読み飛ばした後に現れる特定のフレームタイプの符号化データを抽出しても良い。

解析部８０１は、抽出した符号化データ８１１をスイッチ８０４へ送信する。また、受信バッファ２０１から受信した符号化データ８０５を画像復号部８０２へ送信する。更に、解析部８０１は、受信バッファ２０１から受信した符号化データ８０５を解析したときの予測ミスマッチの有無の解析結果８１０や、符号化データ８０５に含まれる能力情報８０９を画像符号化部８０３へ通知する機能を有する。

画像復号部８０２は、解析部８０１から受信した符号化データ８０７を復号し、生成した動画像信号８０８を画像符号化部８０３へ送信する機能を有する。

画像符号化部８０３は、変換制御部８００から受信した符号化データ変換要求８１２に基づいて、画像復号部８０２から受信した動画像信号８０８を符号化し、符号化データ８１３をスイッチ８０４へ送信する。この符号化を実行する際、解析部８０１から受信した能力情報８０９を用いて、配信サーバー７１０から受信した符号化データ７０２と同じ能力情報で符号化する。なお、能力情報は画像復号部８０２から取得しても良い。

符号化データ変換要求としては、例えば、読み飛ばす時間間隔の情報が通知された場合、能力情報の時間情報を基にして、読み飛ばすフレーム枚数を計算して変換する。フレームをスキップする枚数が符号化データ変換要求７０７で通知された場合は、早送り、巻き戻し再生で抽出するフレームタイプからスキップする枚数毎に抜き出して変換する。

また、符号化データ変換要求８１２で予測ミスマッチを補正する要求がされると、解析部８０１からの解析結果８１０に基づいて、対象となるフレームの動画像信号８０８を符号化して、スイッチ８０４へ符号化データ８１３を送信する。予測ミスマッチを補正する変換処理については、図１１に一例を示す。

図１１（ａ）は予測ミスマッチの補正が行われない、一般的な符号化データの抽出を図示したものであり、同図（ｂ）は本実施の形態に係る予測ミスマッチの補正が行われた符号化データの抽出を図示したものである。同図（ａ）において、もとの符号化データにはインター予測による方式を用いて構築されたフレーム（インターフレーム）が存在し、ここから奇数フレームのみを抽出する変換を行った場合、動き補償予測のフレームが失われて予測ミスマッチが生じ、これが再生動画像の乱れとなる。一方、本実施の形態に係る同図（ｂ）では、画像符号化部８０３において、抽出後に存在するフレームを予想に使うよう再符号化が行われるので、再生動画像の乱れの問題は生じない。なお、図１１では、奇数フレームのみを抽出した場合について記載しているが、本変換処理は偶数フレームのみを抽出した場合や、任意のフレームを抽出した場合でも可能であることは明らかである。

図８に戻り、スイッチ８０４は、解析部８０１から受信した符号化データ８１１や、画像復号化部８０３から受信した符号化データ８１３を送信バッファ２０３へ送信する。

本実施の形態における動画像変換装置７０１も、配信サーバー１０１の中にあっても良いし、ネットワーク上の他の場所に設置されても良い。

（第３の実施の形態の動作）
次に、図９に沿って、端末から動画像の配信要求があった場合の、第３の実施の形態における動画像変換装置７０１における動作について説明する。図９は動画像変換装置７０１の動作を示したフローチャートである。

図において、端末１０３からの動画像の配信要求があると、命令解析部７０４において、その操作信号１１５の内容が解析される（ステップＳ９０１）。命令解析部７０４は操作信号１１５から端末によって要求されている符号化データを特定し、配信サーバー７１０にその配信を要求する（ステップＳ９０２）。この要求には、符号化データをフレーム単位に順序通り、もしくは逆順に送信する要求が含まれる。配信サーバー７１０側では、この要求に従って、符号化データをフレーム単位に順序通り、もしくは逆順に送信する。

次いで、配信サーバー７１０からの符号化データ７０２の受信を所定のタイムアウト期間待つ（ステップＳ９０３）。符号化データが配信サーバー７１０から送信されてくると、命令解析部７０４は、先の操作信号１１５の解析結果に従って、トランスコーダ７０５に対して受信した符号化データの変換を要求する（ステップＳ９０４）。

次いで、符号化データ変換要求８１２で予測ミスマッチを補正する要求があるか判断され（ステップＳ９０５）、要求がある場合、受信データを復号化して予測ミスマッチの補正を行いこれを再符号化する（ステップＳ９０６）。

トランスコーダ７０５が命令解析部７０４からの符号化データ変換要求を受けると、その要求されている再生方法、すなわち早送り、巻き戻し再生に基づいて、受信した符号化データを、特定のフレームタイプのみフレーム単位で抽出する（ステップＳ９０７）。

また、早送り、巻き戻し再生の速度を上げる要求が操作信号１１５に含まれている場合は、特定のフレームタイプを一部飛ばして抽出する様に要求する。抽出、変換する判断情報として、例えば時間情報、フレームタイプの限定、フレームをスキップする枚数がトランスコーダ７０５に送信される。そして、この抽出された符号化データを端末１０３へ送信する（ステップＳ９０８）。端末１０３においてはこの送信された符号化データは、復号化されその要求されている方法で再生される。

（第３の実施の形態の効果）
以上説明したように、本実施の形態によれば、少ない演算量で、端末に多大なメモリを搭載せず、かつ端末で不要な符号化データを受信しなくても早送り、巻き戻しを行える効果がある。なお、本実施の形態では、第１および第２の実施の形態の構成に比べてトランスコーダ７０５での処理量が増える傾向があるが、端末で早送り、巻き戻しするための符号化データを復号する場合に予測ミスマッチによる画質劣化を抑え、かつ早送り、巻き戻し再生の速度調節が柔軟に行えるといった効果がある。

ここで、上記各実施の形態による動画像変換装置のハードウェア構成について、図１２を参照して説明する。

図１２を参照すると、動画像変換装置は、一般的なコンピュータ装置と同様のハードウェア構成によって実現することができ、ＣＰＵ（Central
Processing Unit）１００１、ＲＡＭ（Random Access Memory）等のメインメモリであり、データの作業領域やデータの一時退避領域に用いられる主記憶部１００２、ネットワークを介して他のノードとデータの送受信を行う通信部１００３、外部装置と接続してデータの送受信を行う入出力インタフェース部１００４、入出力インタフェース部１００４を介して接続されるＲＯＭ（Read Only
Memory）、磁気ディスク、半導体メモリ等の不揮発性メモリから構成されるハードディスク装置である補助記憶部１００５、上記各構成要素を相互に接続するシステムバス１００６、ディスプレイ装置等の出力装置１００７及びキーボード等の入力装置１００８を備えている。

本実施の形態による動画像変換装置は、上述した各機能を提供する動画像変換プログラムを組み込んだ、ＬＳＩ（Large Scale Integration）等のハードウェア部品である回路部品を実装することにより、その動作をハードウェア的に実現することは勿論として、動画像変換装置が備える各手段の機能を提供する動画像変換プログラムを、補助記憶部１００５に格納し、そのプログラムを主記憶部１００２にロードしてＣＰＵ１００１で実行することにより、ソフトウェア的に実現することも可能である。

以上好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも、上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形して実施することができる。

この出願は、２００８年３月３１日に出願された日本出願特願２００８−０９０３５６を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (10)

1. 動画像の操作信号を端末から受信する手段と、
   前記受信した操作信号を解析する手段と、
   前記操作信号の要求に従って、動画像を蓄積した配信サーバーに対象の動画像の配信を要求する手段と、
   前記配信サーバーから動画像の符号化データを受信する手段と、
   前記受信した動画像の符号化データを復号する手段と、
   前記操作信号の要求に従って、前記復号した動画像のデータを再構成し符号化する手段と、
   前記操作信号の要求に従って、前記受信した動画像の符号化データから必要なフレームの符号化データを抽出する手段と、
   前記操作信号の要求に従って、前記抽出されたフレームの符号化データを並び替える手段と、
   前記抽出したフレームの符号化データを前記端末に送信する手段とを備え、
   前記必要なフレームの符号化データを抽出する手段が、
   前記受信した動画像の符号化データから、一定のフレーム間隔で、特定のフレームタイプの符号化データのみを抽出し、
   前記配信サーバーに対象の動画像の配信を要求する手段が、
   前記端末から受信した操作信号が巻き戻し再生の要求であった場合に、前記配信サーバーに符号化データを要求する際に、イントラ予測符号化されたフレームを先頭にして次のイントラ予測符号化フレームの直前までのフレームを順序通りに送信し、その後、当該イントラ予測符号化フレームの１つ前のイントラ予測符号化フレームに遡り、遡ったイントラ予測フレームを先頭にしてその直前までのフレームを送信する旨を要求する
   ことを特徴とする動画像変換装置。
2. 前記必要なフレームの符号化データを抽出する手段が、読み飛ばす時間間隔の情報に基づいて、前記特定のフレームタイプの符号化データを一部飛ばして抽出することを特徴とする請求項１に記載の動画像変換装置。
3. 前記復号した動画像のデータを再構成し符号化する手段が、データ上の予測ミスマッチを補正する手段を含むことを特徴とする請求項１又は請求項２に記載の動画像変換装置。
4. 蓄積した動画像を符号化して配信する配信サーバーと、符号化された動画像を受信し復号して再生する端末と、請求項１から請求項３に記載の動画像変換装置を、ネットワークで相互接続してなる動画像配信システム。
5. 動画像の操作信号を端末から受信するステップと、
   前記受信した操作信号を解析するステップと、
   前記操作信号の要求に従って、動画像を蓄積した配信サーバーに対象の動画像の配信を要求するステップと、
   前記配信サーバーから動画像の符号化データを受信するステップと、
   前記受信した動画像の符号化データを復号するステップと、
   前記操作信号の要求に従って、前記復号した動画像のデータを再構成し符号化するステップと、
   前記操作信号の要求に従って、前記受信した動画像の符号化データから必要なフレームの符号化データを抽出するステップと、
   前記操作信号の要求に従って、前記抽出されたフレームの符号化データを並び替えるステップと、
   前記抽出したフレームの符号化データを前記端末に送信するステップとを含み、
   前記必要なフレームの符号化データを抽出するステップにおいて、
   前記受信した動画像の符号化データから、一定のフレーム間隔で、特定のフレームタイプの符号化データのみを抽出し、
   前記配信サーバーに対象の動画像の配信を要求するステップにおいて、
   前記端末から受信した操作信号が巻き戻し再生の要求であった場合に、前記配信サーバーに符号化データを要求する際に、イントラ予測符号化されたフレームを先頭にして次のイントラ予測符号化フレームの直前までのフレームを順序通りに送信し、その後、当該イントラ予測符号化フレームの１つ前のイントラ予測符号化フレームに遡り、遡ったイントラ予測フレームを先頭にしてその直前までのフレームを送信する旨を要求する
   ことを特徴とする動画像変換方法。
6. 前記必要なフレームの符号化データを抽出するステップにおいて、読み飛ばす時間間隔の情報に基づいて、前記特定のフレームタイプの符号化データを一部飛ばして抽出することを特徴とする請求項５に記載の動画像変換方法。
7. 前記復号した動画像のデータを再構成し符号化するステップが、データ上の予測ミスマッチを補正するステップを備えることを特徴とする請求項５又は請求項６に記載の動画像変換方法。
8. コンピュータに、
   動画像の操作信号を端末から受信する処理と、
   前記受信した操作信号を解析する処理と、
   前記操作信号の要求に従って、動画像を蓄積した配信サーバーに対象の動画像の配信を要求する処理と、
   前記配信サーバーから動画像の符号化データを受信する処理と、
   前記受信した動画像の符号化データを復号する処理と、
   前記操作信号の要求に従って、前記復号した動画像のデータを再構成し符号化する処理と、
   前記操作信号の要求に従って、前記受信した動画像の符号化データから必要なフレームの符号化データを抽出する処理と、
   前記操作信号の要求に従って、前記抽出されたフレームの符号化データを並び替える処理と、
   前記抽出したフレームの符号化データを前記端末に送信する処理とを実行させ、
   前記必要なフレームの符号化データを抽出する処理において、
   前記受信した動画像の符号化データから、一定のフレーム間隔で、特定のフレームタイプの符号化データのみを抽出し、
   前記配信サーバーに対象の動画像の配信を要求する処理において、
   前記端末から受信した操作信号が巻き戻し再生の要求であった場合に、前記配信サーバーに符号化データを要求する際に、イントラ予測符号化されたフレームを先頭にして次のイントラ予測符号化フレームの直前までのフレームを順序通りに送信し、その後、当該イントラ予測符号化フレームの１つ前のイントラ予測符号化フレームに遡り、遡ったイントラ予測フレームを先頭にしてその直前までのフレームを送信する旨を要求する
   ことを特徴とする動画像変換プログラム。
9. 前記必要なフレームの符号化データを抽出する処理において、読み飛ばす時間間隔の情報に基づいて、前記特定のフレームタイプの符号化データを一部飛ばして抽出することを特徴とする請求項８に記載の動画像変換プログラム。
10. 前記復号した動画像のデータを再構成し符号化する処理が、データ上の予測ミスマッチを補正する処理を備えることを特徴とする請求項８又は請求項９に記載の動画像変換プログラム。

Images