WO2010035777A1 - 配信サーバ及び配信システムと方法並びにプログラム - Google Patents

Abstract

　比較的ビットレートが低く画面解像度も低いコンテンツを有効利用可能とし、コンテンツ配信先での画像解像度や画質を拡張可能とする配信サーバ、システム、方法、端末、プログラムを提供する。配信サーバ１５０は、動画または静止画に対し圧縮符号化されたストリームまたはパケットを入力し、前記入力に対し解像度および画質を拡張する変換を施し、前記変換後のストリームまたはパケットをネットワーク１３０を通して、携帯端末１２０に配信する（図１）。

Description

配信サーバ及び配信システムと方法並びにプログラム

　（関連出願）本願は、先の日本特許出願２００８－２４８１５３号（２００８年９月２６日出願）の優先権を主張するものであり、前記先の出願の全記載内容は、本書に引用をもって繰込み記載されているものとみなされる。
　本発明は、情報配信技術に関し、特に、圧縮符号化された、動画又は静止画ストリームを配信する配信サーバ及び配信システム方法並びにプログラムに関する。

　次世代ネットワーク（ＮＧＮ：Ｎｅｘｔ　Ｇｅｎｅｒａｔｉｏｎ　Ｎｅｔｗｏｒｋ）の登場や、モバイルネットワークの帯域幅の拡張や高速化に伴い、今後、高画質の動画や静止画による配信を行うサービスが増えてくると予想される。例えば動画コンテンツに対しては、低ビットレートで効率良く伝送するために、コンテンツに対し圧縮符号化を行う。これらの方式としては、ＩＴＵ－Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ　Ｕｎｉｏｎ　ｆｏｒ　Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ　Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ　ｓｅｃｔｏｒ）勧告Ｈ．２６３や、ＩＳＯ／ＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｏｒｇａｎｉｚａｔｉｏｎ　ｆｏｒ　Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ　／Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｅｌｅｃｔｒｏ　ｔｅｃｈｎｉｃａｌ　Ｃｏｍｍｉｓｓｉｏｎ）で国際標準化されているＭＰＥＧ－４（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ　Ｐｈａｓｅ　４）が知られている。また、ＩＴＵ－ＴとＩＳＯ／ＩＥＣで国際標準化されたＨ．２６４／ＭＰＥＧ－４　ＡＶＣ（Ａｄｖａｎｃｅｄ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ）によれば、前記動画像圧縮符号化方式よりもより効率良く圧縮することができる。

　特許文献１には、ユーザ端末の処理能力に対応したコンテンツ配信を行うストリーム・サーバが開示されている。また、特許文献２には、ＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）２０００を利用して補足画素を作成することで、ＤＳＣ（Ｄｉｓｔｒｉｂｕｔｅｄ　Ｓｏｕｒｃｅ　Ｃｏｄｉｎｇ）システム（情報源を分割し別々にエンコードしデコード時に統合してデコードを行うシステム）を用いて高画質化な動画像を提供可能とした構成が開示されている。特許文献３には、原動画データを、中間動画データに変換した上で、携帯電話に対応した再生画像の大きさ、フレームレートの送信動画像を生成する動画送信サーバが開示されている。なお、以下の説明からも明らかとされるように、本発明は、これら特許文献に記載の発明とは全く相違している。

再公表特許ＷＯ２００４／０４０９０８号公報 特開２００７－７４３０６号公報 特開２００８－１３６０４５号公報

　上記特許文献１乃至３の全開示内容はその引用をもって本書に繰込み記載する。
　以下に本発明による分析を与える。

　モバイルネットワークやインターネットへの配信向けでは、ネットワークの帯域幅に制約があるため、動画などのコンテンツに対しては、例えば、画面解像度はＱＣＩＦ（Ｑｕａｄｒａｔｕｒｅ　Ｃｏｍｍｏｎ　Ｉｎｔｅｒｍｅｄｉａｔｅ　Ｆｏｒｍａｔ）で、ビットレートも６４ｋｂｐｓ～１２８ｋｂｐｓという比較的低いビットレートで圧縮符号化がされている。このようなコンテンツを端末で再生した場合に、解像度や画質が十分でないために、サ－ビスの普及化が難しい。

　一方、上記のフォーマットですでにコンテンツが大量に作成されているので、今後、ネットワークの帯域幅が拡大してもすでに作成ずみのコンテンツを有効に活用したいという思惑があるが、有効活用できる仕組みがない。

　したがって、本発明は、比較的ビットレートが低く画面解像度も低いコンテンツを有効利用可能とし、コンテンツ配信先での画像解像度や画質を拡張可能とする配信サーバ、システム、方法、端末、プログラムを提供することにある。

　本書で開示される発明は、上記課題を解決するため、概略以下の構成とされる。

　本発明の１つの側面によれば、動画又は静止画に対し圧縮符号化された信号を入力し、前記入力信号に対し解像度及び画質を拡張する変換を施す変換部と、前記変換後の信号をネットワークを通して端末に配信する配信部と、を備えた配信サーバが提供される。

　本発明によれば、動画又は静止画に対し圧縮符号化された信号を入力し、前記入力信号に対し解像度及び画質を拡張する変換を施し、前記変換後の信号をネットワークを通して端末に配信する配信方法が提供される。

　本発明によれば、配信サーバに、動画又は静止画に対し圧縮符号化された信号を入力し、前記入力信号に対し解像度及び画質を拡張する変換を施す処理と、前記変換後の信号をネットワークを通して端末に配信する処理と、を実行させるプログラムが提供される。

　本発明によれば、動画又は静止画に対し圧縮符号化された信号の配信を受ける端末と、動画又は静止画に対し圧縮符号化された信号を入力し、前記入力信号に対し解像度及び画質を拡張する変換を施し、前記変換後の信号をネットワークを通して端末に配信する配信サーバを備えたシステムが提供される。

　本発明によれば、比較的ビットレートが低く画面解像度も低いコンテンツを有効利用可能とし、コンテンツ配信先での画像解像度や画質を拡張可能としている。

本発明の一実施例のシステム構成を示す図である。 本発明の一実施例の配信サーバ装置の構成を示す図である。 本発明の他の実施例の配信サーバ装置の構成を示す図である。 本発明の他の実施例の携帯端末の構成を示す図である。 本発明の一実施例の配信サーバ装置の処理手順を示す図である。 本発明の他の実施例の配信サーバ装置の処理手順を示す図である。 本発明の一実施例の携帯端末の処理手順を示す図である。 本発明の一実施例の配信サーバ装置と携帯端末の変形例を示す図である。

１２０　携帯端末
１３０　モバイルネットワーク
１４０　圧縮符号化ストリームデータ
１５０　配信サーバ装置
１５１、２５１、３０１　呼制御部
１５５　パケット受信部
１５９　パケット送出部
１６０、２６０　変換部
１６１　復号部
１６２　フレームメモリ
１６３　超解像度変換部
１６４　符号化部
２０４　超解像度変換部
２０５　表示部
２６１、２６２　切り替え部
２８０　音声パケット受信部
２９０　動画パケット受信部　
３０２　音声復号部
３０３　動画復号部

　本発明の実施の形態について説明する。本発明の一形態によれば、動画又は静止画に対し圧縮符号化されたストリーム又はパケットを入力し、前記入力に対し解像度及び画質を拡張する変換を施す変換部と、前記変換後のストリーム又はパケットをネットワークを通して端末に配信する配信部とを備える配信サーバが提供される。

　本発明の一形態によれば、動画又は静止画に対し圧縮符号化されたストリーム又はパケットを入力し、前記入力に対し解像度及び画質を拡張する変換をサーバで施して変換後のストリーム又はパケットをネットワークを通して端末に配信するか、サーバは前記変換なしでネットワークを通して端末に配信し端末で受信した信号に対し解像度及び画質を拡張する変換を施し出力するか、どちらを実施するかをネットワークの帯域幅又は端末の能力に応じてサーバで判断する配信システムが提供される。

　本発明の一形態によれば、動画又は静止画に対し圧縮符号化されたストリーム又はパケットを入力し、サーバは前記入力信号をネットワークを通して端末に配信し、端末は受信した信号に対し解像度及び画質を拡張する変換を施し出力する配信システムが提供される。

　本発明によれば、これまでに、モバイル向け配信やインターネット配信向けに作成した比較的ビットレートが低く画面解像度も低い動画コンテンツ圧縮ビットストリームを有効利用し、サーバで解像度や画質を拡張する変換を施した上で、変換後のストリームをＮＧＮや今後の広帯域化されたモバイルネットワークを通して配信できる配信サーバを実現する。

　また、本発明によれば、これまでにモバイル向け配信やインターネット配信向けに作成した比較的ビットレートが低く画面解像度も低い動画コンテンツ圧縮ビットストリームを有効利用するが、ネットワークの帯域幅や端末の能力に応じて、サーバで変換した上で配信するか、サーバは変換なしでそのまま配信し端末側で解像度や画質を拡張するかをサーバ側で判断できる配信システムを実現する。

　本発明は、ビデオ（動画）コンテンツだけでなく静止画コンテンツにも適用できるが、以下の実施例では、ビデオコンテンツに適用する場合の構成例を説明する。本発明は、配信サーバと端末との間のネットワークとして、モバイルネットワーク（モバイル回線交換ネットワーク、モバイルパケットネットワーク、３．９世代ネットワーク、第４世代ネットワークなど）、インターネット、固定網のパケットネットワークやＮＧＮなどを使用することができるが、以下の実施例ではモバイルパケットネットワークに適用する場合の例について説明する。

　図１は、本発明の一実施例のシステム構成を示す図であり、モバイルネットワークを介して配信サーバと携帯端末との接続の形態の例を示している。

　図１において、圧縮符号化ストリームデータ１４０は、動画像コンテンツを動画コーデックで予め圧縮符号化し、得られた圧縮符号化ストリームを、種々のコンテンツについて蓄積したものである。動画コーデックはどんなものでもよいが、ここでは、一例として、Ｈ．２６４を使う。Ｈ．２６４の詳細は、例えば、ＩＳＯ／ＩＥＣ　１４４９６－１０　ＡＶＣ　ＩＴＵ－Ｔ　Ｒｅｃ．　Ｈ．２６４　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｓｔａｎｄａｒｄ　ｆｏｒ　Ａｄｖａｎｃｅｄ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ規格を参照することができる。

　配信サーバ装置１５０は、携帯端末１２０と呼処理を行い、携帯端末１２０が指定する動画コンテンツに対応する圧縮符号化ストリームを、圧縮符号化ストリームデータ１４０から読み出し、解像度や画質を拡張する変換を施した上で、モバイルネットワーク１３０を通して携帯端末１２０に配信する。

　図２は、配信サーバ装置１５０の要部構成の一例を示す図である。図２を参照すると、配信サーバ装置１５０は、パケット受信部１５５と、呼制御部１５１と、変換部１６０と、パケット送出部１５９を備えている。以下、各部を説明する。

　呼制御部１５１は、携帯端末１２０から、ＳＩＰ信号、又はＲＴＳＰ（Ｒｅａｌ　Ｔｉｍｅ　Ｓｔｒｅａｍｉｎｇ　Ｐｒｏｔｏｃｏｌ）信号によるセッション制御信号を受信する。またＳＤＰ（Ｓｅｓｓｉｏｎ　Ｄｅｓｃｒｉｐｔｉｏｎ　Ｐｒｏｔｏｃｏｌ）による携帯端末の能力情報を受信する。ここで、ＳＩＰの詳細、ＲＴＳＰの詳細、及びＳＤＰの詳細は、それぞれ、ＩＥＴＦ（Ｉｎｔｅｒｎｅｔ　Ｅｎｇｉｎｅｅｒｉｎｇ　Ｔａｓｋ　Ｆｏｒｃｅ）　ＲＦＣ（Ｒｅｑｕｅｓｔ　Ｆｏｒ　Ｃｏｍｍｅｎｔｓ）３２６１、ＲＦＣ２３２６及びＩＥＴＦ　ＲＦＣ　２３２７を参照することができる。本実施例では、ＲＴＳＰによりセッション制御を行うことにする。

　呼制御部１５１は、携帯端末１２０からＲＴＳＰによりセッション開始指示及びＳＤＰによる端末の能力情報を受信すると、パケット受信部１５５に対し、携帯端末が指定したコンテンツに対応する圧縮符号化ストリームを、圧縮符号化ストリームデータ１４０から読み出すよう指示する。

　また、呼制御部１５１は携帯端末の能力情報を変換部１６０に出力し、携帯端末の受信ＩＰアドレスなどの情報をパケット送出部１５９に出力する。

　パケット受信部１５５は、圧縮符号化ストリームデータ１４０から携帯端末が指定したコンテンツに対応する圧縮符号化ストリームをＲＴＰパケットとして入力し、ＲＴＰパケットのペイロード部分に格納された圧縮符号化ストリームを抽出し、変換部１６０に出力する。

　変換部１６０は、復号部１６１、フレームメモリ１６２、超解像度変換部１６３、符号化部１６４を備えている。ここで、復号部１６１は、パケット受信部１５５から入力した圧縮符号化ストリームに対し、コンテンツの圧縮符号化に使用されたエンコーダと同じ方式（例えば、モバイル向けコンテンツの作成にはＭＰＥＧ－４　ＳＰ（シンプルプロファイル）やＨ．２６３　ＢＰ（ベースバンドプロファイル）が使用されることが多い）のデコーダを使い、前記ストリームを復号し、復号信号をフレームメモリ１６２に格納する。

　超解像度変換部１６３は、呼制御部１５１から携帯端末１２０の能力情報を入力し、能力情報の範囲で画面解像度を拡大しながら画質を拡張する変換を行う。例えば、携帯端末の能力情報が、Ｈ．２６４　ＢＰ（ベースバンドプロファイル）　レベル１．２を示している場合は、ビットレートが３８４ｋｂｐｓ（キロビット／秒）、画面解像度がＣＩＦ、フレームレートが１５ｆｐｓ（フレーム／秒）であることを意味する。

　超解像度変換部１６３は、フレームメモリ１６２に格納された信号を読み出して、画面解像度を拡大しながら画質を改善する処理を行う。ここでは、ＱＣＩＦの解像度をＣＩＦの解像度に拡大するものとする。

　解像度に拡大として、
　・変換対象の画像フレームに対し、参照画像として、複数枚の画像フレームを使用して画素数を増やしながら解像度を拡大する手法や、
　・変換対象の画像フレーム内で異なる箇所の画素を用いて画素数を増やす手法、
　が用いられる。超解像度変換部１６３では、これらの手法のうち、超解像度変換部１６３の処理に割り当てることのできる演算量とメモリ量の制約の中で最適な手法を選択する構成としてもよい。

　超解像度変換部１６３において、変換対象フレームに対して、過去（時間的に前）の参照フレームを用いる場合、復号部１６１で復号されたマクロブロック毎の動きベクトルを入力し、該マクロブロックに含まれる画素に対して、前記動きベクトルを基に、動きベクトル探索処理（参照フレームの探索範囲内のマクロブロックのうち、変換対象フレームの当該マクロブロックとの差分が最も小さくなる位置を求める）を再実行することで、詳細な動きベクトルを求める（例えば半画素単位）。そして、再探索で求めた詳細な動きベクトルを過去の参照フレームの画素に適用し、前記詳細な動きベクトル分だけ移動させたフレームを用いて、変換対象フレームの画素を増やす構成をとることもできる。あるいは、復号部１６１からのマクロブロックの動きベクトルを使わずに、変換対象フレーム（現フレーム）と参照フレームから動きベクトルを探索する構成としてもよい。

　また、超解像度変換部１６３においては、解像度拡大対象のフレームのみを使用する場合には、エッジ部分を検出し、エッジ近傍の画素を適用して画素を増やしたり、エッジ近傍の画素に補正を加えたり、エッジを検出して強調する、という処理を行うことで、解像度を高め、画質を改善する処理を行う。この処理は、動画及び／又は静止画に対して行われる。

　超解像度変換部１６３においては、動き方向を推定することにより、時間方向のフレーム画像を補間し（前後フレームの間に１つフレームを挿入）、フレームレートを補間することで、例えばフレームレートを１５ｆｐｓから３０ｆｐｓに拡張する処理を行う。

　符号化部１６４は、呼制御部１５１から携帯端末１２０の能力情報を入力し、また超解像度変換部１６３からの出力信号を入力し、前記能力情報により圧縮方式とパラメータを設定する。超解像度変換部１６３で画面解像度及び画質を拡張しているので、能力情報の最大値であるＨ．２６４　ＢＰ＠Ｌ１．２、　画面解像度はＣＩＦ、ビットレートは３８４２ｋｂｐｓ、フレームレート１５ｆｐｓなどを用いることができる。

　また、符号化部１６４において、動きベクトル探索の演算量を削減するために、復号部１６１から動きベクトル情報を入力し、入力した動きベクトル情報を基に（動きベクトルに対して解像度の拡大に対応した変換を施し）、超解像度変換部１６３で変換された画像信号に対して、該動きベクトルの近傍を探索して、新たに動きベクトルを求める構成としてもよい。

　パケット送出部１５９は、呼制御部１５１から携帯端末１２０の受信ＩＰアドレスなどを入力し、符号化部１６４から圧縮符号化ストリームを入力しこれをＲＴＰペイロード部に格納してＲＴＰパケットとしてネットワークに送出する。

　本実施例の配信サーバ装置１５０における処理手順を図５を参照して以下に説明する。

　ステップＳ１：パケット受信部１５５でＲＴＰパケットを入力し、圧縮符号化ストリームを復号部１６１に入力する。

　ステップＳ２：復号部１６１は、ストリームを復号する。

　ステップＳ３：超解像度変換部１６３は、復号された画像の解像度を拡大しながら、画質を改善する。

　ステップＳ４：符号化部１６４は、呼制御部１５１からの携帯端末１２０に関する能力情報に基づき、超解像度変換部１６３からの信号を符号化する。

　ステップＳ５：パケット送出部１５９は、符号化部１６４からの符号化された信号を入力し、ＲＴＰペイロードに含めてＲＴＰパケットとして送出する。

　なお、上記した配信サーバのステップＳ１乃至Ｓ５は、配信サーバ装置を構成するコンピュータ上で実行されるプログラムによってその機能・処理を実現してもよいことは勿論である。図８（Ａ）に示すように、配信サーバ装置を構成するコンピュータ（ＣＰＵ）は、記憶装置からプログラムをメモリにロードして実行することで上記変換部、パケット受信部、パケット送出部、呼制御部等の処理を実現する。なお、プログラムを記憶する記憶装置は配信サーバ装置とネットワーク接続する構成としてもよいことは勿論である。

　なお、本実施例において、圧縮符号化ストリームを、ＲＴＰパケットではなく、予め定められたファイルフォーマットに格納してファイルとして送出する構成にすることもできる。

　ここで、ファイルフォーマットとしては、例えば３ＧＰＰで規格化されている３ＧＰファイルフォーマットを使用することができる。３ＧＰファイルフォーマットの詳細は、３ＧＰＰ　ＴＳ２６．２４４規格を参照することができる。

　本発明の第１の実施例の作用効果を以下に説明する。

　これまでにモバイル向け配信やインターネット配信向けに作成した比較的ビットレートが低く画面解像度も低い動画コンテンツ圧縮ビットストリームを有効利用し、サーバで解像度や画質を拡張する変換を施した上で、変換後のストリームをＮＧＮや今後の広帯域化されたモバイルネットワークを通して配信することができるので、十分な解像度と画質を提供することができる。

　次に、本発明の第２の実施例を説明する。図３は、本発明の第２の実施例における配信サーバ装置の要部構成の一例を示す図である。図４は、本発明の第２の実施例における携帯端末の要部構成を示す図である。図３において、図２と同じ構成要素には、同一の参照番号が付されている。図３において、図２と同一の構成要素は同一の動作を行うため、説明を省略する。

　図３を参照すると、本実施例は、図２の構成に対して、切り替え部２６１、２６２を備え、変換部２６０で変換処理を行うか、変換処理をバイパスさせるかを切り替えるものである。

　図３において、配信サーバ装置の呼制御部２５１は、携帯端末１２０からＲＴＳＰによりセッション開始指示及び、携帯端末１２０が超解像度変換を実装しているかどうかの情報を含めた能力情報及びネットワークの帯域幅情報をＳＤＰにより受信し、これらを解析する。

　また、呼制御部２５１は、パケット受信部１５５に携帯端末が指定したコンテンツに対応する圧縮符号化ストリームを圧縮符号化ストリームデータ１４０から読み出すよう指示する。

　また、呼制御部２５１は、ネットワークの帯域幅又は端末の能力情報を用いてサーバ側で超解像度変換を施すか否かを判断し、判断結果を、切り替え部２６１、切り替え部２６２及び変換部２６０に出力する。この判断は、例えば次のように行う。

　ネットワークの帯域幅が十分である、端末に超解像度変換処理は搭載していない、端末の能力がコンテンツの圧縮符号化の能力よりも十分大きい、などの場合は、呼制御部２５１は、配信サーバ装置１５０で超解像度変換を施すと判断し、切り替え部２６１及び切り替え部２６２に対し変換部２６０に信号を入出力するよう指示する。

　さらに、呼制御部２５１は、変換部２６０に対して超解像度変換を実行（ＯＮ）するよう指示する。

　一方、ネットワークの帯域幅が十分でない場合で、携帯端末１２０が超解像度変換処理を搭載している場合は、呼制御部２５１は、切り替え部２６１及び切り替え部２６２には、変換部２６０をバイパスするよう指示する。また呼制御部２５１は、変換部２６０には、超解像度変換をＯＦＦとするよう指示する。

　切り替え部２６１と切り替え部２６２は、呼制御部２５１から指示を入力して、変換部２６０と信号の入出力を行うか、変換部２６０をバイパスするかを切り替える動作を行う。

　本実施例の配信サーバ装置１５０における処理手順を図６を参照して以下に説明する。

　ステップＳ１：パケット受信部１５５でＲＴＰパケットを入力し圧縮符号化ストリームを読み出す。

　ステップＳ６：超解像度変換処理を行う場合（ステップＳ６のＹＥＳ）、切り替え部２６１により、圧縮符号化ストリームを復号部１６１に供給する。超解像度変換処理を行わない場合（ステップＳ６のＮＯ）、切り替え部２６１、２６２により、圧縮符号化ストリームをパケット送出部１５９に供給する。

　ステップＳ２乃至Ｓ５の動作は、図５と同一であるため説明は省略する。

　なお、上記した配信サーバ装置のステップＳ１乃至Ｓ６は、配信サーバ装置１５０を構成するコンピュータ上で実行されるプログラムによってその機能・処理を実現してもよいことは勿論である。図８（Ａ）に示すように、配信サーバ装置を構成するコンピュータ（ＣＰＵ）は、記憶装置からプログラムをメモリにロードして実行することで、上記変換部、パケット受信部、パケット送出部、呼制御部、切り替え部等の処理を実現する。なお、プログラムを記憶する記憶装置は配信サーバ装置とネットワーク接続する構成としてもよいことは勿論である。

　図４は、図３の配信サーバ装置１５０に接続される携帯端末１２０の要部構成の一例を示している。図４を参照すると、携帯端末１２０は、呼制御部３０１、超解像度変換部２０４、動画復号部３０３、音声復号部３０２、動画パケット受信部２９０、音声パケット受信部２８０を備えている。

　呼制御部３０１は、配信サーバとの間でＲＴＳＰによるセッション制御信号をやりとりする。さらにＳＤＰを用いて携帯端末の能力情報や超解像度変換を搭載しているかどうか、ネットワークの帯域幅などを配信サーバ装置に伝える。また、配信サーバから受信するＳＤＰには、配信サーバから送出されるビデオストリームの能力情報、配信サーバ側での超解像度変換処理の有無、及び、音声ストリームの能力情報が記載されている。これらの情報は、呼制御部３０１から、超解像度変換部２０４、動画復号部３０３、音声復号部３０２、動画パケット受信部２９０、音声パケット受信部２８０に出力される。

　さらに、呼制御部３０１は、超解像度変換部２０４に対し、超解像度変換処理をＯＮするかＯＦＦするかどうかの指示を行う。例えば、携帯端末１２０で受信したビデオストリームに関する能力情報が、ビデオコーデックはＨ．２６４　ＢＰ（Ｂａｓｅｂａｎｄ　Ｐｒｏｆｉｌｅ）　Ｌｅｖｅｌ　１．２、ビットレートは３８４ｋｂｐｓ、画面解像度はＣＩＦ、フレームレートは１５ｆｐｓで、サーバ側での超解像度変換ありの場合は、超解像度変換部２０４に対し、変換処理をＯＦＦするよう指示を出す。

　また、配信サーバ側での超解像度変換処理がＯＦＦの場合は、超解像度変換部２０４に対し変換処理をＯＮにするよう指示を出す。

　一方、音声コーデックに関する能力情報は、例えば、ＡＭＲ（Ａｄａｐｔｉｖｅ　Ｍｕｌｔｉ－Ｒａｔｅ）音声コーデックとする。

　動画パケット受信部２９０は、呼制御部３０１からビデオ信号に関する能力情報を入力し、モバイルネットワーク１３０からビデオＲＴＰパケットを受信し、ＲＴＰパケットのペイロード部に格納されているビデオストリームを読み出して動画復号部３０３に出力する。

　動画復号部３０３は、呼制御部３０１からビデオ信号に関する能力情報を入力し、動画パケット受信部２９０からビデオストリームを入力し、能力情報に従い、ビデオ信号を復号して出力する。ここでは、例えば、圧縮符号化方式はＨ．２６４　ＢＰＰ＠Ｌ１．０、画面解像度はＱＣＩＦ、ビットレートは６４ｋｂｐｓ、フレームレートは１５ｆｐｓとする。

　超解像度変換部２０４は、呼制御部３０１から超解像度変換処理をＯＮするかＯＦＦするかの指示を入力し、動画復号部３０３から復号化後のビデオ信号を入力し、超解像度変換処理がＯＮの場合は、画面解像度を拡大しながら画質を改善する処理を実施し、変換処理後のビデオ信号を表示部２０５に出力する。

　配信サーバ装置の超解像度変換部１６３と同様、例えば、ＱＣＩＦの解像度をＣＩＦの解像度に拡大する。これには、対象画像フレームに対し参照画像として複数枚の画像フレームを使用して画素数を増やしながら解像度拡大する手法と、対象画像フレーム内で異なる箇所の画素を使い画素数を増やす手法のうち、割り当てることのできる演算量とメモリ量の制約の中で、最適な方法を選択することができる。過去の参照フレームを用いる場合には、動画復号部３０３から、各マクロブロック毎の動きベクトルを入力し、このマクロブロックに含まれる画素に対し、前記動きベクトルをもとに、再探索して、詳細な動きベクトルを求め、詳細な動きベクトルを、過去の参照画像フレームの画素に適用し、動きベクトルだけ移動させて対象フレームの画素を増やす構成をとることもできる。もちろん動きベクトルを使わない構成をとることもできる。また、対象画像フレームのみを使用する場合には、エッジ部分を検出し、エッジ近傍の画素を適用して画素を増やしたり、エッジ近傍の画素に補正を加えたりすることで解像度感を高めたりエッジを検出して強調するような処理を行なうことにより、画質を改善するようにすることもできる。さらに、動き方向を推定することにより時間方向のフレーム画像を補間し、フレームレートを補間することができる。例えば１５ｆｐｓから３０ｆｐｓに拡張する。

　一方、超解像度変換処理ＯＦＦの場合は、動画復号部３０３から入力した復号後のビデオ信号をスルーで表示部２０５に出力する。

　表示部２０５は、変換後の動画信号を入力し表示を行う。

　音声パケット受信部２８０は、モバイルネットワーク１３０から音声ＲＴＰパケットを受信し、ＲＴＰパケットのペイロード部に格納されている音声ストリームを読み出して出力する。

　音声復号部３０２は、呼制御部３０１から能力情報として音声コーデック情報を入力し、音声パケット受信部２８０から音声ストリームを入力し、音声を復号して出力する。ここで、音声コーデックは例えば、ＡＭＲ音声コーデックとする。

　携帯端末１２０の処理手順を図７を参照して説明する。

　ステップＳ１１：動画パケット受信部２９０でＲＴＰパケットを入力し、圧縮符号化ストリームを動画復号部３０３に入力する。

　ステップＳ１２：動画復号部３０３はビデオ信号を復号する。

　ステップＳ１３：呼制御部３０１からの指示に基づき、超解像度変換部２０４で解像度変換を行う場合（ステップＳ１３のＹＥＳ）、ステップＳ１４で復号された画像の解像度を拡大しながら、画質を改善する。超解像度変換部２０４で解像度変換を行わない場合（ステップＳ１３のＮＯ）、超解像度変換部２０４は、動画復号部３０３のビデオ信号をそのまま表示部２０５に入力する。

　ステップ１５：表示部２０５は超解像度変換部２０４からの信号を表示する。

　なお、上記した携帯端末１２０のステップＳ１１乃至Ｓ１５は、携帯端末を構成するコンピュータ上で実行されるプログラムによってその機能・処理を実現してもよいことは勿論である。以下の実施例も同様とされる。図８（Ｂ）に示すように、携帯端末を構成するコンピュータ（ＣＰＵ）は、携帯端末内の記憶装置（Ｍｅｍｏｒｙ）に記憶されるプログラムを実行することで上記変換部その他の動画復号部等の処理を実現する。

　本発明の第２の実施例の作用効果を説明する。

　第２の実施例においては、画面解像度の低い動画コンテンツ圧縮ビットストリームを有効利用するが、ネットワークの帯域幅や端末の能力に応じて、配信サーバで変換した上で配信するか、配信サーバでの変換なしで、そのまま配信し、端末側で解像度や画質を拡張するかを、配信サーバ側で判断することができる。十分な解像度と画質を提供することができる。

　以上説明したすべての実施の形態では、Ｃ－Ｐｌａｎｅ（Ｃｏｎｔｒｏｌ　Ｐｌａｎｅ）処理である呼制御部と、Ｕ－Ｐｌａｎｅ（Ｕｓｅｒ　Ｐｌａｎｅ）処理であるパケット受信部、変換部、パケットコピー部、パケット送出部などを全てサーバ装置に配置したが、Ｃ－Ｐｌａｎｅ処理とＵ－Ｐｌａｎｅ処理とを各々別々の装置に分離する構成をとることもできる。この構成によれば、Ｃ－ＰｌａｎｅとＵ－Ｐｌａｎｅを独立に、スケーラビリティをもたすことができる。

　また、サーバ装置からはＲＴＰパケットに圧縮符号化ストリームを格納して携帯端末に配信したが、圧縮符号化ストリームをファイル形式に格納して、ＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ　Ｔｒａｎｓｐｏｒｔ　Ｐｒｏｔｏｃｏｌ）やＴＣＰ（Ｔｒａｎｓｐｏｒｔ　Ｃｏｎｔｒｏｌ　Ｐｒｏｔｏｃｏｌ）を用いて携帯端末に送出することもできる。ここで、ファイル形式としては、例えば、３ＧＰファイルフォーマットが知られており、詳細は、３ＧＰＰ　ＴＳ２６．２４４規格を参照することができる。

　また、上記実施の形態では、ビデオ（動画）信号を対象にしたが、静止画信号に対しても上記と同様の構成をとることができる。

　また、ビデオの圧縮符号化方式は問わず、Ｈ．２６３、ＭＰＥＧ－４、Ｈ．２６４など、どのような圧縮符号化方式でも対応することができる。例えばＭＰＥＧ－４の詳細は、ＩＳＯ／ＩＥＣ　１４４９６－２　Ｉｎｆｏｒｍａｔｉｏｎ　Ｔｅｃｈｎｏｌｏｇｙ　Ｃｏｄｉｎｇ　ｏｆ　Ａｕｄｉｏ　Ｖｉｓｕａｌ　Ｏｂｊｅｃｔ－Ｐａｒｔ　２：　Ｖｉｓｕａｌ規格などを参照することができる。

　また、サーバから携帯端末への配信法としては、第１の実施例で説明したユニキャスト配信だけでなく、マルチキャストグループに属する複数の携帯端末に配信するマルチキャスト配信や、不特定多数の携帯端末に配信するブロードキャスト配信を適用することもできる。

　上記した本実施例をまとめると、以下の構成とされる。

［１］本実施例の配信サーバは、
　動画又は静止画に対し圧縮符号化された信号を入力し、前記入力に対し解像度及び画質を拡張する変換を施す変換部と、
　前記変換が施された信号をネットワークを通して端末に配信する送出部と、
　を備えている。

［２］　本実施例の配信サーバは、上記［１］において、
　前記入力に対し、前記変換部で解像度及び画質を拡張する変換を施し変換後の信号をネットワークを通して端末に配信する、あるいは、
　前記変換なしでネットワークを通して端末に配信し、端末側で受信した信号に対して解像度及び画質を拡張する変換を施し出力する、
　のいずれを行うかを、ネットワークの帯域幅又は端末の能力に応じて判断する制御部を備えている。

［３］　本実施例の配信サーバは、上記［１］又は［２］において、
　前記変換部は、
　前記圧縮符号化された信号を入力し前記端末に関する能力情報に対応した方式で復号する復号部と、
　前記復号された信号の解像度を変換し画質を改善する解像度変換部と、
　前記解像度変換部で変換された信号を入力し前記端末に関する能力情報に対応した方式で符号化する符号化部と、
　を備えている。

［４］　本実施例の配信サーバは、上記［３］において、
　前記解像度変換部は、前記復号部で復号された動きベクトルを基に、過去の参照画像に対して動きベクトルの再探索を行い、再探索された動きベクトルを前記参照画像に適用した画像を用いて、前記画像信号の解像度の変換を行う。

［５］　本実施例の配信システムは、
　端末と、前記端末にネットワークを介して動画又は静止画に対し圧縮符号化された信号を配信する配信サーバを備え、
　前記配信サーバは、動画又は静止画に対し圧縮符号化された信号を入力し、前記入力に対し解像度及び画質を拡張する変換を施す変換部と、
　前記変換が施された信号を、ネットワークを通して端末に配信する送出部と、
　を備える。

［６］　本実施例の配信システムは、上記［５］において、
　前記配信サーバは、前記入力に対し、前記変換部で解像度及び画質を拡張する変換を施し変換後の信号をネットワークを通して端末に配信するか、あるいは、
　前記変換なしでネットワークを通して端末に配信し、端末側で受信した信号に対して解像度及び画質を拡張する変換を施し出力するか、いずれを行うかを、
　ネットワークの帯域幅又は端末の能力に応じて判断する制御部を備えている。

［７］　本実施例の配信システムは、
　動画又は静止画に対し圧縮符号化された信号を入力し、前記入力信号をネットワークを通して端末に配信する配信サーバと、
　受信した信号に対し解像度又は画質が不十分な場合は、解像度及び画質を拡張する変換を施して表示する端末と、を備えている。

［８］　本実施例の配信システムは、上記［７］において、
　前記端末は、
　前記受信した信号を復号する復号部と、
　前記信号の解像度を変換し画質を改善する解像度変換部と、
　前記変換された画像信号を表示する表示部と、
　を備えている。

［９］　本実施例の端末は、
　ネットワークを介して配信サーバから、動画又は静止画を含む画像信号を受信する端末であって、
　前記動画又は静止画を含む画像信号を受信する受信部と、
　前記受信した信号を復号する復号部と、
　前記復号された信号の解像度を変換し、画質を改善する解像度変換を施す変換部と、
　前記変換部で変換を行うか否かを制御する制御部と、
　前記変換部で変換を行う場合には、前記変換された信号を、変換を行わない場合には、前記復号部からの信号を表示する表示部と、
　を備えている。

［１０］　本実施例の配信方法において、
　配信サーバが、動画又は静止画に対し圧縮符号化された信号を入力し、前記入力に対し解像度及び画質を拡張する変換を施し、前記変換が施された信号を、ネットワークを通して端末に配信する。

［１１］　本実施例の配信方法は、上記［１０］において、
　前記配信サーバが、
　前記入力に対し、
　解像度及び画質を拡張する前記変換を施し、前記変換後の信号をネットワークを通して端末に配信するか、
　前記変換なしでネットワークを通して端末に配信し、端末側で受信した信号に対して解像度及び画質を拡張する変換を施し出力するかのいずれを行うかを、
　ネットワークの帯域幅又は端末の能力に応じて判断する。

［１２］　本実施例の配信方法は、上記［１０］又は［１１］において、
　前記配信サーバでの前記変換は、
　前記受信した信号に対し、前記端末に関する能力情報に対応した方式で復号し、
　前記復号された信号の解像度を変換し画質を改善する解像度変換を施し、
　前記変換された信号を入力し前記端末に関する能力情報に対応した方式で符号化する。

［１３］　本実施例の配信方法において、
　配信サーバは、動画又は静止画に対し圧縮符号化された信号を入力し、前記入力信号をネットワークを通して端末に配信し、
　前記端末は、受信した信号に対し解像度又は画質が不十分な場合は、解像度及び画質を拡張する変換を施して表示する。

［１４］　本実施例の配信方法は、上記［１３］において、
　前記端末は、
　前記受信した信号を復号し、
　前記信号の解像度を変換し画質を改善し、
　前記変換された画像信号を表示する。

［１５］　本実施例のプログラムは、
　動画又は静止画に対し圧縮符号化された信号を入力し、前記入力に対し解像度及び画質を拡張する変換を施す処理と、
　前記変換が施された信号を、ネットワークを通して端末に配信する処理と、
　を配信サーバを構成するコンピュータに実行させるプログラムを含む。

［１６］　本実施例のプログラムは、上記［１５］において、
　前記変換処理は、前記受信した信号に対し、前記端末に関する能力情報に対応した方式で復号する復号処理、
　前記復号された信号の解像度を変換し画質を改善する解像度変換処理と、
　前記解像度変換部で変換された信号を入力し前記端末に関する能力情報に対応した方式で符号化する符号化処理と、
　を含む。

　［１７］　本実施例のプログラムは、上記［１５］又は［１６］において、
　前記入力に対し、前記変換部で、解像度及び画質を拡張する変換を施し、変換後の信号をネットワークを通して端末に配信するか、
　前記変換なしでネットワークを通して端末に配信し、端末側で受信した信号に対して解像度及び画質を拡張する変換を施し出力するかのいずれを行うかを、
　ネットワークの帯域幅又は端末の能力に応じて判断する処理を前記コンピュータに実行させるプログラムを含む。

［１８］　本実施例のプログラムは、
　ネットワークを介して配信サーバから、動画又は静止画を含む画像信号を受信する端末を構成するコンピュータに、
　前記動画又は静止画を含む画像信号を受信する処理と、
　前記受信した信号を復号する処理と、
　前記復号された信号の解像度の変換を行うか否かを制御する処理と、
　前記変換を行う場合、前記復号された信号の解像度を変換し、画質を改善する解像度変換を施す変換処理と、
　前記変換を行う場合には、前記変換が施された信号を表示し、前記変換を行わない場合には、前記復号された信号を表示するように制御する処理と、
　を実行させるプログラムを含む。

　なお、上記の特許文献の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素の多様な組み合わせないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。

Claims (18)

1. 　動画又は静止画に対し圧縮符号化された信号を入力し、前記入力に対し解像度及び画質を拡張する変換を施す変換部と、
   　前記変換が施された信号をネットワークを通して端末に配信する送出部と、
   　を備えている、ことを特徴とする配信サーバ。
2. 　前記入力に対し、
   　前記変換部で解像度及び画質を拡張する変換を施し変換後の信号をネットワークを通して端末に配信する、あるいは、
   　前記変換なしでネットワークを通して端末に配信し、端末側で受信した信号に対して解像度及び画質を拡張する変換を施し出力する、
   　のいずれを行うかを、ネットワークの帯域幅又は端末の能力に応じて判断する制御部を備えている、ことを特徴とする請求項１記載の配信サーバ。
3. 　前記変換部は、
   　前記圧縮符号化された信号を入力し前記端末に関する能力情報に対応した方式で復号する復号部と、
   　前記復号された信号の解像度を変換し画質を改善する解像度変換部と、
   　前記解像度変換部で変換された信号を入力し前記端末に関する能力情報に対応した方式で符号化する符号化部と、
   　を備えている、請求項１又は２記載の配信サーバ。
4. 　前記解像度変換部は、前記復号部で復号された動きベクトルを基に、過去の参照画像に対して動きベクトルの再探索を行い、再探索された動きベクトルを前記参照画像に適用した画像を用いて、前記画像信号の解像度の変換を行う、ことを特徴とする請求項３記載の配信サーバ。
5. 　端末と、前記端末にネットワークを介して動画又は静止画に対し圧縮符号化された信号を配信する配信サーバを備え、
   　前記配信サーバは、動画又は静止画に対し圧縮符号化された信号を入力し、前記入力に対し解像度及び画質を拡張する変換を施す変換部と、
   　前記変換が施された信号を、ネットワークを通して端末に配信する送出部と、
   　を備えている、ことを特徴とする配信システム。
6. 　前記配信サーバは、
   　前記入力に対し、
   　前記変換部で解像度及び画質を拡張する変換を施し変換後の信号をネットワークを通して端末に配信する、あるいは、
   　前記変換なしでネットワークを通して端末に配信し、端末側で受信した信号に対して解像度及び画質を拡張する変換を施し出力する、
   　のいずれを行うかをネットワークの帯域幅又は端末の能力に応じて判断する制御部を備えている、ことを特徴とする請求項５に記載の配信システム。
7. 　動画又は静止画に対し圧縮符号化された信号を入力し、前記入力した信号をネットワークを通して端末に配信する配信サーバと、
   　受信した信号を復号し、解像度又は画質が不十分な場合には、解像度及び画質を拡張する変換を施して表示する端末と、
   　を備えている、ことを特徴とする配信システム。
8. 　前記端末は、
   　前記受信した信号を復号する復号部と、
   　前記復号された信号の解像度を変換し画質を改善する解像度変換部と、
   　前記変換された画像信号を表示する表示部と、
   　を備えている、ことを特徴とする請求項７記載の配信システム。
9. 　ネットワークを介して配信サーバから、動画又は静止画を含む画像信号を受信する端末であって、
   　前記動画又は静止画を含む画像信号を受信する受信部と、
   　前記受信した画像信号を復号する復号部と、
   　前記復号された画像信号の解像度を変換し、画質を改善する解像度変換を施す変換部と、
   　前記変換部で変換を行うか否かを制御する制御部と、
   　前記変換部で変換を行う場合には、前記変換が施された信号を表示し、変換を行わない場合には、前記復号部からの信号を表示する表示部と、
   　を備えている、ことを特徴とする端末。
10. 　配信サーバが、動画又は静止画に対し圧縮符号化された信号を入力し、前記入力に対し解像度及び画質を拡張する変換を施し、前記変換が施された信号を、ネットワークを通して端末に配信する、ことを特徴とする配信方法。
11. 　前記配信サーバが、
    　前記入力に対し、
    　解像度及び画質を拡張する前記変換を施し、前記変換後の信号をネットワークを通して端末に配信するか、あるいは、
    　前記変換なしでネットワークを通して端末に配信し、端末側で受信した信号に対して解像度及び画質を拡張する変換を施し出力する、
    　のいずれを行うかを、ネットワークの帯域幅又は端末の能力に応じて判断する、ことを特徴とする請求項１０に記載の配信方法。
12. 　前記配信サーバでの前記変換は、
    　前記受信した信号に対し、前記端末に関する能力情報に対応した方式で復号し、
    　前記復号された信号の解像度を変換し画質を改善する解像度変換を施し、
    　前記変換された信号を入力し前記端末に関する能力情報に対応した方式で符号化する、ことを特徴とする請求項１０又は１１記載の配信方法。
13. 　配信サーバは、動画又は静止画に対し圧縮符号化された信号を入力し、前記入力信号をネットワークを通して端末に配信し、
    　前記端末は、受信した信号に対し解像度又は画質が不十分な場合には、解像度及び画質を拡張する変換を施して表示する、ことを特徴とする配信方法。
14. 　前記端末において、
    　前記受信した信号を復号し、
    　前記復号された信号の解像度を変換し画質を改善し、
    　前記変換された画像信号を表示する、ことを特徴とする請求項１３記載の配信方法。
15. 　動画又は静止画に対し圧縮符号化された信号を入力し、前記入力に対し解像度及び画質を拡張する変換を施す処理と、
    　前記変換が施された信号を、ネットワークを通して端末に配信する処理と、
    　を配信サーバを構成するコンピュータに実行させるプログラム。
16. 　前記変換処理は、前記受信した信号に対し、前記端末に関する能力情報に対応した方式で復号する復号処理、
    　前記復号された信号の解像度を変換し画質を改善する解像度変換処理と、
    　前記解像度変換部で変換された信号を入力し前記端末に関する能力情報に対応した方式で符号化する符号化処理と、
    　を備えている、請求項１５記載のプログラム。
17. 　前記入力に対し、前記変換部で、解像度及び画質を拡張する変換を施し、変換後の信号をネットワークを通して端末に配信する、あるいは、
    　前記変換なしでネットワークを通して端末に配信し、端末側で受信した信号に対して解像度及び画質を拡張する変換を施し出力する、
    　のいずれを行うかを、ネットワークの帯域幅又は端末の能力に応じて判断する処理を前記コンピュータに実行させる請求項１５又は１６記載のプログラム。
18. 　ネットワークを介して配信サーバから、動画又は静止画を含む画像信号を受信する端末を構成するコンピュータに、
    　前記動画又は静止画を含む画像信号を受信する処理と、
    　前記受信した信号を復号する処理と、
    　前記復号された信号の解像度の変換を行うか否かを制御する処理と、
    　前記変換を行う場合、前記復号された信号の解像度を変換し、画質を改善する解像度変換を施す変換処理と、
    　前記変換を行う場合には、前記変換が施された信号を表示し、前記変換を行わない場合には、前記復号された信号を表示するように制御する処理と、
    　を実行させるプログラム。

Images