JP5734699B2 - 配信映像の超解像化装置 - Google Patents

Description

本発明は、配信映像の超解像化装置に係り、特に、元映像を基本レイヤとし、この元映像と超解像映像との差分データを拡張レイヤとして配信する超解像化装置に関する。

近年、映像を空間方向または時間方向に補完することで高品質化する「超解像」と呼ばれる映像技術が、高性能なテレビ等を中心に搭載されている。特許文献１には、入力映像をより高解像度の映像に変換する処理が開示されている。このような超解像技術は、SD映像をHDサイズのテレビで再生する場合の高画質化や、SDで記録されたDVDをDVDプレイヤの機能としてHD品質とする場合などに用いられる。

一方、近年ではPC向けのCGM(Consumer Generated Media)映像を、大画面のテレビで視聴するようなケースも増えており、このような場合に超解像技術を用いることができれば、ユーザの体感品質を大きく向上させることが可能になる。しかしながら、上記の超解像技術は、全てのテレビ端末に搭載されているわけではなく、ユーザが用意するテレビ端末の性能によっては所望の品質が得られない可能性がある。即ち、ユーザ環境に依存せず、CGMに対して超解像を提供するようなプラットフォーム技術が求められる。

加えて、TVに搭載される超解像技術は、リアルタイムでの動作を重視した、フレーム内の補完によるものが中心である。これに対して、対象フレームの前後フレームの情報も用いるなど、さらに処理を追加することで、さらなる画質の向上が期待できるが、映像の再生時間に比して長い処理時間を必要とするため、処理能力の低い再生端末への実装には不向きである。

他方、特許文献２では、映像を配信するサーバ側において、映像コンテンツに対して超解像処理を行い、高品質コンテンツを生成する事例が紹介されている。しかしながら、この事例は、高解像化を行う事業者が配信コンテンツそのものも保持している場合にのみ適用可能である。近年では、CGM等の映像サービスを提供するOTT（Over-the-top）事業者と、ネットワークを提供するCATV事業者等のネットワークプロバイダとは異なる場合が殆どであり、このような場合には、特許文献２の方式を適用することができない。

また、コンテンツの伝送と同期という側面でも、特許文献３は、異なる伝送網を経由して送信される映像データ・音声データを同期させる仕組みを提供するが、これらのコンテンツは、同一の主体によって生成されたコンテンツが同一の配信サーバから送信され、そのタイミング情報も、単一の配信サーバで管理されるものであり、あるプラットフォームで提供されるデータに対して、それを元に別のプラットフォームで付随するデータを新たに生成、配信するような枠組みを実現するものではなかった。

また、特許文献４は、映像コンテンツと音声コンテンツとを組み合わせ、同期をとって配信するための仕組みを提供するが、これは、映像コンテンツ・音声コンテンツという異なるメディアを組み合わせて再生することを目的としたものであり、映像符号化データのレベルでのデータの組み合わせを行うものではない。

特願２０１０−２１２９９１号公報 特開２００９−２５３９６１号公報 特許第４２３６１０６号公報 特開２００４−２３５７３４号公報

再構成型超解像処理の高速化アルゴリズムとその精度評価、電子情報通信学会論文誌 D-II Vol88-D-II No.11

上記の従来技術では、高画質のストリーミング映像を端末側で再生させるためには、ストリーミング映像の提供者が高解像の映像コンテンツを用意して配信するか、あるいは再生端末側が超解像技術を実装していなければならない。

しかしながら、再生端末の処理能力には差があるので、再生可能な映像フォーマットは再生端末によって異なる。したがって、提供側が高解像の映像コンテンツを用意して配信する方式では、コンテンツ毎に様々多解像度の映像データを予め用意し、保持しておかなければならないので、膨大な記憶容量が必要となってしまう。

一方、提供側は低解像の映像コンテンツを配信し、これを再生側で超解像化する方式では、再生端末において超解像処理を実施しなければならないので、再生端末に高い処理能力が要求される。

本発明の目的は、上記した従来技術の課題を全て解決し、高解像の映像コンテンツを保持するための大きな記憶容量を必要とすることなく、また能力の異なる再生端末ごとに最適な映像コンテンツを配信でき、かつ再生端末側に高い処理能力が要求されない配信映像の超解像化装置を提供することにある。

上記の目的を達成するために、本発明の超解像化装置は、以下のような手段を講じた点に特徴がある。

(1)配信対象の元映像を取得する手段と、元映像を超解像化する手段と、超解像化された映像と元映像との差分データを生成する手段と、差分データを、前記元映像を基本レイヤとする拡張レイヤとして映像再生装置へ配信する手段とを具備した。

(2)前記差分データを配信する手段は、映像再生装置の再生能力に応じて差分データを選択するようにした。

(3)元映像を保持するキャッシュサーバと、前記キャッシュサーバに保持されている元映像およびその差分データを多重化して配信する手段とを具備した。

(4)元映像を超解像化する手段および差分データを生成する手段は、元映像の視差映像を生成し、差分データを配信する手段は、元映像を基本レイヤとする拡張レイヤとして視差映像を配信するようにした。

本発明によれば、以下のような効果が達成される。

(1)低解像で配信される映像コンテンツを、再生側で処理負荷の高い超解像化処理を実施することなく、処理負荷の低い階層的な復号処理のみで超解像化できるので、低解像で配信される映像コンテンツを、処理能力の低い再生装置において高解像で視聴できるようになる。

(2)動画配信サービスが映像コンテンツ毎に解像度の異なる複数のデータを保持していなくても、再生能力の異なる再生端末ごとに最適な映像コンテンツを配信できるので、再生端末の能力に合わせて解像度の異なる多数の映像コンテンツを保持するための大きな記憶容量が不要となる。

(3)階層符号化された基本レイヤの元映像に対して、これを高画質化するために利用される拡張レイヤの差分データを個別に選択できるので、拡張レイヤを代えるだけで様々な解像度および品質に対応できるようになる。したがって、再生端末の能力やアクセス回線の容量などに応じて拡張レイヤを適応的に選択すれば、再生端末ごとに映像コンテンツの解像度を最適化できるようになる。

超解像化システムの第１実施形態の構成を示したブロック図である。 超解像処理部（２０４）の機能ブロック図である。 従来の差分データ生成方法を示した機能ブロック図である。 差分データ生成部（２０５）の機能ブロック図である。 第１実施形態の動作を示したシーケンスフローである。 超解像化システムの第２実施形態の構成を示したブロック図である。 第２実施形態の動作を示したシーケンスフローである。 超解像化システムの第３実施形態の構成を示したブロック図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、低解像のストリーミング映像を超解像化（高画質化）して配信する超解像化システムの構成を示したブロック図であり、動画配信の事業者により提供される動画配信サービス１と、CATV事業者やネットワークプロバイダにより提供される映像配信プラットフォーム（超解像化装置）２と、ストリーミング配信される映像コンテンツを再生する映像再生端末（超解像映像再生装置）３とから構成される。前記動画配信サービス１と映像配信プラットフォーム２とはインターネット４で接続され、前記映像配信プラットフォーム２と映像再生端末３とは、例えばケーブルテレビ網５で接続されている。

前記動画配信サービス１において、映像コンテンツサーバ１０１には、各種の映像コンテンツが低解像のフォーマットで蓄積されている。メタデータサーバ１０２には、前記各映像コンテンツのメタデータが蓄積されている。本実施形態では、前記映像コンテンツにH.264/SVC(Scalable Video Coding)規格の符号化圧縮技術が採用されている。

SVCは、動画像を複数の異なる解像度、フレームレート、画質で再生することができるようにデータを階層的に符号化する技術であり、基本レイヤの上に拡張レイヤを１つずつ積み重ねて符号化する一方、復号時にも基本レイヤを最初に復号し、一つずつ階層を上にたどりながら各拡張レイヤを順次に復号することで、低画質から高画質、あるいは低解像度から高解像度まで、自由度の高い符号化圧縮が可能になる。なお、コンテンツが静止画であれば、JPEG2000規格の圧縮技術を利用できる。

前記映像配信プラットフォーム２において、ランキング情報取得部２０１は、配信対象となっている多数の映像コンテンツ（元映像）に関するランキング情報として、例えば人気度、配信数、新着状況等を取得する。元映像取得部２０２は、映像コンテンツ取得部２０２ａおよびメタデータ取得部２０２ｂを含み、前記動画配信システム１に定期的にアクセスし、前記ランキングが上位の元映像およびそのメタデータを選択的に取得する。取得された元映像およびそのメタデータは一時記憶部２０３に一時記憶される。超解像処理部２０４は、前記元映像に対して超解像処理を実施することで超解像映像を生成する。

差分データ生成部２０５は、前記元映像と超解像映像との差分データを生成する。本実施形態では超解像処理が段階的に行われ、差分データは解像度の異なる複数の超解像映像ごとに生成される。すなわち、本実施形態では解像度の異なる複数種の再生端末を想定し、解像度ごとに階層的な差分データを生成する。例えば、動画配信サービス１において解像度が360×240の映像が扱われている場合、この元画像を720×480の解像度に超解像化するための差分データを生成し、さらにこの720×480の映像を1440×960に超解像化するための差分データを別途に生成、保存するようにしても良い。

差分データ記憶部２０６には、元映像ごとに前記複数の差分データおよびそのメタデータが保持される。差分データ配信部２０７は、前記映像再生端末３からの差分データ要求に応答して、指定された元映像の差分データを前記差分データ記憶部２０６から抽出し、元映像を高解像化または高画質化するための拡張レイヤとして配信する。

なお、前記超解像処理部２０４による超解像化の対象は、前記動画配信サービス１から新規に取得された映像コンテンツに限定されるものではなく、既に差分データが取得されている映像コンテンツに対して再帰的に超階層処理を実施し、更なる超解像化を図るようにしても良い。

前記映像再生端末３は、ケーブルモデム３０１および配信映像を再生する映像プレイヤ３０２を含むSTB(Set Top Box)やパーソナルコンピュータPCである。前記映像プレイヤ３０２において、元映像受信部３０３は、ユーザの配信要求操作に応答して、所望の映像コンテンツの識別子が記述された映像配信要求を映像配信プラットフォーム２へ送信すると共に、これに応答して動画配信システム１から前記映像配信プラットフォーム２を中継して配信される映像コンテンツを受信して元映像バッファ３０４に一時記憶する。

差分データ取得部３０５は、前記一時記憶された元映像のスライスヘッダに記述されているフレーム番号を検査し、当該フレーム番号の画像を超解像化するための差分データを、HTTP Getメソッド等のPull型の仕組みで映像配信プラットフォーム２へ要求すると共に、この差分データ要求に応答して映像配信プラットフォーム２から配信される差分データを受信して差分データバッファ３０６に一時記憶する。

能力通知部３０７は、前記映像配信要求のメッセージに、当該映像再生端末３の再生能力を記述する。復号部３０８は、前記一時記憶された元映像を基本レイヤ、これと対応付けられた差分データを拡張レイヤとする階層復号処理により超解像映像を生成する。生成された超解像映像は表示部３０９に表示される。

図２は、前記超解像処理部２０４の機能ブロック図であり、(1)与えられた元映像（SD画質）からBicubic方によるアップコンバートにより高解像の映像を生成し、(2)当該高解像の映像からカメラモデルによるダウンコンバートにより低解像度映像を生成する。次いで、(3)前記低解像の映像と元映像とを比較し、(4)その差分が0となった画素を高解像映像の画素として採用し、(5)これにより前記高解像の映像を補正する。そして、上記の手順(1)から(5)を繰り返すことで前記元映像が段階的に超解像化される。

次いで、前記差分データ生成部２０５の動作を、従来技術により通常のストリーミング映像から差分データを生成する方法と比較して説明する。

従来技術で映像を階層符号化する場合、図３に示したように、(1)高解像の元映像を縮小して低解像の映像（SD画質）を生成する。次いで、(2)前記低解像映像を単独で符号化する。この際、H.264による符号化であれば、画面を構成するマクロブロックを符号化した値として、イントラ（画面内）マクロブロック（イントラ符号化モードおよび輝度・色差のイントラ予測値との誤差）およびインター（画面間）マクロブロック（動きベクトルおよび動き補償予測誤差）が得られる。(3)これらの値は、DCT（離散コサイン変換）によって周波数成分に変換されたのちに量子化によってデータ量を削減され、更にエントロピー符号化により高い圧縮率で符号化されることにより、低解像の符号化データが生成される。

次いで、(4)前記低解像の符号化データが、前記高解像映像との解像度差に応じて拡大され、(5)これに基づいて高解像の映像が符号化される。即ち、低解像映像の各MBが持つ符号化済み情報（MB符号化モード，イントラ復号画像，動きベクトル，動き補償予測誤差）を、低解像映像および高解像映像の画面サイズの差に基づいて拡大し、これを高解像映像の符号化において参照することにより、階層間での予測を用いた符号化が行われる。このようにして符号化された差分データは、離散コサイン変換、量子化、可変長符号化を経て、拡張レイヤ用の差分データとして出力される。

これに対して、本実施形態では図４に示したように、前記差分データ生成部２０５には、前記超高解像処理部２０４で生成された高解像のRawデータに加えて元映像が与えられる。そして、(1)階層間予測のために元映像から符号化済みデータが抽出され、(2)抽出されたデータが前記超解像化により得られた高解像映像のサイズに応じて拡大され、(3)拡大されたデータを用いて高解像の映像が符号化され、(4)両者の差分データおよびそのメタデータが生成されて差分データ記憶部２０６に記憶される。前記差分データのメタデータには、少なくとも以下の情報が含まれる。

・映像最終取得日時
・最後に差分データが使用された（最終アクセス）日時
・元ファイルのURI
・元映像ファイルの画面サイズ
・生成された差分データによって高解像化された画面サイズ
・超解像処理の回数

次いで、図５のシーケンスフローを参照して、本発明におけるストリーミング映像の配信方法を説明する。

映像配信プラットフォーム２は、時刻t1でランキング情報を取得すると、時刻t2において、当該ランキング情報で上位に位置する映像コンテンツ（元映像）の取得を前記動画配信システム１へ要求し、時刻t3において、前記要求した元映像およびそのメタデータを取得する。時刻t4では、前記取得された元映像に対して、前記超解像処理部２０４において超解像処理が実施され、元映像ごとに解像度の異なる複数の超解像映像が生成される。

時刻t5では、前記差分データ生成部２０５において、前記各超解像映像と元映像との差分データが生成される。各差分データおよびそのメタデータは、元画像の識別子と紐付けられて前記差分データ記憶部２０６に蓄積される。前記時刻t1から時刻t5までの各処理は、所定の周期で繰り返し実行されるので、差分データ記憶部２０６には、ランキングが上位の映像コンテンツに関して、これを超解像化するのに必要な差分データが蓄積されることになる。

その後、時刻t6において、映像再生端末３のユーザによる映像配信要求の操作が検知されると、時刻t7では、映像再生端末３から映像配信プラットフォーム２へ映像コンテンツの配信要求が送信される。この配信要求には、配信映像を特定する識別子(URL)と共に、端末３の映像再生能力として、復号可能な映像・音声のコーデック及びプロファイル、表示可能な画面サイズ、および端末が接続されているアクセスネットワークの能力などが記述される。

映像配信プラットフォーム２は、前記映像配信要求を動画配信システム１へ中継すると共に、要求された映像の差分データが前記差分データ記憶部２０６に蓄積されているか否かを映像再生端末３へ通知する。これと前後して、時刻t9では、動画配信システム１から映像コンテンツの配信が開始される。映像再生端末３では、前記映像コンテンツが元映像受信部３０３により受信されて元映像バッファ３０４に一時記憶される。時刻t10では、前記映像再生端末３から映像配信プラットフォーム２へ、前記受信された元映像に関する差分データ要求が送信される。

映像配信プラットフォーム２では、前記差分データ配信部２０７が前記差分データ要求に応答して、要求された差分データを前記差分データ記憶部２０６から抽出し、時刻t11において前記映像再生端末３へ送信する。なお、複数の差分データが解像度毎に保持されている場合、前記前記差分データ配信部２０７は、映像再生端末３の再生能力に応じて最も高画質の差分データを選択する。

映像再生端末３では、前記差分データが差分データ取得部３０５により受信されて差分データバッファ３０６に一時記憶される。時刻t12では、前記元映像を基本レイヤ、差分データを拡張例多とする階層化符号化データが、前記復号部３０８で復号されて超解像映像が構築される。時刻t13では、前記超解像映像が表示部３０９において再生される。前記時刻t9から時刻t13までの各処理は、元映像のビットレートに応じた周期で繰り返し実行される。

なお、元映像バッファ３０４の容量には上限があるため、長い時間分の符号化データを格納することができない。そのため、動画配信サービス１から提供される元映像と映像配信プラットフォーム２から提供される差分データとは適切なタイミングで揃える必要がある。しかしながら、動画配信サービス１により提供されるストリーミングの方式や速度は、それぞれのサービスに依存し、その伝送方式も様々である。そのため、それぞれのサービスの環境の映像データ配信スピードと同期して差分データを提供する必要がある。

本実施例では、前記差分データ取得部３０５が、ケーブルモデム３０１で受信された元映像データのヘッダから、その再生タイミングを取得する。すなわち、定期的に受信されるH.264映像のSliceHeaderに記載されたframe_numを検査し、現在バッファ内に格納されているフレーム番号を取得する。そして、その値に基づき、この後バッファに蓄積すべき差分データを、映像配信プラットフォームにHTTP Getメソッド等のPull型の仕組みで要求する。

また、配信フォーマットとしてMPEG-2 TSが用いられている場合、差分データも、MPEG-2 PS（またはTS）として保存する。この場合、差分データ取得部３０５は、受信された映像ストリームの、MPEG-2 TSのPESパケットヘッダに記載されたDTS（Decoding Time Stamp）に基づき、次にバッファに蓄積すべき差分データを、映像配信プラットフォームへHTTP Getメソッド等のPull型の仕組みで要求する。

なお、上記の実施形態では、映像コンテンツを配信する伝送網としてIPを例にして説明したが、本発明はこれに限定されるものではなく、RFにより配信される映像コンテンツにも同様に適用できる。

また、本発明は動画や静止画の超解像化のみならず音声データにも適用できる。この場合、元音声から当該元音声に追加することで高音質化できる高音域を予測して差分データとして生成し、これを拡張レイヤとして元音声と共に配信するようにしても良い。

[第２実施形態]
図６は、本発明の第２実施形態に係る超解像化システムの構成を示したブロック図であり、前記と同一の符号は同一または同等部分を表しているので、その説明は省略する。

本実施形態では、映像配信プラットフォーム２が、前記一時記憶部２０３に変えてキャッシュサーバ２０９を備え、前記元映像取得部２０２により取得された映像コンテンツおよびそのメタデータが、前記キャッシュサーバ２０９の映像データ記憶部２０９ａおよびメタデータ記憶部２０９ｂに記憶される。また、差分データ配信部２０７が多重化部２０７ａを備え、要求された元映像のコンテンツが、その差分データと共に多重化されて一つのストリームとして映像再生端末３へ送信される。

図７は、本実施形態における映像配信時のシーケンスフローであり、時刻t6において、映像再生端末３のユーザによる映像配信要求の操作が検知されると、時刻t7では、映像再生端末３から映像配信プラットフォーム２へ映像コンテンツの配信要求が送信される。この配信要求には、配信映像を特定する識別子(URL)および再生端末３の映像再生能力が記述される。

映像配信プラットフォーム２では、前記差分データ配信部２０７において、前記要求された映像コンテンツの元映像およびその差分データが、前記キャッシュサーバ２０９および差分データ記憶部２０６にそれぞれ保持されているか否かが確認される。元映像およびその差分データが保持されていれば、時刻t8において、前記元映像および差分データが、それぞれキャッシュサーバ２０９および差分データ記憶部２０６から抽出され、多重化部２０７ａにおいて多重化された後に、時刻t9において、一つのストリームとして映像再生端末３へ配信される。

多重化の仕様は、動画配信サービス１で適用されている方法と同様の形態となるが、例えば、動画配信サービス１がmp4ファイルをHTTPストリーミングで配信するのであれば、前記多重化部２０７ａは、元映像を基本レイヤ、差分データを拡張レイヤとする一つのmp4ファイルとして多重化する。

映像再生端末３は、受信した多重化データを復号し、再生する。元映像および差分データは、映像配信プラットフォーム２上で、それぞれが同期する形で既に多重化されているので、端末側での同期は必要無く、受信したデータを逐次再生できる。

[第３実施形態]
図８は、本発明の第３実施形態に係る超解像化システムの構成を示したブロック図であり、前記と同一の符号は同一または同等部分を表しているので、その説明は省略する。本実施形態では、映像配信プラットフォーム２において、前記超解像処理部２０４および差分データ生成部２０５に代えて、2D画像を3D画像に変換する2D-3D変換部２１１を設けた点に特徴がある。

前記2D-3D変換部２１１は、2Dの元映像を解析して物体の奥行きを推定し、この推定結果に基づいて視差のある映像を生成する。本実施例では、動画配信サービス１から取得した映像コンテンツを、第１実施例と同様に元映像として一時記憶部２０３に一時記憶し、前記2D-3D変換部２１１において、元映像を右目（左目）画像とし、この右目（左目）画像に対して視差のある左目（右目）画像を生成する。視差データ配信部２１３は、映像配信の要求に応答して、元映像と同期して視差映像を伝送する。

映像再生端末３では、前記視差映像が視差映像取得部３１１で取得されて視差映像バッファ３１２に蓄積される。復号部３０８は、元映像を基本レイヤとし、視差映像を拡張レイヤとして復号することで3D映像を構築し、3D映像部３１３で再生する。

１…動画配信サービス，２…映像配信プラットフォーム（超解像化装置），３…映像再生端末（超解像映像再生装置），１０１…映像コンテンツサーバ，１０２…メタデータサーバ，２０１…ランキング情報取得部，２０２…元映像取得部，２０３…一時記憶部，２０４…超解像処理部，２０５…差分データ生成部，２０６…差分データ記憶部，２０７…差分データ配信部，２０９…キャッシュサーバ，２１１…2D-3D変換部，２１３…視差データ配信部，３０１…ケーブルモデム，３０２…映像プレイヤ，３０３…元映像取得部，３０４…元映像バッファ，３０５…差分データ取得部，３０６…差分データバッファ，３０７…能力通知部，３０８…復号部，３０９…表示部

Claims (5)

1. 配信映像を超解像化する超解像化システムにおいて、
   配信対象の元映像を取得する手段と、
   前記元映像を超解像化する手段と、
   前記超解像化された映像と元映像との差分データを生成する手段と、
   前記差分データを元映像と紐付けて蓄積する手段と、
   映像再生装置から元映像の配信要求を受信する手段と、
   前記配信要求を元映像の配信元へ中継する手段と、
   前記中継した配信要求に応答して配信元が配信する元映像と紐付けられた差分データを前記映像再生装置へ配信する手段とを具備したことを特徴とする配信映像の超解像化装置。
2. 前記元映像のランキング情報を取得する手段をさらに具備し、
   前記元映像を取得する手段は、前記ランキング情報を定期的に参照してランキングが上位の元映像を優先的に取得することを特徴とする請求項１に記載の配信映像の超解像化装置。
3. 前記元映像を取得する手段は、元映像およびそのメタデータを取得することを特徴とする請求項１または２に記載の配信映像の超解像化装置。
4. 前記元映像を超解像化する手段は、解像の異なる複数の超解像映像を生成し、
   前記差分データを生成する手段は、解像の異なる映像ごとに差分データを生成することを特徴とする請求項１ないし３のいずれかに記載の配信映像の超解像化装置。
5. 前記差分データを配信する手段は、映像再生装置の再生能力に応じて差分データを選択することを特徴とする請求項１ないし４のいずれかに記載の配信映像の超解像化装置。