WO2021038981A1

WO2021038981A1 - 受信装置及び受信方法、並びに送信装置及び送信方法

Info

Publication number: WO2021038981A1
Application number: PCT/JP2020/019738
Authority: WO
Inventors: 矢ケ崎　陽一; 由幸小林
Original assignee: ソニー株式会社
Priority date: 2019-08-30
Filing date: 2020-05-19
Publication date: 2021-03-04
Also published as: US20220286746A1; EP4024875A1; EP4024875A4

Abstract

コンテンツの高品質化に関する情報を受信する受信装置を提供する。　受信装置は、コンテンツを処理するように学習された学習モデルの重み係数に関する属性情報をコンテンツと多重化したストリームを受信する受信部と、受信したストリームを非多重化して属性情報を取得する取得部を具備する。属性情報は、重み係数を適用する対象となるコンテンツの種別、更新しようとする重み係数のデータサイズ、更新しようとする重み係数の学習モデル上における位置情報、重み係数のデータの精度のうち少なくとも１つに関する情報を含む。

Description

受信装置及び受信方法、並びに送信装置及び送信方法

　本明細書で開示する技術は、コンテンツに関する情報を受信する受信装置及び受信方法、並びに、コンテンツに関する情報を送信する送信装置及び送信方法に関する。

　最近、超解像や高ダイナミックレンジといった画質向上に関する技術がテレビ受信機などに取り入れられてきている。また、音響に関しても、記録又は編集時に除去又は低域に圧縮された低解像度音源を高解像度音源に変換するハイレゾ技術が広く普及してきている。すなわち、テレビ受信機などのコンテンツ再生装置において、元のコンテンツを高品質化して再生出力してユーザ（視聴者）に提供することが一般的となりつつある。

　例えば、深層学習（Ｄｅｅｐ　Ｌｅａｒｎｉｎｇ）により低解像度画像又は標準解像度画像から超解像度画像を推定するように事前学習した畳み込みニューラルネットワークを用いて、低解像度画像から高解像度画像を作成する超解像度処理方法が知られている（例えば、特許文献１並びに非特許文献２を参照のこと）。

　また、ＣＤ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ）などのメディアから再生され又はストリーミング配信された低解像度音源を、事前学習した学習モデルを用いて高解像度音源に変換してオーディオ出力する再生方法が知られている（例えば、特許文献２を参照のこと）。

　映像の超解像処理や音源の高解像度化に使用する学習モデルを深層学習により生成するには厖大な学習データが必要であり、また深層学習を実施するには演算負荷が高い。このため、製造元などのサーバで深層学習などにより事前学習した学習モデルを、テレビ受信装置や音楽プレイヤーなどの機器に搭載して出荷するのが一般的である。ここで、事前学習した学習モデルについて、バックプロパゲーション（誤差逆伝播）技術などを利用して重み係数を更新し、さらには継続的に学習することは可能である。しかしながら、入手可能な学習データ量や演算負荷の制約などから、出荷後の製品上において学習モデルを再学習することは現実的でない。他方、製造元などのサーバでは、学習モデルの学習を継続的に行い、重み係数の更新を繰り返すことができるが、そのような学習の成果は後継機器に採用することはできるものの、出荷後の機器に反映されることはない。このため、エンドユーザは、最新の学習モデルで超解像処理やハイレゾ技術の恩恵を受けるには、新製品に買い替えるしかない。

特開２０１９－２３７９８号公報特開２０１７－２０３９９９号公報特開２０１５－９２５２９号公報特許第４９１５１４３号公報特開２００７－１４３０１０号公報

Ｉｍａｇｅ　Ｓｕｐｅｒ－Ｒｅｓｏｌｕｔｉｏｎ　Ｕｓｉｎｇ　Ｄｅｅｐ．Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｔｗｏｒｋｓ．Ｃｈａｏ　Ｄｏｎｇ，Ｃｈｅｎ　Ｃｈａｎｇｅ　Ｌｏｙ，Ｍｅｍｂｅｒ，ＩＥＥＥ，Ｋａｉｍｉｎｇ　Ｈｅ，Ｍｅｍｂｅｒ，ＩＥＥＥ，ａｎｄ　Ｘｉａｏｏｕ　Ｔａｎｇ，Ｆｅｌｌｏｗ，ＩＥＥＥ

　本明細書で開示する技術の目的は、コンテンツの高品質化に関する情報を受信する受信装置及び受信方法、並びに、コンテンツの高品質化に関する情報を送信する送信装置及び送信方法を提供することにある。

　本明細書で開示する技術は上記課題に鑑みてなされたものであり、その第１の側面は、
　コンテンツを処理するように学習された学習モデルの重み係数に関する属性情報をコンテンツと多重化したストリームを受信する受信部と、
　受信したストリームを非多重化して属性情報を取得する取得部と、
を具備する受信装置である。

　コンテンツは映像やオーディオ信号を含む。また、前記学習モデルは、映像を超解像処理又は高ダイナミックレンジ化といった高画質化処理するための学習モデルや、オーディオ信号の帯域拡張といった高音質化処理するための学習モデルを含む。

　また、属性情報は、重み係数を適用する対象となるコンテンツの種別、更新しようとする重み係数のデータサイズ、更新しようとする重み係数の学習モデル上における位置情報、重み係数のデータの精度のうち少なくとも１つに関する情報を含む。

　また、本明細書で開示する技術の第２の側面は、
　コンテンツを処理するように学習された学習モデルの重み係数に関する属性情報をコンテンツと多重化したストリームを受信する受信ステップと、
　受信したストリームを非多重化して属性情報を取得する取得ステップと、
を有する受信方法である。

　また、本明細書で開示する技術の第３の側面は、
　コンテンツを処理するように学習された学習モデルの重み係数に関する属性情報をコンテンツと多重化したストリームを生成する多重化部と、
　多重化したストリームを所定の伝送メディア上に伝送する伝送部と、
を具備する送信装置である。

　コンテンツは映像を含む。また、第３の側面に係る送信装置は、重み係数を学習する学習部をさらに備える。

　また、本明細書で開示する技術の第４の側面は、
　コンテンツを処理するように学習された学習モデルの重み係数に関する属性情報をコンテンツと多重化したストリームを生成する多重化ステップと、
　多重化したストリームを所定の伝送メディア上に伝送する伝送ステップと、
を有する送信方法である。

　本明細書で開示する技術によれば、コンテンツの多重化ストリームからコンテンツの高品質化に関する情報を受信する受信装置及び受信方法、並びに、コンテンツの多重化ストリームでコンテンツの高品質化に関する情報を送信する送信装置及び送信方法を提供することができる。

　なお、本明細書に記載された効果は、あくまでも例示であり、本明細書で開示する技術によりもたらされる効果はこれに限定されるものではない。また、本明細書で開示する技術が、上記の効果以外に、さらに付加的な効果を奏する場合もある。

　本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図１は、コンテンツ再生システム１００の構成例を示した図である。図２は、ディスプレイへのパネルスピーカー技術の適用例を示した図である。図３は、コンテンツ再生システム３００の構成例を示した図である。図４は、ニューラルネットワークを用いた超解像処理の一例を示した図である。図５は、コンテンツ再生システム５００の構成例（第１の実施例）を示した図である。図６は、マルチメディア伝送データフォーマット例（第１の実施例）を示した図である。図７は、マルチメディア伝送データフォーマットに多重化されるフィルタ係数のデータフォーマット例（第１の実施例）を示した図である。図８は、マルチメディア伝送データフォーマットに多重化されるフィルタ係数のデータフォーマット例を示した図である。図９は、マルチメディア伝送データフォーマットに多重化されるフィルタ係数のデータフォーマット例を示した図である。図１０は、コンテンツ再生システム１０００の他の構成例（第１の実施例）を示した図である。図１１は、マルチメディア伝送データフォーマット例（第１の実施例）を示した図である。図１２は、マルチメディア伝送データフォーマットに多重化されるフィルタ係数のデータフォーマット例（第１の実施例）を示した図である。図１３は、マルチメディア伝送データフォーマットに多重化されるフィルタ係数のデータフォーマット例を示した図である。図１４は、マルチメディア伝送データフォーマットに多重化されるフィルタ係数のデータフォーマット例を示した図である。図１５は、多重化ビットストリームを受信したときの処理手順を示したフローチャート（第１の実施例）である。図１６は、コンテンツ符号化システム１６００の構成例を示した図である。図１７は、コンテンツ符号化システム１６００で符号化される伝送データの構成例を示した図である。図１８は、フィルタ係数学習器１６０４の内部構成例を示した図である。図１９は、コンテンツ再生システム１９００の構成例（第２の実施例）を示した図である。図２０は、マルチメディア伝送データフォーマット例（第２の実施例）を示した図である。図２１は、図２０に示したマルチメディア伝送データに多重化されるフィルタ係数のデータフォーマット例（第２の実施例）を示した図である。図２２は、図２０に示したマルチメディア伝送データに多重化されるフィルタ係数のデータフォーマット例（第２の実施例）を示した図である。図２３は、第２の実施例に係るコンテンツ再生システム２３００の他の構成例を示した図である。図２４は、マルチメディア伝送データフォーマット例（第２の実施例）を示した図である。図２５は、図２４に示したマルチメディア伝送データに多重化されるフィルタ係数のデータフォーマット例（第２の実施例）を示した図である。図２６は、図２４に示したマルチメディア伝送データに多重化されるフィルタ係数のデータフォーマット例（第２の実施例）を示した図である。図２７は、多重化ビットストリームを受信したときの処理手順を示したフローチャート（第２の実施例）である。図２８は、第３の実施例に係るコンテンツ再生システム２８００の構成例を示した図である。図２９は、マルチメディア伝送データフォーマット例（第３の実施例）を示した図である。図３０は、図２９に示したマルチメディア伝送データに多重化されるフィルタ係数のデータフォーマット例（第３の実施例）を示した図である。図３１は、図２９に示したマルチメディア伝送データに多重化されるフィルタ係数のデータフォーマット例（第３の実施例）を示した図である。図３２は、図２９に示したマルチメディア伝送データに多重化されるコントロールコマンドのデータフォーマット例（第３の実施例）を示した図である。図３３は、マルチメディア伝送データフォーマット例（第３の実施例）を示した図である。図３４は、マルチメディア伝送データフォーマット例（第３の実施例）を示した図である。図３５は、図３４に示したマルチメディア伝送データに多重化されるフィルタ係数データのデータフォーマット例を示した図である。図３６は、図３４に示したマルチメディア伝送データに多重化されるフィルタ係数データのデータフォーマット例を示した図である。図３７は、図３４に示したマルチメディア伝送データに多重化されるコントロールコマンドのデータフォーマット例を示した図である。図３８は、多重化ビットストリームを受信したときの処理手順を示したフローチャート（第３の実施例）である。図３９は、第４の実施例に係るコンテンツ再生システム３９００の構成例を示した図である。

　以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。

　図１には、コンテンツ再生システム１００の構成例を模式的に示している。図示のコンテンツ再生システム１００では、コンテンツが提供される形態として、地上放送や衛星放送などの放送信号、ハードディスクドライブ（ＨＤＤ）やブルーレイなどの記録メディアから再生される再生信号、クラウド上のストリーミングサーバなどから配信されるストリーミングコンテンツなどを想定している。ネットワークを利用した放送型の動画配信サービスとして、ＩＰＴＶやＯＴＴ（Ｏｖｅｒ　Ｔｈｅ　Ｔｏｐ）などを挙げることができる。そして、これらのコンテンツは、映像、オーディオ、補助データ（字幕、テキスト、グラフィックス、番組情報など）といった各メディアデータのビットストリームを多重化した多重化ビットストリームとして、コンテンツ再生システム１００に供給される。多重化ビットストリームは、例えばＭＰＥＧ２　Ｓｙｓｔｅｍ規格に則って映像、オーディオなどの各メディアのデータが多重化されていることを想定している。

　なお、コンテンツ再生システム１００は、放送信号を選局受信するチューナ、メディア再生装置からの再生信号を入力するＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）インターフェース、ネットワーク接続するネットワークインターフェース（ＮＩＣ）を装備しているが、図１では省略している。

　コンテンツ再生システム１００は、非多重化部（デマルチプレクサ）１０１と、映像復号部１０２と、オーディオ復号部１０３と、補助（Ａｕｘｉｌｉａｒｙ）データ復号部１０４と、高画質化部１０５と、高音質化部１０６と、画像表示部１０７と、オーディオ出力部１０８を備えている。コンテンツ再生システム１００は、例えばテレビ受信装置であってもよい。あるいは、コンテンツ再生システム１００は、セットトップボックスのような端末装置であり、受信した多重化ビットストリームを処理して、画像表示部１０７及びオーディオ出力部１０８を備えたテレビ受信装置に処理後の映像及びオーディオ信号を出力するように構成してもよい。

　非多重化部１０１は、放送信号、再生信号、又はストリーミングデータとして外部から受信した多重化ビットストリームを、映像ビットストリーム、オーディオビットストリーム、及び補助ビットストリームに非多重化して、後段の映像復号部１０２、オーディオ復号部１０３、及び補助データ復号部１０４の各々に分配する。

　映像復号部１０２は、例えばＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｏｐ）符号化された映像ビットストリームを復号処理して、ベースバンドの映像信号を出力する。なお、映像復号部１０２から出力される映像信号は、低解像度又は標準解像度の映像、あるいは低ダイナミックレンジ（ＬＤＲ）又は標準ダイナミックレンジ（ＳＤＲ）の映像であることを想定している。

　オーディオ復号部１０３は、例えばＭＰ３（ＭＰＥＧ　Ａｕｄｉｏ　Ｌａｙｅｒ３）あるいはＨＥ－ＡＡＣ（Ｈｉｇｈ　Ｅｆｆｉｃｉｅｎｃｙ　ＭＰＥＧ４　Ａｄｖａｎｃｅｄ　Ａｕｄｉｏ　Ｃｏｄｉｎｇ）などの符号化方式により符号化されたオーディオビットストリームを復号処理して、ベースバンドのオーディオ信号を出力する。なお、オーディオ復号部１０３から出力されるオーディオ信号は、高音域などの一部の帯域が除去又は圧縮された低解像度又は標準解像度のオーディオ信号であることを想定している。

　補助データ復号部１０４は、符号化された補助ビットストリームを復号処理して、字幕、テキスト、グラフィックス、番組情報などを出力する。

　高画質化部１０５は、映像復号部１０２から出力された映像信号及び補助データ復号部１０４から出力された字幕、テキスト、グラフィックス、番組情報などに対して高画質化処理を施す。映像復号部１０２から出力される映像信号は、低解像度又は標準解像度の映像、あるいは低ダイナミックレンジ又は標準ダイナミックレンジの映像である。高画質化部１０５は、低解像度又は標準解像度の映像信号から高解像度映像信号を生成する超解像処理や、高ダイナミックレンジ化などの高画質化処理を実施する。高画質化部１０５は、映像復号部１０２から出力された映像信号と補助データ復号部１０４から出力された字幕などの補助データとを合成した映像信号に対して高画質化処理を実施してもよいし、映像信号との字幕などの補助データとをそれぞれ個別の高画質化処理してから合成処理を行うようにしてもよい。いずれにせよ、高画質化部１０５は、映像信号の出力先である画像表示部１０７が許容する画面解像度又は輝度ダイナミックレンジの範囲内で、超解像処理や高ダイナミックレンジ化処理を実施するものとする。

　本実施形態では、高画質化部１０５は、深層学習などの事前学習した学習モデルを有するニューラルネットワークを用いて低解像度又は標準解像度の映像から超解像度映像を推定し、あるいは、低ダイナミックレンジ又は標準ダイナミックレンジの画像から高ダイナミックレンジの映像を推定することを想定している。

　高音質化部１０６は、オーディオ復号部１０３から出力されたオーディオ信号に対して高音質化処理を施す。オーディオ復号部１０３から出力されるオーディオ信号は、高音域などの一部の帯域が除去又は圧縮された低解像度又は標準解像度のオーディオ信号である。高音質化部１０６は、低解像度又は標準解像度のオーディオ信号を、除去又は圧縮された帯域を含む高解像度（ハイレゾ）オーディオ信号に帯域拡張したりする高音質化処理を実施する。

　本実施形態では、高音質化部１０６は、深層学習などの事前学習した学習モデルを有するニューラルネットワークを用いて低解像度又は標準解像度のオーディオ信号からハイレゾオーディオ信号を推定することを想定している。

　画像表示部１０７は、高画質化部１０５で高画質化処理が施された映像を表示した画面をユーザ（コンテンツの視聴者など）に提示する。もちろん、画像表示部１０７は、高画質化処理されない映像を表示してもよい。画像表示部１０７は、例えば液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、あるいは画素に微細なＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）素子を用いた自発光型ディスプレイ（例えば、特許文献３を参照のこと）などからなる表示デバイスである。

　また、画像表示部１０７は、画面を複数の領域に分割して領域毎に明るさを制御する部分駆動技術を適用した表示デバイスであってもよい。透過型の液晶パネルを用いたディスプレイの場合、信号レベルの高い領域に相当するバックライトは明るく点灯させる一方、信号レベルの低い領域に相当するバックライトは暗く点灯させることで、輝度コントラストを向上させることができる。この種の部分駆動型の表示デバイスにおいては、暗部で抑えた電力を信号レベルの高い領域に配分して集中的に発光させる突き上げ技術をさらに利用して、（バックライト全体の出力電力は一定のまま）部分的に白表示を行った場合の輝度を高くして、高ダイナミックレンジを実現することができる（例えば、特許文献４を参照のこと）。

　オーディオ出力部１０８は、高音質化部１０６で高音質化処理が施されたオーディオを出力する。もちろん、オーディオ出力部１０８は、高音質化処理されないオーディオ信号を出力してもよい。オーディオ出力部１０８は、スピーカーなどの音響発生素子で構成される。例えば、オーディオ出力部１０８は、複数のスピーカーを組み合わせたスピーカーアレイ（多チャンネルスピーカー若しくは超多チャンネルスピーカー）であってもよく、一部又は全部のスピーカーがテレビ受信装置に外付け接続されていてもよい。

　コーン型スピーカーの他、フラットパネル型スピーカー（例えば、特許文献５を参照のこと）をオーディオ出力部１０８に用いることができる。もちろん、異なるタイプのスピーカーを組み合わせたスピーカーアレイをオーディオ出力部１０８として用いることもできる。また、スピーカーアレイは、振動を生成する１つ以上の加振器（アクチュエータ）によって画像表示部１０７を振動させることでオーディオ出力を行うものを含んでもよい。加振器（アクチュエータ）は、画像表示部１０７に後付けされるような形態であってもよい。図２には、ディスプレイへのパネルスピーカー技術の適用例を示している。ディスプレイ２００は、背面のスタンド２０２で支持されている。ディスプレイ２００の裏面には、スピーカーユニット２０１が取り付けられている。スピーカーユニット２０１の左端には加振器２０１－１が配置され、また、右端には加振器２０１－２が配置されており、スピーカーアレイを構成している。各加振器２０１－１及び２０１－２が、それぞれ左右のオーディオ信号に基づいてディスプレイ２００を振動させて音響出力することができる。スタンド２０２が、低音域の音響を出力するサブウーファーを内蔵してもよい。なお、ディスプレイ２００は、有機ＥＬ素子を用いた画像表示部１０７に相当する。

　図３には、コンテンツ再生システム３００の他の構成例を模式的に示している。このコンテンツ再生システム３００も、放送信号やメディア再生信号、ストリーム配信コンテンツを受信して、映像及びオーディオ信号を出力するように構成されている。コンテンツ再生システム３００は、チューナやＨＤＭＩ（登録商標）インターフェース、ネットワークインターフェースなどを装備しているが、図３では省略している。コンテンツ再生システム３００は、例えばテレビ受信装置やセットトップボックスである。

　コンテンツ再生システム３００は、非多重化（デマルチプレクサ）及びデータ検索部（Ｄａｔａ　Ｒｅｔｒｉｅｖｅｒ）３０１と、映像復号部３０２と、オーディオ復号部３０３と、補助データ復号部３０４と、高画質化部３０５と、高音質化部３０６と、画像表示部３０７と、オーディオ出力部３０８を備えている。映像復号部３０２と、オーディオ復号部３０３と、補助データ復号部３０４と、高画質化部３０５と、高音質化部３０６と、画像表示部３０７と、オーディオ出力部３０８は、図１に示したコンテンツ再生システム１００中のそれぞれ同一名のコンポーネントと同様の機能を備えているので、ここでは説明を省略する。

　非多重化及びデータ検索部３０１は、外部から受信した多重化ビットストリームを非多重化するとともに、ネットワークインターフェース（図示しない）経由でクラウド上のデータの取得処理を行う。一般にデータはファイル単位で取り扱われる。また、クラウド又はディスクなどの記録メディア上のファイルの所在は、ＵＲＩ（Ｕｎｉｆｏｒｍ　Ｒｅｓｏｕｒｃｅ　Ｉｎｄｉｃａｔｏｒ）又はＵＲＬ（Ｕｎｉｆｏｒｍ　Ｒｅｓｏｕｒｃｅ　Ｌｏｃａｔｏｒ）の形式で記述される。

　上述したように、図１に示したコンテンツ再生システム１００では、高画質化部１０５並びに高音質化部１０６はそれぞれ、深層学習などの事前学習した学習モデルを有するニューラルネットワークを用いて、高画質化処理並びに高音質化処理を実施する。図３に示すコンテンツ再生システム３００の高画質化部３０５及び高音質化部３０６についても同様である。

　ここでは、図４を参照しながら、映像の超解像処理を例にとって、学習モデルを利用したコンテンツの高品質化について説明する。

　高画質化部１０５は、第１層乃至第３層の３層のフィルタ群を備えている。第１層のフィルタ群は、それぞれｆ₁×ｆ₁（例えば、９×９）マトリックスのフィルタをｎ₁種類だけ備えている。同様に、第２層のフィルタ群は、それぞれｆ₂×ｆ₂マトリックスのフィルタをｎ₂種類だけ備え、第３層のフィルタ群は、それぞれｆ₃×ｆ₃マトリックスのフィルタを備えているものとする。

　第１層の処理では、入力された低解像度画像に対して、ｎ₁種類のｆ₁×ｆ₁マトリックスの第１層フィルタを順次かけて、ｎ₁通りの特徴マップを生成する。

　第２層の処理では、低解像度画像に関するｎ₁通りの特徴マップに対して、ｎ₂種類のｆ₂×ｆ₂マトリックスの第２層フィルタを順次かけて、高解像度画像のｎ₂通りの特徴マップに非線形マッピングする。

　そして、第３層の処理では、高解像度画像のｎ₂通りの特徴マップに対して、隣接するｆ₃×ｆ₃マトリックスのフィルタをかけて、高解像度画像を再構築して出力する。

　上記のような超解像処理で使用される各フィルタは、マトリックスの要素毎にフィルタ係数を持つ。ここで言うフィルタ係数は、学習モデルにおける重み係数に相当する概念である。

　図４に示した超解像処理は一例に過ぎない。但し、ニューラルネットワークを用いたいずれの超解像処理手法も、複数層からなり、且つ層毎に複数の重み係数を有するというネットワーク構造は類似する。

　また、高ダイナミックレンジ化など超解像以外の高画質化処理、オーディオ信号の高音質化処理、並びに字幕などの補助データの高画質化処理においても、ニューラルネットワークを適用する場合には、複数層からなり、且つ層毎に複数の重み係数を有するというネットワーク構造は類似する。

　各層のフィルタ係数は、深層学習などにより継続的に学習することができる。しかしながら、深層学習には厖大な学習データが必要であり、また深層学習を実施するには演算負荷が高い。このため、製造元などのサーバで深層学習などにより事前学習した学習モデルのフィルタ係数を高画質化部１０５や高音質化部１０６に設定して、コンテンツ再生システム１００に相当する製品を出荷することが想定される。また、事前学習した学習モデルについて、バックプロパゲーション（誤差逆伝播）技術などを利用してフィルタ係数を更新しさらには継続して学習することは可能である。しかしながら、出荷後のコンテンツ再生システム１００において再学習することは、入手可能な学習データ量や演算負荷の制約などから、現実的でない。コンテンツ再生システム３００においても、同様にフィルタ係数の再学習を実施することは現実的でない。

　他方、製造元などのサーバでは、学習モデルの学習を継続的に行い、フィルタ係数の更新を繰り返すことができる。そこで、本明細書では、サーバなどで継続的に学習して得られた最新の学習モデルのフィルタ係数に関する情報を出荷後の製品に伝送する伝送技術について、以下で提案する。

　本提案に係る伝送技術によれば、映像、オーディオ、補助データといった各種メディアを多重化した多重化ビットストリームに、さらに学習モデルのフィルタ係数に関する情報を多重化して、所定の伝送メディア上に伝送することができる。したがって、テレビ受信装置などの機器の製造元が更新した学習モデルのフィルタ係数や、放送局が放送コンテンツ毎に適合するように更新した学習モデルのフィルタ係数、ストリーム配信事業者がストリーミングコンテンツ毎に適合するように更新した学習モデルのフィルタ係数を、随時、多重化ビットストリームに多重化して、テレビ受信装置などの機器に提供することができる。メディアのデータと学習モデルのフィルタ係数を、多重化して同時に提供することで、メディアとフィルタ係数の対応付けや取り扱いが容易になるというメリットもある。

　また、学習モデルのすべてのフィルタ係数を伝送する必要はなく、層単位、あるいは層内部の特定の領域の単位で、フィルタ係数を伝送することによって、学習モデルを部分的に更新することも可能である。

　また、テレビ受信装置などの多重化ビットストリームの受信側では、受信した多重化ビットストリームを非多重化して、学習モデルのフィルタ係数に関する情報が取り出された場合には、その情報に基づいて高画質化処理又は高音質化処理の学習モデルを随時更新することができる。

　第１の実施例では、コンテンツの提供側からは、映像、オーディオ、及び補助データの各メディアデータのビットストリームとともに、更新する学習モデルのフィルタ係数及びその属性情報を多重化して伝送される。基本的に、多重化されるメディアとフィルタ係数は対応付けされているものとする。

　ここで、属性情報は、更新の対象とするフィルタ係数の種別情報、並びに、更新しようとするフィルタ係数を特定する位置情報（例えば、更新しようとする層、又は更新しようとする層内の領域を示す情報）を含む。したがって、種別情報を指定することで、映像、オーディオ、又は補助データのいずれかに特化した学習モデルの更新が可能である。また、位置情報を指定することで、層単位あるいは層内部の特定の領域の単位で、部分的に学習モデルを更新することができる。

　また、第１の実施例では、テレビ受信装置などのコンテンツの受信側は、受信した多重化ビットストリームを非多重化して、学習モデルのフィルタ係数に関する情報が取り出された場合には、その属性情報として指定されている種別情報に基づいて、映像、オーディオ、又は補助データのいずれかのメディアに特化した学習モデルの更新が可能である。また、属性情報として指定されている位置情報に基づいて、特定のメディアの学習モデルを部分的に更新することができる。

　図５には、第１の実施例に係るコンテンツ再生システム５００の構成例を模式的に示している。このコンテンツ再生システム５００も、放送信号やメディア再生信号、ストリーム配信コンテンツを受信して、映像及びオーディオを出力するように構成されている。コンテンツ再生システム５００は、チューナやＨＤＭＩ（登録商標）インターフェース、ネットワークインターフェースなどを装備しているが、図５では省略している。コンテンツ再生システム５００は、例えばテレビ受信装置やセットトップボックスである。

　コンテンツ再生システム５００は、非多重化部５０１と、映像復号部５０２と、オーディオ復号部５０３と、補助データ復号部５０４と、フィルタ係数復号部５０５と、高画質化部５０６と、高音質化部５０７と、画像表示部５０８と、オーディオ出力部５０９を備えている。映像復号部５０２と、オーディオ復号部５０３と、補助データ復号部５０４と、高画質化部５０６と、高音質化部５０７と、画像表示部５０８と、オーディオ出力部５０９は、図１に示したコンテンツ再生システム１００中と同一名のコンポーネントとそれぞれ同様の機能を備えているので、ここでは説明を省略する。

　非多重化部５０１は、放送信号、再生信号、又はストリーミングデータとして外部から受信した多重化ビットストリームを、映像ビットストリーム、オーディオビットストリーム、補助ビットストリーム、及びフィルタ係数ビットストリームに非多重化して、後段の映像復号部５０２、オーディオ復号部５０３、補助データ復号部５０４、及びフィルタ係数復号部５０５の各々に分配する。但し、受信した多重化ビットストリームに必ずしもフィルタ係数ビットストリームが多重化されているとは限らず、この場合には、フィルタ係数復号部５０５にフィルタ係数ビットストリームが供給されることはない。

　フィルタ係数復号部５０５は、所定の符号化方式で符号化されたるフィルタ係数ビットストリームを復号処理して、フィルタ係数の属性情報とフィルタ係数のデータ本体とを抽出すると、高画質化部５０６に供給する。属性情報は、送られてきたフィルタ係数のデータ種別（動画像用、静止画用、グラフィックス用など）、送られてきたフィルタ係数のデータサイズ（ある層全体、又はその一部かの区別など）、フィルタ係数の位置情報（どの層のどの範囲を上書きするデータか）、並びに精度（３２ビット浮動小数点数型、１６ビット整数型、８ビット整数型など）に関する情報を含んでいる。

　高画質化部５０６は、属性情報に基づいて、該当するメディア種別の該当する層又は層内の指定された領域にフィルタ係数を上書き保存して、高画質化部５０６内の学習モデルを更新する。高画質化部５０６は、以降は更新された学習モデルを用いて、映像復号部５０２から出力される映像信号に対して、超解像処理や高ダイナミックレンジ化といった高画質化処理を実施する。

　なお、図５では、フィルタ係数復号部５０５から高画質化部５０６にのみ復号結果が出力するように描かれているが、フィルタ係数復号部５０５は、属性情報でメディア種別としてオーディオが指定されている場合には、高音質化部５０７に属性情報（種別情報、位置情報など）とフィルタ係数を供給し、高音質化のための学習モデルの更新処理が上記と同様に実施されるものと理解されたい。

　図６には、映像、オーディオ、及び補助データなどの各メディアデータとともに、学習モデルのフィルタ係数及びその属性情報を多重化して伝送するマルチメディア伝送データフォーマットを模式的に示している。当該伝送データフォーマットで多重化される学習モデルのフィルタ係数は、同じ伝送データに含まれるいずれかのメディアデータの高品質化に関わる学習モデルのフィルタ係数を更新するためのデータである。

　マルチメディア伝送データフォーマットは、参照番号６０１で示すシーケンスヘッダを先頭にして、メディアヘッダが付けられた各メディアのデータが順に連結されて構成される。図６に示す例では、参照番号６０２で示すフィルタ係数のメディアヘッダに続いて参照番号６０３で示すフィルタ係数のデータ本体が伝送され、その後、参照番号６０４で示すオーディオのメディアヘッダに続いて参照番号６０５で示すオーディオデータの本体が伝送される。さらにその後に、映像データのメディアヘッダ及び映像データの本体、映像データのメディアヘッダ及び映像データの本体、…の順に伝送されている。

　コンテンツ再生システム５００が図６に示すようなデータフォーマットからなるマルチメディア伝送データを受信すると、非多重化部５０１では、メディアヘッダに基づいて直後のメディアデータ本体のメディア種別を識別して、映像復号部５０２、オーディオ復号部５０３、補助データ復号部５０４、及びフィルタ係数復号部５０５に逐次振り分けることができる。

　図７～図９には、図６に示したマルチメディア伝送データフォーマットに多重化されるフィルタ係数のデータフォーマット例をそれぞれ示している。

　図７に示すフィルタ係数データは、属性情報として、参照番号７０１で示すデータ種別（動画像）、参照番号７０２で示すデータサイズ（フィルタ係数データのセット数：１）、参照番号７０３で示す位置情報（第１層のフィルタ全体）、及び、参照番号７０４で示すデータの精度（８ビット整数型）を含んでいる。そして、これらの属性情報７０１～７０４に続いて、参照番号７０５で示すフィルタ係数のデータが格納されている。例えば、第１層の９×９マトリックスのフィルタが全体でｎ₁（＝６４）種類が存在する場合には、データ部分のサイズは、８×９×９×６４＝４１，４７２ビットである。

　高画質化部５０６は、フィルタ係数復号部５０５から図７に示すような属性情報及びフィルタ係数データが渡されると、位置情報に基づいて第１層の６４種類のフィルタのすべてのフィルタ係数をデータ７０５で上書きして、高画質化部５０６内の学習モデルを更新する。

　図８に示すフィルタ係数データは、属性情報として、参照番号８０１で示すデータ種別（動画像）、参照番号８０２で示すデータサイズ（フィルタ係数データのセット数：２）を含んでいる。図８に示す例では、メディアデータとして２セットのフィルタ係数データが含まれる。そして、１番目のセットの属性情報として、参照番号８０３で示すフィルタ係数データの位置情報（第１層のフィルタ全体）と参照番号８０４で示すデータの精度（８ビット整数型）を含み、続いて、参照番号８０５で示す１番目のセットのフィルタ係数データ本体が格納されている。

　さらに続いて、２番目のセットの属性情報として、参照番号８０６で示すフィルタ係数データの位置情報（第３層のフィルタ全体）と参照番号８０７で示すデータの精度（１６ビット整数型）を含み、続いて、参照番号８０８で示す２番目のフィルタ係数データ本体が格納されている。例えば、第２層の９×９マトリックスのフィルタが全体でｎ₂（＝３２）種類が存在する場合には、データ部分のサイズは、１６×９×９×３２＝４１，４７２ビットである。

　高画質化部５０６は、フィルタ係数復号部５０５から図８に示すような属性情報及びフィルタ係数データが渡されると、まず１番目のフィルタ係数データのセットの位置情報８０３に基づいて第１層の６４種類のフィルタのすべてのフィルタ係数をデータ８０５で上書きして、高画質化部５０６内の学習モデルを更新する。続いて、高画質化部５０６は、２番目のフィルタ係数データのセットの位置情報８０６に基づいて第３層のフィルタのすべてのフィルタ係数をデータ８０８で上書きして、同学習モデルを更新する。

　図９に示すフィルタ係数データは、属性情報として、参照番号９０１で示すデータ種別（動画像）、参照番号９０２で示すデータサイズ（フィルタ係数データのセット数：１）、参照番号９０３で示す位置情報（６４セットからなる第１層のフィルタのうち３３番目から６４番目まで）、及び、参照番号９０４で示すデータの精度（８ビット整数型）を含んでいる。そして、これらの属性情報９０１～９０４に続いて、参照番号９０５で示すフィルタ係数のデータが格納されている。例えば、第１層の９×９マトリックスのフィルタのうち３３番目から６４番目までの３３セット分のデータのサイズは、８×９×９×３２＝４１，４７２ビットである。

　高画質化部５０６は、フィルタ係数復号部５０５から図７に示すような属性情報及びフィルタ係数データが渡されると、位置情報に基づいて第１層の６４種類のフィルタのうち３３番目から６４番目までのフィルタ係数をデータ７０５で上書きして、高画質化部５０６内の学習モデルを更新する。

　図１０には、第１の実施例に係るコンテンツ再生システム１０００の他の構成例を模式手に示している。このコンテンツ再生システム１０００も、放送信号やメディア再生信号、ストリーム配信コンテンツを受信して、映像及びオーディオ信号を出力するように構成されている。コンテンツ再生システム１０００は、チューナやＨＤＭＩ（登録商標）インターフェース、ネットワークインターフェースなどを装備しているが、図１０では省略している。コンテンツ再生システム１０００は、例えばテレビ受信装置やセットトップボックスである。

　コンテンツ再生システム１０００は、非多重化及びデータ検索部１００１と、映像復号部１００２と、オーディオ復号部１００３と、補助データ復号部１００４と、フィルタ係数復号部１００５と、高画質化部１００６と、高音質化部１００７と、画像表示部１００８と、オーディオ出力部１００９を備えている。映像復号部１００２と、オーディオ復号部１００３と、補助データ復号部１００４と、高画質化部１００６と、高音質化部１００７と、画像表示部１００８と、オーディオ出力部１００９は、図３に示したコンテンツ再生システム３００中の同一名のコンポーネントと同様の機能を備えているので、ここでは説明を省略する。

　非多重化及びデータ検索部１００１は、外部から受信した多重化ビットストリームを映像ビットストリーム、オーディオビットストリーム、補助ビットストリーム、及びフィルタ係数ビットストリームに非多重化して、後段の映像復号部１００２、オーディオ復号部１００３、補助データ復号部１００４、及びフィルタ係数復号部１００５の各々に分配する。但し、受信した多重化ビットストリームに必ずしもフィルタ係数ビットストリームが多重化されているとは限らず、この場合には、フィルタ係数復号部１００５にフィルタ係数ビットストリームが供給されることはない。

　また、非多重化及びデータ検索部１００１は、ネットワークインターフェース（図示しない）経由でクラウド又は記録メディア上のデータの取得処理を行う。一般にデータはファイル単位で取り扱われる。また、クラウド又は記録メディア上のファイルの所在は、ＵＲＩ又はＵＲＬの形式で記述される。

　フィルタ係数復号部１００５は、所定の符号化方式で符号化されたるフィルタ係数ビットストリームを復号処理して、フィルタ係数の属性情報とフィルタ係数のデータ本体部を抽出する。フィルタ係数のデータ本体部は、フィルタ係数データ自体ではなく、フィルタ係数を記述したデータファイルのクラウド又は記録メディア上の所在の情報を格納している。そこで、フィルタ係数復号部１００５は、フィルタ係数ビットストリームを復号して、例えばＵＲＬ形式で記述された所在情報を取得すると、非多重化及びデータ検索部１００１を通じて、クラウド又は記録メディアからフィルタ係数データのファイルを取得する。そして、フィルタ係数復号部１００５は、フィルタ係数の属性情報とフィルタ係数のデータを、高画質化部１００６に供給する。属性情報は、送られてきたフィルタ係数のデータ種別（動画像用、静止画用、グラフィックス用など）、送られてきたフィルタ係数のデータサイズ（ある層全体、又はその一部かの区別など）、フィルタ係数の位置情報（どの層のどの範囲を上書きするデータか）、並びに精度（３２ビット浮動小数点数型、１６ビット整数型、８ビット整数型など）に関する情報を含んでいる。

　高画質化部１００６は、属性情報に基づいて、該当するメディア種別の該当する層又は層内の指定された領域にフィルタ係数を上書き保存して、高画質化部１００６内の学習モデルを更新する。高画質化部１００６は、以降は更新された学習モデルを用いて、映像復号部１００２から出力される映像信号に対して、超解像処理や高ダイナミックレンジ化といった高画質化処理を実施する。

　なお、図１０では、フィルタ係数復号部１００５から高画質化部１００６にのみ復号結果が出力するように描かれているが、フィルタ係数復号部１００５は、属性情報でメディア種別としてオーディオが指定されている場合には、高音質化部１００７に属性情報（種別情報、位置情報など）とフィルタ係数を供給し、高音質化のための学習モデルの更新処理が上記と同様に実施されるものと理解されたい。

　図１１には、映像、オーディオ、及び補助データなどの各メディアデータとともに、学習モデルのフィルタ係数及びその属性情報を多重化して伝送するマルチメディア伝送データフォーマットを模式的に示している。当該伝送データフォーマットで多重化される学習モデルのフィルタ係数は、同じ伝送データに含まれるいずれかのメディアデータの高品質化に関わる学習モデルのフィルタ係数を更新するためのデータである。

　マルチメディア伝送データフォーマットは、参照番号１１０１で示すシーケンスヘッダを先頭にして、メディアヘッダが付けられた各メディアのデータが順に連結されて構成される。図１１に示す例では、参照番号１１０２で示すフィルタ係数のメディアヘッダに続いて参照番号１１０３で示すフィルタ係数のデータ本体が伝送される。フィルタ係数のデータ本体部１１０３には、フィルタ係数の属性情報とともに、フィルタ係数を記述したデータファイルのクラウド又は記録メディア上の所在を示す情報が例えばＵＲＬ形式で記述されている。なお、マルチメディア伝送データのフォーマットが、図１１に示すように所在情報のみが格納されるフォーマット、又は図６に示したようにフィルタ係数データ自体が格納されるフォーマットのいずれであるかは、メディアヘッダ１１０２内で示すようにしてもよい。

　その後、参照番号１１０４で示すオーディオのメディアヘッダに続いて参照番号１１０５で示すオーディオデータの本体が伝送される。さらにその後、映像データのメディアヘッダ及び映像データの本体、映像データのメディアヘッダ及び映像データの本体、…の順に伝送されている。

　コンテンツ再生システム１０００が図１１に示すようなデータフォーマットからなるマルチメディア伝送データを受信すると、非多重化及びデータ検索部１１０１では、メディアヘッダに基づいて直後のメディアデータ本体のメディア種別を識別して、映像復号部１００２、オーディオ復号部１００３、補助データ復号部１００４、及びフィルタ係数復号部１００５に逐次振り分けることができる。また、フィルタ係数復号部１００５は、フィルタ係数ビットストリームを復号して、例えばＵＲＬ形式で記述された所在情報を取得すると、非多重化及びデータ検索部１００１を通じて、クラウド又は記録メディアからフィルタ係数データを取得する。そして、フィルタ係数復号部１００５は、フィルタ係数の属性情報とフィルタ係数のデータを、高画質化部１００６に供給する。

　図１２～図１４には、図１１に示したマルチメディア伝送データフォーマットに多重化されるフィルタ係数のデータフォーマット例をそれぞれ示している。

　図１２に示すフィルタ係数データは、属性情報として、参照番号１２０１で示すデータ種別（動画像）、参照番号１２０２で示すデータサイズ（フィルタ係数データのセット数：１）、参照番号１２０３で示す位置情報（第１層のフィルタ全体）、及び、参照番号１２０４で示すデータの精度（８ビット整数型）を含んでいる。そして、これらの属性情報１２０１～１２０４に続いて、参照番号１２０５で示す、フィルタ係数データを記述したデータファイルのクラウド又は記録メディア上の所在情報が格納されている。所在情報は、例えばＵＲＬ形式で記述されている。

　フィルタ係数復号部１００５は、フィルタ係数ビットストリームを復号して、図１２に示すような属性情報及び所在情報を抽出すると、非多重化及びデータ検索部１００１を通じて、クラウド又は記録メディア上の所在情報で示されている場所から、第１層のフィルタのフルセットのデータを取得する。そして、フィルタ係数復号部１００５は、フィルタ係数の属性情報とフィルタ係数のデータを、高画質化部１００６に供給する。高画質化部１００６は、フィルタ係数復号部１００５から属性情報及びフィルタ係数データが渡されると、位置情報に基づいて第１層の６４種類のフィルタのすべてのフィルタ係数をデータ７０５で上書きして、高画質化部１００６内の学習モデルを更新する。

　図１３に示すフィルタ係数データは、属性情報として、参照番号１３０１で示すデータ種別（動画像）、参照番号１３０２で示すデータサイズ（フィルタ係数データのセット数：２）を含んでいる。図１３に示す例では、メディアデータとして２セットのフィルタ係数データが含まれる。そして、１番目のセットの属性情報として、参照番号１３０３で示すフィルタ係数データの位置情報（第１層のフィルタ全体）と参照番号１３０４で示すデータの精度（８ビット整数型）を含み、続いて、参照番号１３０５で示す、１番目のセットのフィルタ係数データを記述したデータファイルのクラウド又は記録メディア上の所在情報が格納されている。所在情報は、例えばＵＲＬ形式で記述されている。

　さらに続いて、２番目のセットの属性情報として、参照番号１３０６で示すフィルタ係数データの位置情報（第３層のフィルタ全体）と参照番号１３０７で示すデータの精度（１６ビット整数型）を含み、続いて、参照番号１３０８で示す、２番目のセットのフィルタ係数データを記述したデータファイルのクラウド又は記録メディア上の所在情報が格納されている。所在情報は、例えばＵＲＬ形式で記述されている。

　フィルタ係数復号部１００５は、フィルタ係数ビットストリームを復号して、図１３に示すような２セット分のフィルタ係数の属性情報及び所在情報を抽出すると、非多重化及びデータ検索部１００１を通じて、クラウド又は記録メディア上の所在情報で示されている場所から、第１層のフィルタのフルセット及び第３層のフィルタのフルセットのデータを取得する。そして、フィルタ係数復号部１００５は、フィルタ係数の属性情報とフィルタ係数のデータを、高画質化部１００６に供給する。

　高画質化部１００６は、フィルタ係数復号部１００５から属性情報及びフィルタ係数データが渡されると、まず１番目のフィルタ係数データのセットの位置情報８０３に基づいて第１層の６４種類のフィルタのすべてのフィルタ係数をデータ８０５で上書きして、高画質化部１００６内の学習モデルを更新する。続いて、高画質化部１００６は、２番目のフィルタ係数データのセットの位置情報８０６に基づいて第３層のフィルタのすべてのフィルタ係数をデータ８０８で上書きして、同学習モデルを更新する。

　図１４に示すフィルタ係数データは、属性情報として、参照番号１４０１で示すデータ種別（動画像）、参照番号１４０２で示すデータサイズ（フィルタ係数データのセット数：１）、参照番号１４０３で示す位置情報（６４セットからなる第１層のフィルタのうち３３番目から６４番目まで）、及び、参照番号１４０４で示すデータの精度（８ビット整数型）を含んでいる。そして、これらの属性情報１２０１～１２０４に続いて、参照番号１４０５で示す、フィルタ係数データを記述したデータファイルのクラウド又は記録メディア上の所在情報が格納されている。所在情報は、例えばＵＲＬ形式で記述されている。

　フィルタ係数復号部１００５は、フィルタ係数ビットストリームを復号して、図１４に示すような属性情報及び所在情報を抽出すると、非多重化及びデータ検索部１００１を通じて、クラウド又は記録メディア上の所在情報で示されている場所から、６４セットからなる第１層のフィルタのうち３３番目から６４番目までのフィルタ係数データを取得する。そして、フィルタ係数復号部１００５は、フィルタ係数の属性情報とフィルタ係数のデータを、高画質化部１００６に供給する。高画質化部１００６は、フィルタ係数復号部１００５から属性情報及びフィルタ係数データが渡されると、位置情報に基づいて第１層の６４種類のフィルタのうち３３番目から６４番目までのフィルタ係数をデータ７０５で上書きして、高画質化部１００６内の学習モデルを更新する。

　図１５には、第１の実施例に係るコンテンツ再生システム１０００が多重化ビットストリームを受信したときに実行する処理手順をフローチャートの形式で示している。

　コンテンツ再生システム１０００が多重化ビットストリームを受信すると（ステップＳ１５０１）、まず非多重化及びデータ検索部１００１は、メディアデータの先頭に付けられたメディアヘッダに記載された情報に基づいて、多重化ビットストリームをメディア毎のビットストリームに非多重化して（ステップＳ１５０２）、後段の映像復号部１００２、オーディオ復号部１００３、補助データ復号部１００４、及びフィルタ係数復号部１００５の各々に分配する。

　ここで、非多重化されたビットストリームがフィルタ係数以外、すなわち映像、オーディオ又は補助データのうちいずれかのビットストリームである場合には（ステップＳ１５０３のＮｏ）、映像復号部１００２、オーディオ復号部１００３又は補助データ復号部１００４のうち該当する復号部に割り振られる。映像復号部１００２、オーディオ復号部１００３、補助データ復号部１００４の各々で実施される復号処理は当業界で周知であり、また、本明細書で提案する技術とは直接関連しないので、詳細な説明を省略する。

　そして、非多重化されたビットストリームがフィルタ係数のビットストリームである場合には（ステップＳ１５０３のＹｅｓ）、フィルタ係数復号部１００５は、メディアヘッダを解析し（ステップＳ１５０４）、さらにフィルタ係数の属性情報（種別、サイズ、位置、精度など）を取得する。

　次いで、フィルタ係数復号部１００５は、メディアヘッダ内の情報などに基づいて、属性情報で指定されている（今回のマルチメディア伝送データで更新の対象となっている）フィルタ係数のデータが同じマルチメディア伝送データ内に格納されているのかどうかをチェックする（ステップＳ１５０５）。あるいは、フィルタ係数復号部１００５は、マルチメディア伝送データ内にはフィルタ係数データの所在情報が格納されているのかをチェックする。

　ここで、フィルタ係数のデータが同じマルチメディア伝送データ内に格納されていない場合には（ステップＳ１５０５のＮｏ）、フィルタ係数復号部１００５は、フィルタ係数ビットストリームから抽出したＵＲＬなどの所在情報を取得する（ステップＳ１５０６）。

　そして、フィルタ係数復号部１００５は、ＵＲＬなどの所在情報で指定されたクラウド又は記録メディア上からフィルタ係数データのファイルを取得し、又はフィルタ係数ビットストリーム内からフィルタ係数データを取得して（ステップＳ１５０７）、属性情報とともに高画質化部１００６に供給する。

　高画質化部１００６は、属性情報に基づいて、該当するメディア種別の該当する層又は層内の指定された領域にフィルタ係数を上書き保存して、高画質化部１００６内の学習モデルを更新する（ステップＳ１５０８）。

　そして、高画質化部１００６は、以降は更新された学習モデルを用いて、映像復号部１００２から出力される映像信号に対して高画質化処理を施す（ステップＳ１５０９）。例えば、高画質化部１００６は、低解像度又は標準解像度の映像信号から高解像度映像信号を生成する超解像処理や、高ダイナミックレンジ化などの高画質化処理を実施する。

　図１６には、図６に示したようなフォーマットからなるマルチメディア伝送データを符号化するコンテンツ符号化システム１６００の構成例を模式的に示している。図示のコンテンツ符号化システム１６００は、メディアデータとして映像信号を符号化するとともに、この映像信号を高画質化するためのフィルタ係数（学習モデルの重み係数）を事前学習し、符号化した映像ビットストリームとフィルタ係数及び属性情報とを多重化して、図６に示したようなデータフォーマットの伝送データを生成するように構成されている。

　コンテンツ符号化システム１６００には、例えば４Ｋの高解像度映像ストリームが入力される。ダウンサンプラ１６０１は、この高解像度映像ストリームを例えば２Ｋの低解像度（若しくは標準解像度）の映像ストリームにダウンサンプリングする。

　映像符号化部１６０２は、ダウンサンプラ１６０１から入力される低解像度の映像ストリームに対して、例えばＭＰＥＧなどの所定の符号化方式で符号化処理を施して、符号化映像ストリームを出力する。

　映像復号部１６０３は、映像符号化部１６０２から出力される符号化映像ストリームを復号して、低解像度（２Ｋ）の映像ストリームを再現する。

　そして、フィルタ係数学習器１６０４は、高解像度（４Ｋ）の原映像と復号された低解像度（２Ｋ）の映像を入力して、高画質化として低解像度（２Ｋ）の映像を高解像度（４Ｋ）の映像に超解像処理する学習モデルの事前学習を実施する。

　図４を参照しながら既に説明したように、超解像処理するニューラルネットワークは、例えば第１層乃至第３層の３層のフィルタ群で構成される。第１層のフィルタ群は、それぞれｆ₁×ｆ₁（例えば、９×９）マトリックスのフィルタをｎ₁種類だけ備えている。同様に、第２層のフィルタ群は、それぞれｆ₂×ｆ₂マトリックスのフィルタをｎ₂種類だけ備え、第３層のフィルタ群は、それぞれｆ₃×ｆ₃マトリックスのフィルタを備えている。

　フィルタ係数学習器１６０４は、復号された低解像度（２Ｋ）映像と、高解像度（４Ｋ）の原映像を学習データとして、超解像処理するための第１層乃至第３層の各層のフィルタ係数を事前学習して、フィルタ係数とその属性情報を出力する。例えば、原映像が区間Ａ、区間Ｂのように複数の映像区間に分割される場合、フィルタ係数学習器１６０４は、映像区間毎に事前学習して、映像区間毎のフィルタ係数とその属性情報を出力することができる。

　多重化部１６０５は、号化した映像ビットストリームとフィルタ係数及び属性情報を、伝送方向で時分割に多重化して、図６に示したようなデータフォーマットの伝送データを生成する。例えば、原映像が区間Ａ、区間Ｂのように複数の映像区間に分割される場合、多重化部１６０５は、映像区間に分割された映像データと、映像区間毎に事前学習されたフィルタ係数及びその属性情報を、多重化して伝送データを生成するようにしてもよい。

　図１７には、多重化部１６０５から出力される伝送データの構成例を示している。マルチメディア伝送データフォーマットは、参照番号１７０１で示すシーケンスヘッダを先頭にして、メディアヘッダが付けられた各メディアのデータが順に連結されて構成される。図１７に示す例では、参照番号１７０２で示すフィルタ係数のメディアヘッダに続いて、参照番号１７０３で示す、映像データの区間Ａに対応するフィルタ係数データが伝送される。その後、参照番号１７０４で示す映像のメディアヘッダに続いて、参照番号１７０５で示す、区間Ａの映像データが伝送される。このように、多重化される映像データとフィルタ係数の対応付けがなされているので、データの取り扱いが容易となる。

　図１８には、フィルタ係数学習器１６０４の内部構成例を示している。

　フィルタ係数学習器１６０４は、第１層フィルタ１８０１、第２層フィルタ１８０２、及び第３層フィルタ１８０３からなる、超解像用の畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｏｉｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ：ＣＮＮ）１８０４を備えている。図４を参照しながら既に説明したように、第１層のフィルタ群は、それぞれｆ₁×ｆ₁（例えば、９×９）マトリックスのフィルタをｎ₁種類だけ備えている。同様に、第２層のフィルタ群は、それぞれｆ₂×ｆ₂マトリックスのフィルタをｎ₂種類だけ備え、第３層のフィルタ群は、それぞれｆ₃×ｆ₃マトリックスのフィルタを備えている。

　映像符号化部１６０２で符号化した後に復号した低解像度（２Ｋ）の映像ストリームを、畳み込みニューラルネットワーク１８０４で超解像処理して、高解像度（４Ｋ）の映像ストリームを生成する。

　この超解像処理した映像ストリームと、高解像度（４Ｋ）の原映像ストリームとの差分を差分器１８０５でとる。そして、誤差逆伝播部１８０６は、この差分情報に基づいて各層のフィルタ１８０１～１８０３のフィルタ係数の変更情報を生成して、逆伝搬すなわち各層のフィルタ１８０１～１８０３のフィルタ係数を修正する。

　このような誤差逆伝播処理を映像区間内で繰り返し実施することで、映像区間毎のフィルタ係数を学習（事前学習）することができる。このようにして、畳み込みニューラルネットワーク１８０４において学習されたフィルタ係数及びその属性情報が、多重化部１６０５に出力される。

　コンテンツ符号化システム１６００は、例えば放送局やクラウド上のストリーミングサーバなどのコンテンツ配信源に配置して運用される。

　なお、図１６に示したコンテンツ符号化システム１６００の構成例では、映像信号とその映像信号を高品質化（すなわち、高画質化）するための学習済みフィルタ係数とを多重化するが、オーディオ信号や補助データなどの他のメディアデータ及びメディア種別毎の高品質化用の学習器を追加して装備することで、マルチメディアに対応するコンテンツ符号化システムを構成することができる。すなわち、マルチメディアに対応するコンテンツ符号化システムは、複数のメディアデータとメディアデータ毎のフィルタ係数及びその属性情報とを多重化した、マルチメディア伝送データを生成することができる。

　第２の実施例でも、第１の実施例と同様に、コンテンツの提供側からは、映像、オーディオ、及び補助データの各メディアデータのビットストリームとともに、更新する学習モデルのフィルタ係数及びその属性情報を多重化して伝送される。但し、フィルタ係数には時刻情報を付与して伝送する点に主な特徴がある。

　フィルタ係数に付与される時刻情報は、タイムコード又はタイムスタンプとも呼ばれ、フィルタ係数を適用するメディア（映像ストリームなど）をコントロールするタイムコードと同じ種類のタイムコードである。したがって、各種メディアとともに多重化伝送したフィルタ係数を、対象とするメディアのどの位置（例えば、映像のどのフレーム）から適用するかを、タイムコードで指定することができる。

　コンテンツの提供側は、伝送するフィルタ係数のデータ量と、各メディアデータのビットストリームに多重化するタイミングをコントロールすることで、コンテンツの受信側においてフィルタ係数をアクティブにするタイミング（対象とするメディアに対して適用を開始するアクティブ時刻）よりも前に、必要なフィルタ係数をあらかじめ伝送する。フィルタ係数の事前伝送とアクティブ時刻のコントロールによって、所望の細かい単位で複数回に分割して（例えば、１００バイトのように一定量、あるいは１層のフィルタ係数をＮ等分した単位で）、アクティブ時刻よりも前に長時間（例えば、テレビ受信装置が使われない夜間）をかけて、大量のフィルタ係数を伝送することもできる。

　また、第２の実施例では、テレビ受信装置などのコンテンツの受信側は、アクティブ時刻よりも前に取得したフィルタ係数を格納するフィルタ係数用メモリと、そのフィルタ係数用メモリの入出力をコントロールするコントローラを設ける。そして、受信した多重化ビットストリームを非多重化して、学習モデルのフィルタ係数に関する情報がアクティブ時刻の情報とともに取り出された場合には、コントローラは、取り出された情報に基づいてフィルタ係数をフィルタ係数用メモリに一時格納して、アクティブ時刻が到来すると、フィルタ係数用メモリからフィルタ係数を取り出して、対象とするメディアの高品質化処理（例えば低解像度映像信号の超解像処理）への適用を開始するようにする。

　図１９には、第２の実施例に係るコンテンツ再生システム１９００の構成例を模式的に示している。このコンテンツ再生システム１９００も、放送信号やメディア再生信号、ストリーム配信コンテンツを受信して、映像及びオーディオ信号を出力するように構成されている。コンテンツ再生システム１９００は、チューナやＨＤＭＩ（登録商標）インターフェース、ネットワークインターフェースなどを装備しているが、図１９では省略している。コンテンツ再生システム１９００は、例えばテレビ受信装置やセットトップボックスである。

　コンテンツ再生システム１９００は、非多重化部１９０１と、映像復号部１９０２と、オーディオ復号部１９０３と、補助データ復号部１９０４と、フィルタ係数復号部１９０５と、高画質化部１９０６と、高音質化部１９０７と、コントローラ１９０８と、フィルタ係数用メモリ１９０９と、画像表示部１９１０と、オーディオ出力部１９１１を備えている。映像復号部１９０２と、オーディオ復号部１９０３と、補助データ復号部１９０４と、高画質化部１９０６と、高音質化部１９０７と、画像表示部１９１０と、オーディオ出力部１９１１は、図１に示したコンテンツ再生システム１００中と同一名のコンポーネントとそれぞれ同様の機能を備えているので、ここでは説明を省略する。

　非多重化部１９０１は、放送信号、再生信号、又はストリーミングデータとして外部から受信した多重化ビットストリームを、映像ビットストリーム、オーディオビットストリーム、補助ビットストリーム、及びフィルタ係数ビットストリームに非多重化して、後段の映像復号部１９０２、オーディオ復号部１９０３、補助データ復号部１９０４、及びフィルタ係数復号部１９０５の各々に分配する。但し、受信した多重化ビットストリームに必ずしもフィルタ係数ビットストリームが多重化されているとは限らず、この場合には、フィルタ係数復号部１９０５にフィルタ係数ビットストリームが供給されることはない。

　フィルタ係数復号部１９０５は、所定の符号化方式で符号化されたるフィルタ係数ビットストリームを復号処理して、フィルタ係数の属性情報とフィルタ係数のデータ本体と、アクティブ時刻を抽出すると、コントローラ１９０８に供給する。属性情報は、送られてきたフィルタ係数のデータ種別（動画像用、静止画用、グラフィックス用など）、送られてきたフィルタ係数のデータサイズ（ある層全体、又はその一部かの区別など）、フィルタ係数の位置情報（どの層のどの範囲を上書きするデータか）、並びに精度（３２ビット浮動小数点数型、１６ビット整数型、８ビット整数型など）に関する情報を含んでいる。また、アクティブ時刻は、対象とするメディアに対してフィルタ係数の適用の開始を指定する時刻である（図１９に示す例では映像ストリームを適用の対象とする）。

　コントローラ１９０８は、フィルタ係数用メモリ１９０９の入出力をコントロールする。具体的には、コントローラ１９０８は、フィルタ係数復号部１９０５から、フィルタ係数及びその属性情報と、アクティブ時刻を受け取ると、フィルタ係数及びその属性情報をフィルタ係数用メモリ１９０９に一旦格納する（但し、アクティブ時刻よりも前にフィルタ係数及び属性情報を取得した場合）。そして、コントローラ１９０８は、アクティブ時刻が到来すると、フィルタ係数用メモリ１９０９からフィルタ係数及びその属性情報を読み出して高画質化部１９０６に供給する。

　高画質化部１９０６は、属性情報に基づいて、該当するメディア種別の該当する層又は層内の指定された領域にフィルタ係数を上書き保存して、高画質化部１９０６内の学習モデルを更新する。高画質化部１９０６は、以降は更新された学習モデルを用いて、映像復号部１９０２から出力される映像信号に対して、超解像処理や高ダイナミックレンジ化といった高画質化処理を実施する。

　したがって、コンテンツ再生システム１９００は、アクティブ時刻よりも前に伝送されてきたフィルタ係数をフィルタ係数用メモリ１９０９に格納しておき、アクティブ時刻で指定された時刻からそのフィルタ係数を適用した高画質化処理を開始することができる。

　なお、図１９では、コントローラ１９０８によってフィルタ係数用メモリ１９０９に一時格納されるフィルタ係数及び属性情報を高画質化部１９０６にのみ出力するように描かれているが、コントローラ１９０８は、属性情報でメディア種別としてオーディオが指定されている場合には、高音質化部１９０７に属性情報（種別情報、位置情報など）とフィルタ係数を供給し、高音質化のための学習モデルの更新処理が上記と同様に実施されるものと理解されたい。

　図２０には、映像、オーディオ、及び補助データなどの各メディアデータとともに、学習モデルのフィルタ係数及びその属性情報を多重化して伝送するマルチメディア伝送データフォーマットを模式的に示している。当該伝送データフォーマットで多重化される学習モデルのフィルタ係数は、同じ伝送データに含まれるいずれかのメディアデータの高品質化に関わる学習モデルのフィルタ係数を更新するためのデータである。

　マルチメディア伝送データフォーマットは、参照番号２００１で示すシーケンスヘッダを先頭にして、メディアヘッダが付けられた各メディアのデータが順に連結されて構成される。図２０に示す例では、参照番号２００２で示すフィルタ係数のメディアヘッダにはフィルタ係数の適用の開始を指定するタイムコードが付加され、その直後に参照番号２００３で示すフィルタ係数のデータ１－１が伝送され、その後、参照番号２００４で示すオーディオのメディアヘッダに続いて参照番号２００５で示すオーディオデータの本体が伝送される。さらにその後の参照番号２００６で示すフィルタ係数のメディアヘッダにはフィルタ係数の適用の開始を指定するタイムコードが付加され、その直後に参照番号２００７で示すフィルタ係数のデータ１－２が伝送される。

　コンテンツ再生システム１９００が図２０に示すようなデータフォーマットからなるマルチメディア伝送データを受信すると、非多重化部１９０１では、メディアヘッダに基づいて直後のメディアデータ本体のメディア種別を識別して、映像復号部１９０２、オーディオ復号部１９０３、補助データ復号部１９０４、及びフィルタ係数復号部１９０５に逐次振り分けることができる。

　フィルタ係数復号部１９０５は、所定の符号化方式で符号化されたるフィルタ係数ビットストリームを復号処理して、メディアヘッダのタイムコードで指定されたアクティブ時刻と、フィルタ係数の属性情報とフィルタ係数のデータ１－１を抽出すると、コントローラ１９０８に供給する。そして、コントローラ１９０８は、フィルタ係数復号部１９０５から受け取ったフィルタ係数のデータ１－１及びその属性情報をフィルタ係数用メモリ１９０９に一旦格納する。

　続いて、フィルタ係数復号部１９０５が、符号化フィルタ係数ビットストリームから、メディアヘッダのタイムコードで指定されたアクティブ時刻と、フィルタ係数の属性情報とフィルタ係数のデータ１－２を抽出した場合も同様に、コントローラ１９０８に供給する。そして、コントローラ１９０８は、アクティブ時刻までフィルタ係数の属性情報とフィルタ係数のデータ１－２をフィルタ係数用メモリ１９０９に一旦格納する。

　その後、アクティブ時刻が到来すると、コントローラ１９０８は、フィルタ係数用メモリ１９０９からフィルタ係数のデータ１－１及び１－２、並びにこれらの属性情報を読み出して、高画質化部１９０６に供給する。

　図２１には、図２０に示したマルチメディア伝送データに多重化されるフィルタ係数のデータ１－１のデータフォーマット例を示している。

　図２１に示すフィルタ係数データは、属性情報として、参照番号２１０１で示すデータ種別（動画像）、参照番号２１０２で示すタイムコード（映像ストリームの２フレーム目から適用）、参照番号２１０３で示すデータサイズ（フィルタ係数データのセット数：１）、参照番号２１０４で示す位置情報（第１層の先頭から３２番目までのフィルタ）、及び、参照番号２１０５で示すデータの精度（８ビット整数型）を含んでいる。そして、これらの属性情報２１０１～２１０５に続いて、参照番号２１０６で示すフィルタ係数のデータが格納されている。例えば、第１層の９×９マトリックスのフィルタが３２セットの場合には、データ部分のサイズは、８×９×９×３２＝２０，７３６ビットである。

　また、図２２には、図２０に示したマルチメディア伝送データに多重化されるフィルタ係数のデータ１－２のデータフォーマット例を示している。

　図２２に示すフィルタ係数データは、属性情報として、参照番号２２０１で示すデータ種別（動画像）、参照番号２２０２で示すタイムコード（映像ストリームの２フレーム目から適用）、参照番号２２０３で示すデータサイズ（フィルタ係数データのセット数：１）、参照番号２２０４で示す位置情報（第１層の３３番目から最後の６４番目までのフィルタ）、及び、参照番号２２０５で示すデータの精度（８ビット整数型）を含んでいる。そして、これらの属性情報２２０１～２２０５に続いて、参照番号２２０６で示すフィルタ係数のデータが格納されている。

　図２１及び図２２に示すデータフォーマット例では、フィルタ係数のデータ１－１で第１層の前半の３２セットのフィルタ係数を伝送し、フィルタ係数のデータ１－２で第１層の後半の３２セットのフィルタ係数を伝送するようになっている。そして、フィルタ係数のデータ１－１及び１－２で伝送された第１層のフィルタ全体のフィルタ係数は、タイムコードで指定されたアクティブ時刻（映像ストリームの２フレーム目）から適用を開始することが指定されている。

　コントローラ１９０８は、フィルタ係数復号部１９０５から図２１及び図２２に示すようなフィルタ係数のデータ１－１及び１－２が順に渡されると、フィルタ係数用メモリ１９０９に逐次格納する。その後、タイムコードで指定されたアクティブ時刻が到来すると、コントローラ１９０８は、フィルタ係数用メモリ１９０９からフィルタ係数のデータ１－１及び１－２を読み出して、高画質化部１９０６に渡す。高画質化部１９０６は、コントローラ１９０８から渡された第１層のフィルタ全体のフィルタ係数を上書きして、高画質化部１９０６内の学習モデルを更新して、アクティブ時刻である映像フレームの２フレーム目から適用する。

　図２３には、第２の実施例に係るコンテンツ再生システム２３００の他の構成例を模式的に示している。このコンテンツ再生システム２３００も、放送信号やメディア再生信号、ストリーム配信コンテンツを受信して、映像及びオーディオ信号を出力するように構成されている。コンテンツ再生システム２３００は、チューナやＨＤＭＩ（登録商標）インターフェース、ネットワークインターフェースなどを装備しているが、図２３では省略している。コンテンツ再生システム２３００は、例えばテレビ受信装置やセットトップボックスである。

　コンテンツ再生システム２３００は、非多重化及びデータ検索部２３０１と、映像復号部２３０２と、オーディオ復号部２３０３と、補助データ復号部２３０４と、フィルタ係数復号部２３０５と、高画質化部２３０６と、高音質化部２３０７と、コントローラ２３０８と、フィルタ係数用メモリ２３０９と、画像表示部２３１０と、オーディオ出力部２３１１を備えている。映像復号部２３０２と、オーディオ復号部２３０３と、補助データ復号部２３０４と、高画質化部２３０６と、高音質化部２３０７と、画像表示部２３１０と、オーディオ出力部２３１１は、図３に示したコンテンツ再生システム３００中の同一名のコンポーネントと同様の機能を備えているので、ここでは説明を省略する。

　非多重化及びデータ検索部２３０１は、外部から受信した多重化ビットストリームを映像ビットストリーム、オーディオビットストリーム、補助ビットストリーム、及びフィルタ係数ビットストリームに非多重化して、後段の映像復号部２３０２、オーディオ復号部２３０３、補助データ復号部２３０４、及びフィルタ係数復号部２３０５の各々に分配する。但し、受信した多重化ビットストリームに必ずしもフィルタ係数ビットストリームが多重化されているとは限らず、この場合には、フィルタ係数復号部２３０５にフィルタ係数ビットストリームが供給されることはない。

　また、非多重化及びデータ検索部２３０１は、ネットワークインターフェース（図示しない）経由でクラウド又は記録メディア上のデータの取得処理を行う。一般にデータはファイル単位で取り扱われる。また、クラウド又は記録メディア上のファイルの所在は、ＵＲＩ又はＵＲＬの形式で記述される。

　フィルタ係数復号部２３０５は、所定の符号化方式で符号化されたるフィルタ係数ビットストリームを復号処理して、フィルタ係数の属性情報とフィルタ係数のデータ本体部と、アクティブ時刻を抽出する。フィルタ係数のデータ本体部は、フィルタ係数データ自体ではなく、フィルタ係数を記述したデータファイルのクラウド又は記録メディア上の所在の情報を格納している。そこで、フィルタ係数復号部２３０５は、フィルタ係数ビットストリームを復号して、例えばＵＲＬ形式で記述された所在情報を取得すると、非多重化及びデータ検索部２３０１を通じて、クラウド又は記録メディアからフィルタ係数データのファイルを取得する。そして、フィルタ係数復号部２３０５は、フィルタ係数の属性情報とフィルタ係数のデータを、コントローラ２３０８に供給する。属性情報は、送られてきたフィルタ係数のデータ種別（動画像用、静止画用、グラフィックス用など）、送られてきたフィルタ係数のデータサイズ（ある層全体、又はその一部かの区別など）、フィルタ係数の位置情報（どの層のどの範囲を上書きするデータか）、並びに精度（３２ビット浮動小数点数型、１６ビット整数型、８ビット整数型など）に関する情報を含んでいる。また、アクティブ時刻は、対象とするメディアに対してフィルタ係数の適用の開始を指定する時刻である（図２３に示す例では映像ストリームを適用の対象とする）。

　コントローラ２３０８は、フィルタ係数用メモリ２３０９の入出力をコントロールする。具体的には、コントローラ２３０８は、フィルタ係数復号部２３０５から、フィルタ係数及びその属性情報と、アクティブ時刻を受け取ると、フィルタ係数及びその属性情報をフィルタ係数用メモリ２３０９に一旦格納する（但し、アクティブ時刻よりも前にフィルタ係数及び属性情報を取得した場合）。そして、コントローラ２３０８は、アクティブ時刻が到来すると、フィルタ係数用メモリ２３０９からフィルタ係数及びその属性情報を読み出して高画質化部２３０６に供給する。

　高画質化部２３０６は、属性情報に基づいて、該当するメディア種別の該当する層又は層内の指定された領域にフィルタ係数を上書き保存して、高画質化部２３０６内の学習モデルを更新する。高画質化部２３０６は、以降は更新された学習モデルを用いて、映像復号部２３０２から出力される映像信号に対して、超解像処理や高ダイナミックレンジ化といった高画質化処理を実施する。

　したがって、コンテンツ再生システム２３００は、アクティブ時刻よりも前に伝送されてきたフィルタ係数をフィルタ係数用メモリ２３０９に格納しておき、アクティブ時刻で指定された時刻からそのフィルタ係数を適用した高画質化処理を開始することができる。

　なお、図２３では、コントローラ２３０８によってフィルタ係数用メモリ２３０９に一時格納されるフィルタ係数及び属性情報を高画質化部２３０６にのみ出力するように描かれているが、コントローラ２３０８は、属性情報でメディア種別としてオーディオが指定されている場合には、高音質化部２３０７に属性情報（種別情報、位置情報など）とフィルタ係数を供給し、高音質化のための学習モデルの更新処理が上記と同様に実施されるものと理解されたい。

　図２４には、映像、オーディオ、及び補助データなどの各メディアデータとともに、学習モデルのフィルタ係数及びその属性情報を多重化して伝送するマルチメディア伝送データフォーマットを模式的に示している。当該伝送データフォーマットで多重化される学習モデルのフィルタ係数は、同じ伝送データに含まれるいずれかのメディアデータの高品質化に関わる学習モデルのフィルタ係数を更新するためのデータである。

　マルチメディア伝送データフォーマットは、参照番号２４０１で示すシーケンスヘッダを先頭にして、メディアヘッダが付けられた各メディアのデータが順に連結されて構成される。図２４に示す例では、参照番号２４０２で示すフィルタ係数のメディアヘッダにはフィルタ係数の適用の開始を指定するタイムコードが付加され、その直後に参照番号２４０３で示すフィルタ係数のデータ本体として、データ１－１の属性情報とともに、データ１－１のデータファイルのクラウド又は記録メディア上の所在を例えばＵＲＬ形式で記述した情報が伝送される。その後、参照番号２４０４で示すオーディオのメディアヘッダに続いて参照番号２４０５で示すオーディオデータの本体が伝送される。さらにその後の参照番号２４０６で示すフィルタ係数のメディアヘッダにはフィルタ係数の適用の開始を指定するタイムコードが付加され、その直後に参照番号２４０７で示すフィルタ係数のデータ本体として、データ１－２の属性情報とともに、データ１－２のデータファイルのクラウド又は記録メディア上の所在を例えばＵＲＬ形式で記述した情報が伝送される。

　コンテンツ再生システム２３００が図２４に示すようなデータフォーマットからなるマルチメディア伝送データを受信すると、非多重化及びデータ検索部２３０１では、メディアヘッダに基づいて直後のメディアデータ本体のメディア種別を識別して、映像復号部２３０２、オーディオ復号部２３０３、補助データ復号部２３０４、及びフィルタ係数復号部２３０５に逐次振り分けることができる。

　フィルタ係数復号部２３０５は、所定の符号化方式で符号化されたるフィルタ係数ビットストリームを復号処理して、メディアヘッダのタイムコードで指定されたアクティブ時刻と、フィルタ係数の属性情報と、フィルタ係数のデータ１－１の所在情報を抽出すると、非多重化及びデータ検索部２３０１を通じて、クラウド又は記録メディアからフィルタ係数のデータ１－１を取得する。そして、フィルタ係数復号部２３０５は、アクティブ時刻とフィルタ係数の属性情報とフィルタ係数のデータ１－１を、コントローラ２３０８に供給する。コントローラ２３０８は、フィルタ係数復号部２３０５から受け取ったフィルタ係数のデータ１－１及びその属性情報をフィルタ係数用メモリ２３０９に一旦格納する。

　続いて、フィルタ係数復号部２３０５が、所定の符号化方式で符号化されたるフィルタ係数ビットストリームを復号処理して、メディアヘッダのタイムコードで指定されたアクティブ時刻と、フィルタ係数の属性情報と、フィルタ係数のデータ１－２の所在情報を抽出した場合も同様に、非多重化及びデータ検索部２３０１を通じて、クラウド又は記録メディアからフィルタ係数のデータ１－２を取得して、アクティブ時刻と、フィルタ係数の属性情報とフィルタ係数のデータ１－１を、コントローラ２３０８に供給する。コントローラ２３０８は、フィルタ係数復号部２３０５から受け取ったフィルタ係数のデータ１－２及びその属性情報をフィルタ係数用メモリ２３０９に一旦格納する。

　その後、アクティブ時刻が到来すると、コントローラ２３０８は、フィルタ係数用メモリ２３０９からフィルタ係数のデータ１－１及び１－２、並びにこれらの属性情報を読み出して、高画質化部２３０６に供給する。

　図２５には、図２４に示したマルチメディア伝送データに多重化されるフィルタ係数のデータ１－１のデータフォーマット例を示している。

　図２５に示すフィルタ係数データは、属性情報として、参照番号２５０１で示すデータ種別（動画像）、参照番号２５０２で示すタイムコード（映像ストリームの２フレーム目から適用）、参照番号２５０３で示すデータサイズ（フィルタ係数データのセット数：１）、参照番号２５０４で示す位置情報（第１層の先頭から３２番目までのフィルタ）、及び、参照番号２５０５で示すデータの精度（８ビット整数型）を含んでいる。そして、これらの属性情報２５０１～２５０５に続いて、参照番号２５０６で示す、フィルタ係数のデータ１－１を記述したデータファイルのクラウド又は記録メディア上の所在情報が格納されている。所在情報は、例えばＵＲＬ形式で記述されている。

　また、図２６には、図２４に示したマルチメディア伝送データに多重化されるフィルタ係数のデータ１－２のデータフォーマット例を示している。

　図２６に示すフィルタ係数データは、属性情報として、参照番号２６０１で示すデータ種別（動画像）、参照番号２６０２で示すタイムコード（映像ストリームの２フレーム目から適用）、参照番号２６０３で示すデータサイズ（フィルタ係数データのセット数：１）、参照番号２６０４で示す位置情報（第１層の３３番目から最後の６４番目までのフィルタ）、及び、参照番号２６０５で示すデータの精度（８ビット整数型）を含んでいる。そして、これらの属性情報２６０１～２６０５に続いて、参照番号２２０６で示す、フィルタ係数のデータを記述したデータファイルのクラウド又は記録メディア上の所在情報が格納されている。所在情報は、例えばＵＲＬ形式で記述されている。

　図２５及び図２６に示すデータフォーマット例では、フィルタ係数のデータ１－１で第１層の前半の３２セットのフィルタ係数データの所在情報を伝送し、フィルタ係数のデータ１－２で第１層の後半の３２セットのフィルタ係数の所在情報を伝送するようになっている。そして、フィルタ係数のデータ１－１及び１－２の各々で所在情報に基づいて取得することができる第１層のフィルタ全体のフィルタ係数は、タイムコードで指定されたアクティブ時刻（映像ストリームの２フレーム目）から適用を開始することが指定されている。

　フィルタ係数復号部２３０５は、フィルタ係数のデータ１－１及び１－２の各々で示された所在情報に基づいて、非多重化及びデータ取得部２３０１を介して、フィルタ係数を順次取得して、アクティブ時刻及び属性情報と併せてコントローラ２３０８に渡す。コントローラ２３０８は、フィルタ係数復号部２３０５から第１層フィルタの前半及び後半のフィルタ係数及び属性情報が順に渡されると、フィルタ係数用メモリ２３０９に逐次格納する。その後、タイムコードで指定されたアクティブ時刻が到来すると、コントローラ２３０８は、フィルタ係数用メモリ２３０９から第１層フィルタの前半及び後半のフィルタ係数を読み出して、高画質化部２３０６に渡す。高画質化部２３０６は、コントローラ２３０８から渡された第１層のフィルタ全体のフィルタ係数を上書きして、高画質化部２３０６内の学習モデルを更新して、アクティブ時刻である映像フレームの２フレーム目から適用する。なお、タイムコードで指定するアクティブ時刻は、フィルタ係数のデータ１－１及び１－２を伝送する順番よりも、後に伝送される映像フレームの表示時刻であるものとする。

　図２７には、第２の実施例に係るコンテンツ再生システム２３００が多重化ビットストリームを受信したときに実行する処理手順をフローチャートの形式で示している。

　コンテンツ再生システム２３００が多重化ビットストリームを受信すると（ステップＳ２７０１）、まず非多重化及びデータ検索部２３０１は、メディアデータの先頭に付けられたメディアヘッダに記載された情報に基づいて、多重化ビットストリームをメディア毎のビットストリームに非多重化して（ステップＳ２７０２）、後段の映像復号部２３０２、オーディオ復号部２３０３、補助データ復号部２３０４、及びフィルタ係数復号部２３０５の各々に分配する。

　ここで、非多重化されたビットストリームがフィルタ係数以外、すなわち映像、オーディオ又は補助データのうちいずれかのビットストリームである場合には（ステップＳ２７０３のＮｏ）、映像復号部２３０２、オーディオ復号部２３０３又は補助データ復号部２３０４のうち該当する復号部に割り振られる。映像復号部２３０２、オーディオ復号部２３０３、補助データ復号部２３０４の各々で実施される復号処理は当業界で周知であり、また、本明細書で提案する技術とは直接関連しないので、詳細な説明を省略する。

　そして、非多重化されたビットストリームがフィルタ係数のビットストリームである場合には（ステップＳ２７０３のＹｅｓ）、フィルタ係数復号部２３０５は、メディアヘッダを解析し（ステップＳ２７０４）、さらにフィルタ係数の属性情報（種別、サイズ、位置、精度など）を取得する。

　次いで、フィルタ係数復号部２３０５は、メディアヘッダ内の情報などに基づいて、属性情報で指定されている（今回のマルチメディア伝送データで更新の対象となっている）フィルタ係数のデータが同じマルチメディア伝送データ内に格納されているのかどうかをチェックする（ステップＳ２７０５）。あるいは、フィルタ係数復号部２３０５は、マルチメディア伝送データ内にはフィルタ係数データの所在情報が格納されているのかをチェックする。

　ここで、フィルタ係数のデータが同じマルチメディア伝送データ内に格納されていない場合には（ステップＳ２７０５のＮｏ）、フィルタ係数復号部２３０５は、フィルタ係数ビットストリームから抽出したＵＲＬなどの所在情報を取得する（ステップＳ２７０６）。

　そして、フィルタ係数復号部２３０５は、ＵＲＬなどの所在情報で指定されたクラウド又は記録メディア上からフィルタ係数データのファイルを取得し、又はフィルタ係数ビットストリーム内からフィルタ係数データを取得すると（ステップＳ２７０７）、アクティブ時刻及び属性情報とともにコントローラ２３０８に渡す（ステップＳ２７０８）。

　コントローラ２３０８は、受け取ったフィルタ係数及び属性情報をフィルタ係数用メモリ２３０９に一時格納する（ステップＳ２７０９）。

　その後、アクティブ時刻が到来すると（ステップＳ２７１０）、コントローラ２３０８は、フィルタ係数用メモリ２３０９から該当するフィルタ係数及びその属性情報を読み出して（ステップＳ２７１１）、高画質化部２３０６に供給する。

　高画質化部２３０６は、属性情報に基づいて、該当するメディア種別の該当する層又は層内の指定された領域にフィルタ係数を上書き保存して、高画質化部２３０６内の学習モデルを更新する（ステップＳ２７１２）。

　そして、高画質化部２３０６は、以降は更新された学習モデルを用いて、映像復号部２３０２から出力される映像信号に対して高画質化処理を施す（ステップＳ２７１３）。例えば、高画質化部２３０６は、低解像度又は標準解像度の映像信号から高解像度映像信号を生成する超解像処理や、高ダイナミックレンジ化などの高画質化処理を実施する。

　第３の実施例でも、第１の実施例と同様に、コンテンツの提供側からは、映像、オーディオ、及び補助データの各メディアデータのビットストリームとともに、更新する学習モデルのフィルタ係数及びその属性情報を多重化して伝送される。但し、複数種類のフィルタ係数を伝送して、複数種類のフィルタ係数を使い分けできるように、フィルタ係数のセット毎に固有の識別情報（ＩＤ）を付与するようにする。また、フィルタ係数のセットを複数回に分割して伝送する場合には、分割したすべてのサブセットに対して同じＩＤを付与するようにする。

　コンテンツの提供側は、複数種類のフィルタ係数を事前伝送しておく。また、コンテンツの提供側は、事前伝送しておいた複数種類のフィルタ係数の中から１つのフィルタ係数を選択して実施するコマンドとして、フィルタ係数のＩＤと、そのフィルタ係数をアクティブにする時刻情報を指定して伝送する。

　時刻情報は、タイムコード又はタイムスタンプとも呼ばれ、フィルタ係数を適用するメディア（映像ストリームなど）をコントロールするタイムコードと同じ種類のタイムコードである。コンテンツの提供側は、コンテンツの受信側において各フィルタ係数をアクティブにするアクティブ時刻よりも前に、複数種類のフィルタ係数をあらかじめ伝送する。すなわち、フィルタ係数の事前伝送とコマンド伝送によって、伝送時とは別の時刻でフィルタ係数の適用開始をコントロールすることができる。

　例えば、コンテンツの提供側は、超解像処理用のフィルタ係数として、ノイズの多い画像向けフィルタ係数Ａと、ノイズの少ない画像向けフィルタ係数Ｂの不種類のフィルタ係数を事前に伝送しておく。そして、コンテンツの提供時（放送又は配信時）において動画像の各フレームに含まれるノイズ量に応じて、受信側でＡ又はＢのうち適切なフィルタ係数を適用するようにコントロールすることができる。

　また、第３の実施例では、テレビ受信装置などのコンテンツの受信側では、ＩＤ毎にフィルタ係数を格納するフィルタ係数用メモリと、そのフィルタ係数用メモリの入出力をコントロールするコントローラを設ける。そして、受信した多重化ビットストリームを非多重化して、ＩＤが付与されたフィルタ係数に関する情報が取り出された場合には、コントローラは、フィルタ係数をフィルタ係数用メモリ内のＩＤに応じたメモリ領域に格納する。その後、コンテンツの提供側から、フィルタ係数のＩＤとそのフィルタ係数をアクティブにする時刻情報を含んだコマンドが到来すると、コントローラは、アクティブ時刻が到来すると、フィルタ係数用メモリ内のＩＤに該当するメモリ領域からフィルタ係数を取り出して、対象とするメディアの高品質化処理（例えば低解像度映像信号の超解像処理）への適用を開始するようにする。

　図２８には、第３の実施例に係るコンテンツ再生システム２８００の構成例を模式的に示している。このコンテンツ再生システム２８００も、放送信号やメディア再生信号、ストリーム配信コンテンツを受信して、映像及びオーディオ信号を出力するように構成されている。コンテンツ再生システム２８００は、チューナやＨＤＭＩ（登録商標）インターフェース、ネットワークインターフェースなどを装備しているが、図２８では省略している。コンテンツ再生システム２８００は、例えばテレビ受信装置やセットトップボックスである。

　コンテンツ再生システム２８００は、非多重化部２８０１と、映像復号部２８０２と、オーディオ復号部２８０３と、補助データ復号部２８０４と、フィルタ係数復号部２８０５と、高画質化部２８０６と、高音質化部２８０７と、コントローラ２８０８と、フィルタ係数用メモリ２８０９と、画像表示部２８１０と、オーディオ出力部２８１１を備えている。映像復号部２８０２と、オーディオ復号部２８０３と、補助データ復号部２８０４と、高画質化部２８０６と、高音質化部２８０７と、画像表示部２８１０と、オーディオ出力部２８１１は、図１に示したコンテンツ再生システム１００中と同一名のコンポーネントとそれぞれ同様の機能を備えているので、ここでは説明を省略する。

　非多重化部２８０１は、放送信号、再生信号、又はストリーミングデータとして外部から受信した多重化ビットストリームを、映像ビットストリーム、オーディオビットストリーム、補助ビットストリーム、及びフィルタ係数ビットストリームに非多重化して、後段の映像復号部２８０２、オーディオ復号部２８０３、補助データ復号部２８０４、及びフィルタ係数復号部２８０５の各々に分配する。但し、受信した多重化ビットストリームに必ずしもフィルタ係数ビットストリームが多重化されているとは限らず、この場合には、フィルタ係数復号部２８０５にフィルタ係数ビットストリームが供給されることはない。また、多重化ビットストリームからＩＤ及びアクティブ時刻を指定するコントロールコマンドが非多重化された場合、非多重化部２８０１は、フィルタ係数復号部２８０５経由でコントローラ２８０９に分配するものとする。

　フィルタ係数復号部２８０５は、所定の符号化方式で符号化されたるフィルタ係数ビットストリームを復号処理して、フィルタ係数の属性情報とフィルタ係数のデータ本体を抽出すると、コントローラ２８０８に供給する。属性情報は、送られてきたフィルタ係数に付与されたＩＤ、送られてきたフィルタ係数のデータ種別（動画像用、静止画用、グラフィックス用など）、送られてきたフィルタ係数のデータサイズ（ある層全体、又はその一部かの区別など）、フィルタ係数の位置情報（どの層のどの範囲を上書きするデータか）、並びに精度（３２ビット浮動小数点数型、１６ビット整数型、８ビット整数型など）に関する情報を含んでいる。

　コントローラ２８０８は、フィルタ係数用メモリ２８０９の入出力をコントロールする。具体的には、コントローラ２８０８は、フィルタ係数復号部２８０５から、フィルタ係数及びそのＩＤ情報並びに属性情報を受け取ると、フィルタ係数用メモリ２８０９内のＩＤ情報に対応するメモリ領域にフィルタ係数及びその属性情報を格納する。

　また、コントローラ２８０８は、フィルタ係数のＩＤ及びアクティブ時刻を指定するコントロールコマンドを受け取った場合には、そのアクティブ時刻が到来したときに、フィルタ係数用メモリ２８０９内のそのＩＤに対応するメモリ領域からフィルタ係数及びその属性情報を読み出して高画質化部２８０６に供給する。アクティブ時刻は、対象とするメディアに対してフィルタ係数の適用の開始を指定する時刻である（図２８に示す例では映像ストリームを適用の対象とする）。

　高画質化部２８０６は、属性情報に基づいて、該当するメディア種別の該当する層又は層内の指定された領域にフィルタ係数を上書き保存して、高画質化部２８０６内の学習モデルを更新する。高画質化部２８０６は、以降は更新された学習モデルを用いて、映像復号部２８０２から出力される映像信号に対して、超解像処理や高ダイナミックレンジ化といった高画質化処理を実施する。

　したがって、コンテンツ再生システム２８００は、事前伝送されてきたフィルタ係数をフィルタ係数用メモリ２８０９内のＩＤに対応するメモリ領域に格納しておき、その後、ＩＤ及びアクティブ時刻を指定するコントロールコマンドを受信したときには、アクティブ時刻からＩＤで指定されたフィルタ係数を適用した高画質化処理を開始することができる。

　なお、図２８では、コントローラ２８０８によってフィルタ係数用メモリ２８０９内の各メモリ領域に格納されたフィルタ係数及び属性情報を高画質化部２８０６にのみ出力するように描かれているが、コントローラ２８０８は、属性情報でメディア種別としてオーディオが指定されている場合には、高音質化部２８０７に属性情報（種別情報、位置情報など）とＩＤで指定されたフィルタ係数を供給し、高音質化のための学習モデルの更新処理が上記と同様に実施されるものと理解されたい。

　図２９には、映像、オーディオ、及び補助データなどの各メディアデータとともに、学習モデルのフィルタ係数及びその属性情報、さらにはコントロールコマンドを多重化して伝送するマルチメディア伝送データフォーマットを模式的に示している。当該伝送データフォーマットで多重化される学習モデルのフィルタ係数は、同じ伝送データに含まれるいずれかのメディアデータの高品質化に関わる学習モデルのフィルタ係数を更新するためのデータである。

　マルチメディア伝送データフォーマットは、参照番号２９０１で示すシーケンスヘッダを先頭にして、メディアヘッダが付けられた各メディアのデータが順に連結されて構成される。図２９に示す例では、参照番号２９０２で示す映像のメディアヘッダに続いて参照番号２９０３で示す映像データの本体が伝送される。その後の参照番号２９０４で示すフィルタ係数のメディアヘッダにはフィルタ係数のＩＤ情報（ここではＩＤ：０）が付加され、その直後に参照番号２９０５で示すフィルタ係数（ＩＤ：０）のデータ０が伝送される。また、その後の参照番号２９０６で示すフィルタ係数のメディアヘッダにはフィルタ係数のＩＤ情報（ここではＩＤ：１）が付加され、その直後に参照番号２９０７で示すフィルタ係数（ＩＤ：１）のデータ１が伝送される。また、その後に、参照番号２９０８で示すコントロールコマンドが伝送される。コントロールコマンドは、適用を開始しようとするフィルタ係数のＩＤと、そのフィルタ係数の適用の開始時刻を指定するアクティブ時刻を含んでいる。

　コンテンツ再生システム２８００が図２９に示すようなデータフォーマットからなるマルチメディア伝送データを受信すると、非多重化部２８０１では、メディアヘッダに基づいて直後のメディアデータ本体のメディア種別を識別して、映像復号部２８０２、オーディオ復号部２８０３、補助データ復号部２８０４、及びフィルタ係数復号部２８０５に逐次振り分けることができる。また、多重化ビットストリームからＩＤ及びアクティブ時刻を指定するコントロールコマンドが非多重化された場合、非多重化部２８０１は、フィルタ係数復号部２８０５経由でコントローラ２８０９に分配するものとする。

　フィルタ係数復号部２８０５は、所定の符号化方式で符号化されたるフィルタ係数ビットストリームを復号処理して、フィルタ係数のＩＤ：０と、フィルタ係数の属性情報とフィルタ係数のデータ０を抽出すると、コントローラ２８０８に供給する。そして、コントローラ２８０８は、フィルタ係数復号部２８０５から受け取ったフィルタ係数のデータ０及びその属性情報を、フィルタ係数用メモリ２８０９内のＩＤ：０に対応するメモリ領域に格納する。

　続いて、フィルタ係数復号部２８０５が、符号化フィルタ係数ビットストリームから、フィルタ係数のＩＤ：１と、フィルタ係数の属性情報とフィルタ係数のデータ１を抽出した場合も同様に、コントローラ２８０８に供給する。そして、コントローラ２８０８は、フィルタ係数復号部２８０５から受け取ったフィルタ係数のデータ１及びその属性情報を、フィルタ係数用メモリ２８０９内のＩＤ：１に対応するメモリ領域に格納する。

　その後、コントロールコマンドが伝送され、そのコントロールコマンドで指定するアクティブ時刻が到来すると、コントローラ２８０８は、フィルタ係数用メモリ２８０９内のコントロールコマンドで指定されたＩＤに対応するメモリ領域からフィルタ係数のデータ並びにその属性情報を読み出して、高画質化部２８０６に供給する。

　図３０には、図２９に示したマルチメディア伝送データに多重化されるフィルタ係数のデータ０のデータフォーマット例を示している。

　図３０に示すフィルタ係数データは、属性情報として、参照番号３００１で示すデータ種別（動画像）、参照番号３００２で示すＩＤ情報（ＩＤ：０）、参照番号３００３で示すデータサイズ（フィルタ係数データのセット数：１）、参照番号３００４で示す位置情報（第１層のフィルタのフルセット）、及び、参照番号３００５で示すデータの精度（８ビット整数型）を含んでいる。そして、これらの属性情報３００１～３００５に続いて、参照番号３００６で示すフィルタ係数のデータが格納されている。例えば、第１層の９×９マトリックスのフィルタが３２セットの場合には、データ部分のサイズは、８×９×９×３２＝２０，７３６ビットである。

　図３１には、図２９に示したマルチメディア伝送データに多重化されるフィルタ係数のデータ１のデータフォーマット例を示している。

　図３１に示すフィルタ係数データは、属性情報として、参照番号３１０１で示すデータ種別（動画像）、参照番号３１０２で示すＩＤ情報（ＩＤ：１）、参照番号３１０３で示すデータサイズ（フィルタ係数データのセット数：１）、参照番号３１０４で示す位置情報（第１層のフィルタのフルセット）、及び、参照番号３１０５で示すデータの精度（１６ビット整数型）を含んでいる。そして、これらの属性情報３１０１～３１０５に続いて、参照番号３１０６で示すフィルタ係数のデータが格納されている。例えば、第１層の９×９マトリックスのフィルタが３２セットの場合には、データ部分のサイズは、１６×９×９×３２＝４１，４７２ビットである。

　図３２には、図２９に示したマルチメディア伝送データに多重化されるコントロールコマンドのデータフォーマット例を示している。

　図３２に示すコントロールコマンドは、参照番号３２０１で示すコントロールコマンドの種別情報、参照番号３２０２で示すＩＤ情報、及び参照番号３２０３で示すタイムコードを含んでいる。種別情報３２０１は、当該コントロールコマンドが対象とするメディアの種別（図示の例では「動画像」）を示している。また、ＩＤ情報３２０２は、当該コントロールコマンドが指定するフィルタ係数のＩＤ（図示の例ではＩＤ：１）を示している。また、タイムコード３２０３は、ＩＤ情報３２０２で指定したフィルタ係数の適用を開始するアクティブ時刻（図示の例では、動画像の２フレーム目）を示している。

　コントローラ２８０８は、フィルタ係数復号部２８０５から図３０及び図３１に示すようにフィルタ係数のデータ０及びデータ１が順に渡されると、フィルタ係数用メモリ２８０９内の各々のＩＤに対応するメモリ領域に逐次格納する。その後、図３２に示したコントロールコマンドの伝送により、事前伝送されたフィルタ係数の適用が指示される。コントローラ２８０８は、そのコントロールコマンドで指定されたアクティブ時刻が到来すると、コントロールコマンドで指定されたＩＤに対応するフィルタ係数用メモリ２８０９内のメモリ領域からフィルタ係数及びその属性情報を読み出して、高画質化部２８０６に渡す。高画質化部２８０６は、コントローラ２８０８から渡された第１層のフィルタ全体のフィルタ係数を上書きして、高画質化部２８０６内の学習モデルを更新して、アクティブ時刻である映像フレームの２フレーム目から適用する。

　図３３には、第３の実施例に係るコンテンツ再生システム３３００の他の構成例を模式的に示している。このコンテンツ再生システム３３００も、放送信号やメディア再生信号、ストリーム配信コンテンツを受信して、映像及びオーディオ信号を出力するように構成されている。コンテンツ再生システム３３００は、チューナやＨＤＭＩ（登録商標）インターフェース、ネットワークインターフェースなどを装備しているが、図３３では省略している。コンテンツ再生システム３３００は、例えばテレビ受信装置やセットトップボックスである。

　コンテンツ再生システム３３００は、非多重化及びデータ検索部３３０１と、映像復号部３３０２と、オーディオ復号部３３０３と、補助データ復号部３３０４と、フィルタ係数復号部３３０５と、高画質化部３３０６と、高音質化部３３０７と、コントローラ３３０８と、フィルタ係数用メモリ３３０９と、画像表示部３３１０と、オーディオ出力部３３１１を備えている。映像復号部３３０２と、オーディオ復号部３３０３と、補助データ復号部３３０４と、高画質化部３３０６と、高音質化部３３０７と、画像表示部３３１０と、オーディオ出力部３３１１は、図３に示したコンテンツ再生システム３００中の同一名のコンポーネントと同様の機能を備えているので、ここでは説明を省略する。

　非多重化及びデータ検索部３３０１は、外部から受信した多重化ビットストリームを映像ビットストリーム、オーディオビットストリーム、補助ビットストリーム、及びフィルタ係数ビットストリームに非多重化して、後段の映像復号部３３０２、オーディオ復号部３３０３、補助データ復号部３３０４、及びフィルタ係数復号部３３０５の各々に分配する。但し、受信した多重化ビットストリームに必ずしもフィルタ係数ビットストリームが多重化されているとは限らず、この場合には、フィルタ係数復号部３３０５にフィルタ係数ビットストリームが供給されることはない。また、多重化ビットストリームからＩＤ及びアクティブ時刻を指定するコントロールコマンドが非多重化された場合、非多重化部３３０１は、フィルタ係数復号部３３０５経由でコントローラ３３０９に分配するものとする。

　また、非多重化及びデータ検索部３３０１は、ネットワークインターフェース（図示しない）経由でクラウド又は記録メディア上のデータの取得処理を行う。一般にデータはファイル単位で取り扱われる。また、クラウド又は記録メディア上のファイルの所在は、ＵＲＩ又はＵＲＬの形式で記述される。

　フィルタ係数復号部３３０５は、所定の符号化方式で符号化されたるフィルタ係数ビットストリームを復号処理して、フィルタ係数の属性情報とフィルタ係数のデータ本体部を抽出する。フィルタ係数のデータ本体部は、フィルタ係数データ自体ではなく、フィルタ係数を記述したデータファイルのクラウド又は記録メディア上の所在の情報を格納している。そこで、フィルタ係数復号部３３０５は、フィルタ係数ビットストリームを復号して、例えばＵＲＬ形式で記述された所在情報を取得すると、非多重化及びデータ検索部３３０１を通じて、クラウド又は記録メディアからフィルタ係数データのファイルを取得する。そして、フィルタ係数復号部３３０５は、フィルタ係数の属性情報とフィルタ係数のデータを、コントローラ３３０８に供給する。属性情報は、送られてきたフィルタ係数のデータ種別（動画像用、静止画用、グラフィックス用など）、送られてきたフィルタ係数のデータサイズ（ある層全体、又はその一部かの区別など）、フィルタ係数の位置情報（どの層のどの範囲を上書きするデータか）、並びに精度（３２ビット浮動小数点数型、１６ビット整数型、８ビット整数型など）に関する情報を含んでいる。

　コントローラ３３０８は、フィルタ係数用メモリ３３０９の入出力をコントロールする。具体的には、コントローラ３３０８は、フィルタ係数復号部３３０５から、フィルタ係数及びそのＩＤ情報並びに属性情報を受け取ると、フィルタ係数及びその属性情報をフィルタ係数用メモリ３３０９内のＩＤ情報に対応するメモリ領域に格納する。

　また、コントローラ３３０８は、フィルタ係数のＩＤ及びアクティブ時刻を指定するコントロールコマンドを受け取った場合には、そのアクティブ時刻が到来したときに、フィルタ係数用メモリ３３０９内のそのＩＤに対応するメモリ領域からフィルタ係数及びその属性情報を読み出して高画質化部３３０６に供給する。アクティブ時刻は、対象とするメディアに対してフィルタ係数の適用の開始を指定する時刻である（図３３に示す例では映像ストリームを適用の対象とする）。

　高画質化部３３０６は、属性情報に基づいて、該当するメディア種別の該当する層又は層内の指定された領域にフィルタ係数を上書き保存して、高画質化部３３０６内の学習モデルを更新する。高画質化部３３０６は、以降は更新された学習モデルを用いて、映像復号部３３０２から出力される映像信号に対して、超解像処理や高ダイナミックレンジ化といった高画質化処理を実施する。

　したがって、コンテンツ再生システム３３００は、事前伝送されてきたフィルタ係数をフィルタ係数用メモリ３３０９内のＩＤに対応するメモリ領域に格納しておき、その後、ＩＤ及びアクティブ時刻を指定するコントロールコマンドを受信したときには、アクティブ時刻からＩＤで指定されたフィルタ係数を適用した高画質化処理を開始することができる。

　なお、図３３では、コントローラ３３０８によってフィルタ係数用メモリ３３０９内の各メモリ領域に一時格納されるフィルタ係数及び属性情報を高画質化部３３０６にのみ出力するように描かれているが、コントローラ３３０８は、属性情報でメディア種別としてオーディオが指定されている場合には、高音質化部３３０７に属性情報（種別情報、位置情報など）とフィルタ係数を供給し、高音質化のための学習モデルの更新処理が上記と同様に実施されるものと理解されたい。

　図３４には、映像、オーディオ、及び補助データなどの各メディアデータとともに、学習モデルのフィルタ係数及びその属性情報、さらにはコントロールコマンドを多重化して伝送するマルチメディア伝送データフォーマットを模式的に示している。当該伝送データフォーマットで多重化される学習モデルのフィルタ係数は、同じ伝送データに含まれるいずれかのメディアデータの高品質化に関わる学習モデルのフィルタ係数を更新するためのデータである。

　マルチメディア伝送データフォーマットは、参照番号３４０１で示すシーケンスヘッダを先頭にして、メディアヘッダが付けられた各メディアのデータが順に連結されて構成される。図３４に示す例では、参照番号３４０２で示す映像のメディアヘッダに続いて参照番号３４０３で示す映像データの本体が伝送される。その後の参照番号３４０４で示すフィルタ係数のメディアヘッダにはフィルタ係数のＩＤ情報（ここではＩＤ：０）が付加され、その直後に参照番号３５０５で示すフィルタ係数のデータ本体として、ＩＤ：０で識別されるフィルタ係数データの属性情報とそのデータファイルのクラウド又は記録メディア上の所在を例えばＵＲＬ形式で記述した情報が伝送される。また、その後の参照番号３５０６で示すフィルタ係数のメディアヘッダにはフィルタ係数のＩＤ情報（ここではＩＤ：１）が付加され、その直後に参照番号３５０７で示すフィルタ係数のデータ本体として、ＩＤ：１で識別されるフィルタ係数データの属性情報とそのデータファイルのクラウド又は記録メディア上の所在を例えばＵＲＬ形式で記述した情報が伝送される。また、その後に、参照番号３５０８で示すコントロールコマンドが伝送される。コントロールコマンドは、適用を開始しようとするフィルタ係数のＩＤと、そのフィルタ係数の適用の開始時刻を指定するアクティブ時刻を含んでいる。

　コンテンツ再生システム３３００が図３４に示すようなデータフォーマットからなるマルチメディア伝送データを受信すると、非多重化及びデータ検索部３３０１では、メディアヘッダに基づいて直後のメディアデータ本体のメディア種別を識別して、映像復号部３３０２、オーディオ復号部３３０３、補助データ復号部３３０４、及びフィルタ係数復号部３３０５に逐次振り分けることができる。また、多重化ビットストリームからＩＤ及びアクティブ時刻を指定するコントロールコマンドが非多重化された場合、非多重化及びデータ検索部３３０１は、フィルタ係数復号部３３０５経由でコントローラ３３０９に分配するものとする。

　フィルタ係数復号部３３０５は、所定の符号化方式で符号化されたるフィルタ係数ビットストリームを復号処理して、フィルタ係数のＩＤ：０と、フィルタ係数の属性情報と、ＩＤ：０で識別されるフィルタ係数データの所在情報を抽出すると、非多重化及びデータ検索部３３０１を通じて、クラウド又は記録メディアからＩＤ：０で識別されるフィルタ係数データを取得する。そして、フィルタ係数復号部３３０５は、ＩＤ：０で識別されるフィルタ係数の属性情報とフィルタ係数データを、コントローラ３３０８に供給する。コントローラ３３０８は、フィルタ係数復号部３３０５から受け取ったフィルタ係数のデータ及びその属性情報を、フィルタ係数用メモリ３３０９内のＩＤ：０に対応するメモリ領域に格納する。

　続いて、フィルタ係数復号部３３０５が、符号化フィルタ係数ビットストリームから、フィルタ係数のＩＤ：１と、フィルタ係数の属性情報と、ＩＤ：１で識別されるフィルタ係数データの所在情報を抽出した場合も同様に、非多重化及びデータ検索部３３０１を通じて、クラウド又は記録メディアからＩＤ：１で識別されるフィルタ係数データを取得する。そして、フィルタ係数復号部３３０５は、ＩＤ：１で識別されるフィルタ係数の属性情報とフィルタ係数データを、コントローラ３３０８に供給する。コントローラ３３０８は、フィルタ係数復号部３３０５から受け取ったフィルタ係数のデータ及びその属性情報を、フィルタ係数用メモリ３３０９内のＩＤ：１に対応するメモリ領域に格納する。

　その後、コントロールコマンドが伝送され、そのコントロールコマンドで指定するアクティブ時刻が到来すると、コントローラ３３０８は、フィルタ係数用メモリ３３０９内のコントロールコマンドで指定されたＩＤに対応するメモリ領域からフィルタ係数のデータ並びにその属性情報を読み出して、高画質化部３３０６に供給する。

　図３５には、図３４に示したマルチメディア伝送データに多重化されるフィルタ係数データ（ＩＤ：０）のデータフォーマット例を示している。

　図３５に示すフィルタ係数データは、属性情報として、参照番号３５０１で示すデータ種別（動画像）、参照番号３５０２で示すＩＤ情報（ＩＤ：０）、参照番号３５０３で示すデータサイズ（フィルタ係数データのセット数：１）、参照番号３５０４で示す位置情報（第１層のフィルタのフルセット）、及び、参照番号３５０５で示すデータの精度（８ビット整数型）を含んでいる。そして、これらの属性情報３５０１～３５０５に続いて、参照番号３５０６で示す、ＩＤ：０で識別されるフィルタ係数データのクラウド又は記録メディア上の所在情報が格納されている。所在情報は、例えばＵＲＬ形式で記述されている。

　図３６には、図３４に示したマルチメディア伝送データに多重化されるフィルタ係数のデータ（ＩＤ：１）のデータフォーマット例を示している。

　図３６に示すフィルタ係数データは、属性情報として、参照番号３６０１で示すデータ種別（動画像）、参照番号３６０２で示すＩＤ情報（ＩＤ：１）、参照番号３６０３で示すデータサイズ（フィルタ係数データのセット数：１）、参照番号３６０４で示す位置情報（第１層のフィルタのフルセット）、及び、参照番号３６０５で示すデータの精度（１６ビット整数型）を含んでいる。そして、これらの属性情報３６０１～３６０５に続いて、参照番号３６０６で示す、ＩＤ：１で識別されるフィルタ係数データのクラウド又は記録メディア上の所在情報が格納されている。所在情報は、例えばＵＲＬ形式で記述されている。

　図３７には、図３４に示したマルチメディア伝送データに多重化されるコントロールコマンドのデータフォーマット例を示している。

　図３７に示すコントロールコマンドは、参照番号３７０１で示すコントロールコマンドの種別情報、参照番号３７０２で示すＩＤ情報、及び参照番号３７０３で示すタイムコードを含んでいる。種別情報３７０１は、当該コントロールコマンドが対象とするメディアの種別（図示の例では「動画像」）を示している。また、ＩＤ情報３７０２は、当該コントロールコマンドが指定するフィルタ係数のＩＤ（図示の例ではＩＤ：１）を示している。また、タイムコード３７０３は、ＩＤ情報３７０２で指定したフィルタ係数の適用を開始するアクティブ時刻（図示の例では、動画像の２フレーム目）を示している。

　コントローラ３３０８は、フィルタ係数復号部３３０５からＩＤ：０及びＩＤ：１でそれぞれ識別されるフィルタ係数データが順に渡されると、フィルタ係数用メモリ２８０９内の各々のＩＤに対応するメモリ領域に逐次格納する。その後、図３７に示したコントロールコマンドの伝送により、事前伝送されたフィルタ係数の適用が指示される。コントローラ３３０８は、そのコントロールコマンドで指定されたアクティブ時刻が到来すると、コントロールコマンドで指定されたＩＤに対応するフィルタ係数用メモリ３３０９内のメモリ領域からフィルタ係数及びその属性情報を読み出して、高画質化部３３０６に渡す。高画質化部３３０６は、コントローラ３３０８から渡された第１層のフィルタ全体のフィルタ係数を上書きして、高画質化部３３０６内の学習モデルを更新して、アクティブ時刻である映像フレームの２フレーム目から適用する。

　図３８には、第３の実施例に係るコンテンツ再生システム３３００が多重化ビットストリームを受信したときに実行する処理手順をフローチャートの形式で示している。

　コンテンツ再生システム３３００が多重化ビットストリームを受信すると（ステップＳ３８０１）、まず非多重化及びデータ検索部３３０１は、メディアデータの先頭に付けられたメディアヘッダに記載された情報に基づいて、多重化ビットストリームをメディア毎のビットストリームに非多重化して（ステップＳ３８０２）、後段の映像復号部３３０２、オーディオ復号部３３０３、補助データ復号部３３０４、及びフィルタ係数復号部３３０５の各々に分配する。

　ここで、非多重化されたビットストリームがフィルタ係数以外、すなわち映像、オーディオ又は補助データのうちいずれかのビットストリームである場合には（ステップＳ３３０３のＮｏ及びステップＳ３８１４のＮｏ）、映像復号部３３０２、オーディオ復号部３３０３又は補助データ復号部３３０４のうち該当する復号部に割り振られる。映像復号部３３０２、オーディオ復号部３３０３、補助データ復号部３３０４の各々で実施される復号処理は当業界で周知であり、また、本明細書で提案する技術とは直接関連しないので、詳細な説明を省略する。

　非多重化されたビットストリームがフィルタ係数のビットストリームである場合には（ステップＳ３８０３のＹｅｓ）、フィルタ係数復号部２３０５は、メディアヘッダを解析し（ステップＳ３８０４）、さらにフィルタ係数のＩＤ情報並びに属性情報（種別、サイズ、位置、精度など）を取得する。

　次いで、フィルタ係数復号部３３０５は、メディアヘッダ内の情報などに基づいて、属性情報で指定されている（今回のマルチメディア伝送データで更新の対象となっている）フィルタ係数のデータが同じマルチメディア伝送データ内に格納されているのかどうかをチェックする（ステップＳ３８０５）。あるいは、フィルタ係数復号部３３０５は、マルチメディア伝送データ内にはフィルタ係数データの所在情報が格納されているのかをチェックする。

　ここで、フィルタ係数のデータが同じマルチメディア伝送データ内に格納されていない場合には（ステップＳ３８０５のＮｏ）、フィルタ係数復号部３３０５は、フィルタ係数ビットストリームから抽出したＵＲＬなどの所在情報を取得する（ステップＳ３８０６）。

　そして、フィルタ係数復号部３３０５は、ＵＲＬなどの所在情報で指定されたクラウド又は記録メディア上からフィルタ係数データのファイルを取得し、又はフィルタ係数ビットストリーム内からフィルタ係数データを取得すると（ステップＳ３８０７）、属性情報とともにコントローラ３３０８に渡す（ステップＳ３８０８）。

　コントローラ３３０８は、受け取ったフィルタ係数及び属性情報を、フィルタ係数用メモリ３３０９内のＩＤに対応するメモリ領域に格納する（ステップＳ３８０９）。

　他方、非多重化されたビットストリームがフィルタ係数のビットストリームではなく（ステップＳ３８０３のＮｏ）、コントロールコマンドであった場合には（ステップＳ３８１４のＹｅｓ）、コントローラ３３０８は、フィルタ係数復号部３３０５経由で受け取ったコントロールコマンドを解析して（ステップＳ３８１５）、メディアへの適用を指示するフィルタ係数のＩＤ情報と、そのフィルタ係数のメディアへの適用を開始するアクティブ時刻を取得する。

　その後、アクティブ時刻が到来すると（ステップＳ３８１０）、コントローラ３３０８は、フィルタ係数用メモリ３３０９内の該当するメモリ領域からフィルタ係数及びその属性情報を読み出して（ステップＳ３８１１）、高画質化部３３０６に供給する。

　高画質化部３３０６は、属性情報に基づいて、該当するメディア種別の該当する層又は層内の指定された領域にフィルタ係数を上書き保存して、高画質化部３３０６内の学習モデルを更新する（ステップＳ３８１２）。

　そして、高画質化部３３０６は、以降は更新された学習モデルを用いて、映像復号部３３０２から出力される映像信号に対して高画質化処理を施す（ステップＳ３８１３）。例えば、高画質化部３３０６は、低解像度又は標準解像度の映像信号から高解像度映像信号を生成する超解像処理や、高ダイナミックレンジ化などの高画質化処理を実施する。

　第４の実施例では、コンテンツの受信側は、外部から提供された１又は複数種類のフィルタ係数データをメモリに格納しておくとともに、必要に応じて外部に出力する機能を備えている。

　複数種類のフィルタ係数を同時に扱う場合、第３の実施例と同様にフィルタ係数のセット毎に固有のＩＤを付与し、ＩＤ毎のメモリ領域を使って格納するようにすれば、フィルタ係数データの管理や取り扱いが容易である。

　また、「必要に応じて」には、外部から外部出力の要求を受け取った場合や、ＵＩ（Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）を通じてユーザから外部出力が直接指示された場合を含むものとする。

　また、メモリから読み出したフィルタ係数データを外部出力する際に、そのまま出力してもよいが、受信時と同様に符号化したフィルタ係数ビットストリームとして出力するようにしてもよい。

　また、フィルタ係数データの出力先として、クラウド上のサーバ、外付け又は内蔵のディスク、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）メモリのようなカートリッジ式メモリデバイスであってもよい。出力先がクラウド又は記録メディアの場合には、その出力場所はＵＲＩ又はＵＲＬの形式で指定することができる。例えば、外部出力の要求元が、ＵＲＩ又はＵＲＬの形式で出力場所を指定するようにしてもよい。

　図３９には、第４の実施例に係るコンテンツ再生システム３９００の構成例を模式的に示している。このコンテンツ再生システム３９００も、放送信号やメディア再生信号、ストリーム配信コンテンツを受信して、映像及びオーディオ信号を出力するように構成されている。コンテンツ再生システム３９００は、チューナやＨＤＭＩ（登録商標）インターフェース、ネットワークインターフェースなどを装備しているが、図３９では省略している。コンテンツ再生システム３９００は、例えばテレビ受信装置やセットトップボックスである。

　コンテンツ再生システム３９００は、非多重化データ検索及びデータアップロード部３９０１と、映像復号部３９０２と、オーディオ復号部３９０３と、補助データ復号部３９０４と、フィルタ係数復号部３９０５と、高画質化部３９０６と、高音質化部３９０７と、コントローラ３９０８と、フィルタ係数用メモリ３９０９と、フィルタ係数符号化部３９１０と、画像表示部３９１１と、オーディオ出力部３９１２を備えている。映像復号部３９０２と、オーディオ復号部３９０３と、補助データ復号部３９０４と、高画質化部３９０６と、高音質化部３９０７と、画像表示部３９１１と、オーディオ出力部３９１２は、図１に示したコンテンツ再生システム１００中の同一名のコンポーネントと同様の機能を備えているので、ここでは説明を省略する。

　非多重化データ検索及びデータアップロード部３９０１は、伝送ストリームの非多重化及びフィルタ係数データの取得の各処理については、第２の実施例に係るコンテンツ再生システム３３００内の非多重化及びデータ検索部３３０１と同様である。非多重化データ検索及びデータアップロード部３９０１は、ＵＲＩ又はＵＲＬの形式などにより指定された出力先へデータをアップロードし、又はＵＳＢメモリへデータを記録する処理も行うことができる。

　フィルタ係数復号部３９０５は、第２の実施例に係るコンテンツ再生システム３３００内のフィルタ係数復号部３３０５と同様の機能を備えている。

　コントローラ３９０８は、フィルタ係数用メモリ３９０９の入出力をコントロールする。具体的には、コントローラ３９０８は、ＩＤを指定して、フィルタ係数用メモリ３９０９内の対応するメモリ領域へのデータの格納や対応するメモリ領域からのデータの読み出しを行う。外部から受信したフィルタ係数データ及び属性情報のフィルタ係数用メモリ３９０９への格納や、アクティブ時刻の到来時におけるフィルタ係数データ及び属性情報の高画質化部３９０６への提供といった処理は第２の実施例の場合と同様なので、ここでは詳細な説明を省略する。

　本実施例では、コンテンツ再生システム３９００には、ＩＤ情報と出力先の情報を含むフィルタ係数データの外部出力要求が入力される。このような外部出力要求は、マルチメディア伝送データに多重化されるコントロールコマンドの形態であってもよいし、その他のコマンドの形態でもよい。あるいはＵＩを通じてユーザから外部出力が直接指示される場合もある。

　コントローラ３９０８は、外部出力要求で指定されたＩＤに対応するメモリ領域からフィルタ係数データ及び属性情報を読み出すと、フィルタ係数符号化部３９１０に出力する。フィルタ係数符号化部３９１０は、ＩＤ、フィルタ係数データ、及び属性情報を符号化してフィルタ係数ビットストリームを生成する。そして、非多重化データ検索及びデータアップロード部３９０１は、ＵＲＩ又はＵＲＬの形式などにより指定された出力先へ、符号化フィルタ係数ビットストリームをアップロードし、又はＵＳＢメモリなどの記録メディアへ記録する。

　以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

　本明細書では、本明細書で開示する技術をテレビ受信機に適用した実施形態を中心に説明してきたが、本明細書で開示する技術の要旨はこれに限定されるものではない。映像コンテンツをユーザに提示するさまざまなタイプの表示装置にも、同様に本明細書で開示する技術を適用することができる。例えば、映像ストリームを受信するセットトップボックス、映像ストリームを視聴するスマートフォンやタブレットなどの多機能情報端末やパーソナルコンピュータ、ブルーレイディスクなどの記録媒体から再生した映像コンテンツを表示するメディアプレーヤなどにも同様に、本明細書で開示する技術を適用する個ができる。

　要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

　なお、本明細書の開示の技術は、以下のような構成をとることも可能である。

（１）コンテンツを処理するように学習された学習モデルの重み係数に関する属性情報をコンテンツと多重化したストリームを受信する受信部と、
　受信したストリームを非多重化して属性情報を取得する取得部と、
を具備する受信装置。

（２）前記学習モデルは、コンテンツを高品質化するための学習モデルを含む、
上記（１）に記載の受信装置。

（３）コンテンツは映像を含み、
　前記学習モデルは、映像を高画質化するための学習モデルを含む、
上記（１）又は（２）のいずれかに記載の受信装置。

（４）前記学習モデルは、映像を超解像処理又は高ダイナミックレンジ化するための学習モデルを含む、
上記（３）に記載の受信装置。

（５）コンテンツはオーディオ信号を含み、
　前記学習モデルは、オーディオ信号を高音質化の帯域を拡張するための学習モデルを含む、
上記（１）乃至（４）のいずれかに記載の受信装置。

（６）前記学習モデルは、オーディオの帯域を拡張するための学習モデルを含む、
上記（５）に記載の受信装置。

（７）属性情報は、重み係数を適用する対象となるコンテンツの種別、更新しようとする重み係数のデータサイズ、更新しようとする重み係数の学習モデル上における位置情報、重み係数のデータの精度のうち少なくとも１つに関する情報を含む、
上記（１）乃至（６）のいずれかに記載の受信装置。

（８）前記受信部は、重み係数をさらに多重化した前記ストリームを受信し、
　前記取得部は、前記ストリームを非多重化したときに、さらに重み係数を取得する、
上記（１）乃至（７）のいずれかに記載の受信装置。

（９）前記受信部は、重み係数の所在情報をさらに多重化した前記ストリームを受信し、
　前記取得部は、前記ストリームを非多重化して取得した所在情報に基づいてさらに重み係数を取得する、
上記（１）乃至（７）のいずれかに記載の受信装置。

（１０）取得した重み係数及び属性情報に基づいて学習モデルを更新して、コンテンツを処理する処理部をさらに備える、
上記（８）又は（９）のいずれかに記載の受信装置。

（１１）学習モデルに基づいてコンテンツを処理する処理部と、
　重み係数を格納するメモリと、
　前記メモリへの重み係数の入出力をコントロールするコントローラと、
をさらに備え、
　前記受信部は、重み係数の適用を開始する時刻に関する情報をさらに多重化した前記ストリームを受信し、
　前記コントローラは、前記ストリームを非多重化して取得された時刻に基づいて、前記メモリから読み出した重み係数を前記処理部に供給する、
上記（１）乃至（７）のいずれかに記載の受信装置。

（１２）識別情報毎に重み係数を格納するメモリ領域を有するメモリと、
　識別情報に基づいて前記メモリ内の対応するメモリ領域への重み係数の入出力をコントロールするコントローラと、
をさらに備え、
　前記コントローラは、適用を開始する重み係数の識別情報及び適用を開始する時刻に関するコマンドに基づいて、前記メモリの対応するメモリ領域からから読み出した重み係数を前記処理部に供給する、
上記（１）乃至（７）のいずれかに記載の受信装置。

（１３）前記受信部は、適用を開始する重み係数の識別情報及び適用を開始する時刻に関する前記コマンドをさらに多重化した前記ストリームを受信する、
上記（１２）に記載の受信装置。

（１４）重み係数を格納するメモリと、
　前記メモリへの重み係数の入出力をコントロールするコントローラと、
をさらに備え、
　前記コントローラは、前記メモリから読み出した重み係数の外部への出力をさらにコントロールする、
上記（１）乃至（１３）のいずれかに記載の受信装置。

（１５）コンテンツを処理するように学習された学習モデルの重み係数に関する属性情報をコンテンツと多重化したストリームを受信する受信ステップと、
　受信したストリームを非多重化して属性情報を取得する取得ステップと、
を有する受信方法。

（１６）コンテンツを処理するように学習された学習モデルの重み係数に関する属性情報をコンテンツと多重化したストリームを生成する多重化部と、
　多重化したストリームを所定の伝送メディア上に伝送する伝送部と、
を具備する送信装置。

（１７）重み係数を学習する学習部をさらに備える、
上記（１６）に記載の送信装置。

（１８）コンテンツは映像を含み、
　前記学習部は、映像を高画質化するための重み係数を学習する、
上記（１７）に記載の送信装置。

（１９）属性情報は、重み係数を適用する対象となるコンテンツの種別、更新しようとする重み係数のデータサイズ、更新しようとする重み係数の学習モデル上における位置情報、重み係数のデータの精度のうち少なくとも１つに関する情報を含む、
上記（１６）乃至（１８）のいずれかに記載の送信装置。

（２０）コンテンツを処理するように学習された学習モデルの重み係数に関する属性情報をコンテンツと多重化したストリームを生成する多重化ステップと、
　多重化したストリームを所定の伝送メディア上に伝送する伝送ステップと、
を有する送信方法。

　１００…コンテンツ再生システム、１０１…非多重化部
　１０２…映像復号部、１０３…オーディオ復号部
　１０４…補助データ復号部、１０５…高画質化部、１０６…高音質化部
　１０７…画像表示部、１０８…オーディオ出力部
　２００…ディスプレイ、２０１…スピーカーユニット、
　２０１－１、２０１－２…加振器、２０２…スタンド
　３００…コンテンツ再生システム、３０１…非多重化及びデータ検索部
　３０２…映像復号部、３０３…オーディオ復号部
　３０４…補助データ復号部、３０５…高画質化部、３０６…高音質化部
　３０７…画像表示部、３０８…オーディオ出力部
　５００…コンテンツ再生システム、５０１…非多重化部
　５０２…映像復号部、５０３…オーディオ復号部
　５０４…補助データ復号部、５０５…フィルタ係数復号部
　５０６…高画質化部、５０７…高音質化部、５０８…画像表示部
　５０９…オーディオ出力部
　１０００…コンテンツ再生システム
　１００１…非多重化及びデータ検索部、１００２…映像復号部
　１００３…オーディオ復号部、１００４…補助データ復号部
　１００５…フィルタ係数復号部、１００６…高画質化部
　１００７…高音質化部、１００８…画像表示部
　１００９…オーディオ出力部
　１６００…コンテンツ符号化システム、１６０１…ダウンサンプラ
　１６０２…映像符号化部、１６０３…映像復号部
　１６０４…フィルタ係数学習器、１６０５…多重化部
　１８０１…第１層フィルタ１８０１、１８０２…第２層フィルタ
　１８０３…第３層フィルタ
　１８０４…畳み込みニューラルネットワーク、１８０５…差分器
　１９００…コンテンツ再生システム、１９０１…非多重化部
　１９０２…映像復号部、１９０３…オーディオ復号部
　１９０４…補助データ復号部、１９０５…フィルタ係数復号部
　１９０６…高画質化部、１９０７…高音質化部
　１９０８…コントローラ、１９０９…フィルタ係数用メモリ
　１９１０…画像表示部、１９１１…オーディオ出力部
　２３００…コンテンツ再生システム、
　２３０１…非多重化及びデータ検索部、２３０２…映像復号部
　２３０３…オーディオ復号部、２３０４…補助データ復号部
　２３０５…フィルタ係数復号部、２３０６…高画質化部
　２３０７…高音質化部、２３０８…コントローラ
　２３０９…フィルタ係数用メモリ、２３１０…画像表示部
　２３１１…オーディオ出力部
　２８００…コンテンツ再生システム、２８０１…非多重化部
　２８０２…映像復号部、２８０３…オーディオ復号部
　２８０４…補助データ復号部、２８０５…フィルタ係数復号部
　２８０６…高画質化部、２８０７…高音質化部
　２８０８…コントローラ、２８０９…フィルタ係数用メモリ
　２８１０…画像表示部、２８１１…オーディオ出力部
　３３００…コンテンツ再生システム、
　３３０１…非多重化及びデータ検索部、３３０２…映像復号部
　３３０３…オーディオ復号部、３３０４…補助データ復号部
　３３０５…フィルタ係数復号部、３３０６…高画質化部
　３３０７…高音質化部、３３０８…コントローラ
　３３０９…フィルタ係数用メモリ、３３１０…画像表示部
　３３１１…オーディオ出力部
　３９００…コンテンツ再生システム、
　３９０１…非多重化及びデータ検索部、３９０２…映像復号部
　３９０３…オーディオ復号部、３９０４…補助データ復号部
　３９０５…フィルタ係数復号部、３９０６…高画質化部
　３９０７…高音質化部、３９０８…コントローラ
　３９０９…フィルタ係数用メモリ、３９１０…フィルタ係数符号化部
　３９１１…画像表示部、３９１２…オーディオ出力部

Claims

　コンテンツを処理するように学習された学習モデルの重み係数に関する属性情報をコンテンツと多重化したストリームを受信する受信部と、
　受信したストリームを非多重化して属性情報を取得する取得部と、
を具備する受信装置。
　前記学習モデルは、コンテンツを高品質化するための学習モデルを含む、
請求項１に記載の受信装置。
　コンテンツは映像を含み、
　前記学習モデルは、映像を高画質化するための学習モデルを含む、
請求項１に記載の受信装置。
　前記学習モデルは、映像を超解像処理又は高ダイナミックレンジ化するための学習モデルを含む、
請求項３に記載の受信装置。
　コンテンツはオーディオ信号を含み、
　前記学習モデルは、オーディオ信号を高音質化するための学習モデルを含む、
請求項１に記載の受信装置。
　前記学習モデルは、オーディオの帯域を拡張するための学習モデルを含む、
請求項５に記載の受信装置。
　属性情報は、重み係数を適用する対象となるコンテンツの種別、更新しようとする重み係数のデータサイズ、更新しようとする重み係数の学習モデル上における位置情報、重み係数のデータの精度のうち少なくとも１つに関する情報を含む、
請求項１に記載の受信装置。
　前記受信部は、重み係数をさらに多重化した前記ストリームを受信し、
　前記取得部は、前記ストリームを非多重化したときに、さらに重み係数を取得する、
請求項１に記載の受信装置。
　前記受信部は、重み係数の所在情報をさらに多重化した前記ストリームを受信し、
　前記取得部は、前記ストリームを非多重化して取得した所在情報に基づいてさらに重み係数を取得する、
請求項１に記載の受信装置。
　取得した重み係数及び属性情報に基づいて学習モデルを更新して、コンテンツを処理する処理部をさらに備える、
請求項８に記載の受信装置。
　学習モデルに基づいてコンテンツを処理する処理部と、
　重み係数を格納するメモリと、
　前記メモリへの重み係数の入出力をコントロールするコントローラと、
をさらに備え、
　前記受信部は、重み係数の適用を開始する時刻に関する情報をさらに多重化した前記ストリームを受信し、
　前記コントローラは、前記ストリームを非多重化して取得された時刻に基づいて、前記メモリから読み出した重み係数を前記処理部に供給する、
請求項１に記載の受信装置。
　識別情報毎に重み係数を格納するメモリ領域を有するメモリと、
　識別情報に基づいて前記メモリ内の対応するメモリ領域への重み係数の入出力をコントロールするコントローラと、
をさらに備え、
　前記コントローラは、適用を開始する重み係数の識別情報及び適用を開始する時刻に関するコマンドに基づいて、前記メモリの対応するメモリ領域からから読み出した重み係数を前記処理部に供給する、
請求項１に記載の受信装置。
　前記受信部は、適用を開始する重み係数の識別情報及び適用を開始する時刻に関する前記コマンドをさらに多重化した前記ストリームを受信する、
請求項１２に記載の受信装置。
　重み係数を格納するメモリと、
　前記メモリへの重み係数の入出力をコントロールするコントローラと、
をさらに備え、
　前記コントローラは、前記メモリから読み出した重み係数の外部への出力をさらにコントロールする、
請求項１に記載の受信装置。
　コンテンツを処理するように学習された学習モデルの重み係数に関する属性情報をコンテンツと多重化したストリームを受信する受信ステップと、
　受信したストリームを非多重化して属性情報を取得する取得ステップと、
を有する受信方法。
　コンテンツを処理するように学習された学習モデルの重み係数に関する属性情報をコンテンツと多重化したストリームを生成する多重化部と、
　多重化したストリームを所定の伝送メディア上に伝送する伝送部と、
を具備する送信装置。
　重み係数を学習する学習部をさらに備える、
請求項１６に記載の送信装置。
　コンテンツは映像を含み、
　前記学習部は、映像を高画質化するための重み係数を学習する、
請求項１７に記載の送信装置。
　属性情報は、重み係数を適用する対象となるコンテンツの種別、更新しようとする重み係数のデータサイズ、更新しようとする重み係数の学習モデル上における位置情報、重み係数のデータの精度のうち少なくとも１つに関する情報を含む、
請求項１６に記載の送信装置。
　コンテンツを処理するように学習された学習モデルの重み係数に関する属性情報をコンテンツと多重化したストリームを生成する多重化ステップと、
　多重化したストリームを所定の伝送メディア上に伝送する伝送ステップと、
を有する送信方法。