JP7336427B2 - 画像送受信システム、データ送受信システム、送受信方法、コンピュータ・プログラム、画像送信システム、画像受信装置、送信システム、受信装置 - Google Patents
画像送受信システム、データ送受信システム、送受信方法、コンピュータ・プログラム、画像送信システム、画像受信装置、送信システム、受信装置 Download PDFInfo
- Publication number
- JP7336427B2 JP7336427B2 JP2020203735A JP2020203735A JP7336427B2 JP 7336427 B2 JP7336427 B2 JP 7336427B2 JP 2020203735 A JP2020203735 A JP 2020203735A JP 2020203735 A JP2020203735 A JP 2020203735A JP 7336427 B2 JP7336427 B2 JP 7336427B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- content
- data
- bit rate
- low bit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Transfer Between Computers (AREA)
Description
1)
単数または複数備えられた送信装置の少なくともいずれかが、原画像を低ビットレートへエンコードした低ビットレートエンコード済み画像から、より原画像に近づけた改良画像を生成するためのモデルデータを、機械学習により生成する機械学習部を備え、
単数または複数備えられた送信装置の少なくともいずれかが、 低ビットレートエンコード済み画像と、モデルデータとを当該装置の外部へ送信する送信部を備え、
受信装置が、受信した低ビットレートエンコード済み画像およびモデルデータから、当該低ビットレートエンコード画像の改良画像を生成する改良画像生成部を有することを特徴とする、画像送受信システム。
2)
機械学習に用いるデータが、さらに、低ビットレートエンコード済み画像のメタ情報を含むことを特徴とする、1)に記載の画像送受信システム。
3)
低ビットレートエンコード済み画像のメタ情報が、画像符号化技術における符号化ブロック量子化パラメータ(QP)、予測誤差係数、予測モード情報、動きベクトル情報のうちの少なくともいずれかであることを特徴とする、2)に記載の画像送受信システム。
4)
単数または複数備えられた送信装置の少なくともいずれかが、さらに、送信部から送信されるいずれかの低ビットレートエンコード済み画像に関する情報に基づき、低ビットレートエンコード済み画像と共に送信されるモデルデータを、複数の中から選択するモデルデータ選択部を有することを特徴とする、1)乃至3)のいずれか1項に記載の画像送受信システム。
5)
単数または複数備えられた送信装置の少なくともいずれかが、原データを低ビットレートへエンコードした低ビットレートエンコード済みデータから、より原データに近づけた改良データを生成するためのモデルデータを、機械学習により生成する機械学習部を備え、
単数または複数備えられた送信装置の少なくともいずれかが、低ビットレートエンコード済みデータと、モデルデータとを当該装置の外部へ送信する送信部を備え、
受信装置が、受信した低ビットレートエンコード済みデータおよびモデルデータから、当該低ビットレートエンコードデータの改良データを生成する改良データ生成部を有することを特徴とする、データ送受信システム。
6)
画像の送受信方法であって、
単数または複数備えられた送信装置の少なくともいずれかが有する機械学習部が、原画像を低ビットレートへエンコードした低ビットレートエンコード済み画像から、より原画像に近づけた改良画像を生成するためのモデルデータを、機械学習により生成するステップと、
単数または複数備えられた送信装置の少なくともいずれかが有する送信部が、低ビットレートエンコード済み画像と、モデルデータとを当該装置の外部へ送信するステップと、
受信装置の改良画像生成部が、受信した低ビットレートエンコード済み画像およびモデルデータから、当該低ビットレートエンコード済み画像の改良画像を生成するステップと、を有することを特徴とする、送受信方法。
7)
機械学習に用いるデータが、さらに、低ビットレートエンコード済み画像のメタ情報を含むことを特徴とする、6)に記載の送受信方法。
8)
低ビットレートエンコード済み画像のメタ情報が、画像符号化技術における符号化ブロック量子化パラメータ(QP)、予測誤差係数、予測モード情報、動きベクトル情報のうちの少なくともいずれかであることを特徴とする、7)に記載の送受信方法。
9)
単数または複数備えられた送信装置の少なくともいずれかが、さらに、送信部から送信される前記低ビットレートエンコード済み画像に関する情報に基づき、前記低ビットレートエンコード済み画像と共に送信される前記モデルデータを、複数の中から選択するモデルデータ選択部を有することを特徴とする、請求項6乃至8のいずれか1項に記載の送受信方法。
10)
単数または複数備えられた送信装置の少なくともいずれかが有する機械学習部が、原データを低ビットレートへエンコードした低ビットレートエンコード済みデータから、より原データに近づけた改良データを生成するためのモデルデータを、機械学習により生成するステップと、
単数または複数備えられた送信装置の少なくともいずれかが有する送信部が、低ビットレートエンコード済みデータと、モデルデータとを当該装置の外部へ送信するステップと、
受信装置の改良データ生成部が、受信した低ビットレートエンコード済みデータおよびモデルデータから、当該低ビットレートエンコードデータの改良データを生成するステップと、を有することを特徴とする、送受信方法。
11)
6)乃至10)のいずれか1項に記載された送受信方法を実行するためのコンピュータ・プログラム。
12)
単数または複数備えられた送信装置の少なくともいずれかに設けられた、原画像を低ビットレートへエンコードした低ビットレートエンコード済み画像から、より原画像に近づけた改良画像を生成するためのモデルデータを、機械学習により生成する機械学習部と、
単数または複数備えられた送信装置の少なくともいずれかに設けられた、低ビットレートエンコード済み画像と、モデルデータとを当該システムの外部へ送信する送信部と、を備えたことを特徴とする、画像送信システム。
13)
機械学習に用いるためのデータが、低ビットレートエンコード済み画像のメタ情報であることを特徴とする、12)に記載の画像送信システム。
14)
低ビットレート変換画像のメタ情報が、画像符号化技術における符号化ブロック量子化パラメータ(QP)、予測誤差係数、予測モード情報、動きベクトル情報のうちの少なくともいずれかであることを特徴とする、13)に記載の画像送信システム。
15)
さらに、送信部から送信される低ビットレートエンコード済み画像に関する情報に基づき、低ビットレートエンコード済み画像と共に送信されるモデルデータを、複数の中から選択するモデルデータ選択部を有することを特徴とする、12)乃至14)のいずれか1項に記載の画像送信システム。
16)
単数または複数設けられた送信装置の少なくともいずれかに設けられた、原データを低ビットレートへエンコードした低ビットレートエンコード済みデータを、より原データに近づけた改良データを生成するためのモデルデータを、機械学習により生成する機械学習部と、
単数または複数設けられた送信装置の少なくともいずれかに設けられた、低ビットレートエンコード済みデータと、モデルデータとを当該装置の外部へ送信する送信部を備えたことを特徴とする送信システム。
17)
原画像を低ビットレートへエンコードした低ビットレートエンコード済み画像から、より原画像に近づけた改良画像を生成するためのモデルデータであって、機械学習により生成されたモデルデータと、低ビットレートエンコード済み画像とを画像送信システムから受信する受信部と、
受信した低ビットレートエンコード済み画像およびモデルデータから、当該低ビットレートエンコード画像の改良画像を生成する改良画像生成部と、を有することを特徴とする画像受信装置。
18)
機械学習に用いるためのデータが、低ビットレートエンコード済み画像のメタ情報であることを特徴とする、17)に記載の画像受信装置。
19)
低ビットレートエンコード済み画像のメタ情報が、画像符号化技術における符号化ブロック量子化パラメータ(QP)、予測誤差係数、予測モード情報、動きベクトル情報のうちの少なくともいずれかであることを特徴とする、18)に記載の画像受信装置。
20)
受信部が受信するモデルデータは、共に受信する低ビットレートエンコード済み画像に関する情報に基づき、複数の中から選択されたことを特徴とする、17)に記載の画像受信装置。
21)
原データを低ビットレートへエンコードした低ビットレートエンコード済みデータから、より原データに近づけた改良データを生成するためのモデルデータであって、機械学習により生成されたモデルデータと、低ビットレートエンコード済みデータとを送信システムから受信する受信部と、
受信した前記低ビットレートエンコード済みデータおよびモデルデータから、当該低ビットレートエンコード済みデータの改良データを生成する改良データ生成部と、を有することを特徴とする受信装置。
本発明の各実施形態においては、動画像コンテンツ配信サーバ2-2から配信されるコンテンツ(番組)、特に動画像コンテンツに含まれる各画像は、図1(A)に示すような原画像(猫の画像で例示している)が、伝送容量を削減する目的で、図1(B)図示のような低ビットレートへのエンコード済み画像(同じく、猫の低ビットレートへのエンコード済み画像で例示した)が生成されて、各低ビットレート画像よりなる伝送用動画像コンテンツが、視聴者端末11、12、13へ配信される。
以下、図1乃至図10の各図面を援用し、本発明にかかる第1の実施の形態である、動画像コンテンツ配信システム1を説明する。なお、本実施形態に限らず本願明細書記載の各実施例は本発明実施の一例示にすぎず、種々の変形、他の技術との組み合わせによる実施が可能であり、それらもまた本発明に含まれる。
本実施形態では、機械学習の中で、ニューラルネットワークを用いた、多次元の入力から多次元の出力を得る際に、教師データを用いて最適なモデルを得る手法を用いている。
先に説明を行った、低ビットレート画像に関する入力データ・パラメータベクトルw(式(1))が入力層(m次元)41をなし、同じく、先に説明をした、原画像に関する教師データ・パラメータベクトルβと同じくd次元である出力データ・パラメータベクトルx(式(2))が出力層43をなしている。
図5(1)に構成図を示すように、本実施形態のシステム1が備えるモデルデータ作成サーバ2-1は、サーバ用コンピュータなどで実現されるものであって、サーバ内外間のデータ接続を行う入出力インターフェース2-1a、サーバ2-1の各種統制を行うCPU(セントラル・プロセッシング・ユニット)である制御部2-1b、サーバ2-1が実行する実行プログラムを読み出し可能に記憶するプログラム記憶部2-1f、先に説明をした、ニューラルネットワークに基づく機械学習に用いるための、入力データ、教師データを、例えば各種カテゴリ別の動画像コンテンツデータの低ビットレート化画像、および原画像として、あるいは他の態様にて記録している、機械学習用コンテンツ記録部2-1g、先に説明をしたニューラルネットワークに基づく機械学習である、変換行列Q,Rの推定を行う機械学習部2-1h、サーバ2-1内各構成間をデータ接続するバス2-1iなどを備えている。
以下、第1の視聴者端末11の構成を説明するが、第2の視聴者端末12、第3の視聴者端末13もまた同様の構成を有している。
図9のシークエンス・チャート、図10のフローチャートを用いて、先に説明をした機械学習済みモデルデータ32である変換行列Q,Rなどを用いて、低ビットレートへエンコードした画像から高画質化した画像を得るプロセスをあらためて説明する。なお、先に説明した第1の視聴者端末11を、視聴者端末11と表記する場合もある。
・コンテンツを視聴した視聴者から投稿されたコメント情報
・コンテンツを説明する説明文情報
・コンテンツの作者に関する情報
・コンテンツの名称あるいはシリーズ名称の情報
・コンテンツを配信する配信者に関する情報
https://www.nicovideo.jp/video_top?ref=nicotop_videoを運営している。
機械学習に用いるデータとして、先に説明をした低ビットレートエンコード済み画像フレーム、および原画像の画素の値(輝度、色調)とは別に、あるいはそれに加えて、次のような、画像符号化技術における項目の少なくともいずれかであって、次のような、高画質化をしたい低ビットレートエンコード済み動画像コンテンツのメタ情報が含まれているようにしてもよく、その他の構成は先に説明をした本発明第1の実施形態に準ずるように構成した第2の実施形態とすることが可能である。
・符号化ブロック量子化パラメータ
・予測誤差係数
・予測モード情報
・動きベクトル情報
以上の各実施形態では、動画像コンテンツ配信を中心に本発明の実施を説明したが、動画像コンテンツに限ることなく、静止画、音声データなど様々なデータ種別について本発明を実施することができる。本実施形態の構成は、先に説明をした第1および第2実施形態の構成を準用して、単数または複数備えられた送信装置の少なくともいずれかが、 原データを低ビットレートへエンコードした低ビットレートエンコード済みデータから、より原データに近づけた改良データを生成するためのモデルデータを、機械学習により生成する機械学習部を備え、同じく、単数または複数備えられた送信装置の少なくともいずれかが、低ビットレートエンコード済みデータと、モデルデータとを当該装置の外部へ送信する送信部を備え、受信装置が、受信した低ビットレートエンコード済みデータおよびモデルデータから、当該低ビットレートエンコードデータの改良データを生成する改良データ生成部を有することを特徴とする、データ送受信システム、である。また、先に説明をした動画像コンテンツ配信システム1の各実施形態に含まれる各構成を、動画像コンテンツ対象に代えて、他のデータ形式あるいは汎用のデータ形式に適応するようにした構成を含むようにしてもよい。
次に、以上説明をした各実施形態において細部を異なる構成とした、第4の実施形態を説明する。なお、この第4の実施形態に特徴的な下記の構成を、先に説明をした各実施形態の構成と組み合わせて実施することが可能であり、これら各構成もまた本発明が包含するものである。
本発明は、限られた帯域幅のみを有するインターネット通信網など伝送路を介して動画像コンテンツを見るためにビデオストリーミングの送受を行うシステムにおいて、効率的な伝送帯域の圧縮と、原画像に近い解像感を有する画像復元とを、操作者の負担を軽減して効率的に実施が可能な、画像送受信システム、データ送受信システム、送受信方法、コンピュータ・プログラム、画像送信システム、画像受信装置、送信システム、受信装置を提供することができる。
モデルデータ作成サーバ 2-1
動画像コンテンツ配信サーバ 2-2
第1の視聴者端末 11
原画像 30
低ビットレートエンコード済み画像 31
機械学習済みモデルデータ 32
高画質化した画像 33
Claims (8)
- 単数または複数備えられた送信装置の少なくともいずれかが、原画像を低ビットレートへエンコードした低ビットレートエンコード済み画像から、より前記原画像に近づけた改良画像を生成するためのモデルデータを、機械学習により生成する機械学習部を備え、
前記単数または複数備えられた送信装置の少なくともいずれかが、配信要求されたコンテンツに対応した前記低ビットレートエンコード済み画像と、前記配信要求された前記コンテンツに対応した前記機械学習により生成された機械学習済みモデルデータとを当該送信装置の外部の受信装置へ送信する送信部を備え、
前記受信装置が、受信した前記低ビットレートエンコード済み画像および前記機械学習済みモデルデータから、当該低ビットレートエンコード済み画像の前記改良画像を生成する改良画像生成部を有し、前記機械学習に用いるデータが、前記低ビットレートエンコード済み画像の情報であって、前記コンテンツの内容に関連した情報を含む、画像送受信システム。 - 前記低ビットレートエンコード済み画像の情報は、前記コンテンツが含まれるカテゴリ、コメント情報、説明文情報、作者に関する情報、名称、配信者に関する情報およびタグ情報のうちの少なくとも一つを含む、請求項1に記載の画像送受信システム。
- 前記機械学習に用いるデータが、さらに、前記低ビットレートエンコード済み画像のメタ情報を含む、請求項1~2のいずれか一項に記載の画像送受信システム。
- 前記単数または複数備えられた送信装置の少なくともいずれかが、さらに、前記送信部から送信されるいずれかの前記低ビットレートエンコード済み画像に関する情報に基づき、前記低ビットレートエンコード済み画像と共に送信される前記機械学習済みモデルデータを、複数の中から選択するモデルデータ選択部を有することを特徴とする、請求項1~3のいずれか一項に記載の画像送受信システム。
- 画像の送受信方法であって、
単数または複数備えられた送信装置の少なくともいずれかが有する機械学習部が、原画像を低ビットレートヘエンコードした低ビットレートエンコード済み画像から、より前記原画像に近づけた改良画像を生成するためのモデルデータを、機械学習により生成するステップと、
前記単数または複数備えられた送信装置の少なくともいずれかが有する送信部が、配信要求されたコンテンツに対応した前記低ビットレートエンコード済み画像と、前記配信要求された前記コンテンツに対応した前記機械学習により生成された機械学習済みモデルデータとを当該送信装置の外部の受信装置へ送信するステップと、
前記受信装置の改良画像生成部が、受信した前記低ビットレートエンコード済み画像および前記機械学習済みモデルデータから、当該低ビットレートエンコード済み画像の前記改良画像を生成するステップと、を有し、前記機械学習に用いるデータが、前記低ビットレートエンコード済み画像の情報であって、前記コンテンツの内容に関連した情報を含む、送受信方法。 - 請求項5に記載された送受信方法を実行するためのコンピュータ・プログラム。
- 単数または複数備えられた送信装置の少なくともいずれかに設けられた、原画像を低ビットレートヘエンコードした低ビットレートエンコード済み画像から、より前記原画像に近づけた改良画像を生成するためのモデルデータを、機械学習により生成する機械学習部と、
前記単数または複数備えられた送信装置の少なくともいずれかに設けられた、配信要求されたコンテンツに対応した前記低ビットレートエンコード済み画像と、前記配信要求された前記コンテンツに対応した前記機械学習により生成された機械学習済みモデルデータとを当該送信装置の外部の受信装置へ送信する送信部と、を備え、前記機械学習に用いるデータが、前記低ビットレートエンコード済み画像の情報であって、前記コンテンツの内容に関連した情報を含む、画像送信システム。 - 原画像を低ビットレートヘエンコードした低ビットレートエンコード済み画像から、より前記原画像に近づけた改良画像を生成するためのモデルデータであって、配信要求したコンテンツに対応した機械学習により生成された機械学習済みモデルデータと、前記配信要求した前記コンテンツに対応した前記低ビットレートエンコード済み画像とを画像送信システムから受信する受信部と、
前記受信した前記低ビットレートエンコード済み画像および前記機械学習済みモデルデータから、当該低ビットレートエンコード済み画像の前記改良画像を生成する改良画像生成部と、を有し、前記機械学習に用いるためのデータが、前記低ビットレートエンコード済み画像の情報であって、前記コンテンツの内容に関連した情報を含む、画像受信装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020203735A JP7336427B2 (ja) | 2018-12-28 | 2020-12-08 | 画像送受信システム、データ送受信システム、送受信方法、コンピュータ・プログラム、画像送信システム、画像受信装置、送信システム、受信装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018248974A JP6900359B2 (ja) | 2018-12-28 | 2018-12-28 | 画像送受信システム、データ送受信システム、送受信方法、コンピュータ・プログラム、画像送信システム、画像受信装置、送信システム、受信装置 |
JP2020203735A JP7336427B2 (ja) | 2018-12-28 | 2020-12-08 | 画像送受信システム、データ送受信システム、送受信方法、コンピュータ・プログラム、画像送信システム、画像受信装置、送信システム、受信装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018248974A Division JP6900359B2 (ja) | 2018-12-28 | 2018-12-28 | 画像送受信システム、データ送受信システム、送受信方法、コンピュータ・プログラム、画像送信システム、画像受信装置、送信システム、受信装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021052414A JP2021052414A (ja) | 2021-04-01 |
JP7336427B2 true JP7336427B2 (ja) | 2023-08-31 |
Family
ID=87764081
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020203735A Active JP7336427B2 (ja) | 2018-12-28 | 2020-12-08 | 画像送受信システム、データ送受信システム、送受信方法、コンピュータ・プログラム、画像送信システム、画像受信装置、送信システム、受信装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7336427B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017153145A (ja) | 2012-09-28 | 2017-08-31 | ヴィド スケール インコーポレイテッド | マルチレイヤビデオコーディングの適応型アップサンプリング |
US20180288440A1 (en) | 2015-09-30 | 2018-10-04 | Piksel, Inc. | Improved video stream delivery via adaptive quality enhancement using error correction models |
-
2020
- 2020-12-08 JP JP2020203735A patent/JP7336427B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017153145A (ja) | 2012-09-28 | 2017-08-31 | ヴィド スケール インコーポレイテッド | マルチレイヤビデオコーディングの適応型アップサンプリング |
US20180288440A1 (en) | 2015-09-30 | 2018-10-04 | Piksel, Inc. | Improved video stream delivery via adaptive quality enhancement using error correction models |
Also Published As
Publication number | Publication date |
---|---|
JP2021052414A (ja) | 2021-04-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11991406B2 (en) | Video content placement optimization based on behavior and content analysis | |
CN107534796B (zh) | 视频处理系统和数字视频分发系统 | |
Li et al. | Fundamentals of multimedia | |
US8645832B2 (en) | Methods and apparatus for interactive map-based analysis of digital video content | |
US20020051081A1 (en) | Special reproduction control information describing method, special reproduction control information creating apparatus and method therefor, and video reproduction apparatus and method therefor | |
US20130073981A1 (en) | Methods and apparatus for interactive network sharing of digital video content | |
US20190259423A1 (en) | Dynamic media recording | |
US20040125148A1 (en) | Methods and apparatus for interactive point-of-view authoring of digital video content | |
US20230171388A1 (en) | Methods, systems, and media for generating a summarized video using frame rate modification | |
US11677796B2 (en) | System and method for video encoding optimization and broadcasting | |
WO2020137050A1 (ja) | 画像送受信システム、データ送受信システム、送受信方法、コンピュータ・プログラム、画像送信システム、画像受信装置、送信システム、受信装置 | |
JP5043711B2 (ja) | ビデオ評価装置及び方法 | |
US20230142432A1 (en) | Content Generating Device, Content Distribution System, Content Generating Method, And Content Generating Program | |
JP4770875B2 (ja) | 画像特徴データ生成装置、画像特徴判定装置および画像検索システム | |
JP7336427B2 (ja) | 画像送受信システム、データ送受信システム、送受信方法、コンピュータ・プログラム、画像送信システム、画像受信装置、送信システム、受信装置 | |
JP5569830B2 (ja) | 映像処理システム、映像処理方法、映像処理装置及びその制御方法と制御プログラム | |
JP2006018831A (ja) | 画像検索システムおよび画像検索方法 | |
JP2014082734A (ja) | 動画シーンのクリップ構成システム、方法および記録メディア | |
US20230209134A1 (en) | Systems and methods for increasing first user subscription | |
JP4210186B2 (ja) | 要約映像作成サーバ、プログラム及び記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211222 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211222 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20230123 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230228 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230413 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230801 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230821 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7336427 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |