JP7400936B2 - 映像品質推定装置、映像品質推定方法、及びプログラム - Google Patents

映像品質推定装置、映像品質推定方法、及びプログラム Download PDF

Info

Publication number
JP7400936B2
JP7400936B2 JP2022502366A JP2022502366A JP7400936B2 JP 7400936 B2 JP7400936 B2 JP 7400936B2 JP 2022502366 A JP2022502366 A JP 2022502366A JP 2022502366 A JP2022502366 A JP 2022502366A JP 7400936 B2 JP7400936 B2 JP 7400936B2
Authority
JP
Japan
Prior art keywords
quality
video
video quality
area
estimated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022502366A
Other languages
English (en)
Other versions
JPWO2021171363A1 (ja
Inventor
勇一朗 浦田
正憲 小池
和久 山岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2021171363A1 publication Critical patent/JPWO2021171363A1/ja
Application granted granted Critical
Publication of JP7400936B2 publication Critical patent/JP7400936B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/36—Monitoring, i.e. supervising the progress of recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

特許法第３０条第２項適用 ２０１９年７月１１日に電子情報通信学会 信学技報 コミュニケーションクオリティ研究会（ＣＱ） ｖｏｌ．１１９ Ｎｏ．１２５ ＣＱ２０１９－５２ ｐｐ．７９－８３にて発表
本発明は、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）映像の品質評価を行う技術に関連するものである。
近年、ＶＲ技術の発展により、ユーザが３６０°見渡すことのできるＶＲ映像配信サービス・コンテンツが増加しており、ユーザがスマートフォン、タブレット端末、ＰＣ、ＨＭＤ等を用いてＶＲ映像を視聴する機会も増加している。
ベストエフォート型ネットワークを介したサービス提供ではサービス品質が時間帯等によって大きく変化するため、サービス品質の可視化が重要となる。そのため、映像配信、Ｗｅｂブラウジング、音声通話等に対する品質監視を目的とする品質推定技術が確立されてきた。
一方で、近年、カメラの高性能化、ディスプレイの高精細化・小型化、映像処理技術の進展等に伴い、３６０度全方向を視聴可能なＶＲ映像配信サービスが普及してきたが、ＶＲ映像配信に対する品質推定技術は確立されていない。
ＶＲ映像配信では、高解像度の３６０度映像を配信するため、高いビットレートを必要とする。そのため、２Ｄ映像配信サービスのように映像全体を一様な画質で符号化・配信せず、ディスプレイに表示されるユーザの視聴方向の領域を高ビットレートで配信し、その他のディスプレイに表示されない映像を低ビットレートで配信、もしくは配信しないことによって配信コストを抑えるというタイルベース配信が主流になりつつある。
非特許文献１では、映像全体をタイル分割し、各タイルを高ビットレートで符号化（高画質タイル）し、映像全体の解像度を低下させ低ビットレートで符号化（低画質タイル）する符号化方式を提案している。本方式では、ユーザの視聴方向の高画質タイルと映像全体を含む低画質タイルを配信する。
タイルベース配信においても、ＭＰＥＧ－ＤＡＳＨ等をはじめとするアダプティブビットレート映像配信が利用される。アダプティブビットレート映像配信では、スループット低下や受信端末のバッファ枯渇による再生停止を可能な限り避けるため、ビットレートレベルを切り替えながら配信を行う。
前述のように、タイルベースＶＲ映像配信では、ユーザの視聴領域変更に伴い、高画質タイルのダウンロードが新たに必要となるため、その間、低画質タイルが表示される。加えて、スループットやバッファ枯渇により、選択されるビットレートの変動や再生停止が発生する。このようにＶＲ映像配信の品質監視を行うためには、高画質・低画質の切り替えに伴う品質劣化、ビットレート変動による画質劣化や再生停止を加味した品質推定技術が必要となる。
品質監視の実現にむけたビットレート変動や再生停止を考慮した品質推定技術としては、ＩＴＵ－Ｔ勧告Ｐ．１２０３（非特許文献２）が標準化されている。
しかしながら、非特許文献２をはじめとする２Ｄ映像の品質推定法では、視聴領域の変更に伴う品質変動は考慮できていない。２Ｄ映像では、帯域変動に伴う品質変動はあるものの視聴時の時刻に対して映像品質は１つだが、タイルベースＶＲ映像では、視聴方向の変更により高画質領域だけでなく低画質領域も視聴される可能性があるため、両方の映像品質を考慮する必要がある。
非特許文献２を拡張し、ＶＲ映像の品質推定、特に、タイルベースＶＲ映像を対象とした品質推定の検討としては非特許文献３がある。非特許文献３は、視聴領域の変更に伴う品質変動を考慮し、高画質タイル、低画質タイルの品質推定値あるいは品質劣化量を用いることで、ユーザ視聴時の体感品質を推定している。
D. Ochi, Y. Kunita, A. Kameda, A. Kojima, S. Iwaki, "Live streaming system for omnidirectional video", Proc. of IEEE Virtual Reality (VR), 2015. Parametric bitstream-based quality assessment of progressive download and adaptive audiovisual streaming services over reliable transport, Recommendation ITU-T P.1203, 2017. 浦田勇一朗，小池正憲，山岸和久，"ITU-T 勧告P.1203 技術のVR映像配信への適用可能性，" 信学技報， vol. 119, no. 125, CQ2019-52, pp. 79-83, 2019 年7 月.
タイルベースＶＲ映像では、視聴方向の変更により高画質領域だけでなく低画質領域も視聴され、変更後の視聴方向において低画質から高画質に切り替わるまで時間（以下、切り替え遅延）がかかる。切り替え遅延は再生プレイヤのバッファや映像のチャンクサイズに依存する。
しかしながら、非特許文献３の品質推定法では、切り替え遅延が一定であることが前提となっており、高画質タイルと低画質タイルの品質推定値を一定の割合で重みづけして和をとっている。前提としている切り替え遅延と異なる切り替え遅延が発生した際には品質推定精度が低くなってしまう。
本発明は、上記の点に鑑みてなされたものであり、タイルベースかつアダプティブに配信されるＶＲ映像を視聴した際にユーザが体感する品質を視聴領域の変更に伴う切り替え遅延を考慮して推定することを可能とする技術を提供することを目的とする。
開示の技術によれば、映像の視聴時のユーザが体感する品質を推定するための映像品質推定装置であって、
前記映像における高画質領域の映像品質に関するパラメータと、前記映像における低画質領域の映像品質に関するパラメータと、低画質表示状態から高画質表示状態に切り替わるまでの時間に関するパラメータとに基づいて映像品質推定値を算出する映像品質推定部
を備える映像品質推定装置が提供される。
開示の技術によれば、タイルベースかつアダプティブに配信されるＶＲ映像を視聴した際にユーザが体感する品質を視聴領域の変更に伴う切り替え遅延を考慮して推定することを可能とする技術が提供される。
本発明の一実施形態におけるＶＲ映像品質推定装置の構成図である。 本発明の一実施形態における高画質領域映像品質推定部１１への入力パラメータ例を示す図である。 本発明の一実施形態におけるＶＲ映像品質推定装置のハードウェア構成例を示す図である。 本発明の一実施形態におけるＶＲ映像品質推定装置が実行する映像品質推定方法のフローチャートである。
以下、図面を参照して本発明の実施の形態を説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。以下の実施形態の説明では、ＶＲ映像を対象としているが、本発明はＶＲ映像ではない、高画質領域と低画質領域を有する映像に適用することも可能である。
以下の実施形態においては、ユーザが３６０°見渡すことのできるＶＲ映像を、ヘッドマウントディスプレイ（ＨＭＤ）等を装着し、ユーザが首を振る、体を動かすなどの行動によって視線方向を変えることのできる状態、あるいは従来の据え置き型のディスプレイをマウス等の操作によって映像の視聴方向を変えることのできる等の状態で視聴した際に体感するＶＲ映像の品質値（映像品質値）を推定するＶＲ映像品質推定装置について説明する。
以下、第一の実施形態と第二の実施形態を説明する。第一の実施形態と第二の実施形態において、ＶＲ映像はタイルベースであり、アダプティブビットレート配信がなされるものである。また、以下で説明する高画質領域は、例えば高画質タイルであり、低画質領域は、例えば低画質タイルである。また、ＶＲ映像品質推定装置１に入力されるパラメータの取得方法は特定の方法に限られない。例えば、映像配信サーバから取得することができる。また、ユーザが視聴する「映像」は、音声も含むことを想定している。
（第一の実施形態）
＜装置構成＞
図１は、第一の実施形態におけるＶＲ映像品質推定装置１の構成例を示す。図１に示すように、ＶＲ映像品質推定装置１は、高画質領域映像品質推定部１１、低画質領域映像品質推定部１２、映像品質推定部１３、オーディオ品質推定部１４、品質統合部２３を有する。品質統合部２３は、ＡＶ（Ａｕｄｉｏ Ｖｉｓｕａｌ）品質・品質変動統合部２１、再生停止による劣化量推定部２２を有する。なお、ＶＲ映像品質推定装置１を、映像品質推定装置１と呼んでもよい。また、ＶＲ映像品質推定装置１において、オーディオ品質推定部１４、品質統合部２３を備えないこととしてもよい。その場合、ＶＲ映像品質推定装置１から、映像品質推定部１３により算出された映像品質推定値が出力される。
高画質領域映像品質推定部１１は、高画質領域の映像パラメータを入力として、数秒から数十秒程度の視聴に対する高画質領域映像品質推定値を算出する。高画質領域の映像パラメータの例を図２に示す。図２に示すとおり、ビットレート、フレームレート、解像度等が入力パラメータとして使用される。
高画質領域映像品質推定部１１は、例えば下記の数式により高画質領域映像品質推定値を算出する。
Ｏ．２２Ｈ＝ＭＯＳｑ
ＭＯＳｑ＝ｑ１＋ｑ２・ｅｘｐ（ｑ３・ｑｕａｎｔ）
ｑｕａｎｔ＝ａ１＋ａ２・ｌｎ（ａ３＋ｌｎ（ｂｒＨ）＋ｌｎ（ｂｒＨ・ｂｐｐＨ））
Figure 0007400936000001
 ただし、Ｏ．２２Ｈは高画質領域映像品質推定値、ｂｒＨはビットレート、ｒｅｓＨは解像度、ｆｒはフレームレートを表し、ｑ１～ｑ３、ａ１～ａ３は予め定められた定数である。ｑｕａｎｔについては、上記のようにｂｒＨ、ｂｐｐＨから求める代わりに、所定の量子化パラメータＱＰを用いてもよい。
なお、本明細書において示される「予め定められた定数」については、例えば、実験により最適な値を求めておくこととしてもよいし、ＩＴＵ－Ｔ勧告Ｐ．１２０３において規定されている値を適用できる場合にはその値を用いてもよい。
高画質領域映像品質推定部１１は、高画質領域映像品質推定値を、上記のＭＯＳｑを用いて以下のように算出してもよい。
Ｏ．２２Ｈ＝ＭＯＳｆｒｏｍＲ（１００－ＤＨ）
ＤＨ＝ｍａｘ（ｍｉｎ（Ｄｑ＋Ｄｕ＋Ｄｔ，１００），０）
Ｄｑ＝ｍａｘ（ｍｉｎ（１００－ＲｆｒｏｍＭＯＳ（ＭＯＳｑ），１００），０）
Ｄｕ＝ｍａｘ（ｍｉｎ（ｕ１・ｌｏｇ１０（ｕ２・（ｓｃａｌｅＦａｃｔｏｒ－１）＋１），１００，０）
Figure 0007400936000002
 ただし、ＤＨは高画質領域による品質劣化量を示している。また、ＭＯＳｆｒｏｍＲとＲｆｒｏｍＭＯＳはユーザ体感品質ＭＯＳと心理値Ｒを変換する関数、ｄｉｓＲｅｓは表示解像度、ｃｏｄＲｅｓは符号化解像度、ｕ１、ｕ２、ｔ１～ｔ３は予め定められた定数である。
また、高画質領域映像品質推定部１１は、高画質領域映像品質推定値を、以下のように算出してもよい。
Ｏ．２２Ｈ＝ＶＱ
Figure 0007400936000003
 ただし、ｂｒＨ、ｒｅｓＨ、ｆｒはそれぞれビットレート、解像度、フレームレートを表し、ｖ１～ｖ７は予め定められた定数である。上記式におけるＸ、Ｙと同様のＸ、Ｙを用いることで、ｂｒＨの代わりに量子化パラメータＱＰＨを用いて、高画質領域映像品質推定値を下記のように算出してもよい。
Figure 0007400936000004
 低画質領域映像品質推定部１２も、高画質領域映像品質推定部１１と同様に、低画質領域の映像パラメータを入力として低画質領域映像品質推定値Ｏ．２２Ｌを算出する。低画質領域映像品質推定値Ｏ．２２Ｌも、数秒から数十秒程度の視聴に対する品質推定値である。
なお，低画質領域映像品質推定値Ｏ．２２Ｌを算出する際の各定数は、高画質領域映像品質推定部１１でＯ．２２Ｈを算出する際の各定数と等しい値を用いてもよいし、異なる値を用いてもよい。
映像品質推定部１３は、高画質領域映像品質推定部１１により算出された高画質領域映像品質推定値Ｏ．２２Ｈと、低画質領域映像品質推定部１２により算出された低画質領域映像品質推定値Ｏ．２２Ｌと、及び、低画質表示状態から高画質表示状態に切り替わるまでの切り替え遅延を示すパラメータ（後述するｄｅｌａｙ）とに基づいて映像品質推定値Ｏ．２２を算出する。映像品質推定値Ｏ．２２も、数秒から数十秒程度の視聴に対する品質推定値である。映像品質推定部１３は、例えば以下の計算式で映像品質推定値を算出する。
Ｏ．２２＝ω・Ｏ．２２Ｈ＋（１－ω）・Ｏ．２２Ｌ
Figure 0007400936000005
 上記の式において、ｄｅｌａｙは切り替え遅延の秒数、ｒｅｓＨは高画質領域の解像度、ｒｅｓは映像全体の解像度、ｄ１～ｄ４は予め定めた係数である。ωは高画質領域の品質と低画質領域の品質の総合品質に対する寄与度を示す値である。なお、ＳＬは、画像全体の中で低画質タイル（低画質領域）の占める面積に相当する。低画質タイルを表示しない場合、ＳＬは０になる。特にｄ３＝０と定めたときは、解像度の影響を考慮しないこともできる。ωは同様の変数及び係数を用いて、積の形で次のように算出してもよい。
Figure 0007400936000006
 説明のために、仮にｄ１～ｄ４をいずれも１とすると、上記のいずれのωの式においても、遅延が小さいほど、及び、高画質領域の解像度が大きいほど、ωが大きくなり、全体の映像に対する品質高画質領域の映像品質の寄与が高くなる。
映像品質推定部１３は、ωを用いずに、次のように映像品質推定値Ｏ．２２を算出してもよい。
Figure 0007400936000007
 ただし、ｄ５～ｄ１０は予め定めた係数である。
オーディオ品質推定部１４はオーディオパラメータを入力として、数秒から数十秒程度の視聴に対するオーディオ品質推定値を算出する。オーディオ品質推定値は以下の式で算出することができる。
Ｏ．２１＝ａ１Ａ・ｅｘｐ（ａ２Ａ・ｂｒＡ）＋ａ３Ａ
ただし、Ｏ．２１はオーディオ品質推定値、ｂｒＡはオーディオのビットレートを表し、ａ１Ａ～ａ３Ａは予め定められた定数である。また、オーディオ品質推定部１４は、オーディオ品質推定値を下記の式で算出してもよい。
Figure 0007400936000008
 上記の式において、ａ４Ａ～ａ６Ａは予め定められた定数である。
ＡＶ品質・品質変動統合部２１及び再生停止による劣化量推定部２２を備える品質統合部２３では、映像品質推定値、オーディオ品質推定値、再生停止パラメータ、デバイスタイプを入力として、品質推定値を算出する。
ＡＶ品質・品質変動統合部２１は、映像品質推定値とオーディオ品質推定値から数秒から数十秒程度の視聴に対する短時間ＡＶ品質推定値Ｏ．３４を算出し、帯域の時間変動に伴う品質変動を加味した数分程度の視聴に対する長時間ＡＶ品質推定値Ｏ．３５を算出する。なお、本明細書では、数秒から数十秒程度を「短時間」、数分程度を「長時間」と呼んでいる。
ＡＶ品質・品質変動統合部２１は、Ｏ．３４を、例えば以下の式で算出することができる。
Ｏ．３４ｔ＝ｍａｘ（ｍｉｎ（ａｖ１＋ａｖ２・Ｏ．２１ｔ＋ａｖ３・Ｏ．２２ｔ＋ａｖ４・Ｏ．２１ｔ・Ｏ．２２ｔ，５），１）
ただし、Ｏ．３４ｔは時刻ｔにおけるＡＶ品質推定値、Ｏ．２１ｔは時刻ｔにおけるオーディオ品質推定値、Ｏ．２２ｔは時刻ｔにおける映像品質推定値を表し、ａｖ１～ａｖ４は予め定められた定数である。
また、ＡＶ品質・品質変動統合部２１は、メディアセッションに対するＡＶ品質推定値であるＯ．３５を以下の式で算出できる。
Ｏ．３５＝Ｏ．３５ｂａｓｅｌｉｎｅ－ｎｅｇＢｉａｓ－ｏｓｃＣｏｍｐ－ａｄａｐｔＣｏｍｐ
Figure 0007400936000009
 ｗ２（ｔ）＝ｔ４－ｔ５・Ｏ．３４ｔ
ただし、Ｏ．３５はＡＶ品質推定値、Ｏ．３４ｔは時刻ｔにおけるＡＶ品質推定値、ＴはＡＶ品質推定値Ｏ．３５の対象時間長を表し、ｔ１～ｔ５は予め定められた定数である。ｎｅｇＢｉａｓ、ｏｓｃＣｏｍｐ、ａｄａｐｔＣｏｍｐは品質変動の幅や頻度の影響を表す変数であり、ＩＴＵ－Ｔ勧告Ｐ．１２０３において規定されている方法で計算してもよいし、計算を省略して、
Ｏ．３５＝Ｏ．３５ｂａｓｅｌｉｎｅ
としてもよい。
再生停止による劣化量推定部２２は、再生停止パラメータから再生停止による劣化量ＳＩを算出する。再生停止による劣化量ＳＩは、例えば、以下の式で算出できる。
Figure 0007400936000010
 ただし、ｎｕｍＳｔａｌｌｓは再生停止回数、ｔｏｔａｌＳｔａｌｌＬｅｎは再生停止時間の合計、ａｖｇＳｔａｌｌＩｎｔｅｒｖａｌは再生停止の発生間隔の平均、ＴはＡＶ品質推定値（及びＳＩ）の対象時間長を表し、ｓ１～ｓ３は予め定められた定数である。
品質統合部２３は、ＡＶ品質推定値Ｏ．３５と再生停止による劣化量ＳＩから品質推定値Ｏ．４６を算出する。品質推定値は、例えば、以下の式で算出できる。
Ｏ．４６＝０．０２８３３０５２＋０．９８１１７０５９・Ｏ．４６ｔｅｍｐ
Ｏ．４６ｔｅｍｐ＝０．７５・（１＋（Ｏ．３５－１）・ＳＩ）＋０．２５・ＲＦＰｒｅｄｉｃｔｉｏｎ
ただし、ＲＦＰｒｅｄｉｃｔｉｏｎはランダムフォレストにより計算される品質推定値である。ランダムフォレストの計算を省略して、以下で品質推定値Ｏ．４６を算出してもよい。
Ｏ．４６＝１＋（Ｏ．３５－１）・ＳＩ
（ハードウェア構成例）
ＶＲ映像品質推定装置１は、例えば、図１に示す各部の機能を実現する論理回路を用いてハードウェアで実現してもよいし、汎用のコンピュータに、第一、第二の実施形態で説明する処理内容を記述したプログラムを実行させることにより実現することとしてもよい。なお、この「コンピュータ」は、仮想マシンであってもよい。仮想マシンを使用する場合、ここで説明する「ハードウェア」は仮想的なハードウェアである。
コンピュータを用いる場合、ＶＲ映像品質推定装置１は、当該コンピュータに内蔵されるＣＰＵやメモリ等のハードウェア資源を用いて、ＶＲ映像品質推定装置１で実施される処理に対応するプログラムを実行することによって実現することが可能である。上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メール等、ネットワークを通して提供することも可能である。
図３は、上記コンピュータのハードウェア構成例を示す図である。図３のコンピュータは、それぞれバスＢで相互に接続されているドライブ装置１０００、補助記憶装置１００２、メモリ装置１００３、ＣＰＵ１００４、インタフェース装置１００５、表示装置１００６、及び入力装置１００７等を有する。
当該コンピュータでの処理を実現するプログラムは、例えば、ＣＤ－ＲＯＭ又はメモリカード等の記録媒体１００１によって提供される。プログラムを記憶した記録媒体１００１がドライブ装置１０００にセットされると、プログラムが記録媒体１００１からドライブ装置１０００を介して補助記憶装置１００２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１００１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１００２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
メモリ装置１００３は、プログラムの起動指示があった場合に、補助記憶装置１００２からプログラムを読み出して格納する。ＣＰＵ１００４は、メモリ装置１００３に格納されたプログラムに従って、ＶＲ映像品質推定装置１に係る機能を実現する。インタフェース装置１００５は、ネットワークに接続するためのインタフェースとして用いられる。表示装置１００６はプログラムによるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等を表示する。入力装置１００７はキーボード及びマウス、ボタン、又はタッチパネル等で構成され、様々な操作指示を入力させるために用いられる。
（ＶＲ映像品質推定装置１の処理手順）
以下、ＶＲ映像品質推定装置１が実行する処理手順について説明する。図４は、ＶＲ映像品質推定装置１が実行する処理手順の一例を説明するためのフローチャートである。
Ｓ１１において、高画質領域映像品質推定部１１が、高画質領域の映像パラメータに基づいて、高画質領域映像品質推定値を算出する。Ｓ１２において、低画質領域映像品質推定部１２が、低画質領域の映像パラメータに基づいて、低画質領域映像品質推定値を算出する。
Ｓ１３において、映像品質推定部１３が、高画質領域映像品質推定値と、低画質領域映像品質推定値と、低画質表示状態から高画質表示状態に切り替わるまでの時間に関するパラメータとに基づき映像品質推定値（例：Ｏ．２２）を算出する。Ｓ１４において、オーディオ品質推定部１４がオーディオ品質推定値（例：Ｏ．２１）を算出する。
Ｓ２１において、ＡＶ品質・品質変動統合部２１が、映像品質推定値とオーディオ品質推定値に基づき短時間ＡＶ品質推定値（例：Ｏ．３４）を算出する。Ｓ２２において、ＡＶ品質・品質変動統合部２１が、短時間ＡＶ品質推定値に基づきＡＶ品質推定値（例：Ｏ．３５）を算出する。
Ｓ２３において、再生停止による劣化量推定部２２が、再生停止による劣化量（例：ＳＩ）を算出する。Ｓ３１において、品質統合部２３が、ＡＶ品質推定値と再生停止による劣化量に基づき、品質推定値（例：Ｏ．４６）を算出し、出力して、処理を終了する。
（第二の実施形態）
次に、第二の実施形態について説明する。以下、第二の実施形態の第一の実施形態と異なる点を説明する。
第二の実施形態の第一の実施形態と異なる点は、高画質領域映像品質推定部１１、低画質領域映像品質推定部１２はそれぞれ品質劣化量を出力し、映像品質推定部１３はそれらの品質劣化量に基づいて映像品質推定値を算出する点である。
例えば、第一の実施形態で例示した式を用いて、高画質領域映像品質推定部１１、低画質領域映像品質推定部１２は、ＤＨ、ＤＬを出力する。
映像品質推定部１３は、下記の式により映像品質推定値（Ｏ．２２）を算出することができる。
Ｏ．２２＝ＭＯＳｆｒｏｍＲ（１００－ｍａｘ（ｍｉｎ（ＤＨＬ，１００），０））
ＤＨＬ＝ω・ＤＨ＋（１－ω）・ＤＬ
Figure 0007400936000011
 ただし、ｄｅｌａｙは切り替え遅延、ｒｅｓＨは高画質領域の解像度、ｒｅｓは映像全体の解像度、ｄ１～ｄ４は予め定めた係数である。
映像品質推定部１３は、下記の式によりＤＨＬを算出してもよい。
Figure 0007400936000012
 ただし、ｄ５～ｄ１０は予め定めた係数である。
（実施形態の効果）
上記のように、タイルベースのＶＲ映像サービスに対して、高画質領域の映像品質、低画質領域の映像品質をそれぞれ算出し、低画質表示状態から高画質表示状態に切り替わるまでの時間に関するパラメータとともに考慮することで、視線移動に伴う品質劣化を加味した視聴に対する体感品質の推定を行うことができる。
（実施の形態のまとめ）
本明細書には、少なくとも下記の各項に記載した映像品質推定装置、映像品質推定方法、プログラムが記載されている。
（第１項）
映像の視聴時のユーザが体感する品質を推定するための映像品質推定装置であって、
前記映像における高画質領域の映像品質に関するパラメータと、前記映像における低画質領域の映像品質に関するパラメータと、低画質表示状態から高画質表示状態に切り替わるまでの時間に関するパラメータとに基づいて映像品質推定値を算出する映像品質推定部
を備える映像品質推定装置。
（第２項）
前記高画質領域の映像品質に関するパラメータに基づき高画質領域の映像品質を推定する高画質領域映像品質推定部と、
前記低画質領域の映像品質に関するパラメータに基づき低画質領域の映像品質を推定する低画質領域映像品質推定部とを更に備え、
前記映像品質推定部は、前記高画質領域映像品質推定部が推定した高画質領域映像品質推定値と、前記低画質領域映像品質推定部が推定した低画質領域映像品質推定値と、低画質表示状態から高画質表示状態に切り替わるまでの時間に関するパラメータとに基づいて前記映像品質推定値を算出する
第１項に記載の映像品質推定装置。
（第３項）
前記映像におけるオーディオ品質に関するパラメータからオーディオ品質を推定するオーディオ品質推定部と、
前記映像品質推定部が推定した映像品質推定値と前記オーディオ品質推定部が推定したオーディオ品質推定値とに基づきオーディオビジュアル品質を推定するオーディオビジュアル品質・品質変動統合部と、
前記映像における再生停止に関するパラメータに基づき再生停止による体感品質の劣化量を推定する劣化量推定部と、
前記オーディオビジュアル品質・品質変動統合部が推定したオーディオビジュアル品質と、前記劣化量推定部が推定した再生停止による劣化量とに基づき視聴に対する体感品質を推定する品質統合部と
を更に備える第１項又は第２項に記載の映像品質推定装置。
（第４項）
前記オーディオビジュアル品質・品質変動統合部は、前記映像品質推定部が推定した映像品質推定値に基づいて短時間の視聴に対する短時間オーディオビジュアル品質を推定し、当該短時間オーディオビジュアル品質に基づいて、前記オーディオビジュアル品質を推定する
第３項に記載の映像品質推定装置。
（第５項）
ユーザが視聴する前記映像は、タイルベースのＶＲ映像である
第１項ないし第４項のうちいずれか１項に記載の映像品質推定装置。
（第６項）
映像の視聴時のユーザが体感する品質を推定するための映像品質推定装置が実行する映像品質推定方法であって、
前記映像における高画質領域の映像品質に関するパラメータと、前記映像における低画質領域の映像品質に関するパラメータと、低画質表示状態から高画質表示状態に切り替わるまでの時間に関するパラメータとに基づいて映像品質推定値を算出する映像品質推定ステップ
を備える映像品質推定方法。
（第７項）
コンピュータを、第１項ないし第５項のうちいずれか１項に記載の映像品質推定装置の各部として機能させるためのプログラム。
以上、本実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
１ ＶＲ映像品質推定装置
１１ 高画質領域映像品質推定部
１２ 低画質領域映像品質推定部
１３ 映像品質推定部
１４ オーディオ品質推定部
２１ ＡＶ品質・品質変動統合部
２２ 再生停止による劣化量推定部
２３ 品質統合部
１０００ ドライブ装置
１００１ 記録媒体
１００２ 補助記憶装置
１００３ メモリ装置
１００４ ＣＰＵ
１００５ インターフェース装置
１００６ 表示装置
１００７ 入力装置

Claims (7)

  1. 映像の視聴時のユーザが体感する品質を推定するための映像品質推定装置であって、
    前記映像における高画質領域の映像品質に関するパラメータと、前記映像における低画質領域の映像品質に関するパラメータと、低画質表示状態から高画質表示状態に切り替わるまでの時間に関するパラメータとに基づいて映像品質推定値を算出する映像品質推定部
    を備える映像品質推定装置。
  2. 前記高画質領域の映像品質に関するパラメータに基づき高画質領域の映像品質を推定する高画質領域映像品質推定部と、
    前記低画質領域の映像品質に関するパラメータに基づき低画質領域の映像品質を推定する低画質領域映像品質推定部とを更に備え、
    前記映像品質推定部は、前記高画質領域映像品質推定部が推定した高画質領域映像品質推定値と、前記低画質領域映像品質推定部が推定した低画質領域映像品質推定値と、低画質表示状態から高画質表示状態に切り替わるまでの時間に関するパラメータとに基づいて前記映像品質推定値を算出する
    請求項１に記載の映像品質推定装置。
  3. 前記映像におけるオーディオ品質に関するパラメータからオーディオ品質を推定するオーディオ品質推定部と、
    前記映像品質推定部が推定した映像品質推定値と前記オーディオ品質推定部が推定したオーディオ品質推定値とに基づきオーディオビジュアル品質を推定するオーディオビジュアル品質・品質変動統合部と、
    前記映像における再生停止に関するパラメータに基づき再生停止による体感品質の劣化量を推定する劣化量推定部と、
    前記オーディオビジュアル品質・品質変動統合部が推定したオーディオビジュアル品質と、前記劣化量推定部が推定した再生停止による劣化量とに基づき視聴に対する体感品質を推定する品質統合部と
    を更に備える請求項１又は２に記載の映像品質推定装置。
  4. 前記オーディオビジュアル品質・品質変動統合部は、前記映像品質推定部が推定した映像品質推定値と前記オーディオ品質推定部が推定したオーディオ品質推定値とに基づいて、短時間の視聴に対する短時間オーディオビジュアル品質を推定し、当該短時間オーディオビジュアル品質に基づいて、前記オーディオビジュアル品質を推定する
    請求項３に記載の映像品質推定装置。
  5. ユーザが視聴する前記映像は、タイルベースのＶＲ映像である
    請求項１ないし４のうちいずれか１項に記載の映像品質推定装置。
  6. 映像の視聴時のユーザが体感する品質を推定するための映像品質推定装置が実行する映像品質推定方法であって、
    前記映像における高画質領域の映像品質に関するパラメータと、前記映像における低画質領域の映像品質に関するパラメータと、低画質表示状態から高画質表示状態に切り替わるまでの時間に関するパラメータとに基づいて映像品質推定値を算出する映像品質推定ステップ
    を備える映像品質推定方法。
  7. コンピュータを、請求項１ないし５のうちいずれか１項に記載の映像品質推定装置の各部として機能させるためのプログラム。
JP2022502366A 2020-02-25 2020-02-25 映像品質推定装置、映像品質推定方法、及びプログラム Active JP7400936B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/007458 WO2021171363A1 (ja) 2020-02-25 2020-02-25 映像品質推定装置、映像品質推定方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2021171363A1 JPWO2021171363A1 (ja) 2021-09-02
JP7400936B2 true JP7400936B2 (ja) 2023-12-19

Family

ID=77490798

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022502366A Active JP7400936B2 (ja) 2020-02-25 2020-02-25 映像品質推定装置、映像品質推定方法、及びプログラム

Country Status (3)

Country Link
US (1) US20230099593A1 (ja)
JP (1) JP7400936B2 (ja)
WO (1) WO2021171363A1 (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013211571B4 (de) * 2013-06-19 2016-02-11 Opticom Dipl.-Ing. Michael Keyhl Gmbh Konzept zur bestimmung der qualität eines mediadatenstroms mit variierender qualität-zu-bitrate
EP3145201A1 (en) * 2015-09-17 2017-03-22 Harmonic Inc. Video processing with dynamic resolution changes
KR20170095030A (ko) * 2016-02-12 2017-08-22 삼성전자주식회사 통신 시스템에서 vr 컨텐트 디스플레이를 지원하는 기법
US10070136B2 (en) * 2016-02-16 2018-09-04 Arris Enterprises Llc Statistical multiplexing with heterogeneous encoder pool

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
小池正憲 他２名，タイルベースＶＲ映像配信サービスの客観品質推定モデルに関する検討，電子情報通信学会技術研究報告，日本，一般社団法人電子情報通信学会，2019年03月07日，Vol.118, No.503，pp.55-59
篠原裕矢 他２名，視野領域を考慮した３６０度映像配信の適応レート制御手法の性能評価，情報処理学会研究報告 オーディオビジュアル複合情報処理（ＡＶＭ），日本，情報処理学会，2018年03月07日，Vol.2018-AVM-100, No.10，pp.1-6

Also Published As

Publication number Publication date
JPWO2021171363A1 (ja) 2021-09-02
US20230099593A1 (en) 2023-03-30
WO2021171363A1 (ja) 2021-09-02

Similar Documents

Publication Publication Date Title
KR100935650B1 (ko) 비디오 품질 추정 장치, 방법 및 프로그램을 기록한 컴퓨터 판독가능한 기록매체
KR100933509B1 (ko) 비디오 품질 추정 장치, 방법 및 프로그램을 기록한 컴퓨터 판독가능한 기록매체
US7965203B2 (en) Video quality estimation apparatus, method, and program
WO2007029731A1 (ja) 映像コミュニケーション品質推定装置、方法、およびプログラム
US11463742B2 (en) Quality estimation of adaptive multimedia streaming
JP6949998B2 (ja) Ｖｒマルチメディアの経験品質を決定するための方法および装置
WO2016080354A1 (ja) 映像品質推定装置、映像品質推定方法、および映像品質推定プログラム
JP7400936B2 (ja) 映像品質推定装置、映像品質推定方法、及びプログラム
WO2020179563A1 (ja) 映像品質推定装置、映像品質推定方法及びプログラム
JP7347527B2 (ja) 映像品質推定装置、映像品質推定方法、及びプログラム
JP7040232B2 (ja) 視聴行動推定装置、視聴行動推定方法及びプログラム
JP7351398B2 (ja) Ｖｒ映像符号化パラメータ算出装置、ｖｒ映像符号化パラメータ算出方法、及びプログラム
WO2022190264A1 (ja) 情報処理装置、分析方法およびプログラム
WO2022190263A1 (ja) 情報処理装置、分析方法およびプログラム
JP7255704B2 (ja) エンゲージメント推定装置、エンゲージメント推定方法及びプログラム
WO2022044252A1 (ja) 映像品質推定装置、映像品質推定方法及びプログラム
WO2022097229A1 (ja) スループット推定装置、スループット推定方法及びプログラム
CN117082243A (zh) 视频编码方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220610

A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A801

Effective date: 20220620

A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20220620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230821

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231120

R150 Certificate of patent or registration of utility model

Ref document number: 7400936

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150