JP7327838B2 - Ｖｒ映像の品質を査定する方法、装置およびコンピュータプログラム - Google Patents

Ｖｒ映像の品質を査定する方法、装置およびコンピュータプログラム Download PDF

Info

Publication number
JP7327838B2
JP7327838B2 JP2021566118A JP2021566118A JP7327838B2 JP 7327838 B2 JP7327838 B2 JP 7327838B2 JP 2021566118 A JP2021566118 A JP 2021566118A JP 2021566118 A JP2021566118 A JP 2021566118A JP 7327838 B2 JP7327838 B2 JP 7327838B2
Authority
JP
Japan
Prior art keywords
video
user
rotation angle
head rotation
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021566118A
Other languages
English (en)
Other versions
JP2022533928A (ja
Inventor
ション、ジエ
フアン、イホン
チェン、グアン
チェン、ジアン
Original Assignee
ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ホアウェイ・テクノロジーズ・カンパニー・リミテッド filed Critical ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Publication of JP2022533928A publication Critical patent/JP2022533928A/ja
Application granted granted Critical
Publication of JP7327838B2 publication Critical patent/JP7327838B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は映像処理の分野に関し、具体的には、ＶＲ映像の品質を査定する方法および装置に関する。
仮想現実（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ、ＶＲ）技術とは、複数の分野（コンピュータグラフィックス、マンマシンインタラクション技術、センサ技術、マンマシンインタフェース技術、および人工知能技術などを含む）を組み合わせた最先端技術であり、この技術では、適切な機器を用いて人の感覚（例えば、３次元的な視覚、聴覚、および臭覚）に錯覚を起こさせ、現実から完全に分離した世界を作り出し、その世界を体験し、その世界と関わり合うことができる。要するに、ＶＲ技術とは、コンピュータを用いて疑似世界を作り出し、没入型で双方向性の視聴覚体験を生み出す技術である。ＶＲサービスの人気が高まると共に、ＶＲ産業エコロジーが頭角を現している。事業者、産業パートナー、および一般消費者がいずれも、ユーザ体験を評価するために、ＶＲサービスの品質査定方法を必要としている。ユーザ体験は主に、ＶＲ映像の品質を査定することで評価され、その結果、「利用できる」から「ユーザフレンドリー」へのＶＲサービスの変革が推進され、ＶＲ産業の発展が促進される。
これまでの技術では、映像の品質を査定するのに、映像のビットレート、解像度、およびフレームレートが用いられている。これは、これまでの映像の品質を査定する方法である。しかしながら、ＶＲ映像はこれまでの映像と大きく異なる。ＶＲ映像は３６０度のパノラマ映像であり、ＶＲ映像は独自の方式で符号化されている。これまでの映像の品質を査定する方法を用いてＶＲ映像の品質を査定した場合、査定結果の精度が低い。
本発明の実施形態が、ＶＲ映像の品質を査定する方法および装置を提供する。本発明の実施形態では、ＶＲ映像の査定結果の精度が向上する。
第１態様によれば、本発明の一実施形態がＶＲ映像の品質を査定する方法を提供する。本方法は、ＶＲ映像のビットレート、フレームレート、解像度、および経時的知覚情報（ｔｅｍｐｏｒａｌ ｐｅｒｃｅｐｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ、ＴＩ）を取得する段階であって、ＶＲ映像のＴＩはＶＲ映像の映像シーケンスの時間変動を表すのに用いられる、取得する段階と、ＶＲ映像のビットレート、フレームレート、解像度、およびＴＩに基づいてＶＲ映像の平均オピニオン評点（ｍｅａｎ ｏｐｉｎｉｏｎ ｓｃｏｒｅ）ＭＯＳを決定する段階であって、ＶＲ映像のＭＯＳはＶＲ映像の品質を表すのに用いられる、決定する段階とを含む。これまでの技術と比較すると、ＶＲ映像の品質を査定するパラメータとしてＴＩが導入されているので、ＶＲ映像の品質査定結果の精度が向上する。
実現可能な一実施形態において、ＶＲ映像のＴＩを取得する段階は、ＶＲ映像の２つの隣接する画像フレームの同じ位置における画素値の差異を求める段階と、２つの隣接する画像フレームの同じ位置における画素値の差異を標準偏差の公式に基づいて計算し、ＶＲ映像のＴＩを取得する段階とを含む。
標準偏差の公式は、
および
であり、ｐｉｊは２つの隣接する画像フレームの現在のフレームのｉ番目の行にあるｊ番目の画素の画素値と、現在のフレームの直前のフレームのｉ番目の行にあるｊ番目の画素の画素値との差異を表しており、ＷおよびＨはそれぞれ、２つの隣接する画像フレームのそれぞれの幅および高さを表している。
実現可能な一実施形態において、ＶＲ映像のＴＩを取得する段階は、事前設定期間Δｔにおけるユーザの頭部回転角度Δａを取得する段階と、事前設定期間Δｔおよびユーザの頭部回転角度Δａに基づいてユーザの平均頭部回転角度を決定する段階と、ユーザの平均頭部回転角度に基づいてＶＲ映像のＴＩを決定する段階とを含む。ユーザの平均頭部回転角度が大きいほど、ＶＲ映像のＴＩ値が大きいことを示している。
実現可能な一実施形態において、事前設定期間Δｔにおけるユーザの頭部回転角度Δａを取得する段階は、時点ｔにおけるユーザの頭部角度ｙｔおよび時点［ｔ＋Δｔ］におけるユーザの頭部角度ｙｔ＋Δｔを取得する段階と、ユーザの頭部回転角度Δａを以下の手順に従って決定する段階とを含み、ｙｔ＋Δｔとｙｔとの差異の絶対値が１８０度より大きい且つｙｔがｙｔ＋Δｔより小さい場合、
であり、ｙｔ＋Δｔとｙｔとの差異の絶対値が１８０度より大きい且つｙｔがｙｔ＋Δｔより大きい場合、
であり、ｙｔ＋Δｔとｙｔとの差異の絶対値が１８０度より大きくない場合、
である。
実現可能な一実施形態において、ユーザの平均頭部回転角度に基づいてＶＲ映像のＴＩを決定する段階は、ユーザの平均頭部回転角度を計算のために第１のＴＩ予測モデルに入力して、ＶＲ映像のＴＩを取得する段階を含む。第１のＴＩ予測モデルは、
であり、ａｎｇｌｅＶｅｌｏｃｉｔｙはユーザの平均頭部回転角度を表しており、ｍおよびｎは定数である。ＶＲ映像のＴＩはユーザの頭部回転角度に基づいて予測されるので、ＴＩを計算するのに必要な計算能力は無視できる。
実現可能な一実施形態において、ユーザの平均頭部回転角度に基づいてＶＲ映像のＴＩを決定する段階は、ユーザの平均頭部回転角度を計算のために第２のＴＩ予測モデルに入力して、ＶＲ映像のＴＩを取得する段階を含む。第２のＴＩ予測モデルは、ノンパラメトリックモデルである。ＶＲ映像のＴＩはユーザの頭部回転角度に基づいて予測されるので、ＴＩを計算するのに必要な計算能力は無視できる。
実現可能な一実施形態において、ＶＲ映像のビットレート、フレームレート、解像度、およびＴＩに基づいてＶＲ映像の平均オピニオン評点ＭＯＳを決定する段階は、ＶＲ映像のビットレート、解像度、フレームレート、およびＴＩを計算のために品質査定モデルに入力して、ＶＲ映像のＭＯＳを求める段階を含む。品質査定モデルは次の通りである。
ここで、Ｂ１はＶＲ映像のビットレートを表しており、Ｂ２はＶＲ映像の解像度を表しており、ＦはＶＲ映像のフレームレートを表しており、ａ、ｂ、ｃ、およびｄは定数である。
第２態様によれば、本発明の一実施形態が査定装置を提供する。本装置は、ＶＲ映像のビットレート、フレームレート、解像度、および経時的知覚情報ＴＩを取得するように構成された取得ユニットであって、ＶＲ映像のＴＩはＶＲ映像の映像シーケンスの時間変動を表すのに用いられる、取得ユニットと、ＶＲ映像のビットレート、フレームレート、解像度、およびＴＩに基づいてＶＲ映像の平均オピニオン評点ＭＯＳを決定するように構成された決定ユニットであって、ＶＲ映像のＭＯＳはＶＲ映像の品質を表すのに用いられる、決定ユニットとを含む。
実現可能な一実施形態において、取得ユニットは、ＶＲ映像のＴＩを取得する場合、具体的には、ＶＲ映像の２つの隣接する画像フレームの同じ位置にある画素値の差異を求め、２つの隣接する画像フレームの同じ位置にある画素値の差異を標準偏差の公式に基づいて計算し、ＶＲ映像のＴＩを取得するように構成される。
標準偏差の公式は、
および
であり、ｐｉｊは２つの隣接する画像フレームの現在のフレームのｉ番目の行にあるｊ番目の画素の画素値と、現在のフレームの直前のフレームのｉ番目の行にあるｊ番目の画素の画素値との差異を表しており、ＷおよびＨはそれぞれ、２つの隣接する画像フレームのそれぞれの幅および高さを表している。
実現可能な一実施形態において、取得ユニットは、ＶＲ映像のＴＩを取得する場合、具体的には、事前設定期間Δｔにおけるユーザの頭部回転角度Δａを取得し、事前設定期間Δｔおよびユーザの頭部回転角度Δａに基づいてユーザの平均頭部回転角度を決定し、ユーザの平均頭部回転角度に基づいてＶＲ映像のＴＩを決定するように構成される。ユーザの平均頭部回転角度が大きいほど、ＶＲ映像のＴＩ値が大きいことを示している。
実現可能な一実施形態において、取得ユニットは、事前設定期間Δｔにおけるユーザの頭部回転角度Δａを取得する場合、具体的には、時点ｔにおけるユーザの頭部角度ｙｔおよび時点［ｔ＋Δｔ］におけるユーザの頭部角度ｙｔ＋Δｔを取得し、ユーザの頭部回転角度Δａを以下の手順に従って決定するように構成され、ｙｔ＋Δｔとｙｔとの差異の絶対値が１８０度より大きい且つｙｔがｙｔ＋Δｔより小さい場合、
であり、ｙｔ＋Δｔとｙｔとの差異の絶対値が１８０度より大きい且つｙｔがｙｔ＋Δｔより大きい場合、
であり、ｙｔ＋Δｔとｙｔとの差異の絶対値が１８０度より大きくない場合、
である。
実現可能な一実施形態において、取得ユニットは、ユーザの平均頭部回転角度に基づいてＶＲ映像のＴＩを決定する場合、具体的には、ユーザの平均頭部回転角度を計算のために第１のＴＩ予測モデルに入力して、ＶＲ映像のＴＩを取得するように構成される。第１のＴＩ予測モデルは、
であり、ａｎｇｌｅＶｅｌｏｃｉｔｙはユーザの平均頭部回転角度を表しており、ｍおよびｎは定数である。
実現可能な一実施形態において、取得ユニットは、ユーザの平均頭部回転角度に基づいてＶＲ映像のＴＩを決定する場合、具体的には、ユーザの平均頭部回転角度を計算のために第２のＴＩ予測モデルに入力して、ＶＲ映像のＴＩを取得するように構成される。第２のＴＩ予測モデルは、ノンパラメトリックモデルである。
実現可能な一実施形態において、決定ユニットは、ＶＲ映像のビットレート、フレームレート、解像度、およびＴＩに基づいてＶＲ映像の平均オピニオン評点ＭＯＳを決定する場合、具体的には、ＶＲ映像のビットレート、解像度、フレームレート、およびＴＩを計算のために品質査定モデルに入力して、ＶＲ映像のＭＯＳを求めるように構成される。品質査定モデルは次の通りである。
ここで、Ｂ１はＶＲ映像のビットレートを表しており、Ｂ２はＶＲ映像の解像度を表しており、ＦはＶＲ映像のフレームレートを表しており、ａ、ｂ、ｃ、およびｄは定数である。
第３態様によれば、本発明の一実施形態が査定装置を提供する。本装置は、実行可能プログラムコードを格納するメモリと、メモリに結合されたプロセッサとを含む。プロセッサは、メモリに格納された実行可能プログラムコードを呼び出して、第１態様による方法の段階の一部または全部を行う。
第４態様によれば、本発明の一実施形態がコンピュータ可読記憶媒体を提供する。コンピュータ記憶媒体はコンピュータプログラムを格納し、コンピュータプログラムはプログラム命令を含み、プログラム命令がプロセッサで実行されると、プロセッサは第１態様による方法の段階の一部または全部を行うことが可能になる。
本発明の実施形態の解決手段では、ＶＲ映像のビットレート、フレームレート、解像度、およびＴＩが取得され、ＶＲ映像のビットレート、フレームレート、解像度、およびＴＩに基づいてＶＲ映像の平均オピニオン評点ＭＯＳが決定され、ＶＲ映像のＭＯＳはＶＲ映像の品質を表すのに用いられることが分かり得る。本発明の実施形態では、ＶＲ映像の査定結果の精度を向上させることができる。
本発明のこれらの態様または他の態様は、次に挙げる実施形態の説明でより明確に且つ分かりやすくなる。
本発明の実施形態またはこれまでの技術における技術的解決手段をより明確に説明するために、以下では、こうした実施形態またはこれまでの技術を説明するための添付図面を簡潔に説明する。以下の説明における添付図面は、本発明のほんの一部の実施形態を示しているだけであり、当業者であれば、創造的努力をすることなく、これらの添付図面から他の図面を導き出し得ることが明らかである。
本発明の一実施形態による、ＶＲ映像の品質査定シナリオの概略図である。
本発明の一実施形態による、ＶＲ映像の品質を査定する方法の概略フローチャートである。
本発明の一実施形態による査定装置の概略構造図である。
本発明の一実施形態による別の査定装置の概略構造図である。
詳細な説明が、以下に別々に提供される。
図１は、本発明の一実施形態による、ＶＲ映像の品質査定シナリオの概略図である。図１に示すように、このシナリオには、映像サーバ１０１と、中間ネットワークデバイス１０２と、端末デバイス１０３とが含まれる。
映像サーバ１０１は、映像サービスを提供するサーバ（例えば、事業者）である。
中間ネットワークデバイス１０２は、映像サーバ１０１と端末デバイス１０３との間で映像伝送を実施するデバイス（例えば、ホームゲートウェイ）である。ホームゲートウェイは、内と外を接続するハブとして機能するだけではなく、ホームネットワーク全体の最も重要なコントロールセンタとしての役割も果たす。ホームゲートウェイは、ワイドエリアネットワークにアクセスするために、ネットワーク側において高速アクセスインタフェースを提供する。ホームゲートウェイは、自宅の様々なサービス端末（例えば、パーソナルコンピュータおよびＩＰセットトップボックス）を接続するために、ユーザ側においてイーサネット（登録商標）インタフェースおよび／または無線ローカルエリアネットワーク機能を提供する。
端末デバイス１０３は、ユーザ機器（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ、ＵＥ）とも呼ばれ、音声接続および／またはデータ接続をユーザに提供するデバイス、例えば、携帯電話、タブレットコンピュータ、ノートブックコンピュータ、パームトップコンピュータ、モバイルインターネットデバイス（ｍｏｂｉｌｅ ｉｎｔｅｒｎｅｔ ｄｅｖｉｃｅ、ＭＩＤ）、またはヘッドマウントデバイスなどのウェアラブルデバイスである。
本発明では、映像サーバ１０１、中間ネットワークデバイス１０２、および端末デバイス１０３のうちのいずれか１つが、本発明による、ＶＲ映像の品質を査定する方法を行ってよい。
図２は、本発明の一実施形態による、ＶＲ映像の品質を査定する方法の概略フローチャートである。図２に示すように、本方法は以下に挙げる段階を含む。
Ｓ２０１：査定装置が、ＶＲ映像のビットレート、解像度、フレームレート、およびＴＩを取得する。
ＶＲ映像のビットレートは、ＶＲ映像のビットストリームが単位時間あたりに伝送される割合であり、ＶＲ映像の解像度はＶＲ映像の各画像フレームの解像度であり、ＶＲ映像のフレームレートは単位時間あたりにリフレッシュされる画像のフレーム数である。ＶＲ映像のＴＩは、ＶＲ映像の映像シーケンスの時間変動を示すのに用いられる。映像シーケンスの時間変動が大きいほど、映像シーケンスのＴＩ値が大きいことを示している。比較的高い運動度を持つ映像シーケンスが通常、比較的大きい時間変動を有しているので、その映像シーケンスは通常、比較的大きいＴＩ値を有する。
実現可能な一実施形態において、本査定装置は、ある期間におけるＶＲ映像のビットストリームの負荷を求めることで、ＶＲ映像のビットレートを計算する。本査定装置は、ＶＲ映像のビットストリームを解析して、ＶＲ映像のシーケンスパラメータセット（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ、ＳＰＳ）およびピクチャパラメータセット（ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ、ＰＰＳ）を取得し、次いで、ＳＰＳおよびＰＰＳに含まれる構文要素に基づいてＶＲ映像の解像度およびフレームレートを決定する。
実現可能な一実施形態において、査定装置がＶＲ映像のＴＩを取得することは、ＩＴＵ－Ｒ勧告ＢＴ．１７８８の方式でＶＲ映像のＴＩを決定すること、すなわち、ＶＲ映像の２つの隣接する画像フレームの画素値に基づいてＶＲ映像のＴＩを決定すること、またはユーザの頭部回転角度の情報に基づいてＶＲ映像のＴＩを決定することを含む。
具体的には、本査定装置がＶＲ映像の２つの隣接する画像フレームの画素値に基づいてＶＲ映像のＴＩを決定することは、以下のことを含む。
本査定装置は、２つの隣接する画像フレームの同じ位置にある画素の画素値の差異を求め、２つの隣接する画像フレームの同じ位置にある画素の画素値の差異を標準偏差の公式に基づいて計算し、ＶＲ映像のＴＩを取得する。
標準偏差の公式は、
および
であり、ｐｉｊは２つの隣接する画像フレームの現在のフレームのｉ番目の行にあるｊ番目の画素の画素値と、現在のフレームの直前のフレームのｉ番目の行にあるｊ番目の画素の画素値との差異を表しており、ＷおよびＨはそれぞれ、２つの隣接する画像フレームのそれぞれの幅および高さを表している。言い換えれば、Ｗ×Ｈは、２つの隣接する画像フレームのそれぞれの解像度である。
一例では、本査定装置が、ＶＲ映像のＮ個の連続した画像フレームの画素の画素値に基づいてＶＲ映像のＴＩを決定する場合、本査定装置は、２つの隣接する画像フレームの画素値に基づくＶＲ映像のＴＩを決定するプロセスの関連する説明に基づいて、［Ｎ－１］個の候補ＴＩを取得し、次いでＶＲ映像のＴＩとして［Ｎ－１］個の候補ＴＩの平均値を決定する。ここで、Ｎは２より大きい整数である。
実現可能な一実施形態において、本査定装置がユーザの頭部回転角度の情報に基づいてＶＲ映像のＴＩを決定することは、事前設定期間Δｔにおけるユーザの頭部回転角度Δａを取得することと、事前設定期間Δｔおよびユーザの頭部回転角度Δａに基づいてユーザの平均頭部回転角度を決定することと、ユーザの平均頭部回転角度に基づいてＶＲ映像のＴＩを決定することとを含む。
具体的には、本査定装置が事前設定期間Δｔにおけるユーザの頭部回転角度Δａを取得することは、時点ｔにおけるユーザの頭部角度ｙｔおよび時点［ｔ＋Δｔ］におけるユーザの頭部角度ｙｔ＋Δｔを取得することと、ユーザの頭部回転角度Δａを以下の手順に従って決定することとを含む。
ｙｔ＋Δｔとｙｔとの差異の絶対値が１８０度より大きい且つｙｔがｙｔ＋Δｔより小さい場合、
であり、ｙｔ＋Δｔとｙｔとの差異の絶対値が１８０度より大きい且つｙｔがｙｔ＋Δｔより大きい場合、
であり、ｙｔ＋Δｔとｙｔとの差異の絶対値が１８０度より大きくない場合、
である。
本査定装置は次に、事前設定期間Δｔおよびユーザの頭部回転角度Δａに基づいて、ユーザの平均頭部回転角度ａｎｇｌｅＶｅｌｏｃｉｔｙを決定する。ここで、ａｎｇｌｅＶｅｌｏｃｉｔｙ＝Δａ／Δｔである。
事前設定期間は、ＶＲ映像の画像フレームを再生する期間であってよいことに留意されたい。
実行可能な一実施形態において、本査定装置がユーザの平均頭部回転角度に基づいてＶＲ映像のＴＩを決定することは、以下のことを含む。
本査定装置は、ａｎｇｌｅＶｅｌｏｃｉｔｙを計算のために第１のＴＩ予測モデルに入力して、ＶＲ映像のＴＩを取得する。
ａｎｇｌｅＶｅｌｏｃｉｔｙの値が大きいほど、ＶＲ映像のＴＩ値が大きいことを示していることに留意されたい。
任意選択で、ＴＩ予測モデルは、
であり、ｍおよびｎは定数である。
任意選択で、ｍおよびｎは経験的に設定されてよく、ｍおよびｎの値範囲は［－１００，１００］であってよい。さらに、ｍおよびｎの値範囲は具体的には、［－５０，５０］であってよい。
任意選択で、ｍおよびｎは代替的に訓練によって求められてよく、訓練によって求められたｍおよびｎは通常、［－１００，１００］の範囲の値である。訓練によってｍおよびｎを求めるプロセスとは、訓練によってＴＩ予測モデルを取得するプロセスである。
実現可能な一実施形態において、ａｎｇｌｅＶｅｌｏｃｉｔｙを計算のために第１のＴＩ予測モデルに入力する前に、本査定装置は、複数のデータ項目を含む第１の訓練データセットを取得して第１のパラメトリックモデルを訓練し、第１のＴＩ予測モデルを取得する。第１の訓練データセットにおけるそれぞれの第１のデータ項目には、平均頭部回転角度およびＴＩが含まれる。平均頭部回転角度は第１のパラメトリックモデルの入力データであり、ＴＩは第１のパラメトリックモデルの出力データである。
第１のパラメトリックモデルは、代数方程式、微分方程式、微分方程式系、および伝達関数などを用いて説明されるモデルであることに留意されたい。第１のパラメトリックモデルを確立することは、既知のモデル構造においてパラメータを（例えば、ＴＩ予測モデルにおいてｍおよびｎを）決定することである。
一例において、本査定装置は、訓練データセットを用いて訓練パラメトリックモデルを訓練し、そのモデルにおけるパラメータ（例えば、ＴＩ予測モデルにおけるｍおよびｎ）を取得してよい。
実現可能な一実施形態において、本査定装置がユーザの平均頭部回転角度に基づいてＶＲ映像のＴＩを決定することは、ａｎｇｌｅＶｅｌｏｃｉｔｙを計算のために第２のＴＩ予測モデルに入力して、ＶＲ映像のＴＩを取得することを含む。第２のＴＩ予測モデルは、ノンパラメトリックモデルである。
ここで、ノンパラメトリックモデルでは、目的関数の形に関して強い仮定が行われないことに留意されたい。仮定をしないことで、目的関数は訓練データからの学習によって、あらゆる関数形に自由になり得る。ノンパラメトリックモデルの訓練段階は、パラメトリックモデルの訓練方式と同様である。モデルを訓練するには、大量の訓練データセットを準備する必要がある。しかしながら、ノンパラメトリックモデルでは、目的関数の形に関して仮定を行う必要がなく、これは、目的関数を決定する必要があるパラメトリックモデルの場合とは異なる。例えば、ｋ近傍法（ｋ－Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ、ＫＮＮ）アルゴリズムが用いられてよい。
本発明の本査定装置がユーザのヘッドマウントデバイス（ｈｅａｄ ｍｏｕｎｔ ｄｉｓｐｌａｙ、ＨＭＤ）に有線方式または無線方式で接続されることで、本査定装置はユーザの頭部角度の情報を取得できることに留意されたい。
Ｓ２０２：本査定装置は、ＶＲ映像のビットレート、解像度、フレームレート、およびＴＩに基づいてＶＲ映像のＭＯＳを決定する。
ＶＲ映像のＭＯＳは、ＶＲ映像の品質を表すのに用いられ、また映像品質を測る評価基準である。評点基準は、ＩＴＵ－Ｔ勧告Ｐ．９１０によるものである。映像品質は、優、良、可、不可、および劣悪の５段階に分類され、対応するＭＯＳはそれぞれ、５、４、３、２、および１である。
具体的には、本査定装置は、ＶＲ映像のビットレート、解像度、フレームレート、およびＴＩを計算のために品質査定モデルに入力して、ＶＲ映像のＭＯＳを求める。
任意選択で、品質査定モデルは次の通りであってよい。
ここで、Ｂ１はＶＲ映像のビットレートを表しており、Ｂ２はＶＲ映像の解像度を表しており、ＦはＶＲ映像のフレームレートを表しており、ａ、ｂ、ｃ、およびｄは定数である。
任意選択で、ａ、ｂ、ｃ、およびｄは経験的に設定されてよく、ａ、ｂ、ｃ、およびｄの値範囲は［－１００，１００］であってよい。さらに、ａ、ｂ、ｃ、およびｄの値範囲は具体的には、［－５０，５０］であってよい。
任意選択で、ａ、ｂ、ｃ、およびｄは代替的に訓練によって求められてよく、訓練によって求められたａ、ｂ、ｃ、およびｄは通常、［－１００，１００］の範囲の値である。訓練によってａ、ｂ、ｃ、およびｄを求めるプロセスとは、訓練によって品質査定モデルを取得するプロセスである。
ＶＲ映像のビットレートが高いほど、ＶＲ映像のＭＯＳ値が大きいことを示している、すなわち、ＶＲ映像の品質が高いことを示していることに留意されたい。ＶＲ映像の解像度が高いほど、ＶＲ映像のＭＯＳ値が大きいことを示している。ＶＲ映像のフレームレートが高いほど、ＶＲ映像のＭＯＳ値が大きいことを示している。ＶＲ映像のＴＩ値が大きいほど、ＶＲ映像のＭＯＳ値が大きいことを示している。
実現可能な一実施形態において、ＶＲ映像のビットレート、解像度、フレームレート、およびＴＩが計算のために品質査定モデルに入力される前に、本査定装置は、複数のデータ項目を含む第３の訓練データセットを取得して第２のパラメトリックモデルを訓練し、品質査定モデルを取得する。第３の訓練データセットの各データ項目には、ＶＲ映像およびＭＯＳに関する情報が含まれる。ＶＲ映像に関する情報は第２のパラメトリックモデルの入力データであり、ＭＯＳは第２のパラメトリックモデルの出力データである。ＶＲ映像に関する情報には、ＶＲ映像のビットレート、解像度、およびフレームレートが含まれる。
第２のパラメトリックモデルは、代数方程式、微分方程式、微分方程式系、および伝達関数などを用いて説明されるモデルであることに留意されたい。第２のパラメトリックモデルを確立することは、既知のモデル構造においてパラメータを（例えば、品質査定モデルにおいてａ、ｂ、ｃ、およびｄを）決定することである。
本発明の本実施形態の解決手段では、本査定装置がＶＲ映像のＴＩを導入してＶＲ映像の品質を査定することが分かり得る。これまでの技術と比較すると、ＶＲ映像の品質査定の精度が大幅に向上する。
図３は、本発明の一実施形態による査定装置の概略構造図である。図３に示すように、査定装置３００は、ＶＲ映像のビットレート、フレームレート、解像度、および経時的知覚情報ＴＩを取得するように構成された取得ユニット３０１であって、ＶＲ映像のＴＩはＶＲ映像の映像シーケンスの時間変動を表すのに用いられる、取得ユニット３０１と、ＶＲ映像のビットレート、フレームレート、解像度、およびＴＩに基づいてＶＲ映像の平均オピニオン評点ＭＯＳを決定するように構成された決定ユニット３０２であって、ＶＲ映像のＭＯＳはＶＲ映像の品質を表すのに用いられる、決定ユニット３０２とを含む。
実現可能な一実施形態において、取得ユニット３０１は、ＶＲ映像のＴＩを取得する場合、具体的には、ＶＲ映像の２つの隣接する画像フレームの同じ位置における画素値の差異を求め、２つの隣接する画像フレームの同じ位置における画素値の差異を標準偏差の公式に基づいて計算し、ＶＲ映像のＴＩを取得するように構成される。
標準偏差の公式は、
および
であり、ｐｉｊは２つの隣接する画像フレームの現在のフレームのｉ番目の行にあるｊ番目の画素の画素値と、現在のフレームの直前のフレームのｉ番目の行にあるｊ番目の画素の画素値との差異を表しており、ＷおよびＨはそれぞれ、２つの隣接する画像フレームのそれぞれの幅および高さを表している。
実現可能な一実施形態において、取得ユニット３０１は、ＶＲ映像のＴＩを取得する場合、具体的には、事前設定期間Δｔにおけるユーザの頭部回転角度Δａを取得し、事前設定期間Δｔおよびユーザの頭部回転角度Δａに基づいてユーザの平均頭部回転角度を決定し、ユーザの平均頭部回転角度に基づいてＶＲ映像のＴＩを決定するように構成される。ユーザの平均頭部回転角度が大きいほど、ＶＲ映像のＴＩ値が大きいことを示している。
実現可能な一実施形態において、取得ユニット３０１は、事前設定期間Δｔにおけるユーザの頭部回転角度Δａを取得する場合、具体的には、時点ｔにおけるユーザの頭部角度ｙｔおよび時点［ｔ＋Δｔ］におけるユーザの頭部角度ｙｔ＋Δｔを取得し、ユーザの頭部回転角度Δａを以下の手順に従って決定するように構成され、ｙｔ＋Δｔとｙｔとの差異の絶対値が１８０度より大きい且つｙｔがｙｔ＋Δｔより小さい場合、
であり、ｙｔ＋Δｔとｙｔとの差異の絶対値が１８０度より大きい且つｙｔがｙｔ＋Δｔより大きい場合、
であり、ｙｔ＋Δｔとｙｔとの差異の絶対値が１８０度より大きくない場合、
である。
実現可能な一実施形態において、取得ユニット３０１は、ユーザの平均頭部回転角度に基づいてＶＲ映像のＴＩを決定する場合、具体的には、ユーザの平均頭部回転角度を計算のために第１のＴＩ予測モデルに入力して、ＶＲ映像のＴＩを取得するように構成される。第１のＴＩ予測モデルは、
であり、ａｎｇｌｅＶｅｌｏｃｉｔｙはユーザの平均頭部回転角度を表しており、ｍおよびｎは定数である。
実現可能な一実施形態において、取得ユニット３０１は、ユーザの平均頭部回転角度に基づいてＶＲ映像のＴＩを決定する場合、具体的には、ユーザの平均頭部回転角度を計算のために第２のＴＩ予測モデルに入力して、ＶＲ映像のＴＩを取得するように構成される。第２のＴＩ予測モデルは、ノンパラメトリックモデルである。
実現可能な一実施形態において、決定ユニット３０２は、ＶＲ映像のビットレート、フレームレート、解像度、およびＴＩに基づいてＶＲ映像の平均オピニオン評点ＭＯＳを決定する場合、具体的には、ＶＲ映像のビットレート、解像度、フレームレート、およびＴＩを計算のために品質査定モデルに入力して、ＶＲ映像のＭＯＳを求めるように構成される。品質査定モデルは次の通りである。
ここで、Ｂ１はＶＲ映像のビットレートを表しており、Ｂ２はＶＲ映像の解像度を表しており、ＦはＶＲ映像のフレームレートを表しており、ａ、ｂ、ｃ、およびｄは定数である。
各ユニット（取得ユニット３０１および決定ユニット３０２）は、前述の方法の関連する段階を行うように構成されることに留意されたい。取得ユニット３０１は具体的には、段階Ｓ２０１の関連する内容を行うように構成され、また決定ユニット３０２は具体的には、段階Ｓ２０２の関連する内容を行うように構成される。
本実施形態において、査定装置３００はユニットの形で示されている。本明細書における「ユニット」とは、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ、ＡＳＩＣ）、１つもしくは複数のソフトウェアプログラムもしくはファームウェアプログラムを実行するプロセッサもしくはメモリ、集積論理回路、および／または前述の機能を提供できる別のデバイスであってよい。さらに、取得ユニット３０１および決定ユニット３０２は、図４に示す査定装置のプロセッサ４０１を用いて実装されてよい。
図４に示すように、査定装置４００が図４に示す構成で実装されてよい。査定装置４００は、少なくとも１つのプロセッサ４０１と、少なくとも１つのメモリ４０２と、少なくとも１つの通信インタフェース４０３とを含む。プロセッサ４０１、メモリ４０２、および通信インタフェース４０３は、通信バスを用いて互いに接続され、互いに通信する。
プロセッサ４０１は、汎用中央演算処理装置（ＣＰＵ）、マイクロプロセッサ、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ、ＡＳＩＣ）、または前述の解決手段のプログラム実行を制御する１つまたは複数の集積回路であってもよい。
通信インタフェース４０３は、別のデバイスまたは通信ネットワーク、例えば、イーサネット（登録商標）、無線アクセスネットワーク（ＲＡＮ）、または無線ローカルエリアネットワーク（Ｗｉｒｅｌｅｓｓ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋｓ、ＷＬＡＮ）と通信するように構成される。
メモリ４０２は、読み出し専用メモリ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ、ＲＯＭ）もしくは静的情報および命令を格納できる別の種類の静的記憶装置でも、ランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＲＡＭ）もしくは情報および命令を格納できる別の種類の動的記憶装置でもよく、電気的消去可能プログラム可能型読み出し専用メモリ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＥＥＰＲＯＭ）、コンパクトディスク読み出し専用メモリ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＣＤ－ＲＯＭ）もしくは他のコンパクトディスクストレージ、光ディスクストレージ（圧縮光ディスク、レーザディスク、光ディスク、デジタル多用途ディスク、およびブルーレイ光ディスクなどを含む）、磁気ディスク記憶媒体もしくは別の磁気記憶装置、または期待されるプログラムコードを命令もしくはデータ構造体の形で保持もしくは格納するのに用いることができ且つコンピュータがアクセスできるあらゆる他の媒体であってもよい。しかしながら、これについては上記したものに限定されない。メモリは単独で存在してよく、メモリはバスを用いてプロセッサに接続される。メモリは代替的に、プロセッサと一体化されてもよい。
メモリ４０２は、前述の解決手段を実行するアプリケーションプログラムコードを格納するように構成され、プロセッサ４０１はその実行を制御する。プロセッサ４０１は、メモリ４０２に格納されたアプリケーションプログラムコードを実行するように構成される。
メモリ４０２に格納されるコードは、ＶＲ映像の品質を査定する方法（図２に示す実施形態に開示されている方法）の関連する内容を行うのに用いられてよい。例えば、ＶＲ映像のビットレート、フレームレート、解像度、および経時的知覚情報ＴＩが取得され、ＴＩはＶＲ映像の映像シーケンスの時間変動を表すのに用いられ、またＶＲ映像の平均オピニオン評点ＭＯＳがＶＲ映像のビットレート、フレームレート、解像度、およびＴＩに基づいて決定され、ＶＲ映像のＭＯＳはＶＲ映像の品質を表すのに用いられる。
本発明の実施形態はさらに、コンピュータ記憶媒体を提供する。コンピュータ記憶媒体はプログラムを格納してよく、プログラムが実行されると、前述の方法の実施形態で記録されるＶＲ映像の品質を査定する任意の方法の段階の少なくとも一部または全部が行われてよい。
説明を簡潔にするために、前述の方法の実施形態は一連の動きとして表現されていることに留意されたい。しかしながら、当業者であれば、本発明は説明した動きの順序に限定されないことを理解するはずである。本発明によれば、一部の段階が他の順序で行われても、同時に行われてもよいからである。さらに、当業者であれば、本明細書で説明した全ての実施形態は例示的な実施形態であり、関連する動きおよびモジュールは必ずしも本発明に必須ではないことも理解するはずである。
前述の実施形態において、各実施形態の説明にはそれぞれの注目点がある。一実施形態において詳細に説明されていない部分については、他の実施形態の関連する説明を参照されたい。
本願で提供されるいくつかの実施形態では、開示した装置が別の方式で実現されてよいことを理解されたい。例えば、説明した装置の実施形態は、単なる一例に過ぎない。例えば、ユニットの分割は単なる論理的機能の分割に過ぎず、実際の実装では別の分割であってもよい。例えば、複数のユニットもしくは構成要素が組み合わされるかまたは統合されて別のシステムになってもよく、いくつかの特徴が無視されても行われなくてもよい。さらに、示されたまたは説明された相互結合もしくは直接的結合または通信接続は、いくつかのインタフェースによって実装されてよい。装置同士またはユニット同士の間接的結合または通信接続は、電子的形態または他の形態で実装されてよい。
別々の部分として説明されたユニットは物理的に離れていてもいなくてもよく、ユニットとして示された部分が物理的ユニットであってもなくてもよく、１か所に配置されてもよく、複数のネットワークユニットに分散されてもよい。こうしたユニットの一部または全部が、各実施形態の解決手段の目的を達成するために、実際の要件に基づいて選択されてよい。
さらに、本発明の実施形態の各機能ユニットが統合されて１つの処理ユニットになってもよく、各ユニットが物理的に単独で存在してもよく、または２つ以上のユニットが統合されて１つのユニットになる。統合されたユニットは、ハードウェアの形で実装されてもよく、ソフトウェア機能ユニットの形で実装されてもよい。
統合されたユニットがソフトウェア機能ユニットの形で実装され且つ独立した製品として販売または用いられる場合、統合されたユニットはコンピュータ可読メモリに格納されてよい。そのような理解に基づいて、本質的には本発明の技術的解決手段、またはこれまでの技術に寄与する部分、または技術的解決手段の全部もしくは一部が、ソフトウェア製品の形で実装されてよい。このソフトウェア製品はメモリに格納され、本発明の実施形態で説明した方法の段階の全部または一部を行うようコンピュータデバイス（これは、パーソナルコンピュータでも、サーバでも、ネットワークデバイスでもよい）に指示を与えるためのいくつかの命令を含む。前述のメモリには、プログラムコードを格納できるあらゆる媒体が含まれ、例えば、ＵＳＢフラッシュドライブ、読み出し専用メモリ（ＲＯＭ、Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、着脱可能型ハードディスク、磁気ディスク、または光ディスクなどがある。
当業者であれば、各実施形態における方法の段階の全部または一部が、関連するハードウェアに指示を与えるプログラムによって実施され得ることを理解するであろう。本プログラムは、コンピュータ可読メモリに格納されてよい。メモリは、フラッシュメモリ、読み出し専用メモリ（英名：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、略してＲＯＭ）、ランダムアクセスメモリ（英名：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、略してＲＡＭ）、磁気ディスク、または光ディスクなどを含んでよい。
本発明の実施形態が、上で詳細に説明されている。本発明の原理および実装が、具体的な実施例を通じて本明細書に説明されている。本発明の実施形態に関する説明は、本発明の方法および中心となる考えの理解に役立つように提供されているだけである。さらに、当業者であれば、本発明の考えによる具体的な実装例および適用範囲の観点から、本発明に対して変形および改変を行うことができる。したがって、本明細書の内容は、本発明に対する限定と解釈してはならない。
［他の考え得る項目］
（項目１）
仮想現実ＶＲ映像の品質を査定する方法であって、
ＶＲ映像のビットレート、フレームレート、解像度、および経時的知覚情報ＴＩを取得する段階であって、上記ＶＲ映像の上記ＴＩは上記ＶＲ映像の映像シーケンスの時間変動を表すのに用いられる、取得する段階と、
上記ＶＲ映像の上記ビットレート、上記フレームレート、上記解像度、および上記ＴＩに基づいて上記ＶＲ映像の平均オピニオン評点ＭＯＳを決定する段階であって、上記ＶＲ映像の上記ＭＯＳは上記ＶＲ映像の品質を表すのに用いられる、決定する段階と
を備える方法。
（項目２）
ＶＲ映像のＴＩを取得する上記段階が、
事前設定期間Δｔにおけるユーザの頭部回転角度Δａを取得する段階と、
上記事前設定期間Δｔおよび上記ユーザの上記頭部回転角度Δａに基づいて上記ユーザの平均頭部回転角度を決定する段階と、
上記ユーザの上記平均頭部回転角度に基づいて上記ＶＲ映像の上記ＴＩを決定する段階であって、上記ユーザの平均頭部回転角度が大きいほど上記ＶＲ映像のＴＩ値が大きいことを示している、決定する段階と
を有する、項目１に記載の方法。
（項目３）
事前設定期間Δｔにおけるユーザの頭部回転角度Δａを取得する上記段階が、
時点ｔにおける上記ユーザの頭部角度ｙｔおよび時点［ｔ＋Δｔ］における上記ユーザの頭部角度ｙｔ＋Δｔを取得する段階と、
上記ユーザの上記頭部回転角度Δａを以下の手順に従って決定する段階と
を有し、
ｙｔ＋Δｔとｙｔとの差異の絶対値が１８０度より大きい且つｙｔがｙｔ＋Δｔより小さい場合、
であり、
ｙｔ＋Δｔとｙｔとの上記差異の上記絶対値が１８０度より大きい且つｙｔがｙｔ＋Δｔより大きい場合、
であり、
ｙｔ＋Δｔとｙｔとの上記差異の上記絶対値が１８０度より大きくない場合、
である、項目２に記載の方法。
（項目４）
上記ユーザの上記平均頭部回転角度に基づいて上記ＶＲ映像の上記ＴＩを決定する上記段階が、
上記ユーザの上記平均頭部回転角度を計算のために第１のＴＩ予測モデルに入力して、上記ＶＲ映像の上記ＴＩを取得する段階を有し、
上記第１のＴＩ予測モデルが
であり、ａｎｇｌｅＶｅｌｏｃｉｔｙは上記ユーザの上記平均頭部回転角度を表しており、ｍおよびｎは定数である、項目２または３に記載の方法。
（項目５）
上記ユーザの上記平均頭部回転角度に基づいて上記ＶＲ映像の上記ＴＩを決定する上記段階が、
上記ユーザの上記平均頭部回転角度を計算のために第２のＴＩ予測モデルに入力して、上記ＶＲ映像の上記ＴＩを取得する段階を有し、
上記第２のＴＩ予測モデルがノンパラメトリックモデルである、項目２または３に記載の方法。
（項目６）
上記ＶＲ映像の上記ビットレート、上記フレームレート、上記解像度、および上記ＴＩに基づいて上記ＶＲ映像の平均オピニオン評点ＭＯＳを決定する上記段階が、
上記ＶＲ映像の上記ビットレート、上記解像度、上記フレームレート、および上記ＴＩを計算のために品質査定モデルに入力して、上記ＶＲ映像の上記ＭＯＳを求める段階を有し、
上記品質査定モデルが次の通りであり、
ここで、Ｂ１が上記ＶＲ映像の上記ビットレートを表しており、Ｂ２が上記ＶＲ映像の上記解像度を表しており、Ｆが上記ＶＲ映像の上記フレームレートを表しており、ａ、ｂ、ｃ、およびｄが定数である、項目１から５のいずれか一項に記載の方法。
（項目７）
仮想現実ＶＲ映像のビットレート、フレームレート、解像度、および経時的知覚情報ＴＩを取得するように構成された取得ユニットであって、上記ＶＲ映像の上記ＴＩは上記ＶＲ映像の映像シーケンスの時間変動を表すのに用いられる、取得ユニットと、
上記ＶＲ映像の上記ビットレート、上記フレームレート、上記解像度、および上記ＴＩに基づいて上記ＶＲ映像の平均オピニオン評点ＭＯＳを決定するように構成された決定ユニットであって、上記ＶＲ映像の上記ＭＯＳは上記ＶＲ映像の品質を表すのに用いられる、決定ユニットと
を備える査定装置。
（項目８）
上記ＶＲ映像の上記ＴＩを取得する一態様において、上記取得ユニットが具体的には、
事前設定期間Δｔにおけるユーザの頭部回転角度Δａを取得し、
上記事前設定期間Δｔおよび上記ユーザの上記頭部回転角度Δａに基づいて上記ユーザの平均頭部回転角度を決定し、
上記ユーザの上記平均頭部回転角度に基づいて上記ＶＲ映像の上記ＴＩを決定する
ように構成され、上記ユーザの平均頭部回転角度が大きいほど上記ＶＲ映像のＴＩ値が大きいことを示している、項目７に記載の装置。
（項目９）
上記事前設定期間Δｔにおける上記ユーザの上記頭部回転角度Δａを取得する一態様において、上記取得ユニットが具体的には、
時点ｔにおける上記ユーザの頭部角度ｙｔおよび時点［ｔ＋Δｔ］における上記ユーザの頭部角度ｙｔ＋Δｔを取得し、
上記ユーザの上記頭部回転角度Δａを以下の手順に従って決定する
ように構成され、
ｙｔ＋Δｔとｙｔとの差異の絶対値が１８０度より大きい且つｙｔがｙｔ＋Δｔより小さい場合、
であり、
ｙｔ＋Δｔとｙｔとの上記差異の上記絶対値が１８０度より大きい且つｙｔがｙｔ＋Δｔより大きい場合、
であり、
ｙｔ＋Δｔとｙｔとの上記差異の上記絶対値が１８０度より大きくない場合、
である、項目８に記載の装置。
（項目１０）
上記ユーザの上記平均頭部回転角度に基づいて上記ＶＲ映像の上記ＴＩを決定する一態様において、上記取得ユニットが具体的には、
上記ユーザの上記平均頭部回転角度を計算のために第１のＴＩ予測モデルに入力して、上記ＶＲ映像の上記ＴＩを取得するように構成され、
上記第１のＴＩ予測モデルが
であり、ａｎｇｌｅＶｅｌｏｃｉｔｙが上記ユーザの上記平均頭部回転角度を表しており、ｍおよびｎが定数である、項目８または９に記載の装置。
（項目１１）
上記ユーザの上記平均頭部回転角度に基づいて上記ＶＲ映像の上記ＴＩを決定する一態様において、上記取得ユニットが具体的には、
上記ユーザの上記平均頭部回転角度を計算のために第２のＴＩ予測モデルに入力して、上記ＶＲ映像の上記ＴＩを取得するように構成され、
上記第２のＴＩ予測モデルがノンパラメトリックモデルである、項目８または９に記載の装置。
（項目１２）
上記ＶＲ映像の上記ビットレート、上記フレームレート、上記解像度、および上記ＴＩに基づいて上記ＶＲ映像の上記平均オピニオン評点ＭＯＳを決定する一態様において、上記決定ユニットが具体的には、
上記ＶＲ映像の上記ビットレート、上記解像度、上記フレームレート、および上記ＴＩを計算のために品質査定モデルに入力して、上記ＶＲ映像の上記ＭＯＳを求めるように構成され、
上記品質査定モデルが次の通りであり、
ここで、Ｂ１が上記ＶＲ映像の上記ビットレートを表しており、Ｂ２が上記ＶＲ映像の上記解像度を表しており、Ｆが上記ＶＲ映像の上記フレームレートを表しており、ａ、ｂ、ｃ、およびｄが定数である、項目７から１１のいずれか一項に記載の装置。
（項目１３）
実行可能プログラムコードを格納するメモリと、
上記メモリに結合されたプロセッサと
を備える査定装置であって、
上記プロセッサが上記メモリに格納された上記実行可能プログラムコードを呼び出して、項目１から６のいずれか一項に記載の方法を行う、査定装置。
（項目１４）
コンピュータ可読記憶媒体であって、上記コンピュータ記憶媒体がコンピュータプログラムを格納し、上記コンピュータプログラムがプログラム命令を含み、上記プログラム命令がプロセッサにより実行されると、上記プロセッサが項目１から６のいずれか一項に記載の方法を行うことが可能になる、コンピュータ可読記憶媒体。

Claims (13)

  1. 仮想現実（ＶＲ）映像の品質を査定する方法であって、
    ＶＲ映像のビットレート、フレームレート、解像度、および経時的知覚情報（ＴＩ）を取得する段階であって、前記ＶＲ映像の前記ＴＩは前記ＶＲ映像の映像シーケンスの時間変動を表すのに用いられる、取得する段階と、
    前記ＶＲ映像の前記ビットレート、前記フレームレート、前記解像度、および前記ＴＩに基づいて前記ＶＲ映像の平均オピニオン評点（ＭＯＳ）を決定する段階であって、前記ＶＲ映像の前記ＭＯＳは前記ＶＲ映像の品質を表すのに用いられる、決定する段階と
    を備え、
    ＶＲ映像のＴＩを取得する前記段階が、
    事前設定期間Δｔにおけるユーザの頭部回転角度Δａを取得する段階と、
    前記事前設定期間Δｔおよび前記ユーザの前記頭部回転角度Δａに基づいて前記ユーザの平均頭部回転角度を決定する段階と、
    前記ユーザの前記平均頭部回転角度に基づいて前記ＶＲ映像の前記ＴＩを決定する段階であって、前記ユーザの平均頭部回転角度が大きいほど前記ＶＲ映像のＴＩ値が大きいことを示している、決定する段階と
    を有する、方法。
  2. 事前設定期間Δｔにおけるユーザの頭部回転角度Δａを取得する前記段階が、
    時点ｔにおける前記ユーザの頭部角度ｙｔおよび時点［ｔ＋Δｔ］における前記ユーザの頭部角度ｙｔ＋Δｔを取得する段階と、
    前記ユーザの前記頭部回転角度Δａを以下の手順に従って決定する段階と
    を有し、
    ｙｔ＋Δｔとｙｔとの差異の絶対値が１８０度より大きい且つｙｔがｙｔ＋Δｔより小さい場合、
    であり、
    ｙｔ＋Δｔとｙｔとの前記差異の前記絶対値が１８０度より大きい且つｙｔがｙｔ＋Δｔより大きい場合、
    であり、
    ｙｔ＋Δｔとｙｔとの前記差異の前記絶対値が１８０度より大きくない場合、
    である、請求項１に記載の方法。
  3. 前記ユーザの前記平均頭部回転角度に基づいて前記ＶＲ映像の前記ＴＩを決定する前記段階が、
    前記ユーザの前記平均頭部回転角度を計算のために第１のＴＩ予測モデルに入力して、前記ＶＲ映像の前記ＴＩを取得する段階を有し、
    前記第１のＴＩ予測モデルが
    であり、ａｎｇｌｅＶｅｌｏｃｉｔｙは前記ユーザの前記平均頭部回転角度を表しており、ｍおよびｎは定数である、請求項１または２に記載の方法。
  4. 前記ユーザの前記平均頭部回転角度に基づいて前記ＶＲ映像の前記ＴＩを決定する前記段階が、
    前記ユーザの前記平均頭部回転角度を計算のために第２のＴＩ予測モデルに入力して、前記ＶＲ映像の前記ＴＩを取得する段階を有し、
    前記第２のＴＩ予測モデルがノンパラメトリックモデルである、請求項１または２に記載の方法。
  5. 前記ＶＲ映像の前記ビットレート、前記フレームレート、前記解像度、および前記ＴＩに基づいて前記ＶＲ映像の平均オピニオン評点（ＭＯＳ）を決定する前記段階が、
    前記ＶＲ映像の前記ビットレート、前記解像度、前記フレームレート、および前記ＴＩを計算のために品質査定モデルに入力して、前記ＶＲ映像の前記ＭＯＳを求める段階を有し、
    前記品質査定モデルが次の通りであり、
    ここで、Ｂ１が前記ＶＲ映像の前記ビットレートを表しており、Ｂ２が前記ＶＲ映像の前記解像度を表しており、Ｆが前記ＶＲ映像の前記フレームレートを表しており、ａ、ｂ、ｃ、およびｄが定数である、請求項１から４のいずれか一項に記載の方法。
  6. 仮想現実（ＶＲ）映像の品質を査定する方法であって、
    ＶＲ映像のビットレート、フレームレート、解像度、および経時的知覚情報（ＴＩ）を取得する段階であって、前記ＶＲ映像の前記ＴＩは前記ＶＲ映像の映像シーケンスの時間変動を表すのに用いられる、取得する段階と、
    前記ＶＲ映像の前記ビットレート、前記フレームレート、前記解像度、および前記ＴＩに基づいて前記ＶＲ映像の平均オピニオン評点（ＭＯＳ）を決定する段階であって、前記ＶＲ映像の前記ＭＯＳは前記ＶＲ映像の品質を表すのに用いられる、決定する段階と
    を備え、
    前記ＶＲ映像の前記ビットレート、前記フレームレート、前記解像度、および前記ＴＩに基づいて前記ＶＲ映像の平均オピニオン評点（ＭＯＳ）を決定する前記段階が、
    前記ＶＲ映像の前記ビットレート、前記解像度、前記フレームレート、および前記ＴＩを計算のために品質査定モデルに入力して、前記ＶＲ映像の前記ＭＯＳを求める段階を有し、
    前記品質査定モデルが次の通りであり、
    ここで、Ｂ１が前記ＶＲ映像の前記ビットレートを表しており、Ｂ２が前記ＶＲ映像の前記解像度を表しており、Ｆが前記ＶＲ映像の前記フレームレートを表しており、ａ、ｂ、ｃ、およびｄが定数である、方法。
  7. 仮想現実（ＶＲ）映像のビットレート、フレームレート、解像度、および経時的知覚情報（ＴＩ）を取得するように構成された取得ユニットであって、前記ＶＲ映像の前記ＴＩは前記ＶＲ映像の映像シーケンスの時間変動を表すのに用いられる、取得ユニットと、
    前記ＶＲ映像の前記ビットレート、前記フレームレート、前記解像度、および前記ＴＩに基づいて前記ＶＲ映像の平均オピニオン評点（ＭＯＳ）を決定するように構成された決定ユニットであって、前記ＶＲ映像の前記ＭＯＳは前記ＶＲ映像の品質を表すのに用いられる、決定ユニットと
    を備え、
    前記ＶＲ映像の前記ＴＩを取得する一態様において、前記取得ユニットが具体的には、
    事前設定期間Δｔにおけるユーザの頭部回転角度Δａを取得し、
    前記事前設定期間Δｔおよび前記ユーザの前記頭部回転角度Δａに基づいて前記ユーザの平均頭部回転角度を決定し、
    前記ユーザの前記平均頭部回転角度に基づいて前記ＶＲ映像の前記ＴＩを決定する
    ように構成され、前記ユーザの平均頭部回転角度が大きいほど前記ＶＲ映像のＴＩ値が大きいことを示している、査定装置。
  8. 前記事前設定期間Δｔにおける前記ユーザの前記頭部回転角度Δａを取得する一態様において、前記取得ユニットが具体的には、
    時点ｔにおける前記ユーザの頭部角度ｙｔおよび時点［ｔ＋Δｔ］における前記ユーザの頭部角度ｙｔ＋Δｔを取得し、
    前記ユーザの前記頭部回転角度Δａを以下の手順に従って決定する
    ように構成され、
    ｙｔ＋Δｔとｙｔとの差異の絶対値が１８０度より大きい且つｙｔがｙｔ＋Δｔより小さい場合、
    であり、
    ｙｔ＋Δｔとｙｔとの前記差異の前記絶対値が１８０度より大きい且つｙｔがｙｔ＋Δｔより大きい場合、
    であり、
    ｙｔ＋Δｔとｙｔとの前記差異の前記絶対値が１８０度より大きくない場合、
    である、請求項７に記載の査定装置。
  9. 前記ユーザの前記平均頭部回転角度に基づいて前記ＶＲ映像の前記ＴＩを決定する一態様において、前記取得ユニットが具体的には、
    前記ユーザの前記平均頭部回転角度を計算のために第１のＴＩ予測モデルに入力して、前記ＶＲ映像の前記ＴＩを取得するように構成され、
    前記第１のＴＩ予測モデルが
    であり、ａｎｇｌｅＶｅｌｏｃｉｔｙが前記ユーザの前記平均頭部回転角度を表しており、ｍおよびｎが定数である、請求項７または８に記載の査定装置。
  10. 前記ユーザの前記平均頭部回転角度に基づいて前記ＶＲ映像の前記ＴＩを決定する一態様において、前記取得ユニットが具体的には、
    前記ユーザの前記平均頭部回転角度を計算のために第２のＴＩ予測モデルに入力して、前記ＶＲ映像の前記ＴＩを取得するように構成され、
    前記第２のＴＩ予測モデルがノンパラメトリックモデルである、請求項７または８に記載の査定装置。
  11. 前記ＶＲ映像の前記ビットレート、前記フレームレート、前記解像度、および前記ＴＩに基づいて前記ＶＲ映像の前記平均オピニオン評点（ＭＯＳ）を決定する一態様において、前記決定ユニットが具体的には、
    前記ＶＲ映像の前記ビットレート、前記解像度、前記フレームレート、および前記ＴＩを計算のために品質査定モデルに入力して、前記ＶＲ映像の前記ＭＯＳを求めるように構成され、
    前記品質査定モデルが次の通りであり、
    ここで、Ｂ１が前記ＶＲ映像の前記ビットレートを表しており、Ｂ２が前記ＶＲ映像の前記解像度を表しており、Ｆが前記ＶＲ映像の前記フレームレートを表しており、ａ、ｂ、ｃ、およびｄが定数である、請求項７から１０のいずれか一項に記載の査定装置。
  12. 仮想現実（ＶＲ）映像のビットレート、フレームレート、解像度、および経時的知覚情報（ＴＩ）を取得するように構成された取得ユニットであって、前記ＶＲ映像の前記ＴＩは前記ＶＲ映像の映像シーケンスの時間変動を表すのに用いられる、取得ユニットと、
    前記ＶＲ映像の前記ビットレート、前記フレームレート、前記解像度、および前記ＴＩに基づいて前記ＶＲ映像の平均オピニオン評点（ＭＯＳ）を決定するように構成された決定ユニットであって、前記ＶＲ映像の前記ＭＯＳは前記ＶＲ映像の品質を表すのに用いられる、決定ユニットと
    を備え、
    前記ＶＲ映像の前記ビットレート、前記フレームレート、前記解像度、および前記ＴＩに基づいて前記ＶＲ映像の前記平均オピニオン評点（ＭＯＳ）を決定する一態様において、前記決定ユニットが具体的には、
    前記ＶＲ映像の前記ビットレート、前記解像度、前記フレームレート、および前記ＴＩを計算のために品質査定モデルに入力して、前記ＶＲ映像の前記ＭＯＳを求めるように構成され、
    前記品質査定モデルが次の通りであり、
    ここで、Ｂ１が前記ＶＲ映像の前記ビットレートを表しており、Ｂ２が前記ＶＲ映像の前記解像度を表しており、Ｆが前記ＶＲ映像の前記フレームレートを表しており、ａ、ｂ、ｃ、およびｄが定数である、査定装置。
  13. コンピュータに、請求項１から６のいずれか一項に記載の方法を実行させる、コンピュータプログラム。
JP2021566118A 2019-05-17 2020-05-17 Ｖｒ映像の品質を査定する方法、装置およびコンピュータプログラム Active JP7327838B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910416533.0 2019-05-17
CN201910416533.0A CN111953959A (zh) 2019-05-17 2019-05-17 Vr视频质量评估方法及装置
PCT/CN2020/090724 WO2020233536A1 (zh) 2019-05-17 2020-05-17 Vr视频质量评估方法及装置

Publications (2)

Publication Number Publication Date
JP2022533928A JP2022533928A (ja) 2022-07-27
JP7327838B2 true JP7327838B2 (ja) 2023-08-16

Family

ID=73336233

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021566118A Active JP7327838B2 (ja) 2019-05-17 2020-05-17 Ｖｒ映像の品質を査定する方法、装置およびコンピュータプログラム

Country Status (6)

Country Link
US (1) US20220078447A1 (ja)
EP (1) EP3958558A4 (ja)
JP (1) JP7327838B2 (ja)
KR (1) KR102600721B1 (ja)
CN (1) CN111953959A (ja)
WO (1) WO2020233536A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112367524B (zh) * 2020-12-08 2022-08-09 重庆邮电大学 一种全景视频编码方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010081157A (ja) 2008-09-25 2010-04-08 Nippon Telegr & Teleph Corp <Ntt> 映像品質推定装置、方法、およびプログラム
JP2015065518A (ja) 2013-09-24 2015-04-09 日本電信電話株式会社 映像品質推定装置、映像品質推定方法及びプログラム
JP2016092528A (ja) 2014-10-31 2016-05-23 日本電信電話株式会社 映像品質推定装置、方法およびプログラム
US20170374375A1 (en) 2016-06-23 2017-12-28 Qualcomm Incorporated Measuring spherical image quality metrics based on user field of view
WO2018205643A1 (zh) 2017-05-08 2018-11-15 华为技术有限公司 Vr多媒体的体验质量确定方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100588271C (zh) * 2006-08-08 2010-02-03 安捷伦科技有限公司 基于分组度量和图像度量两者测量视频质量的系统和方法
CN102740108B (zh) * 2011-04-11 2015-07-08 华为技术有限公司 一种视频数据质量评估方法和装置
CN103780901B (zh) * 2014-01-22 2015-08-19 上海交通大学 基于视频空间和时间信息的视频质量及压缩码率估计方法
CN105430383A (zh) * 2015-12-07 2016-03-23 广东电网有限责任公司珠海供电局 一种视频流媒体业务的体验质量评估方法
CN106547352A (zh) * 2016-10-18 2017-03-29 小派科技（上海）有限责任公司 一种虚拟现实画面的显示方法、头戴显示设备及其系统
CN107968941A (zh) * 2016-10-19 2018-04-27 中国电信股份有限公司 用于评估视频用户体验的方法和装置
CN106657980A (zh) * 2016-10-21 2017-05-10 乐视控股（北京）有限公司 全景视频的质量测试方法和装置
GB2560156A (en) * 2017-02-17 2018-09-05 Sony Interactive Entertainment Inc Virtual reality system and method
CN107483920B (zh) * 2017-08-11 2018-12-21 北京理工大学 一种基于多层级质量因子的全景视频评估方法及系统
CN109451303B (zh) * 2018-12-24 2019-11-08 合肥工业大学 一种针对VR视频中用户体验质量QoE的建模方法
US11037531B2 (en) * 2019-10-24 2021-06-15 Facebook Technologies, Llc Neural reconstruction of sequential frames

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010081157A (ja) 2008-09-25 2010-04-08 Nippon Telegr & Teleph Corp <Ntt> 映像品質推定装置、方法、およびプログラム
JP2015065518A (ja) 2013-09-24 2015-04-09 日本電信電話株式会社 映像品質推定装置、映像品質推定方法及びプログラム
JP2016092528A (ja) 2014-10-31 2016-05-23 日本電信電話株式会社 映像品質推定装置、方法およびプログラム
US20170374375A1 (en) 2016-06-23 2017-12-28 Qualcomm Incorporated Measuring spherical image quality metrics based on user field of view
WO2018205643A1 (zh) 2017-05-08 2018-11-15 华为技术有限公司 Vr多媒体的体验质量确定方法及装置

Also Published As

Publication number Publication date
EP3958558A4 (en) 2022-06-15
CN111953959A (zh) 2020-11-17
KR20220003087A (ko) 2022-01-07
WO2020233536A1 (zh) 2020-11-26
JP2022533928A (ja) 2022-07-27
EP3958558A1 (en) 2022-02-23
US20220078447A1 (en) 2022-03-10
KR102600721B1 (ko) 2023-11-09

Similar Documents

Publication Publication Date Title
US11025959B2 (en) Probabilistic model to compress images for three-dimensional video
US10681342B2 (en) Behavioral directional encoding of three-dimensional video
CN109951654B (zh) 一种视频合成的方法、模型训练的方法以及相关装置
TWI826321B (zh) 提高影像品質的方法
US20180192063A1 (en) Method and System for Virtual Reality (VR) Video Transcode By Extracting Residual From Different Resolutions
US11330313B2 (en) Crowd rating media content based on micro-expressions of viewers
JP7267368B2 (ja) Ｖｒマルチメディアの経験品質を決定するための方法および装置
CN112954312A (zh) 一种融合时空特征的无参考视频质量评估方法
WO2023103576A1 (zh) 视频处理方法、装置、计算机设备及存储介质
US11503267B2 (en) Image processing device, content processing device, content processing system, and image processing method
JP7327838B2 (ja) Ｖｒ映像の品質を査定する方法、装置およびコンピュータプログラム
CN114554211A (zh) 内容自适应视频编码方法、装置、设备和存储介质
JP4633595B2 (ja) 動画生成装置、動画生成方法、及びプログラム
JP2018201117A (ja) 映像符号化装置、映像符号化方法およびプログラム
WO2024077767A1 (zh) 一种面向学习模型的编码决策处理方法、装置及设备
CN111064981B (zh) 一种视频串流的系统及方法
CN114827567A (zh) 视频质量分析方法、设备和可读介质
CN108933939A (zh) 用于确定显示设备的特性的方法和设备
CN117596373B (zh) 基于动态数字人形象进行信息展示的方法及电子设备
JP2017005343A (ja) 映像品質推定装置、映像品質推定方法、及びプログラム
CN116993588A (zh) 超分辨率模型训练方法、超分辨率方法、装置
CN114066946A (zh) 一种图像处理方法及装置
KR20220092247A (ko) 전자 장치 및 이의 제어 방법
CN117560542A (zh) 视频处理方法、计算机设备及存储介质
CN116107427A (zh) 一种显示方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230320

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230727

R150 Certificate of patent or registration of utility model

Ref document number: 7327838

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150