JP6087779B2 - 客観画質評価装置、自動監視装置、客観画質評価方法、およびプログラム - Google Patents

客観画質評価装置、自動監視装置、客観画質評価方法、およびプログラム Download PDF

Info

Publication number
JP6087779B2
JP6087779B2 JP2013205132A JP2013205132A JP6087779B2 JP 6087779 B2 JP6087779 B2 JP 6087779B2 JP 2013205132 A JP2013205132 A JP 2013205132A JP 2013205132 A JP2013205132 A JP 2013205132A JP 6087779 B2 JP6087779 B2 JP 6087779B2
Authority
JP
Japan
Prior art keywords
quantization scale
image quality
quantization
processing block
quality evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013205132A
Other languages
English (en)
Other versions
JP2015070539A (ja
Inventor
圭 河村
圭 河村
内藤 整
整 内藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2013205132A priority Critical patent/JP6087779B2/ja
Publication of JP2015070539A publication Critical patent/JP2015070539A/ja
Application granted granted Critical
Publication of JP6087779B2 publication Critical patent/JP6087779B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、客観画質評価装置、自動監視装置、客観画質評価方法、およびプログラムに関する。
従来、デジタル映像を蓄積したり伝送したりする際に、圧縮符号化による情報量の削減が行われる。圧縮符号化の圧縮形式には、可逆圧縮と非可逆圧縮とが存在するが、デジタル映像の圧縮符号化では、非可逆圧縮が行われることが多い。非可逆圧縮とは、符号化情報(エンコードされたビットストリーム)を復号した際に符号化前の原画像を完全には再構築できないが、視覚的な劣化を十分に抑える、すなわち画質を十分に高く保つという条件のもとで、情報量を削減する圧縮形式である。非可逆圧縮の典型的な例としては、MPEG-2や、H.264/AVCや、H.265/HEVCなどがある(例えば、非特許文献1、2、9参照)。
非可逆圧縮では、情報量を削減するために、符号化側で処理ブロックごとに予測残差の変換係数を量子化する。この量子化の際に用いた量子化スケールは、サイド情報として復号側に伝送される。量子化スケールは、H.264/AVCではマクロブロックごとに、H.265/HEVCでは符号化単位(Coding Unit)ごとに変更可能であり、この変更についてもサイド情報として復号側に伝送される。
ところで、上述の量子化により予測残差の変換係数がゼロになった場合に、例えばH.264/AVCにおけるスキップモードやH.265/HEVCにおけるマージモードのように量子化スケールを復号側に伝送しないことや、信頼できないデータを量子化スケールとして復号側に伝送することがある。このような場合には、復号側では、伝送された量子化スケールは、処理ブロックの復号には用いられず、後続のブロックにおいて量子化スケールを導出する際に用いられる。このため、量子化により予測残差の変換係数がゼロになっても、符号化側で利用した量子化スケールについて、上述のように復号側に伝送しなかったり、上述のように信頼できないデータで復号側に伝送したりしても、復号はされる。
ここで、インターブロックにおける予測において用いられる動き補償について、以下に説明する。動き補償とは、参照フレーム情報および動きベクトルを用いて、処理ブロックの画素値を予測する技術である。この動き補償では、まず、符号化済みのフレームを、予め定められたフレーム数だけ参照フレームとして蓄積しておく。次に、符号化対象である処理ブロックについて、参照フレーム群のうち1フレームまたは2フレームについて水平および垂直方向に1/4画素精度で平行移動させた画素値または画素値の平均値を、予測画素とする。なお、参照フレームの添字は、参照フレーム情報と呼ばれ、水平および垂直方向の移動量は、動きベクトルと呼ばれ、これら参照フレーム情報および動きベクトルは、サイド情報として符号化されて復号側に伝送される。
以上の非可逆圧縮では、上述のように視覚的な劣化を十分に抑えた上で符号化が行われるが、圧縮率が高くなるに従って、すなわちビットレートが低下するに従って、画質の劣化が視覚的に認識されやすくなる。また、圧縮率が同一であっても、画面内の物体の精細さや動きの大きさや複雑さなどの映像の特徴によって、画質の劣化が視覚的に認識される度合いが変化する。そこで、非可逆圧縮に伴う画質劣化を定量的に測定できる技術が求められている。
従来の画質劣化の測定では、主観評価と呼ばれる手法が用いられていた。この主観評価では、20名程度の被験者に対して映像を提示し、これら被験者のそれぞれに主観により評点を付けてもらい、これら評点に対して平均を求めるといった統計的な処理を施して得られた数値を、映像の品質として定義する。主観評価については、例えばITU-R勧告BT.500-11や、ITU-T勧告P.910に規定されている(例えば、非特許文献3、4参照)。
しかし、主観評価は、上述の勧告が規定しているような厳しい視聴条件を満たさなければならなかったり、多数の被験者を集める必要があったりするなど、映像品質の評価を容易に行うことのできる手法ではなかった。
そこで、映像信号を分析することによって、映像特徴量と呼ばれる映像の特徴を示す1つまたは複数の数値的指標を抽出し、映像特徴量から映像の品質を求める、客観画質評価が検討されている。客観画質評価は、主観画質評価の代わりに用いられることを目的としており、客観画質評価により求められる映像の品質は、主観画質を推定したものになる。
客観画質評価法のフレームワークは、ITU-T J.143(例えば、非特許文献5参照)に規定されており、評価のための伝送や蓄積のどの段階の映像や情報を用いるかによって、以下の3つに分類される。
1つ目は、FR(Full Reference)型に基づく客観画質評価法である。FR型に基づく客観画質評価法は、ITU-T勧告J.144(例えば、非特許文献6参照)や、ITU-T勧告J.267(例えば、非特許文献7参照)や、特許文献1などに示されている。非特許文献6には、標準テレビ方式(SDTV)の符号化劣化を対象とした客観画質評価法が示されており、非特許文献7および特許文献1には、マルチメディアアプリケーションで用いられる映像フォーマットを対象とした客観画質評価法が示されている。
FR型に基づく客観画質評価法は、圧縮符号化前の原画像および復号画像のベースバンド信号、または、送信画像および受信画像のベースバンド信号を用いる。すなわち、このFR型に基づく客観画質評価法は、圧縮符号化前のベースバンド信号と、復号後のベースバンド信号と、を用いる。このため、主観画質の推定精度が3つのフレームワークの中で最も高くなる。
2つ目は、NR(No Reference)型に基づく客観画質評価法である。NR型に基づく客観画質評価法は、例えば特許文献2に示されている。
NR型に基づく客観画質評価法は、FR型に基づく客観画質評価法とは、原画像や送信画像を用いない点で異なる。すなわち、このNR型に基づく客観画質評価法は、圧縮符号化前のベースバンド信号を用いないので、主観画質の推定精度は、FR型より低くなる。しかし、復号後のベースバンド信号のみでの主観画質の推定が可能であるため、システム構成を簡易化できるといった利点があり、伝送映像を監視する際に有効なフレームワークである。
3つ目は、RR(Reduced Reference)型に基づく客観画質評価法である。RR型に基づく客観画質評価法は、例えばITU-T勧告J.246(例えば、非特許文献8参照)に示されている。非特許文献8には、マルチメディアアプリケーションの映像フォーマットを前提とした客観画質評価法が示されている。
RR型に基づく客観画質評価法は、情報量が制限された原画像または送信画像の画像特徴量と、復号画像または受信画像のベースバンド信号と、を用いる。すなわち、このRR型に基づく客観画質評価法は、NR型で用いられる復号画像または受信画像のベースバンド信号に加えて、原画像または送信画像の画像特徴量も用いる。このため、主観画質の推定精度は、FR型よりは低くなるが、NR型よりも高くなる。なお、画像特徴量は、数十から数百kbps程度の情報であり、原画像のベースバンド信号と比べて非常に情報量が少なく、映像回線とは別に用意されたデータ回線を介して送信側から受信側に伝送される。
特開2008−35357号公報 特開2010−124104号公報 特開2011−199380号公報
特許文献2に示されているNR型に基づく客観画質評価法によれば、復号後のベースバンド信号のみで主観画質の推定が可能である。しかし、ベースバンド信号は、情報を画素単位で有しており、膨大な情報量を有している。このため、復号後のベースバンド信号のみで主観画質を推定することは、精細な分析が可能であるものの、メモリからの読み出しやメモリへの蓄積や演算の処理に膨大なリソースを要する。そこで、復号後のベースバンド信号ではなく、圧縮ビットストリームと、圧縮ビットストリームの復号の過程で生成される中間コード情報と、のみで主観画質を推定する方法が提案されている(例えば、特許文献3参照)。
特許文献3に示されている客観画質評価法によれば、圧縮符号化前のベースバンド信号だけでなく、復号後のベースバンド信号も用いることなく、主観画質を推定することができる。このため、ベースバンド信号に対する処理が不要であり、主観画質を推定する処理の大幅な軽量化を実現できる。
しかし、特許文献3に示されている客観画質評価法は、上述の量子化により予測残差の変換係数がゼロになる場合について、考慮しない。このため、量子化スケールが、符号化側と復号側とで一致せず、主観画質の推定精度が低下するという課題があった。
そこで、本発明は、上述の課題を鑑みてなされたものであり、量子化により予測残差の変換係数がゼロになる場合も考慮して、符号化映像の主観画質を推定することを目的とする。
本発明は、上記の課題を解決するために、以下の事項を提案している。
(1) 本発明は、参照画像を用いることなく映像の主観画質を推定する客観画質評価装置(例えば、図1の客観画質評価装置1に相当)であって、処理ブロックの属するスライスの符号化タイプ(例えば、図1のスライスタイプcに相当)と、当該処理ブロックの量子化スケール(例えば、図1の量子化スケールdに相当)と、当該処理ブロックにおける動きベクトル(例えば、図1の動きベクトル情報fに相当)と、当該処理ブロックの参照フレームを示す参照フレーム情報(例えば、図1の参照フレーム情報gに相当)と、を圧縮ビットストリーム(例えば、図1のビットストリームaに相当)から取得するマクロブロック層パラメータ解析手段(例えば、図1のマクロブロック層パラメータ解析部10に相当)と、量子化スケール(例えば、図1の量子化スケールiに相当)を記憶する量子化スケールバッファ(例えば、図1の量子化スケールバッファ50に相当)と、前記マクロブロック層パラメータ解析手段により取得された動きベクトルおよび参照フレーム情報で示された画素ブロックにおける量子化スケール(例えば、図1の量子化スケールnに相当)を、前記量子化スケールバッファから読み出す量子化スケール導出手段(例えば、図1の量子化スケール導出部20に相当)と、前記処理ブロックにおける予測残差の変換係数が量子化によりゼロである場合には、前記量子化スケール導出手段により読み出された量子化スケールを選択し、前記処理ブロックにおける予測残差の変換係数が量子化によりゼロではない場合には、前記マクロブロック層パラメータ解析手段により取得された量子化スケールを選択する量子化スケール選択手段(例えば、図1の量子化スケール選択部30に相当)と、前記マクロブロック層パラメータ解析手段により取得されたスライスの符号化タイプごとに、前記量子化スケール選択手段により選択された量子化スケールの統計処理を行う量子化スケール計算手段(例えば、図1の量子化スケール平均値算出部40に相当)と、前記量子化スケール計算手段による統計処理の結果に基づいて、客観評価値を算出する特徴量統合手段(例えば、図1の特徴量統合部60に相当)と、を備え、前記量子化スケールバッファは、前記量子化スケール選択手段により選択された量子化スケールを記憶することを特徴とする客観画質評価装置を提案している。
この発明によれば、圧縮ビットストリームから、処理ブロックの属するスライスの符号化タイプと、処理ブロックの量子化スケールと、処理ブロックにおける動きベクトルと、処理ブロックの参照フレームを示す参照フレーム情報と、を取得することとした。また、処理ブロックにおける予測残差の変換係数が量子化によりゼロである場合には、取得した動きベクトルおよび参照フレーム情報で示された画素ブロックにおける量子化スケールを選択して記憶し、処理ブロックにおける予測残差の変換係数が量子化によりゼロではない場合には、取得した量子化スケールを選択して記憶することとした。
このため、圧縮符号化前のベースバンド信号だけでなく、復号後のベースバンド信号も用いることなく、圧縮ビットストリーム内のパラメータ抽出と、量子化スケールの選択および記憶と、で量子化により予測残差の変換係数がゼロになる場合も考慮して、符号化映像の主観画質を推定することができる。
(2) 本発明は、(1)の客観画質評価装置について、前記量子化スケール選択手段は、前記処理ブロックにおける予測残差の変換係数が量子化によりゼロであるか否かを、前記圧縮ビットストリームに含まれるcoded block flagに基づいて判断することを特徴とする客観画質評価装置を提案している。
この発明によれば、(1)の客観画質評価装置において、処理ブロックにおける予測残差の変換係数が量子化によりゼロであるか否かを、圧縮ビットストリームに含まれるcoded block flagに基づいて判断することができる。
(3) 本発明は、(1)の客観画質評価装置について、前記量子化スケール選択手段は、前記処理ブロックにおける予測残差の変換係数が量子化によりゼロであるか否かを、当該処理ブロックが予測残差の変換係数を符号化しないブロックであるか否かに基づいて判断することを特徴とする客観画質評価装置を提案している。
この発明によれば、(1)の客観画質評価装置において、処理ブロックにおける予測残差の変換係数が量子化によりゼロであるか否かを、処理ブロックが予測残差の変換係数を符号化しないブロックであるか否かに基づいて判断することができる。
(4) 本発明は、(1)から(3)のいずれかの客観画質評価装置について、前記量子化スケール計算手段は、前記量子化スケールの統計処理として、当該量子化スケールの平均値をフレームまたはシーケンスごとに求めることを特徴とする客観画質評価装置を提案している。
この発明によれば、(1)から(3)のいずれかの客観画質評価装置において、量子化スケールの統計処理として、量子化スケールの平均値をフレームまたはシーケンスごとに求めることができる。
(5) 本発明は、(1)から(3)のいずれかの客観画質評価装置について、前記量子化スケール計算手段は、前記量子化スケールの統計処理として、当該量子化スケールの最大値または最小値を予め定められた数のフレームごとに求め、その結果の平均値をシーケンスごとに求めることを特徴とする客観画質評価装置を提案している。
この発明によれば、(1)から(3)のいずれかの客観画質評価装置において、量子化スケールの統計処理として、量子化スケールの最大値または最小値を予め定められた数のフレームごとに求め、その結果の平均値をシーケンスごとに求めることができる。
(6) 本発明は、(1)から(5)のいずれかの客観画質評価装置と、前記客観画質評価装置による主観画質の推定結果を監視する監視手段(例えば、図4の間支部2に相当)と、を備えることを特徴とする自動監視装置(例えば、図4の自動監視装置AAに相当)を提案している。
この発明によれば、(1)から(5)のいずれかの客観画質評価装置と、この客観画質評価装置による主観画質の推定結果を監視する監視手段と、を備える。このため、主観画質の推定結果の監視結果を、監視したり外部に報知したりすることができる。
(7) 本発明は、マクロブロック層パラメータ解析手段(例えば、図1のマクロブロック層パラメータ解析部10に相当)、量子化スケールバッファ(例えば、図1の量子化スケールバッファ50に相当)、量子化スケール導出手段(例えば、図1の量子化スケール導出部20に相当)、量子化スケール選択手段(例えば、図1の量子化スケール選択部30に相当)、量子化スケール計算手段(例えば、図1の量子化スケール平均値算出部40に相当)、および特徴量統合手段(例えば、図1の特徴量統合部60に相当)を備え、参照画像を用いることなく映像の主観画質を推定する客観画質評価装置(例えば、図1の客観画質評価装置1に相当)における客観画質評価方法であって、前記マクロブロック層パラメータ解析手段が、処理ブロックの属するスライスの符号化タイプ(例えば、図1のスライスタイプcに相当)と、当該処理ブロックの量子化スケール(例えば、図1の量子化スケールdに相当)と、当該処理ブロックにおける動きベクトル(例えば、図1の動きベクトル情報fに相当)と、当該処理ブロックの参照フレームを示す参照フレーム情報(例えば、図1の参照フレーム情報gに相当)と、を圧縮ビットストリーム(例えば、図1のビットストリームaに相当)から取得する第1のステップと、前記量子化スケールバッファが、量子化スケール(例えば、図1の量子化スケールiに相当)を記憶する第2のステップと、前記量子化スケール導出手段が、前記第1のステップにより取得された動きベクトルおよび参照フレーム情報で示された画素ブロックにおける量子化スケール(例えば、図1の量子化スケールnに相当)を、前記量子化スケールバッファから読み出す第3のステップと、前記量子化スケール選択手段が、前記第1のステップにより取得された量子化スケールと、前記第3のステップにより読み出された量子化スケールと、のいずれかを選択する第4のステップと、前記量子化スケール計算手段が、前記第1のステップにより取得されたスライスの符号化タイプごとに、前記第4のステップにより選択された量子化スケールの統計処理を行う第5のステップと、前記特徴量統合手段が、前記第5のステップによる統計処理の結果に基づいて、客観評価値を算出する第6のステップと、を備え、前記第2のステップでは、前記量子化スケールバッファは、前記第4のステップにより選択された量子化スケールを記憶することを特徴とする客観画質評価方法を提案している。
この発明によれば、圧縮ビットストリームから、処理ブロックの属するスライスの符号化タイプと、処理ブロックの量子化スケールと、処理ブロックにおける動きベクトルと、処理ブロックの参照フレームを示す参照フレーム情報と、を取得することとした。また、処理ブロックにおける予測残差の変換係数が量子化によりゼロである場合には、取得した動きベクトルおよび参照フレーム情報で示された画素ブロックにおける量子化スケールを選択して記憶し、処理ブロックにおける予測残差の変換係数が量子化によりゼロではない場合には、取得した量子化スケールを選択して記憶することとした。このため、上述した効果と同様の効果を奏することができる。
(8) 本発明は、マクロブロック層パラメータ解析手段(例えば、図1のマクロブロック層パラメータ解析部10に相当)、量子化スケールバッファ(例えば、図1の量子化スケールバッファ50に相当)、量子化スケール導出手段(例えば、図1の量子化スケール導出部20に相当)、量子化スケール選択手段(例えば、図1の量子化スケール選択部30に相当)、量子化スケール計算手段(例えば、図1の量子化スケール平均値算出部40に相当)、および特徴量統合手段(例えば、図1の特徴量統合部60に相当)を備え、参照画像を用いることなく映像の主観画質を推定する客観画質評価装置(例えば、図1の客観画質評価装置1に相当)における客観画質評価方法を、コンピュータに実行させるためのプログラムであって、前記マクロブロック層パラメータ解析手段が、処理ブロックの属するスライスの符号化タイプ(例えば、図1のスライスタイプcに相当)と、当該処理ブロックの量子化スケール(例えば、図1の量子化スケールdに相当)と、当該処理ブロックにおける動きベクトル(例えば、図1の動きベクトル情報fに相当)と、当該処理ブロックの参照フレームを示す参照フレーム情報(例えば、図1の参照フレーム情報gに相当)と、を圧縮ビットストリーム(例えば、図1のビットストリームaに相当)から取得する第1のステップと、前記量子化スケールバッファが、量子化スケール(例えば、図1の量子化スケールiに相当)を記憶する第2のステップと、前記量子化スケール導出手段が、前記第1のステップにより取得された動きベクトルおよび参照フレーム情報で示された画素ブロックにおける量子化スケール(例えば、図1の量子化スケールnに相当)を、前記量子化スケールバッファから読み出す第3のステップと、前記量子化スケール選択手段が、前記第1のステップにより取得された量子化スケールと、前記第3のステップにより読み出された量子化スケールと、のいずれかを選択する第4のステップと、前記量子化スケール計算手段が、前記第1のステップにより取得されたスライスの符号化タイプごとに、前記第4のステップにより選択された量子化スケールの統計処理を行う第5のステップと、前記特徴量統合手段が、前記第5のステップによる統計処理の結果に基づいて、客観評価値を算出する第6のステップと、をコンピュータに実行させ、前記第2のステップでは、前記量子化スケールバッファは、前記第4のステップにより選択された量子化スケールを記憶するためのプログラムを提案している。
この発明によれば、圧縮ビットストリームから、処理ブロックの属するスライスの符号化タイプと、処理ブロックの量子化スケールと、処理ブロックにおける動きベクトルと、処理ブロックの参照フレームを示す参照フレーム情報と、を取得することとした。また、処理ブロックにおける予測残差の変換係数が量子化によりゼロである場合には、取得した動きベクトルおよび参照フレーム情報で示された画素ブロックにおける量子化スケールを選択して記憶し、処理ブロックにおける予測残差の変換係数が量子化によりゼロではない場合には、取得した量子化スケールを選択して記憶することとした。このため、上述した効果と同様の効果を奏することができる。
本発明によれば、量子化により予測残差の変換係数がゼロになる場合も考慮して、符号化映像の主観画質を推定することができる。
本発明の第1実施形態に係る客観画質評価装置のブロック図である。 回帰分析について説明するための図である。 本発明の第2実施形態に係る客観画質評価装置のブロック図である。 本発明の第3実施形態に係る自動監視装置のブロック図である。
以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組み合せを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
<第1実施形態>
[客観画質評価装置1の構成および動作]
図1は、本発明の第1実施形態に係る客観画質評価装置1のブロック図である。客観画質評価装置1は、ベースバンド信号としての参照画像を用いることなく映像の主観画質を推定する。この客観画質評価装置1は、マクロブロック層パラメータ解析部10、量子化スケール導出部20、量子化スケール選択部30、量子化スケール平均値算出部40、量子化スケールバッファ50、および特徴量統合部60を備える。
マクロブロック層パラメータ解析部10は、圧縮符号化されたビットストリームaを入力とする。このマクロブロック層パラメータ解析部10は、ビットストリームaの復号の過程で生成される中間コード情報である符号化パラメータを、ビットストリームaから求めて出力する。上述の出力される符号化パラメータには、スライスタイプcと、量子化スケールdと、残差係数有無情報eと、動きベクトル情報fと、参照フレーム情報gと、が含まれる。
スライスタイプcは、処理ブロックの属するスライスの符号化タイプがIスライス、Pスライス、Bスライスのいずれであるかを示す。なお、SIスライスは、Iスライスと解釈し、SPスライスは、Pスライスと解釈する。
量子化スケールdは、処理ブロックの量子化スケールを示す。
残差係数有無情報eは、coded block flagとしてビットストリームaに含まれており、処理ブロックにおける予測残差の変換係数が量子化によりゼロであるか否かを示す。
動きベクトル情報fは、処理ブロックにおける動きベクトルを示す。
参照フレーム情報gは、処理ブロックの参照フレームを示し、処理ブロックが動きベクトルを有している場合に出力される。なお、処理ブロックに双予測が適用されている場合には、2つの参照フレームについての情報が、参照番号の小さい順に出力される。
量子化スケール導出部20は、動きベクトル情報fと、参照フレーム情報gと、量子化スケールバッファ50から出力される後述の量子化スケールnと、を入力とする。この量子化スケール導出部20は、まず、参照フレーム情報gで示された参照フレームに属する画素ブロックの中から、動きベクトル情報fで示される画素ブロックを求める。次に、求めた画素ブロックにおける量子化スケールを量子化スケールnとして量子化スケールバッファ50から読み出し、量子化スケールhとして出力する。
量子化スケール選択部30は、量子化スケールdと、残差係数有無情報eと、量子化スケールhと、を入力とする。この量子化スケール選択部30は、処理ブロックごとに、残差係数有無情報eに応じて量子化スケールdまたは量子化スケールhを選択し、量子化スケールiとして出力する。具体的には、処理ブロックにおける予測残差の変換係数が量子化によりゼロになり、かつ、この処理ブロックが動き補償ブロックである場合には、量子化スケールhを量子化スケールiとして選択する。一方、処理ブロックにおける予測残差の変換係数が量子化によりゼロにならない場合と、処理ブロックが動き補償ブロックではない場合と、の少なくともいずれかの場合には、量子化スケールdを量子化スケールiとして選択する。
量子化スケール平均値算出部40は、スライスタイプcと、量子化スケールiと、を入力とする。この量子化スケール平均値算出部40は、シーケンス全体における量子化スケールの平均値を、Iスライス、Pスライス、およびBスライスのそれぞれのスライスタイプごとに求める。そして、シーケンス全体のうちIスライスにおける量子化スケールの平均値を、量子化スケール平均値jとして出力する。また、シーケンス全体のうちPスライスにおける量子化スケールの平均値を、量子化スケール平均値kとして出力する。また、シーケンス全体のうちBスライスにおける量子化スケールの平均値を、量子化スケール平均値mとして出力する。
なお、上述のシーケンス全体とは、1つの動画像コンテンツの全部や、1つの動画像コンテンツの一部分や、1つ以上のフレームのことである。
量子化スケールバッファ50は、量子化スケールiを入力とする。この量子化スケールバッファ50は、入力された量子化スケールiを、量子化スケールの最小変更単位と同じブロックサイズの精度で記憶し、適宜、量子化スケールnとして量子化スケール導出部20に供給する。
特徴量統合部60は、量子化スケール平均値j、k、mを入力とする。この特徴量統合部60は、これら量子化スケール平均値j、k、mに基づいて、シーケンス全体のうちIスライスにおける量子化スケールの平均値と、シーケンス全体のうちPスライスにおける量子化スケールの平均値と、シーケンス全体のうちBスライスにおける量子化スケールの平均値と、を統合して、客観評価尺度Qobjを算出し、統合品質情報bとして出力する。なお、客観評価値Qobjの算出には、以下の数式(1)を用いる。
Figure 0006087779
数式(1)において、αQは、量子化スケール平均値jにより求めることのできるシーケンス全体のうちIスライスにおける量子化スケールの平均値のことである。また、αQは、量子化スケール平均値kにより求めることのできるシーケンス全体のうちPスライスにおける量子化スケールの平均値のことである。また、αQは、量子化スケール平均値mにより求めることのできるシーケンス全体のうちBスライスにおける量子化スケールの平均値のことである。
また、数式(1)において、f()は、予め定められた関数のことである。このf()には、評価対象の画像フォーマットや符号化方式や符号化ビットレートなどの条件に応じて、客観評価値Qobjと主観評価値との相関が最大になる関数が選ばれる。f()に選ばれる関数の一例を、以下の数式(2)および数式(3)に示す。
Figure 0006087779
Figure 0006087779
数式(2)および数式(3)において、w、w、wは、重み係数のことである。また、数式(3)において、γ1、γ2は、べき指数のことである。数式(2)におけるw、w、wや、数式(3)におけるw、w、w、γ1、γ2は、客観評価値Qobjと主観評価値との相関が最大になるように予め設定される。客観評価値Qobjと主観評価値との相関は、複数の評価映像を用いて得られた客観評価値の系列および主観評価値の系列を、回帰分析することによって求めることができる。この回帰分析について、図2を用いて以下に説明する。
図2において、縦軸は、主観評価値を示し、横軸は、客観評価値を示す。複数の評価映像のそれぞれについて、評価映像を用いることで得られた客観評価値と主観評価値とを求め、これらを図2に示すようにプロットすると、これら客観評価値と主観評価値との関係は、回帰曲線で近似することができる。回帰曲線には、一次関数だけでなく、高次多項式やロジスティック関数などの非線形関数も適用できる。客観画質評価の目的は、主観画質の推定であり、回帰曲線による近似の精度が高くなるに従って、すなわち図2のグラフ上の各プロット点と回帰曲線との距離が近くなるに従って、主観画質の推定精度が高くなる。
以上の客観画質評価装置1によれば、以下の効果を奏することができる。
客観画質評価装置1は、ビットストリームaから、処理ブロックの属するスライスの符号化タイプを示すスライスタイプcと、処理ブロックの量子化スケールdと、処理ブロックにおける予測残差の変換係数が量子化によりゼロであるか否かを示す残差係数有無情報eと、処理ブロックにおける動きベクトル情報fと、処理ブロックの参照フレームを示す参照フレーム情報gと、を取得する。また、残差係数有無情報eに基づいて、処理ブロックにおける予測残差の変換係数が量子化によりゼロである場合には、動きベクトル情報fおよび参照フレーム情報gで示された画素ブロックにおける量子化スケールnを選択して記憶し、処理ブロックにおける予測残差の変換係数が量子化によりゼロではない場合には、量子化スケールdを選択して記憶する。
このため、圧縮符号化前のベースバンド信号だけでなく、復号後のベースバンド信号も用いることなく、ビットストリームa内のパラメータ抽出と、量子化スケールの選択および記憶と、で量子化により予測残差の変換係数がゼロになる場合も考慮して、符号化映像の主観画質を推定することができる。
また、客観画質評価装置1は、処理ブロックにおける予測残差の変換係数が量子化によりゼロであるか否かを、圧縮ビットストリームに含まれるcoded block flagに基づいて判断することができる。
また、客観画質評価装置1は、量子化スケールの平均値を、シーケンスおよびスライスタイプごとに求めることができる。
<第2実施形態>
[客観画質評価装置1Aの構成および動作]
図3は、本発明の第2実施形態に係る客観画質評価装置1Aのブロック図である。客観画質評価装置1Aは、図1に示した本発明の第1実施形態に係る客観画質評価装置1とは、マクロブロック層パラメータ解析部10の代わりにマクロブロック層パラメータ解析部10Aを備える点と、特徴量統合部60の代わりに特徴量統合部60Aを備える点と、空間的劣化特徴量計算部70および時間的劣化特徴量計算部80を備える点と、が異なる。なお、客観画質評価装置1Aにおいて、客観画質評価装置1と同一構成要件については、同一符号を付し、その説明を省略する。
マクロブロック層パラメータ解析部10Aは、圧縮符号化されたビットストリームaを入力とする。このマクロブロック層パラメータ解析部10Aは、ビットストリームaの復号の過程で生成される中間コード情報である符号化パラメータを、ビットストリームaから求めて出力する。上述の出力される符号化パラメータには、スライスタイプcと、量子化スケールdと、残差係数有無情報eと、動きベクトル情報fと、参照フレーム情報gと、に加えて、直交変換係数pが含まれる。
直交変換係数pは、処理ブロック内の各直交変換ブロック内の直交変換係数を示す。
空間的劣化特徴量計算部70は、直交変換係数pを入力とする。この空間的劣化特徴量計算部70は、直交変換係数pを用いて処理ブロック内の空間的劣化特徴量を求め、空間的劣化特徴量qとして出力する。
空間的劣化特徴量とは、復号画像上のブロック歪の視覚的な認識程度を示す指標のことである。ブロック歪は、MPEG-2やH.264などのブロック単位で処理を行う圧縮符号化形式において発生する画質劣化の要因の1つであり、ブロック歪による画質劣化と、主観画質の劣化と、の間には高い相関があると考えられる。このブロック歪は、画素ブロックの境界で信号値が大きく変化することによって発生し、ブロック間の直流成分が大きく変化している場合に視覚的に目立つようになる。
そこで、本実施形態では、空間的劣化特徴量計算部70は、特許文献3に示されている空間的劣化特徴量計算部と同様に、隣接する8×8画素ブロック間の直流成分の差分二乗平均値により、空間的劣化特徴量を定義する。
時間的劣化特徴量計算部80は、参照フレーム情報gと、直交変換係数pと、を入力とする。この時間的劣化特徴量計算部80は、参照フレーム情報gおよび直交変換係数pを用いて時間的劣化特徴量を求め、時間的劣化特徴量rとして出力する。
時間的劣化特徴量とは、復号画像上のフリッカ妨害の視覚的な認識程度を示す指標のことである。フリッカ妨害は、動き補償予測符号化のイントラフレーム挿入の周期ごとに大きな品質変動がある場合などに検知される劣化であり、連続するフレーム間での輝度変化が急激に発生することによって知覚される。このフリッカ妨害による画質劣化と、主観画質の劣化と、の間にも高い相関があると考えられる。
そこで、本実施形態では、時間的劣化特徴量計算部80は、特許文献3に示されている時間的劣化特徴量計算部と同様に、処理ブロック内の時間的な輝度値の変化を捉えるために、各画素ブロックにおける輝度のフレーム間差分を時間的劣化特徴量として定義する。
特徴量統合部60Aは、量子化スケール平均値j、k、mに加えて、空間的劣化特徴量qと、時間的劣化特徴量rと、を入力とする。この特徴量統合部60Aは、これら量子化スケール平均値j、k、mと空間的劣化特徴量qと時間的劣化特徴量rとに基づいて、シーケンス全体のうちIスライスにおける量子化スケールの平均値と、シーケンス全体のうちPスライスにおける量子化スケールの平均値と、シーケンス全体のうちBスライスにおける量子化スケールの平均値と、空間的劣化特徴量および時間的劣化特徴量と、を統合して、客観評価尺度Qobjを算出し、統合品質情報bとして出力する。なお、客観評価値Qobjの算出には、以下の数式(4)を用いる。
Figure 0006087779
数式(4)において、SIは、空間的劣化特徴量のことであり、TIは、時間的劣化特徴量のことである。
また、数式(4)におけるf()に選ばれる関数の一例を、以下の数式(5)および数式(6)に示す。
Figure 0006087779
Figure 0006087779
以上の客観画質評価装置1Aによれば、客観画質評価装置1が奏することのできる上述の効果に加えて、以下の効果を奏することができる。
客観画質評価装置1Aは、符号化映像の主観画質の推定に、空間的劣化特徴量および時間的劣化特徴量を用いる。このため、符号化映像の主観画質の推定精度をさらに向上することができる。
<第3実施形態>
[自動監視装置AAの構成および動作]
図4は、本発明の第3実施形態に係る自動監視装置AAのブロック図である。自動監視装置AAは、ベースバンド信号としての参照画像を用いることなく映像の主観画質を推定して、映像品質の自動監視を行う。この自動監視装置AAは、図1に示した本発明の第1実施形態に係る客観画質評価装置1と、監視部2と、を備える。
監視部2は、客観画質評価装置1により求められた客観評価尺度Qobjを監視する。具体的には、監視部2は、客観画質評価装置1により求められた客観評価尺度Qobjを、図示しない記憶部に記憶させる。また、この客観評価尺度Qobjに基づいて、映像品質が予め定められた品質より悪いか否かを判別し、悪いと判別した場合には、その旨を外部に報知する。
以上の自動監視装置AAによれば、客観画質評価装置1が奏することのできる上述の効果に加えて、以下の効果を奏することができる。
自動監視装置AAは、映像品質が予め定められた品質より悪い場合に、その旨を外部に報知することができる。
なお、本発明の客観画質評価装置1、1Aや自動監視装置AAの処理を、コンピュータ読み取り可能な非一時的な記録媒体に記録し、この記録媒体に記録されたプログラムを客観画質評価装置1、1Aや自動監視装置AAに読み込ませ、実行することによって、本発明を実現できる。
ここで、上述の記録媒体には、例えば、EPROMやフラッシュメモリといった不揮発性のメモリ、ハードディスクといった磁気ディスク、CD−ROMなどを適用できる。また、この記録媒体に記録されたプログラムの読み込みおよび実行は、客観画質評価装置1、1Aや自動監視装置AAに設けられたプロセッサによって行われる。
また、上述のプログラムは、このプログラムを記憶装置などに格納した客観画質評価装置1、1Aや自動監視装置AAから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク(通信網)や電話回線などの通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能を客観画質評価装置1、1Aや自動監視装置AAにすでに記録されているプログラムとの組み合せで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。
例えば、上述の第1実施形態では、量子化スケール平均値算出部40は、シーケンス全体における量子化スケールの平均値をスライスタイプごとに求めるものとした。しかし、これに限らず、例えば、シーケンス全体における量子化スケールの移動平均や、最大値や、最小値や、幾何学平均などを求めるものとしてもよい。また、シーケンス全体における量子化スケールではなく、予め定められた数のフレームごとに、上述のように平均値や移動平均などを求めるものとしてもよい。また、量子化スケールの最大値または最小値を予め定められた数のフレームごとに求め、その結果の平均値をシーケンスごとに求めるものとしてもよい。
また、上述の各実施形態では、処理ブロックにおける予測残差の変換係数が量子化によりゼロであるか否かを、圧縮ビットストリームに含まれるcoded block flagに基づいて判断するものとした。しかし、これに限らず、例えば、処理ブロックにおける予測残差の変換係数が量子化によりゼロであるか否かを、処理ブロックが予測残差の変換係数を符号化しないブロックであるか否かに基づいて判断してもよい。
また、上述の第2実施形態では、客観画質評価装置1Aは、空間的劣化特徴量計算部70および時間的劣化特徴量計算部80を備えるものとしたが、これに限らず、例えば、空間的劣化特徴量計算部70および時間的劣化特徴量計算部80のうちいずれか一方を備えるものとしてもよい。
1、1A・・・客観画質評価装置
2・・・監視部
10、10A・・・マクロブロック層パラメータ解析部
20・・・量子化スケール導出部
30・・・量子化スケール選択部
40・・・量子化スケール平均値算出部
50・・・量子化スケールバッファ
60、60A・・・特徴量統合部
70・・・空間的劣化特徴量計算部
80・・・時間的劣化特徴量計算部
AA・・・自動監視装置

Claims (8)

  1. 参照画像を用いることなく映像の主観画質を推定する客観画質評価装置であって、
    処理ブロックの属するスライスの符号化タイプと、当該処理ブロックの量子化スケールと、当該処理ブロックにおける動きベクトルと、当該処理ブロックの参照フレームを示す参照フレーム情報と、を圧縮ビットストリームから取得するマクロブロック層パラメータ解析手段と、
    量子化スケールを記憶する量子化スケールバッファと、
    前記マクロブロック層パラメータ解析手段により取得された動きベクトルおよび参照フレーム情報で示された画素ブロックにおける量子化スケールを、前記量子化スケールバッファから読み出す量子化スケール導出手段と、
    前記処理ブロックにおける予測残差の変換係数が量子化によりゼロである場合には、前記量子化スケール導出手段により読み出された量子化スケールを選択し、前記処理ブロックにおける予測残差の変換係数が量子化によりゼロではない場合には、前記マクロブロック層パラメータ解析手段により取得された量子化スケールを選択する量子化スケール選択手段と、
    前記マクロブロック層パラメータ解析手段により取得されたスライスの符号化タイプごとに、前記量子化スケール選択手段により選択された量子化スケールの統計処理を行う量子化スケール計算手段と、
    前記量子化スケール計算手段による統計処理の結果に基づいて、客観評価値を算出する特徴量統合手段と、を備え、
    前記量子化スケールバッファは、前記量子化スケール選択手段により選択された量子化スケールを記憶することを特徴とする客観画質評価装置。
  2. 前記量子化スケール選択手段は、前記処理ブロックにおける予測残差の変換係数が量子化によりゼロであるか否かを、前記圧縮ビットストリームに含まれるcoded block flagに基づいて判断することを特徴とする請求項1に記載の客観画質評価装置。
  3. 前記量子化スケール選択手段は、前記処理ブロックにおける予測残差の変換係数が量子化によりゼロであるか否かを、当該処理ブロックが予測残差の変換係数を符号化しないブロックであるか否かに基づいて判断することを特徴とする請求項1に記載の客観画質評価装置。
  4. 前記量子化スケール計算手段は、前記量子化スケールの統計処理として、当該量子化スケールの平均値をフレームまたはシーケンスごとに求めることを特徴とする請求項1から3のいずれかに記載の客観画質評価装置。
  5. 前記量子化スケール計算手段は、前記量子化スケールの統計処理として、当該量子化スケールの最大値または最小値を予め定められた数のフレームごとに求め、その結果の平均値をシーケンスごとに求めることを特徴とする請求項1から3のいずれかに記載の客観画質評価装置。
  6. 請求項1から5のいずれかに記載の客観画質評価装置と、
    前記客観画質評価装置による主観画質の推定結果を監視する監視手段と、を備えることを特徴とする自動監視装置。
  7. マクロブロック層パラメータ解析手段、量子化スケールバッファ、量子化スケール導出手段、量子化スケール選択手段、量子化スケール計算手段、および特徴量統合手段を備え、参照画像を用いることなく映像の主観画質を推定する客観画質評価装置における客観画質評価方法であって、
    前記マクロブロック層パラメータ解析手段が、処理ブロックの属するスライスの符号化タイプと、当該処理ブロックの量子化スケールと、当該処理ブロックにおける動きベクトルと、当該処理ブロックの参照フレームを示す参照フレーム情報と、を圧縮ビットストリームから取得する第1のステップと、
    前記量子化スケールバッファが、量子化スケールを記憶する第2のステップと、
    前記量子化スケール導出手段が、前記第1のステップにより取得された動きベクトルおよび参照フレーム情報で示された画素ブロックにおける量子化スケールを、前記量子化スケールバッファから読み出す第3のステップと、
    前記量子化スケール選択手段が、前記処理ブロックにおける予測残差の変換係数が量子化によりゼロである場合には、前記量子化スケール導出手段により読み出された量子化スケールを選択し、前記処理ブロックにおける予測残差の変換係数が量子化によりゼロではない場合には、前記マクロブロック層パラメータ解析手段により取得された量子化スケールを選択する第4のステップと、
    前記量子化スケール計算手段が、前記第1のステップにより取得されたスライスの符号化タイプごとに、前記第4のステップにより選択された量子化スケールの統計処理を行う第5のステップと、
    前記特徴量統合手段が、前記第5のステップによる統計処理の結果に基づいて、客観評価値を算出する第6のステップと、を備え、
    前記第2のステップでは、前記量子化スケールバッファは、前記第4のステップにより選択された量子化スケールを記憶することを特徴とする客観画質評価方法。
  8. マクロブロック層パラメータ解析手段、量子化スケールバッファ、量子化スケール導出手段、量子化スケール選択手段、量子化スケール計算手段、および特徴量統合手段を備え、参照画像を用いることなく映像の主観画質を推定する客観画質評価装置における客観画質評価方法を、コンピュータに実行させるためのプログラムであって、
    前記マクロブロック層パラメータ解析手段が、処理ブロックの属するスライスの符号化タイプと、当該処理ブロックの量子化スケールと、当該処理ブロックにおける動きベクトルと、当該処理ブロックの参照フレームを示す参照フレーム情報と、を圧縮ビットストリームから取得する第1のステップと、
    前記量子化スケールバッファが、量子化スケールを記憶する第2のステップと、
    前記量子化スケール導出手段が、前記第1のステップにより取得された動きベクトルおよび参照フレーム情報で示された画素ブロックにおける量子化スケールを、前記量子化スケールバッファから読み出す第3のステップと、
    前記量子化スケール選択手段が、前記処理ブロックにおける予測残差の変換係数が量子化によりゼロである場合には、前記量子化スケール導出手段により読み出された量子化スケールを選択し、前記処理ブロックにおける予測残差の変換係数が量子化によりゼロではない場合には、前記マクロブロック層パラメータ解析手段により取得された量子化スケールを選択する第4のステップと、
    前記量子化スケール計算手段が、前記第1のステップにより取得されたスライスの符号化タイプごとに、前記第4のステップにより選択された量子化スケールの統計処理を行う第5のステップと、
    前記特徴量統合手段が、前記第5のステップによる統計処理の結果に基づいて、客観評価値を算出する第6のステップと、を備え、
    前記第2のステップでは、前記量子化スケールバッファは、前記第4のステップにより選択された量子化スケールを記憶するためのプログラム。
JP2013205132A 2013-09-30 2013-09-30 客観画質評価装置、自動監視装置、客観画質評価方法、およびプログラム Active JP6087779B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013205132A JP6087779B2 (ja) 2013-09-30 2013-09-30 客観画質評価装置、自動監視装置、客観画質評価方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013205132A JP6087779B2 (ja) 2013-09-30 2013-09-30 客観画質評価装置、自動監視装置、客観画質評価方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2015070539A JP2015070539A (ja) 2015-04-13
JP6087779B2 true JP6087779B2 (ja) 2017-03-01

Family

ID=52836804

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013205132A Active JP6087779B2 (ja) 2013-09-30 2013-09-30 客観画質評価装置、自動監視装置、客観画質評価方法、およびプログラム

Country Status (1)

Country Link
JP (1) JP6087779B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102521881B1 (ko) 2016-06-15 2023-04-18 삼성전자주식회사 반도체 소자 및 이의 제조 방법
CN116600119B (zh) * 2023-07-18 2023-11-03 腾讯科技(深圳)有限公司 视频编码、解码方法、装置、计算机设备和存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6810083B2 (en) * 2001-11-16 2004-10-26 Koninklijke Philips Electronics N.V. Method and system for estimating objective quality of compressed video data
JP3925866B2 (ja) * 2003-11-07 2007-06-06 日本放送協会 映像品質測定装置及び映像品質測定プログラム
JP5484140B2 (ja) * 2010-03-17 2014-05-07 Kddi株式会社 映像品質の客観画質評価装置

Also Published As

Publication number Publication date
JP2015070539A (ja) 2015-04-13

Similar Documents

Publication Publication Date Title
JP5484140B2 (ja) 映像品質の客観画質評価装置
Hanhart et al. Calculation of average coding efficiency based on subjective quality scores
US20140321552A1 (en) Optimization of Deblocking Filter Parameters
US11743475B2 (en) Advanced video coding method, system, apparatus, and storage medium
JP2013102471A (ja) アーチファクト評価による向上した画像/ビデオ品質
KR20120116936A (ko) 영상 블록 코딩 및 재구성 방법
KR20070096736A (ko) 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
US20100303364A1 (en) Image quality evaluation method, image quality evaluation system and image quality evaluation program
EP2536148A1 (en) Predictive coding method for motion vector, predictive decoding method for motion vector, video coding device, video decoding device, and programs therefor
EP2536147A1 (en) Predictive coding method for motion vector, predictive decoding method for motion vector, video coding device, video decoding device, and programs therefor
US20130195206A1 (en) Video coding using eye tracking maps
EP3038370A1 (en) Devices and method for video compression and reconstruction
JP5013487B2 (ja) 映像の客観画質評価装置
JP6087779B2 (ja) 客観画質評価装置、自動監視装置、客観画質評価方法、およびプログラム
JP6145069B2 (ja) 主観画質推定装置及び主観画質推定プログラム
JP6373681B2 (ja) 客観画質評価装置、客観画質評価方法、およびプログラム
KR102257016B1 (ko) 무기준 화질 평가 방법 및 장치
JP6253944B2 (ja) 客観画質評価装置、客観画質評価方法、およびプログラム
Jung Comparison of video quality assessment methods
JP2012029213A (ja) 動画像符号化装置
JP4384629B2 (ja) 符号化誤差測定装置および符号化誤差測定プログラム
Nia Explore Cross-Codec Quality-Rate Convex Hulls Relation for Adaptive Streaming
Zhao et al. MATHEMATICAL MODELS FOR QUALITY ANALYSIS OF MOBILE VIDEO.
CN115731133A (zh) 一种图像滤波方法、装置、电子设备及存储介质
KR20100051505A (ko) 휘도 분포도 및 색차 분포도를 이용한 무기준법 화질 왜곡 추정 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161101

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161115

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170202

R150 Certificate of patent or registration of utility model

Ref document number: 6087779

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150