JP6517342B2 - 配信レート選択装置、配信レート選択方法、及びプログラム - Google Patents

配信レート選択装置、配信レート選択方法、及びプログラム Download PDF

Info

Publication number
JP6517342B2
JP6517342B2 JP2017531072A JP2017531072A JP6517342B2 JP 6517342 B2 JP6517342 B2 JP 6517342B2 JP 2017531072 A JP2017531072 A JP 2017531072A JP 2017531072 A JP2017531072 A JP 2017531072A JP 6517342 B2 JP6517342 B2 JP 6517342B2
Authority
JP
Japan
Prior art keywords
user
rate
video
image quality
absence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017531072A
Other languages
English (en)
Other versions
JPWO2017018072A1 (ja
Inventor
拓人 木村
拓人 木村
将裕 横田
将裕 横田
西松　研
研 西松
山本　浩司
浩司 山本
恵 竹下
恵 竹下
一道 佐藤
一道 佐藤
太一 河野
太一 河野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2017018072A1 publication Critical patent/JPWO2017018072A1/ja
Application granted granted Critical
Publication of JP6517342B2 publication Critical patent/JP6517342B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2407—Monitoring of transmitted content, e.g. distribution time, number of downloads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Graphics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、映像配信サービスを利用するユーザにおける品質劣化への感じ方が異なるという特性を利用して、配信レートの選択を行うための技術に関連するものである。
近年、ネットワークを介した映像配信サービスが普及しており、特にプログレッシブダウンロード型（ＰＤＬ型）と呼ばれる配信方式が広く使われている。ＰＤＬ型の映像配信において、サーバ側では映像データをチャンクと呼ばれる小さな塊に分割して配信しており、クライアント側ではチャンクをダウンロードしながら随時再生を行っている。この時、サーバは元の映像データをいくつかの符号化レートでエンコードしたデータを蓄積していることが多く、クライアントは再生開始時及び再生中に、次に要求するチャンクの符号化レートを選択することができる。
符号化レート選択時には、高いレートを選択すると映像が高精細になるが、１チャンクあたりのデータ量が大きくなるため、再生が停止する可能性が高くなる。一方で、低いレートを選択すると映像は劣化してしまうが、１チャンクあたりのデータ量は少なくなるため、再生が停止する可能性は低くなる。つまり、符号化レートと再生停止の間にはトレードオフの関係があり、そのバランスを上手く保ったレート選択方式を確立する必要がある。しかし、最適なレート選択方式は自明ではない。
なお、符号化レートは、映像を１秒あたり何ビットで符号化するかを示す値であり、これは、符号化データを配信する配信レートと同義と考えてよい。また、符号化レート／配信レートをビットレートと称してもよい。
このような課題に対して、ユーザ体感品質（ＱｏＥ）に着目した符号化レート選択方式が提案されている（非特許文献１）。この方式は、過去のネットワーク品質情報からアプリケーション品質及びＱｏＥを推定するモデルを利用し、最もＱｏＥが高くなるように配信レートを決定する。そして、ネットワークからサービス事業者に対して、配信レートの推薦を行う。
従来技術で利用しているＱｏＥ推定モデルは、平均的なユーザがどのように感じるかを示す値であり、ユーザが個別に持っている特性は加味されていない。
例えば、再生停止に対して敏感なユーザＡと画質劣化に対して敏感なユーザＢが同時に存在する状況を考える。この時、従来技術を用いた配信レート選択を行うと、同じネットワーク品質であればユーザＡ、Ｂ双方に対して同じ符号化レートを選択してしまう。しかし、ユーザの特性を考えると、ユーザＡに対してはより小さな符号化レートを選択することで再生停止を回避し、ユーザＢに対しては、より大きな符号化レートを選択することで、より高精細な映像を配信することが望ましい。つまり、既存の制御では、ユーザにとって最適な制御となっていないという課題が存在する。
本発明は上記の点に鑑みてなされたものであり、映像配信サービスにおいて、ユーザ個別の特性に応じた符号化レートの選択を行うことを可能とする技術を提供することを目的とする。
本発明の実施の形態によれば、映像配信サービスにおいて映像配信サーバからクライアントに映像配信を行う際の配信レートを選択するための配信レート選択装置であって、
ユーザ毎の再生停止耐性の有無、及びユーザ毎の画質劣化耐性の有無を含むユーザ特徴を記憶したユーザ特徴記憶部と、
あるユーザに対するある映像の配信に関する配信レートの問い合わせを受信した場合に、当該ユーザの再生停止耐性の有無、及び当該ユーザの画質劣化耐性の有無を前記ユーザ特徴記憶部から取得し、当該再生停止耐性の有無、及び当該画質劣化耐性の有無の組み合わせに応じた符号化レートを、前記映像の複数の符号化レートの中から選択し、選択した符号化レートを前記配信レートとして問い合わせ元に返す配信レート計算手段と
を備えることを特徴とする配信レート選択装置が提供される。
また、本発明の実施の形態によれば、映像配信サービスにおいて映像配信サーバからクライアントに映像配信を行う際の配信レートを選択するための配信レート選択装置が実行する配信レート選択方法であって、
前記配信レート選択装置は、ユーザ毎の再生停止耐性の有無、及びユーザ毎の画質劣化耐性の有無を含むユーザ特徴を記憶したユーザ特徴記憶部を備えており、
あるユーザに対するある映像の配信に関する配信レートの問い合わせを受信するステップと、
当該ユーザの再生停止耐性の有無、及び当該ユーザの画質劣化耐性の有無を前記ユーザ特徴記憶部から取得するステップと、
当該再生停止耐性の有無、及び当該画質劣化耐性の有無の組み合わせに応じた符号化レートを、前記映像の複数の符号化レートの中から選択し、選択した符号化レートを前記配信レートとして問い合わせ元に返すステップと
を備えることを特徴とする配信レート選択方法が提供される。
本発明の実施の形態によれば、映像配信サービスにおいて、ユーザ個別の特性に応じた符号化レートの選択を行うことを可能とする技術が提供される。
本発明の実施の形態に係る配信レート選択装置の構成図である。 本発明の実施の形態に係る配信レート選択装置のハードウェア構成例である。 ユーザ特徴計算部２００の構成図である。 配信レート計算部４００の構成図である。 視聴履歴データベース１００に格納されるデータ例を示す図である。 ユーザ特徴データベース３００に格納されるデータ例を示す図である。 ユーザ特徴の計算手順を示すフローチャートである。 画質劣化耐久度の計算を説明するための図である。 配信レートの計算手順を示すフローチャートである。
以下、図面を参照して本発明の実施の形態を説明する。なお、以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。
（配信レート選択装置の全体構成）
図１に、ＰＤＬ型の映像配信サービスにおいて映像配信サーバからクライアントに映像配信を行う際の配信レートを選択する配信レート選択装置の全体構成例を示す。図１に示すように、本実施の形態の配信レート選択装置は、視聴履歴データベース１００、ユーザ特徴計算部２００、ユーザ特徴データベース３００、配信レート計算部４００を有する。各機能部の概要は以下のとおりである。
視聴履歴データベース１００には、ユーザ毎の視聴履歴が格納されている。図５に、視聴履歴データベース１００に格納されるデータ例を示す。図５に示すように、視聴履歴データベース１００には、ユーザｉｄ毎に、視聴時刻、動画長、視聴時間、ビットレート、再生停止回数が格納される。図５に示すデータは例に過ぎない。視聴履歴データベース１００には、ユーザ特徴計算、配信レート計算を行うために必要なデータであればどのような形式でデータが格納されていてもよい。なお、本実施の形態における「データベース」は、「記憶部」と称してもよい。
視聴履歴データベース１００に格納する視聴履歴の取得方法は特定の方法に限定されないが、例えば、映像を視聴する各ユーザ端末と映像配信サーバとの間のネットワーク上でパケットをキャプチャし、パケットを解析することで視聴履歴（再生状態、停止状態）を推定することとしてもよいし、各ユーザ端末から直接的に視聴履歴を取得することとしてもよい。
図５のデータ例において、各レコードは、あるユーザのあるビットレートでの視聴履歴を示している。「視聴時刻」は視聴の開始時刻であり、「映像長」は、ユーザが視聴した映像の時間長であり、例えば、当該レコードにおける映像データを構成する全チャンクの再生時間長の合計である。「視聴時間」は、当該映像をユーザが視聴した時間長（停止期間を含む）である。「ビットレート」は符号化レートである。「再生停止回数」は、再生停止状態となった回数である。
図１の視聴履歴データベース１００は、ユーザ特徴計算部２００からの問い合わせに対して応答するように構成されている。ユーザ特徴計算部２００は、視聴履歴データベース１００から取得したデータに基づきユーザ特徴を計算し、計算結果をユーザ特徴データベース３００に書き込む。
図６に、ユーザ特徴データベース３００に格納されるデータ例を示す。図６に示すように、ユーザ特徴データベース３００には、ユーザｉｄ毎に、再生停止耐性、画質劣化耐性、高画質基準が格納される。再生停止耐性と画質劣化耐性はそれぞれ有と無で表わされ、有がＴ、無がＦで示されている。また、高画質基準は整数値である。ユーザ特徴の詳細については後述する。
図１の配信レート計算部４００は、配信レートの問い合わせ（ユーザ情報、映像情報）を受信したときに、ユーザ特徴データベース３００からユーザ特徴を取得し、ユーザ特徴に基づき符号化レートを選択し、当該符号化レートを配信レートとして問い合わせ元に返す。
本実施の形態の配信レート選択装置におけるユーザ特徴計算部２００及び配信レート計算部４００は、例えば、１つ又は複数のコンピュータに、本実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。すなわち、当該機能部が有する機能は、コンピュータに内蔵されるＣＰＵやメモリなどのハードウェア資源を用いて、当該機能部で実施される処理に対応するプログラムを実行することによって実現することが可能である。上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
図２は、配信レート選択装置をコンピュータで実現する場合における当該配信レート選択装置のハードウェア構成例を示す図である。図２の配信レート選択装置は、それぞれバスＢで相互に接続されているドライブ装置１５０、補助記憶装置１５２、メモリ装置１５３、ＣＰＵ１５４、インタフェース装置１５５、表示装置１５６、及び入力装置１５７等を有する。
配信レート選択装置での処理を実現するプログラムは、例えば、ＣＤ−ＲＯＭ又はメモリカード等の記録媒体１５１によって提供される。プログラムを記憶した記録媒体１５１がドライブ装置１５０にセットされると、プログラムが記録媒体１５１からドライブ装置１５０を介して補助記憶装置１５２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１５１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１５２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
メモリ装置１５３は、プログラムの起動指示があった場合に、補助記憶装置１５２からプログラムを読み出して格納する。ＣＰＵ１５４は、メモリ装置１５３に格納されたプログラムに従って配信レート選択装置に係る機能を実現する。インタフェース装置１５５は、ネットワークに接続するためのインタフェースとして用いられる。表示装置１５６はプログラムによるＧＵＩ（Graphical User Interface）等を表示する。入力装置１５７はキーボード及びマウス、ボタン、又はタッチパネル等で構成され、様々な操作指示を入力させるために用いられる。
なお、図２は、ユーザ特徴計算部２００をコンピュータで構成する場合におけるユーザ特徴計算部２００のハードウェア構成例を示す図でもある。また、図２は、配信レート計算部４００をコンピュータで構成する場合における配信レート計算部４００のハードウェア構成例を示す図でもある。
また、配信レート選択装置における視聴履歴データベース１００とユーザ特徴データベースのいずれか又は両方は、配信レート選択装置の外部に備えられることとしてもよい。ただし、この場合でも、視聴履歴データベース１００とユーザ特徴データベースを含む構成全体を配信レート選択装置と称してもよい。
以下、ユーザ特徴計算部２００、及び配信レート計算部４００の内部構成を説明する。
（ユーザ特徴計算部２００の構成）
図３は、ユーザ特徴計算部２００の構成図である。図３に示すように、ユーザ特徴計算部２００は、ユーザ特徴計算ユニット２０１、再生停止耐性計算ユニット２０２、画質劣化耐性計算ユニット２０３、高画質基準計算ユニット２０４を有する。図示のとおり、ユニット２０２〜２０４は、視聴履歴データベース１００、ユーザ特徴計算ユニット２０１とそれぞれ接続されている。各ユニットの処理の詳細については後述する。
（配信レート計算部４００の構成）
図４は、配信レート計算部４００の構成図である。図４に示すように、配信レート計算部４００は、配信レート計算振り分けユニット４０１、ユーザ別高画質基準レート選択ユニット４０２、低画質レート選択ユニット４０３、無停止レート選択ユニット４０４、ＱｏＥ最大レート選択ユニット４０５を有する。
図４に示す配信レート計算部４００において、配信レート計算振り分けユニット４０１が配信レートの問い合わせを受信すると、ユニット４０２〜４０５のうちのいずれかのユニットに計算を振り分け、当該ユニットによって計算された符号化レートが配信レートとして問い合わせ元に返される。各ユニットの処理の詳細については後述する。
以下、本実施の形態における配信レート計算装置の動作を詳細に説明する。配信レート計算装置の動作には、ユーザ特徴計算部２００が実行するユーザ特徴の計算と、配信レート計算部４００が実行する配信レートの計算があり、それぞれについて詳細に説明する。
（ユーザ特徴の計算）
まず、ユーザ特徴の計算について説明する。ユーザ特徴計算部２００は、タイマー等を用いることにより、ユーザ特徴の計算を、例えば１週間おきに行う。ユーザ特徴の計算は、図７のフローチャートに示す手順で行われる。以下、図７に示す手順に沿って、ユーザ特徴計算部２００（図２の構成）が実行するユーザ特徴の計算について説明する。なお、図７に示すステップＳ１０１〜Ｓ１０３の順番は一例であり、どの順番で処理を実行してもよい。また、並行して各ステップの処理を実行してもよい。
タイマーによりユーザ特徴計算ユニット２０１が起動すると、ユーザ特徴計算ユニット２０１は２０２〜２０４の各ユニットに対してそれぞれの計算を行うよう指示する。
＜ステップＳ１０１：再生停止耐性の有無の計算＞
ステップＳ１０１において、再生停止耐性計算ユニット２０２が、ユーザ毎の再生停止耐性の有無の計算を実行する。ここでは、再生停止耐性計算ユニット２０２は、まず視聴履歴データベース１００に接続し、あるユーザに関する視聴履歴を取得する。前述したように、取得した視聴履歴の各レコードは、一例として、ユーザｉｄ、視聴時刻、映像長、視聴時間、ビットレート、再生停止回数を含む。
次に、再生停止耐性計算ユニット２０２は、当該ユーザの視聴履歴に基づき、視聴間隔が閾値Ｔｈ以下の視聴を連続視聴としてまとめる。例えば、当該ユーザに関して、視聴履歴として複数のレコードのデータが得られた場合に、あるレコードの視聴終了時刻から閾値Ｔｈ以下の時間を加えた時刻が視聴開始時刻となっているレコードを連続視聴としてまとめる。更に連続するものがあれば連続視聴としてまとめる。一般に、複数個の「連続視聴」が得られる。
次に、再生停止耐性計算ユニット２０２は、各連続視聴における最後の視聴（最後の時刻のレコードにおける視聴）が、どのくらいの割合で停止（中止）しているかを計算する。当該レコードにおいて視聴が停止していることは、例えば、当該レコードにおいて、映像長よりも視聴時間が短いことにより判定できる。例えば、１０回の連続視聴の中で、２回の連続視聴において最後の視聴が停止しているとすると、停止の割合として０．２が得られる。
上記の割合を再生停止耐久度と呼ぶ。次に、再生停止計算ユニット２０２は、再生停止耐久度と予め定めた閾値Ｔｓとを比較し、再生停止耐久度が閾値Ｔｓ未満である場合に、当該ユーザを再生停止耐性を有するユーザであると判定し、再生停止耐久度が閾値Ｔｓ以上である場合、当該ユーザを再生停止耐性を有しないユーザであると判定する。すなわち、映像視聴中に一時的に再生停止が起こったときに、その再生停止に耐えかねて連続視聴を中止する割合の大きなユーザは再生停止耐性を有しないユーザとなる。
上記の処理がユーザ毎に行われ、ユーザ毎の再生停止耐性の有無が得られる。計算結果であるユーザ毎の再生停止耐性の有無は、ユーザ特徴計算ユニット２０１に渡され、ユーザ特徴計算ユニット２０１によりユーザ特徴データベース３００に格納される。
なお、上記の閾値Ｔｓの値は特定の値に限定されないが、閾値Ｔｓとして例えば０を用いることができる。また、再生停止耐性を有するユーザと有しないユーザの人数比が一定（予め定めた値）になるように閾値Ｔｓを定めてもよい。
＜ステップＳ１０２：画質劣化耐性の有無の計算＞
ステップＳ１０２において、画質劣化耐性計算ユニット２０３が、ユーザ毎の画質劣化耐性の有無の計算を実行する。画質劣化耐性計算ユニット２０３は、まず視聴履歴データベース１００に接続し、あるユーザに関する視聴履歴を取得する。
次に、画質劣化耐性計算ユニット２０３は、当該ユーザの視聴履歴に基づき、当該ユーザの過去の視聴におけるビットレート分布を求める。この時、映像長の分布における上位・下位１％の視聴映像をビットレート分布算出の対象外とすることで、極端に長い映像や、極端に短い映像による影響を軽減する。なお、１％は例であり、他の値を用いてもよい。ビットレート分布については、例えば、当該ユーザの視聴履歴における１レコードを１回の視聴とし、ビットレート毎に視聴回数（レコード数）を算出することで得ることができる。
次に、画質劣化耐性計算ユニット２０３は、予め定めた閾値ａと予め定めた閾値ｂを用いて、ビットレート分布の上位ａ％の視聴における平均視聴達成率から、ビットレート分布の下位ｂ％の視聴における平均視聴達成率を引いた値を計算することで、画質劣化耐久度を計算する。
ここで、ビットレート分布の上位ａ％の視聴とは、例えば、ａを３０として、全部で１００回の視聴（レコード）があったとすると、ビットレートの最も高い視聴から数えて３０回分の視聴のことである。また、ビットレート分布の下位ｂ％の視聴とは、例えば、ｂを３０として、全部で１００回の視聴（レコード）があったとすると、ビットレートの最も低い視聴から数えて３０回分の視聴のことである。イメージを図８に示す。図８のＡで示す部分がビットレート分布の上位ａ％の視聴に該当し、図８のＢで示す部分がビットレート分布の下位ｂ％の視聴に該当する。
また、視聴達成率とは、視聴履歴におけるあるレコードの視聴について、当該レコードの映像をユーザがどのくらいの長さまで視聴したかを示すものである。例えば、映像長が６０秒であり、ユーザが４５秒まで視聴した場合に、視聴達成率は０．７５になる。この時、視聴時間が映像長を上回ってしまう場合には、視聴達成率は１．０とする。また、視聴履歴データベース１００に合計停止時間が格納されている場合には、視聴時間から合計停止時間を引いた値を映像長で除すことで、視聴達成率を算出することもできる。平均視聴達成率は、複数回の視聴の視聴達成率の１回あたりの平均である。
最後に、画質劣化耐性計算ユニット２０３は、予め定めた閾値Ｔｉｍと画質劣化耐久度とを比較し、画質劣化耐久度が閾値Ｔｉｍ以下のユーザを画質劣化耐性を有するユーザと判定し、画質劣化耐久度が閾値Ｔｉｍより大きいユーザを画質劣化耐性を有しないユーザと判定する。例えば、高ビットレートにおける平均視聴達成率が、低ビットレートにおける平均視聴達成率よりも大きい場合、当該ユーザは高画質の映像を好み、画質劣化耐性は低い（有しない）といえる。
上記の処理がユーザ毎に行われ、ユーザ毎の画質劣化耐性の有無が得られる。計算結果であるユーザ毎の画質劣化耐性の有無は、ユーザ特徴計算ユニット２０１に渡され、ユーザ特徴計算ユニット２０１によりユーザ特徴データベース３００に格納される。
なお、上記の閾値Ｔｉｍの値は特定の値に限定されないが、閾値Ｔｉｍとして例えば０を用いることができる。また、画質劣化耐性を有するユーザと有しないユーザの人数比が一定（予め定めた値）になるように閾値Ｔｉｍを定めてもよい。
＜ステップＳ１０３：高画質基準の計算＞
ステップＳ１０３において、高画質基準計算ユニット２０４が、ユーザ毎の高画質基準の計算を実行する。高画質基準とは、ユーザが高画質と感じる符号化レートの下限である。
高画質基準計算ユニット２０４は、まず視聴履歴データベース１００に接続し、あるユーザに関する視聴履歴を取得する。
次に、高画質基準計算ユニット２０４は、視聴を開始してすぐに視聴を辞めてしまう行動（ザッピング）の影響を弾くため、ある閾値以上視聴した視聴のみを抽出する。例えば、閾値が１０秒であるとして、視聴履歴として得られた複数レコードのうち、視聴時間が１０秒以上のレコードのみを抽出する。
そして、高画質基準計算ユニット２０４は、抽出した視聴からビットレート分布を算出し、予め定めた閾値ｄを用いて、ビットレート分布の上位ｄ％にあたる点を高画質基準と設定する。図８において、仮に、Ａで示す部分がビットレート分布の上位ｄ％の視聴であるとすると、図８のＣで示す点が高画質基準の符号化レートになる。
上記の処理がユーザ毎に行われ、ユーザ毎の高画質基準が得られる。計算結果であるユーザ毎の高画質基準は、ユーザ特徴計算ユニット２０１に渡され、ユーザ特徴計算ユニット２０１によりユーザ特徴データベース３００に格納される。
なお、本実施の形態では、再生停止耐性、及び画質劣化耐性のいずれも「有り」又は「無し」で表現しているが、これは説明の便宜上のためであり、「無し」は、全く無いことを意味しているわけではない。「有り」、「無し」に代えて、「高い」、「低い」という表現を用いることとしてもよい。
（配信レートの計算）
次に、配信レートの計算について説明する。配信レート計算部４００（図４）は、配信レートの問い合わせを受信する度に配信レートの計算を行う。なお、配信レートの問い合わせ元は特に限定されないが、例えば、映像配信サーバ、映像配信サービスを受けるユーザ端末、等である。以下、図９のフローチャートの手順に沿って配信レートの計算について説明する。
＜ステップＳ２０１：配信レート問い合わせ受信＞
配信レート計算部４００において、配信レート計算振り分けユニット４０１が配信レートの問い合わせを受信する。本実施の形態において、配信レートの問い合わせには、ユーザ情報（ユーザｉｄ）と映像情報（映像の再生時間長、選択可能な符号化レートの列）が含まれる。
＜ステップＳ２０２：該当ユーザの情報を取得＞
ステップＳ２０２において、配信レート計算振り分けユニット４０１は、ユーザ特徴データベース３００（例：図６）から、該当するユーザｉｄの情報（再生停止耐性の有無、画質劣化耐性の有無、高画質基準）を取得する。
＜ステップＳ２０３：計算振り分け＞
ステップＳ２０３では計算の振り分けを行う。計算振り分け処理を説明するにあたって、その前提となる、本実施の形態の配信レート選択方法について説明する。
本実施の形態では、各ユーザに対して、再生停止耐性の有無と画質劣化耐性の有無との組み合わせに応じて、異なるポリシーで符号化レートの選択を行うこととしている。
より具体的には、再生停止耐性、画質劣化耐性を共に有するユーザに対しては、ネットワーク負荷低減のため、最も低い符号化レートを選択する。再生停止耐性を有し、画質劣化耐性を有しないユーザに対しては、高画質基準以上の符号化レートのうち最も低い符号化レートを選択する。再生停止耐性を有さず、画質劣化耐性を有するユーザに対しては、停止しない中で最大の符号化レートを選択する。再生停止耐性、画質劣化耐性ともに有しないユーザに対しては、画質と再生停止のバランスをとる必要があるため、従来から提案されていた、ＱｏＥを最大化するレートを選択する。
配信レート計算部４００では、上述した処理を該当選択ユニットに行わせるために、ステップＳ２０３において、配信レート計算振り分けユニット４０１が、再生停止耐性の有無、画質劣化耐性の有無の２つ組に応じて、異なるポリシーに対応する各計算ユニットに計算を振り分ける。具体的には以下のとおりである。
ここで、再生停止耐性／画質劣化耐性ともにその有無をＴ／Ｆで表わすこととし、例えば、再生停止耐性を有し、画質劣化耐性を有しないユーザの特徴を（Ｔ、Ｆ）と表記するものとする。
配信レート計算振り分けユニット４０１は、該当ユーザの特徴（再生停止耐性の有無、画質劣化耐性の有無）が（Ｔ、Ｔ）である場合には低画質レート選択ユニット４０３に処理を委譲し、（Ｔ、Ｆ）の場合はユーザ別高画質基準レート選択ユニット４０２に処理を委譲する。また、（Ｆ、Ｔ）の場合は無停止レート選択ユニット４０４に処理を委譲し、（Ｆ、Ｆ）の場合にはＱｏＥ最大レート選択ユニット４０５に処理を委譲する。
各選択ユニットへの処理の委譲の際には、配信レート問い合わせとして受信したユーザ情報と映像情報、ユーザ特徴等が該当選択ユニットに渡される。
＜ステップＳ２０４：符号化レート選択、配信レート返却＞
各選択ユニットにおいて符号化レートの選択がなされ、選択された符号化レートが配信レートとして問い合わせ元に返却（ネットワークを介して送信）される。具体的な処理は以下のとおりである。
該当ユーザの特徴（再生停止耐性の有無、画質劣化耐性の有無）が（Ｔ、Ｔ）である場合における処理主体である低画質レート選択ユニット４０３は、映像情報の中から最も低い符号化レートを選択し、問い合わせ元に返却する。
該当ユーザの特徴が（Ｔ、Ｆ）である場合における処理主体であるユーザ別高画質基準レート選択ユニット４０２は、該当ユーザの高画質基準をユーザ特徴データベース３００から取得し、映像情報の中から高画質基準以上で最も低い符号化レートを選択し、問い合わせ元に返却する。
該当ユーザの特徴が（Ｆ、Ｔ）である場合の処理主体である無停止レート選択ユニット４０４は、映像情報において、再生が停止しないと推定できる符号化レートの中から最も高い符号化レートを選択する。
具体的には、無停止レート選択ユニット４０４は、例えば非特許文献２に記載された既存技術を用いることにより、問い合わせの映像情報に含まれる各符号化レートで配信を行ったと仮定した場合の再生停止回数を推定する。ここでは、当該推定に必要な情報は、例えば視聴履歴データベース１００に格納されているものとし、無停止レート選択ユニット４０４は、視聴履歴データベース１００から推定に必要な情報を取得して、再生停止回数を推定する。
そして、無停止レート選択ユニット４０４は、映像情報に含まれる符号化レートのうち、推定停止回数が０回となる符号化レートのみを抽出し、抽出した符号化レートの中で最も高い符号化レートを選択し、問い合わせ元に返す。なお、推定停止回数が０回となる符号化レートが存在しなかった場合には、推定停止回数が最小の符号化レートを選択することとしてもよい。
該当ユーザの特徴が（Ｆ、Ｆ）である場合の処理主体であるＱｏＥ最大レート選択ユニット４０５は、既存技術を用いて、映像情報に含まれる符号化レートの中から、ＱｏＥを最大化する符号化レートを選択し、問い合わせ元に返却する。ここでも、ＱｏＥを最大化する符号化レートの推定に必要な情報は、例えば視聴履歴データベース１００に格納されているものとし、ＱｏＥ最大レート選択ユニット４０５は、視聴履歴データベース１００から推定に必要な情報を取得して、ＱｏＥを最大化する符号化レートを推定する。
（実施の形態のまとめ）
以上、説明したように、本実施の形態では、映像配信サービスにおいて映像配信サーバからクライアントに映像配信を行う際の配信レートを選択するための配信レート選択装置であって、ユーザ毎の再生停止耐性の有無、及びユーザ毎の画質劣化耐性の有無を含むユーザ特徴を記憶したユーザ特徴記憶部と、あるユーザに対するある映像の配信に関する配信レートの問い合わせを受信した場合に、当該ユーザの再生停止耐性の有無、及び当該ユーザの画質劣化耐性の有無を前記ユーザ特徴記憶部から取得し、当該再生停止耐性の有無、及び当該画質劣化耐性の有無の組み合わせに応じた符号化レートを、前記映像の複数の符号化レートの中から選択し、選択した符号化レートを前記配信レートとして問い合わせ元に返す配信レート計算手段とを備えることを特徴とする配信レート選択装置が提供される。
前記配信レート選択装置は、ユーザ毎の視聴履歴を記憶した視聴履歴記憶部と、前記視聴履歴記憶部から取得した視聴履歴に基づいて、前記ユーザによる複数回の連続視聴の中で、視聴を停止した連続視聴の回数の割合を算出し、当該割合と所定の閾値とを比較することにより、当該ユーザについての再生停止耐性の有無を判定する再生停止耐性計算手段を備えてもよい。
前記配信レート選択装置は、ユーザ毎の視聴履歴を記憶した視聴履歴記憶部と、前記視聴履歴記憶部から取得した視聴履歴に基づいて、前記ユーザによる符号化レートの高い視聴における平均視聴達成率と、符号化レートの低い視聴における平均視聴達成率との差分を算出し、当該差分と所定の閾値とを比較することにより、当該ユーザについての画質劣化耐性の有無を判定する画質劣化耐性計算手段を備えてもよい。
前記配信レート計算手段は、前記ユーザについての再生停止耐性が有り、かつ画質劣化耐性が有りである場合に、例えば、前記映像の複数の符号化レートの中から最も低い符号化レートを選択する。
前記配信レート計算手段は、前記ユーザについての再生停止耐性が有り、かつ画質劣化耐性が無しである場合に、当該ユーザが高画質であると感じる符号化レートとして予め定めた符号化レート以上で、最も低い符号化レートを前記映像の複数の符号化レートの中から選択することとしてもよい。
前記配信レート計算手段は、前記ユーザについての再生停止耐性が無し、かつ画質劣化耐性が有りである場合に、前記映像の複数の符号化レートの中で、再生停止が発生しないと推定される符号化レートのうち最大の符号化レートを選択することとしてもよい。
本実施の形態によれば、映像配信サービスにおいて、ユーザ個別の特性に応じた符号化レートの選択を行うことが可能となる。これにより、各個人がどのような品質を重視するかという特性を踏まえた制御が可能になり、同業他サービスとの差別化、本技術を適用した映像配信サービスの滞在時間増加、利用頻度向上が期待される。
本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
本特許出願は２０１５年７月２８日に出願した日本国特許出願第２０１５−１４８８２９号に基づきその優先権を主張するものであり、日本国特許出願第２０１５−１４８８２９号の全内容を本願に援用する。
１００ 視聴履歴データベース
１５０ ドライブ装置
１５２ 補助記憶装置
１５３ メモリ装置
１５４ ＣＰＵ
１５５ インタフェース装置
１５６ 表示装置
１５７ 入力装置
２００ ユーザ特徴計算部
２０１ ユーザ特徴計算ユニット
２０２ 再生停止耐性計算ユニット
２０３ 画質劣化耐性計算ユニット
２０４ 高画質基準計算ユニット
３００ ユーザ特徴データベース
４００ 配信レート計算部
４０１ 配信レート計算振り分けユニット
４０２ ユーザ別高画質基準レート選択ユニット
４０３ 低画質レート選択ユニット
４０４ 無停止レート選択ユニット
４０５ ＱｏＥ最大レート選択ユニット

Claims (8)

  1. 映像配信サービスにおいて映像配信サーバからクライアントに映像配信を行う際の配信レートを選択するための配信レート選択装置であって、
    ユーザ毎の再生停止耐性の有無、及びユーザ毎の画質劣化耐性の有無を含むユーザ特徴を記憶したユーザ特徴記憶部と、
    あるユーザに対するある映像の配信に関する配信レートの問い合わせを受信した場合に、当該ユーザの再生停止耐性の有無、及び当該ユーザの画質劣化耐性の有無を前記ユーザ特徴記憶部から取得し、当該再生停止耐性の有無、及び当該画質劣化耐性の有無の組み合わせに応じた符号化レートを、前記映像の複数の符号化レートの中から選択し、選択した符号化レートを前記配信レートとして問い合わせ元に返す配信レート計算手段と
    を備えることを特徴とする配信レート選択装置。
  2. ユーザ毎の視聴履歴を記憶した視聴履歴記憶部と、
    前記視聴履歴記憶部から取得した視聴履歴に基づいて、前記ユーザによる複数回の連続視聴の中で、視聴を停止した連続視聴の回数の割合を算出し、当該割合と所定の閾値とを比較することにより、当該ユーザについての再生停止耐性の有無を判定する再生停止耐性計算手段
    を更に備えることを特徴とする請求項１に記載の配信レート選択装置。
  3. ユーザ毎の視聴履歴を記憶した視聴履歴記憶部と、
    前記視聴履歴記憶部から取得した視聴履歴に基づいて、前記ユーザによる符号化レートの高い視聴における平均視聴達成率と、符号化レートの低い視聴における平均視聴達成率との差分を算出し、当該差分と所定の閾値とを比較することにより、当該ユーザについての画質劣化耐性の有無を判定する画質劣化耐性計算手段
    を更に備えることを特徴とする請求項１に記載の配信レート選択装置。
  4. 前記配信レート計算手段は、前記ユーザについての再生停止耐性が有り、かつ画質劣化耐性が有りである場合に、前記映像の複数の符号化レートの中から最も低い符号化レートを選択する
    ことを特徴とする請求項１ないし３のうちいずれか１項に記載の配信レート選択装置。
  5. 前記配信レート計算手段は、前記ユーザについての再生停止耐性が有り、かつ画質劣化耐性が無しである場合に、当該ユーザが高画質であると感じる符号化レートとして予め定めた符号化レート以上で、最も低い符号化レートを前記映像の複数の符号化レートの中から選択する
    ことを特徴とする請求項１ないし４のうちいずれか１項に記載の配信レート選択装置。
  6. 前記配信レート計算手段は、前記ユーザについての再生停止耐性が無し、かつ画質劣化耐性が有りである場合に、前記映像の複数の符号化レートの中で、再生停止が発生しないと推定される符号化レートのうち最大の符号化レートを選択する
    ことを特徴とする請求項１ないし５のうちいずれか１項に記載の配信レート選択装置。
  7. 映像配信サービスにおいて映像配信サーバからクライアントに映像配信を行う際の配信レートを選択するための配信レート選択装置が実行する配信レート選択方法であって、
    前記配信レート選択装置は、ユーザ毎の再生停止耐性の有無、及びユーザ毎の画質劣化耐性の有無を含むユーザ特徴を記憶したユーザ特徴記憶部を備えており、
    あるユーザに対するある映像の配信に関する配信レートの問い合わせを受信するステップと、
    当該ユーザの再生停止耐性の有無、及び当該ユーザの画質劣化耐性の有無を前記ユーザ特徴記憶部から取得するステップと、
    当該再生停止耐性の有無、及び当該画質劣化耐性の有無の組み合わせに応じた符号化レートを、前記映像の複数の符号化レートの中から選択し、選択した符号化レートを前記配信レートとして問い合わせ元に返すステップと
    を備えることを特徴とする配信レート選択方法。
  8. コンピュータを、請求項１ないし６のうちいずれか１項に記載の配信レート選択装置における各手段として機能させるためのプログラム。
JP2017531072A 2015-07-28 2016-06-09 配信レート選択装置、配信レート選択方法、及びプログラム Active JP6517342B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015148829 2015-07-28
JP2015148829 2015-07-28
PCT/JP2016/067241 WO2017018072A1 (ja) 2015-07-28 2016-06-09 配信レート選択装置、配信レート選択方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2017018072A1 JPWO2017018072A1 (ja) 2018-05-24
JP6517342B2 true JP6517342B2 (ja) 2019-05-22

Family

ID=57884219

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017531072A Active JP6517342B2 (ja) 2015-07-28 2016-06-09 配信レート選択装置、配信レート選択方法、及びプログラム

Country Status (3)

Country Link
US (1) US10491903B2 (ja)
JP (1) JP6517342B2 (ja)
WO (1) WO2017018072A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111263229B (zh) * 2018-11-30 2023-06-16 南京超聚通信科技有限公司 一种视频分发方法、装置及电子设备
WO2022003902A1 (ja) * 2020-07-02 2022-01-06 日本電信電話株式会社 視聴完了率推定装置、視聴完了率推定方法及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013043918A1 (en) * 2011-09-21 2013-03-28 General Instrument Corporation Adaptive streaming to multicast and constrained-fidelity constant bit rate encoding
JP2014232922A (ja) * 2013-05-28 2014-12-11 日本電信電話株式会社 映像通信装置、プログラム及び方法
US20150172680A1 (en) * 2013-12-16 2015-06-18 Arris Enterprises, Inc. Producing an Output Need Parameter for an Encoder

Also Published As

Publication number Publication date
JPWO2017018072A1 (ja) 2018-05-24
WO2017018072A1 (ja) 2017-02-02
US10491903B2 (en) 2019-11-26
US20180213234A1 (en) 2018-07-26

Similar Documents

Publication Publication Date Title
US10999340B2 (en) Cloud-based video delivery
CN110268717B (zh) 使用播放统计信息对多表示编码的比特率优化
US9247276B2 (en) System and method for progressive delivery of media content
US10659832B1 (en) Dynamic bitrate selection for streaming media
US8458355B1 (en) Dynamic media bit rates based on enterprise data transfer policies
US9378508B2 (en) System and method for content pre-positioning determination
US20130223509A1 (en) Content network optimization utilizing source media characteristics
KR20180031547A (ko) 서버에서 멀티 비트 레이트 스트림 미디어를 적응적으로 제공하기 위한 방법 및 장치
US10194210B2 (en) Dynamic content delivery network allocation system
US9819715B2 (en) Client side control of adaptive streaming
US10985988B2 (en) Profile generation for bandwidth management
US11611789B2 (en) Adaptive bitrate streaming
WO2017094847A1 (ja) 体感品質最適化装置、ネットワーク品質推定装置、モバイル端末、体感品質最適化方法、ネットワーク品質推定方法、及びプログラム
JP7167847B2 (ja) 制御装置、制御方法及びプログラム
US9680904B2 (en) Adaptive buffers for media players
US10019448B2 (en) Methods and systems for providing file data for media files
JP6517342B2 (ja) 配信レート選択装置、配信レート選択方法、及びプログラム
US20240137585A1 (en) Multiple protocol prediction and in-session adaptation in video streaming
US20220385975A1 (en) Account behavior prediction using prediction network
Baik et al. VSync: Cloud based video streaming service for mobile devices
Pleşca et al. Multimedia prefetching with optimal Markovian policies
JP2017076892A (ja) バッファサイズ決定装置、システム、バッファサイズ決定方法、映像データ再生方法およびプログラム
JP6533487B2 (ja) アプリケーション制御装置、ネットワーク品質予測方法、及びプログラム
US20190245749A1 (en) Optimizing cloud resources for abr systems
US10135896B1 (en) Systems and methods providing metadata for media streaming

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190417

R150 Certificate of patent or registration of utility model

Ref document number: 6517342

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150