JP6379362B2 - 映像受信装置、パラメータ設定方法および付加情報表示システム - Google Patents

映像受信装置、パラメータ設定方法および付加情報表示システム Download PDF

Info

Publication number
JP6379362B2
JP6379362B2 JP2016509614A JP2016509614A JP6379362B2 JP 6379362 B2 JP6379362 B2 JP 6379362B2 JP 2016509614 A JP2016509614 A JP 2016509614A JP 2016509614 A JP2016509614 A JP 2016509614A JP 6379362 B2 JP6379362 B2 JP 6379362B2
Authority
JP
Japan
Prior art keywords
video
calibration
communication network
video recognition
partial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016509614A
Other languages
English (en)
Other versions
JPWO2015145501A1 (ja
Inventor
奥 博隆
博隆 奥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2015145501A1 publication Critical patent/JPWO2015145501A1/ja
Application granted granted Critical
Publication of JP6379362B2 publication Critical patent/JP6379362B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8126Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/738Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63Scene text, e.g. street names
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/56Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/59Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/61Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/65Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 for using the result on users' side
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6106Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6112Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving terrestrial transmission, e.g. DVB-T
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6106Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/654Transmission by server directed to the client
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/654Transmission by server directed to the client
    • H04N21/6547Transmission by server directed to the client comprising parameters, e.g. for client setup
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6581Reference data, e.g. a movie identifier for ordering a movie or a product identifier in a home shopping application
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/147Scene change detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/08Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/087Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only
    • H04N7/088Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital
    • H04N7/0887Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital for the transmission of programme or channel identifying signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8211Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a sound signal

Description

本開示は、外部から入力される映像信号に関する付加情報を取得して映像信号に重畳する映像受信装置に関する。
特許文献1は、データ処理システムを開示する。このシステムでは、クライアント装置は、映像認識装置であるサーバ装置に、ネットワークを通して映像データを送信し、映像認識処理を依頼する。サーバ装置は、受信した映像データにもとづき映像認識を行い、映像認識の結果を、ネットワークを通してクライアント装置に送信する。
特許文献2は、放送プログラムを監視する手法をコンピュータシステムを用いて自動化する技術を開示する。
特許文献3は、マルチメディア・システムにおいてコンテンツ・ストリームと1つまたは複数のスクリプトを同期させる方法を開示する。
特開平10−214258号公報 特表2007―534008号公報 特表2010―532943号公報
本開示は、外部から入力される映像信号に関する付加情報を取得し、取得した付加情報の映像信号への重畳を制御するのに有効な映像受信装置、パラメータ設定方法、および付加情報表示システムを提供する。
本開示の映像受信装置は、通信ネットワークを介してデータの送受信を行えるように構成されており、入力部、映像抽出部、制御部、およびキャリブレーション実行部を備える。入力部は、外部に設置された映像送信装置から出力される映像信号を入力するように構成されている。映像抽出部は、その映像信号から映像認識処理用の部分映像を抽出するように構成されている。制御部は、通信ネットワークに接続された映像認識装置に、部分映像または部分映像から生成したコンテンツ認識情報を送信して映像認識処理を依頼し、その映像認識処理の結果を映像認識装置から取得し、その映像認識処理の結果に基づく付加情報を、通信ネットワークに接続された付加情報配信装置から取得する制御を行うように構成されている。キャリブレーション実行部は、映像認識装置と連携してキャリブレーション処理を行い所定のパラメータを設定するように構成されている。
本開示のパラメータ設定方法は、通信ネットワークを介してデータの送受信を行えるように構成された映像受信装置におけるパラメータ設定方法であって、外部から入力される映像信号から映像認識処理用の部分映像を抽出するステップと、通信ネットワークに接続された映像認識装置に、部分映像または部分映像から生成したコンテンツ認識情報を送信して映像認識処理を依頼し、映像認識処理の結果を映像認識装置から取得するステップと、映像認識処理の結果に基づく付加情報を、通信ネットワークに接続された付加情報配信装置から取得するステップと、映像認識装置と連携してキャリブレーション処理を行い所定のパラメータを設定するステップと、を備える。
本開示の付加情報表示システムは、通信ネットワークを介して互いにデータの送受信を行えるように構成された、映像受信装置、映像認識装置、および付加情報配信装置、を備える。映像受信装置は、入力部、映像抽出部、制御部、およびキャリブレーション実行部を備える。入力部は、外部に設置された映像送信装置から出力される映像信号を入力するように構成されている。映像抽出部は、その映像信号から映像認識処理用の部分映像を抽出するように構成されている。制御部は、映像認識装置に通信ネットワークを介して部分映像または部分映像から生成したコンテンツ認識情報を送信して映像認識処理を依頼し、その映像認識処理の結果を映像認識装置から通信ネットワークを介して取得し、付加情報配信装置からその映像認識処理の結果に基づく付加情報を通信ネットワークを介して取得する制御を行うように構成されている。キャリブレーション実行部は、映像認識装置と連携してキャリブレーション処理を行い所定のパラメータを設定するように構成されている。映像認識装置は、通信ネットワークを介して受信した部分映像に関する映像認識処理を行い、その映像認識処理の結果を通信ネットワークを介して映像受信装置に送信するように構成されるとともに、映像受信装置と連携してキャリブレーション処理を行い所定のパラメータを設定して映像受信装置へ送信するように構成されている。付加情報配信装置は、通信ネットワークを介して受信した映像認識処理の結果に対応する付加情報を通信ネットワークを介して映像受信装置に送信するように構成されている。
図1は、実施の形態1における付加情報表示システムの構成の一例を概略的に示す図である。 図2は、実施の形態1における映像認識装置および映像受信装置の構成の一例を概略的に示すブロック図である。 図3は、実施の形態1における映像受信装置のキャリブレーション処理時の動作の一例を概略的に示すフローチャートである。 図4は、実施の形態1における映像認識装置が有するキャリブレーション処理で使用可能なチャンネルのデータの一例を概略的に示す図である。 図5は、実施の形態1における映像受信装置の表示部に表示されるメッセージの一例を概略的に示す図である。 図6は、放送局から放送される放送信号が映像受信装置で表示されるまでの経路の一例を概略的に示す図である。 図7は、放送局から放送される放送信号がSTBで受信されるまでの時間遅延の一例を概略的に示す図である。 図8は、実施の形態1における付加情報表示システムで行うキャリブレーション処理の一例を映像を用いて概略的に示す図である。 図9は、実施の形態1における付加情報表示システムで行うパラメータ設定処理の動作の一例を概略的に示すフローチャートである。 図10は、実施の形態2における映像認識装置および映像受信装置の構成の一例を概略的に示すブロック図である。 図11Aは、放送局12から送信された放送信号がSTB14で受信されるまでの間に劣化した場合に表示映像に生じる変化の一例を概略的に示す図である。 図11Bは、放送局12から送信された放送信号の映像信号に加工が施された場合の表示映像の一例を概略的に示す図である。 図12は、実施の形態2における付加情報表示システムで行うキャリブレーション処理の一例を映像を用いて概略的に示す図である。 図13は、実施の形態2における付加情報表示システムで行うパラメータ設定処理の動作の一例を概略的に示すフローチャートである。 図14は、図13に示すフローチャートを映像受信装置と映像認識装置のそれぞれの動作に分けて示すフローチャートである。 図15は、他の実施の形態における映像受信装置の表示部に表示されるメッセージの一例を概略的に示す図である。 図16は、他の実施の形態における映像受信装置のキャリブレーション処理時の動作の一例を概略的に示すフローチャートである。 図17は、他の実施の形態における映像受信装置の構成の一例を概略的に示すブロック図である。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
(実施の形態1)
以下、図1〜図11を用いて、実施の形態1を説明する。
[1−1.構成]
[1−1−1.システム構成の概略]
図1は、実施の形態1における付加情報表示システム10の構成の一例を概略的に示す図である。付加情報表示システム10は、放送局12、映像送信装置であるSTB(Set Top Box)14、映像認識装置20、付加情報配信装置30、および映像受信装置40を備える。付加情報表示システム10は、映像認識装置20が有する映像認識技術を利用して、映像受信装置40が受信した映像がどのコンテンツのものかを特定し、そのコンテンツに関連する付加情報を、付加情報配信装置30から取得して映像受信装置40に表示する、ことができるように構成された通信システムである。
映像受信装置40と、映像認識装置20および付加情報配信装置30とは、通信ネットワーク16を介して互いに接続されている。
通信ネットワーク16は、有線、または無線、あるいはその双方が混在して構成されている。通信ネットワーク16は、例えばインターネットであるが、イントラネットや商業回線、あるいはその他の通信回線であってもよく、それらが混在していてもよい。
映像受信装置40とSTB14とは、通信インターフェースを介して互いに接続されている。通信インターフェースは、例えばHDMI(登録商標)(High−Definition Multimedia Interfase)であるが、ビデオケーブルであってもよく、あるいはWi−Fi(登録商標)やBluetooth(登録商標)、無線LAN(Local Area Network)等の無線通信であってもよい。
放送局12は、放送信号を送信(放送)するように構成された送信装置である。放送局12は、番組本体とコマーシャルメッセージ(CM)とを含むテレビ番組を映像信号にして放送信号に重畳し放送する。番組本体とCMとは時間の経過に伴って互いに切り替わる。以下、番組本体やCMを「コンテンツ」と記す。すなわち、放送局12は、時間の経過に伴って切り替わるコンテンツを放送する。なお、送信装置は何ら放送局12に限定されるものではなく、時間の経過に伴って切り替わるコンテンツを送信または放送するものであればよい。
STB14は、放送局12が放送する放送信号を受信して映像信号を取り出すように構成された受信機(チューナ)である。STB14は、例えば放送局12がデジタルの映像信号を放送する場合、受信した映像信号をデコードする機能を備えていてもよい。STB14は、放送局12が放送する複数のチャンネルの中から、ユーザ(User)の指示にもとづき選局したチャンネルを受信し、そのチャンネルの映像信号を通信インターフェース(例えば、HDMI(登録商標))を介して、映像受信装置40に出力する。なお、映像送信装置は何らSTB14に限定されるものではなく、例えば録画機能と放送信号受信機能と映像信号出力機能とをあわせ持つ録画装置、等であってもよい。
映像受信装置40は、外部から入力される映像信号にもとづく映像を表示部54に表示するように構成された映像受信デバイスであり、例えばテレビジョン受像機である。映像受信装置40は、通信ネットワーク16に接続されており、通信ネットワーク16を介して映像認識装置20および付加情報配信装置30とデータの送受信ができる。
本実施の形態における映像受信装置40は、以下のことができるように構成されている。映像受信装置40は、映像送信装置(例えば、STB14)から通信インターフェースを介して入力される映像信号に関する映像認識処理を映像認識装置20を利用して行い、その映像信号が表すコンテンツを特定する。そして、そのコンテンツに関連する付加情報(例えば、広告情報)を付加情報配信装置30から取得し、取得した付加情報をその映像信号に重畳して表示部54に表示する。
具体的には、映像受信装置40は、入力される映像信号から一部を周期的に切り出すことで部分映像を周期的に抽出し、その部分映像と映像認識処理の要求(以下、「映像認識要求」とも記す)を、通信ネットワーク16を介して映像認識装置20に送信する。そして、映像受信装置40は、その部分映像に対する映像認識処理の結果を映像認識装置20から通信ネットワーク16を介して取得し、取得した映像認識処理の結果に関連する付加情報を、付加情報配信装置30から通信ネットワーク16を介して取得する。そして、取得した付加情報にもとづく画像(図1には、「付加情報51」として示す)を、表示部54に表示中の映像に重畳して表示する。これらの詳細は後述する。
なお、本実施の形態では、付加情報を「コンテンツに関連する広告情報」とする例を説明するが、付加情報は何ら広告情報に限定されるものではなく、例えば観光情報、歴史情報、人物プロフィール情報、URL(Uniform Resource Locator)、公共公報情報、放送中の番組に関する情報、ツイッター(登録商標)等のソーシャル情報、等であってもよい。
映像認識装置20は、通信ネットワーク16に接続されたサーバ装置であり、映像認識処理にもとづくコンテンツ特定処理を行うWebサイトである。コンテンツ特定処理とは、受信した部分映像に対して映像認識処理を行い、その映像認識処理の結果にもとづきその部分映像が表すコンテンツを特定する処理のことである。そのために、映像認識装置20は、放送局12が放送するコンテンツに対する解析と、その解析の結果を利用した映像認識処理を行う。
映像認識装置20は、放送局12から放送される実質的に全てのコンテンツを取得する。そして、取得したコンテンツに対する解析を行い、コンテンツの時間、容量、放送形式、内容、ジャンル、登場人物、タイムテーブル、等を調べ、解析情報を作成する。また、映像認識装置20は、放送局12から取得したコンテンツの映像信号からフィンガープリントを作成する。このフィンガープリントは、映像を認識するための情報であり、例えば、動画を構成する各画像のハッシュ値である。映像認識装置20は、放送局から放送される放送信号を受信してコンテンツを取得してもよく、あるいは、専用の映像回線等を介して放送局12から送信される映像信号を受信してコンテンツを取得してもよい。また、この解析は、例えば、自動で行われてもよく、作業者が手作業で行ってもよい。各コンテンツの解析結果である解析情報とフィンガープリントは、各コンテンツの映像(例えば、複数フレームの映像信号)毎に、映像認識装置20の記憶部23に記憶される。
映像認識装置20は、映像受信装置40から送信されてくる部分映像を伴った映像認識要求を通信ネットワーク16を介して受信すると、その部分映像から生成したフィンガープリントを、映像認識装置20があらかじめ生成し記憶部23に記憶しておいたフィンガープリントと照合してその部分映像に対する映像認識処理を行い、その部分映像に対応するコンテンツを特定する。こうして、映像認識装置20は、映像受信装置40から送信されてくる部分映像が何のコンテンツの映像なのかを判断してそのコンテンツを特定するコンテンツ特定処理を行う。そして、特定したコンテンツに関する解析結果(解析情報)を記憶部23から読み出し、読み出した情報を映像認識処理の結果として映像受信装置40に通信ネットワーク16を介して返信する。
このような手法による映像認識処理(映像認識処理にもとづくコンテンツ特定処理)を「ACR(Automatic Content Recognition)」とも呼称する。
付加情報配信装置30は、通信ネットワーク16に接続されたサーバ装置であり、様々な商品の広告情報を保持して配信するWebサイト(広告配信サイト)である。付加情報配信装置30は、映像受信装置40から送信されてくる映像認識処理の結果(映像受信装置40が映像認識装置20から取得した映像認識処理の結果にもとづく解析情報)を通信ネットワーク16を介して受信すると、その映像認識処理の結果(解析情報)に関連する付加情報を通信ネットワーク16を介して映像受信装置40に送信する。この付加情報は、例えば、映像認識処理により特定されたコンテンツに関連する広告情報である。
[1−1−2.映像認識装置および映像受信装置の構成]
図2は、実施の形態1における映像認識装置20および映像受信装置40の構成の一例を概略的に示すブロック図である。
なお、図2には、本実施の形態に示す動作に関連する主な回路ブロックを示しており、他の動作に関する機能や回路ブロックは省略している。これは、本実施の形態で説明する動作を分かりやすく示すためである。また、図2に示す各回路ブロックは、それぞれが独立した回路で構成されていてもよく、あるいは、図2に示す回路ブロックの1つまたは複数を実現するように作成されたプログラムをプロセッサーで実行する構成であってもよい。
映像認識装置20は、HTTP(Hypertext Transfer Protocol)送受信部21、検索部22、記憶部23、およびキャリブレーション部24、を備えるサーバ装置である。映像認識装置20は、映像受信装置40に、通信ネットワーク16を介して映像認識処理にもとづくコンテンツ特定処理のサービスを提供するように構成されている。
HTTP送受信部21は、通信用のインターフェースであり、例えば、イーサネット(登録商標)やIEEE802.3(登録商標)等の規格に適合する通信アダプタである。HTTP送受信部21は、通信ネットワーク16を介して映像受信装置40とデータの送受信を行うことができるように構成されている。
記憶部23は、例えばHDD(Hard Disk Drive)等で構成された記憶装置である。記憶部23は、放送局12から放送されるコンテンツのフィンガープリントと、そのコンテンツに対する解析結果の解析情報とを、そのコンテンツに対応付けて記憶するように構成されている。このフィンガープリントは、例えば、動画を構成する各画像のハッシュ値、等である。
記憶部23は、例えば、放送局12から放送される全チャンネル(例えば、300チャンネル)について、放送からわずかな時間遅れ(例えば、10秒)で、コンテンツ(例えば、番組本体やCM)毎に、フィンガープリントと、フィンガープリント生成のための中間データと、解析結果(解析情報)を対応付けて記憶する。この解析結果(解析情報)には、例えば、番組のタイトル、CMのタイトル、番組のあらすじ、CMのあらすじ、登場人物、映像に関連する場所、URL等が含まれていてもよい。
検索部22は、映像受信装置40から送信されてくる部分映像を伴う映像認識要求をHTTP送受信部21を介して受信すると、その部分映像を用いた映像認識処理にもとづくコンテンツ特定処理を行い、その結果(解析情報)をHTTP送受信部21を介して映像受信装置40に返信するように構成されている。本実施の形態では、部分映像を用いた映像認識処理にもとづくコンテンツ特定処理の結果を、単に「映像認識処理の結果」とも記す。
具体的には、検索部22は、映像受信装置40から送信されてくる部分映像を伴う映像認識要求を、通信ネットワーク16およびHTTP送受信部21を介して受信する。次に、受信した部分映像のフィンガープリント(例えば、部分映像を構成する各画像のハッシュ値)を生成し、生成したフィンガープリントを、記憶部23に記憶されているフィンガープリントと照合し、受信した部分映像に対応するフィンガープリントを検索する(映像認識処理)。そして、その検索の結果により特定されたフィンガープリントに対応するコンテンツを、受信した部分映像に対応するコンテンツとする(コンテンツ特定処理)。このようにして、検索部22は、受信した部分映像に対応するコンテンツを特定する。そして、検索部22は、特定したコンテンツに対応付けられた解析結果(解析情報)を記憶部23から読み出し、読み出した解析結果を、映像認識処理の結果として、HTTP送受信部21および通信ネットワーク16を介して映像受信装置40に返信する。
キャリブレーション部24は、キャリブレーション用比較検索部241、キャリブレーション用データ生成部242、キャリブレーションチャンネルデータベース(以下、「キャリブレーションCHデータベース」と記す)243、キャリブレーション用映像抽出部244、キャリブレーション用記憶部245、およびキャリブレーション用制御部246、を有する。キャリブレーション部24は、映像受信装置40が有するキャリブレーション実行部491とHTTP送受信部21を介して通信を行いながらキャリブレーション処理を実行するように構成されている。なお、本実施の形態におけるキャリブレーション処理とは、映像認識処理の精度向上または負荷低減を図るために、パラメータを設定する処理のことである。このパラメータは、映像受信装置40(STB14)における放送信号の受信状況に応じて変化する設定値である。これらの詳細は後述する。
キャリブレーション用制御部246は、キャリブレーション部24の各回路ブロックに対して、キャリブレーション処理に関する各種制御を行う。
キャリブレーション用比較検索部241は、キャリブレーション処理時に映像認識処理を行うように構成されている。この映像認識処理は、コンテンツ特定処理のためにフィンガープリントを用いて行う上述の映像認識処理と実質的に同じものである。ただし、キャリブレーション用比較検索部241で行う映像認識処理は、キャリブレーション処理を目的としたものである。そのために、キャリブレーション用比較検索部241は、フィンガープリントを生成する際に用いるパラメータを変更して、映像認識処理を行うことができる。
キャリブレーション用データ生成部242は、キャリブレーション処理を実行する際に用いるフィンガープリント(キャリブレーション用のフィンガープリント)を生成するように構成されている。生成されたフィンガープリントは、キャリブレーション用記憶部245に記憶される。また、キャリブレーション用記憶部245には、フィンガープリントとともに、そのフィンガープリントの元となる映像信号の受信時刻(その映像信号が重畳された放送信号を映像認識装置20が受信した時刻)も記憶される。本実施の形態では、フィンガープリントと受信時刻とが互いに関連付けられてキャリブレーション用記憶部245に記憶されることで、キャリブレーション用データベースが構成されている。
キャリブレーションCHデータベース243は、キャリブレーション処理を実行する際に使用可能な放送信号(放送局12から放送される放送信号)に関する情報を有するデータベースである。このデータベースは、このデータベースのために設けられた記憶部に記憶されてもよく、あるいはキャリブレーション用記憶部245に記憶されてもよい。詳細は後述するが、キャリブレーション用制御部246は、映像受信装置40から送信されてくる情報にもとづき、キャリブレーション処理を実行する際に使用するチャンネルの候補をこのデータベースから抽出し、映像受信装置40に送信する。
キャリブレーション用映像抽出部244は、キャリブレーション処理を実行する際に、キャリブレーション処理用の映像信号を放送信号から抽出するように構成されている。キャリブレーション用映像抽出部244は、例えば、放送局12から放送される放送信号から、キャリブレーション用に指定されたチャンネルの放送信号を受信するチューナである。なお、キャリブレーション用映像抽出部244は何らチューナに限定されるものではなく、例えば、光ファイバー等で構成された回線等を介して放送局12から送信される映像信号を受信し、キャリブレーション用の映像信号を抽出するように構成されていてもよい。
キャリブレーション用記憶部245は、キャリブレーション処理の結果を記憶するように構成された記憶装置である。キャリブレーション用比較検索部241は、キャリブレーション用の映像認識処理を行う際に、キャリブレーション用記憶部245からキャリブレーション処理のためのデータ(例えば、フィンガープリント)を取り出すことができるように構成されている。
映像受信装置40は、制御部41、HTTP送受信部42、操作信号受信部43、映像出力部44、表示部54、映像抽出部45、記憶部47、コンテンツ切替検出部66、キャリブレーション実行部491、および映像入力部48を備える。キャリブレーション実行部491は、第2制御部46、第2記憶部492を有する。映像受信装置40は、映像認識装置20を利用した映像認識処理にもとづくコンテンツ特定処理を行い、その映像認識処理の結果としての解析情報を映像認識装置20から取得してその解析情報に関連する付加情報(例えば、広告情報)を付加情報配信装置30から取得し、受信した映像信号による映像(コンテンツ)に、その付加情報(例えば、その映像に関連する広告情報)による画像を重畳して表示部54に表示する、ように構成されている。
HTTP送受信部42は、通信用のインターフェースであり、例えば、イーサネット(登録商標)やIEEE802.3(登録商標)等の規格に適合する通信アダプタである。HTTP送受信部42は、通信ネットワーク16を介して映像認識装置20とデータの送受信を行うことができるように構成されている。
操作信号受信部43は、ユーザ操作を受け付けたリモートコントロール装置(以下、「リモコン」と略記する)等の操作部(図示せず)が発信する操作信号(映像受信装置40に対する操作信号)を受信するように構成されている。操作信号受信部43は、ジャイロセンサを有するリモコンが、そのリモコンに生じる物理的な変動にもとづき発信する信号を受信するように構成されていてもよい。
映像入力部48は、受信回路およびデコーダであり、放送局が送信する放送信号を受信するように構成された受信部49と、映像送信装置(例えば、STB14)や映像記録再生装置等が出力する映像信号を入力するように構成された入力部65とを有する。映像入力部48が受け取る映像信号には、時間の経過に伴って切り替わるコンテンツ(番組本体とCM、等)が含まれる。
受信部49は、放送局12が送信する放送信号をアンテナ(図示せず)等を介して受信するように構成されている。受信部49は、例えば、操作信号受信部43で受信された操作信号にもとづくチャンネルの放送信号を受信する。
入力部65は、外部に設置された映像送信装置から出力されてくる映像信号を入力するように構成されたインターフェースである。入力部65は、例えばHDMI(登録商標)の規格に適合するように構成されており、映像送信装置からHDMI(登録商標)を介して送信されてくる映像信号を受け取ることができる。この映像送信装置は、例えばSTB14であるが、映像記録再生装置等であってもよい。また、入力部は、ビデオケーブルを介して送信されてくる映像信号や、無線通信で送信されてくる映像信号を受け取るように構成されていてもよい。なお、本実施の形態では、STB14から出力される映像信号が入力部65に入力されるものとする。
映像出力部44は、表示部54を制御する機能を有し、映像入力部48から入力される映像信号にもとづき表示部54を制御して、その映像信号にもとづく映像を表示部54に表示するように構成されている。映像出力部44は、制御部41から付加情報が入力されたときは、表示部54に表示中の映像に、付加情報にもとづく画像を重畳する。
表示部54は、映像信号にもとづく映像を表示するように構成されたディスプレイであり、例えばLCD(Liquid Crystal Display)である。しかし、本実施の形態は何らこの構成に限定されるものではなく、表示部54は、PDP(Plasma Display Panel)やOLED(Organic Electro Luminescence Display)、等であってもよい。
第2制御部46は、映像入力部48で取得された映像信号に対する映像認識処理を行う際に、映像認識処理を行う周期や、映像認識処理の開始タイミング、等を決定するように構成されている。例えば、第2制御部46は、映像抽出部45に対して、部分映像を抽出するタイミングや抽出する周期、抽出する部分映像のサイズ、等を指示し、その指示にもとづき抽出された部分映像をキャリブレーション処理の際に映像抽出部45から取得するように構成されている。
映像抽出部45は、映像入力部48から入力される映像信号から部分映像を抽出するように構成されている。映像抽出部45は、映像信号から、あらかじめ定められた周期で、または、第2制御部46から指示されたタイミングおよび周期で、映像信号の一部である部分映像を所定時間分抽出するように構成されている。例えば、あらかじめ定められた周期、または第2制御部46から指示された周期が3秒であり所定時間が3秒間であれば、映像抽出部45は、映像信号から、3秒毎に3秒間の部分映像を抽出する動作を繰り返す。すなわち、映像信号から3秒間の部分映像を3秒毎に隙間なく連続して抽出する動作を繰り返す。また、例えば、あらかじめ定められた周期、または第2制御部46から指示された周期が15秒であり所定時間が3秒間であれば、映像抽出部45は、映像信号から、15秒毎に3秒間の部分映像を抽出する動作を繰り返す。すなわち、映像信号から3秒間の部分映像を12秒の間隔をおいて抽出する動作を繰り返す。なお、映像信号から抽出する部分映像は秒単位での抽出に限定されるものではなく、例えば、映像フレームレートにおいて予め定められたフレーム数、または第2制御部46から指示されたフレーム数、で部分映像を抽出してもよい。
記憶部47は、例えば不揮発性メモリ等で構成された記憶装置である。記憶部47は、映像入力部48で受信した電子番組表(Electronic Program Guide:EPG)等の番組メタ情報、HTTP送受信部42を介して付加情報配信装置30から取得した付加情報および付加情報の表示制御情報、等を記憶する。付加情報の表示制御情報とは、付加情報の表示を制御するための情報であり、例えば付加情報の表示期間を示す情報、等が含まれる。
制御部41は、映像受信装置40が備える各回路ブロックを制御するように構成されている。制御部41は、例えば、プログラム(アプリケーションプログラム等)を記憶しているROM等の不揮発性メモリ、そのプログラムを実行するCPU、および、CPUがプログラムを実行するときに一時的にデータやパラメータ等を記憶するRAM等の揮発性メモリ、等から構成される。
制御部41が行う制御には、例えば次のようなものがある。制御部41は、映像抽出部45が映像信号から部分映像を所定の周期で抽出するように、映像抽出部45を制御する。そして、映像抽出部45が部分映像を抽出する度に、抽出された部分映像を、映像認識要求とともに、HTTP送受信部42および通信ネットワーク16を介して映像認識装置20に送信し、その部分映像に対する映像認識処理(映像認識処理にもとづくコンテンツ特定処理)を映像認識装置20に依頼するように、各回路ブロックを制御する。そして、その部分映像に対する映像認識処理の結果を通信ネットワーク16およびHTTP送受信部42を介して映像認識装置20から取得するように、各回路ブロックを制御する。このとき、制御部41は、コンテンツ切替検出部66における検出結果にもとづき動作し、部分映像にコンテンツの切替箇所が含まれないときだけ、部分映像を映像認識装置20に送信し、その部分映像に対する映像認識処理の結果を映像認識装置20から取得してもよい。そして、制御部41は、その映像認識処理の結果にもとづく付加情報を通信ネットワーク16およびHTTP送受信部42を介して付加情報配信装置30から取得するように、各回路ブロックを制御する。そして、取得した付加情報を記憶部47に記憶するとともに映像出力部44に出力し、表示部54に表示中の映像に付加情報を重畳して表示するように、各回路ブロックを制御する。このとき、制御部41は、付加情報の表示制御情報にもとづき「付加情報を非表示にする」と判断すれば、表示部54に表示中の付加情報を非表示にするように、各回路ブロックを制御する。
このように、制御部41は、映像抽出部45で抽出された部分映像にもとづく映像認識処理(映像認識処理にもとづくコンテンツ特定処理)を、映像認識装置20を利用して行うように構成されている。また、映像認識装置20から取得した映像認識処理の結果にもとづき付加情報配信装置30から取得した付加情報を、表示部54に表示するか否か(映像信号に重畳するか否か)、または表示部54に表示中の付加情報を継続表示するか非表示にするか、を、付加情報の表示制御情報等にもとづき判断し、その判断にもとづく指示を映像出力部44等に出力して、付加情報の表示制御を行うように構成されている。
なお、制御部41は、映像抽出部45で抽出された部分映像からコンテンツ認識情報(例えば、フィンガープリント)を生成し、生成したコンテンツ認識情報を映像認識装置20に送信して、映像認識処理にもとづくコンテンツ認識処理を映像認識装置20に依頼するように構成されていてもよい。
なお、映像受信装置40が映像認識装置20に映像認識処理を依頼するときには、映像受信装置40が映像認識処理の依頼を表す信号(データ)を作成し、その信号を映像認識要求として映像認識装置20に送信するように付加情報表示システム10を構成してもよいが、例えば、そのような信号(データ)の送信は行わず、映像受信装置40が部分映像を映像認識装置20に送信することで映像認識装置20に映像認識処理を依頼したことになるように映像受信装置40と映像認識装置20との間であらかじめ取り決めをしておいてもよい。
コンテンツ切替検出部66は、映像信号や音声信号等にもとづき、コンテンツの切替箇所、すなわち、番組本体からCMへの切替箇所や、CMから番組本体への切替箇所を検出し、その検出結果を制御部41に出力するように構成されている。例えば、コンテンツ切替検出部66は、音声信号がステレオからモノラルへ、またはモノラルからステレオへと切り替わる点を検出し、その検出結果を制御部41へ出力する。あるいは、放送局12から放送される信号にコンテンツの切替箇所を示す信号が含まれている場合には、その信号にもとづき、コンテンツの切替箇所を検出して制御部41へ出力する。
キャリブレーション実行部491は、映像認識処理の精度向上または負荷低減のためのキャリブレーション処理を行う。キャリブレーション実行部491は、例えば、映像受信装置40の初期設定の際にキャリブレーション処理を実行してパラメータを設定する。設定されたパラメータは、以降のコンテンツ特定処理の際に、映像認識処理の精度向上または負荷低減のために使用される。
なお、キャリブレーション処理は、映像受信装置40の初期設定時に限定されるものではなく、例えば、あらかじめ定められた周期で定期的に行われてもよく、あるいは、ユーザが任意に行えるような構成であってもよい。
第2記憶部492は、例えば不揮発性メモリ等で構成された記憶装置であり、キャリブレーション処理の結果(パラメータ)を記憶する。第2記憶部492に記憶されたキャリブレーション処理の結果は、第2制御部46によって使用される。また、キャリブレーション処理の結果は、映像認識装置20のキャリブレーション用記憶部245にも記憶される。
本実施の形態における付加情報表示システム10は、以上のように構成され、次の特徴を備える。
(1)映像受信装置40は、キャリブレーション実行部491を備え、映像認識処理の精度向上または負荷低減のためのキャリブレーション処理を実行し、パラメータの初期設定を行う。
(2)映像認識装置20は、キャリブレーション部24を備え、キャリブレーション処理(パラメータ初期設定)のための映像認識処理を行う。
(3)映像受信装置40と映像認識装置20とは、上述の各処理を連携して行う。
[1−2.動作]
以上のように構成された映像受信装置40および映像認識装置20について、その動作を図3〜図10を用いて説明する。
上述したように、映像受信装置40は、例えばSTB14等の映像送信装置から映像信号が入力されると、その映像信号に対する映像認識処理を映像認識装置20を利用して行う。そして、その映像認識処理の結果に関連する付加情報51(例えば、広告情報)を付加情報配信装置30から取得し、取得した付加情報51を映像信号に重畳して表示部54に表示する。
映像受信装置40は、取得した付加情報51(例えば、広告情報)を、その付加情報51とともに取得した広告表示制御情報に含まれる広告表示期間に応じて表示または非表示にする。この広告表示制御情報とは、上述した付加情報の表示制御情報の一種である。
そして、映像受信装置40および映像認識装置20は、この映像認識処理の精度向上または負荷低減のために、キャリブレーション処理を実行し、パラメータの初期設定を行う。以下、このキャリブレーション処理時の動作を説明する。
[1−2−1.キャリブレーション処理の動作]
図3は、実施の形態1における映像受信装置40のキャリブレーション処理時の動作の一例を概略的に示すフローチャートである。
まず、映像受信装置40の第2制御部46は、キャリブレーションの開始要求を示す情報を映像認識装置20に送信するように制御部41に指示する。その情報を受信した映像認識装置20のキャリブレーション部24は、映像受信装置40においてキャリブレーション処理に使用可能な(STB14が受信可能な)チャンネルの候補を、キャリブレーションCHデータベース243から抽出する。映像認識装置20のキャリブレーション部24は、抽出したチャンネルの候補を示す情報(データ)を映像受信装置40に送信する。映像受信装置40の第2制御部46は、その情報(データ)を受信する。すなわち、映像受信装置40は、キャリブレーション処理で使用するチャンネルの候補を映像認識装置20から取得する(ステップS301)。
ステップS301では、映像受信装置40は、映像受信装置40で受信可能なチャンネル(キャリブレーション処理で使用可能なチャンネル)に関する情報(データ)を映像認識装置20から取得する。そのために、映像受信装置40の第2制御部46は、映像受信装置40が設置されている地域に関する情報(地域情報)を、キャリブレーション処理の開始要求を示す情報とともに、映像認識装置20に送信するように制御部41に指示する。この地域情報は、例えば、映像受信装置40のIPアドレスや、ユーザによって入力された地域名、等、映像受信装置40(STB14)が設置されている地域を特定するのに用いることができる情報(データ)である。
なお、映像認識装置20と映像受信装置40との間で行われるデータのやり取りは、HTTP送受信部21、42、および通信ネットワーク16を介して行われるが、以下ではこれらの説明は省略する。
なお、映像受信装置40とSTB14とは実質的に同じ場所に設置されており、映像受信装置40から送信される地域情報は、STB14が設置されている場所を示す情報でもあるものとする。
映像認識装置20が有するキャリブレーションCHデータベース243には、キャリブレーション処理に使用可能なチャンネルやコンテンツに関する複数のデータが含まれている。映像認識装置20のキャリブレーション用制御部246は、映像受信装置40から送信されてくる情報(地域情報)にもとづき、映像受信装置40でのキャリブレーション処理に使用可能なチャンネルの候補を抽出する。そして、抽出したチャンネルの候補を表す情報(データ)を映像受信装置40に送信する。
図4は、実施の形態1における映像認識装置20が有するキャリブレーション処理で使用可能なチャンネルのデータの一例を概略的に示す図である。
キャリブレーション処理では、STB14で受信可能なチャンネルが使用される必要がある。そのために、映像認識装置20は、図4に一例を示すようなチャンネルのリストを複数含むキャリブレーションCHデータベース243を有しており、映像受信装置40から送信されてくる情報(映像受信装置40が設置されている地域を特定可能な地域情報)にもとづき、このキャリブレーションCHデータベース243の中からSTB14で受信可能なチャンネルが、キャリブレーション用チャンネルの候補として選択される。
なお、キャリブレーション用チャンネルは、放送局12から放送される複数のチャンネルの中からキャリブレーション処理に使用可能なチャンネルとして映像認識装置20で選択された1つまたは複数のチャンネルであり、放送局12がキャリブレーション用チャンネルとして専用のチャンネルを設けて放送信号を送信しているわけではない。しかし、放送局12がキャリブレーション用の専用チャンネルを設けてもよい。
図4には、一例として、日本でのキャリブレーション処理に使用可能なチャンネルの候補を示す。図4に示すように、映像認識装置20のキャリブレーションCHデータベース243には、例えば、東京、大阪、その他、といった地域毎に、キャリブレーション処理に使用可能なチャンネルのデータが記憶されている。そして、映像受信装置40から送信されてくる情報(地域情報)にもとづき、それらの中からチャンネル候補を抽出して映像受信装置40に送信する。例えば、映像認識装置20は、映像受信装置40から送信されてくる地域情報にもとづき、映像受信装置40(STB14)が設置されている地域は東京であると判断すれば、東京で受信可能なチャンネルを選択し、そのチャンネルを表す情報(データ)を映像受信装置40に送信する。
次に、映像受信装置40のキャリブレーション実行部491は、映像認識装置20から送信される情報(データ)を受信すると、それに含まれるチャンネルの情報を表示部54に表示するとともに、キャリブレーション処理を実行するためにSTB14をそのチャンネル(キャリブレーション用チャンネル)に変更することをユーザに対して促すメッセージを表示部54に表示するように、制御部41に指示する。STB14においてキャリブレーション処理で使用可能なチャンネル(キャリブレーション用チャンネル)へのチャンネル変更がなされ、チャンネル変更が終了したことを示すユーザ操作およびどのチャンネルを選択したかを示すユーザ操作が行われると、映像受信装置40の操作信号受信部43は、そのユーザ操作を受け付ける。そして、映像受信装置40の第2制御部46は、キャリブレーション用チャンネルへの変更が完了したことを示す信号、およびどのチャンネルが選択されたかを示す信号を、映像認識装置20に送信するように制御部41に指示する(ステップS302)。
図5は、実施の形態1における映像受信装置40の表示部54に表示されるメッセージの一例を概略的に示す図である。
ステップS302では、図5に一例を示すように、キャリブレーション処理を実行するために、STB14の受信チャンネルをキャリブレーション用チャンネルに変更することをユーザに対して促すメッセージが表示部54に表示される。図5に示す例では、「キャリブレーションを開始します。接続されたSTBにおいてチャンネル○○を選局してください」というメッセージが表示部54に表示される。この「チャンネル○○」がキャリブレーション用チャンネルである。
このメッセージには、チャンネルの変更が終了したら、チャンネル変更が終了したことを示すユーザ操作を行うようにユーザに促すメッセージも併せて表示されることが望ましい。
なお、チャンネル変更のユーザ操作は、STB14に対してなされるものであり、チャンネル変更が終了したことを示すユーザ操作は、映像受信装置40に対してなされるものである。これは、STB14に対してなされるユーザ操作を、映像受信装置40が把握することが困難なためである。
なお、図5には、1つのチャンネル候補が表示部54に表示される例を示しているが、複数のチャンネル候補が表示され、そのうちのいずれか1つをユーザが選択するように構成されていてもよい。その場合、どのチャンネルを選択したかを示すユーザ操作を行うようにユーザに促すメッセージも併せて表示されることが望ましい。この、どのチャンネルを選択したかを示すユーザ操作も、映像受信装置40に対してなされるものである。
なお、映像認識装置20から映像受信装置40へ複数のチャンネル候補の情報が送信されたとき、そのうちのいずれか1つが映像受信装置40で選択され、その選択された1つのチャンネルだけが表示部54に表示され、かつ、映像受信装置40で選択されたチャンネルを示す情報が映像受信装置40から映像認識装置20へ送信される構成であってもよい。
そして、STB14においてキャリブレーション処理で使用可能なチャンネル(キャリブレーション用チャンネル)へのチャンネル変更がなされ、チャンネル変更が終了したことを表すユーザ操作が行われると、映像受信装置40のキャリブレーション実行部491は、キャリブレーション用チャンネルへの変更が完了したことを示す信号(および、どのチャンネルが選択されたかを示す信号)を映像認識装置20に送信するように、制御部41に指示する。
次に、映像受信装置40は、映像認識装置20と連携してパラメータ設定処理を開始する(ステップS303)。ステップS303の詳細については後述する。
なお、ステップS302でユーザ操作により選択されたチャンネルが、上述の「キャリブレーション用に指定されたチャンネル」であり、映像認識装置20のキャリブレーション用映像抽出部244は、放送局12から放送される放送信号から、このチャンネルの放送信号を受信してキャリブレーション処理用の映像信号を抽出する。
次に、ステップS303で行われたパラメータ設定処理の結果、すなわち、キャリブレーション処理によって決定されたパラメータを表す情報、が映像認識装置20から映像受信装置40に送信される。映像受信装置40の第2制御部46は、そのパラメータを表す情報を受信する(ステップS304)。
このパラメータは、映像受信装置40から映像認識装置20に送信される部分映像に対して映像認識装置20が映像認識処理を行う際、映像認識装置20の記憶部23に記憶されたフィンガープリントの照合範囲(または照合開始点)を設定するのに使用される。このパラメータの詳細は後述する。
そして、このパラメータは映像受信装置40の第2記憶部492に記憶され保存される(ステップS305)。第2記憶部492に記憶されたパラメータは、以降の映像認識処理で継続して使用される。
次に、本実施の形態におけるキャリブレーション処理について説明する。
図6は、放送局12から放送される放送信号が映像受信装置40で表示されるまでの経路の一例を概略的に示す図である。
図6に示す例では、第1経路では、放送局12から放送される放送信号は、中継設備61を経由せずにSTB14aで受信され、その放送信号による映像信号がSTB14aから映像受信装置40aに入力される。一方、第2経路では、放送局12から放送される放送信号は、中継設備61を経由してSTB14bで受信され、その放送信号による映像信号がSTB14bから映像受信装置40bに入力される。なお、図6に示す映像入力部48a、48bは、映像入力部48と実質的に同じ構成、動作であり、キャリブレーション実行部491a、491bは、キャリブレーション実行部491と実質的に同じ構成、動作である。
このように、放送局12から放送される放送信号は、一様にSTB14や映像受信装置40で受信されるのではなく、中継設備61を経由せずに直接受信される場合もあれば、途中に単数または複数の中継設備61を経由して受信される場合もあり、その経路は多様である。
そして、放送局12から放送される放送信号がSTB14や映像受信装置40で受信されるタイミングは、その経路によって変化する。
図7は、放送局12から放送される放送信号がSTB14で受信されるまでの時間遅延の一例を概略的に示す図である。
図7では、横軸に時間の経過を示す。そして、放送局12が放送する放送信号による映像と、映像受信装置40aが表示する映像と、映像受信装置40bが表示する映像と、を概略的に示す。
例えば、図6に示した例では、放送局12から放送される放送信号を中継設備61を経由せずにSTB14aが受信する第1経路では、放送局12から放送される放送信号が映像受信装置40aで表示されるまでの時間遅延はΔT1である。一方、放送局12から放送される放送信号を中継設備61を経由してSTB14bが受信する第2経路では、放送局12から放送される放送信号が映像受信装置40bで表示されるまでの時間遅延は、ΔT1よりも大きいΔT2である。これは、第2経路では、中継設備61を経由した分の時間遅延が生じたためである。
なお、このような時間遅延は、チャンネルによって異なる場合があり、あるいは、同一のチャンネルであっても、キー局から全国放送が放送される時間帯と、地方局から地域放送が放送される時間帯とで異なる場合がある。
このように、放送局12から放送される放送信号が映像受信装置40で表示されるまでの時間遅延は、放送局12からSTB14までの経路によって異なる場合がある。そして、そのような時間遅延の差が生じると、映像認識装置20が映像受信装置40から部分映像を受信する時刻にも差が生じてしまう。例えば、映像受信装置40aから送信されてくる部分映像と、映像受信装置40bから送信されてくる部分映像とでは、映像認識装置20が受信するタイミングは異なる。このように、たとえ同じ部分映像であっても、映像認識装置20が受信するタイミングが映像受信装置40毎に異なると、映像認識装置20では、映像認識処理を行う際に、その時間遅延の差を見込んで、より広い範囲の画像データ(フィンガープリント)と照合を行わなければならなくなり、映像認識処理の負荷が増加する。
本実施の形態では、放送局12から放送される放送信号が映像受信装置40で表示されるまでの時間遅延に、映像受信装置40毎の差が生じたとしても、映像認識処理にかかる負荷の低減が図れるように、キャリブレーションを行う。
図8は、実施の形態1における付加情報表示システム10で行うキャリブレーション処理の一例を映像を用いて概略的に示す図である。
図8では、横軸に時間の経過を示す。そして、放送局12が放送する放送信号による映像と、映像認識装置20が放送局12から受信した放送信号による映像と、映像受信装置40が表示する映像と、映像認識装置20が映像受信装置40から受信するキャリブレーション用の部分映像と、を概略的に示す。
図9は、実施の形態1における付加情報表示システム10で行うパラメータ設定処理の動作の一例を概略的に示すフローチャートである。図9に示すフローチャートは、図3に示したステップS303のパラメータ設定処理を詳細に示したフローチャートである。
以下、図8の説明を交えながら、図9に示すフローチャートを説明する。
映像認識装置20のキャリブレーション用データ生成部242は、キャリブレーション処理時に用いるフィンガープリントを生成して、キャリブレーション用データベースを生成する(ステップS1001)。
図8に示す例では、映像認識装置20は、放送局12から送信される放送信号を、映像受信装置40よりも短い時間遅延で受信している。キャリブレーション用データ生成部242は、この放送信号から、キャリブレーション処理を実行する際に用いるフィンガープリントを生成する。ステップS1001で生成されたフィンガープリントは、キャリブレーション用記憶部245に記憶される。また、フィンガープリントの元となる映像信号の受信時刻(その映像信号が重畳された放送信号を映像認識装置20が受信した時刻)が、フィンガープリントに関連付けられて、キャリブレーション用記憶部245に記憶される。
このように、フィンガープリントと受信時刻とが互いに関連付けられてキャリブレーション用記憶部245に記憶されることで、キャリブレーション用データベースが構成されている。
なお、図8では、映像受信装置40がキャリブレーション用の映像として映像認識装置20に送信する部分映像の先頭の映像の放送信号を映像認識装置20が放送局12から受信する時刻を、時刻Ts1、Ts2、・・・、Tsnと記す。
映像受信装置40の映像抽出部45は、第2制御部46の指示にもとづき、STB14から映像受信装置40に入力される映像信号から、キャリブレーション用の部分映像を取得する(ステップS1002)。
映像受信装置40のキャリブレーション実行部491は、ステップS1002で取得されたキャリブレーション用の部分映像を映像認識装置20に送信するように制御部41に指示する(ステップS1003)。
映像認識装置20は、ステップS1003で映像受信装置40から送信されたキャリブレーション用の部分映像を受信する。そして、その受信時刻Ts1´がキャリブレーション用記憶部245に保存される(ステップS1004)。
なお、図8では、キャリブレーション用の映像として映像受信装置40が送信した部分映像の映像認識装置20における受信時刻(部分映像の先頭映像の受信時刻)を、時刻Ts1´、Ts2´、・・・、Tsn´と記す。
図8では、時刻Ts1´、Ts2´、・・・、Tsn´のそれぞれは、時刻Ts1、Ts2、・・・、Tsnよりも遅い時刻であるが、この時間差は、上述したように、放送局12からSTB14までの放送信号の送信経路にもとづくものであり、また、映像受信装置40における各種処理に要する時間や、映像受信装置40から映像認識装置20へのデータ送信に要する時間、等にもとづくものである。
なお、この時間差は、上述したように、映像認識装置20およびSTB14(映像受信装置40)の設置場所や放送信号の送信経路、等によって変化する。
映像認識装置20のキャリブレーション用比較検索部241は、映像受信装置40から送信されてきたキャリブレーション用の部分映像から生成されたフィンガープリントを、キャリブレーション用記憶部245に記憶されているキャリブレーション用データベースに照合する(ステップS1005)。そして、そのデータベースの中から最も類似度が高いフィンガープリントを選定し、映像受信装置40から送信されてきた部分映像に対応するフィンガープリントとする。また、そのフィンガープリントに関連付けられた受信時刻が併せてキャリブレーション用記憶部245から読み出される。
こうして、映像受信装置40から送信されてきたキャリブレーション用の部分映像に対応する映像が特定され、その映像が重畳された放送信号の受信時刻Ts1が決定される。
キャリブレーション用制御部246は、時刻Ts1と時刻Ts1´の時間差を算出し、その結果をキャリブレーション用記憶部245に記憶する(ステップS1006)。
この時点でキャリブレーション処理が突然終了した場合に備え、キャリブレーション用制御部246は、ステップS1006の演算結果を、キャリブレーション用記憶部245にパラメータとして仮保存する(ステップS1007)。これは、ステップS1006の結果をパラメータとして利用できるようにするためである。
ステップS1002からステップS1007までの各ステップは、N回(Nは1以上の整数)繰り返される(ステップS1008)。
これにより、ステップS1004では、時刻Ts2´、Ts3´、・・・、Tsn´が測定され、ステップS1005では時刻Ts2、Ts3、・・・、Tsnが決定される。そして、ステップS1006では、時刻Ts2と時刻Ts2´の時間差、時刻Ts3と時刻Ts3´の時間差、・・・、時刻Tsnと時刻Tsn´の時間差、がそれぞれ算出される。すなわち、N個の時間差が算出される。
ステップS1002からステップS1007までの各ステップがN回繰り返された後、キャリブレーション用制御部246は、ステップS1006で算出されキャリブレーション用記憶部245に記憶されたN個の時間差、すなわち、時刻Ts1と時刻Ts1´の時間差、時刻Ts2と時刻Ts2´の時間差、・・・、時刻Tsnと時刻Tsn´の時間差、にもとづき最終的なパラメータを決定する(ステップS1009)。
このように、本実施の形態において、ステップS1009で決定されるパラメータは、映像受信装置40から送信される部分映像を映像認識装置20が受信した時刻(例えば、時刻Ts1´、Ts2´、・・・、Tsn´)と、その部分映像に対応する放送信号を映像認識装置20が受信した時刻(例えば、時刻Ts1、Ts2、・・・、Tsn)との時間差を表すものである。
なお、キャリブレーション用制御部246は、ステップS1006で算出されたN個の時間差を、ステップS1009において加算平均し、これにより最終的なパラメータを算出してもよいが、本実施の形態は何らこの算出方法に限定されるものではない。例えば、キャリブレーション用制御部246は、N個の時間差の最頻値(最も多く現れる数値)を最終的なパラメータとしてもよく、あるいは、N個の時間差の分布の中央値を最終的なパラメータとしてもよい。あるいは、その他の統計的手法により最終的なパラメータを決定してもよい。
ステップS1009で決定されたパラメータは、キャリブレーション用記憶部245に記憶されるとともに、映像認識装置20から映像受信装置40に送信され、映像受信装置40の第2記憶部492に記憶される。
こうして、ステップS303のパラメータ設定処理が終了する。
第2記憶部492に記憶されたパラメータは、映像受信装置40が映像認識装置20にコンテンツ特定処理を依頼する際に、映像受信装置40から映像認識装置20に部分映像とともに送信される。すなわち、映像受信装置40の制御部41は、第2記憶部492に記憶されたパラメータを、部分映像とともに映像認識装置20へ送信して、映像認識装置20に映像認識処理を依頼する。
映像認識装置20では、記憶部23に記憶されているフィンガープリントと、映像受信装置40から送信されてきた部分映像から生成されたフィンガープリントとを照合する際に、このパラメータが使用される。すなわち、映像認識装置20の検索部22は、このパラメータにもとづき、記憶部23に記憶されているフィンガープリントのデータベースにおける照合範囲(または、照合開始点)を設定し、その設定された照合範囲(または、照合開始点)にもとづき、映像受信装置40から受信した部分映像に関する映像認識処理を行う。
このパラメータを用いずに映像認識処理を行う場合、映像認識装置20は、上述した時間遅延の差を見込んで映像認識処理のための照合範囲を設定しなければならず、その照合範囲は相対的に大きくなる。
しかし、このパラメータを用いて映像認識処理のための照合範囲を設定すれば、このパラメータを用いない場合と比較して、照合範囲を狭めることができる。したがって、映像認識装置20における映像認識処理の負荷を低減することができる。また、映像認識処理時の負荷が低減されることで、映像認識処理の精度を向上することもできる。
[1−3.効果等]
以上のように、本実施の形態において、映像受信装置40は、通信ネットワーク16を介してデータの送受信を行えるように構成されており、映像入力部48、映像抽出部45、制御部41、およびキャリブレーション実行部491を備える。映像入力部48は、外部に設置された映像送信装置(例えば、STB14)から出力される映像信号を入力するように構成されている。映像抽出部45は、その映像信号から映像認識処理用の部分映像を抽出するように構成されている。制御部41は、通信ネットワーク16に接続された映像認識装置20に、部分映像または部分映像から生成したコンテンツ認識情報を送信して映像認識処理を依頼し、その映像認識処理の結果を映像認識装置20から取得し、その映像認識処理の結果に基づく付加情報を、通信ネットワーク16に接続された付加情報配信装置30から取得する制御を行うように構成されている。キャリブレーション実行部491は、映像認識装置20と連携してキャリブレーション処理を行い所定のパラメータを設定するように構成されている。
映像認識装置20は、映像受信装置40と連携してキャリブレーション処理を行い所定のパラメータを設定して映像受信装置40へ送信するように構成されている。
このキャリブレーション中に、映像受信装置40の映像入力部48に入力される映像信号は、キャリブレーション用チャンネルの放送信号の映像信号であり、映像認識装置20で受信される放送信号は、そのキャリブレーション用チャンネルの放送信号である。
映像受信装置40のキャリブレーション実行部491は、映像認識装置20からキャリブレーション処理の結果として送信されてくるパラメータを受信して記憶するように構成されていてもよい。
また、キャリブレーション実行部491は、キャリブレーション処理の開始要求とともに、映像受信装置40が設置されている地域の特定に用いることができる地域情報を映像認識装置20に送信し、映像認識装置20から送信されてくるキャリブレーション用チャンネルの候補を示す情報を受信するように構成されていてもよい。
このとき、映像認識装置20は、映像受信装置40から受信した地域情報にもとづき、キャリブレーションCHデータベース243からキャリブレーション用チャンネルの候補を選択して映像受信装置40へ送信するように構成されていてもよい。
また、映像受信装置40は、映像信号に付加情報を重畳した映像を表示するように構成された表示部54、をさらに備え、キャリブレーション実行部491は、表示部54に、キャリブレーション用チャンネルの候補を表示するとともに、キャリブレーション用チャンネルの候補のいずれかにチャンネルを変更するようにユーザに促すメッセージを表示するように構成されていてもよい。
また、映像受信装置40は、チャンネル変更が終了したことを示すユーザ操作を受け付けるように構成された操作信号受信部43を備えていてもよい。
このパラメータは、映像受信装置40から送信される部分映像が映像認識装置20で受信される時刻と、部分映像に対応する映像信号が映像認識装置で取得される時刻との時間差を示すデータであってもよい。また、制御部41は、そのパラメータを部分映像またはコンテンツ認識情報とともに映像認識装置20へ送信して映像認識処理を依頼するように構成されていてもよい。
このとき、映像認識装置20は、映像受信装置40から送信されてくる部分映像を映像認識装置20で受信する時刻と、その部分映像に対応する映像信号を映像認識装置20で取得する時刻との時間差を示すパラメータを設定して映像受信装置40に送信するように構成されていてもよい。
これにより、映像認識装置20では、このパラメータを用いずに映像認識処理を行う場合と比較して、映像認識処理を行う際の照合範囲を狭めることができるので、映像認識処理にかかる負荷を軽減することができる。
(実施の形態2)
実施の形態1で設定されたパラメータは、映像認識処理を行う際にフィンガープリントのデータベースにおける照合範囲の設定に用いられるものであったが、キャリブレーション処理によって設定されるパラメータは何らこれに限定されない。本実施の形態では、他のパラメータをキャリブレーション処理によって設定する例を説明する。
以下、図10〜図14を用いて、実施の形態2を説明する。
なお、実施の形態1では、映像受信装置40から映像認識装置20へ部分映像を送信してコンテンツ特定処理を行う構成を説明したが、映像受信装置から映像認識装置へフィンガープリントを送信してコンテンツ特定処理を行ってもよい。本実施の形態では、映像受信装置140において部分映像からフィンガープリントを生成し、このフィンガープリントを映像受信装置140から映像認識装置120へ送信してコンテンツ特定処理を依頼する構成を説明する。
[2−1.構成]
本実施の形態に示す付加情報表示システム110は、構成要素に映像認識装置120および映像受信装置140を備える。
図10は、実施の形態2における映像認識装置120および映像受信装置140の構成の一例を概略的に示すブロック図である。図10には、本実施の形態に示す動作に関連する主な回路ブロックを示しており、他の動作に関する機能や回路ブロックは省略している。なお、本実施の形態では、図2に示した映像認識装置20および映像受信装置40と実質的に同じ動作を行う構成要素には、その構成要素と同じ符号を付与し、説明を省略する。
映像認識装置120は、HTTP送受信部21、検索部22、記憶部23、およびキャリブレーション部124、を備える。
キャリブレーション部124は、キャリブレーション用比較検索部241、キャリブレーション用データ生成部242、キャリブレーションCHデータベース243、キャリブレーション用映像抽出部244、キャリブレーション用記憶部245、およびキャリブレーション用制御部256、を有する。キャリブレーション部124は、映像受信装置140が有するキャリブレーション実行部493と通信を行いながらキャリブレーション処理を実行するように構成されている。
映像認識装置120は、実施の形態1に示した映像認識装置20と実質的に同じ構成であり、実質的に同じ動作を行う。ただし、キャリブレーション部124において行うキャリブレーション処理(キャリブレーション処理で設定されるパラメータ)が、実施の形態1で説明したキャリブレーション部24と異なる。この詳細は後述する。
映像受信装置140は、制御部141、HTTP送受信部42、操作信号受信部43、映像出力部44、表示部54、映像抽出部45、記憶部47、コンテンツ切替検出部66、キャリブレーション実行部493、および映像入力部48を備える。キャリブレーション実行部493は、第2制御部146、第2記憶部492、を有する。
映像受信装置140は、実施の形態1に示した映像受信装置40と実質的に同じ構成であり、実質的に同じ動作を行う。ただし、制御部141が部分映像からフィンガープリントを生成し、このフィンガープリントを映像認識装置120へ送信してコンテンツ特定処理を依頼する点と、第2制御部146およびキャリブレーション実行部493において行うキャリブレーション処理(設定されるパラメータ)が、実施の形態1で説明した第2制御部46およびキャリブレーション実行部491と異なる。この詳細は後述する。
[2−2.動作]
以下、実施の形態2におけるキャリブレーション処理時の動作を説明する。
実施の形態1では、図6、図7を用いて、放送局12から放送信号が送信されてからSTB14で受信されるまでの間に、中継設備61を経由するかどうか、あるいは、何台の中継設備61を経由するか、等によって、STB14毎に、放送信号を受信するまでの時間(時間遅延)に差が生じることを説明した。そして、映像認識装置20で行う映像認識処理の負荷がこの時間遅延の差によって増大することを防止するために、キャリブレーション処理を行ってパラメータを設定する例を説明した。
しかし、放送信号の送信経路の違いによって生じるのは、時間遅延の差だけではない。このような送信経路の違いは、STB14で受信される放送信号の映像信号に変化を生じさせる可能性がある。この映像信号に生じる可能性がある変化の一例を、図11A、図11Bを用いて説明する。
図11Aは、放送局12から送信された放送信号がSTB14で受信されるまでの間に劣化した場合に表示映像に生じる変化の一例を概略的に示す図である。
STB14で受信される放送信号が何らかの原因で劣化した場合、例えば、図11Aに示すように、表示映像に明度や色相の変化が生じたり、画質が劣化して映像が不鮮明になることがある。
図11Bは、放送局12から送信された放送信号の映像信号に加工が施された場合の表示映像の一例を概略的に示す図である。
STB14の動作の仕様によっては、例えば図11Bに示すように、放送信号の映像信号にSTB14が加工を施し、映像サイズに変化が生じたり、元の映像には無い情報が重畳されることがある。
放送局12が放送するオリジナルの映像に対して、映像受信装置140の表示部54に表示される映像が変化していると、その変化の度合いに応じて、その映像から切り出された部分映像に対して映像認識装置120で行われる映像認識処理の精度は低下する。例えば、図11A、11Bに一例を示すように、その変化が相対的に大きなものであれば、映像認識処理の精度は、相対的に大きく低下する可能性がある。したがって、そのような場合には、できるだけ多くの部分映像を映像受信装置140から映像認識装置120に送信し、映像認識処理の回数を増やすことで映像認識処理の精度を上げることが望ましい。しかし、それは、通信データ量(映像受信装置140から映像認識装置120に送信されるデータ量)を増大させるだけでなく、映像認識処理にかかる負荷や時間等を増大させる可能性がある。
一方、映像受信装置140の表示部54に表示される映像が、放送局12から送信されるオリジナルの映像と比較して相対的に少ない変化しかなければ、映像受信装置140から映像認識装置120に送信する部分映像の送信周期を相対的に長くし、映像認識装置120で行う映像認識処理の回数を相対的に減少させても、映像認識処理を高精度に行うことが可能である。
しかし、STB14から出力される映像信号が、放送局から送信されるオリジナルの映像信号と比較してどの程度変化しているかを映像受信装置140が把握することは、困難である。
映像受信装置140から映像認識装置120へ、常時、大量の情報(部分映像から生成したフィンガープリント)を送信しておけば、映像の変化の度合いが不明であっても、映像認識処理の精度を維持することは可能である。しかし、このような動作を映像受信装置140が行うと、映像受信装置140から映像認識装置120へ送信されるデータ量や映像認識装置120における負荷が増大するため、望ましくない。
本実施の形態では、このような状況に対応するためのパラメータをキャリブレーション処理により設定する。
なお、実施の形態2において行うキャリブレーション処理の手順は、実施の形態1で図3に示したフローチャートと実質的に同じである。ただし、図3に示したステップS303のパラメータ設定処理の動作が、実施の形態1で図9を用いて説明したフローチャートとは異なる。
以下、実施の形態1とは異なる、本実施の形態におけるステップS303のパラメータ設定処理の動作を説明する。
[2−2−1.キャリブレーション処理の動作]
図12は、実施の形態2における付加情報表示システム110で行うキャリブレーション処理の一例を映像を用いて概略的に示す図である。
図13は、実施の形態2における付加情報表示システム110で行うパラメータ設定処理の動作の一例を概略的に示すフローチャートである。
図14は、図13に示すフローチャートを映像受信装置140と映像認識装置120のそれぞれの動作に分けて示すフローチャートである。
以下、図12、図14の説明を交えながら、図13に示すフローチャートを説明する。
本実施の形態では、図12に模式的に示すように、映像抽出部45において行う部分映像の切り出しの周期を決めるパラメータを、キャリブレーション処理によって設定する。
以下の例では、部分映像の切り出し周期が相対的に短くなるように設定された(すなわち、映像受信装置140から映像認識装置120への送信データ量が相対的に大きい)パラメータaと、部分映像の切り出し周期が相対的に長くなるように設定された(すなわち、送信データ量が相対的に小さい)パラメータcと、パラメータaとパラメータcの中間に設定されたパラメータbと、の3つのパラメータa、b、cがあらかじめ準備され、キャリブレーション処理によりこれらのいずれかが選択される動作を説明する。なお、本実施の形態におけるパラメータは何らこの3つに限定されるものではなく、4つ以上であってもよく、2つであってもよい。
上述したように、STB14から映像受信装置140に入力される映像信号が、放送局12から放送されるオリジナルの映像信号と比較して、相対的にわずかな変化でしかなければ、映像受信装置140は、パラメータcを選択し、映像受信装置140から映像認識装置120へ送信するデータの量を相対的に少なくすることができる。
一方、その変化が相対的に大きなものであれば、映像受信装置140は、パラメータaまたはパラメータbを選択し、映像受信装置140から映像認識装置120へ送信するデータの量を相対的に多くして、映像認識装置120における映像認識処理の精度を上げることが望ましい。
図13のフローチャートには、このパラメータをどのようにして設定するのか、その手順を示している。
なお、図14のフローチャートには、図13に示すフローチャートに加え、図3に示したステップS301、S302をより詳細に示している。まず、そのステップを説明する。
映像受信装置140の第2制御部146は、キャリブレーションの開始要求を示す情報を映像認識装置120に送信するように制御部141に指示する(ステップS3011)。
その情報を受信した映像認識装置120のキャリブレーション部124は、映像受信装置140においてキャリブレーション処理に使用可能な(STB14が受信可能な)チャンネルの候補を、キャリブレーションCHデータベース243から抽出する(ステップS3012)。
映像認識装置120のキャリブレーション部124は、抽出したチャンネルの候補を示す情報を映像受信装置40に送信する。映像受信装置140の第2制御部146は、その情報を受信する(ステップS3013)。
これらのステップS3011、S3012、S3013は、実施の形態1で図3に示したステップS301に相当する。
映像受信装置140のキャリブレーション実行部493は、映像認識装置120から送信される情報を受信すると、それに含まれるチャンネル情報を表示部54に表示するとともに、キャリブレーション処理を実行するためにSTB14をそのチャンネル(キャリブレーション用チャンネル)に変更することをユーザに対して促すメッセージを表示部54に表示するように、制御部141に指示する(ステップS3021)。
STB14においてキャリブレーション処理で使用可能なチャンネル(キャリブレーション用チャンネル)へのチャンネル変更がなされ、チャンネル変更が終了したことを示すユーザ操作およびどのチャンネルを選択したかを示すユーザ操作が行われると、映像受信装置140の操作信号受信部43は、そのユーザ操作を受け付ける(ステップS3022)。
そして、映像受信装置140の第2制御部146は、キャリブレーション用チャンネルへの変更が完了したことを示す情報(データ)、およびどのチャンネルが選択されたかを示す情報(データ)を、映像認識装置120に送信するように制御部141に指示する(ステップS3023)。
これらのステップS3021、S3022、S3023は、実施の形態1で図3に示したステップS302に相当する。
次に、映像受信装置140のキャリブレーション実行部493は、映像認識装置120と連携してパラメータ設定処理を開始する。
まず、映像受信装置140のキャリブレーション実行部493は、パラメータを初期化する(ステップS1201)。
このパラメータの初期化とは、あらかじめ準備された複数のパラメータのいずれか1つを選択することである。ここでは、パラメータの初期化により、例えばパラメータaが選択されるものとするが、パラメータa以外のパラメータが選択されてもよい。そして、選択されたパラメータを示す情報が、映像受信装置140から映像認識装置120へ送信される。
次に、ステップS1201で選択されたパラメータ(例えば、パラメータa)が、これから行われる映像認識処理に使用されるパラメータとして、映像受信装置140のキャリブレーション実行部493、映像認識装置120のキャリブレーション部124のそれぞれで設定される(ステップS1202)。
次に、キャリブレーション実行部493とキャリブレーション部124は、同期処理を行う(ステップS1203)。
同期処理とは、キャリブレーション用に映像受信装置140から映像認識装置120に送信される部分映像のフィンガープリントと、映像認識装置120がキャリブレーション用に受信したチャンネルの映像から生成したフィンガープリントとのタイミングを互いに合わせる処理のことである。すなわち、映像認識処理を行うときに、互いに同じ映像から生成されたフィンガープリント同士を比較できるように、両者のタイミングを合わせる処理のことである。
なお、これらのフィンガープリントは、互いに同じキャリブレーション用チャンネルの映像から生成されるものとする。
この同期処理は、例えば、実施の形態1に示したキャリブレーション処理を事前に行い、STB14から映像受信装置140に入力される映像信号と、映像認識装置120が放送局12から受信する放送信号の映像信号との時間差を検出し、その検出結果を用いて行ってもよい。
次に、映像認識装置120のキャリブレーション用映像抽出部244は、映像認識装置120で受信されたキャリブレーション用チャンネルの放送信号から、映像認識処理に使用する映像信号を、部分映像の長さに合わせて、取得する。例えば、キャリブレーション用映像抽出部244は、部分映像の長さが2秒間であれば、2秒間の連続する映像信号を1つのまとまりとし、受信した放送信号から2秒間の映像信号を連続して取得する。映像受信装置140の映像抽出部45は、ステップS1202で設定されたパラメータ(例えば、パラメータa)にもとづく周期で、STB14から入力される映像信号から部分映像を切り出す。部分映像の長さが例えば2秒間に設定され、パラメータにもとづく周期が例えば2秒であれば、映像抽出部45は、2秒間の連続する映像信号を1つの部分映像とし、入力映像信号から2秒周期で部分映像を切り出す(ステップS1204)。
映像認識装置120のキャリブレーション部124と、映像受信装置140のキャリブレーション実行部493とは、ステップS1203で同期処理を行っているので、映像認識装置120のキャリブレーション用映像抽出部244が取得する映像信号(例えば、2秒間の連続する映像信号)と、映像受信装置140の映像抽出部45が取得する部分映像(例えば、2秒間の連続する映像信号)とは、互いにタイミングがあっており、互いに同じ内容の映像信号である。
次に、映像認識装置120のキャリブレーション用データ生成部242は、キャリブレーション用映像抽出部244が取得した映像信号からフィンガープリントを生成する。映像受信装置140の制御部141は、映像抽出部45が取得した部分映像からフィンガープリントを生成する(ステップS1205)。
ステップS1205において、映像受信装置140で生成されたフィンガープリントは、映像受信装置140から映像認識装置120に送信され、映像認識装置120で受信される(ステップS1215)。
ステップS1215で映像認識装置120が受信したフィンガープリントは、映像認識装置120のキャリブレーション用比較検索部241において、ステップS1205でキャリブレーション用データ生成部242が生成したフィンガープリントと、照合される(ステップS1206)。こうして、映像認識装置120において、キャリブレーション用の映像認識処理が行われる。
ステップS1206で2つのフィンガープリントが比較されるとき、その一致度合いが誤差として数値化される(ステップS1207)。2つのフィンガープリントが完全に一致すれば、誤差は例えば0%であり、2つのフィンガープリントが全く一致しなければ、誤差は例えば100%である。この動作は所定回数行われ、その中の例えば最良値がステップS1207における最終的な誤差として、採用される。この最良値とは、誤差の数値が最も小さい値のことである。
例えば、あらかじめ設定された所定時間が12秒間であり、1つの部分映像の長さが2秒間であり、ステップS1202で設定されたパラメータによる部分映像の切り出し周期が2秒であれば、この所定時間の間に6回の映像認識処理が行われることになる。こうして複数回の映像認識処理が行われ、複数の誤差が算出される。そして、そのうちの例えば最良値が、最終的な誤差となる。
このようにして求められた誤差は、ステップS1202で設定されたパラメータの評価結果としてそのパラメータに関連付けられて、キャリブレーション用記憶部245に記憶される。
この処理が正常に行われたとき、映像認識装置120は、この処理が正常に行われたことを示す情報を映像受信装置140に送信してもよい。
なお、誤差の算出方法は何ら上述の方法に限定されるものではなく、例えば、複数回行われた結果の加算平均や最頻値、または分布の中央値、あるいはその他の統計的手法、等により最終的な誤差が決定されてもよい。
ステップS1202からステップS1207までの各ステップは、あらかじめ準備されたパラメータの数だけ繰り返される(ステップS1208)。
例えば、パラメータa以外に、パラメータb、cの2つのパラメータがあらかじめ準備されていれば、ステップS1202からステップS1207までの各ステップは、さらに2回繰り返される。2巡目には、ステップS1202では、パラメータbが設定され、このパラメータbが例えば4秒周期に設定されていれば、ステップS1204では、映像抽出部45は、例えば2秒間の連続する部分映像を、入力映像信号から4秒周期で切り出す(すなわち、2秒間の部分映像を2秒の間隔をおいて切り出す)。そして、ステップS1207では、例えば所定時間が12秒間であれば、所定時間の間に3回の映像認識処理が行われ、その結果にもとづき、最終的な誤差が求められる。
また、3巡目には、ステップS1202では、パラメータcが設定され、このパラメータcが例えば6秒周期に設定されていれば、ステップS1204では、映像抽出部45は、例えば2秒間の連続する部分映像を、入力映像信号から6秒周期で切り出す(すなわち、2秒間の部分映像を4秒の間隔をおいて切り出す)。そして、ステップS1207では、例えば所定時間が12秒間であれば、所定時間の間に2回の映像認識処理が行われ、その結果にもとづき、最終的な誤差が求められる。
あらかじめ準備されたパラメータの数だけステップS1202からステップS1207までの各ステップが繰り返されると、あらかじめ準備されたパラメータのそれぞれに対する評価結果が、キャリブレーション用記憶部245に記憶される。
キャリブレーション用制御部256は、それらの評価結果を比較し、その比較結果にもとづき最終的なパラメータを決定する(ステップS1209)。
例えば、ステップS1207で算出された誤差が、各パラメータのそれぞれで所定のしきい値未満であれば、キャリブレーション用制御部256は、部分映像の切り出し周期を長くし映像認識処理の回数(所定時間あたりの回数)を少なくしても映像認識処理を高精度に行うことができると判断し、例えばパラメータcを最終的なパラメータに採用する。また、例えば、ステップS1207で算出された誤差が、各パラメータのそれぞれで所定のしきい値以上であれば、キャリブレーション用制御部256は、部分映像の切り出し周期を短くし映像認識処理の回数(所定時間あたりの回数)を多くしないと映像認識処理の精度を保てないと判断し、例えばパラメータaを最終的なパラメータに採用する。また、例えば、ステップS1207で算出された誤差に所定のしきい値以上のものと所定のしきい値未満のものとが混在していれば、キャリブレーション用制御部256は、例えばパラメータbを最終的なパラメータに採用する。
このように、キャリブレーション用制御部256は、あらかじめ準備された複数のパラメータのそれぞれにおける評価結果を比較し、映像認識処理が精度良く行われ、かつ映像認識処理にかかる負荷や通信データ量を低減できるように、最終的なパラメータを決定する。
ステップS1209で決定されたパラメータは、キャリブレーション用記憶部245に記憶されるとともに、映像認識装置120から映像受信装置140に送信され、映像受信装置140の第2記憶部492に記憶される。第2記憶部492に記憶されたパラメータは以降の映像認識処理に用いられ、このパラメータにもとづく周期で、映像抽出部45は部分映像を切り出す。
[2−3.効果等]
以上のように、本実施の形態において、映像認識装置120は、映像受信装置140と連携して、映像抽出部45における部分映像の抽出の周期に関するパラメータを設定して映像受信装置140に送信するように構成されている。映像抽出部45は、このパラメータにもとづく周期で部分映像を映像信号から抽出するように構成されている。
映像受信装置140における部分映像の切り出し周期は、実質的に、映像受信装置140から映像認識装置120に映像認識処理を依頼する周期、すなわち、映像認識装置120が映像認識処理を実行する周期、となる。
これにより、STB14から映像受信装置140に入力される映像信号が、放送局12が送信するオリジナルの映像信号からどの程度変化しているのか、その変化の度合いに応じて、映像抽出部45が部分映像を切り出す周期、すなわち、映像認識処理を実行する周期、を設定することができる。
したがって、その変化の度合いが相対的に小さく映像認識処理を高精度に行えるときは、部分映像を切り出す周期を長くして、映像認識処理を行う際に映像認識装置120にかかる負荷や、映像認識処理を依頼するために映像受信装置140から映像認識装置120に送信されるデータ量を低減することができる。また、その変化の度合いが相対的に大きく映像認識処理の精度の低下が予想されるとき、例えば、STB14における放送信号の受信環境が良好ではなく受信信号が減衰したりS/N比が劣化したりする場合や、STB14で映像信号に何らかの情報を重畳して出力する場合等は、部分映像を切り出す周期を短くして映像受信装置140から映像認識装置120に映像認識処理を依頼する周期を短くし、映像認識処理を精度良く行うことが可能になる。
(他の実施の形態)
以上のように、本出願において開示する技術の例示として、実施の形態1、2を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略等を行った実施の形態にも適用できる。また、上記実施の形態1、2で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
そこで、以下、他の実施の形態を例示する。
実施の形態1では、STB14をキャリブレーション用チャンネルに変更することをユーザに対して促すメッセージを表示部54に表示し、ユーザ操作によりチャンネル変更が行われた後、パラメータ設定処理を開始する構成を説明したが、本開示は何らこの構成に限定されるものではなない。例えば、以下に示す動作の後、パラメータ設定処理を開始してもよい。
図15は、他の実施の形態における映像受信装置142の表示部54に表示されるメッセージの一例を概略的に示す図である。
図16は、他の実施の形態における映像受信装置142のキャリブレーション処理時の動作の一例を概略的に示すフローチャートである。
以下、図15の説明を交えながら、図16に示すフローチャートを説明する。なお、図16に示すフローチャートは、ステップS303のパラメータ設定処理にいたるまでの各ステップが、図3に示したフローチャートと異なる。
映像受信装置142は、STB14から映像信号が入力されると、その映像信号から部分映像を切り出して映像認識装置へ送信し、映像認識処理を依頼する(ステップS1501)。
部分映像を受信した映像認識装置は、その部分映像からフィンガープリントを生成して、映像認識処理を行う(ステップS1502)。
すなわち、映像認識装置は、映像受信装置142から受信した部分映像のフィンガープリントを、キャリブレーション用チャンネルで受信した放送信号の映像信号から生成されキャリブレーション用記憶部に記憶されたフィンガープリントと照合する。
なお、本実施の形態では、この映像認識処理を、キャリブレーション処理が未実施の状態で行う映像認識処理であることから、「事前ACR」と記す。
そして、映像認識装置は、映像受信装置142から受信した部分映像が、キャリブレーション用チャンネルの映像かどうかを判断する(ステップS1503)。これにより、映像認識装置は、STB14から映像受信装置142に入力されている映像信号がキャリブレーション処理に使用可能な映像信号かどうかを判断する。
なお、映像認識装置は、事前ACRの結果を映像受信装置142に送信し、事前ACRの結果が正しいかどうかをユーザに確認するメッセージを映像受信装置142の表示部54に表示するように、映像受信装置142に指示してもよい。このメッセージは、例えば、「現在視聴中のチャンネルはチャンネル○○ですか?Yesであれば△△ボタンを、Noであれば××ボタンを押してください」といったものである。
ステップS1503において、映像受信装置142に入力されている映像信号は、キャリブレーション用チャネルで受信された映像信号ではない(No)、と判断されたときは、ステップS1501に戻り、一連の処理を繰り返す。
ステップS1503において、映像受信装置142に入力されている映像信号は、キャリブレーション用チャネルで受信された映像信号である(Yes)、と判断されたときは、映像認識装置は、キャリブレーション処理の開始をユーザに通知するメッセージを表示するように映像受信装置142に指示する。その指示を受けた映像受信装置142は、その指示にしたがってメッセージを表示部54に表示する(ステップS1504)。
ステップS1504では、例えば図15に示すように、「キャリブレーション処理を開始しました。チャンネル変更しないでください」といったメッセージが映像受信装置142の表示部54に表示される。
なお、ユーザの映像視聴を妨げないようにするためにこのメッセージの表示を行わず、ステップS1504を省略してもよい。
そして、ステップS303のパラメータ設定処理を開始する。
ステップS303以降の各ステップは実施の形態1、2に示した同ステップと実質的に同じであるので、説明を省略する。
この実施例では、ユーザにチャンネル変更を指示することなくキャリブレーション処理を行うことが可能である。
実施の形態1、2では、映像受信装置が表示部54を備えている構成を説明したが、本開示における映像受信装置は何らこの構成に限定されるものではない。映像受信装置は表示部を備えていなくてもかまわない。
図17は、他の実施の形態における映像受信装置240の構成の一例を概略的に示すブロック図である。図17に示す映像受信装置240は、表示部54を備えておらず、映像出力部144が、外部に設置された映像表示装置154に、有線または無線で、映像信号を出力するように構成されている点が、実施の形態1で図2に示した映像受信装置40(または、実施の形態2で図10に示した映像受信装置140)と異なる。
このような映像受信装置240の一例として、例えば、録画機能、放送信号受信機能、映像信号入力機能、および映像信号出力機能を備え、外部に設置された映像表示装置154に映像信号を送信するように構成された録画装置等を挙げることができる。そのような録画装置には、例えばハードディスクレコーダや、DVDレコーダ、BDレコーダ、等がある。
なお、実施の形態1、2では、STB14が放送信号を受信して映像信号を出力する動作を説明したが、例えば、映像受信装置が放送信号を受信してその放送信号による映像を表示する場合も、実施の形態1、2に示したキャリブレーション処理と同様のキャリブレーション処理を行うことは可能である。その場合、例えば映像受信装置の制御部が、キャリブレーション用チャンネルに変更することをユーザに促すメッセージを表示することなく、キャリブレーション用チャンネルに変更してもよい。
なお、実施の形態1、2で説明したフローチャートは、一動作例に過ぎず、処理の手順が入れ替わる等してもかまわない。
なお、実施の形態1、2では、地域毎に放送チャンネルが異なる場合を想定して動作例を説明しているが、例えば通信ネットワーク16を介して動画が映像受信装置に配信される場合や、通信ネットワーク16を介して動画ファイルが映像受信装置にダウンロードされるような場合等、地域に限定されずに動作するように構成された付加情報表示システムであっても、本実施の形態に示す構成を適用することは可能である。
なお、本実施の形態に示した各構成要素は、それぞれを独立した専用の回路で構成してもよく、あるいは、それらの1つまたは複数の動作を実現するように作成されたプログラムをプロセッサーで実行する構成であってもよい。また、このときのプログラムは、サーバ等からのダウンロードにより取得されてもよく、所定の記録媒体(例えば、CD−ROM等の光ディスクや磁気ディスク、半導体メモリ等)を介して取得されてもよい。
また、本実施の形態に示したサーバにおける各動作は、単数のサーバで集中処理されてもよく、複数のサーバで分散処理されてもよい。
なお、実施の形態1、2に示した具体的な数値は、単に実施の形態における一例を示したものに過ぎず、本開示はこれらの数値に何ら限定されるものではない。各数値は映像受信装置の仕様等にあわせて最適な値に設定することが望ましい。
本開示は、外部に設置された映像送信装置から入力される映像信号に関する付加情報を取得し、取得した付加情報を映像信号へ重畳することが可能な映像受信装置に適用可能である。具体的には、テレビジョン受像機、ハードディスクレコーダ、DVDレコーダ、BDレコーダ、等に本開示は適用可能である。
10,110 付加情報表示システム
12 放送局
14,14a,14b STB
16 通信ネットワーク
20,120 映像認識装置
21,42 HTTP送受信部
22 検索部
23,47 記憶部
24,124 キャリブレーション部
30 付加情報配信装置
40,40a,40b,140,142,240 映像受信装置
41,141 制御部
43 操作信号受信部
44,144 映像出力部
45 映像抽出部
46,146 第2制御部
48,48a,48b 映像入力部
49 受信部
51 付加情報
54 表示部
61 中継設備
65 入力部
66 コンテンツ切替検出部
154 映像表示装置
241 キャリブレーション用比較検索部
242 キャリブレーション用データ生成部
243 キャリブレーションCHデータベース
244 キャリブレーション用映像抽出部
245 キャリブレーション用記憶部
246,256 キャリブレーション用制御部
491,491a,491b,493 キャリブレーション実行部
492 第2記憶部

Claims (13)

  1. 通信ネットワークを介してデータの送受信を行えるように構成された映像受信装置であって、
    映像信号を入力するように構成された入力部と、
    前記映像信号から映像認識処理用の部分映像を抽出するように構成された映像抽出部と、
    前記通信ネットワークに接続された映像認識装置に、前記部分映像または前記部分映像から生成したコンテンツ認識情報を送信して映像認識処理を依頼し、前記映像認識処理の結果を前記映像認識装置から取得し、前記通信ネットワークに接続された付加情報配信装置から前記映像認識処理の結果に基づく付加情報を取得する制御を行うように構成された制御部と、
    前記映像認識装置と連携してキャリブレーション処理を行い所定のパラメータを設定するように構成されたキャリブレーション実行部と、を備え、
    前記キャリブレーション実行部は、キャリブレーション処理の開始要求とともに、当該映像受信装置が設置されている地域の特定に用いることができる地域情報を前記映像認識装置に送信し、前記映像認識装置から送信されてくるキャリブレーション用チャンネルの候補を示す情報を受信するように構成された、
    映像受信装置。
  2. 前記映像信号に前記付加情報を重畳した映像を表示するように構成された表示部、をさらに備え、
    前記キャリブレーション実行部は、前記表示部に、前記キャリブレーション用チャンネルの候補を表示するとともに、前記キャリブレーション用チャンネルの候補のいずれかにチャンネルを変更するようにユーザに促すメッセージを表示するように構成された、
    請求項1に記載の映像受信装置。
  3. チャンネル変更が終了したことを示すユーザ操作を受け付けるように構成された操作信号受信部を更に備えた、
    請求項2に記載の映像受信装置。
  4. 通信ネットワークを介してデータの送受信を行えるように構成された映像受信装置であって、
    映像信号を入力するように構成された入力部と、
    前記映像信号から映像認識処理用の部分映像を抽出するように構成された映像抽出部と、
    前記通信ネットワークに接続された映像認識装置に、前記部分映像または前記部分映像から生成したコンテンツ認識情報を送信して映像認識処理を依頼し、前記映像認識処理の結果を前記映像認識装置から取得し、前記通信ネットワークに接続された付加情報配信装置から前記映像認識処理の結果に基づく付加情報を取得する制御を行うように構成された制御部と、
    前記映像認識装置と連携してキャリブレーション処理を行い、前記部分映像が前記映像認識装置で受信される時刻と、前記部分映像に対応する映像信号が前記映像認識装置で取得される時刻との時間差を示すパラメータを設定するように構成されたキャリブレーション実行部と、を備え、
    前記制御部は、
    前記パラメータを前記部分映像または前記コンテンツ認識情報とともに前記映像認識装置へ送信して映像認識処理を依頼するように構成された、
    映像受信装置。
  5. 通信ネットワークを介してデータの送受信を行えるように構成された映像受信装置であって、
    映像信号を入力するように構成された入力部と、
    前記映像信号から映像認識処理用の部分映像を抽出するように構成された映像抽出部と、
    前記通信ネットワークに接続された映像認識装置に、前記部分映像または前記部分映像から生成したコンテンツ認識情報を送信して映像認識処理を依頼し、前記映像認識処理の結果を前記映像認識装置から取得し、前記通信ネットワークに接続された付加情報配信装置から前記映像認識処理の結果に基づく付加情報を取得する制御を行うように構成された制御部と、
    前記映像認識装置と連携してキャリブレーション処理を行い、前記映像抽出部における前記部分映像の抽出の周期に関するパラメータを設定するように構成されたキャリブレーション実行部と、を備え、
    前記映像抽出部は、前記パラメータにもとづく周期で前記部分映像を前記映像信号から抽出するように構成された、
    映像受信装置。
  6. 通信ネットワークを介してデータの送受信を行えるように構成された映像受信装置におけるパラメータ設定方法であって、
    外部から入力される映像信号から映像認識処理用の部分映像を抽出するステップと、
    前記通信ネットワークに接続された映像認識装置に、前記部分映像または前記部分映像から生成したコンテンツ認識情報を送信して映像認識処理を依頼し、前記映像認識処理の結果を前記映像認識装置から取得するステップと、
    前記映像認識処理の結果に基づく付加情報を、前記通信ネットワークに接続された付加情報配信装置から取得するステップと、
    前記映像認識装置と連携してキャリブレーション処理を行い所定のパラメータを設定するステップと、
    前記キャリブレーション処理の開始要求とともに、当該映像受信装置が設置されている地域の特定に用いることができる地域情報を前記映像認識装置に送信するステップと、
    前記映像認識装置から送信されてくるキャリブレーション用チャンネルの候補を示す情報を受信するステップと、を備えた、
    パラメータ設定方法。
  7. 前記キャリブレーション用チャンネルの候補を表示部に表示するステップと、
    前記キャリブレーション用チャンネルの候補のいずれかにチャンネルを変更するようにユーザに促すメッセージを表示するステップ、をさらに備えた、
    請求項6に記載のパラメータ設定方法。
  8. チャンネル変更が終了したことを示すユーザ操作を受け付けるステップ、をさらに備え、
    前記ユーザ操作を受け付けた後に前記キャリブレーション処理を開始する、
    請求項7に記載のパラメータ設定方法。
  9. 通信ネットワークを介して互いにデータの送受信を行えるように構成された、映像受信装置、映像認識装置、および付加情報配信装置、を備えた付加情報表示システムであって、
    前記映像受信装置は、
    映像信号を入力するように構成された入力部と、
    前記映像信号から映像認識処理用の部分映像を抽出するように構成された映像抽出部と、
    前記映像認識装置に前記通信ネットワークを介して前記部分映像または前記部分映像から生成したコンテンツ認識情報を送信して映像認識処理を依頼し、前記映像認識処理の結果を前記映像認識装置から前記通信ネットワークを介して取得し、前記付加情報配信装置から前記映像認識処理の結果に基づく付加情報を前記通信ネットワークを介して取得する制御を行うように構成された制御部と、
    前記映像認識装置と連携してキャリブレーション処理を行い所定のパラメータを設定するように構成されたキャリブレーション実行部と、を備え
    前記映像認識装置は、
    前記通信ネットワークを介して受信した前記部分映像に関する映像認識処理を行い、前記映像認識処理の結果を前記通信ネットワークを介して前記映像受信装置に送信するように構成されるとともに、前記映像受信装置と連携してキャリブレーション処理を行い所定のパラメータを設定して前記映像受信装置へ送信するように構成され、
    前記付加情報配信装置は、
    前記通信ネットワークを介して受信した前記映像認識処理の結果に対応する付加情報を前記通信ネットワークを介して前記映像受信装置に送信するように構成され、
    前記映像受信装置の前記キャリブレーション実行部は、
    キャリブレーション処理の開始要求とともに、前記映像受信装置が設置されている地域の特定に用いることができる地域情報を前記映像認識装置に送信するように構成され、
    前記映像認識装置は、
    前記地域情報にもとづき、キャリブレーションチャンネルデータベースからキャリブレーション用チャンネルの候補を選択して前記映像受信装置へ送信するように構成された、
    付加情報表示システム。
  10. 通信ネットワークを介して互いにデータの送受信を行えるように構成された、映像受信装置、映像認識装置、および付加情報配信装置、を備えた付加情報表示システムであって、
    前記映像受信装置は、
    映像信号を入力するように構成された入力部と、
    前記映像信号から映像認識処理用の部分映像を抽出するように構成された映像抽出部と、
    前記映像認識装置に前記通信ネットワークを介して前記部分映像または前記部分映像から生成したコンテンツ認識情報を送信して映像認識処理を依頼し、前記映像認識処理の結果を前記映像認識装置から前記通信ネットワークを介して取得し、前記付加情報配信装置から前記映像認識処理の結果に基づく付加情報を前記通信ネットワークを介して取得する制御を行うように構成された制御部と、
    前記映像認識装置と連携してキャリブレーション処理を行い所定のパラメータを設定するように構成されたキャリブレーション実行部と、を備え
    前記映像認識装置は、
    前記通信ネットワークを介して受信した前記部分映像に関する映像認識処理を行い、前記映像認識処理の結果を前記通信ネットワークを介して前記映像受信装置に送信するように構成されるとともに、前記映像受信装置と連携してキャリブレーション処理を行い所定のパラメータを設定して前記映像受信装置へ送信するように構成され、
    前記付加情報配信装置は、
    前記通信ネットワークを介して受信した前記映像認識処理の結果に対応する付加情報を前記通信ネットワークを介して前記映像受信装置に送信するように構成され、
    前記映像認識装置は、
    前記映像受信装置から送信されてくる前記部分映像を前記映像認識装置で受信する時刻と、前記部分映像に対応する映像信号を前記映像認識装置で取得する時刻との時間差を示すパラメータを設定して前記映像受信装置に送信するように構成され、
    前記映像受信装置の前記キャリブレーション実行部は、
    受信した前記パラメータを記憶し、映像認識処理を依頼する際に、前記部分映像または前記コンテンツ認識情報とともに前記パラメータを前記映像認識装置へ送信するように構成された、
    付加情報表示システム。
  11. 通信ネットワークを介して互いにデータの送受信を行えるように構成された、映像受信装置、映像認識装置、および付加情報配信装置、を備えた付加情報表示システムであって、
    前記映像受信装置は、
    映像信号を入力するように構成された入力部と、
    前記映像信号から映像認識処理用の部分映像を抽出するように構成された映像抽出部と、
    前記映像認識装置に前記通信ネットワークを介して前記部分映像または前記部分映像から生成したコンテンツ認識情報を送信して映像認識処理を依頼し、前記映像認識処理の結果を前記映像認識装置から前記通信ネットワークを介して取得し、前記付加情報配信装置から前記映像認識処理の結果に基づく付加情報を前記通信ネットワークを介して取得する制御を行うように構成された制御部と、
    前記映像認識装置と連携してキャリブレーション処理を行い所定のパラメータを設定するように構成されたキャリブレーション実行部と、を備え
    前記映像認識装置は、
    前記通信ネットワークを介して受信した前記部分映像に関する映像認識処理を行い、前記映像認識処理の結果を前記通信ネットワークを介して前記映像受信装置に送信するように構成されるとともに、前記映像受信装置と連携してキャリブレーション処理を行い所定のパラメータを設定して前記映像受信装置へ送信するように構成され、
    前記付加情報配信装置は、
    前記通信ネットワークを介して受信した前記映像認識処理の結果に対応する付加情報を前記通信ネットワークを介して前記映像受信装置に送信するように構成され、
    前記映像認識装置は、
    前記映像受信装置から送信されてくる前記部分映像を前記映像認識装置で受信する時刻と、前記部分映像に対応する映像信号を前記映像認識装置で取得する時刻との時間差を示すパラメータを設定して前記映像受信装置に送信するように構成され、
    前記映像認識装置は、
    前記部分映像の抽出の周期に関するパラメータを設定して前記映像受信装置に送信するように構成され、
    前記映像受信装置の前記キャリブレーション実行部は、
    受信した前記パラメータにもとづく周期で前記映像信号から前記部分映像を抽出するように前記映像抽出部に指示するように構成された
    付加情報表示システム。
  12. 通信ネットワークを介して互いにデータの送受信を行えるように構成された、映像受信装置、映像認識装置、および付加情報配信装置、を備えた付加情報表示システムであって、
    前記映像受信装置は、
    映像信号を入力するように構成された入力部と、
    前記映像信号から映像認識処理用の部分映像を抽出するように構成された映像抽出部と、
    前記映像認識装置に前記通信ネットワークを介して前記部分映像または前記部分映像から生成したコンテンツ認識情報を送信して映像認識処理を依頼し、前記映像認識処理の結果を前記映像認識装置から前記通信ネットワークを介して取得し、前記付加情報配信装置から前記映像認識処理の結果に基づく付加情報を前記通信ネットワークを介して取得する制御を行うように構成された制御部と、
    前記映像認識装置と連携してキャリブレーション処理を行い所定のパラメータを設定するように構成されたキャリブレーション実行部と、を備え
    前記映像認識装置は、
    前記通信ネットワークを介して受信した前記部分映像に関する映像認識処理を行い、前記映像認識処理の結果を前記通信ネットワークを介して前記映像受信装置に送信するように構成されるとともに、前記映像受信装置と連携してキャリブレーション処理を行い所定のパラメータを設定して前記映像受信装置へ送信するように構成され、
    前記付加情報配信装置は、
    前記通信ネットワークを介して受信した前記映像認識処理の結果に対応する付加情報を前記通信ネットワークを介して前記映像受信装置に送信するように構成され、
    前記映像認識装置は、
    前記映像受信装置から送信されてくる前記部分映像を前記映像認識装置で受信する時刻と、前記部分映像に対応する映像信号を前記映像認識装置で取得する時刻との時間差を示すパラメータを設定して前記映像受信装置に送信するように構成され、
    前記キャリブレーション中に、
    前記映像受信装置の前記入力部に入力される映像信号は、キャリブレーション用チャンネルの放送信号の映像信号であり、
    前記映像認識装置で受信される放送信号は、前記キャリブレーション用チャンネルの放送信号である、
    付加情報表示システム。
  13. 通信ネットワークを介して互いにデータの送受信を行えるように構成された、映像受信装置、映像認識装置、および付加情報配信装置、を備えた付加情報表示システムであって、
    前記映像受信装置は、
    映像信号を入力するように構成された入力部と、
    前記映像信号から映像認識処理用の部分映像を抽出するように構成された映像抽出部と、
    前記映像認識装置に前記通信ネットワークを介して前記部分映像または前記部分映像から生成したコンテンツ認識情報を送信して映像認識処理を依頼し、前記映像認識処理の結果を前記映像認識装置から前記通信ネットワークを介して取得し、前記付加情報配信装置から前記映像認識処理の結果に基づく付加情報を前記通信ネットワークを介して取得する制御を行うように構成された制御部と、
    前記映像認識装置と連携してキャリブレーション処理を行い所定のパラメータを設定するように構成されたキャリブレーション実行部と、を備え
    前記映像認識装置は、
    前記通信ネットワークを介して受信した前記部分映像に関する映像認識処理を行い、前記映像認識処理の結果を前記通信ネットワークを介して前記映像受信装置に送信するように構成されるとともに、前記映像受信装置と連携してキャリブレーション処理を行い所定のパラメータを設定して前記映像受信装置へ送信するように構成され、
    前記付加情報配信装置は、
    前記通信ネットワークを介して受信した前記映像認識処理の結果に対応する付加情報を前記通信ネットワークを介して前記映像受信装置に送信するように構成され、
    前記映像認識装置は、
    前記映像受信装置から送信されてくる前記部分映像を前記映像認識装置で受信する時刻と、前記部分映像に対応する映像信号を前記映像認識装置で取得する時刻との時間差を示すパラメータを設定して前記映像受信装置に送信するように構成され、
    前記映像認識装置は、
    前記映像受信装置から送信されてくる前記部分映像または前記コンテンツ認識情報が、キャリブレーション用チャンネルの放送信号による部分映像またはコンテンツ認識情報か否かを判断し、前記判断の結果を前記映像受信装置に送信するとともに、前記判断の結果にもとづき前記キャリブレーション処理を開始するように構成され、
    前記映像受信装置は、
    受信した前記判断の結果にもとづくメッセージを表示部に表示するように構成された、
    付加情報表示システム。
JP2016509614A 2014-03-28 2014-10-24 映像受信装置、パラメータ設定方法および付加情報表示システム Active JP6379362B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014068198 2014-03-28
JP2014068198 2014-03-28
PCT/JP2014/005405 WO2015145501A1 (ja) 2014-03-28 2014-10-24 映像受信装置、パラメータ設定方法および付加情報表示システム

Publications (2)

Publication Number Publication Date
JPWO2015145501A1 JPWO2015145501A1 (ja) 2017-04-13
JP6379362B2 true JP6379362B2 (ja) 2018-08-29

Family

ID=54194103

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016509614A Active JP6379362B2 (ja) 2014-03-28 2014-10-24 映像受信装置、パラメータ設定方法および付加情報表示システム

Country Status (4)

Country Link
US (1) US9955234B2 (ja)
JP (1) JP6379362B2 (ja)
CN (1) CN105850149B (ja)
WO (1) WO2015145501A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9723347B2 (en) * 2015-10-01 2017-08-01 Sorenson Media, Inc Frequency capping for media content
US9848214B2 (en) 2015-10-01 2017-12-19 Sorenson Media, Inc. Sequentially overlaying media content
US10432994B2 (en) 2016-02-17 2019-10-01 The Nielsen Company (Us), Llc Content comparison testing on linear media streams
US10542326B2 (en) * 2017-03-29 2020-01-21 The Nielsen Company (Us), Llc Targeted content placement using overlays
US11134312B2 (en) * 2017-12-14 2021-09-28 Google Llc Methods, systems, and media for presenting contextual information in connection with media content
CN110852273B (zh) * 2019-11-12 2023-05-16 重庆大学 一种基于强化学习注意力机制的行为识别方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1179869A (zh) * 1995-03-31 1998-04-22 索尼欧洲公司 按需提供信息的系统
JPH10214258A (ja) 1997-01-28 1998-08-11 Victor Co Of Japan Ltd データ処理システム
JP3994682B2 (ja) * 2000-04-14 2007-10-24 日本電信電話株式会社 放送情報送受信システム
CN100592788C (zh) * 2000-04-14 2010-02-24 日本电信电话株式会社 与广播信息相关的信息取得方法、系统和装置
JP4344185B2 (ja) * 2003-01-28 2009-10-14 シャープ株式会社 クライアント端末装置、情報処理方法、サブクライアント端末装置、コンピュータ実行可能なプログラム、及び記録媒体
RU2006134049A (ru) 2004-02-26 2008-04-10 Медиагайд Способ и устройство для автоматического обнаружения и идентификации сигнала передаваемой аудио- или видеопрограммы
US8229751B2 (en) 2004-02-26 2012-07-24 Mediaguide, Inc. Method and apparatus for automatic detection and identification of unidentified Broadcast audio or video signals
US20090006337A1 (en) 2005-12-30 2009-01-01 Mediaguide, Inc. Method and apparatus for automatic detection and identification of unidentified video signals
JP5010292B2 (ja) * 2007-01-18 2012-08-29 株式会社東芝 映像属性情報出力装置、映像要約装置、プログラムおよび映像属性情報出力方法
JP2010532943A (ja) 2007-07-06 2010-10-14 エーエムビーエックス ユーケー リミテッド マルチメディア・システムにおいてコンテンツ・ストリームと一つまたは複数の感覚効果を出力するためのスクリプトを同期させる方法
US8549556B2 (en) * 2008-04-15 2013-10-01 Shlomo Selim Rakib Contextual advertising
US9635421B2 (en) * 2009-11-11 2017-04-25 Time Warner Cable Enterprises Llc Methods and apparatus for audience data collection and analysis in a content delivery network
JP2012161030A (ja) * 2011-02-02 2012-08-23 Nippon Telegr & Teleph Corp <Ntt> 付随コンテンツ検索装置、システム、方法、及びプログラム

Also Published As

Publication number Publication date
CN105850149B (zh) 2018-12-14
US20160286283A1 (en) 2016-09-29
CN105850149A (zh) 2016-08-10
WO2015145501A1 (ja) 2015-10-01
US9955234B2 (en) 2018-04-24
JPWO2015145501A1 (ja) 2017-04-13

Similar Documents

Publication Publication Date Title
JP6194484B2 (ja) 映像受信装置、付加情報表示方法および付加情報表示システム
JP6379362B2 (ja) 映像受信装置、パラメータ設定方法および付加情報表示システム
JP7161516B2 (ja) ビデオ複数一致検出とオーディオフィンガープリントに基づく曖昧性排除とを用いたメディアチャネル識別
KR20210022134A (ko) 프레임적으로 정확한 컨텐츠 수정을 용이하게 하기 위해, 낮은 레이트 핑거프린팅을 사용하는 보간을 기반으로 하는 시간 맵핑의 확립 및 사용
JP6281125B2 (ja) 映像受信装置、映像認識方法および付加情報表示システム
JP6281126B2 (ja) 映像受信装置、付加情報表示方法および付加情報表示システム
JP5820986B2 (ja) 映像受信装置及び受信映像の画像認識方法
KR20150104358A (ko) 서버 장치 및 그의 핑거프린트 전송 방법, 그리고 방송수신장치
TWI788701B (zh) 用於使用帶內元資料作為存取參考指紋的基礎來促進與內容相關的動作的方法及媒體客戶端
JP6340596B2 (ja) 映像受信装置、映像認識方法および付加情報表示システム
JP6240899B2 (ja) 映像受信装置、映像認識方法および付加情報表示システム
JP6194483B2 (ja) 映像受信装置、映像認識方法および付加情報表示システム
JPWO2017061103A1 (ja) 番組分割装置及び番組分割方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180619

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180702

R151 Written notification of patent or utility model registration

Ref document number: 6379362

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151