JP6148785B1 - 情報処理システム、情報処理装置及びプログラム - Google Patents
情報処理システム、情報処理装置及びプログラム Download PDFInfo
- Publication number
- JP6148785B1 JP6148785B1 JP2016251688A JP2016251688A JP6148785B1 JP 6148785 B1 JP6148785 B1 JP 6148785B1 JP 2016251688 A JP2016251688 A JP 2016251688A JP 2016251688 A JP2016251688 A JP 2016251688A JP 6148785 B1 JP6148785 B1 JP 6148785B1
- Authority
- JP
- Japan
- Prior art keywords
- client
- metadata
- information
- video
- reference color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 58
- 238000000034 method Methods 0.000 claims abstract description 117
- 230000008569 process Effects 0.000 claims description 92
- 230000005540 biological transmission Effects 0.000 claims description 78
- 238000012545 processing Methods 0.000 claims description 73
- 239000003086 colorant Substances 0.000 claims description 66
- 238000009826 distribution Methods 0.000 claims description 33
- 239000011159 matrix material Substances 0.000 claims description 24
- 238000003384 imaging method Methods 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 230000006870 function Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 230000037433 frameshift Effects 0.000 description 10
- 238000003860 storage Methods 0.000 description 9
- 239000008186 active pharmaceutical agent Substances 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 238000010521 absorption reaction Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000002265 prevention Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/29—Arrangements for monitoring broadcast services or broadcast-related services
- H04H60/31—Arrangements for monitoring the use made of the broadcast services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
- H04H60/38—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space
- H04H60/40—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space for identifying broadcast time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/56—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
- H04H60/59—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/68—Systems specially adapted for using specific information, e.g. geographical or meteorological information
- H04H60/73—Systems specially adapted for using specific information, e.g. geographical or meteorological information using meta-information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23614—Multiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2407—Monitoring of transmitted content, e.g. distribution time, number of downloads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
- H04N21/25866—Management of end-user data
- H04N21/25891—Management of end-user data being end-user preferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44204—Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/4508—Management of client data or end-user data
- H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/29—Arrangements for monitoring broadcast services or broadcast-related services
- H04H60/33—Arrangements for monitoring the users' behaviour or opinions
Abstract
Description
そのようなサービスを提供するに辺り、スマートフォン等のカメラを用いた「チェックイン」操作により、視聴者が特定のテレビジョン番組を視聴していることを確認する技術は、極めて有用である。
従来では、二次元バーコードや可聴域外の音波を用いてチェックインを行っていた。しかしながら、これらの技術は、コンテンツと直接関係ないコード等を画面上に表示することや、特殊なスピーカーを必要とするものであり、テレビジョン放送に直接適用することはできなかった。
この点、テレビジョン放送に適用することができる技術としては、あらかじめシステムに格納されているビデオ映像を対象に特徴量を抽出し、その特徴量に応じてチェックインの照合を行う技術(例えば特許文献1を参照)が存在する。また、テレビジョン映像を携帯電話機で撮像した画像の情報をそのままサーバに送信し、その画像の情報を対象として、チェックインの照合を行う技術が存在する(例えば特許文献2を参照)。
他方、上述の特許文献2の技術では、撮影した画像の情報自体をサーバ側に送信し、サーバ側で照合するため、信頼できない入力に対しても用いることができるものの、画像の情報自体をサーバ側に送信するため大量の視聴者の同時チェックインに耐えることが難しい(いわゆるスケーラビリティが低い)という問題があった。
以上のように、テレビジョン放送へのスマートフォン等を用いたチェックイン技術には、多くの問題が含有していた。
そのような従来技術の課題を解決すべく、大量の視聴者の同時チェックインに耐えるスケーラビリティと、テレビジョン受像機やスマートフォン機種の異種性の吸収と、テレビジョン映像を偽装することによる不正なチェックイン防止の3点を実現することができるチェックイン技術の開発が望まれていた。
クライアントとサーバからなる情報処理システムにおいて、
前記クライアントは、
複数の単位画像から構成される映像を含むコンテンツが、所定のタイムスケジュールに従って放送され所定の再生デバイスで受信されて再生されている最中に、当該映像が表示されている表示面が所定の撮像デバイスにより所定期間撮像された結果得られる映像の情報を、クライアント側映像の情報として取得する映像取得手段と、
前記コンテンツの放送中又は放送開始前の一定期間に前記サーバから送信されてくる送信情報に基づいて、N個(Nは2以上の整数値)の基準色の順列によって示される基準色リストを取得する基準色リスト取得手段と、
前記クライアント側映像を構成するM枚(Mは2以上の整数値)の単位画像の夫々を処理対象として、前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックを前記N個の基準色の何れかに分類し、当該処理対象についての前記N個の基準色の分布状態を示す情報を生成し、前記M枚の単位画像の夫々の前記分布状態を示す情報を、前記クライアント側映像のメタデータとして生成するクライアント側メタデータ生成手段と、
前記クライアント側映像の前記メタデータを、前記サーバに送信する制御を実行するメタデータ送信制御手段と、
を備え、
前記サーバは、
前記コンテンツの放送前又は放送中に、前記クライアント又は当該クライアントが属するグループ毎に前記基準色の種類と順列のうち少なくとも一方が異なる前記基準色リスト自体又は当該基準色リストを作成するために必要な情報を、前記送信情報として生成する基準色リスト等生成手段と、
前記クライアント又は前記グループ毎に、前記送信情報を、前記コンテンツの放送中又は放送開始前の一定期間に前記クライアントに送信する制御を実行する基準色リスト等送信制御手段と、
前記コンテンツ内の前記映像を構成する前記複数の単位画像の夫々を処理対象として、前記クライアント又は前記グループ毎の前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックを前記N個の基準色の何れかに分類し、当該処理対象についての前記N個の基準色の分布状態を示す情報を生成し、前記複数の単位画像の夫々の前記分布状態を示す情報を、サーバ側メタデータとして生成するサーバ側メタデータ生成手段と、
前記クライアント側映像の前記メタデータと、前記サーバ側メタデータのうち前記M枚の単位画像についてのメタデータとを比較し、その比較の結果に基づいて、前記クライアント側映像の正当性を判定する判定手段と、
を備える。
また、「動画像」には、次の第1処理乃至第3処理の夫々により表示される画像を含むものとする。
第1処理とは、平面画像(2D画像)におけるオブジェクト(例えばアニメのキャラクタ)の夫々の動作に対して、複数枚からなる一連の静止画像を時間経過と共に連続的に切り替えて表示させる処理をいう。具体的には例えば、2次元アニメーション、いわゆるパラパラ漫画的な処理が第1処理に該当する。
第2処理とは、立体画像(3Dモデルの画像)におけるオブジェクト(例えばアニメのキャラクタ)の夫々の動作に対応するモーションを設定しておき、時間経過と共に当該モーションを変化させて表示させる処理をいう。具体的には例えば、3次元アニメーションが第2処理に該当する。
第3処理とは、オブジェクト(例えばアニメのキャラクタ)の夫々の動作に対応した映像(即ち動画)を準備しておき、時間経過と共に当該映像を流していく処理をいう。
ここで、「映像(即ち動画)」は、複数のフレームやフィールド等の画像(以下、「単位画像」と呼ぶ)から構成される。なお以下の例では、単位画像はフレームであるものとして説明する。
また、後述する本実施形態では、映像は、テレビジョン放送により伝達されるが、以下、「テレビジョン」を「テレビ」と省略する。
図1を用いて、本発明の一実施形態に係る情報処理システムの概要について説明する。
図1に示す情報処理システムは、オンエア中のテレビ放送等をユーザが視聴していることをリアルタイムに確認するための「チェックイン」を実現する。
ここで「チェックイン」とは、所定のユーザが、ある特定の事柄や手続きを行ったか否かを確認することである。
特に本実施形態における「チェックイン」とは、所定のユーザが、特定のテレビ番組等を視聴しているか否かをリアルタイムに確認するための技術である。
特に図1に示す情報処理システムは、大量の視聴者の同時チェックインに耐えるスケーラビリティと、テレビやスマートフォン等の機種の異種性の吸収と、正当性検証のためのデータ(後述するメタデータ)を偽装することによる不正なチェックインの防止との3点を同時に実現することができる。
その結果、図1に示す情報処理システムは、大規模な視聴を想定したテレビ放送やインターネット放送に有用である。
サービス提供者は、このようなテレビ放送等のチェックインの結果を用いて、例えば、スマートフォン等で提供されるゲーム等における様々なサービスにも応用することができる。
図1に示す情報処理システムは、全ユーザに共通のプロセスaと、各ユーザ/グループに固有のプロセスbと、チェックイン認証のプロセスcという3つのプロセスからなる一連の処理を実行する。
図1に示す情報処理システムは、ユーザにより使用されるユーザ端末1と、サーバ2とを含むシステムである。
ユーザ端末1とサーバ2とは、インターネット等の所定のネットワークを介して相互に接続されている。
なお、図1には1台のユーザ端末1のみが図示されているが、実際には多数のユーザが存在し、その分だけユーザ端末1の台数も多数存在する。
ここでユーザ端末1は、ユーザによって操作される例えばスマートフォン等であって、サーバ2が行うチェックインを行うためのテレビ番組等の映像がテレビの表示画面に表示されている場合に、その表示面の撮影等を行う。なお、テレビの表示面の部分を専ら含む映像を本明細書では「テレビ映像」と呼んでいる。
サーバ2は、サービス提供者によって管理され、所定のユーザが、特定のテレビ番組等を視聴しているか否かのチェックインを行う。
全ユーザに共通のプロセスaは、全ユーザが共通の情報を生成する前処理段階のプロセスである。
各ユーザ/グループに固有のプロセスbは、ユーザ毎又は複数のユーザが属するグループ毎に異なる情報(後述するメタデータ)を生成する後処理段階のプロセスである。
このテレビ映像の情報は、コンテンツの映像のうちの一定時区間(例えば一定の時間方向範囲を示す)の情報、即ち一定時区間に含まれる全フレーム又は複数フレームの各情報である。各フレームの情報は、均等性のある色空間(例えば、HSV空間等を示す)に写像された情報、即ち色空間の各要素を画素値として有する情報である。
ここで、均等性のある色空間とは、色空間の座標上の2点間距離と肉眼での色差感とが可能な限り一致するように設計された色空間のことを言う。
一般に、ユーザ端末1上で色を表現するRGB空間は、均等性がない色空間であり、空間内の任意の2点間の距離と、肉眼での色差感は大きく乖離している。即ち、ユーザ端末1のカメラ等から得られた画像の情報は、RGB画像の情報であり、それぞれの画素値をHSV等の均等性のある色空間の画素値に変換する必要がある。
なお、RGBからHSVへの変換は、次の式(1)から(3)のように定義することができる。
ここで、クラスタリングについて説明するための前提として、クラスタリング用カラーリスト(以下、「基準色リスト」と呼ぶ)について説明する。本実施形態では、クラスタリングの基準となり得る色(以下、「基準色」と呼ぶ)の母集合として、例えば120種類程度の色が用意されており、これらの色を示す情報がサーバ2に記憶されている。そして、この120種類程度の色の中から選ばれたN個(Nは2以上の整数値)の色に関する情報の順列によって示されるリストが、基準色リストとして採用される。
そして、図2の画像β1は、上述の基準色のうち90色の基準色リストを用いてクラスタリングをした結果得られる画像である。これにより、画像αの複雑な色彩は、基準となる90色のいずれかの色に分類される。
さらに、図2の画像β2は、上述の基準色のうち30色の基準色リストを用いてクラスタリングした画像であり、90色でクラスタリングを行った画像β1に比べ、さらに単調な色彩のみで元の画像αが表現されている。
なお、このように画像αの複雑な色彩は、様々な所定の色の基準色リストを用いて、適宜、クラスタリングすることが可能である。
このように90色や30色等の限定されたN個の色にクラスタリングを行うことで、テレビ受像器やスマートフォン等の機種の異種性によらず、元の画像(図2の画像α)に比較して、類似性の高い画像(図2の画像β1や画像β2)として再現される。したがって、テレビ受像器やスマートフォン等の機種の異種性の吸収することができる。
図3は、本発明の一実施形態に係る情報処理システムに適用される色彩の適合性計量プロセスの手順の一例を示す図である。
まず、チェックインの対象となるテレビ番組等の映像Cがテレビの表示面に映っている状態で、ユーザ端末1によって撮像されることで、その撮像映像C1の情報が取得される。
この撮像映像C1の情報は、前述の前処理段階(例えば図1の全ユーザ共通のプロセスa)においてトリミングにより、表示面以外の部分(具体的には、テレビ番組が表示された表示面以外の、例えばモニタの別の部分や背景等)が除去されて、テレビ映像C1の情報となる。
さらに、このトリミング後のテレビ映像C1の情報に対して、基準色リストCLによるクラスタリングが行われることで、当該テレビ映像C1の分析結果を示す情報としてメタデータが生成される。
ここで、クラスタリングの手法は、特に限定されないが、元画像の色と基準色の色との距離の計量に基づいてクラスタリングを行う手法が採用されている。この距離の計量には、goodlove色差系や、CIE2000等を用いることも考えられるが、本実施形態では、評価実験により有効であることが確認された、円錐空間上のユークリッド距離を採用するものとする。
このように、本明細書でいう「メタデータ」とは、映像の情報そのものとは異なる情報の意であり、具体的には、その映像の少なくとも一部(例えば所定枚数の各フレーム)に関する分析結果を示す情報である。
本実施形態では、処理対象の映像を構成する時系列の各フレームについてクラスタリングされ、各フレームのクラスタリングの結果から、メタデータが生成される。具体的には例えば次の式(4)で定義される時系列カラーヒストグラム行列Mが、メタデータとして採用されている。
なお、図3中、テレビ映像C2は、テレビ映像C1の情報をクラスタリングした結果得られる情報により表示される映像である。オリジナルの映像D1は、オリジナルの映像Dの情報をクラスタリングした結果得られる情報により表示される映像である。これらのテレビ映像C2及びオリジナルの映像D1は、説明の便宜上図3中に描画しているに過ぎず、本実施形態では、これらのテレビ映像C2及びオリジナルの映像D1の情報は実際には生成されない。即ち、本実施形態では、テレビ映像C1やオリジナルの映像Dが処理対象の映像として、次の式(4)で定義される時系列カラーヒストグラム行列Mが、メタデータとして生成される。
ユーザ端末1側で行うプロセスでは、メタデータを生成するための処理対象の映像は、テレビ映像C1である。従って、テレビ映像C1の情報に対して、前述の基準色リストCLによるクラスタリングが実行される。このクラスタリングンの結果から、時系列カラーヒストグラム行列Mが、メタデータとして生成される。
このようにしてユーザ端末1側で行うプロセスにより生成されるメタデータを、以下、「Cメタデータ」と呼ぶ。
サーバ2側では、チェックインの対象のテレビ番組のオリジナルの映像Dの情報が保管されている。サーバ2は、このオリジナルの映像Dの情報に対して、前述の基準色リストCLによるクラスタリングを実行する。なお、詳細については図7を用いて説明するが、上記2つの基準色リストCLは同一の基準色リストを使用するものとする。
サーバ2は、このクラスタリングの結果から、時系列カラーヒストグラム行列Mを、メタデータとして生成する。
このようにしてサーバ2側で行うプロセスにより生成されるメタデータを、以下、「Sメタデータ」と呼ぶ。
具体的には、チェックインの対象となるテレビ番組等のオリジナルの映像全体を構成する各フレームのうち、所定のフレームを開始点フレームとして、その開始点フレームを含む時系列のM枚(Mは、Cメタデータにおけるフレーム数(ヒストグラム数)を示す)の各フレームのカラーヒストグラムの集合体が、比較対象部分である。
具体的には例えば、Cメタデータのサーバ2への送信時刻(或いはCメタデータの生成時刻や、Cメタデータに対応するテレビ映像の撮像時刻等)よりも少し前の時刻に放映された、オリジナルの映像の対応するフレームが、開始点フレームとして最初に設定される。その開始点フレームを含む時系列のM枚の各フレームのカラーヒストグラムの集合体が、比較対象部分として最初に設定される。なお、最初の開始点フレームの放映時刻は、後述する放送時間情報及び放送地域情報等により判断される。そして、Sメタデータのうち最初の比較対象部分と、Cメタデータとについて、最初の類似度(差分)が演算される。
その後、これまで開始点フレームであったものより時間的に後のフレームが、新たな開始点フレームとして設定される(フレーム1枚分のフレームシフトが行われる)。その開始点フレームを含む時系列のM枚の各フレームのカラーヒストグラムの集合体が、比較対象部分として新たに設定される。つまり、比較対象部分が変化する。Sメタデータの変化後の比較対象部分と、Cメタデータとについて、類似度(差分)が新たに演算される。
このようなフレーム1枚毎のフレームシフトが繰り返し行われて、比較対象部分が変化する毎に、Sメタデータの変化後の比較対象部分と、Cメタデータとについて、類似度(差分)が新たに演算される。
このようなフレーム1枚毎のフレームシフトの繰り返しにより演算された複数の類似度(差分)に基づいて、チェックインの可否が判定される。例えば、複数の類似度(差分)のうち最高の類似度が一定値以上(最少の差分が一定値以下)の場合、ユーザのチェックイン(正当性)が判定される。換言すると、このようなフレームシフトの繰り返しにより設定された複数の比較対象部分の中に、Cメタデータと同一又は一定以上の類似度(一定以下の差分量)を有する比較対象部分が存在した場合、ユーザのチェックイン(正当性)が判定される。
これに対して、画像データは情報量が多いため、そのままサーバ2へ送信すると、直接ネットワーク帯域を圧迫するため、スケーラビリティを劇的に悪化させる。
具体的に例えば、120色の基準色リストを使用して、1秒間に3フレームを分析対象として5秒間のメタデータを生成した場合、1回のチェックインに送信されるメタデータのサイズは、120色と、4バイト(浮動小数点)と、3フレームと、5秒間との積算であり、およそ7キロバイトである。
一方、1秒間に3フレームを分析対象として5秒間分の画像の情報をそのまま送信した場合、JPEG(Joint Photographic Experts Group)等の圧縮アルゴリズムを適用しても、およそ3000キロバイト程度になる。したがって、メタデータを生成した場合と比較して、画像の情報は400倍以上大きなサイズとなる。情報量は、直接ネットワーク帯域を圧迫するため、スケーラビリティを劇的に悪化させる。
さらに言えば、画像の情報をサーバ2が直接受信した場合、サーバ2はメタデータの分析を別途行う必要があるため、サーバ2のCPU負荷は、極めて増大することになる。
このように、画像の情報を直接サーバ2へ送信してしまうと、大量の視聴者の同時チェックインに耐えるスケーラビリティを実現することができない。
そこで、本実施形態では、時系列カラーヒストグラム行列M(図1の例では時系列カラーヒストグラム行列CMD)という情報量の少ないCメタデータに変換されて、ユーザ端末1からサーバ2に送信される。そして、サーバ2において、オリジナルの映像から作成された時系列カラーヒストグラム行列M(図1の例では時系列カラーヒストグラム行列SMD)としてのSメタデータの比較対象部分と比較されて、チェックインの認証が行われる。
このようにして、サーバ2側で処理する情報量が劇的に抑えられ、大量の視聴者の同時チェックインに耐えるスケーラビリティを実現することができる。
したがって、第三者がこの基準色リストを再現してCメタデータを偽造することは実質不可能である。即ち、不正なチェックインの防止を実現することができる。
図4を見ると、例えば、上段にはR/V、YR/V、Y/V・・・と10色の色が配置されている。これらは、夫々、各基準色の色彩を表しており、例えば、R/Vは、色彩が赤で、色のトーンがVivid(鮮やか)であることを示している。
ここで、色のトーンとは、明度と彩度のバランスのことを示しており、例えば、12段階に分類される。即ち、図4の例では、10種類の色彩と12種類のトーンの積算による合計120種類の色が基準色として採用され、リスト化されているものである。
また、上述したように、本実施形態におけるチェックイン処理の最大の特徴は、ユーザ/グループ毎に異なる基準色リストが放送直前にユーザ端末1へ配信されるか、若しくは、チェックイン時にユーザ端末1側が基準色リストをダウンロードさせることにより、事前に作成できず、かつ他ユーザと共有できないチェックインデータ(Cメタデータ)をユーザ端末1側に生成させる点にある。
具体的には、図4に基づく基準色リストを、チェックインの直前等にサーバ2側で決定することにより、ユーザ端末1側でのクラスタリングの結果を不正に偽造することや、あるいは、他ユーザへ送信し、実際には映像を見ていない他ユーザにチェックインさせることを防止することができる。
即ち、ユーザ端末1側で、サーバ2側で生成される時系列カラーヒストグラム行列M(Sメタデータ)と適合性の高いCメタデータを生成するためには、サーバ2側と同一の基準色リストを使用する必要があり、かつサーバ2側と同じ映像を入力する必要があることから不正なチェックインの防止を実現することができるのである。
換言すると、基準色リストの動的配信により、ユーザ間によるCメタデータの共有、及び、事前の分析によるCメタデータのバッチ生成の両方を防止することができる。
このように、本実施形態では、基準色リストの動的な配信により、従来不可能であった分散処理によるスケーラビリティの向上とチート防止の両立を実現している。
ユーザ端末1は、CPU(Central Processing Unit)21と、ROM(Read Only Memory)22と、RAM(Random Access Memory)23と、バス24と、入出力インターフェース25と、タッチ操作入力部26と、表示部27と、入力部28と、記憶部29と、通信部30と、撮像部31と、ドライブ32と、を備えている。
RAM23には、CPU21が各種の処理を実行する上において必要な情報等も適宜記憶される。
表示部27は、液晶等のディスプレイにより構成され、ゲームに関する画像等、各種画像を表示する。
このように、本実施形態では、タッチ操作入力部26と表示部27とにより、タッチパネルが構成されている。
なお、本明細書で「表示媒体」と呼ぶ場合、単に表示部27を意味せず、タッチ操作入力部26と表示部27とから構成される「タッチパネル」を意味する。
記憶部29は、ハードディスクやDRAM(Dynamic Random Access Memory)等で構成され、各種情報を記憶する。
通信部30は、図示せぬインターネットを含むネットワークを介して他の装置(図示せぬサーバや図示せぬ他のユーザ端末)との間で行う通信を制御する。
撮像部31は、被写体を撮像するカメラ等である。
また、リムーバブルメディア41は、記憶部29に記憶されている各種情報も、記憶部29と同様に記憶することができる。
サーバ2の構成は、ユーザ端末1のタッチパネルを除いた構成と基本的に同様であるので、ここではその説明は省略する。また、リムーバブルメディア61についても、同様である。
即ち、ユーザ端末1及びサーバ2は、各種処理の実行にあたり、図7に示すような機能的構成を有する。
図7に示すように、ユーザ端末1のCPU21においては、ユーザインターフェイス制御部101と、Cメタデータ生成部102と、Cメタデータ送信制御部103と、基準色リスト取得部104と、判定取得部105とが機能する。
また、サーバ2のCPU51においては、Cメタデータ取得部201と、基準色リスト生成部202と、基準色リスト送信制御部203と、Sメタデータ生成部204と、番組情報管理部205と、正当判定部206と、判定送信制御部207とが機能する。
さらに、サーバ2の記憶部58の一領域には、RVDB(Raw Video Data Base)300と、CLDB(Color List Data Base)400と、CMDB(Color Metadata Data Base)500と、TVPDB(TV Program Data Base)600とが設けられる。
図7において点線で示す枠は、図1で上述したプロセスa、プロセスb、及びプロセスcのうち、図7中の引き出し線で示すプロセスに該当することを意味している。
番組情報管理部205は、このような番組詳細情報を管理し、例えばチェックインの対象となるテレビ番組の放送時間前又は放送中の所定タイミングになると、その旨を基準色リスト生成部202等に通知する。
基準色リスト送信制御部203は、基準色リスト生成部202により生成された基準色リストを、番組情報管理部205から通知されたタイミング、即ちチェックインの対象となるテレビ番組の放送時間前又は放送中の所定タイミングにおいて、ユーザ端末1へと送信するための制御を実行する。
Sメタデータ生成部204は、チェックインの対象となるテレビ番組のオリジナルの映像の情報をRVDB300から取得する。Sメタデータ生成部204は、取得したオリジナルの映像を構成する各フレームの各情報に対して、基準色リスト生成部202によりユーザ毎又はグループ毎に生成された基準色リストを適用してクラスタリングを行う。そして、Sメタデータ生成部204は、クラスタリング後の映像を構成する時系列の各フレームのカラーヒストグラムの集合体を、ユーザ毎又はグループ毎のSメタデータとして生成する。
このようにして生成されたSメタデータは、CMDB500に格納される。なお、CMDB500では、Sメタデータと、その生成に使用された基準色リストとが紐づけられて格納されている。
ユーザインターフェイス制御部101は、タッチパネルを用いてユーザインターフェイスの制御を実行する。このユーザインターフェイス制御部101には、映像取得部121と、表示制御部122とが設けられている。
映像取得部121は、このようにしてユーザ端末1の撮像部31等で撮像された映像の情報をフレームを単位として取得する。ここで言う映像の情報は、前述の通り、RGBを保持したRGB画像の情報である。なお、映像取得部121は、図1の全ユーザ共通のプロセスaに該当する処理を実行する。
そこで、基準色リスト取得部104は、このようにしてサーバ2から送信されてきた基準色リストを、通信部30を介して取得する。
そこで、判定取得部105は、サーバ2から送信されてきた当該判定の結果を、通信部30を介して取得する。
表示制御部122は、判定取得部105によって取得された判定の結果を表示部27へと表示するための制御を実行する。
Cメタデータ取得部201は、前述の通り、ユーザ端末1から送信されてきたCメタデータを通信部59を介して取得する。
ここで、同一の放送番組であっても、放送時間帯や放送地域によっては、同一時刻に放送される内容が異なることがある。そこで、正当判定部206は、番組情報管理部205により管理される放送時間情報及び放送地域情報等も考慮して、抽出対象を決定する。
正当判定部206は、このようにしてCMDB500により抽出されたSメタデータについて、上述した開始点フレームを時系列に順次シフトさせながら(フレームシフトを繰り返しながら)、開始点フレームを含む比較対象部分を順次設定していく。正当判定部206は、比較対象部分が設定される毎に、その比較対象部分と、Cメタデータ取得部201により取得されたCメタデータとの類似度(差分)を夫々演算する。
正当判定部206は、これらの繰り返し演算の結果において、Cメタデータと同一又は一定以上の類似度を有する比較対象部分が存在した場合、ユーザのチェックイン(正当性)を判定する。
本実施形態における適合性評価関数は、オリジナルの映像の情報から生成された時系列カラーヒストグラム行列M(例えばSメタデータ)のうち比較対象部分と、ユーザ端末1により表示画面が撮像された結果から得られるテレビ映像の情報から生成された時系列カラーヒストグラム行列Q(例えばCメタデータ)との適合性を評価し、各フレームの適合性を0以上の実数として返す関数として定義できる。以下、式の詳細を示す。
つまり、正当判定部206は、k回のフレームシフトの繰り返しにより、k+1個の適合性スコアS0乃至Skを演算する。そして、正当判定部206は、これらの適合性スコアS0乃至Skのうちの例えば最も0に近いものを用いてチェックインの可否を判定する。
次に、図8以降の図面を参照して、図7の機能的構成を有するユーザ端末1及びサーバ2が実行する処理の流れについて説明する。
図8は、ユーザ端末1側の処理の流れの一例を説明するフローチャートである。
図9は、サーバ2側の処理の流れの一例を説明するフローチャートである。
そして、ユーザ端末1側の処理とサーバ2側の処理との関係は、図10に示されている。
即ち、図10は、ユーザ端末1側の処理とサーバ2側の処理との関係を説明するアローチャートである。
ステップS1において、ユーザインターフェイス制御部101の映像取得部121は、撮像部31から出力された映像の情報に対してトリミング処理等を施すことで、テレビ映像の情報を取得する。
チェックインの対象のテレビ番組等が放送される前に基準色リストがサーバ2により生成され、ユーザ端末1で既に取得されている場合、当該基準色リストは基準色リスト取得部104に検出され、ステップS2においてYESであると判定される。この場合、ステップS3及びS4は実行されずに、処理はそのままステップS5に進む。
これに対して、基準色リストがユーザ端末1に未だ取得されていない場合、ステップS2においてNOであると判定されて、処理はステップS3に進む。そして、ステップS3及びステップS4の処理の実行後、処理はステップS5に進む。
すると、サーバ2側では送信条件が満たされたと判定され(後述するステップS22参照)、基準色リストが送信される(後述するステップS23参照)。
ステップS4において、基準色リスト取得部104は、サーバ2から送信されてきた基準色リストを取得する。
ステップS6において、Cメタデータ送信制御部103は、ステップS5で生成されたCメタデータをサーバ2に送信する。
ステップS8において、ユーザインターフェイス制御部101の表示制御部122は、ステップS7で取得された判定の結果を表示部27に表示させる。
ステップS9において、ユーザ端末1のCPU21は、処理の終了指示が有ったか否かを判断する。ここで、処理の終了指示は、特に限定されないが、本実施形態ではユーザ端末1の電源遮断が採用されている。つまり、ユーザ端末1において電源が遮断されると、ステップS9においてYESであると判断されて、ユーザ端末1の処理は終了になる。
これに対して、ユーザ端末1において電源が遮断されない限り、ステップS9においてNOであると判断されて処理はステップS1に戻され、それ以降の処理が繰り返される。
まず、後述する図9(b)の処理前に準備処理として実行される図9(a)の処理について説明する。
図9(a)の処理のタイミングは、図9(b)の処理前であれば特に限定されないが、チェックインの対象となるテレビ番組等の放送前又は放送中の所定タイミングに開始されるとよい。基準色リストの生成タイミングは、なるべく使用タイミングに近いほうが、チート対策として有効になるからである。
ステップS22において、基準色リスト送信制御部203は、ステップS21で生成された基準色リストの送信条件が満たされているか否かを判定する。
ここで、基準色リストの送信条件としては、各種各様な条件を採用することができる。例えば本例では、チェックインの対象となるテレビ番組等の放送前又は放送中の所定タイミングになったことと、ユーザ端末1から送信の要求があったこと(図8のステップS3の処理が実行されたこと)という2つの条件が採用されているものとする。
2つの送信条件の何れもが満たされていないと判定された場合、ステップS22においてNOであると判定されて処理はステップS21に戻される。
これに対して、2つの基準色リストのうち少なくとも一方の送信条件が満たされた場合、ステップS22においてYESであると判定されて処理はステップS23に進む。
ステップS23において、基準色リスト送信制御部203は、基準色リストをユーザ端末1に送信する。
ステップS24において、Sメタデータ生成部204は、ステップS21で作成された基準色リストと、RVDB300に格納されたテレビ放送番組等のオリジナル映像の情報とから、Sメタデータを生成する。
ステップS25において、Sメタデータ生成部204は、ステップS24で生成したSメタデータをCMDB500に格納する。
ステップS26において、サーバ2のCPU51は、処理の終了指示が有ったか否かを判断する。ここで、処理の終了指示は、特に限定されないが、本実施形態ではサーバ2の電源遮断が採用されている。つまり、サーバ2において電源が遮断されると、ステップS26においてYESであると判断されて、サーバ2の処理は終了になる。
これに対して、サーバ2において電源が遮断されない限り、ステップS26においてNOであると判断されて処理はステップS21に戻され、それ以降の処理が繰り返される。
ステップS41において、Cメタデータ取得部201は、ユーザ端末1からCメタデータが送信されてきたか否かを判定する。
Cメタデータ取得部201によりCメタデータが送信されてきたことが検出されなければ、ステップS41においてNOであると判定されて処理はステップS41に戻される。
これに対して、図8のステップS6においてCメタデータがユーザ端末1から送信され、そのことがCメタデータ取得部201により検出されれば、ステップS41においてYESであると判定されて処理はステップS42に進む。
ステップS42において、Cメタデータ取得部201は、ユーザ端末1から送信されてきたCメタデータを取得する。
ステップS43において、正当判定部206は、ステップS42において取得されたCメタデータの生成用の基準色リストと同一のものを用いて生成されたSメタデータ(図9(a)のステップS24参照)の一部を、CMDB500から抽出する。
ステップS44において、正当判定部206は、ステップS43で抽出されたSメタデータの一部とステップS42で取得されたCメタデータとに基づいて、チェックインの可否を判定する。
ステップS45において、判定送信制御部207は、チェックインの可否についての判定の結果をユーザ端末1へ送信する。
ステップS46において、サーバ2のCPU51は、処理の終了指示が有ったか否かを判断する。ここで、処理の終了指示は、特に限定されないが、本実施形態ではサーバ2の電源遮断が採用されている。つまり、サーバ2において電源が遮断されると、ステップS46においてYESであると判断されて、サーバ2の処理は終了になる。
これに対して、サーバ2において電源が遮断されない限り、ステップS46においてNOであると判断されて処理はステップS41に戻され、それ以降の処理が繰り返される。
図11は、ユーザによる対象となるテレビ画面の取り込み方法の一例を示す図である。
図11の状態では、ユーザがテレビ映像を撮影するためのアプリケーションソフトウェアを起動している状態であり、この状態では表示部27上に、テレビ映像の読み取り領域301と、説明文表示領域302が配置される。
ユーザは、テレビ映像の読み取り領域301の中央に対象となるテレビ番組の画面を維持し、テレビ映像の撮影を行うことで、前述のチェックイン処理が開始される。
ここで、説明文表示領域302には、「アニメが表示されているテレビ画面を枠に入れて3秒間待って下さい」というメッセージが表示されている。即ち、説明文表示領域302は、ユーザがスムーズにテレビ映像の撮影を行うための説明文等を示すメッセージが表示される。
なお、テレビ映像を撮像するための操作方法はいかなる方法でも構わないが、例えば表示部27のいずれかの部位にタッチ操作を行った場合に撮影できるような仕様としても良い。また、図示はしないが、別途、撮影用のボタン表示部上に設けても良い。
例えば、予め決められた所定の種類の色を固定的にユーザ端末1が所持し、サーバ2は、ユーザ端末1又はグループ毎に基準色の順列が異なるよう生成された基準色リストの順序情報をユーザ端末1へと送信するという構成を取ることで、基準色リストの生成を可能にすることもできる。
なお、ここでいう「基準色リストの生成」とは、上述の通り、予め用意された所定数の色の中から選ばれたN個(Nは2以上で所定数未満の整数値)の色を基準色として選択し、それらのN個の基準色の順列を決定するまでの一連の処理のことをいう。
また、上述の実施形態では、基準色がその全てが互いに異なるN種類の色を用いているが、基準色リストの順列の中に同一の色を含むことも自由である。即ち、ここで言うNよりも色の種類が少ない場合も本発明の技術的範囲に含まれるものである。
また例えば、ヒストグラム差分の代わりに、ヒストグラムの非類似性を計量する任意の関数として以下のような式を用いることもできる。以下、式の詳細を示す。
このようにして得られた複数の適合性と、現在時刻を用いて、ユーザから送信されたCメタデータが、現在放送されているオリジナルの映像のSメタデータに適合することを確認する。
そのため、チェックイン用のサーバ2へ、クライアントのユーザ端末1から直接アクセスできるようにしつつ、チェックインのピークに合わせてロードバランサによる負荷分散を実施するのが好ましい。
また、チェックイン結果をデータベースに格納する際、データベーストラフィックの輻輳がおきるため、定期的にチェックイン結果を更新するのが望ましい。こうすることで、例えば50万人が同時にチェックインしてもDBは輻輳しにくい。
さらに、本発明に係る情報処理システムは、2つの独立したAPIとして実装することができる。一つは、クラスタリング用の基準色リストをサーバ2に問い合わせるAPIであり、もう一つは実際にチェックインを受付けるAPIである。ユーザ端末1は、第1のAPIである基準色リストAPIを呼び出し、基準色リストを受け取り、カメラから得た映像をその基準色リストを用いて分析する。そして、ユーザ端末1は、その分析結果を、第2のAPIであるチェックインAPIへ送信することにより、チェックイン処理を完了する。
換言すると、図7の機能的構成は例示に過ぎず、特に限定されない。
即ち、上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図2の例に限定されない。また、機能ブロックの存在場所も、図7に特に限定されず、任意でよい。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであっても良い。
また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
即ち、本発明が適用される情報処理システムは、
クライアント(例えば図1のユーザ端末1)とサーバ(例えば図1のサーバ2)からなる情報処理システムであって、
前記クライアントは、
複数の単位画像から構成される映像を含むコンテンツが、所定のタイムスケジュールに従って放送され所定の再生デバイスで受信されて再生されている最中に、当該映像が表示されている表示面が所定の撮像デバイスにより所定期間撮像された結果得られる映像の情報を、クライアント側映像の情報として取得する映像取得手段(例えば図7の映像取得部121)と、
前記コンテンツの放送中又は放送開始前の一定期間に前記サーバから送信されてくる送信情報に基づいて、N個(Nは2以上の整数値)の基準色の順列によって示される基準色リストを取得する基準色リスト取得手段(例えば図7の基準色リスト取得部104)と、
前記クライアント側映像を構成するM枚(Mは2以上の整数値)の単位画像の夫々を処理対象として、前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックを前記N個の基準色の何れかに分類し、当該処理対象についての前記N個の基準色の分布状態を示す情報を生成し、前記M枚の単位画像の夫々の前記分布状態を示す情報を、前記クライアント側映像のメタデータとして生成するクライアント側メタデータ生成手段(例えば図7のCメタデータ生成部102)と、
前記クライアント側映像の前記メタデータを、前記サーバに送信する制御を実行するメタデータ送信制御手段(例えば図7のCメタデータ送信制御部103)と、
を備え、
前記サーバは、
前記コンテンツの放送前又は放送中に、前記クライアント又は当該クライアントが属するグループ毎に前記基準色の種類と順列のうち少なくとも一方が異なる前記基準色リスト自体又は当該基準色リストを作成するために必要な情報を、前記送信情報として生成する基準色リスト等生成手段(例えば図7の基準色リスト生成部202)と、
前記クライアント又は前記グループ毎に、前記送信情報を、前記コンテンツの放送中又は放送開始前の一定期間に前記クライアントに送信する制御を実行する基準色リスト等送信制御手段(例えば図7の基準色リスト送信制御部203)と、
前記コンテンツ内の前記映像を構成する前記複数の単位画像の夫々を処理対象として、前記クライアント又は前記グループ毎の前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックを前記N個の基準色の何れかに分類し、当該処理対象についての前記N個の基準色の分布状態を示す情報を生成し、前記複数の単位画像の夫々の前記分布状態を示す情報を、サーバ側メタデータとして生成するサーバ側メタデータ生成手段(例えば図7のSメタデータ生成部204)と、
前記クライアント側映像の前記メタデータと、前記サーバ側メタデータのうち前記M枚の単位画像についてのメタデータとを比較し、その比較の結果に基づいて、前記クライアント側映像の正当性を判定する判定手段(例えば図7の正当判定部206)と、
を備える情報処理システムであれば足りる。
即ち、本発明が適用される情報処理システムは、大量の視聴者の同時チェックインに耐えるスケーラビリティと、テレビやスマートフォン機種の異種性の吸収と、正当性検証のためのメタデータを偽装することによる不正なチェックインの防止の3点を実現することができる。
本発明が適用される情報処理システムが生成するメタデータは、数キロバイト程度であるため、ネットワーク上を高速に送信することができる。また、チェックイン認証のコア関数であるフレームシフト色差距離系は、比較的高速なアルゴリズムであるため、リアルタイムにチェックイン認証を行うことができる。リアルタイム性を有することにより、例えば、照明やスマートフォンの持ち方が良くなかったために認証できなかったユーザであっても再度、チェックインすることが可能となる。
本発明が適用される情報処理システムは、映像コンテンツ内に、二次元コードや特徴的な画像などを埋め込む必要がなく、非侵襲的なチェックイン認証機構である。したがって、チェックインを実現するために映像コンテンツを加工する必要がない。
本発明が適用される情報処理システムによる基準色の動的変更機能により、サーバ側で生成されるSメタデータ(時系列カラーヒストグラム行列)と高い適合性を示すCメタデータを生成するためには、サーバ側と同一の基準色リスト(即ち、クラスタリング用カラーリスト)を使用する必要があり、かつ、サーバ側と同じ映像の情報を入力とする必要があるため、チートを行うことは極めて困難である。
本発明が適用される情報処理システムによる基準色の動的変更機能は、たとえば、特定の放送回の色彩に合わせて、より色彩特徴を抽出しやすい基準色リストを設定することを可能にする。これにより、認証精度をさらに向上させることが可能となる。
本発明が適用される情報処理システムによる基準色の動的変更機能は、たとえば、特定のスマートフォン機種のカメラの特性に合わせて、より色彩特徴を抽出しやすい基準色リストを設定することを可能にする。これにより、認証精度をさらに向上させることが可能となる。
複数の単位画像から構成される映像を含むコンテンツが、所定のタイムスケジュールに従って放送され所定の再生デバイスで受信されて再生されている最中に、当該映像が表示されている表示面が所定の撮像デバイスにより所定期間撮像された結果得られる映像の情報を、クライアント側映像の情報として取得する映像取得手段(例えば図7の映像取得部121)と、
前記コンテンツの放送中又は放送開始前の一定期間に前記サーバから送信されてくる送信情報に基づいて、N個(Nは2以上の整数値)の基準色の順列によって示される基準色リストであって、前記クライアント又は当該クライアントが属するグループ毎に前記基準色の種類と順列のうち少なくとも一方が異なる当該基準色リストを取得する基準色リスト取得手段(例えば図7の基準色リスト取得部104)と、
前記クライアント側映像を構成するM枚(Mは2以上の整数値)の単位画像の夫々を処理対象として、前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックを前記N個の基準色の何れかに分類し、当該処理対象についての前記N個の基準色の分布状態を示す情報を生成し、前記M枚の単位画像の夫々の前記分布状態を示す情報を、前記クライアント側映像のメタデータとして生成するクライアント側メタデータ生成手段(例えば図7のCメタデータ生成部102)と、
前記クライアント側映像の前記メタデータを、前記クライアント側映像の正当性を判定するために用いる情報として、前記サーバに送信する制御を実行するメタデータ送信制御手段(例えば図7のCメタデータ送信制御部103)と、
を備える情報処理装置とすることもできる。
これにより、カメラを用いた「チェックイン」操作により、不特定多数の視聴者が所定の映像を視聴していることを高精度かつ高速に確認することができる。
即ち、カメラを用いた「チェックイン」操作において、大量の視聴者の同時チェックインに耐えるスケーラビリティと、テレビやスマートフォン等の機種の異種性の吸収と、正当性検証のためのメタデータを偽装することによる不正なチェックインの防止という発明の効果を実現することができる。
前記クライアント側映像の前記メタデータと、前記サーバ側メタデータのうち前記M枚の単位画像についてのメタデータとは、行又は列の一方を、時間的に連続するM個の単位画像を要素とし、行又は列の他方を、前記N個の基準色を要素とする行列であることができる。
これにより、クライアント側メタデータ(例えば図7のCメタデータ)及びサーバ側メタデータ(例えば図7のSメタデータ)の夫々は、同一の基準色リストに基づいて得られる同一の基準色を要素とする行又は列を有し、M個の単位画像を要素とする列又は行を有する同一形態の行列で表現することができ、同一のクライアント(例えば図1のユーザ端末1)であることがチェックインの条件となっているため、クライアント側メタデータを偽装することを困難にし、結果として、より正確な「チェックイン」操作を行うことができる。また、同一形態の行列で表現することにより、時系列の各単位画像のヒストグラムの比較演算という高速な処理としてチェックインを高速に行うことができるようになる。
前記クライアント側メタデータ生成手段は、前記抽出手段により夫々抽出された前記情報を前記処理対象として用いる。
これにより、クライアント側映像の情報から表示面以外の情報を除去して、表示面に映るコンテンツの映像(テレビ映像等)の情報を抽出できることから、結果として、より正確な「チェックイン」操作を行うことができる。
クライアントとサーバからなる情報処理システムにおける前記サーバとして機能する情報処理装置であって、
前記クライアントにおいて、
複数の単位画像から構成される映像を含むコンテンツが、所定のタイムスケジュールに従って放送され所定の再生デバイスで受信されて再生されている最中に、当該映像が表示されている表示面が所定の撮像デバイスにより所定期間撮像された結果得られる映像の情報が、クライアント側映像の情報として取得され(例えば図7の映像取得部121)、
前記コンテンツの放送中又は放送開始前の一定期間に前記サーバから送信されてくる送信情報に基づいて、N個(Nは2以上の整数値)の基準色の順列によって示される基準色リストが取得され(例えば図7の基準色リスト取得部104)、
前記クライアント側映像を構成するM枚(Mは2以上の整数値)の単位画像の夫々が処理対象とされて、前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックが前記N個の基準色の何れかに分類され、当該処理対象についての前記N個の基準色の分布状態を示す情報が生成され、M枚の単位画像の夫々の前記分布状態を示す情報が、前記クライアント側映像のメタデータとして生成され(例えば図7のCメタデータ生成部102)、
前記クライアント側映像の前記メタデータが、前記サーバに送信される場合において、
前記コンテンツの放送前又は放送中に、前記クライアント又は当該クライアントが属するグループ毎に前記基準色の種類と順列のうち少なくとも一方が異なる前記基準色リスト自体又は当該基準色リストを作成するために必要な情報を、前記送信情報として生成する基準色リスト等生成手段(例えば図7の基準色リスト生成部202)と、
前記クライアント又は前記グループ毎に、前記送信情報を、前記コンテンツの放送中又は放送開始前の一定期間に前記クライアントに送信する制御を実行する基準色リスト等送信制御手段(例えば図7の基準色リスト送信制御部203)と、
前記コンテンツ内の前記映像を構成する前記複数の単位画像の夫々を処理対象として、前記クライアント又は前記グループ毎の前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックを前記N個の基準色の何れかに分類し、当該処理対象についての前記N個の基準色の分布状態を示す情報を生成し、前記複数の単位画像の夫々の前記分布状態を示す情報を、サーバ側メタデータとして生成するサーバ側メタデータ生成手段(例えば図7のSメタデータ生成部204)と、
前記クライアント側映像の前記メタデータと、前記サーバ側メタデータのうち前記M枚の単位画像についてのメタデータとを比較し、その比較の結果に基づいて、前記クライアント側映像の正当性を判定する判定手段(例えば図7の正当判定部206)と、
を備える情報処理装置とすることができる。
カメラを用いた「チェックイン」操作により、不特定多数の視聴者が所定の映像を視聴していることを高精度かつ高速に確認することができる。
これにより、カメラを用いた「チェックイン」操作において、大量の視聴者の同時チェックインに耐えるスケーラビリティと、テレビやスマートフォン等の機種の異種性の吸収と、正当性検証のためのメタデータを偽装することによる不正なチェックインの防止という発明の効果を実現することができる。
これにより、クライアント側メタデータ(例えば図7のCメタデータ)及びサーバ側メタデータ(例えば図7のSメタデータ)の夫々は、同一の基準色リストに基づいて得られる同一の基準色を要素とする行又は列を有し、M個の単位画像を要素とする列又は行を有する同一形態の行列で表現することができ、同一のクライアント(例えば図1のユーザ端末1)であることがチェックインの条件となっているため、クライアント側メタデータを偽装することを困難にし、結果として、より正確な「チェックイン」操作を行うことができる。また、同一形態の行列で表現することにより、時系列の各単位画像のヒストグラムの比較演算という高速な処理としてチェックインを高速に行うことができるようになる。
これにより、時間的に連続する画像についても正確に「チェックイン」操作を行うことが可能となり、結果として、より正確な「チェックイン」操作を行うことができる。
これにより、各ユーザ又や各グループ毎に異なる基準色リストを利用することが可能となり、不正な手段による「チェックイン」操作を効果的に予防することができる。
これにより、コンテンツの放送時間を正確に反映した「チェックイン」操作を行うことができ、結果としてより正確な「チェックイン」操作を行うことができる。
これにより、コンテンツの放送地域の差を正確に反映した「チェックイン」操作を行うことができ、結果としてより正確な「チェックイン」操作を行うことができる。
Claims (12)
- クライアントとサーバからなる情報処理システムにおいて、
前記クライアントは、
複数の単位画像から構成される映像を含むコンテンツが、所定のタイムスケジュールに従って放送され所定の再生デバイスで受信されて再生されている最中に、当該映像が表示されている表示面が所定の撮像デバイスにより所定期間撮像された結果得られる映像の情報を、クライアント側映像の情報として取得する映像取得手段と、
前記コンテンツの放送中又は放送開始前の一定期間に前記サーバから送信されてくる送信情報に基づいて、N個(Nは2以上の整数値)の基準色の順列によって示される基準色リストを取得する基準色リスト取得手段と、
前記クライアント側映像を構成するM枚(Mは2以上の整数値)の単位画像の夫々を処理対象として、前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックを前記N個の基準色の何れかに分類し、当該処理対象についての前記N個の基準色の分布状態を示す情報を生成し、前記M枚の単位画像の夫々の前記分布状態を示す情報を、前記クライアント側映像のメタデータとして生成するクライアント側メタデータ生成手段と、
前記クライアント側映像の前記メタデータを、前記サーバに送信する制御を実行するメタデータ送信制御手段と、
を備え、
前記サーバは、
前記コンテンツの放送前又は放送中に、前記クライアント又は当該クライアントが属するグループ毎に前記基準色の種類と順列のうち少なくとも一方が異なる前記基準色リスト自体又は当該基準色リストを作成するために必要な情報を、前記送信情報として生成する基準色リスト等生成手段と、
前記クライアント又は前記グループ毎に、前記送信情報を、前記コンテンツの放送中又は放送開始前の一定期間に前記クライアントに送信する制御を実行する基準色リスト等送信制御手段と、
前記コンテンツ内の前記映像を構成する前記複数の単位画像の夫々を処理対象として、前記クライアント又は前記グループ毎の前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックを前記N個の基準色の何れかに分類し、当該処理対象についての前記N個の基準色の分布状態を示す情報を生成し、前記複数の単位画像の夫々の前記分布状態を示す情報を、サーバ側メタデータとして生成するサーバ側メタデータ生成手段と、
前記クライアント側映像の前記メタデータと、前記サーバ側メタデータのうち前記M枚の単位画像についてのメタデータとを比較し、その比較の結果に基づいて、前記クライアント側映像の正当性を判定する判定手段と、
を備える情報処理システム。 - クライアントとサーバからなる情報処理システムにおける前記クライアントとして機能する情報処理装置であって、
複数の単位画像から構成される映像を含むコンテンツが、所定のタイムスケジュールに従って放送され所定の再生デバイスで受信されて再生されている最中に、当該映像が表示されている表示面が所定の撮像デバイスにより所定期間撮像された結果得られる映像の情報を、クライアント側映像の情報として取得する映像取得手段と、
前記コンテンツの放送中又は放送開始前の一定期間に前記サーバから送信されてくる送信情報に基づいて、N個(Nは2以上の整数値)の基準色の順列によって示される基準色リストであって、前記クライアント又は当該クライアントが属するグループ毎に前記基準色の種類と順列のうち少なくとも一方が異なる当該基準色リストを取得する基準色リスト取得手段と、
前記クライアント側映像を構成するM枚(Mは2以上の整数値)の単位画像の夫々を処理対象として、前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックを前記N個の基準色の何れかに分類し、当該処理対象についての前記N個の基準色の分布状態を示す情報を生成し、前記M枚の単位画像の夫々の前記分布状態を示す情報を、前記クライアント側映像のメタデータとして生成するクライアント側メタデータ生成手段と、
前記クライアント側映像の前記メタデータを、前記クライアント側映像の正当性を判定するために用いる情報として、前記サーバに送信する制御を実行するメタデータ送信制御手段と、
を備える情報処理装置。 - 前記サーバにおいては、前記クライアント側映像の前記メタデータと同一の前記基準色リストに基づいて、前記コンテンツの前記映像からサーバ側メタデータが生成され、前記クライアント側映像の前記メタデータと比較されて前記クライアント側映像の正当性が判定され、
前記クライアント側映像の前記メタデータと、前記サーバ側メタデータのうち前記M枚の単位画像についてのメタデータとは、行又は列の一方を、時間的に連続するM個の単位画像を要素とし、行又は列の他方を、前記N個の基準色を要素とする行列である、
請求項2に記載の情報処理装置。 - 前記クライアント側映像の情報から、前記M枚の単位画像の情報の夫々のうち、前記コンテンツが表示される前記表示面に対応する情報を夫々抽出する抽出手段をさらに備え、
前記クライアント側メタデータ生成手段は、前記抽出手段により夫々抽出された前記情報を前記処理対象として用いる
請求項2又は3に記載の情報処理装置。 - クライアントとサーバからなる情報処理システムにおける前記クライアントに、
複数の単位画像から構成される映像を含むコンテンツが、所定のタイムスケジュールに従って放送され所定の再生デバイスで受信されて再生されている最中に、当該映像が表示されている表示面が所定の撮像デバイスにより所定期間撮像された結果得られる映像の情報を、クライアント側映像の情報として取得する映像取得ステップと、
前記コンテンツの放送中又は放送開始前の一定期間に前記サーバから送信されてくる送信情報に基づいて、N個(Nは2以上の整数値)の基準色の順列によって示される基準色リストであって、前記クライアント又は当該クライアントが属するグループ毎に前記コンテンツの放送中又は放送前に前記サーバにより生成された当該基準色リストを取得する基準色リスト取得ステップと、
前記クライアント側映像を構成するM枚(Mは2以上の整数値)の単位画像の夫々を処理対象として、前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックを前記N個の基準色の何れかに分類し、当該処理対象についての前記N個の基準色の分布状態を示す情報を生成し、前記M枚の単位画像の夫々の前記分布状態を示す情報を、前記クライアント側映像のメタデータとして生成するクライアント側メタデータ生成ステップと、
前記クライアント側映像の前記メタデータを、前記クライアント側映像の正当性を判定するために用いる情報として、前記サーバに送信する制御を実行するメタデータ送信制御ステップと、
を含む制御処理を実行させるプログラム。 - クライアントとサーバからなる情報処理システムにおける前記サーバとして機能する情報処理装置であって、
前記クライアントにおいて、
複数の単位画像から構成される映像を含むコンテンツが、所定のタイムスケジュールに従って放送され所定の再生デバイスで受信されて再生されている最中に、当該映像が表示されている表示面が所定の撮像デバイスにより所定期間撮像された結果得られる映像の情報が、クライアント側映像の情報として取得され、
前記コンテンツの放送中又は放送開始前の一定期間に前記サーバから送信されてくる送信情報に基づいて、N個(Nは2以上の整数値)の基準色の順列によって示される基準色リストが取得され、
前記クライアント側映像を構成するM枚(Mは2以上の整数値)の単位画像の夫々が処理対象とされて、前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックが前記N個の基準色の何れかに分類され、当該処理対象についての前記N個の基準色の分布状態を示す情報が生成され、M枚の単位画像の夫々の前記分布状態を示す情報が、前記クライアント側映像のメタデータとして生成され、
前記クライアント側映像の前記メタデータが、前記サーバに送信される場合において、
前記コンテンツの放送前又は放送中に、前記クライアント又は当該クライアントが属するグループ毎に前記基準色の種類と順列のうち少なくとも一方が異なる前記基準色リスト自体又は当該基準色リストを作成するために必要な情報を、前記送信情報として生成する基準色リスト等生成手段と、
前記クライアント又は前記グループ毎に、前記送信情報を、前記コンテンツの放送中又は放送開始前の一定期間に前記クライアントに送信する制御を実行する基準色リスト等送信制御手段と、
前記コンテンツ内の前記映像を構成する前記複数の単位画像の夫々を処理対象として、前記クライアント又は前記グループ毎の前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックを前記N個の基準色の何れかに分類し、当該処理対象についての前記N個の基準色の分布状態を示す情報を生成し、前記複数の単位画像の夫々の前記分布状態を示す情報を、サーバ側メタデータとして生成するサーバ側メタデータ生成手段と、
前記クライアント側映像の前記メタデータと、前記サーバ側メタデータのうち前記M枚の単位画像についてのメタデータとを比較し、その比較の結果に基づいて、前記クライアント側映像の正当性を判定する判定手段と、
を備える情報処理装置。 - 前記クライアント側映像の前記メタデータと、前記サーバ側メタデータのうち前記M枚の単位画像についてのメタデータとは、行又は列の一方を、時間的に連続するM個の単位画像を要素とし、行又は列の他方を、N個の基準色を要素とする行列である、
請求項6に記載の情報処理装置。 - 前記判定手段は、
前記サーバ側メタデータのうち、前記クライアント側映像の前記メタデータの取得時刻から所定時間前の単位画像を開始画像として処理を開始し、
前記開始画像から時間的に連続するM枚の単位画像についてのメタデータと、前記クライアント側映像の前記メタデータを比較する処理を、
前記開始画像となる単位画像を1つずつずらしながら繰り返し実行し、
これらの実行結果に基づいて、前記クライアント側映像の正当性を判定する、
請求項6又は7に記載の情報処理装置。 - 前記基準色リスト等送信制御手段は、
前記クライアント又は前記グループ毎の前記基準色リストと、前記クライアントを操作するユーザのID又は前記ユーザが属するグループのIDとを紐付けたうえで、
当該クライアント又は当該グループ毎の前記基準色リストを、前記送信情報として、前記コンテンツの放送中又は放送開始前の一定期間に前記クライアントに送信する制御を実行する、
請求項6乃至8のうち何れか1項に記載の情報処理装置。 - 前記コンテンツの放送時間を管理する第1管理手段をさらに備え、
前記第1管理手段の判断結果に基づいて、前記基準色リスト等生成手段は前記送信情報を生成し、前記基準色リスト等送信制御手段は当該送信情報を送信する制御を実行する、
請求項6乃至9のうちいずれか1項に記載の情報処理装置。 - 前記コンテンツの放送地域を管理する第2管理手段をさらに備え、
前記第2管理手段の判断結果に基づいて、前記基準色リスト等生成手段は前記送信情報を生成し、前記基準色リスト等送信制御手段は当該送信情報を送信する制御を実行する、
請求項6乃至9のうちいずれか1項に記載の情報処理装置。 - クライアントとサーバからなる情報処理システムにおける前記サーバに制御処理を実行させるプログラムであって、
前記クライアントにおいて、
複数の単位画像から構成される映像を含むコンテンツが、所定のタイムスケジュールに従って放送され所定の再生デバイスで受信されて再生されている最中に、当該映像が表示されている表示面が所定の撮像デバイスにより所定期間撮像された結果得られる映像の情報が、クライアント側映像の情報として取得され、
前記コンテンツの放送中又は放送開始前の一定期間に前記サーバから送信されてくる送信情報に基づいて、N個(Nは2以上の整数値)の基準色の順列によって示される基準色リストが取得され、
前記クライアント側映像を構成するM枚(Mは2以上の整数値)の単位画像の夫々が処理対象とされて、前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックが前記N個の基準色の何れかに分類され、当該処理対象についての前記N個の基準色の分布状態を示す情報が生成され、前記M枚の単位画像の夫々の前記分布状態を示す情報が、前記クライアント側映像のメタデータとして生成され、
前記クライアント側映像の前記メタデータが、前記サーバに送信される場合において、
前記コンテンツの放送前又は放送中に、前記クライアント又は当該クライアントが属するグループ毎に、前記基準色の種類と順列のうち少なくとも一方が異なる前記基準色リスト自体又は当該基準色リストを作成するために必要な情報を前記送信情報として生成する基準色リスト等生成ステップと、
前記クライアント又は前記グループ毎に、前記送信情報を、前記コンテンツの放送中又は放送開始前の一定期間に前記クライアントに送信する制御を実行する基準色リスト等送信制御ステップと、
前記コンテンツ内の前記映像を構成する前記複数の単位画像の夫々を処理対象として、前記クライアント又は前記グループ毎の前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックを前記N個の基準色の何れかに分類し、当該処理対象についての前記N個の基準色の分布状態を示す情報を生成し、前記複数の単位画像の夫々の前記分布状態を示す情報を、サーバ側メタデータとして生成するサーバ側メタデータ生成ステップと、
前記クライアント側映像の前記メタデータと、前記サーバ側メタデータのうち前記M枚の単位画像についてのメタデータとを比較し、その比較の結果に基づいて、前記クライアント側映像の正当性を判定する判定ステップと、
を含む制御処理を実行させるプログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016251688A JP6148785B1 (ja) | 2016-12-26 | 2016-12-26 | 情報処理システム、情報処理装置及びプログラム |
KR1020197016552A KR102142530B1 (ko) | 2016-12-26 | 2017-11-07 | 정보 처리 시스템, 정보 처리 장치 및 프로그램 |
PCT/JP2017/040157 WO2018123279A1 (ja) | 2016-12-26 | 2017-11-07 | 情報処理システム、情報処理装置及びプログラム |
CN201780080013.6A CN110100445B (zh) | 2016-12-26 | 2017-11-07 | 信息处理系统、信息处理装置和计算机可读介质 |
US16/451,181 US10904499B2 (en) | 2016-12-26 | 2019-06-25 | Information processing system, information processing device and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016251688A JP6148785B1 (ja) | 2016-12-26 | 2016-12-26 | 情報処理システム、情報処理装置及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017100038A Division JP6779174B2 (ja) | 2017-05-19 | 2017-05-19 | プログラム及び情報処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6148785B1 true JP6148785B1 (ja) | 2017-06-14 |
JP2018106408A JP2018106408A (ja) | 2018-07-05 |
Family
ID=59061104
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016251688A Active JP6148785B1 (ja) | 2016-12-26 | 2016-12-26 | 情報処理システム、情報処理装置及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10904499B2 (ja) |
JP (1) | JP6148785B1 (ja) |
KR (1) | KR102142530B1 (ja) |
CN (1) | CN110100445B (ja) |
WO (1) | WO2018123279A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113408403A (zh) * | 2018-09-10 | 2021-09-17 | 创新先进技术有限公司 | 活体检测方法、装置和计算机可读存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007049584A (ja) * | 2005-08-12 | 2007-02-22 | Casio Comput Co Ltd | 宣伝支援システム及びプログラム |
JP2011077607A (ja) * | 2009-09-29 | 2011-04-14 | Jvc Kenwood Holdings Inc | 放送システム、送信装置、送信方法、受信装置、および受信方法 |
JP2014123839A (ja) * | 2012-12-20 | 2014-07-03 | Yomiuri Telecasting Corp | コンテンツ配信システム端末、コンテンツ配信方法、及びプログラム |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3467911B2 (ja) * | 1995-05-18 | 2003-11-17 | 富士ゼロックス株式会社 | 画像変換装置 |
JP3780623B2 (ja) | 1997-05-16 | 2006-05-31 | 株式会社日立製作所 | 動画像の記述方法 |
KR100320400B1 (ko) | 1999-06-16 | 2002-01-12 | 김외준 | 도자기 제조방법 |
US6782126B2 (en) * | 2001-02-20 | 2004-08-24 | International Business Machines Corporation | Method for combining feature distance with spatial distance for segmentation |
US7191103B2 (en) * | 2001-08-08 | 2007-03-13 | Hewlett-Packard Development Company, L.P. | Predominant color identification in digital images |
US7920164B2 (en) | 2003-07-28 | 2011-04-05 | Nec Corporation | Viewing surveillance system for carrying out surveillance independent of a broadcasting form |
JP4413633B2 (ja) | 2004-01-29 | 2010-02-10 | 株式会社ゼータ・ブリッジ | 情報検索システム、情報検索方法、情報検索装置、情報検索プログラム、画像認識装置、画像認識方法および画像認識プログラム、ならびに、販売システム |
CN202306549U (zh) * | 2011-11-03 | 2012-07-04 | 北京电子科技学院 | 一种基于光流方法的视频检索系统 |
US9332289B2 (en) * | 2012-05-31 | 2016-05-03 | Panasonic Intellectual Property Management Co., Ltd. | Image viewing system, receiver mobile terminal, image server, and image viewing method |
JP2015069492A (ja) * | 2013-09-30 | 2015-04-13 | 株式会社日立ソリューションズ | インセンティブシステム |
US20160360205A1 (en) * | 2015-06-08 | 2016-12-08 | Industrial Technology Research Institute | Video encoding methods and systems using adaptive color transform |
CN106156284B (zh) * | 2016-06-24 | 2019-03-08 | 合肥工业大学 | 基于随机多视角哈希的大规模近重复视频检索方法 |
-
2016
- 2016-12-26 JP JP2016251688A patent/JP6148785B1/ja active Active
-
2017
- 2017-11-07 KR KR1020197016552A patent/KR102142530B1/ko active IP Right Grant
- 2017-11-07 WO PCT/JP2017/040157 patent/WO2018123279A1/ja active Application Filing
- 2017-11-07 CN CN201780080013.6A patent/CN110100445B/zh active Active
-
2019
- 2019-06-25 US US16/451,181 patent/US10904499B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007049584A (ja) * | 2005-08-12 | 2007-02-22 | Casio Comput Co Ltd | 宣伝支援システム及びプログラム |
JP2011077607A (ja) * | 2009-09-29 | 2011-04-14 | Jvc Kenwood Holdings Inc | 放送システム、送信装置、送信方法、受信装置、および受信方法 |
JP2014123839A (ja) * | 2012-12-20 | 2014-07-03 | Yomiuri Telecasting Corp | コンテンツ配信システム端末、コンテンツ配信方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN110100445A (zh) | 2019-08-06 |
CN110100445B (zh) | 2021-10-29 |
JP2018106408A (ja) | 2018-07-05 |
KR20190084281A (ko) | 2019-07-16 |
WO2018123279A1 (ja) | 2018-07-05 |
US20190313068A1 (en) | 2019-10-10 |
US10904499B2 (en) | 2021-01-26 |
KR102142530B1 (ko) | 2020-08-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104618803B (zh) | 信息推送方法、装置、终端及服务器 | |
US8767081B2 (en) | Sharing video data associated with the same event | |
CN113411642B (zh) | 投屏方法、装置、电子设备和存储介质 | |
CN111601115B (zh) | 一种视频检测的方法、相关装置、设备及存储介质 | |
CN106416220A (zh) | 将视频自动插入照片故事 | |
CN108965950A (zh) | 一种广告监测方法和装置 | |
Tian et al. | Daxing smartphone identification dataset | |
US10499097B2 (en) | Methods, systems, and media for detecting abusive stereoscopic videos by generating fingerprints for multiple portions of a video frame | |
US9706102B1 (en) | Enhanced images associated with display devices | |
CN112714327A (zh) | 基于直播应用程序的互动方法、装置、设备及存储介质 | |
CN111147911A (zh) | 视频裁剪方法、装置、电子设备和存储介质 | |
CN110659604A (zh) | 视频检测方法、装置、服务器及存储介质 | |
CN115396705A (zh) | 投屏操作验证方法、平台及系统 | |
CN111050204A (zh) | 视频裁剪方法、装置、电子设备和存储介质 | |
JP6148785B1 (ja) | 情報処理システム、情報処理装置及びプログラム | |
CN111935509A (zh) | 一种多媒体数据播放的方法、相关装置、设备及存储介质 | |
CN111274925A (zh) | 推荐视频的生成方法、装置、电子设备及计算机存储介质 | |
JP6779174B2 (ja) | プログラム及び情報処理方法 | |
CN112437332B (zh) | 一种目标多媒体信息的播放方法和装置 | |
CN112235592B (zh) | 直播方法、直播处理方法、装置、计算机设备 | |
KR102261544B1 (ko) | 스트리밍 서버 및 이를 이용한 다시점 동영상에서의 객체 처리 방법 | |
CN114186203A (zh) | 一种账号认证方法及设备 | |
JP2015198298A (ja) | 映像配信システム | |
CN113505743B (zh) | 关键视频数据提取方法、系统、计算机设备及存储介质 | |
CN114849232A (zh) | 游戏画面的组合显示方法、系统、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20170417 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170425 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170519 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6148785 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |