KR20190084281A - 정보 처리 시스템, 정보 처리 장치 및 프로그램 - Google Patents

정보 처리 시스템, 정보 처리 장치 및 프로그램 Download PDF

Info

Publication number
KR20190084281A
KR20190084281A KR1020197016552A KR20197016552A KR20190084281A KR 20190084281 A KR20190084281 A KR 20190084281A KR 1020197016552 A KR1020197016552 A KR 1020197016552A KR 20197016552 A KR20197016552 A KR 20197016552A KR 20190084281 A KR20190084281 A KR 20190084281A
Authority
KR
South Korea
Prior art keywords
client
image
metadata
information
server
Prior art date
Application number
KR1020197016552A
Other languages
English (en)
Other versions
KR102142530B1 (ko
Inventor
슈이치 쿠라바야시
Original Assignee
가부시키가이샤 사이게임스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 사이게임스 filed Critical 가부시키가이샤 사이게임스
Publication of KR20190084281A publication Critical patent/KR20190084281A/ko
Application granted granted Critical
Publication of KR102142530B1 publication Critical patent/KR102142530B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/29—Arrangements for monitoring broadcast services or broadcast-related services
    • H04H60/31—Arrangements for monitoring the use made of the broadcast services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/38—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space
    • H04H60/40—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space for identifying broadcast time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/56—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/59—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/68—Systems specially adapted for using specific information, e.g. geographical or meteorological information
    • H04H60/73—Systems specially adapted for using specific information, e.g. geographical or meteorological information using meta-information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2407—Monitoring of transmitted content, e.g. distribution time, number of downloads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25891—Management of end-user data being end-user preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44204—Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/29—Arrangements for monitoring broadcast services or broadcast-related services
    • H04H60/33—Arrangements for monitoring the users' behaviour or opinions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

카메라를 이용한 「체크인」 조작에 의해, 불특정 다수의 시청자가 소정의 영상을 시청하고 있는 것을 고정밀도 및 고속으로 확인할 수 있는 기술을 제공한다. 서버(2)의 기준색 리스트 생성부(202)는, 프로그램 정보 관리부(205)로부터 통지된 타이밍에서 CLDB(400)에 저장된 기준색 리스트에 기초하여 기준색 리스트를 생성한다. S 메타데이터 생성부(204)는, RVDB(300)에 저장된 TV 프로그램의 정보와, 기준색 리스트로부터 S 메타데이터를 생성한다. 유저 단말(1)의 C 메타데이터 생성부(102)는, 촬상 화상을 구성하는 각 프레임의 각 정보와, 기준색 리스트로부터 C 메타데이터를 생성한다. 정당 판정부(206)는, 취득된 C 메타데이터와, CMDB(500)에 의해 추출된 S 메타데이터와, 프로그램 정보 관리부(205)에 의해 관리된 프로그램 상세 정보에 기초하여, 유저의 체크인의 가부를 판정한다.

Description

정보 처리 시스템, 정보 처리 장치 및 프로그램
본 발명은, 정보 처리 시스템, 정보 처리 장치 및 프로그램에 관한 것이다.
최근, 텔레비전 방송과, 스마트폰 등의 어플리케이션을 연동하여, 소정의 텔레비전 방송 등의 시청 상황에 따라 서비스의 제공을 행하는 것은 널리 일반적으로 행해지고 있다. 그러한 서비스를 제공함에 있어서, 스마트폰 등의 카메라를 이용한 「체크인」 조작에 의해, 시청자가 특정의 텔레비전 프로그램을 시청하고 있는 것을 확인하는 기술은 매우 유용하다. 종래에는, 이차원 바코드나 가청역 외의 음파를 이용하여 체크인을 행하고 있었다. 그러나 이들 기술은, 컨텐츠와 직접 관계없는 코드 등을 화면 상에 표시하는 것, 또는 특수한 스피커를 필요로 하는 것이며, 텔레비전 방송에 직접 적용하는 것은 불가능했다. 이 점, 텔레비전 방송에 적용할 수 있는 기술로서는, 미리 시스템에 저장되어 있는 비디오 영상을 대상으로 특징량을 추출하고, 그 특징량에 따라 체크인의 조합을 행하는 기술(예를 들면, 특허 문헌 1을 참조)이 존재한다. 또한, 텔레비전 영상을 휴대전화기로 촬상한 화상의 정보를 그대로 서버로 송신하고, 그 화상의 정보를 대상으로 하여, 체크인의 조합을 행하는 기술이 존재한다(예를 들면, 특허 문헌 2를 참조).
특허 문헌 1:일본 특허 공개 공보 H10-320400호 특허 문헌 2:일본 특허 공개 공보 제2005-215922호
그러나, 예를 들면, 상술의 특허 문헌 1의 기술로는, 이용자가 사전에 준비한 특징량을 쿼리로서 이용할 수 있으므로, 부정 행위(이른바 치트 행위)에 대하여 취약하다고 하는 문제가 있었다. 한편, 상술의 특허 문헌 2의 기술에서는, 촬영한 화상의 정보 자체를 서버측으로 송신하고, 서버측에서 조합하므로, 신뢰할 수 없는 입력에 대해서도 이용할 수 있으나, 화상의 정보 자체를 서버측으로 송신하므로 대량의 시청자의 동시 체크인을 버텨내는 것이 어렵다(이른바 스케일러빌리티가 낮다)고 하는 문제가 있었다. 이상과 같이, 텔레비전 방송으로의 스마트폰 등을 이용한 체크인 기술에는 많은 문제가 함유되어 있었다. 그러한 종래 기술의 과제를 해결하기 위하여, 대량의 시청자의 동시 체크인을 버텨내는 스케일러빌리티와, 텔레비전 수상기나 스마트폰 기종의 이종성의 흡수와, 텔레비전 영상을 위장함에 따른 부정한 체크인 방지의 세가지를 실현할 수 있는 체크인 기술의 개발이 요구되고 있었다.
본 발명은, 이러한 상황에 비추어 이루어진 것이며, 카메라를 이용한 「체크인」 조작에 의해, 불특정 다수의 시청자가 소정의 영상을 시청하고 있는 것을 고정밀도 및 고속으로 확인할 수 있는 기술을 제공한다.
상기 목적을 달성하기 위하여, 본 발명의 일 태양의 정보 처리 시스템은, 클라이언트와 서버로 이루어진 정보 처리 시스템에 있어서, 상기 클라이언트는, 복수의 단위 화상으로 구성되는 영상을 포함하는 컨텐츠가, 소정의 타임 스케줄에 따라 방송되며 소정의 재생 디바이스로 수신되어 재생되고 있는 도중에, 해당 영상이 표시되어 있는 표시면이 소정의 촬상 디바이스에 의해 소정 기간 촬상된 결과 얻어지는 영상의 정보를, 클라이언트측 영상의 정보로서 취득하는 영상 취득 수단과, 상기 컨텐츠의 방송 중 또는 방송 개시 전의 일정 기간에 상기 서버로부터 송신되어 오는 송신 정보에 기초하여, N 개(N는 2 이상의 정수값)의 기준색의 순열에 의해 표시되는 기준색 리스트를 취득하는 기준색 리스트 취득 수단과, 상기 클라이언트측 영상을 구성하는 M 매(M은 2 이상의 정수값)의 단위 화상의 각각을 처리 대상으로 하고, 상기 기준색 리스트에 기초하여, 상기 처리 대상 내의 각 화소 또는 각 블록을 상기 N 개의 기준색의 어느 하나로 분류하고, 해당 처리 대상에 대한 상기 N 개의 기준색의 분포 상태를 나타내는 정보를 생성하고, 상기 M 매의 단위 화상의 각각의 상기 분포 상태를 나타내는 정보를, 상기 클라이언트측 영상의 메타데이터로서 생성하는 클라이언트측 메타데이터 생성 수단과,　상기 클라이언트측 영상의 상기 메타데이터를, 상기 서버로 송신하는 제어를 실행하는 메타데이터 송신 제어 수단을 구비하고, 상기 서버는, 상기 컨텐츠의 방송 전 또는 방송 중에, 상기 클라이언트 또는 해당 클라이언트가 속하는 그룹마다 상기 기준색의 종류와 순열 중, 적어도 일방이 상이한 상기 기준색 리스트 자체 또는 해당 기준색 리스트를 작성하기 위하여 필요한 정보를, 상기 송신 정보로서 생성하는 기준색 리스트 등 생성 수단과, 상기 클라이언트 또는 상기 그룹마다, 상기 송신 정보를, 상기 컨텐츠의 방송 중 또는 방송 개시 전의 일정 기간에 상기 클라이언트로 송신하는 제어를 실행하는 기준색 리스트 등 송신 제어 수단과, 상기 컨텐츠 내의 상기 영상을 구성하는 상기 복수의 단위 화상의 각각을 처리 대상으로 하고, 상기 클라이언트 또는 상기 그룹마다의 상기 기준색 리스트에 기초하여, 상기 처리 대상 내의 각 화소 또는 각 블록을 상기 N 개의 기준색의 어느 하나로 분류하고, 해당 처리 대상에 대한 상기 N 개의 기준색의 분포 상태를 나타내는 정보를 생성하고, 상기 복수의 단위 화상의 각각의 상기 분포 상태를 나타내는 정보를, 서버측 메타데이터로서 생성하는 서버측 메타데이터 생성 수단과, 상기 클라이언트측 영상의 상기 메타데이터와 상기 서버측 메타데이터 중, 상기 M 매의 단위 화상에 대한 메타데이터를 비교하고, 그 비교의 결과에 기초하여, 상기 클라이언트측 영상의 정당성을 판정하는 판정 수단을 구비한다.
본 발명의 일 태양의 정보 처리 방법 및 프로그램도, 본 발명의 일 태양의 정보 처리 시스템에 대응하는 방법 및 프로그램으로서 제공된다.
본 발명에 의하면, 카메라를 이용한 「체크인」 조작에 의하여, 불특정 다수의 시청자가 소정의 영상을 시청하고 있는 것을 고정밀도 및 고속으로 확인할 수 있는 기술을 제공할 수 있다.
도 1은, 본 발명의 일 실시 형태에 따른 정보 처리 시스템의 개요를 나타내는 블럭도이다.
도 2은, 본 발명의 일 실시 형태에 따른 기준색으로 클러스터링하는 수법의 일예를 나타내는 도면이다.
도 3은, 본 발명의 일 실시 형태에 따른 색채의 적합성 계량 프로세스의 순서의 일예를 나타내는 도면이다.
도 4은, 본 발명의 일 실시 형태에 따른 기준색 리스트를 만들기 위한 기준색의 일예를 나타내는 도면이다.
도 5은, 본 발명의 일 실시 형태에 따른 유저 단말의 하드웨어 구성의 일예를 나타내는 블럭도이다.
도 6은, 본 발명의 일 실시 형태에 따른 서버의 하드웨어 구성의 일예를 나타내는 블럭도이다.
도 7은, 도 5의 유저 단말 및 도 6의 서버의 기능적 구성예를 나타내는 기능 블럭도이다.
도 8은, 도 5의 유저 단말이 실행하는 체크인 판정 처리의 흐름을 설명하는 플로우차트이다.
도 9은, 도 6의 서버가 실행하는 정당 판정 준비 처리 및 정당 판정 처리의 흐름을 설명하는 플로우차트이다.
도 10은, 유저 단말 및 서버가 실행하는 체크인 판정 처리 및 정당 판정 처리의 흐름을 설명하는 플로우차트이다.
도 11은, 유저에 의한 대상이 되는 TV 화면의 캡쳐 수법의 일예를 나타내는 도면이다.
이하, 본 발명의 실시 형태에 대하여, 도면을 이용하여 설명한다.
또한, 이하에서, 단순히 「화상」이라고 부르는 경우에는, 「동영상」과 「정지 화상」의 양방을 포함하는 것으로 한다. 또한, 「동영상」에는, 다음의 제1 처리 내지 제3 처리의 각각에 의해 표시되는 화상을 포함하는 것으로 한다. 제1 처리란, 평면 화상(2D 화상)에 있어서의 오브젝트(예를 들면, 애니메이션의 캐릭터)의 각각의 동작에 대하여, 복수 매로 이루어지는 일련의 정지 화상을 시간 경과와 함께 연속적으로 전환하여 표시시키는 처리를 말한다. 구체적으로는 예를 들면, 2 차원 애니메이션, 이른바 페이퍼 애니매이션적인 처리가 제1 처리에 해당한다. 제2 처리란, 입체 화상(3D 모델의 화상)에 있어서의 오브젝트(예를 들면, 애니메이션의 캐릭터)의 각각의 동작에 대응하는 모션을 설정해 두고, 시간 경과와 함께 해당 모션을 변화시켜 표시시키는 처리를 말한다. 구체적으로는, 예를 들면, 3 차원 애니메이션이 제2 처리에 해당한다. 제3 처리란, 오브젝트(예를 들면, 애니메이션의 캐릭터)의 각각의 동작에 대응한 영상(즉, 동영상)을 준비해 두고, 시간 경과와, 함께 해당 영상을 내보내가는 처리를 말한다. 여기서, 「영상(즉, 동영상)」은, 복수의 프레임 또는 필드 등의 화상(이하, 「단위 화상」이라고 부름)으로 구성된다. 또한, 이하의 예에서는, 단위 화상은 프레임인 것으로서 설명한다. 또한, 후술하는 본 실시 형태에서는, 영상은, 텔레비전 방송에 의해 전달되지만, 이하, 「텔레비전」을 「TV」로 생략한다.
본 발명은, 리얼타임으로 촬상되는 TV 영상을 이용한 체크인(정당성의 확인)을 실현하기 위해, TV 프로그램 등의 영상의 분석 처리를 유저 단말 상에서 실행하는 분산 아키텍쳐를 실현한다. 도 1을 이용하여, 본 발명의 일 실시 형태에 따른 정보 처리 시스템의 개요에 대하여 설명한다. 도 1에 도시한 정보 처리 시스템은, 온에어 중의 TV 방송 등을 유저가 시청하고 있는 것을 리얼타임으로 확인하기 위한 「체크인」을 실현한다. 여기서 「체크인」이란, 소정의 유저가, 어느 특정의 일 또는 절차를 행했는지의 여부를 확인하는 것이다. 특히 본 실시 형태에 있어서의 「체크인」이란, 소정의 유저가, 특정의 TV 프로그램 등을 시청하고 있는지의 여부를 리얼타임으로 확인하기 위한 기술이다. 특히 도 1에 도시한 정보 처리 시스템은, 대량의 시청자의 동시 체크인을 버텨내는 스케일러빌리티와, TV 또는 스마트폰 등의 기종의 이종성의 흡수와, 정당성 검증을 위한 데이터(후술하는 메타데이터)를 위장함에 따른 부정한 체크인의 방지의 세가지를 동시에 실현할 수 있다. 그 결과, 도 1에 도시한 정보 처리 시스템은, 대규모의 시청을 상정한 TV 방송 또는 인터넷 방송에 유용하다. 서비스 제공자는, 이러한 TV 방송 등의 체크인의 결과를 이용하여, 예를 들면, 스마트폰 등으로 제공되는 게임 등에 있어서의 다양한 서비스에도 응용할 수 있다.
또한, 도 1을 이용하여, 본 발명의 일 실시 형태에 따른 정보 처리 시스템이 행하는 일련의 프로세스에 대하여 설명한다. 도 1에 도시한 정보 처리 시스템은, 전 유저에게 공통의 프로세스(a)와, 각 유저/그룹에게 고유의 프로세스(b)와, 체크인 인증의 프로세스(c)라고 하는 3 개의 프로세스로 이루어진 일련의 처리를 실행한다. 도 1에 도시한 정보 처리 시스템은, 유저에 의해 사용되는 유저 단말(1)과, 서버(2)를 포함하는 시스템이다. 유저 단말(1)과 서버(2)란, 인터넷 등의 소정의 네트워크를 통하여 서로 접속되어 있다. 또한, 도 1에는 한 대의 유저 단말(1)만이 도시되어 있으나, 실제로는 다수의 유저가 존재하며, 그 만큼 유저 단말(1)의 대수도 다수 존재한다. 여기서 유저 단말(1)은, 유저에 의해 조작되는 예를 들면, 스마트폰 등이며, 서버(2)가 행하는 체크인을 행하기 위한 TV 프로그램 등의 영상이 TV의 표시 화면에 표시되어 있는 경우에, 그 표시면의 촬영 등을 행한다. 또한, TV의 표시면의 부분을 오로지 포함하는 영상을 본 명세서에서는 「TV 영상」이라고 부르고 있다. 서버(2)는, 서비스 제공자에 의해 관리되며, 소정의 유저가, 특정의 TV 프로그램 등을 시청하고 있는지의 여부의 체크인을 행한다.
이어서, 전 유저에게 공통의 프로세스(a)와, 각 유저/그룹에게 고유의 프로세스(b)에 대하여 설명한다. 전 유저에게 공통의 프로세스(a)와, 각 유저/그룹에게 고유의 프로세스(b)는, 유저 단말(1)측에서 실행되는 영상 분석 프로세스이다. 전 유저에게 공통의 프로세스(a)는, 전 유저가 공통의 정보를 생성하는 전처리 단계의 프로세스이다. 각 유저/그룹에게 고유의 프로세스(b)는, 유저마다 또는 복수의 유저가 속하는 그룹마다 상이한 정보(후술하는 메타데이터)를 생성하는 후처리 단계의 프로세스이다.
전처리 단계의 전 유저에게 공통의 프로세스(a)에 있어서, 유저 단말(1)에 내장되는 카메라 등은, 유저의 조작에 의하여, TV의 표시면에 비춰지는 컨텐츠(예를 들면, TV의 방송 프로그램 등)의 영상을 촬상하고, 그 결과 얻어지는 TV 영상의 정보를 출력한다. 이 TV 영상의 정보는, 컨텐츠의 영상 중 일정 시 구간(예를 들면, 일정한 시간 방향 범위를 나타냄)의 정보, 즉, 일정 시 구간에 포함되는 전 프레임 또는 복수 프레임의 각 정보이다. 각 프레임의 정보는, 균등성이 있는 색 공간(예를 들면, HSV 공간 등을 나타냄)에 사상(寫像)된 정보, 즉, 색 공간의 각 요소를 화소값으로서 가지는 정보이다. 여기서, 균등성이 있는 색 공간이란, 색 공간의 좌표 상의 2 점간 거리와, 육안으로의 색차감이 가급적 일치하도록 설계된 색 공간를 말한다. 일반적으로, 유저 단말(1) 상에서 색을 표현하는 RGB 공간은, 균등성이 없는 색 공간이며, 공간 내의 임의의 2 점간의 거리와, 육안으로의 색차감은 크게 괴리되어 있다. 즉, 유저 단말(1)의 카메라 등으로부터 얻어진 화상의 정보는, RGB 화상의 정보이며, 각각의 화소값을 HSV 등의 균등성이 있는 색 공간의 화소값으로 변환할 필요가 있다. 또한, RGB로부터 HSV로의 변환은, 다음의 식 (1) 내지 (3)과 같이 정의할 수 있다.
Figure pct00001
Figure pct00002
Figure pct00003
이상이, 전 유저 공통의 프로세스(a)에 대한 설명이다. 이어서, 각 유저/그룹에게 고유의 프로세스(b) 및 체크인 인증의 프로세스(c)의 상세에 대해서는, 도 1 이후의 도면을 사용하여 설명한다.
이어서, 도 2를 이용하여, 프레임을 구성하는 각 화소의 색을 미리 결정된 색으로 클러스터링하는 수법, 즉, 전술의 후처리 단계에서 적용되는 수법(예를 들면, 도 1의 각 유저/그룹에게 고유의 프로세스(b))에 대하여 설명한다. 여기서, 클러스터링에 대하여 설명하기 위한 전제로서, 클러스터링용 컬러리스트(이하, 「기준색 리스트」라고 부름)에 대하여 설명한다. 본 실시 형태에서는, 클러스터링의 기준이 될 수 있는 색(이하, 「기준색」이라고 부름)의 모(母) 집합으로서, 예를 들면, 120 종류 정도의 색이 준비되어 있고, 이들 색을 나타내는 정보가 서버(2)에 기억되어 있다. 그리고, 이 120 종류 정도의 색 중에서 선택된 N 개(N는 2 이상의 정수값)의 색에 관한 정보의 순열에 의해 표시되는 리스트가, 기준색 리스트로서 채용된다.
도 2는, 본 발명의 일 실시 형태에 따른 정보 처리 시스템에 적용되는 기준색으로 클러스터링하는 수법의 일예를 나타내는 도면이다. 도 2의 화상(α)은, 유저 단말(1)의 카메라 등으로 촬영된 화상 그 자체를 나타내고 있다. 그리고, 도 2의 화상(β1)은, 상술의 기준색 중 90 색의 기준색 리스트를 이용하여 클러스터링을 한 결과 얻어지는 화상이다. 이에 의하여, 화상(α)의 복잡한 색채는, 기준이 되는 90 색의 어느 한 색으로 분류된다. 또한, 도 2의 화상(β2)은, 상술의 기준색 중 30 색의 기준색 리스트를 이용하여 클러스터링한 화상이며, 90 색으로 클러스터링을 행한 화상(β1)에 비하여, 더 단조로운 색채만으로 원래의 화상(α)이 표현되어 있다. 또한, 이와 같이 화상(α)의 복잡한 색채는, 다양한 소정의 색의 기준색 리스트를 이용하여, 적절히 클러스터링하는 것이 가능하다. 이와 같이 90 색 또는 30 색 등의 한정된 N 개의 색으로 클러스터링을 행함으로써, TV 수상기나 스마트폰 등의 기종의 이종성에 의하지 않고, 원래의 화상(도 2의 화상(α))에 비교하여, 유사성높은 화상(도 2의 화상(β1) 또는 화상(β2))으로서 재현된다. 따라서, TV 수상기나 스마트폰 등의 기종의 이종성을 흡수할 수 있다.
도 3을 이용하여, 색채의 적합성 계량 프로세스(예를 들면, 도 1의 체크인 인증의 프로세스(c))에 대하여 설명한다. 도 3은, 본 발명의 일 실시 형태에 따른 정보 처리 시스템에 적용되는 색채의 적합성 계량 프로세스의 순서의 일예를 나타내는 도면이다.
서버(2)측에서의 색채의 적합성 계량 프로세스를 설명함에 있어서, 유저 단말(1)측에서 행하는 프로세스에 대하여 간단하게 설명한다. 우선, 체크인의 대상이 되는 TV 프로그램 등의 영상(C)이 TV의 표시면에 비쳐있는 상태에서, 유저 단말(1)에 의해 촬상됨으로써, 그 촬상 영상(C1)의 정보가 취득된다. 이 촬상 영상(C1)의 정보는, 전술의 전처리 단계(예를 들면, 도 1의 전 유저 공통의 프로세스(a))에 있어서 트리밍에 의해, 표시면 이외의 부분(구체적으로는, TV 프로그램이 표시된 표시면 이외의, 예를 들면, 모니터의 다른 부분 또는 배경 등)이 제거되어, TV 영상(C1)의 정보가 된다. 또한, 이 트리밍 후의 TV 영상(C1)의 정보에 대하여, 기준색 리스트(CL)에 의한 클러스터링이 행해짐으로써, 해당 TV 영상(C1)의 분석 결과를 나타내는 정보로서 메타데이터가 생성된다. 여기서, 클러스터링의 수법은, 특별히 한정되지는 않으나, 원 화상의 색과, 기준색의 색과의 거리의 계량에 기초하여 클러스터링을 행하는 수법이 채용되어 있다. 이 거리의 계량에는, goodlove 색차계 또는 CIE2000 등을 이용하는 것도 생각할 수 있으나, 본 실시 형태에서는, 평가 실험에 의해 유효하다고 하는 것이 확인된, 원추 공간 상의 유클리드 거리를 채용하는 것으로 한다. 이와 같이, 본 명세서에서 말하는 「메타데이터」란, 영상의 정보 그 자체와는 상이한 정보라는 뜻이며, 구체적으로는, 그 영상의 적어도 일부(예를 들면, 소정 매수의 각 프레임)에 관한 분석 결과를 나타내는 정보이다. 본 실시 형태에서는, 처리 대상의 영상을 구성하는 시계열의 각 프레임에 대하여 클러스터링되고, 각 프레임의 클러스터링의 결과로부터 메타데이터가 생성된다. 구체적으로는 예를 들면, 다음의 식 (4)에서 정의되는 시계열 컬러 히스토그램 행열(M)이, 메타데이터로서 채용되어 있다. 또한, 도 3 중, TV 영상(C2)은, TV 영상(C1)의 정보를 클러스터링한 결과 얻어지는 정보에 의해 표시되는 영상이다. 오리지널의 영상(D1)은, 오리지널의 영상(D)의 정보를 클러스터링한 결과 얻어지는 정보에 의해 표시되는 영상이다. 이들 TV 영상(C2) 및 오리지널의 영상(D1)은, 설명의 편의 상 도 3 중에 묘화되어 있는 것에 지나지 않으며, 본 실시 형태에서는, 이들 TV 영상(C2) 및 오리지널의 영상(D1)의 정보는 실제로는 생성되지 않는다. 즉, 본 실시 형태에서는, TV 영상(C1) 또는 오리지널의 영상(D)이 처리 대상의 영상으로서, 다음의 식 (4)에서 정의되는 시계열 컬러 히스토그램 행열(M)이 메타데이터로서 생성된다.
Figure pct00004
여기서, n와 m은 1 이상의 임의의 정수값이며, m은, 식별하는 색의 종류, 즉, 히스토그램의 빈의 수에 대응하고, n는, 처리 대상의 영상을 구성하는 시계열의 각 프레임의 수에 대응한다. 유저 단말(1)측에서 행하는 프로세스에서는, 메타데이터를 생성하기 위한 처리 대상의 영상은, TV 영상(C1)이다. 따라서, TV 영상(C1)의 정보에 대하여, 전술의 기준색 리스트(CL)에 의한 클러스터링이 실행된다. 이 클러스터링의 결과로부터, 시계열 컬러 히스토그램 행열(M)이 메타데이터로서 생성된다. 이와 같이 하여 유저 단말(1)측에서 행하는 프로세스에 의해 생성되는 메타데이터를, 이하, 「C 메타데이터」라고 부른다.
이어서, 서버(2)측에서의 프로세스에 대하여 설명한다. 서버(2)측에서는, 체크인의 대상의 TV 프로그램의 오리지널의 영상(D)의 정보가 보관되어 있다. 서버(2)는, 이 오리지널의 영상(D)의 정보에 대하여, 전술의 기준색 리스트(CL)에 의한 클러스터링을 실행한다. 또한, 상세에 대해서는 도 7을 이용하여 설명하겠으나, 상기 2 개의 기준색 리스트(CL)는 동일한 기준색 리스트를 사용하는 것으로 한다. 서버(2)는, 이 클러스터링의 결과로부터, 시계열 컬러 히스토그램 행열(M)을 메타데이터로서 생성한다. 이와 같이 하여 서버(2)측에서 행하는 프로세스에 의해 생성되는 메타데이터를, 이하, 「S 메타데이터」라고 부른다.
이러한 S 메타데이터가 생성된 후, 유저 단말(1)로부터 C 메타데이터가 체크인을 위해 제공되면, 서버(2)는, C 메타데이터와, S 메타데이터 중 비교 대상 부분에 대하여 유사도(차분)를 연산한다. 서버(2)는, S 메타데이터에 있어서 시계열로 프레임 쉬프트를 함으로써 비교 대상 부분을 어긋나게 하면서, 유사도(차분)의 연산을 반복한다. 서버(2)는, 이 반복 연산에 의해 산출된 복수의 유사도(차분)에 기초하여, 체크인의 가부를 판정한다.
여기서, S 메타데이터 중 비교 대상 부분이란, 다음과 같은 부분을 말한다. 즉, S 메타데이터는, 체크인의 대상이 되는 TV 프로그램 등의 오리지널의 영상 전체를 구성하는 시계열의 각 프레임의 히스토그램의 집합체이다. 이에 대하여, C 메타데이터는, 해당 TV 프로그램 등의 TV 영상 중 일부분(유저 단말(1)측에서 촬상된 때에 방영되고 있던 일부분)을 구성하는 시계열의 각 프레임의 히스토그램의 집합체이다. 따라서, S 메타데이터 중, C 메타데이터와 비교할 수 있는 일부분, 즉, 오리지널의 영상의 일부분을 구성하는 시계열의 각 프레임의 히스토그램의 집합체가, 비교 대상 부분이다. 구체적으로는, 체크인의 대상이 되는 TV 프로그램 등의 오리지널의 영상 전체를 구성하는 각 프레임 중, 소정의 프레임을 개시점 프레임으로 하고, 그 개시점 프레임을 포함하는 시계열의 M 매(M은, C 메타데이터에 있어서의 프레임수(히스토그램수)를 나타냄)의 각 프레임의 컬러 히스토그램의 집합체가, 비교 대상 부분이다.
비교 대상 부분은, 다음과 같은 프레임 쉬프트가 행해짐으로써, S 메타데이터 중에서 변화해 가며, 변화할 때마다 C 메타데이터와의 유사도(차분)가 각각 연출된다. 구체적으로는 예를 들면, C 메타데이터의 서버(2)로의 송신 시각(혹은 C 메타데이터의 생성 시각 또는 C 메타데이터에 대응하는 TV 영상의 촬상 시각 등)보다 조금 전의 시각에 방영된, 오리지널의 영상의 대응하는 프레임이, 개시점 프레임으로서 최초로 설정된다. 그 개시점 프레임을 포함하는 시계열의 M 매의 각 프레임의 컬러 히스토그램의 집합체가, 비교 대상 부분으로서 최초로 설정된다. 또한, 최초의 개시점 프레임의 방영 시각은, 후술하는 방송 시간 정보 및 방송 지역 정보 등에 의해 판단된다. 그리고, S 메타데이터 중 최초의 비교 대상 부분과, C 메타데이터에 대해, 최초의 유사도(차분)가 연산된다. 그 후, 지금까지 개시점 프레임이었던 것 보다 시간적으로 후의 프레임이, 새로운 개시점 프레임으로서 설정된다(프레임 1 매분의 프레임 쉬프트가 행해짐). 그 개시점 프레임을 포함하는 시계열의 M 매의 각 프레임의 컬러 히스토그램의 집합체가, 비교 대상 부분으로서 새롭게 설정된다. 즉, 비교 대상 부분이 변화한다. S 메타데이터의 변화 후의 비교 대상 부분과, C 메타데이터에 대하여, 유사도(차분)가 새롭게 연산된다. 이러한 프레임 1 매마다의 프레임 쉬프트가 반복하여 행해지고, 비교 대상 부분이 변화할 때마다, S 메타데이터의 변화 후의 비교 대상 부분과, C 메타데이터에 대하여, 유사도(차분)가 새롭게 연산된다. 이러한 프레임 1 매마다의 프레임 쉬프트의 반복에 의해 연산된 복수의 유사도(차분)에 기초하여, 체크인의 가부가 판정된다. 예를 들면, 복수의 유사도(차분) 중 최고의 유사도가 일정값 이상(최소의 차분이 일정값 이하)인 경우, 유저의 체크인(정당성)이 판정된다. 환언하면, 이러한 프레임 쉬프트의 반복에 의해 설정된 복수의 비교 대상 부분 중에, C 메타데이터와 동일 또는 일정 이상의 유사도(일정 이하의 차분량)를 가지는 비교 대상 부분이 존재한 경우, 유저의 체크인(정당성)이 판정된다.
즉, 도 3의 예에서는, 생성된 메타데이터끼리를 비교함으로써 마치 TV 영상(C1)과, 오리지널의 영상(D)의 정보끼리가 비교되어, 도 1의 체크인 인증의 프로세스(c)가 행해지도록 되어 있다. 이에 대하여, 화상 데이터는 정보량이 많으므로, 그대로 서버(2)로 송신하면, 직접 네트워크 대역을 압박하므로, 스케일러빌리티를 극적으로 악화시킨다. 구체적으로 예를 들면, 120 색의 기준색 리스트를 사용하여, 1 초간에 3 프레임을 분석 대상으로 하고 5 초간의 메타데이터를 생성한 경우, 1 회의 체크인으로 송신되는 메타데이터의 사이즈는, 120 색과, 4 바이트(부동(浮動) 소수점)와, 3 프레임과, 5 초간과의 적산이며, 대략 7 킬로바이트이다. 한편, 1 초간에 3 프레임을 분석 대상으로 하여 5 초간 분의 화상의 정보를 그대로 송신한 경우, JPEG(Joint　Photographic　Experts　Group) 등의 압축 알고리즘을 적용해도, 대략 3000 킬로바이트 정도가 된다. 따라서, 메타데이터를 생성한 경우와 비교하여, 화상의 정보는 400 배 이상 큰 사이즈가 된다. 정보량은, 직접 네트워크 대역을 압박하므로, 스케일러빌리티를 극적으로 악화시킨다. 더 말하면, 화상의 정보를 서버(2)가 직접 수신한 경우, 서버(2)는 메타데이터의 분석을 별도로 행할 필요가 있으므로, 서버(2)의 CPU 부하는 매우 증대하게 된다. 이와 같이, 화상의 정보를 직접 서버(2)로 송신해버리면, 대량의 시청자의 동시 체크인을 버텨내는 스케일러빌리티를 실현할 수 없다. 이에, 본 실시 형태에서는, 시계열 컬러 히스토그램 행열(M)(도 1의 예에서는 시계열 컬러 히스토그램 행열(CMD))이라고 하는 정보량이 적은 C 메타데이터로 변환되어, 유저 단말(1)로부터 서버(2)로 송신된다. 그리고, 서버(2)에서, 오리지널의 영상으로부터 작성된 시계열 컬러 히스토그램 행열(M)(도 1의 예에서는 시계열 컬러 히스토그램 행열(SMD))로서의 S 메타데이터의 비교 대상 부분과 비교되어, 체크인의 인증이 행해진다. 이와 같이 하여, 서버(2)측에서 처리하는 정보량이 극적으로 억제되어, 대량의 시청자의 동시 체크인을 버텨내는 스케일러빌리티를 실현할 수 있다.
또한, 이러한 시계열 컬러 히스토그램 행열(M)(메타데이터)을 작성하기 위하여 필요한 기준색 리스트는, 체크인의 대상이 되는 TV 프로그램 등 (컨텐츠)의 방송 중 또는 방송 개시 전의 일정 기간에 서버(2)로부터 유저 단말(1)로 송신되어 온다. 따라서, 제삼자가 이 기준색 리스트를 재현하여 C 메타데이터를 위조하는 것은 실질적으로 불가능하다. 즉, 부정한 체크인의 방지를 실현할 수 있다.
도 4는, 본 발명의 일 실시 형태에 따른 정보 처리 시스템에 적용되는 기준색 리스트를 만들기 위한 기준색의 일예를 나타내는 도면이다. 도 4를 보면, 예를 들면, 상단에는 R/V, YR/V, Y/Vⅴ*와 10 색의 색이 배치되어 있다. 이들은, 각각, 각 기준색의 색채를 나타내고 있고, 예를 들면, R/V는, 색채가 빨강이며, 색의 톤이 Vivid(선명함)인 것을 나타내고 있다. 여기서, 색의 톤이란, 명도와 채도의 밸런스를 나타내고 있고, 예를 들면, 12 단계로 분류된다. 즉, 도 4의 예에서는, 10 종류의 색채와 12 종류의 톤의 적산에 의한 합계 120 종류의 색이 기준색으로서 채용되어 리스트화되어 있는 것이다. 또한, 상술한 바와 같이, 본 실시 형태에 있어서의 체크인 처리의 최대의 특징은, 유저/그룹마다 상이한 기준색 리스트가 방송 직전에 유저 단말(1)로 전달되는지, 혹은, 체크인 시에 유저 단말(1)측이 기준색 리스트를 다운로드시킴으로써 사전에 작성할 수 없고, 또한 다른 유저와 공유할 수 없는 체크인 데이터(C 메타데이터)를 유저 단말(1)측에 생성시키는 점에 있다. 구체적으로는, 도 4에 기초하는 기준색 리스트를, 체크인의 직전 등에 서버(2)측에서 결정함으로써, 유저 단말(1)측에서의 클러스터링의 결과를 부정하게 위조하는 것, 혹은 다른 유저에게 송신하고, 실제로는 영상을 보지 않은 다른 유저에게 체크인시키는 것을 방지할 수 있다. 즉, 유저 단말(1)측에서, 서버(2)측에서 생성되는 시계열 컬러 히스토그램 행열(M)(S 메타데이터)과, 적합성높은 C 메타데이터를 생성하기 위해서는, 서버(2)측과, 동일한 기준색 리스트를 사용할 필요가 있고, 또한 서버(2)측과 같은 영상을 입력할 필요가 있는 것으로부터 부정한 체크인의 방지를 실현할 수 있는 것이다. 환언하면, 기준색 리스트의 동적 전송에 의해, 유저 간에 의한 C 메타데이터의 공유, 및 사전의 분석에 의한 C 메타데이터의 뱃치 생성의 양쪽 모두를 방지할 수 있다. 이와, 같이, 본 실시 형태에서는, 기준색 리스트의 동적인 배신에 의해, 종래 불가능했던 분산 처리에 의한 스케일러빌리티의 향상과 치트 방지의 양립을 실현하고 있다.
도 5는, 본 발명의 일 실시 형태에 따른 유저 단말(1)의 하드웨어 구성을 나타내는 블럭도이다.
유저 단말(1)은, 스마트폰 등으로 구성된다. 유저 단말(1)은, CPU(Central　Processing　Unit)(21)와, ROM(Read　Only　Memory)(22)와, RAM(Random　Access　Memory)(23)와, 버스(24)와, 입출력 인터페이스(25)와, 터치 조작 입력부(26)와, 표시부(27)와, 입력부(28)와, 기억부(29)와, 통신부(30)와, 촬상부(31)와, 드라이브(32)를 구비하고 있다.
CPU(21)는, ROM(22)에 기록되어 있는 프로그램, 또는 기억부(29)로부터 RAM(23)에 로드된 프로그램에 따라 각종 처리를 실행한다. RAM(23)에는, CPU(21)가 각종 처리를 실행함에 있어서 필요한 정보 등도 적절히 기억된다.
CPU(21), ROM(22) 및 RAM(23)은, 버스(24)를 통하여 서로 접속되어 있다. 이 버스(24)에는 또한, 입출력 인터페이스(25)도 접속되어 있다. 입출력 인터페이스(25)에는, 터치 조작 입력부(26), 표시부(27), 입력부(28), 기억부(29), 통신부(30), 촬상부(31) 및 드라이브(32)가 접속되어 있다.
터치 조작 입력부(26)는, 예를 들면, 표시부(27)에 적층되는 정전 용량식 또는 저항막식(감압식)의 위치 입력 센서에 의해 구성되고, 터치 조작이 이루어진 위치의 좌표를 검출한다. 표시부(27)는, 액정 등의 디스플레이에 의해 구성되고, 게임에 관한 화상 등, 각종 화상을 표시한다. 이와 같이, 본 실시 형태에서는, 터치 조작 입력부(26)와 표시부(27)에 의해, 터치 패널이 구성되어 있다. 또한, 본 명세서에서 「표시 매체」라고 부르는 경우, 단순히 표시부(27)를 의미하지 않고, 터치 조작 입력부(26)와 표시부(27)로 구성되는 「터치 패널」을 의미한다.
입력부(28)는, 각종 하드웨어 버튼 등으로 구성되고, 유저의 지시 조작에 따라 각종 정보를 입력한다. 기억부(29)는, 하드 디스크나 DRAM(Dynamic　Random　Access　Memory) 등으로 구성되고, 각종 정보를 기억한다. 통신부(30)는, 도시하지 않은 인터넷을 포함하는 네트워크를 통하여 다른 장치(도시하지 않은 서버 또는 도시하지 않은 다른 유저 단말)와의 사이에서 행하는 통신을 제어한다. 촬상부(31)는, 피사체를 촬상하는 카메라 등이다.
드라이브(32)는, 필요에 따라 설치된다. 드라이브(32)에는, 자기 디스크, 광 디스크, 광 자기 디스크, 혹은 반도체 메모리 등으로 이루어진, 리무버블 미디어(41)가 적절히 장착된다. 드라이브(32)에 의해 리무버블 미디어(41)로부터 읽어내어진 프로그램은, 필요에 따라 기억부(29)에 인스톨된다. 또한, 리무버블 미디어(41)는, 기억부(29)에 기억되어 있는 각종 정보도, 기억부(29)와 마찬가지로 기억할 수 있다.
도 6은, 본 발명의 일 실시 형태에 따른 서버(2)의 하드웨어 구성을 나타내는 블럭도이다.
서버(2)는, CPU(51)와, ROM(52)와, RAM(53)와, 버스(54)와, 입출력 인터페이스(55)와, 출력부(56)와, 입력부(57)와, 기억부(58)와, 통신부(59)와, 드라이브(60)를 구비하고 있다. 서버(2)의 구성은, 유저 단말(1)의 터치 패널을 제외한 구성과 기본적으로 동일하므로, 여기에서는 그 설명은 생략한다. 또한, 리무버블 미디어(61)에 대해서도 마찬가지이다.
이러한 도 5의 유저 단말(1) 및 도 6의 서버(2)의 각종 하드웨어와 각종 소프트웨어의 협동에 의해, 유저 단말(1) 및 서버(2)에 있어서, 각종 처리의 실행이 가능해진다. 즉, 유저 단말(1) 및 서버(2)는, 각종 처리의 실행에 있어서, 도 7에 도시한 바와 같은 기능적 구성을 가진다.
도 7은, 도 1의 유저 단말(1) 및 서버(2)의 기능적 구성의 일예를 나타내는 기능 블럭도이다. 도 7에 도시한 바와 같이, 유저 단말(1)의 CPU(21)에 있어서는, 유저 인터페이스 제어부(101)와, C 메타데이터 생성부(102)와, C 메타데이터 송신 제어부(103)와, 기준색 리스트 취득부(104)와, 판정 취득부(105)가 기능한다.　또한, 서버(2)의 CPU(51)에 있어서는, C 메타데이터 취득부(201)와, 기준색 리스트 생성부(202)와, 기준색 리스트 송신 제어부(203)와, S 메타데이터 생성부(204)와, 프로그램 정보 관리부(205)와, 정당 판정부(206)와, 판정 송신 제어부(207)가 기능한다. 또한, 서버(2)의 기억부(58)의 일 영역에는, RVDB(Raw　Video　Data　Base)(300)와, CLDB(Color　List　Data　Base)(400)와, CMDB(Color　Metadata　Data　Base)(500)와, TVPDB(TV　Program　Data　Base)(600)가 설치된다. 도 7에서, 점선으로 나타내는 테두리는, 도 1에서 상술한 프로세스(a), 프로세스(b), 및 프로세스(c) 중, 도 7 중의 인출선으로 나타내는 프로세스에 해당하는 것을 의미하고 있다.
방송국으로부터 방송되는 각종 TV 프로그램의 방송 시간에 관한 정보(이하, 「방송 시간 정보」라고 부름) 또는 방송 지역에 관한 정보(이하, 「방송 지역 정보」라고 부름) 등, 각종 TV 프로그램에 관한 다양한 정보(이하, 이들 정보를 모두 「프로그램 상세 정보」라고 부름)는, TVPDB(600)에 미리 저장되어 있는 것으로 한다. 프로그램 정보 관리부(205)는, 이러한 프로그램 상세 정보를 관리하고, 예를 들면, 체크인의 대상이 되는 TV 프로그램의 방송 시간 전 또는 방송 중의 소정 타이밍이 되면, 그 취지를 기준색 리스트 생성부(202) 등에 통지한다.
기준색 리스트 생성부(202)는, CLDB(400)에 저장된 기준색 리스트에 기초하여, 유저마다 또는 복수의 유저가 속하는 그룹마다, 기준색 리스트를 생성한다. 여기서, CLDB(400)는, 현재 유효한 기준색 리스트를 복수 개 저장하는 데이터베이스이다. 또한, 기준색 리스트의 생성 타이밍은, 기준색 리스트의 유저 단말(1)로의 송신 타이밍보다 전이면 특별히 한정되지 않고, 해당 송신 타이밍의 직전이여도 되고, 그보다 전의 소정 타이밍이여도 된다. 즉, 기준색 리스트는 미리 생성해 두는 것도 가능하다. 기준색 리스트 송신 제어부(203)는, 기준색 리스트 생성부(202)에 의해 생성된 기준색 리스트를, 프로그램 정보 관리부(205)로부터 통지된 타이밍, 즉, 체크인의 대상이 되는 TV 프로그램의 방송 시간 전 또는 방송 중의 소정 타이밍에 있어서, 유저 단말(1)로 송신하기 위한 제어를 실행한다.
또한, 기준색 리스트 생성부(202)에 의해 생성된 기준색 리스트는, 기준색 리스트의 생성 후의 소정 타이밍, 즉, 체크인의 대상이 되는 TV 프로그램의 방송 시간 전 또는 방송 중의 소정 타이밍(기준색 리스트의 유저 단말(1)로의 송신 타이밍과는 반드시 일치할 필요는 없음)에 있어서, S 메타데이터 생성부(204)에도 제공된다. S 메타데이터 생성부(204)는, 체크인의 대상이 되는 TV 프로그램의 오리지널의 영상의 정보를 RVDB(300)로부터 취득한다. S 메타데이터 생성부(204)는, 취득한 오리지널의 영상을 구성하는 각 프레임의 각 정보에 대하여, 기준색 리스트 생성부(202)에 의해 유저마다 또는 그룹마다 생성된 기준색 리스트를 적용하여 클러스터링을 행한다. 그리고, S 메타데이터 생성부(204)는, 클러스터링 후의 영상을 구성하는 시계열의 각 프레임의 컬러 히스토그램의 집합체를, 유저마다 또는 그룹마다의 S 메타데이터로서 생성한다. 이와 같이 하여 생성된 S 메타데이터는 CMDB(500)에 저장된다. 또한, CMDB(500)에서는, S 메타데이터와, 그 생성에 사용된 기준색 리스트가 연결되어 저장되어 있다.
이어서, 유저가 체크인할 때에 기능하는 유저 단말(1)의 기능적 구성에 대하여 설명한다. 유저 인터페이스 제어부(101)는, 터치 패널을 이용하여 유저 인터페이스의 제어를 실행한다. 이 유저 인터페이스 제어부(101)에는, 영상 취득부(121)와, 표시 제어부(122)가 설치되어 있다.
유저는, 체크인을 함에 있어서, 체크인의 대상의 TV 프로그램 등의 영상이 표시 화면에 표시되어 있는 상태에서, 해당 표시 화면을 포함하도록 유저 단말(1)의 촬상부(31) 등을 조작하여, TV 프로그램의 표시 화면을 촬상한다. 영상 취득부(121)는, 이와 같이 하여 유저 단말(1)의 촬상부(31) 등에서 촬상된 영상의 정보를 프레임을 단위로서 취득한다. 여기서 말하는 영상의 정보는, 상술한 대로, RGB를 보지한 RGB 화상의 정보이다. 또한, 영상 취득부(121)는, 도 1의 전 유저 공통의 프로세스(a)에 해당하는 처리를 실행한다.
여기서, 상술한 바와 같이, 체크인의 대상이 되는 TV 프로그램의 방송 시간 전 또는 방송 중의 소정 타이밍에 있어서, 유저마다 또는 그룹마다의 기준색 리스트 중 유저 단말(1)에 적용되는 것은, 해당 유저 단말(1)로 송신된다. 여기서, 기준색 리스트 취득부(104)는, 이와 같이 하여 서버(2)로부터 송신되어 온 기준색 리스트를, 통신부(30)를 통하여 취득한다.
C 메타데이터 생성부(102)는, 영상 취득부(121)에 의해 취득된 영상을 구성하는 각 프레임의 각 정보에 대하여, 기준색 리스트 취득부(104)에 의해 취득된 기준색 리스트를 적용함으로써, 클러스터링을 행한다. 그리고, C 메타데이터 생성부(102)는, 클러스터링 후의 영상을 구성하는 시계열의 각 프레임의 컬러 히스토그램의 집합체를, C 메타데이터로서 생성한다.
C 메타데이터 송신 제어부(103)는, C 메타데이터 생성부(102)에 의해 생성된 C 메타데이터를 통신부(30)를 통하여 서버(2)로 송신하기 위한 제어를 실행한다.
이와 같이 하여, 유저 단말(1)로부터 송신된 C 메타데이터는, 서버(2)에 수신되면, 서버(2)에서 체크인의 가부의 판정에 이용된다. 그리고, 그 가부의 판정의 결과는 서버(2)로부터 유저 단말(1)로 송신되어 온다. 이에, 판정 취득부(105)는, 서버(2)로부터 송신되어 온 해당 판정의 결과를, 통신부(30)를 통하여 취득한다. 표시 제어부(122)는, 판정 취득부(105)에 의해 취득된 판정의 결과를 표시부(27)에 표시하기 위한 제어를 실행한다.
이상, 유저가 체크인할 때에 기능하는 유저 단말(1)의 기능적 구성에 대하여 설명했다. 이어서, 이와 같이 유저가 체크인할 때의 서버(2)측의 기능적 구성에 대하여 설명한다. C 메타데이터 취득부(201)는, 상술한 대로, 유저 단말(1)로부터 송신되어 온 C 메타데이터를 통신부(59)를 통하여 취득한다.
정당 판정부(206)는, 취득된 C 메타데이터의 생성용의 기준색 리스트와 동일한 것을 이용하여 생성된 S 메타데이터를 CMDB(500)로부터 추출한다. 여기서, 추출 대상은, S 메타데이터의 전부일 필요는 없으며, 상술한 프레임 쉬프트(개시점 프레임의 시계열의 순차 쉬프트)가 가능해지는 분량, 즉, 프레임 쉬프트를 반복하면서 C 메타데이터로 순차 비교해가는 것이 가능한 분량이라면 충분하다. 여기서, 동일한 방송 프로그램이어도, 방송 시간대나 방송 지역에 따라서는, 동일 시각에 방송되는 내용이 상이한 경우가 있다. 이에, 정당 판정부(206)는, 프로그램 정보 관리부(205)에 의해 관리되는 방송 시간 정보 및 방송 지역 정보 등도 고려하여, 추출 대상을 결정한다. 정당 판정부(206)는, 이와 같이 하여 CMDB(500)에 의해 추출된 S 메타데이터에 대하여, 상술한 개시점 프레임을 시계열로 순차 쉬프트시키면서(프레임 쉬프트를 반복하면서), 개시점 프레임을 포함하는 비교 대상 부분을 순차 설정해간다. 정당 판정부(206)는, 비교 대상 부분이 설정될 때마다, 그 비교 대상 부분과, C 메타데이터 취득부(201)에 의해 취득된 C 메타데이터와의 유사도(차분)를 각각 연산한다. 정당 판정부(206)는, 이들의 반복 연산의 결과에 있어서, C 메타데이터와 동일 또는 일정 이상의 유사도를 가지는 비교 대상 부분이 존재한 경우, 유저의 체크인(정당성)을 판정한다.
구체적으로는 예를 들면, 본 실시 형태에서는, S 메타데이터 중 비교 대상 부분과 C 메타데이터에 대한 유사도(차분)의 연산에는, 적합성 평가 함수가 채용되어 있다. 본 실시 형태에 있어서의 적합성 평가 함수는, 오리지널의 영상의 정보로부터 생성된 시계열 컬러 히스토그램 행열(M)(예를 들면, S 메타데이터) 중 비교 대상 부분과, 유저 단말(1)에 의해 표시 화면이 촬상된 결과로부터 얻어지는 TV 영상의 정보로부터 생성된 시계열 컬러 히스토그램 행열(Q)(예를 들면, C 메타데이터)과의 적합성을 평가하고, 각 프레임의 적합성을 0 이상의 실수로서 돌려주는 함수로서 정의할 수 있다. 이하, 식의 상세를 나타낸다.
Figure pct00005
이 frameshifting(M, Q) 함수는, 시계열 컬러 히스토그램 행열(M)의 각 프레임을 개시점 프레임의 각각으로 한 때의 각 비교 대상 부분의 각각과, 시계열 컬러 히스토그램 행열(Q)과의 적합성의 각각을 평가하는 함수이다. 시계열 컬러 히스토그램 행열(M)의 각 프레임을 개시점 프레임의 각각으로 한 때의 각 비교 대상 부분의 각각과, 시계열 컬러 히스토그램 행열(Q)과의 적합성을 나타내는 스코어(이하, 「적합성 스코어」라고 함)가 Sm으로 표시되어 있다. 적합성 스코어(Sm)는, 0 이상의 실수값이며, 바람직하게는 0 내지 1로 정규화된 실수값이다. 즉, 정당 판정부(206)는, k 회의 프레임 쉬프트의 반복에 의하여, k＋1 개의 적합성 스코어(S0 내지 Sk)를 연산한다. 그리고, 정당 판정부(206)는, 이들 적합성 스코어(S0 내지 Sk) 중, 예를 들면, 가장 0에 가까운 것을 이용하여 체크인의 가부를 판정한다.
판정 송신 제어부(207)는, 체크인의 가부에 관한 정당 판정부(206)에 의한 판정의 결과를, 유저 단말(1)로 송신하기 위한 제어를 행한다.
이상, 유저 단말(1)과 서버(2)와의 기능적 구성예에 대하여, 도 7을 참조하여 설명했다. 이어서, 도 8 이후의 도면을 참조하여, 도 7의 기능적 구성을 가지는 유저 단말(1) 및 서버(2)가 실행하는 처리의 흐름에 대하여 설명한다. 도 8은, 유저 단말(1)측의 처리의 흐름의 일예를 설명하는 플로우차트이다. 도 9는, 서버(2)측의 처리의 흐름의 일예를 설명하는 플로우차트이다. 그리고, 유저 단말(1)측의 처리와, 서버(2)측의 처리와의 관계는, 도 10에 도시되어 있다.　즉, 도 10은, 유저 단말(1)측의 처리와 서버(2)측의 처리와의 관계를 설명하는 플로우차트이다.
상술한 바와 같이, 유저는, 체크인을 함에 있어서, 체크인의 대상의 TV 프로그램 등의 영상이 표시 화면에 표시되어 있는 상태에서, 해당 표시 화면을 포함하도록 유저 단말(1)의 촬상부(31)에 촬상시킨다. 이에 의하여, 도 8의 유저 단말(1)측의 처리가 개시되고, 다음과, 같은 일련의 처리가 실행된다. 단계 S1에서, 유저 인터페이스 제어부(101)의 영상 취득부(121)는, 촬상부(31)로부터 출력된 영상의 정보에 대하여 트리밍 처리 등을 실시함으로써, TV 영상의 정보를 취득한다.
단계 S2에서, 기준색 리스트 취득부(104)는, 기준색 리스트가 있는지의 여부를 판정한다. 체크인의 대상의 TV 프로그램 등이 방송되기 전에 기준색 리스트가 서버(2)에 의해 생성되고, 유저 단말(1)에서 이미 취득되어 있는 경우, 해당 기준색 리스트는 기준색 리스트 취득부(104)에 검출되어, 단계 S2에서 YES라고 판정된다. 이 경우, 단계 S3 및 S4는 실행되지 않고, 처리는 그대로 단계 S5로 진행된다. 이에 대하여, 기준색 리스트가 유저 단말(1)에 아직 취득되어 있지 않은 경우, 단계 S2에서 NO라고 판정되고, 처리는 단계 S3로 진행된다. 그리고, 단계 S3 및 단계 S4의 처리의 실행 후, 처리는 단계 S5로 진행된다.
단계 S3에서, 기준색 리스트 취득부(104)는, 서버(2)에 기준색 리스트를 요구한다. 그러면, 서버(2)측에서는 송신 조건이 채워졌다고 판정되고(후술하는 단계 S22 참조), 기준색 리스트가 송신된다(후술하는 단계 S23 참조). 단계 S4에서, 기준색 리스트 취득부(104)는, 서버(2)로부터 송신되어 온 기준색 리스트를 취득한다.
단계 S5에서, C 메타데이터 생성부(102)는, 단계 S2에서 검출된 또는 단계 S4에서 취득된 기준색 리스트를 이용하여, 단계 S1에서 취득된 TV 영상의 정보로부터, C 메타데이터를 생성한다. 단계 S6에서, C 메타데이터 송신 제어부(103)는, 단계 S5에서 생성된 C 메타데이터를 서버(2)로 송신한다.
그러면, 서버(2)에서는, C 메타데이터가 취득되고(후술하는 단계 S41 YES, 및 단계 S42 참조), 해당 C 메타데이터의 생성용의 기준색 리스트와 동일한 것을 이용하여 생성된 S 메타데이터의 일부가 추출된다(후술하는 단계 S43 참조). 그리고, C 메타데이터와 추출된 S 메타데이터의 일부에 기초하여, 유저의 체크인의 가부(정당성)가 판정되고(후술하는 단계 S44 참조), 그 판정의 결과가 유저 단말(1)로 송신된다(후술하는 단계 S45 참조).
단계 S7에서, 판정 취득부(105)는, 서버(2)로부터 송신되어 온 판정의 결과를 통신부(30)를 통하여 취득한다. 단계 S8에서, 유저 인터페이스 제어부(101)의 표시 제어부(122)는, 단계 S7에서 취득된 판정의 결과를 표시부(27)에 표시시킨다. 단계 S9에서, 유저 단말(1)의 CPU(21)는, 처리의 종료 지시가 있었는지의 여부를 판단한다. 여기서, 처리의 종료 지시는, 특별히 한정되지는 않으나, 본 실시 형태에서는 유저 단말(1)의 전원 차단이 채용되어 있다. 즉, 유저 단말(1)에서 전원이 차단되면, 단계 S9에서 YES라고 판단되고, 유저 단말(1)의 처리는 종료가 된다. 이에 대하여, 유저 단말(1)에서 전원이 차단되지 않는 한, 단계 S9에서 NO라고 판단되고, 처리는 단계 S1로 되돌려져, 그 이후의 처리가 반복된다.
도 8을 참조하여 설명한 유저 단말(1)측의 처리에 대응하는, 서버(2)측의 처리의 흐름에 대하여, 도 9를 참조하면서 설명한다. 우선, 후술하는 도 9(b)의 처리 전에 준비 처리로서 실행되는 도 9(a)의 처리에 대하여 설명한다. 도 9(a)의 처리의 타이밍은, 도 9(b)의 처리 전이라면 특별히 한정되지는 않으나, 체크인의 대상이 되는 TV 프로그램 등의 방송 전 또는 방송 중의 소정 타이밍에 개시되면 된다. 기준색 리스트의 생성 타이밍은, 가급적 사용 타이밍에 가까운 편이, 치트 대책으로서 유효해지기 때문이다.
단계 S21에서, 기준색 리스트 생성부(202)는, CLDB(400)로부터 기준색 리스트를 생성한다. 단계 S22에서, 기준색 리스트 송신 제어부(203)는, 단계 S21에서 생성된 기준색 리스트의 송신 조건이 만족되어 있는지의 여부를 판정한다. 여기서, 기준색 리스트의 송신 조건으로서는, 다양한 조건을 채용할 수 있다. 예를 들면, 본 예에서는, 체크인의 대상이 되는 TV 프로그램 등의 방송 전 또는 방송 중의 소정 타이밍이 된 것과, 유저 단말(1)로부터 송신의 요구가 있던 것(도 8의 단계 S3의 처리가 실행된 것)이라고 하는 2 개의 조건이 채용되어 있는 것으로 한다.　2 개의 송신 조건의 어느 것도 만족되어 있지 않다고 판정된 경우, 단계 S22에서 NO라고 판정되고, 처리는 단계 S21로 되돌려진다. 이에 대하여, 2 개의 기준색 리스트 중, 적어도 일방의 송신 조건이 만족된 경우, 단계 S22에서 YES라고 판정되고, 처리는 단계 S23로 진행된다. 단계 S23에서, 기준색 리스트 송신 제어부(203)는, 기준색 리스트를 유저 단말(1)로 송신한다. 단계 S24에서, S 메타데이터 생성부(204)는, 단계 S21에서 작성된 기준색 리스트와, RVDB(300)에 저장된 TV 방송 프로그램 등의 오리지널 영상의 정보로부터 S 메타데이터를 생성한다. 단계 S25에서, S 메타데이터 생성부(204)는, 단계 S24에서 생성한 S 메타데이터를 CMDB(500)에 저장한다. 단계 S26에서, 서버(2)의 CPU(51)는, 처리의 종료 지시가 있었는지의 여부를 판단한다. 여기서, 처리의 종료 지시는, 특별히 한정되지는 않았으나, 본 실시 형태에서는 서버(2)의 전원 차단이 채용되어 있다. 즉, 서버(2)에서 전원이 차단되면, 단계 S26에서 YES라고 판단되고, 서버(2)의 처리는 종료가 된다. 이에 대하여, 서버(2)에서 전원이 차단되지 않는 한, 단계 S26에서 NO라고 판단되고, 처리는 단계 S21로 되돌려져, 그 이후의 처리가 반복된다.
이어서, 도 9(b)의 서버(2)측의 처리의 흐름에 대하여 설명한다. 단계 S41에서, C 메타데이터 취득부(201)는, 유저 단말(1)로부터 C 메타데이터가 송신되어 왔는지의 여부를 판정한다. C 메타데이터 취득부(201)에 의해 C 메타데이터가 송신되어 온 것이 검출되지 않으면, 단계 S41에서 NO라고 판정되고, 처리는 단계 S41로 되돌려진다. 이에 대하여, 도 8의 단계 S6에서, C 메타데이터가 유저 단말(1)로부터 송신되고, 그것이 C 메타데이터 취득부(201)에 의해 검출되면, 단계 S41에서 YES라고 판정되고, 처리는 단계 S42로 진행된다. 단계 S42에서, C 메타데이터 취득부(201)는, 유저 단말(1)로부터 송신되어 온 C 메타데이터를 취득한다. 단계 S43에서, 정당 판정부(206)는, 단계 S42에서 취득된 C 메타데이터의 생성용의 기준색 리스트와 동일한 것을 이용하여 생성된 S 메타데이터(도 9(a)의 단계 S24 참조)의 일부를, CMDB(500)로부터 추출한다. 단계 S44에서, 정당 판정부(206)는, 단계 S43에서 추출된 S 메타데이터의 일부와, 단계 S42에서 취득된 C 메타데이터에 기초하여, 체크인의 가부를 판정한다. 단계 S45에서, 판정 송신 제어부(207)는, 체크인의 가부에 대한 판정의 결과를 유저 단말(1)로 송신한다. 단계 S46에서, 서버(2)의 CPU(51)는, 처리의 종료 지시가 있었는지의 여부를 판단한다. 여기서, 처리의 종료 지시는, 특별히 한정되지는 않으나, 본 실시 형태에서는 서버(2)의 전원 차단이 채용되어 있다. 즉, 서버(2)에서 전원이 차단되면, 단계 S46에서 YES라고 판단되고, 서버(2)의 처리는 종료가 된다. 이에 대하여, 서버(2)에서 전원이 차단되지 않는 한, 단계 S46에서 NO라고 판단되고, 처리는 단계 S41로 되돌려져, 그 이후의 처리가 반복된다.
마지막으로, 도 11을 이용하여 유저가 TV 영상을 읽어내는 방법에 대하여 설명한다. 도 11은, 유저에 의한 대상이 되는 TV 화면의 캡쳐 방법의 일예를 나타내는 도면이다. 도 11의 상태에서는, 유저가 TV 영상을 촬영하기 위한 어플리케이션 소프트웨어를 기동하고 있는 상태이며, 이 상태에서는 표시부(27) 상에, TV 영상의 읽어내기 영역(301)과, 설명문 표시 영역(302)이 배치된다. 유저는, TV 영상의 읽어내기 영역(301)의 중앙에 대상이 되는 TV 프로그램의 화면을 유지하고, TV 영상의 촬영을 행함으로써, 전술의 체크인 처리가 개시된다. 여기서, 설명문 표시 영역(302)에는, 「애니메이션이 표시되어 있는 TV 화면을 프레임에 넣어 3 초간 기다려 주세요」라고 하는 메세지가 표시되어 있다. 즉, 설명문 표시 영역(302)은, 유저가 순조롭게 TV 영상의 촬영을 행하기 위한 설명문 등을 나타내는 메세지가 표시된다. 또한, TV 영상을 촬상하기 위한 조작 방법은 어떠한 방법이여도 상관없으나, 예를 들면, 표시부(27)의 어느 한 부위에 터치 조작을 행한 경우에 촬영할 수 있는 것과 같은 사양으로 해도 된다. 또한, 도시는 하지 않았으나, 별도로 촬영용의 버튼 표시부 상에 설치해도 된다.
이상, 본 발명의 일 실시 형태에 대하여 설명했으나, 본 발명은, 상술의 실시 형태로 한정되는 것은 아니며, 본 발명의 목적을 달성할 수 있는 범위에서의 변형, 개량 등은 본 발명에 포함되는 것이다.
예를 들면, 상술의 실시 형태에서는, 서버(2)측에서 기준색 리스트의 생성을 행하고 있으나, 기준색 리스트의 생성을 서버(2)측 혹은 유저 단말(1)측의 어느 일방에서만 행할 필요는 없다. 예를 들면, 미리 결정된 소정의 종류의 색을 고정적으로 유저 단말(1)이 소지하고, 서버(2)는, 유저 단말(1) 또는 그룹마다 기준색의 순열이 상이하도록 생성된 기준색 리스트의 순서 정보를 유저 단말(1)로 송신한다고 하는 구성을 취함으로써, 기준색 리스트의 생성을 가능케 할 수도 있다. 또한, 여기서 말하는 「기준색 리스트의 생성」이란, 상술한 대로, 미리 준비된 소정 수의 색 중에서 선택된 N 개(N는 2 이상으로 소정 수 미만의 정수값)의 색을 기준색으로서 선택하고, 그들 N 개의 기준색의 순열을 결정할 때까지의 일련의 처리를 말한다.
예를 들면, 상술의 실시 형태에서는, 기준색을 N 개라고 기재하고 있으나, 여기서 말하는 N 개란 N 종류의 개념을 포함하는 개념이다. 또한, 상술의 실시 형태에서는, 기준색이 그 모두가 서로 상이한 N 종류의 색을 이용하고 있으나, 기준색 리스트의 순열 중에 동일한 색을 포함하는 것도 자유롭다. 즉, 여기서 말하는 N보다 색의 종류가 적은 경우도 본 발명의 기술적 범위에 포함되는 것이다.
또한, 상술의 실시 형태에서 사용한 적합성 평가 함수는, 특정의 적합성 함수에 의존하는 것은 아니며, 임의의 적합성 평가 함수를 이용할 수 있으나, 예를 들면, 다음과 같은 적합성 평가 함수를 이용하는 것을 생각할 수 있다. 이하, 식의 상세를 나타낸다.
Figure pct00006
여기서, n는, 시계열 컬러 히스토그램 행열(Q)의 시간축 방향의 사이즈이며, m는, 기준색 리스트의 개수에 대응한다. 또한, k는, 시간 축을 따라 개시점 프레임을 이동시키는 프레임의 수에 대응한다. 또한, 예를 들면, 히스토그램 차분 대신에, 히스토그램의 비유사성을 계량하는 임의의 함수로서, 이하와 같은 식을 이용할 수도 있다. 이하, 식의 상세를 나타낸다.
Figure pct00007
여기서, Mi는, 오리지널 영상의 i 번째의 프레임에 대응하는 히스토그램이며, Qi는 쿼리 영상(TV 영상 등)의 i 번째에 대응하는 히스토그램이며, 거리 함수(dist)는, 2 개의 히스토그램의 거리를 0 내지 1의 실수로서 계량하는 임의의 함수이다. 이와 같이 하여 얻어진 복수의 적합성과, 현재 시각을 이용하여, 유저로부터 송신된 C 메타데이터가, 현재 방송되고 있는 오리지널의 영상의 S 메타데이터에 적합하는 것을 확인한다.
또한, 예를 들면, 본 실시 형태에서 설명은 생략했으나, 본 발명의 실장예에 대하여 간단하게 설명한다. 본 발명에 따른 정보 처리 시스템은, IO 바운드인 처리를 주로 하는 통상의 어플리케이션 서버와 달리, 내부 처리의 대부분이 행열 연산이라고 하는 CPU 바운드인 처리이므로, 캐쉬에 의한 연산의 고속화는 바랄 수 없다. 그 때문에, 체크인용의 서버(2)로, 클라이언트의 유저 단말(1)로부터 직접 액세스할 수 있도록 하면서, 체크인의 피크에 맞추어 로드 밸런서에 의한 부하 분산을 실시하는 것이 바람직하다. 또한, 체크인 결과를 데이터베이스에 저장할 때, 데이터베이스 트래픽의 폭주가 일어나므로, 정기적으로 체크인 결과를 갱신하는 것이 바람직하다. 이렇게 함으로써, 예를 들면, 50 만명이 동시에 체크인해도 DB는 폭주하기 어렵다. 또한, 본 발명에 따른 정보 처리 시스템은, 2 개의 독립된 API로서 실장할 수 있다. 하나는 클러스터링용의 기준색 리스트를 서버(2)에 문의하는 API이며, 또 하나는 실제로 체크인을 접수하는 API이다. 유저 단말(1)은, 제1 API인 기준색 리스트 API를 호출하고, 기준색 리스트를 받아, 카메라로부터 얻은 영상을 그 기준색 리스트를 이용하여 분석한다. 그리고, 유저 단말(1)은, 그 분석 결과를, 제2 API인 체크인 API로 송신함으로써, 체크인 처리를 완료한다.
또한, 예를 들면, 상술한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다. 환언하면, 도 7의 기능적 구성은 예시에 지나지 않고, 특별히 한정되지 않는다. 즉, 상술한 일련의 처리를 전체적으로 실행할 수 있는 기능이 정보 처리 시스템에 구비되어 있으면 충분하며, 이 기능을 실현하기 위하여 어떠한 기능 블록을 이용할지는 특별히 도 2의 예로 한정되지 않는다. 또한, 기능 블록의 존재 장소도, 도 7로 특별히 한정되지 않으며, 임의여도 된다. 또한, 한 개의 기능 블록은, 하드웨어 단체(單體)로 구성해도 되고, 소프트웨어 단체(單體)로 구성해도 되며, 그들의 조합으로 구성해도 된다.
또한, 예를 들면, 일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 컴퓨터 등에 네트워크나 기록 매체로부터 인스톨된다. 컴퓨터는, 전용의 하드웨어에 내장되어 있는 컴퓨터여도 된다. 또한, 컴퓨터는, 각종의 프로그램을 인스톨함으로써, 각종의 기능을 실행하는 것이 가능한 컴퓨터, 예를 들면, 서버의 타범용의 스마트폰이나 퍼스널 컴퓨터여도 된다.
또한, 예를 들면, 이러한 프로그램을 포함하는 기록 매체는, 유저에게 프로그램을 제공하기 위하여 장치 본체와는 별도로 배포되는 도시하지 않은 리무버블 미디어에 의해 구성될 뿐만 아니라, 장치 본체에 미리 내장된 상태에서 유저에게 제공되는 기록 매체 등으로 구성된다.
또한, 본 명세서에서, 기록 매체에 기록되는 프로그램을 기술하는 단계는, 그 순서에 따라 시계열적으로 행해지는 처리는 물론, 반드시 시계열적으로 처리되지 않아도, 병렬적 혹은 개별적으로 실행되는 처리도 포함하는 것이다. 또한, 본 명세서에서, 시스템의 용어는, 복수의 장치나 복수의 수단 등으로 구성되는 전체적인 장치를 의미하는 것으로 한다.
이상을 환언하면, 본 발명이 적용되는 정보 처리 시스템은, 다음과 같은 구성을 가지는 다양한 실시 형태를 취할 수 있다. 즉, 본 발명이 적용되는 정보 처리 시스템은, 클라이언트(예를 들면, 도 1의 유저 단말(1))와, 서버(예를 들면, 도 1의 서버(2))로 이루어진 정보 처리 시스템이며, 상기 클라이언트는, 복수의 단위 화상으로 구성되는 영상을 포함하는 컨텐츠가, 소정의 타임 스케줄에 따라 방송되며 소정의 재생 디바이스로 수신되어 재생되고 있는 도중에, 해당 영상이 표시되어 있는 표시면이 소정의 촬상 디바이스에 의해 소정 기간 촬상된 결과 얻어지는 영상의 정보를, 클라이언트측 영상의 정보로서 취득하는 영상 취득 수단(예를 들면, 도 7의 영상 취득부(121))과, 상기 컨텐츠의 방송 중 또는 방송 개시 전의 일정 기간에 상기 서버로부터 송신되어 오는 송신 정보에 기초하여, N 개(N는 2 이상의 정수값)의 기준색의 순열에 의해 표시되는 기준색 리스트를 취득하는 기준색 리스트 취득 수단(예를 들면, 도 7의 기준색 리스트 취득부(104))과, 상기 클라이언트측 영상을 구성하는 M 매(M은 2 이상의 정수값)의 단위 화상의 각각을 처리 대상으로 하고, 상기 기준색 리스트에 기초하여, 상기 처리 대상 내의 각 화소 또는 각 블록을 상기 N 개의 기준색의 어느 하나로 분류하고, 해당 처리 대상에 대한 상기 N 개의 기준색의 분포 상태를 나타내는 정보를 생성하고, 상기 M 매의 단위 화상의 각각의 상기 분포 상태를 나타내는 정보를, 상기 클라이언트측 영상의 메타데이터로서 생성하는 클라이언트측 메타데이터 생성 수단(예를 들면, 도 7의 C 메타데이터 생성부(102))과,　상기 클라이언트측 영상의 상기 메타데이터를, 상기 서버로 송신하는 제어를 실행하는 메타데이터 송신 제어 수단(예를 들면, 도 7의 C 메타데이터 송신 제어부(103))을 구비하고, 상기 서버는, 상기 컨텐츠의 방송 전 또는 방송 중에, 상기 클라이언트 또는 해당 클라이언트가 속하는 그룹마다 상기 기준색의 종류와 순열 중, 적어도 일방이 상이한 상기 기준색 리스트 자체 또는 해당 기준색 리스트를 작성하기 위하여 필요한 정보를, 상기 송신 정보로서 생성하는 기준색 리스트 등 생성 수단(예를 들면, 도 7의 기준색 리스트 생성부(202))과, 상기 클라이언트 또는 상기 그룹마다, 상기 송신 정보를, 상기 컨텐츠의 방송 중 또는 방송 개시 전의 일정 기간에 상기 클라이언트로 송신하는 제어를 실행하는 기준색 리스트 등 송신 제어 수단(예를 들면, 도 7의 기준색 리스트 송신 제어부(203))과, 상기 컨텐츠 내의 상기 영상을 구성하는 상기 복수의 단위 화상의 각각을 처리 대상으로 하고, 상기 클라이언트 또는 상기 그룹마다의 상기 기준색 리스트에 기초하여, 상기 처리 대상 내의 각 화소 또는 각 블록을 상기 N 개의 기준색의 어느 하나로 분류하고, 해당 처리 대상에 대한 상기 N 개의 기준색의 분포 상태를 나타내는 정보를 생성하고, 상기 복수의 단위 화상의 각각의 상기 분포 상태를 나타내는 정보를, 서버측 메타데이터로서 생성하는 서버측 메타데이터 생성 수단(예를 들면, 도 7의 S 메타데이터 생성부(204))과, 상기 클라이언트측 영상의 상기 메타데이터와 상기 서버측 메타데이터 중, 상기 M 매의 단위 화상에 대한 메타데이터를 비교하고, 그 비교의 결과에 기초하여, 상기 클라이언트측 영상의 정당성을 판정하는 판정 수단(예를 들면, 도 7의 정당 판정부(206))을 구비하는 정보 처리 시스템이면 충분하다.
이에 의하여, 카메라를 이용한 「체크인」 조작에 의하여, 불특정 다수의 시청자가 소정의 영상을 시청하고 있는 것을 고정밀도 및 고속으로 확인할 수 있다. 즉, 본 발명이 적용되는 정보 처리 시스템은, 대량의 시청자의 동시 체크인을 버텨내는 스케일러빌리티와, TV 또는 스마트폰 기종의 이종성의 흡수와, 정당성 검증을 위한 메타데이터를 위장함에 따른 부정한 체크인의 방지의 세가지를 실현할 수 있다.
또한, 상세하게 말하면, 본 발명이 적용되는 정보 처리 시스템은, 이하와 같은 이점을 가지는 것이다. 본 발명이 적용되는 정보 처리 시스템이 생성하는 메타데이터는, 수 킬로바이트 정도이므로, 네트워크 상을 고속으로 송신할 수 있다. 또한, 체크인 인증의 코어 함수인 프레임 쉬프트 색차 거리계는, 비교적 고속의 알고리즘이므로, 리얼타임으로 체크인 인증을 행할 수 있다. 리얼타임성을 가짐으로써, 예를 들면, 조명 또는 스마트폰의 소지법이 좋지 않았기에 인증할 수 없던 유저라도, 재차 체크인하는 것이 가능해진다. 본 발명이 적용되는 정보 처리 시스템은, 영상 컨텐츠 내에, 이차원 코드나 특징적인 화상 등을 삽입할 필요가 없으며, 비침습적인 체크인 인증 기구이다. 따라서, 체크인을 실현하기 위하여 영상 컨텐츠를 가공할 필요가 없다. 본 발명이 적용되는 정보 처리 시스템에 의한 기준색의 동적 변경 기능에 의해, 서버측에서 생성되는 S 메타데이터(시계열 컬러 히스토그램 행열)와, 높은 적합성을 나타내는 C 메타데이터를 생성하기 위해서는, 서버측과 동일한 기준색 리스트(즉, 클러스터링용 컬러리스트)를 사용할 필요가 있고, 또한, 서버측과 같은 영상의 정보를 입력으로 할 필요가 있으므로, 치트를 행하는 것은 매우 곤란하다. 본 발명이 적용되는 정보 처리 시스템에 의한 기준색의 동적 변경 기능은, 예를 들어, 특정의 방송 회의 색채에 맞추어, 보다 색채 특징을 추출하기 쉬운 기준색 리스트를 설정하는 것을 가능케 한다. 이에 의하여, 인증 정밀도를 더 향상시키는 것이 가능해진다. 본 발명이 적용되는 정보 처리 시스템에 의한 기준색의 동적 변경 기능은, 예를 들어, 특정의 스마트폰 기종의 카메라의 특성에 맞추어, 보다 색채 특징을 추출하기 쉬운 기준색 리스트를 설정하는 것을 가능케 한다. 이에 의하여, 인증 정밀도를 더 향상시키는 것이 가능해진다.
또한, 클라이언트와 서버로 이루어진 정보 처리 시스템에 있어서의 상기 클라이언트로서 기능하는 정보 처리 장치이며, 복수의 단위 화상으로 구성되는 영상을 포함하는 컨텐츠가, 소정의 타임 스케줄에 따라 방송되며 소정의 재생 디바이스로 수신되어 재생되고 있는 도중에, 해당 영상이 표시되어 있는 표시면이 소정의 촬상 디바이스에 의해 소정 기간 촬상된 결과 얻어지는 영상의 정보를, 클라이언트측 영상의 정보로서 취득하는 영상 취득 수단(예를 들면, 도 7의 영상 취득부(121))과, 상기 컨텐츠의 방송 중 또는 방송 개시 전의 일정 기간에 상기 서버로부터 송신되어 오는 송신 정보에 기초하여, N 개(N는 2 이상의 정수값)의 기준색의 순열에 의해 표시되는 기준색 리스트이며, 상기 클라이언트 또는 해당 클라이언트가 속하는 그룹마다 상기 기준색의 종류와 순열 중, 적어도 일방이 상이한 해당 기준색 리스트를 취득하는 기준색 리스트 취득 수단(예를 들면, 도 7의 기준색 리스트 취득부(104))과, 상기 클라이언트측 영상을 구성하는 M 매(M은 2 이상의 정수값)의 단위 화상의 각각을 처리 대상으로 하고, 상기 기준색 리스트에 기초하여, 상기 처리 대상 내의 각 화소 또는 각 블록을 상기 N 개의 기준색의 어느 하나로 분류하고, 해당 처리 대상에 대한 상기 N 개의 기준색의 분포 상태를 나타내는 정보를 생성하고, 상기 M 매의 단위 화상의 각각의 상기 분포 상태를 나타내는 정보를, 상기 클라이언트측 영상의 메타데이터로서 생성하는 클라이언트측 메타데이터 생성 수단(예를 들면, 도 7의 C 메타데이터 생성부(102))과,　상기 클라이언트측 영상의 상기 메타데이터를, 상기 클라이언트측 영상의 정당성을 판정하기 위하여 이용하는 정보로서, 상기 서버로 송신하는 제어를 실행하는 메타데이터 송신 제어 수단(예를 들면, 도 7의 C 메타데이터 송신 제어부(103))을 구비하는 정보 처리 장치로 할 수도 있다. 이에 의하여, 카메라를 이용한 「체크인」 조작에 의하여, 불특정 다수의 시청자가 소정의 영상을 시청하고 있는 것을 고정밀도 및 고속으로 확인할 수 있다. 즉, 카메라를 이용한 「체크인」 조작에서, 대량의 시청자의 동시 체크인을 버텨내는 스케일러빌리티와, TV 또는 스마트폰 등의 기종의 이종성의 흡수와, 정당성 검증을 위한 메타데이터를 위장함에 따른 부정한 체크인의 방지라고 하는 발명의 효과를 실현할 수 있다.
또한, 상기 서버에서는, 상기 클라이언트측 영상의 상기 메타데이터와 동일한 상기 기준색 리스트에 기초하여, 상기 컨텐츠의 상기 영상으로부터 서버측 메타데이터가 생성되고, 상기 클라이언트측 영상의 상기 메타데이터와 비교되어 상기 클라이언트측 영상의 정당성이 판정되고, 상기 클라이언트측 영상의 상기 메타데이터와 상기 서버측 메타데이터 중, 상기 M 매의 단위 화상에 대한 메타데이터는, 행 또는 열의 일방을 시간적으로 연속하는 M 개의 단위 화상을 요소로 하고, 행 또는 열의 타방을 상기 N 개의 기준색을 요소로 하는 행열일 수 있다. 이에 의하여, 클라이언트측 메타데이터(예를 들면, 도 7의 C 메타데이터) 및 서버측 메타데이터(예를 들면, 도 7의 S 메타데이터)의 각각은, 동일한 기준색 리스트에 기초하여 얻어지는 동일한 기준색을 요소로 하는 행 또는 열을 가지고, M 개의 단위 화상을 요소로 하는 열 또는 행을 가지는 동일 형태의 행열로 표현할 수 있고, 동일한 클라이언트(예를 들면, 도 1의 유저 단말(1))인 것이 체크인의 조건으로 되어 있으므로, 클라이언트측 메타데이터를 위장하는 것을 곤란케 하여, 결과적으로, 보다 정확한 「체크인」 조작을 행할 수 있다. 또한, 동일 형태의 행열로 표현함으로써, 시계열의 각 단위 화상의 히스토그램의 비교 연산이라고 하는 고속 처리로서 체크인을 고속으로 행할 수 있게 된다.
또한, 상기 영상 취득 수단은, 상기 클라이언트측 영상의 정보로부터, 상기 M 매의 단위 화상의 정보의 각각 중, 상기 컨텐츠가 표시되는 상기 표시면에 대응하는 정보를 각각 추출하는 추출 수단(예를 들면, 도 7의 영상 취득부(121)의 한 기능)을 더 구비하고, 상기 클라이언트측 메타데이터 생성 수단은, 상기 추출 수단에 의해 각각 추출된 상기 정보를 상기 처리 대상으로서 이용한다. 이에 의하여, 클라이언트측 영상의 정보로부터 표시면 이외의 정보를 제거하고, 표시면에 비춰지는 컨텐츠의 영상(TV 영상 등)의 정보를 추출할 수 있는 것으로부터, 결과적으로, 보다 정확한 「체크인」 조작을 행할 수 있다.
또한,　클라이언트와 서버로 이루어진 정보 처리 시스템에 있어서의 상기 서버로서 기능하는 정보 처리 장치이며, 상기 클라이언트에 있어서,　복수의 단위 화상으로 구성되는 영상을 포함하는 컨텐츠가, 소정의 타임 스케줄에 따라 방송되며 소정의 재생 디바이스로 수신되어 재생되고 있는 도중에, 해당 영상이 표시되어 있는 표시면이 소정의 촬상 디바이스에 의해 소정 기간 촬상된 결과 얻어지는 영상의 정보가, 클라이언트측 영상의 정보로서 취득되고(예를 들면, 도 7의 영상 취득부(121)), 상기 컨텐츠의 방송 중 또는 방송 개시 전의 일정 기간에 상기 서버로부터 송신되어 오는 송신 정보에 기초하여, N 개(N는 2 이상의 정수값)의 기준색의 순열에 의해 표시되는 기준색 리스트가 취득되고(예를 들면, 도 7의 기준색 리스트 취득부(104)), 상기 클라이언트측 영상을 구성하는 M 매(M은 2 이상의 정수값)의 단위 화상의 각각이 처리 대상으로 여겨지고, 상기 기준색 리스트에 기초하여, 상기 처리 대상 내의 각 화소 또는 각 블록이 상기 N 개의 기준색의 어느 하나로 분류되고, 해당 처리 대상에 대한 상기 N 개의 기준색의 분포 상태를 나타내는 정보가 생성되고, M 매의 단위 화상의 각각의 상기 분포 상태를 나타내는 정보가, 상기 클라이언트측 영상의 메타데이터로서 생성되고(예를 들면, 도 7의 C 메타데이터 생성부(102)), 상기 클라이언트측 영상의 상기 메타데이터가 상기 서버로 송신되는 경우에 있어서, 상기 컨텐츠의 방송 전 또는 방송 중에, 상기 클라이언트 또는 해당 클라이언트가 속하는 그룹마다 상기 기준색의 종류와 순열 중, 적어도 일방이 상이한 상기 기준색 리스트 자체 또는 해당 기준색 리스트를 작성하기 위하여 필요한 정보를, 상기 송신 정보로서 생성하는 기준색 리스트 등 생성 수단(예를 들면, 도 7의 기준색 리스트 생성부(202))과, 상기 클라이언트 또는 상기 그룹마다, 상기 송신 정보를, 상기 컨텐츠의 방송 중 또는 방송 개시 전의 일정 기간에 상기 클라이언트로 송신하는 제어를 실행하는 기준색 리스트 등 송신 제어 수단(예를 들면, 도 7의 기준색 리스트 송신 제어부(203))와, 상기 컨텐츠 내의 상기 영상을 구성하는 상기 복수의 단위 화상의 각각을 처리 대상으로 하고, 상기 클라이언트 또는 상기 그룹마다의 상기 기준색 리스트에 기초하여, 상기 처리 대상 내의 각 화소 또는 각 블록을 상기 N 개의 기준색의 어느 하나로 분류하고, 해당 처리 대상에 대한 상기 N 개의 기준색의 분포 상태를 나타내는 정보를 생성하고, 상기 복수의 단위 화상의 각각의 상기 분포 상태를 나타내는 정보를, 서버측 메타데이터로서 생성하는 서버측 메타데이터 생성 수단(예를 들면, 도 7의 S 메타데이터 생성부(204))과, 상기 클라이언트측 영상의 상기 메타데이터와 상기 서버측 메타데이터 중, 상기 M 매의 단위 화상에 대한 메타데이터를 비교하고, 그 비교의 결과에 기초하여, 상기 클라이언트측 영상의 정당성을 판정하는 판정 수단(예를 들면, 도 7의 정당 판정부(206))을 구비하는 정보 처리 장치로 할 수 있다. 카메라를 이용한 「체크인」 조작에 의하여, 불특정 다수의 시청자가 소정의 영상을 시청하고 있는 것을 고정밀도 및 고속으로 확인할 수 있다. 이에 의하여, 카메라를 이용한 「체크인」 조작에 있어서, 대량의 시청자의 동시 체크인을 버텨내는 스케일러빌리티와, TV 또는 스마트폰 등의 기종의 이종성의 흡수와, 정당성 검증을 위한 메타데이터를 위장함에 따른 부정한 체크인의 방지라고 하는 발명의 효과를 실현할 수 있다.
또한, 상기 클라이언트측 영상의 상기 메타데이터와 상기 서버측 메타데이터 중, 상기 M 매의 단위 화상에 대한 메타데이터란, 행 또는 열의 일방을 시간적으로 연속하는 M 개의 단위 화상을 요소로 하고, 행 또는 열의 타방을 N 개의 기준색을 요소로 하는 행열일 수 있다. 이에 의하여, 클라이언트측 메타데이터(예를 들면, 도 7의 C 메타데이터) 및 서버측 메타데이터(예를 들면, 도 7의 S 메타데이터)의 각각은, 동일한 기준색 리스트에 기초하여 얻어지는 동일한 기준색을 요소로 하는 행 또는 열을 가지고, M 개의 단위 화상을 요소로 하는 열 또는 행을 가지는 동일 형태의 행열로 표현할 수 있고, 동일한 클라이언트(예를 들면, 도 1의 유저 단말(1))인 것이 체크인의 조건으로 되어 있으므로, 클라이언트측 메타데이터를 위장하는 것을 곤란케 하여, 결과적으로, 보다 정확한 「체크인」 조작을 행할 수 있다. 또한, 동일 형태의 행열로 표현함으로써, 시계열의 각 단위 화상의 히스토그램의 비교 연산이라고 하는 고속 처리로서 체크인을 고속으로 행할 수 있게 된다.
또한, 상기 판정 수단은, 상기 서버측 메타데이터 중, 상기 클라이언트용 영상의 상기 메타데이터의 취득 시각으로부터 소정 시간 전의 단위 화상을 개시 화상으로 하여 처리를 개시하고, 상기 개시 화상으로부터 시간적으로 연속하는 M 매의 단위 화상에 대한 메타데이터와, 상기 클라이언트측 영상의 상기 메타데이터를 비교하는 처리를, 상기 개시 화상이 되는 단위 화상을 1 개씩 어긋나게 하면서 반복 실행하고, 이들 실행 결과에 기초하여, 상기 클라이언트측 영상의 정당성을 판정할 수 있다. 이에 의하여, 시간적으로 연속하는 화상에 대해서도 정확하게 「체크인」 조작을 행하는 것이 가능해져, 결과적으로, 보다 정확한 「체크인」 조작을 행할 수 있다.
또한, 상기 기준색 리스트 등 송신 제어 수단은, 상기 클라이언트 또는 상기 그룹마다의 상기 기준색 리스트와, 상기 클라이언트를 조작하는 유저의 ID 또는 상기 유저가 속하는 그룹의 ID를 연결시킨 후, 해당 클라이언트 또는 해당 그룹마다의 상기 기준색 리스트를, 상기 송신 정보로서, 상기 컨텐츠의 방송 중 또는 방송 개시 전의 일정 기간에 상기 클라이언트로 송신하는 제어를 실행할 수 있다. 이에 의하여, 각 유저 또는 각 그룹마다 상이한 기준색 리스트를 이용하는 것이 가능해져, 부정한 수단에 의한 「체크인」 조작을 효과적으로 예방할 수 있다.
또한, 상기 정보 처리 장치는, 컨텐츠의 방송 시간을 관리하는 제1 관리 수단을 더 구비하고, 제1 관리 수단의 판단 결과에 기초하여, 상기 기준색 리스트 등 생성 수단은 상기 송신 정보를 생성하고, 상기 기준색 리스트 등 송신 제어 수단은 해당 송신 정보를 송신하는 제어를 실행할 수 있다. 이에 의하여, 컨텐츠의 방송 시간을 정확하게 반영한 「체크인」 조작을 행할 수 있어, 결과적으로 보다 정확한 「체크인」 조작을 행할 수 있다.
또한, 상기 정보 처리 장치는, 컨텐츠의 방송 지역을 관리하는 제2 관리 수단을 더 구비하고, 제2 관리 수단의 판단 결과에 기초하여, 기준색 리스트 등 생성 수단은 상기 송신 정보를 생성하고, 기준색 리스트 등 송신 제어 수단은 해당 송신 정보를 송신하는 제어를 실행할 수 있다. 이에 의하여, 컨텐츠의 방송 지역의 차를 정확하게 반영한 「체크인」 조작을 행할 수 있어, 결과적으로 보다 정확한 「체크인」 조작을 행할 수 있다.
1 : 유저 단말
2 : 서버
21 : CPU
27 : 표시부
51 : CPU
101 : 유저 인터페이스 제어부
102 : C 메타데이터 생성부
103 : C 메타데이터 송신 제어부
104 : 기준색 리스트 취득부
105 : 판정 취득부
121 : 영상 취득부
122 : 표시 제어부
201 : C 메타데이터 취득부
202 : 기준색 리스트 생성부
203 : 기준색 리스트 송신 제어부
204 : S 메타데이터 생성부
205 : 프로그램 정보 관리부
206 : 정당 판정부
207 : 판정 송신 제어부
300 : RVDB
400 : CLDB
500 : CMDB
600 : TVPDB

Claims (12)

  1. 클라이언트와 서버로 이루어진 정보 처리 시스템에 있어서,
    상기 클라이언트는,
    복수의 단위 화상으로 구성되는 영상을 포함하는 컨텐츠가, 소정의 타임 스케줄에 따라 방송되며 소정의 재생 디바이스로 수신되어 재생되고 있는 도중에, 해당 영상이 표시되어 있는 표시면이 소정의 촬상 디바이스에 의해 소정 기간 촬상된 결과 얻어지는 영상의 정보를, 클라이언트측 영상의 정보로서 취득하는 영상 취득 수단과,
    상기 컨텐츠의 방송 중 또는 방송 개시 전의 일정 기간에 상기 서버로부터 송신되어 오는 송신 정보에 기초하여, N 개(N은 2 이상의 정수값)의 기준색의 순열에 의해 표시되는 기준색 리스트를 취득하는 기준색 리스트 취득 수단과,
    상기 클라이언트측 영상을 구성하는 M 매(M은 2 이상의 정수값)의 단위 화상의 각각을 처리 대상으로 하고, 상기 기준색 리스트에 기초하여, 상기 처리 대상 내의 각 화소 또는 각 블록을 상기 N 개의 기준색의 어느 하나로 분류하고, 해당 처리 대상에 대한 상기 N 개의 기준색의 분포 상태를 나타내는 정보를 생성하고, 상기 M 매의 단위 화상의 각각의 상기 분포 상태를 나타내는 정보를, 상기 클라이언트측 영상의 메타데이터로서 생성하는 클라이언트측 메타데이터 생성 수단과,　
    상기 클라이언트측 영상의 상기 메타데이터를, 상기 서버로 송신하는 제어를 실행하는 메타데이터 송신 제어 수단
    을 구비하고,
    상기 서버는,
    상기 컨텐츠의 방송 전 또는 방송 중에, 상기 클라이언트 또는 해당 클라이언트가 속하는 그룹마다 상기 기준색의 종류와 순열 중, 적어도 일방이 상이한 상기 기준색 리스트 자체 또는 해당 기준색 리스트를 작성하기 위하여 필요한 정보를, 상기 송신 정보로서 생성하는 기준색 리스트 등 생성 수단과,
    상기 클라이언트 또는 상기 그룹마다, 상기 송신 정보를, 상기 컨텐츠의 방송 중 또는 방송 개시 전의 일정 기간에 상기 클라이언트로 송신하는 제어를 실행하는 기준색 리스트 등 송신 제어 수단과,
    상기 컨텐츠 내의 상기 영상을 구성하는 상기 복수의 단위 화상의 각각을 처리 대상으로 하고, 상기 클라이언트 또는 상기 그룹마다의 상기 기준색 리스트에 기초하여, 상기 처리 대상 내의 각 화소 또는 각 블록을 상기 N 개의 기준색의 어느 하나로 분류하고, 해당 처리 대상에 대한 상기 N 개의 기준색의 분포 상태를 나타내는 정보를 생성하고, 상기 복수의 단위 화상의 각각의 상기 분포 상태를 나타내는 정보를, 서버측 메타데이터로서 생성하는 서버측 메타데이터 생성 수단과,
    상기 클라이언트측 영상의 상기 메타데이터와 상기 서버측 메타데이터 중, 상기 M 매의 단위 화상에 대한 메타데이터를 비교하고, 그 비교의 결과에 기초하여, 상기 클라이언트측 영상의 정당성을 판정하는 판정 수단
    을 구비하는 정보 처리 시스템.
  2. 클라이언트와 서버로 이루어진 정보 처리 시스템에 있어서의 상기 클라이언트로서 기능하는 정보 처리 장치이며,
    복수의 단위 화상으로 구성되는 영상을 포함하는 컨텐츠가, 소정의 타임 스케줄에 따라 방송되며 소정의 재생 디바이스로 수신되어 재생되고 있는 도중에, 해당 영상이 표시되어 있는 표시면이 소정의 촬상 디바이스에 의해 소정 기간 촬상된 결과 얻어지는 영상의 정보를, 클라이언트측 영상의 정보로서 취득하는 영상 취득 수단과,
    상기 컨텐츠의 방송 중 또는 방송 개시 전의 일정 기간에 상기 서버로부터 송신되어 오는 송신 정보에 기초하여, N 개(N은 2 이상의 정수값)의 기준색의 순열에 의해 표시되는 기준색 리스트이며, 상기 클라이언트 또는 해당 클라이언트가 속하는 그룹마다 상기 기준색의 종류와 순열 중, 적어도 일방이 상이한 해당 기준색 리스트를 취득하는 기준색 리스트 취득 수단과,
    상기 클라이언트측 영상을 구성하는 M 매(M은 2 이상의 정수값)의 단위 화상의 각각을 처리 대상으로 하고, 상기 기준색 리스트에 기초하여, 상기 처리 대상 내의 각 화소 또는 각 블록을 상기 N 개의 기준색의 어느 하나로 분류하고, 해당 처리 대상에 대한 상기 N 개의 기준색의 분포 상태를 나타내는 정보를 생성하고, 상기 M 매의 단위 화상의 각각의 상기 분포 상태를 나타내는 정보를, 상기 클라이언트측 영상의 메타데이터로서 생성하는 클라이언트측 메타데이터 생성 수단과,
    상기 클라이언트측 영상의 상기 메타데이터를, 상기 클라이언트측 영상의 정당성을 판정하기 위하여 이용하는 정보로서, 상기 서버로 송신하는 제어를 실행하는 메타데이터 송신 제어 수단
    을 구비하는 정보 처리 장치.
  3. 제2항에 있어서,
    상기 서버에 있어서는, 상기 클라이언트측 영상의 상기 메타데이터와 동일한 상기 기준색 리스트에 기초하여, 상기 컨텐츠의 상기 영상으로부터 서버측 메타데이터가 생성되고, 상기 클라이언트측 영상의 상기 메타데이터와 비교되어 상기 클라이언트측 영상의 정당성이 판정되고,
    상기 클라이언트측 영상의 상기 메타데이터와 상기 서버측 메타데이터 중, 상기 M 매의 단위 화상에 대한 메타데이터는, 행 또는 열의 일방을 시간적으로 연속하는 M 개의 단위 화상을 요소로 하고, 행 또는 열의 타방을 상기 N 개의 기준색을 요소로 하는 행열인 정보 처리 장치.
  4. 제2항 또는 제3항에 있어서,
    상기 클라이언트측 영상의 정보로부터, 상기 M 매의 단위 화상의 정보의 각각 중, 상기 컨텐츠가 표시되는 상기 표시면에 대응하는 정보를 각각 추출하는 추출 수단을 더 구비하고,
    상기 클라이언트측 메타데이터 생성 수단은, 상기 추출 수단에 의해 각각 추출된 상기 정보를 상기 처리 대상으로서 이용하는 정보 처리 장치.
  5. 클라이언트와 서버로 이루어진 정보 처리 시스템에 있어서의 상기 클라이언트에,
    복수의 단위 화상으로 구성되는 영상을 포함하는 컨텐츠가, 소정의 타임 스케줄에 따라 방송되며 소정의 재생 디바이스로 수신되어 재생되고 있는 도중에, 해당 영상이 표시되어 있는 표시면이 소정의 촬상 디바이스에 의해 소정 기간 촬상된 결과 얻어지는 영상의 정보를, 클라이언트측 영상의 정보로서 취득하는 영상 취득 단계와,
    상기 컨텐츠의 방송 중 또는 방송 개시 전의 일정 기간에 상기 서버로부터 송신되어 오는 송신 정보에 기초하여, N 개(N은 2 이상의 정수값)의 기준색의 순열에 의해 표시되는 기준색 리스트이며, 상기 클라이언트 또는 해당 클라이언트가 속하는 그룹마다 상기 컨텐츠의 방송 중 또는 방송 전에 상기 서버에 의해 생성된 해당 기준색 리스트를 취득하는 기준색 리스트 취득 단계와,
    상기 클라이언트측 영상을 구성하는 M 매(M은 2 이상의 정수값)의 단위 화상의 각각을 처리 대상으로 하고, 상기 기준색 리스트에 기초하여, 상기 처리 대상 내의 각 화소 또는 각 블록을 상기 N 개의 기준색의 어느 하나로 분류하고, 해당 처리 대상에 대한 상기 N 개의 기준색의 분포 상태를 나타내는 정보를 생성하고, 상기 M 매의 단위 화상의 각각의 상기 분포 상태를 나타내는 정보를, 상기 클라이언트측 영상의 메타데이터로서 생성하는 클라이언트측 메타데이터 생성 단계와,
    상기 클라이언트측 영상의 상기 메타데이터를, 상기 클라이언트측 영상의 정당성을 판정하기 위하여 이용하는 정보로서, 상기 서버로 송신하는 제어를 실행하는 메타데이터 송신 제어 단계
    를 포함하는 제어 처리를 실행시키는 프로그램.
  6. 클라이언트와 서버로 이루어진 정보 처리 시스템에 있어서의 상기 서버로서 기능하는 정보 처리 장치이며,
    상기 클라이언트에 있어서,
    복수의 단위 화상으로 구성되는 영상을 포함하는 컨텐츠가, 소정의 타임 스케줄에 따라 방송되며 소정의 재생 디바이스로 수신되어 재생되고 있는 도중에, 해당 영상이 표시되어 있는 표시면이 소정의 촬상 디바이스에 의해 소정 기간 촬상된 결과 얻어지는 영상의 정보가, 클라이언트측 영상의 정보로서 취득되고,
    상기 컨텐츠의 방송 중 또는 방송 개시 전의 일정 기간에 상기 서버로부터 송신되어 오는 송신 정보에 기초하여, N 개(N은 2 이상의 정수값)의 기준색의 순열에 의해 표시되는 기준색 리스트가 취득되고,
    상기 클라이언트측 영상을 구성하는 M 매(M은 2 이상의 정수값)의 단위 화상의 각각이 처리 대상으로 여겨지고, 상기 기준색 리스트에 기초하여, 상기 처리 대상 내의 각 화소 또는 각 블록이 상기 N 개의 기준색의 어느 하나로 분류되고, 해당 처리 대상에 대한 상기 N 개의 기준색의 분포 상태를 나타내는 정보가 생성되고, M 매의 단위 화상의 각각의 상기 분포 상태를 나타내는 정보가, 상기 클라이언트측 영상의 메타데이터로서 생성되고,
    상기 클라이언트측 영상의 상기 메타데이터가 상기 서버로 송신되는 경우에 있어서,
    상기 컨텐츠의 방송 전 또는 방송 중에, 상기 클라이언트 또는 해당 클라이언트가 속하는 그룹마다 상기 기준색의 종류와 순열 중, 적어도 일방이 상이한 상기 기준색 리스트 자체 또는 해당 기준색 리스트를 작성하기 위하여 필요한 정보를, 상기 송신 정보로서 생성하는 기준색 리스트 등 생성 수단과,
    상기 클라이언트 또는 상기 그룹마다, 상기 송신 정보를, 상기 컨텐츠의 방송 중 또는 방송 개시 전의 일정 기간에 상기 클라이언트로 송신하는 제어를 실행하는 기준색 리스트 등 송신 제어 수단과,
    상기 컨텐츠 내의 상기 영상을 구성하는 상기 복수의 단위 화상의 각각을 처리 대상으로 하고, 상기 클라이언트 또는 상기 그룹마다의 상기 기준색 리스트에 기초하여, 상기 처리 대상 내의 각 화소 또는 각 블록을 상기 N 개의 기준색의 어느 하나로 분류하고, 해당 처리 대상에 대한 상기 N 개의 기준색의 분포 상태를 나타내는 정보를 생성하고, 상기 복수의 단위 화상의 각각의 상기 분포 상태를 나타내는 정보를, 서버측 메타데이터로서 생성하는 서버측 메타데이터 생성 수단과,
    상기 클라이언트측 영상의 상기 메타데이터와 상기 서버측 메타데이터 중, 상기 M 매의 단위 화상에 대한 메타데이터를 비교하고, 그 비교의 결과에 기초하여, 상기 클라이언트측 영상의 정당성을 판정하는 판정 수단
    을 구비하는 정보 처리 장치.
  7. 제6항에 있어서,
    상기 클라이언트측 영상의 상기 메타데이터와 상기 서버측 메타데이터 중, 상기 M 매의 단위 화상에 대한 메타데이터는, 행 또는 열의 일방을 시간적으로 연속하는 M 개의 단위 화상을 요소로 하고, 행 또는 열의 타방을 N 개의 기준색을 요소로 하는 행열인 정보 처리 장치.
  8. 제6항 또는 제7항에 있어서,
    상기 판정 수단은,
    상기 서버측 메타데이터 중, 상기 클라이언트측 영상의 상기 메타데이터의 취득 시각으로부터 소정 시간 전의 단위 화상을 개시 화상으로 하여 처리를 개시하고,
    상기 개시 화상으로부터 시간적으로 연속하는 M 매의 단위 화상에 대한 메타데이터와, 상기 클라이언트측 영상의 상기 메타데이터를 비교하는 처리를,
    상기 개시 화상이 되는 단위 화상을 1 개씩 어긋나게 하면서 반복 실행하고,
    이들 실행 결과에 기초하여, 상기 클라이언트측 영상의 정당성을 판정하는 정보 처리 장치.
  9. 제6항 내지 제8항 중 어느 한 항에 있어서,
    상기 기준색 리스트 등 송신 제어 수단은,
    상기 클라이언트 또는 상기 그룹마다의 상기 기준색 리스트와, 상기 클라이언트를 조작하는 유저의 ID 또는 상기 유저가 속하는 그룹의 ID를 연결한 후,
    해당 클라이언트 또는 해당 그룹마다의 상기 기준색 리스트를, 상기 송신 정보로서, 상기 컨텐츠의 방송 중 또는 방송 개시 전의 일정 기간에 상기 클라이언트로 송신하는 제어를 실행하는 정보 처리 장치.
  10. 제6항 내지 제9항 중 어느 한 항에 있어서,
    상기 컨텐츠의 방송 시간을 관리하는 제1 관리 수단을 더 구비하고,
    상기 제1 관리 수단의 판단 결과에 기초하여, 상기 기준색 리스트 등 생성 수단은 상기 송신 정보를 생성하고, 상기 기준색 리스트 등 송신 제어 수단은 해당 송신 정보를 송신하는 제어를 실행하는 정보 처리 장치.
  11. 제6항 내지 제9항 중 어느 한 항에 있어서,
    상기 컨텐츠의 방송 지역을 관리하는 제2 관리 수단을 더 구비하고,
    상기 제2 관리 수단의 판단 결과에 기초하여, 상기 기준색 리스트 등 생성 수단은 상기 송신 정보를 생성하고, 상기 기준색 리스트 등 송신 제어 수단은 해당 송신 정보를 송신하는 제어를 실행하는 정보 처리 장치.
  12. 클라이언트와 서버로 이루어진 정보 처리 시스템에 있어서의 상기 서버에 제어 처리를 실행시키는 프로그램이며,
    상기 클라이언트에 있어서,
    복수의 단위 화상으로 구성되는 영상을 포함하는 컨텐츠가, 소정의 타임 스케줄에 따라 방송되며 소정의 재생 디바이스로 수신되어 재생되고 있는 도중에, 해당 영상이 표시되어 있는 표시면이 소정의 촬상 디바이스에 의해 소정 기간 촬상된 결과 얻어지는 영상의 정보가, 클라이언트측 영상의 정보로서 취득되고,
    상기 컨텐츠의 방송 중 또는 방송 개시 전의 일정 기간에 상기 서버로부터 송신되어 오는 송신 정보에 기초하여, N 개(N은 2 이상의 정수값)의 기준색의 순열에 의해 표시되는 기준색 리스트가 취득되고,
    상기 클라이언트측 영상을 구성하는 M 매(M은 2 이상의 정수값)의 단위 화상의 각각이 처리 대상으로 여겨지고, 상기 기준색 리스트에 기초하여, 상기 처리 대상 내의 각 화소 또는 각 블록이 상기 N 개의 기준색의 어느 하나로 분류되고, 해당 처리 대상에 대한 상기 N 개의 기준색의 분포 상태를 나타내는 정보가 생성되고, 상기 M 매의 단위 화상의 각각의 상기 분포 상태를 나타내는 정보가, 상기 클라이언트측 영상의 메타데이터로서 생성되고,
    상기 클라이언트측 영상의 상기 메타데이터가 상기 서버로 송신되는 경우에 있어서,
    상기 컨텐츠의 방송 전 또는 방송 중에, 상기 클라이언트 또는 해당 클라이언트가 속하는 그룹마다, 상기 기준색의 종류와 순열 중, 적어도 일방이 상이한 상기 기준색 리스트 자체 또는 해당 기준색 리스트를 작성하기 위하여 필요한 정보를 상기 송신 정보로서 생성하는 기준색 리스트 등 생성 단계와,
    상기 클라이언트 또는 상기 그룹마다, 상기 송신 정보를, 상기 컨텐츠의 방송 중 또는 방송 개시 전의 일정 기간에 상기 클라이언트로 송신하는 제어를 실행하는 기준색 리스트 등 송신 제어 단계와,
    상기 컨텐츠 내의 상기 영상을 구성하는 상기 복수의 단위 화상의 각각을 처리 대상으로 하고, 상기 클라이언트 또는 상기 그룹마다의 상기 기준색 리스트에 기초하여, 상기 처리 대상 내의 각 화소 또는 각 블록을 상기 N 개의 기준색의 어느 하나로 분류하고, 해당 처리 대상에 대한 상기 N 개의 기준색의 분포 상태를 나타내는 정보를 생성하고, 상기 복수의 단위 화상의 각각의 상기 분포 상태를 나타내는 정보를, 서버측 메타데이터로서 생성하는 서버측 메타데이터 생성 단계와,
    상기 클라이언트측 영상의 상기 메타데이터와 상기 서버측 메타데이터 중, 상기 M 매의 단위 화상에 대한 메타데이터를 비교하고, 그 비교의 결과에 기초하여, 상기 클라이언트측 영상의 정당성을 판정하는 판정 단계
    를 포함하는 제어 처리를 실행시키는 프로그램.
KR1020197016552A 2016-12-26 2017-11-07 정보 처리 시스템, 정보 처리 장치 및 프로그램 KR102142530B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2016-251688 2016-12-26
JP2016251688A JP6148785B1 (ja) 2016-12-26 2016-12-26 情報処理システム、情報処理装置及びプログラム
PCT/JP2017/040157 WO2018123279A1 (ja) 2016-12-26 2017-11-07 情報処理システム、情報処理装置及びプログラム

Publications (2)

Publication Number Publication Date
KR20190084281A true KR20190084281A (ko) 2019-07-16
KR102142530B1 KR102142530B1 (ko) 2020-08-07

Family

ID=59061104

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197016552A KR102142530B1 (ko) 2016-12-26 2017-11-07 정보 처리 시스템, 정보 처리 장치 및 프로그램

Country Status (5)

Country Link
US (1) US10904499B2 (ko)
JP (1) JP6148785B1 (ko)
KR (1) KR102142530B1 (ko)
CN (1) CN110100445B (ko)
WO (1) WO2018123279A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408403A (zh) * 2018-09-10 2021-09-17 创新先进技术有限公司 活体检测方法、装置和计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100320400B1 (ko) 1999-06-16 2002-01-12 김외준 도자기 제조방법
WO2005011294A1 (ja) * 2003-07-28 2005-02-03 Nec Corporation 視聴調査システム
JP2005215922A (ja) 2004-01-29 2005-08-11 Zeta Bridge Corp 情報検索システム、情報検索方法、情報検索装置、情報検索プログラム、画像認識装置、画像認識方法および画像認識プログラム、ならびに、販売システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3467911B2 (ja) * 1995-05-18 2003-11-17 富士ゼロックス株式会社 画像変換装置
JP3780623B2 (ja) 1997-05-16 2006-05-31 株式会社日立製作所 動画像の記述方法
US6782126B2 (en) * 2001-02-20 2004-08-24 International Business Machines Corporation Method for combining feature distance with spatial distance for segmentation
US7191103B2 (en) * 2001-08-08 2007-03-13 Hewlett-Packard Development Company, L.P. Predominant color identification in digital images
JP2007049584A (ja) * 2005-08-12 2007-02-22 Casio Comput Co Ltd 宣伝支援システム及びプログラム
JP2011077607A (ja) * 2009-09-29 2011-04-14 Jvc Kenwood Holdings Inc 放送システム、送信装置、送信方法、受信装置、および受信方法
CN202306549U (zh) * 2011-11-03 2012-07-04 北京电子科技学院 一种基于光流方法的视频检索系统
CN103649928B (zh) * 2012-05-31 2017-03-08 松下知识产权经营株式会社 图像阅览系统、接收侧便携终端、图像服务器、以及图像阅览方法
JP6124329B2 (ja) * 2012-12-20 2017-05-10 讀賣テレビ放送株式会社 コンテンツ配信システム端末、コンテンツ配信方法、及びプログラム
JP2015069492A (ja) * 2013-09-30 2015-04-13 株式会社日立ソリューションズ インセンティブシステム
US20160360205A1 (en) * 2015-06-08 2016-12-08 Industrial Technology Research Institute Video encoding methods and systems using adaptive color transform
CN106156284B (zh) * 2016-06-24 2019-03-08 合肥工业大学 基于随机多视角哈希的大规模近重复视频检索方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100320400B1 (ko) 1999-06-16 2002-01-12 김외준 도자기 제조방법
WO2005011294A1 (ja) * 2003-07-28 2005-02-03 Nec Corporation 視聴調査システム
JP2005215922A (ja) 2004-01-29 2005-08-11 Zeta Bridge Corp 情報検索システム、情報検索方法、情報検索装置、情報検索プログラム、画像認識装置、画像認識方法および画像認識プログラム、ならびに、販売システム

Also Published As

Publication number Publication date
CN110100445B (zh) 2021-10-29
WO2018123279A1 (ja) 2018-07-05
US20190313068A1 (en) 2019-10-10
CN110100445A (zh) 2019-08-06
US10904499B2 (en) 2021-01-26
KR102142530B1 (ko) 2020-08-07
JP2018106408A (ja) 2018-07-05
JP6148785B1 (ja) 2017-06-14

Similar Documents

Publication Publication Date Title
CN104012106B (zh) 使表示不同视点的视频对准
US8767081B2 (en) Sharing video data associated with the same event
US20050262548A1 (en) Terminal device, contents delivery system, information output method and information output program
CN108062507B (zh) 一种视频处理方法及装置
US20090213270A1 (en) Video indexing and fingerprinting for video enhancement
CN108933935B (zh) 视频通信系统的检测方法、装置、存储介质和计算机设备
CN113411642B (zh) 投屏方法、装置、电子设备和存储介质
TW201251443A (en) Video summary including a feature of interest
CN106416220A (zh) 将视频自动插入照片故事
CN112714327B (zh) 基于直播应用程序的互动方法、装置、设备及存储介质
US11856244B2 (en) Method to insert ad content into a video scene
KR20190032994A (ko) 영상 배신 장치, 영상 배신 시스템, 영상 배신 방법 및 영상 배신 프로그램
CN111147911A (zh) 视频裁剪方法、装置、电子设备和存储介质
CN110659604A (zh) 视频检测方法、装置、服务器及存储介质
KR20170137634A (ko) 통신장치, 통신 제어방법 및 통신 시스템
WO2014064321A1 (en) Personalized media remix
KR102142530B1 (ko) 정보 처리 시스템, 정보 처리 장치 및 프로그램
CN111935509A (zh) 一种多媒体数据播放的方法、相关装置、设备及存储介质
KR101334127B1 (ko) 클라이언트 단말기를 이용한 동영상 콘텐츠 공유 서비스 제공 시스템 및 방법
CN106060609A (zh) 获取图片的方法及装置
JP6779174B2 (ja) プログラム及び情報処理方法
CN112235592B (zh) 直播方法、直播处理方法、装置、计算机设备
CN112954380B (zh) 视频播放处理方法及装置
KR102261544B1 (ko) 스트리밍 서버 및 이를 이용한 다시점 동영상에서의 객체 처리 방법
JP2014006639A (ja) コンテンツ評価データ生成システム、コンテンツ評価データ生成方法、およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant