WO2011081194A1 - コメント付与及び配信システム、及び端末装置 - Google Patents

コメント付与及び配信システム、及び端末装置 Download PDF

Info

Publication number
WO2011081194A1
WO2011081194A1 PCT/JP2010/073745 JP2010073745W WO2011081194A1 WO 2011081194 A1 WO2011081194 A1 WO 2011081194A1 JP 2010073745 W JP2010073745 W JP 2010073745W WO 2011081194 A1 WO2011081194 A1 WO 2011081194A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
comment
content
server
image
Prior art date
Application number
PCT/JP2010/073745
Other languages
English (en)
French (fr)
Inventor
久夛良木　健
隆 薄
靖彦 横手
Original Assignee
サイバーアイ・エンタテインメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by サイバーアイ・エンタテインメント株式会社 filed Critical サイバーアイ・エンタテインメント株式会社
Priority to JP2011547723A priority Critical patent/JP5828456B2/ja
Publication of WO2011081194A1 publication Critical patent/WO2011081194A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12—Messaging; Mailboxes; Announcements
    • H04W4/14—Short messaging services, e.g. short message services [SMS] or unstructured supplementary service data [USSD]

Definitions

  • the present invention relates generally to a social networking service (SNS), a system for giving and distributing comments and the like at a communication site built in a network, and a terminal device, and in particular, still image content and moving images shared among users.
  • SNS social networking service
  • the present invention relates to giving comments to contents and the like and real-time delivery technology.
  • social network services or social network sites were launched with the aim of promoting social relationships among users built on telecommunication networks and the Internet.
  • communication between a user and a user is promoted by a user search function, a message sending / receiving function, a community function such as a bulletin board, and the like.
  • users of social network services participate in a bulletin board where other users with similar tastes and preferences gather to exchange information such as documents, images and sounds, and introduce their friends to other acquaintances By doing this, you can deepen and broaden the connection between people.
  • myspace TM is to start the service, it has grown into the world's largest community site of 2009.
  • One of the services in social network services is the ability to share still and moving images. For example, when another user browses still image data or moving image data uploaded by the user and says a comment such as an impression or an opinion, the comment is linked to the still image or moving image, for example, the handle name of the commenter It is displayed together with the comment date (and, if necessary, the evaluation rank). The user who browsed later can browse still images and moving images together with the already added comments, and can add more comments.
  • Patent Document 2 There is also an information system which provides content information according to the preference trend of the user by analyzing comment information posted by the user (Patent Document 2).
  • This system is a system for distributing information content such as a continuous story from a content providing site to a terminal via the Internet.
  • the content providing site provides an electronic bulletin board that receives from the user comment information on the distributed content information.
  • the user accesses the electronic bulletin board via the terminal, and posts comment information (opinion and impression) on the content information (for example, the contents of the previous chapter of the book) distributed last time.
  • the content providing site analyzes the comment information posted on the electronic bulletin board to obtain the preference trend of the user, and distributes content information (for example, the content of the next chapter of the book) having contents adapted thereto.
  • Patent Document 3 a technique for delivering an appropriate advertisement according to the place where the photographic image content was taken (Patent Document 3), a technique for delivering an efficient advertisement suitable for the user to be delivered (Patent Document 3) There is 4).
  • the display target image determination unit determines that the electronic document indicating the content of the content specified in the browse request is the photo data specified as the display target as the display target image.
  • the display target advertisement determination means preferentially determines the display target advertisement image of the advertisement target facility which is close to the shooting location of the display target image.
  • the personal profile information including the related person ID related to the user is acquired, and the history of the reputation information to which the user ID corresponding to the related person ID is added is left.
  • Certain content information is acquired and transmitted to the terminal device of the user. As a result, it is possible to transmit reputation information left by the user related to the user to the transmission target user, improve the reliability of the content, and perform efficient advertisement suitable for the user. it can.
  • JP, 2009-077443 A Japanese Patent Application Laid-Open No. 2002-169830 JP, 2009-211422, A JP, 2008-191979, A
  • the information that is the source of the analysis is characters, words, or keywords included in the related information.
  • the analysis is also to calculate the degree of matching or the degree of matching of these characters, words, and keywords, and so to speak, text processing analysis is central.
  • the advertisement of a nearby facility is preferentially displayed based on the position where the image was taken, or the content of the content is Many improve reliability and place emphasis on analysis of information related to content attribute data (where taken and who commented).
  • the comment addition and distribution system includes a server that distributes content, searches for the specific content in the distributed content and the image uploaded by the user to the server according to a specific object image search request from the user, and It is characterized in that the result is added to the delivery image and is made to be viewed by a plurality of viewers.
  • the comment giving and distributing system further includes a server for distributing the content, and an image connected to the server for distributing the content and the specific object appearing in the image uploaded by the user to the server. It is characterized in that the recognition engine autonomously extracts and recognizes, and adds the result to the distribution image to allow a plurality of viewers to view it.
  • the present invention is characterized in that at least one or a combination of two or more of: (3) allowing a plurality of viewers to browse the comment made by the image recognition engine;
  • the user is presented with an advertisement related to a specific target object of detection in the content delivered from the server and / or in the content (UGC: user generated content) generated by the shared user and uploaded to the server And providing the marketing information extracted in claims 1 to 3 to a third party.
  • GOC user generated content
  • the highly communicating social networking service or communication capable of distributing in real time the object to which the user pays attention in the shared still image content or moving image content Can provide a system.
  • the following effects are achieved by the organic interaction of the comment giving and distributing system and the terminal device according to the present invention.
  • a common voice technology is added to automatically recognize voices and words spoken and screamed by shared viewers and convert them into characters, symbols, and animations based on predetermined rules.
  • the related information can be automatically added as a comment as characters and symbols, so a communication system with high entertainment for the viewer Can be provided.
  • the attached comment and the record (log) of the object of interest or the recognized object for example, it is possible to extract marketing information based on the transition of the object to which the user has specifically focused and the object to which the user focused. .
  • the advertisement based on the transition of an object that the user specifically focused on or an object focused on, efficient advertisement delivery that matches the needs of the individual user at the time of delivery is possible. Become.
  • FIG. 1 shows an embodiment of a comment giving and distributing system according to the present invention.
  • the comment assignment and distribution system 100 includes a content distribution server 101, an object recognition server 102, and terminal devices 105a to 105d used by a user, all of which are connected to a network or the Internet 104.
  • the content distribution server 101 and the object recognition server 102 are connected by a network 103 which is not limited to the Internet.
  • a server is a computer system that provides some service in response to a request from a client, and means not only one server system but also a computer group in which a plurality of server systems are combined, and a plurality of software Driven by Thus, in the present specification, the meaning of the server is positioned as described above.
  • the computer as hardware is, in its most basic configuration, an electronic computer provided with an arithmetic logic unit, a control unit, a storage device, and an input / output device connected by an instruction bus and a data bus. Arithmetic operation, logical operation, comparison operation, shift operation, etc. are executed in the arithmetic logic unit based on information (bit data) input from the input / output device via the input / output interface. The executed data is stored in the storage device as needed and output from the input / output device. The series of processes are controlled by a software program stored in a storage device.
  • Each server machine in the present invention is also hardware that is minimally equipped with the above-described basic functions as a computer, and is controlled by programs such as an operating system, device drivers, and application software.
  • FIG. 2 shows functional blocks of a content distribution server and an object recognition server in an embodiment of a comment addition and distribution system according to the present invention.
  • the content distribution server 101 activated on the computer includes a user management unit 201, a content distribution unit 202, and a comment management unit 203 as software functional blocks.
  • the object recognition server 102 includes an image recognition unit 204 and an image. It comprises a processing unit 205, a comment analysis (processing) unit 206, and an advertisement management unit 207.
  • these configurations are not necessarily limited to the configuration of FIG.
  • the user management unit 201 is a functional block for managing profile data and the like of members who receive content distribution, and is used for communication between users (members).
  • the content distribution service is implemented as a free service provided to a large number of unspecified users
  • the user can also be distinguished by the IP address at the time of packet transmission, and thus some or all of the functions of the user management unit are omitted. be able to.
  • the content distribution unit 202 is a functional block that distributes content such as still images and moving images to the user. It can also be configured to deliver tag information and text information as well as still and moving images. That is, the basic source of content is text, voice, images, moving images (streaming), and there are many variations when combining these pieces of content.
  • the basic source of content is text, voice, images, moving images (streaming), and there are many variations when combining these pieces of content.
  • moving image delivery in order to efficiently perform streaming delivery, a system composed of a plurality of server groups or a dynamic configuration involving database processing can be taken.
  • the comment management unit 203 is a database that manages comments that can be shared by a plurality of users. "Shareable" is a state in which a plurality of users can view simultaneously, give each other comments, etc., and can communicate by comments. Therefore, an example of the data structure of the database (not shown) in the comment management unit is as shown in the following table.
  • the comment giving / distribution system for one content can recognize which object in the distribution image (moving image) the user focused on, as described later.
  • a data structure for managing the object of interest is prepared.
  • a time to which a comment is added a time to which a comment is added, a user name (user ID) to which a comment is added, a comment area, and a data structure for managing comment contents are prepared.
  • the above noted object ID can also be regarded as a comment by the user indicating which object in the image the user focused on.
  • the image recognition unit 204 is a functional block including a software module that performs image cutout processing focused on the user, image recognition processing such as general object recognition and specific object recognition, and motion detection processing for detecting the motion of an object in a moving image. It is. More specifically, for example, in the clipping processing, there are a classical algorithm for extracting the contour of an object in an image based on a change in pixel value, and an algorithm for clipping out for each segment. Also, for general object recognition, for example, "Bag-of-Keypoints" or "Bag-of-Features”, which represents an image as an appearance frequency histogram of representative local pattern image fragments called visual words (visual words). There is a method called “non-patent document 1”. Specific object recognition includes, for example, various methods such as the SURF method in addition to the SIFT method (non-patent document 2) focusing on the local feature amount.
  • the image processing unit 205 is a functional block that performs image processing of a comment input by the user as a visual effect, and includes a rendering process of drawing a three-dimensional object.
  • the comment analysis (processing) unit 206 is a functional block that performs tallying processing such as counting the number of targets of the target object, for example.
  • the advertisement management unit 207 manages advertisement data (not shown) that can be distributed to the user together with or independently of distribution of comments. Further, the advertisement management unit 207 is linked with the comment analysis (processing) unit 206, and performs determination processing such as which advertisement is distributed to which user based on the analysis result of the comment.
  • FIG. 3 shows a terminal device in an embodiment of the comment giving and distributing system according to the present invention.
  • the terminal devices 105a to 105d are client terminal devices widely used by users, and include computers, personal digital assistants (PDAs), cellular phones, and the like. That is, the terminal devices 105a to 105d represent a state in which many types of electronic information devices are connected to a network such as the Internet.
  • a network such as the Internet.
  • the terminal device 105 when the terminal device 105 is described, one of the terminal devices 105a to 105d connected to the network is referred to.
  • the terminal devices 105a to 105d do not have to be all the same model. It may be a terminal device provided with equivalent functions (or minimum functions that can be performed).
  • typical functional blocks of the terminal device 105 will be described.
  • the terminal devices 105a to 105d include an input / output unit 301 configured with devices such as a keyboard, a pen, a mouse, and a microphone, an output unit 302 configured with devices such as a display and a speaker, a network connection unit 303, and a network browser 304. And a processing unit 305 that processes various objects and plug-ins.
  • a storage unit such as a hard disk, a graphics processing unit (GPU), a voice communication function unit, and the like may be provided.
  • the network connection unit 303 is an interface for connecting to a network such as the Internet, and may be wired or wireless.
  • the network browser 304 is typically application software for browsing web pages, but includes software for browsing data and information in a comprehensive manner via a network.
  • the plug-in processing unit 305 executes a program provided as an additional function to various objects and applications such as moving pictures and high-quality sound in a form incorporated in the network browser 304 or in cooperation with the network browser 304. Is equipped.
  • sensors for detecting inclination and acceleration can be mounted as needed.
  • movement flow in one Embodiment of the comment provision and delivery system which concerns on this invention is shown.
  • the user accesses the content distribution server 101 from the terminal 105 via the network 104, and browses shared content such as still images and moving images (S401). Then, if there is an object of interest in the image, the object is indicated by a pointing device (not shown) of the terminal device 105 (Yes in S402), and the specified object is cut out (S403). Then, it is determined that the clipped object is instructed by the user.
  • the instruction of the object by the user and the clipping of the instruction object may be a comment indicating that the user focuses on a specific object in the image.
  • This object recognition includes, by way of example, general object recognition and specific object recognition, and in general object recognition, for example, the image is an appearance frequency histogram of a typical local pattern image piece called visual word.
  • Specific object recognition includes, for example, various methods such as the SURF method in addition to the SIFT method (non-patent document 2) focusing on the local feature amount.
  • a comment input for the pointing object is accepted. For example, information such as "What is this?" Or "What is this?", Such as text, symbols, speech, etc., is input as a comment. Then, in S406, the input comment is associated with the object of interest and registered in the memory (not shown) of the comment management unit 203, and the comment is distributed to other users in real time.
  • the object recognition server 102 can also transmit a comment. For example, when the object recognition server 102 can not specify the target object, the object recognition server 102 distributes a comment “What is this?” To a plurality of users. Also, when general object recognition is possible (the category is known) but specific object can not be identified, the system itself generates a query (text, voice, etc.) such as "the vehicle type of this car is still unknown", It can be distributed as a comment or you can request collective intelligence. Then, the user analyzes the comment “The object is XXXX” sent back from the user and identifies the specific object.
  • FIG. 6 the time sequence and screen example in one Embodiment of the comment provision and delivery system based on this invention are demonstrated.
  • the user 1 logs in to the server 101 at time t 0 in FIG. 5 and browses the shared image 600.
  • the shared image 600 includes a car 601, a man 602 playing golf, a woman 603 who pushes shopping by pushing a cart, a Tokyo tower 604, a car 605 and a man 606 who rides a bicycle. ing.
  • the user 2 logs in at time t 1 (after time t 0 ) in FIG. 5 and browses the shared image 600 (FIG. 6A). Then, the user 1 pays attention to the “golf club” possessed by the male 602 playing golf in the shared image 600 at time t 2 (after time t 1 ) in FIG. 5 and designates this club. At this time, the fact that the user 1 has designated the designated coordinates in the shared image 600 at time t 2 is transmitted to the server 101 as a message A. Server 101, which has received the message A will recognize the "golf club" in time T 0, the user 1 is delivered to the user 1 and user 2 as a comment that you have focused on the golf club (time t 2 + T 0). At this time, as shown in FIG. 6B, an attention 610 is given to the golf club in the screen. The attention 610 is displayed as an outline that surrounds the golf club, but the present invention is not limited to this, and various expression methods including shapes and colors can be adopted.
  • the user 2 indicates the tower 604 at time t 3.
  • it transmits to the server 101 that the designated coordinates in the shared image 600 users 2 and instructs the time t 3 as a message B.
  • Server 101 that has received the message B recognizes the tower 604 at time T 1, the user 2 is distributed to users 1 and 2 as a comment that has been focused on the tower 604 (time t 3 + T 1).
  • an attention 710 is given to the tower 604.
  • the user 3 Log in to the time t 4, to browse the shared image 600.
  • the user 3 looks at the golf club (and the attention 610) and the tower 604 (and the attention 710) which have already been focused (commented) by the user 1 and the user 2.
  • the user 3 transmits to the server 101 that the user 3 the designated coordinates in the shared image 600 has instructed a time t 5 as message C.
  • the attention 730 is an attention that emphasizes that the number of attention is 2 (user 1 and user 3). Therefore, the expression form of the attention 730 may be any form as long as the degree of emphasis is higher than that of the attention 710. In one embodiment, the attention 730 further emphasizes the golf club by applying a translucent process to the inside of the outline of the attention 610 to make it red.
  • the user 1 logs out to the time t 6.
  • highlighting of the “golf club” is canceled, and the degree of emphasis returns to the attention 610.
  • a change in attention to the shared image 600 may be distributed to other users.
  • management may be performed so as to maintain attention for a certain period (a few minutes, a few hours, a day, three days, a week, etc.).
  • the user's attention can be recorded in a log (not shown) without erasing all the attention. Logs recorded in this way can be used for marketing and advertising as described later.
  • the shared moving image here is distributed to each terminal device at N frames per second.
  • the time in which one frame is shared by each terminal can be theoretically considered to be 1 / N second unless the jitter or the like is taken into consideration. Therefore, the processing performed for the above-mentioned shared still image may be completed in units of one frame.
  • FIG. 9 provides the user with an advertisement associated with the object of interest based on the comment given and delivered in one embodiment of the present invention, and provides the third party with marketing information extracted by communication on the system.
  • information such as the sender of the comment transmitted for each object of interest, the content of the comment, and the transmission time can be managed together. Desired marketing information can be extracted by performing ranking processing on an object with a large number of targets from such information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Computing Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Transfer Between Computers (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

　着目した画像中の検出物体上に、共有の視聴者がリアルタイムでコメントを付加できるＳＮＳを提供する。　コンテンツを配信するサーバを備え、配信されたコンテンツ及びユーザがサーバにアップロードした画像中の特定物体を、ユーザからの特定物体画像検索要求により検索し、その結果を配信画像に加えて複数の閲覧者に閲覧させることを特徴とする。

Description

コメント付与及び配信システム、及び端末装置
　本発明は、広くソーシャル・ネットワーキング・サービス（ＳＮＳ）やネットワークに構築されたコミュニケーション・サイトにおけるコメント等の付与及び配信システム、及び端末装置に関し、特に、ユーザ間で共有される静止画像コンテンツ及び動画像コンテンツに対するコメント等の付与及びリアルタイム配信技術に関する。
　１９９０年代後半、通信ネットワークやインターネット上に構築されたユーザ間の社会的関係を促進する目的で、ソーシャル・ネットワーク・サービスあるいはソーシャル・ネットワーク・サイトの運営が開始された。ソーシャル・ネットワーク・サービスにおいては、ユーザ検索機能、メッセージ送受信機能、掲示板などのコミュニティ機能等によって、ユーザとユーザとのコミュニケーションが促進される。例えば、ソーシャル・ネットワーク・サービスのユーザは、趣味・嗜好を同じくする他のユーザが集う掲示板に参加して文書や画像、音声等の情報を交換し、また、自分の友人を他の知人に紹介することにより、人と人との繋がりを深め、広げていくことができる。２０００年代に入ると、米国では、ｍｙｓｐａｃｅTMがサービスを開始し、２００９年現在で世界最大のコミュニティ・サイトに成長している。日本においても、２００４年にｍｉｘｉ（登録商標）の運用が開始され、２００９年現在で国内最大級の会員数を有するＳＮＳとなっている。近年では、パソコンのみならず、携帯電話向けのポータルサイトの運営も大規模化しており、実質的にソーシャル・ネットワーク・サービスとして機能しているものも多い。
　ソーシャル・ネットワーク・サービスにおけるサービスのひとつに、静止画像や動画像の共有機能がある。例えば、ユーザがアップロードした静止画像データや動画像データを他のユーザが閲覧し、感想や意見などのコメントを発言すると、コメントは静止画像や動画像にリンクされ、例えばコメントした人のハンドルネーム及びコメント日時（さらに必要に応じて評価ランク）とともに表示される。あとから閲覧したユーザは、既に付与されたコメントとともに静止画像や動画像を閲覧することができ、さらなるコメントを付与することができる。
　例えば、従来技術として、ユーザ間において、同じ動画を共有して、コメントを利用しコミュニケーションを図ることができるコメント配信システムがある（特許文献１）。このシステムは、コメント情報をコメント配信サーバから受信し、再生される動画を表示するとともに、当該コメント情報のうち、再生する動画の動画再生時間に対応するコメント付与時間が対応づけられたコメントをコメント情報から読み出し、読み出したコメントを動画とともに表示する。そして、コメント情報をリストとして表示をし、表示されたコメント情報からコメントデータが選択されると、選択されたコメントデータのコメント付与時間に対応する動画再生時間から、動画を再生させるとともに、読み出したコメントデータを表示部によって表示させる。また、コメントの入力を受け付けて、コメント内容が入力された時点の動画再生時間をコメント付与時間としてコメント内容とともに前記コメント配信サーバに送信する。
　また、ユーザが投稿したコメント情報を分析することにより、このユーザの嗜好動向に応じたコンテンツ情報を提供する情報システムがある（特許文献２）。このシステムは、インターネットを介してコンテンツ提供サイトから端末に連続した物語などの情報コンテンツを配信するシステムである。コンテンツ提供サイトは、配信済みのコンテンツ情報に対するコメント情報をユーザから受け付ける電子掲示板を提供している。ユーザは端末を介して電子掲示板にアクセスし、前回配信されたコンテンツ情報（例えば、本の前章の内容）に対するコメント情報（意見や感想）を投稿する。コンテンツ提供サイトは、電子掲示板に投稿されたコメント情報を分析することでユーザの嗜好動向を求め、これに適応した内容のコンテンツ情報（例えば、本の次章の内容）を配信する。
　他方、ソーシャル・ネットワーク・サービスのビジネスモデルに着目すると、その運営形態には、ユーザ課金モデルや広告収入モデル等があるが、広告収入モデルにおいては、如何にユーザに適切な広告を提示するかが重要となる。この点に関し、写真画像コンテンツが撮影された場所に応じた適切な広告を配信する技術（特許文献３）、配信対象となるユーザに合った効率的な広告を配信することができる技術（特許文献４）がある。
　特許文献３に開示された技術によれば、表示対象画像判定手段により、閲覧要求で指定されたコンテンツの内容を示す電子文書で表示対象として指定されている写真データが表示対象画像と判定され、表示対象広告決定手段により、表示対象画像の撮影場所との間の距離が近い広告対象施設の広告画像が優先的に表示対象に決定される。
　また、特許文献４に開示された技術によれば、ユーザに関連する関連者ＩＤを含む個人プロファイル情報を取得し、この関連者ＩＤに相当するユーザＩＤが付与された評判情報を残した履歴のあるコンテンツ情報を取得してユーザの端末装置に送信される。これにより、ユーザ自身に関連するユーザが残した評判情報を送信対象のユーザに送信することができ、ユーザに対し、コンテンツの信頼度を向上させ、ユーザに合った効率的な広告を行うことができる。
特開２００９－０７７４４３号公報 特開２００２－１６９８３０号公報 特開２００９－２１１４２２号公報 特開２００８－１９１９７９号公報
G. Csurka, C. Bray, C. Dance, and L. Fan, "Visual categorization with bags of keypoints," Proc. ECCV Workshop on Statistical Learning in Computer Vision, pp.1-22, 2004. David G.Lowe, "Object Recognition from Local Scale-Invariant Features," Proc. IEEE International Conference on Computer Vision, pp.1150-1157, 1999.
　しかしながら、従来の技術においては、動画を共有してコメントを付与する場合であっても、ある再生時刻における映像全体へのコメントを付与することを主眼としている。つまり、ユーザが映像や画像のなかのどの物体に着目したかを抽出することはできなかった。また、抽出した着目物体を例えば階層的に管理することはできなかった。
　さらに、ユーザのコメント情報を分析して嗜好動向を求める場合であっても、分析の元になる情報は、関連情報に含まれる文字や単語、あるいはキーワードである。分析もこれら文字や単語、キーワードの一致度または関連度を算出するものであって、いわば、テキスト処理分析が中心となっている。
　また、コメントやコンテンツに関連する広告を配信する場合にあっても、従来は画像が撮影された位置に基づいて近隣施設の広告を優先的に表示させたり、ユーザに関するプロファイル情報にもとづいてコンテンツの信頼性を向上させたりするものが多く、コンテンツの属性データ（どこで撮影されたか、誰によるコメントか）に関連する情報の分析に重きを置いている。
　また、上述のシステムにおいては、コンテンツに対するコメントや感想をアップロードするのは常にユーザであって、画像または映像においてユーザが着目したものに対してシステムからコメントは配信されない。しかしながら、例えば画像等においてユーザが着目した物体をシステムが検出する過程で、この物体に関連する情報をシステムがユーザに役立つ（あるいはユーザを楽しませる）エンタテインメント性の高いコメントとして自動的に付与されることができれば、ＳＮＳの付加価値は高まる。さらに、ユーザが着目した物体の変遷、あるいはコメント内容の変遷を考慮した広告を抽出し、これを特定のユーザに配信することができれば、システムサービスの運用面でもＳＮＳの付加価値はいっそう高まる。
　そこで、本発明は、ソーシャル・ネットワーキング・サービスやネットワークに構築されたコミュニケーション・サイト等において、ユーザがコンテンツの何に着目したかを抽出し、あるいは抽出する過程においてもシステムからの興味深いコメントが得られ、抽出された物体等の管理及びコメント等の分析に基づいてコメントを付与及び配信するシステム、及び端末装置を提供することを目的とする。
　本発明に係るコメント付与及び配信システムは、コンテンツを配信するサーバを備え、配信されたコンテンツ及びユーザがサーバにアップロードした画像中の特定物体を、ユーザからの特定物体画像検索要求により検索し、その結果を配信画像に加えて複数の閲覧者に閲覧させることを特徴とする。
　また、本発明に係るコメント付与及び配信システムは、コンテンツを配信するサーバを備え、配信されたコンテンツ及びユーザがサーバにアップロードした画像中に現れる特定物体を、コンテンツを配信するサーバに接続された画像認識エンジンが自律的に抽出して認識し、その結果を配信画像に加えて複数の閲覧者に閲覧させることを特徴とする。
　また、サーバが送り出した画像抽出及び／又は認識結果をもとに、（１）特定画像検索エンジンとユーザとの間で認識に関わるプロセスや情報を共有する、（２）ユーザが新たに作成付与したコメントを複数の閲覧者に閲覧させる、（３）画像認識エンジンが作成付与したコメントを複数の閲覧者に閲覧させる、ことの少なくとも１つあるいは２以上の組み合わせを行うことを特徴とする。
　また、サーバから配信されるコンテンツ中、及び／又は、共有されるユーザが作成しサーバにアップロードするコンテンツ（ＵＧＣ: user generated content）中の検出可能な特定着目物体に関連した広告をユーザに提示するとともに、請求項１～３において抽出されたマーケティング情報を第三者に提供することを特徴とする。
　本発明に係るコメント付与及び配信システム、及び端末装置によれば、共有された静止画像コンテンツ又は動画像コンテンツにおいてユーザが着目した物体をリアルタイムに配信できる意思疎通性の高いソーシャル・ネットワーキング・サービスないしコミュニケーション・システムを提供することができる。
　特に、本発明に係るコメント付与及び配信システム、及び端末装置の有機的な相互作用によって、次のような効果を奏する。
（１）着目した画像中の検出物体上に、共有の視聴者がリアルタイムでコメントを付加する事ができるので、どの視聴者が画像中の何に着目したうえでコメントしているかを視覚的直感的に伝えることができるコミュニケーション・システムを提供することができる。
（２）共有の視聴者が、呟いたり叫んだりする音声や言葉を自動的に認識し、これを所定のルールに基づいて文字や記号、アニメーションに変換することも、一般的な音声技術を付加することでできるので、視聴者同士のコミュニケーションをより楽しく円滑にするコミュニケーション・システムを提供することができる。
（３）物体認識部がコンテンツ上の着目物体の認識に関わる経過において、関連する情報を文字や記号で自動的にコメントとして付加することができるので、視聴者にとってエンタテインメント性の高いコミュニケーション・システムを提供することができる。
（４）付与されたコメント及び着目物体ないし認識物体の記録（ログ）を解析することにより、例えばユーザが具体的に着目した物体や着目した物体の変遷に基づいたマーケティング情報を抽出することができる。また、ユーザが具体的に着目した物体や着目した物体の変遷に基づいた広告を個別のユーザに配信することで、配信時点での個々のユーザのニーズにマッチした効率のよい広告配信が可能となる。
本発明に係るコメント付与及び配信システムの一実施形態を説明する説明図である。 本発明に係るコメント付与及び配信システムの一実施形態において実施可能なコンテンツ配信サーバの機能ブロックを説明する説明図である。 本発明に係るコメント付与及び配信システムの一実施形態において実施可能な端末装置の機能ブロックを説明する説明図である。 本発明に係るコメント付与及び配信システムの一実施形態における処理フロー説明する説明図である。 本発明に係るコメント付与及び配信システムの一実施形態におけるタイムシーケンスを説明する説明図である。 本発明に係るコメント付与及び配信システムの一実施形態におけるディスプレイ画面例を説明する説明図である。 本発明に係るコメント付与及び配信システムの一実施形態におけるディスプレイ画面例を説明する説明図である。 本発明に係るコメント付与及び配信システムの一実施形態における共有動画に対するコメント付与及び配信のタイムシーケンスを説明する説明図である。 本発明に係るコメント付与及び配信システムの一実施形態におけるコメントの集計例を説明する説明図である。
　以下、本発明に係るコメント付与及び配信システム、及び端末装置を実施するための形態について詳述する。
　図１に、本発明に係るコメント付与及び配信システムの一実施形態を示す。コメント付与及び配信システム１００は、コンテンツ配信サーバ１０１と、物体認識サーバ１０２と、ユーザが使用する端末装置１０５ａ～１０５ｄとからなり、いずれもネットワークないしインターネット１０４に接続されている。なお、本実施形態では、通信の高速性を重視し、コンテンツ配信サーバ１０１及び物体認識サーバ１０２はインターネットに限らないネットワーク１０３で接続している。
　ここで、サーバとは、クライアントからの要求に対して何らかのサービスを提供するコンピュータシステムであり、１台のサーバシステムのみならず、複数のサーバシステムが結合したコンピュータ群をも意味し、複数のソフトウェアにより駆動される。したがって、本明細書では、サーバの意義を上記のとおり位置付ける。
　また、ハードウェアとしてのコンピュータは、最も基本的な構成としては、命令バス及びデータバスで接続された算術論理演算ユニットと制御ユニットと記憶装置と入出力装置とを備えた電子計算機である。入出力インタフェースを介して入出力装置から入力された情報（ビットデータ）に基づき算術論理演算ユニットにおいて算術演算や論理演算、比較演算、シフト演算等が実行される。実行されたデータは必要に応じて記憶装置に記憶され、入出力装置から出力される。これら一連の処理は、記憶装置に記憶されたソフトウェアプログラムによって制御される。本発明における各サーバマシンも、上記のとおりのコンピュータとしての基本機能を最低限備えたハードウェアであり、オペレーティングシステムやデバイスドライバ、そしてアプリケーションソフトウェアといったプログラム群によって制御されている。
　図２に、本発明に係るコメント付与及び配信システムの一実施形態におけるコンテンツ配信サーバ及び物体認識サーバの機能ブロックを示す。コンピュータ上で起動されるコンテンツ配信サーバ１０１は、ソフトウェア機能ブロックとして、ユーザ管理部２０１と、コンテンツ配信部２０２と、コメント管理部２０３とからなり、物体認識サーバ１０２は、画像認識部２０４と、画像処理部２０５と、コメント分析（処理）部２０６と、広告管理部２０７とからなる。ただし、これらの構成は、必ずしも図２の構成に限定されるものではない。
　ユーザ管理部２０１は、コンテンツ配信を受ける会員等のプロフィールデータ等を管理するための機能ブロックであり、ユーザ（会員）同士のコミュニケーションに利用される。しかしながらコンテンツ配信サービスを不特定多数のユーザに行う無料のサービスとして実施した場合、パケット送信時のＩＰアドレス等によってユーザを区別することもできるので、ユーザ管理部の機能の一部又は全部を省略することができる。
　コンテンツ配信部２０２は、静止画や動画等のコンテンツをユーザに配信する機能ブロックである。静止画や動画とともにタグ情報やテキスト情報を配信するようにも構成可能である。すわなち、コンテンツの基本ソースには、テキスト、音声、画像、動画（ストリーミング）があり、これらのコンテンツ同士を組み合わせた場合の数多くのバリエーションが存在する。なお、動画配信の場合には、ストリーミング配信を効率的に行うために複数のサーバ群からなるシステムや、データベース処理を伴う動的な構成をとり得る。
　コメント管理部２０３は、複数のユーザによって共有可能なコメントを管理するデータベースである。「共有可能」とは、複数のユーザが同時に閲覧でき、互いにコメント等を付与しあってコメントによるコミュニケーションが可能となっている状態である。したがって、コメント管理部におけるデータベース（不図示）のデータ構造の一例は、下表のとおりである。
　まず、本発明に係る一つのコンテンツに対するコメント付与及び配信システムは、後述するように、ユーザが配信画像（動画）中のどの物体に着目したかを認識することができるので、コンテンツごとに複数の着目物体を管理するためのデータ構造が用意されている。
Figure JPOXMLDOC01-appb-T000001
　そして、それぞれの着目物体に関し、コメントが付与された時間や、コメントを付与したユーザ名（ユーザＩＤ）、コメント領域、コメント内容を管理するためのデータ構造が用意されている。なお、上記の着目物体ＩＤもユーザが画像中のどの物体に着目したかを示す、ユーザによるコメントとみなすことができる。
Figure JPOXMLDOC01-appb-T000002
　画像認識部２０４は、ユーザが着目した画像の切り出し処理や、一般物体認識、特定物体認識といった画像認識処理、動画中の物体の動きを検出する動き検出処理を行うソフトウェアモジュールを備えている機能ブロックである。より具体的には、例えば切り出し処理には画像中の物体の輪郭を画素値の変化に基づいて抽出する古典的なアルゴリズムや、セグメントごとに切り出すアルゴリズムがある。また、一般物体認識には、例えば、画像をビジュアル・ワード（visual word）と呼ばれる代表的な局所パターン画像片の出現頻度ヒストグラムで表現する"Bag-of-Keypoints"あるいは"Bag-of-Features"と呼ばれる手法がある（非特許文献１）。特定物体認識には、例えば局所特徴量に着目したＳＩＦＴ法（非特許文献２）のほか、ＳＵＲＦ法等種々の手法がある。
　画像処理部２０５は、ユーザが入力したコメントを視覚的効果として画像処理する機能ブロックであり、３次元物体を描画するレンダリング処理を含む。
　コメント分析（処理）部２０６は、例えば着目物体の着目数をカウントする等の集計処理を行う機能ブロックである。広告管理部２０７は、コメントの配信とともに、あるいは単独でユーザに配信可能な広告データ（不図示）が管理されている。また、広告管理部２０７はコメント分析（処理）部２０６と連動しており、コメントの分析結果に基づいてどのユーザにどの広告を配信するか等の判断処理を行う。
　図３に、本発明に係るコメント付与及び配信システムの一実施形態における端末装置を示す。端末装置１０５ａ～１０５ｄは、広くユーザが使用するクライアント端末装置であり、コンピュータ、携帯情報端末（ＰＤＡ）、携帯電話機等が含まれる。つまり、端末装置１０５ａ～１０５ｄは、多様な種類の電子情報機器が多数インターネットなどのネットワークに接続されている様子をあらわしている。以下、端末装置１０５と記載した場合にはネットワークに接続された端末装置１０５ａ～１０５ｄのいずれか１台をさす。当然のことながら、端末装置１０５ａ～１０５ｄはすべて同一機種である必要はない。同等の機能（あるいは実施可能な最低限の機能）を備えた端末装置であればよい。ここでは端末装置１０５の代表的な機能ブロックについて説明する。
　端末装置１０５ａ～１０５ｄは、キーボード、ペン、マウス、マイク等のデバイスで構成される入出部３０１と、ディスプレイ、スピーカ等のデバイスで構成される出力部３０２と、ネットワーク接続部３０３と、ネットワークブラウザ３０４と、各種オブジェクト及びプラグインを処理する処理部３０５とからなる。このほか、図示しないが、ハードディスク等の記憶部、グラフィックス・プロセッシング・ユニット（ＧＰＵ）、音声通話機能部等を備えてもよい。
　ネットワーク接続部３０３は、インターネットなどのネットワークに接続するためのインタフェースであって、有線／無線を問わない。
　ネットワークブラウザ３０４は、典型的には、Ｗｅｂページを閲覧するためのアプリケーションソフトウェアであるが、広くネットワークを介してデータや情報をまとまった形で閲覧するソフトウェアを含む。そして、ネットワークブラウザ３０４に組み込まれる形で、あるいはネットワークブラウザ３０４と協働する形で、動画や高音質の音声などの各種オブジェクトやアプリケーションに追加機能として提供されたプログラムを実行するプラグイン処理部３０５を備えている。
　また、このほか傾きや加速度を検出するセンサ、ＧＰＳ受信機などを必要に応じて搭載することもできる。
　次に、図４に基づいて、本発明に係るコメント付与及び配信システムの一実施形態における動作フローを示す。まず、ユーザは、端末１０５からネットワーク１０４を介してコンテンツ配信サーバ１０１にアクセスし、静止画や動画などの共有コンテンツを閲覧する（Ｓ４０１）。そして、画像中に着目する物体があれば、その物体を端末装置１０５のポインティングデバイス（不図示）によって指示し（Ｓ４０２において、Ｙｅｓ）、指示された物体の切り出しが行われる（Ｓ４０３）。そして、切り出された物体がユーザに指示されたであると判断する。
　なお、ユーザによる物体の指示及び指示物体の切り出しは、画像中においてユーザが特定の物体に着目していることを示すコメントとなりうる。
　次に、Ｓ４０４において、切り出された物体部分の認識を行う。この物体認識には、一例として、一般物体認識及び特定物体認識があり、一般物体認識には、例えば、画像をビジュアル・ワード（visual word）と呼ばれる代表的な局所パターン画像片の出現頻度ヒストグラムで表現する"Bag-of-Keypoints"あるいは"Bag-of-Features"と呼ばれる手法がある（非特許文献１）。特定物体認識には、例えば局所特徴量に着目したＳＩＦＴ法（非特許文献２）のほか、ＳＵＲＦ法等種々の手法がある。
　Ｓ４０５において、指示物体（着目物体）に対するコメント入力を受け付ける。例えば、「これは何か？」「これはなんだろう」といったテキスト、記号、音声等の情報がコメントとして入力される。そして、Ｓ４０６に進み、入力されたコメントが着目物体と関連付けられてコメント管理部２０３のメモリ（不図示）に登録され、他のユーザにもそのコメントがリアルタイム配信される。
　なお、Ｓ４０４の物体認識過程において、物体認識サーバ１０２がコメントを発信することもできる。例えば、物体認識サーバ１０２は、着目物体の特定ができなかった場合に自ら「これは何か？」というコメントを複数のユーザに配信する。また、一般物体認識はできたが（カテゴリは判明）、特定物体の同定ができなかった場合に、システム自ら「この車の車種が未だ不明です」といったクエリ（テキスト、音声など）を生成し、コメントとして配信したり、集合知を求めることができる。そして、ユーザから返信のあった「その物体は、ＸＸＸＸです」といったコメントを解析し、特定物体を特定する。
　次に、図５、図６に基づいて、本発明に係るコメント付与及び配信システムの一実施形態におけるタイムシーケンスと画面例を説明する。
　ユーザ１は、図５において時刻ｔ0にサーバ１０１にログインして、共有画像６００を閲覧する。図６（Ａ）に示すように、共有画像６００には、自動車６０１、ゴルフプレー中の男性６０２、カートを押して買い物をする女性６０３、東京タワー６０４、自動車６０５、自転車に乗る男性６０６が含まれている。
　ユーザ２は、図５において時刻ｔ1（時刻ｔ0のあと）にログインし、共有画像６００を閲覧する（図６（Ａ））。そして、ユーザ１は、図５における時刻ｔ2（時刻ｔ1のあと）に共有画像６００中のゴルフプレー中の男性６０２が持っている「ゴルフクラブ」に着目し、このクラブを指示する。このとき、共有画像６００中の指示座標をユーザ１が時刻ｔ2に指示したことをメッセージＡとしてサーバ１０１へ送信する。メッセージＡを受信したサーバ１０１は時間Ｔ0で「ゴルフクラブ」を認識し、ユーザ１がゴルフクラブに着目したことをコメントとしてユーザ１及びユーザ２に配信する（時刻ｔ2＋Ｔ0）。このとき、画面中には図６（Ｂ）に示したように、ゴルフクラブにアテンション６１０が施される。アテンション６１０は、ゴルフクラブを取り囲むような輪郭線として表示されているが、本発明はこれに限定されるものではなく、形状や色を含めて種々の表現方法を採用することができる。
　続いて、ユーザ２は、時刻ｔ3にタワー６０４を指示する。このとき、共有画像６００中の指示座標をユーザ２が時刻ｔ3に指示したことをメッセージＢとしてサーバ１０１へ送信する。メッセージＢを受信したサーバ１０１は時間Ｔ1でタワー６０４を認識し、ユーザ２がタワー６０４に着目したことをコメントとしてユーザ１及びユーザ２に配信する（時刻ｔ3＋Ｔ1）。このとき、画面中には図７（Ａ）に示したように、ゴルフクラブに対するアテンション６１０に加え、タワー６０４にアテンション７１０が施される。
　そして、ユーザ３が時刻ｔ4にログインし、共有画像６００を閲覧する。このとき、ユーザ３は、すでにユーザ１及びユーザ２によって着目された（コメントされた）ゴルフクラブ（及びアテンション６１０）及びタワー６０４（及びアテンション７１０）に目がとまる。そして、アテンション６１０が施されたゴルフクラブが気に入ると同時に、自動車７２０のタイヤにも興味をもち、両方を指示する（時刻ｔ5）。このとき、共有画像６００中の指示座標をユーザ３が時刻ｔ5に指示したことをメッセージＣとしてサーバ１０１へ送信する。メッセージＣを受信したサーバ１０１は時間Ｔ2で「ゴルフクラブ」及び「タイヤ」を認識し、ユーザ３がゴルフクラブ及びタイヤに着目したことをコメントとしてユーザ１、ユーザ２、及びユーザ３に配信する（時刻ｔ5＋Ｔ2）。このとき、画面中には、図７（Ｂ）に示したように、タワー６０４に付加されたアテンション７１０、自動車６０５のタイヤに付加されたアテンション７２０に加え、ゴルフクラブには、これまでのアテンション６１０とは異なる、より強調されたアテンション７３０が施される。
　アテンション７３０は、着目数２（ユーザ１及びユーザ３）であることを強調するアテンションである。したがって、アテンション７３０の表現形式は、アテンション７１０よりも強調度が高いものであれば、どのような形式を採用してもよい。一実施形態として、アテンション７３０は、アテンション６１０の輪郭内部に半透明処理を施し赤く塗りつぶすことにより、ゴルフクラブをさらに強調している。
　次に、時刻ｔ6にユーザ１がログアウトする。と同時に、「ゴルフクラブ」の強調表示が解除され、その強調度はアテンション６１０に戻る。このように、リアルタイム性を重視する場合には、ユーザ１のログアウトと同時に、共有画像６００に対するアテンションの変化を他のユーザに配信することとしてもよい。あるいは、ユーザ１のログアウト後、一定の期間（数分、数時間、その日一日、３日間、１週間等）着目されたことを維持するよう管理してもよい。あるいは、ユーザによる着目は全て消去せずに、図示しないログに記録しておくこともできる。このように記録したログは、後述するようにマーケティングや広告に使用することができる。
　次に、時刻ｔ７にユーザ３がログアウトすると同時に、「ゴルフクラブ」及び「タイヤ」のコメントを解除する。このように、リアルタイム性を重視する場合には、ユーザ３のログアウトと同時に、共有画像６００に対するアテンションの変化を他のユーザに配信することとしてもよい。
　なお、図５におけるサーバ１０１による認識時間Ｔ０，Ｔ１，Ｔ２は、極めて短い時間であるので、各コメントは、実質的にリアルタイム配信されているに等しい。
　次に、図８に基づいて、本発明の一実施形態において共有動画に対してコメント付与及び配信を行なうタイムシーケンスについて説明する。
　ここでの共有動画は、毎秒Ｎフレームで各端末装置に配信されている。例えば、１枚のフレームを各端末で共有している時間は、ジッター等のばらつきを考慮に入れなければ理論的にＮ分の１秒と考えることができる。したがって、１フレーム単位で上述の共有静止画で行なっていた処理を完結するようにすればよい。
　図９に、本発明の一実施形態において付与及び配信されたコメントに基づき、着目物体に関連した広告をユーザに提供するとともに、システム上でのコミュニケーションによって抽出されたマーケティング情報を第三者に提供するためのデータ構造例を示す。図９では、共有動画ごとの着目物体及び着目数を管理している。このほかに、着目物体ごとに送信されたコメントの送信者、コメント内容、送信時間等の情報を併せて管理することができる。これらの情報から着目数の多い物体をランキング処理することによって所望のマーケティング情報を抽出することができる。
１００　コメント付与及び配信システム
１０１　コンテンツ配信サーバ
１０４　ネットワーク（あるいはインターネット）
１０５ａ～１０５ｄ　端末装置

Claims (4)

  1. 　コンテンツを配信するサーバを備え、配信されたコンテンツ及びユーザがサーバにアップロードした画像中の特定物体を、ユーザからの特定物体画像検索要求により検索し、その結果を配信画像に加えて複数の閲覧者に閲覧させるコメント付与及び配信システム。
  2. 　コンテンツを配信するサーバを備え、配信されたコンテンツ及びユーザがサーバにアップロードした画像中に現れる特定物体を、コンテンツを配信するサーバに接続された画像認識エンジンが自律的に抽出して認識し、その結果を配信画像に加えて複数の閲覧者に閲覧させるコメント付与及び配信システム。
  3. 　請求項１及び２に記載のコメント付与及び配信システムおいて、サーバが送り出した画像抽出及び／又は認識結果をもとに、（１）特定画像検索エンジンとユーザとの間で認識に関わるプロセスや情報を共有する、（２）ユーザが新たに作成付与したコメントを複数の閲覧者に閲覧させる、（３）画像認識エンジンが作成付与したコメントを複数の閲覧者に閲覧させる、ことの少なくとも１つあるいは２以上の組み合わせを行うコメント付与及び配信システム。
  4. 　請求項１～３のいずれか１項に記載のコメント付与及び配信システムにおいて、サーバから配信されるコンテンツ中、及び／又は、共有されるユーザが作成しサーバにアップロードするコンテンツ（ＵＧＣ: user generated content）中の検出可能な特定着目物体に関連した広告をユーザに提示するとともに、請求項１～３において抽出されたマーケティング情報を第三者に提供する、特定物体認識機能部を有するコメント付与及び配信システム。
PCT/JP2010/073745 2009-12-28 2010-12-28 コメント付与及び配信システム、及び端末装置 WO2011081194A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011547723A JP5828456B2 (ja) 2009-12-28 2010-12-28 コメント付与及び配信システム、及び端末装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009297908 2009-12-28
JP2009-297908 2009-12-28

Publications (1)

Publication Number Publication Date
WO2011081194A1 true WO2011081194A1 (ja) 2011-07-07

Family

ID=44226596

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/073745 WO2011081194A1 (ja) 2009-12-28 2010-12-28 コメント付与及び配信システム、及び端末装置

Country Status (2)

Country Link
JP (1) JP5828456B2 (ja)
WO (1) WO2011081194A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013088906A (ja) * 2011-10-14 2013-05-13 Cyber Ai Entertainment Inc 画像認識システムを備えた知識情報処理サーバシステム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004234492A (ja) * 2003-01-31 2004-08-19 Nec Software Tohoku Ltd チャットシステム及び広告提供方法
JP2005242899A (ja) * 2004-02-27 2005-09-08 Internatl Business Mach Corp <Ibm> コラボレーションサーバ、コラボレーションシステム、その方法及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4552296B2 (ja) * 2000-09-08 2010-09-29 ソニー株式会社 情報処理装置および情報処理方法、並びに記録媒体
US7925980B2 (en) * 2008-02-19 2011-04-12 Harris Corporation N-way multimedia collaboration systems
JP2009230429A (ja) * 2008-03-21 2009-10-08 Fujifilm Corp 登録コンテンツに対する興味情報作成方法、コンテンツストックサーバ、コンテンツ情報管理サーバ、および登録コンテンツに対する興味情報作成システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004234492A (ja) * 2003-01-31 2004-08-19 Nec Software Tohoku Ltd チャットシステム及び広告提供方法
JP2005242899A (ja) * 2004-02-27 2005-09-08 Internatl Business Mach Corp <Ibm> コラボレーションサーバ、コラボレーションシステム、その方法及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013088906A (ja) * 2011-10-14 2013-05-13 Cyber Ai Entertainment Inc 画像認識システムを備えた知識情報処理サーバシステム

Also Published As

Publication number Publication date
JP5828456B2 (ja) 2015-12-09
JPWO2011081194A1 (ja) 2013-05-13

Similar Documents

Publication Publication Date Title
US11290775B2 (en) Computerized system and method for automatically detecting and rendering highlights from streaming videos
JP6023203B2 (ja) ソーシャル・ネットワーキング・システム上の構造化オブジェクトおよびアクション
US10659499B2 (en) Providing selectable content items in communications
JP6730335B2 (ja) ストリーミングメディアプレゼンテーションシステム
US8356077B2 (en) Linking users into live social networking interactions based on the users&#39; actions relative to similar content
Matsiola et al. Augmenting user interaction experience through embedded multimodal media agents in social networks
CN106716393A (zh) 用于辨别和匹配图像中描画的对象的方法和设备
KR102615236B1 (ko) 게임 통신 트랜스크립트에서 텍스트 태그의 생성
CN113746874A (zh) 一种语音包推荐方法、装置、设备及存储介质
Lu et al. Research on the influence of new media technology on internet short video content production under artificial intelligence background
Næss et al. Fan engagement in motorsports: A case of the FIA world rally championship
CN114339399A (zh) 多媒体文件剪辑方法、装置及计算设备
WO2011081194A1 (ja) コメント付与及び配信システム、及び端末装置
CN113302603A (zh) 用于搜索和排序个性化视频的系统和方法
CN116151879A (zh) 信息交互方法、装置、设备以及存储介质
Matsiola et al. Augmenting user interaction experience through embedded multimodal media agents in social networking environments
Bookbinder et al. Networking to Win: How to Use the Power of Social Media to Sign New Clients and Build New Business
Wang Exploring the Role of Big Data in Reshaping Competitive Advantages in the Film and Television Industry: What Do We Know, What Can We Learn?
Bäck et al. Enhancing Traditional Media Services Utilising Lessons Learnt from Successful Social Media Applications-Case Studies and Framework.
Timmerer Category Archives: Issue-do-not-use

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10841049

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2011547723

Country of ref document: JP

122 Ep: pct application non-entry in european phase

Ref document number: 10841049

Country of ref document: EP

Kind code of ref document: A1