JP5920587B2 - リアルタイム動画像収集・認識・分類・処理・配信サーバシステム - Google Patents
リアルタイム動画像収集・認識・分類・処理・配信サーバシステム Download PDFInfo
- Publication number
- JP5920587B2 JP5920587B2 JP2012509719A JP2012509719A JP5920587B2 JP 5920587 B2 JP5920587 B2 JP 5920587B2 JP 2012509719 A JP2012509719 A JP 2012509719A JP 2012509719 A JP2012509719 A JP 2012509719A JP 5920587 B2 JP5920587 B2 JP 5920587B2
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- information
- video
- image
- videos
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/254—Management at additional data server, e.g. shopping server, rights management server
- H04N21/2541—Rights Management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/27—Server based end-user applications
- H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
- H04N21/2743—Video hosting of uploaded data from client
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/482—End-user interface for program selection
- H04N21/4821—End-user interface for program selection using a grid, e.g. sorted out by channel and broadcast time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/482—End-user interface for program selection
- H04N21/4825—End-user interface for program selection using a list of items to be played back in a given order, e.g. playlists
Description
この発明で解決しようとしていることは、限られた通信帯域において受発信者数を限定することにより、スムーズな会話進行を実現することである。
このような、複数プレーヤーによるゲーム共有体験は、強力な演算資源とメモリとを有するゲームクライアントシステムの性能に負うところが多く、集中ゲームサーバシステム(Centric Game Server System)とシンクライアント(Thin Clients)のみで、多数のプレーヤーによる表現力の高いゲームのリアルタイムサービスを実現することは、未だ困難な状況である。
この発明では、上記判断そのものは人手による非リアルタイム処理であり、多数の動画像がリアルタイムにアップロードされ、再配信されるシステムにおいては有効ではない。
この発明では、言語・文字ベース以外の情報、例えば画像情報等を用いたユーザの着目度等を活用したそれぞれのユーザの嗜好や行動履歴を抽出する手段は提供されていない。
また、本発明に係る動画像収集・配信サーバシステムは、動画サムネイルのスワップイン及びスワップアウト時の表示処理として、当該動画サムネイル全体の輝度を変化させる、または当該動画サムネイルの周縁部に特定の色を付与したり点滅等のアニメーションを行う、または当該動画サムネイル上に様々なパターンを配置したりアニメーションさせるというような装飾処理を加えることにより、スワップイン及びスワップアウト時の動画サムネイルに対し、視聴者のアテンションを喚起することを特徴とする。
本発明におけるサーバや端末も、上記のとおりのコンピュータとしての基本機能を備えたハードウェアであり、オペレーティングシステムやデバイスドライバ、そしてアプリケーションソフトウェアといったプログラム群によって制御されている。但し、機能を限定した端末においては、上記コンピュータの持つ役割を、固定した機能としてハードウェアで置き換えることができる。
付帯情報データ103−02は、物体の名称、製造者、部品番号、日時、素材、組成、加工情報など物体に関するあらゆる情報を保持している。
特徴量データ103−03は、設計情報に基づいて生成される個々の物体の特徴点や特徴量情報を保持している。
カテゴリデータ103−04は、一般物体認識部において物体のカテゴリ分類を行う際に使用する情報を保持している。
不特定物体データ103−05は、現時点において特定ができない物体についての情報を保持している。
また、位置データ検出部105−10は、GPS等の位置情報検出デバイスであり、各種センサ群105−11には、加速度センサ、傾きセンサ、磁気センサなどが含まれる。
(1)一例として、多くのユーザが同一テーマでアップロードし始めた動画像群、あるいは多くのユーザにより視聴されている最新動画像群を新規チャンネルとして生成する。
(2)一方で、新規のアップロードやユーザによる視聴が減少したチャンネルは、送出サービスを終了するなどのダイナミックで適応的な運用を可能にする。
既存のチャンネルに登録されている動画像の数が、チャンネル内動画格納最大数を超えた場合、さらにチャンネルを時系列・場所・属性等のパラメータを用いてサブカテゴリに分割し、複数のチャンネル群として拡張することができる。
さらに、図6に示すように、各チャンネルを代表する動画サムネイルを抽出し、それらの集合体である一覧チャンネルを生成することもできる。この一覧チャンネルにより、動的に生成される多数のチャンネルの俯瞰性を高めることができる。
ユーザは、時刻t(n)において撮影を開始すると同時に、撮影動画像をリアルタイムに動画像収集・配信サーバ101aにアップロードする。なお、ここでは、アップロード時間は、t(n)から始まりt(n+1)までの時間であり、時刻t(n+1)で撮影及びアップロードは終了する。
ユーザは、時刻t(n)において撮影を開始するが、撮影を終了する時刻t(n+1)まで、撮影動画像をアップロードしない。そして、撮影終了後に、例えばある程度時間をおいて時刻t(n+2)で動画像をアップロードし、動画像が終了する時刻t(n+3)にアップロードを終了する。なお、動画像のアップロードを開始する時刻t(n+2)は、時刻t(n)と時刻t(n+1)の間にあってもよい。
なお、撮影時刻には、端末105が有している較正されたRTC(Real Time Clock)を用いることができる。その他、アップロードされる動画像とともに、必要に応じて、撮影場所を表すGPS情報や、撮影者(ユーザ)に関する属性情報を送信することとしてもよい。この場合、RTCには、GPSから得られる時刻情報を用いることができる。
あるいは、この優先順位は、動画像の撮影時刻と、アップロード後の参照回数(着目度)との組み合わせで決定することとしてもよいし、チャンネルごとにチャンネルの特徴を活かした優先順位付けを行ってもよい。
画像認識処理の開始(S1201)は、まず、端末105における元画像の入力からはじまる(S1202)。元画像は、2次元画像であるか3次元画像であるかを問わず、静止画であるか動画であるかを問わない。また、元画像の入力に際しては、その元画像におけるどの物体の着目領域の指示がポインティングデバイス等のデバイス(不図示)を通じてなされる場合と、着目点の指示がなく元画像全体が処理対象として入力される場合とがある。次に、S1204において一般物体認識処理が行われる。一般物体認識処理には、例えば、BOF(Bag-Of-Features)の手法を採用することができる。この一般物体認識処理では、検出された物体のカテゴリ(物体の一般名称)の認識まで行われる。ただし、着目点の指示がされた場合は、カテゴリの認識ができた場合とできなかった場合とで処理が分岐し、その判断はS1205で行われる。カテゴリ認識ができなかった場合には、S1206へ進み、既存のカテゴリの取り扱いについて判断がなされる(S1207)が、着目点に指示の有無に関わらず物体のカテゴリ認識が出来た場合には、特定物体認識処理へ進むべくS1209へ進む。
S1205の判断において特定物体認識処理へ進む場合は、まず、S1209において個別物体画像の切り出し処理が行われる。そして、切り出された個別物体画像について、特定物体認識処理が行われる(S1210)。特定物体認識処理では、MDB103に登録された設計データ103−01から抽出された特徴量データ103−03に基づく一致度を算出する評価関数によって物体の同定が試みられる。
一方で、S1205の判断において一般物体認識ができなかった場合には、S1206へ進み、着目物体の持つ特徴量と、MDB103が把握している既存のカテゴリに属する物体の特徴量との情報距離に基づいて、その着目物体を含む新たなカテゴリを登録するか(S1207)、その着目物体に近接する既存カテゴリの拡張を検討するか(S1208)の判断が行われる。新たなカテゴリを登録する(S1207)場合にはS1204に復帰し、既存のカテゴリを拡張する(S1208)場合にはS1209へ進む。
S1211においては、特定物体の同定ができたかどうかが判断される。特定物体の同定ができた場合には、S1213に進み、S1209において切り出された個別物体画像にMDB103に登録されている物体の詳細データよりもさらに精細な情報が含まれるかが判断される。もし、S1213においてYesと判断された場合には、S1214に進み、MDB103におけるその物体の詳細データはMDB学習部102−07により更新され、より精細な情報を有するようになる。一方で、S1213においてNoと判断された場合には、S1215に進み、次の判断がなされる。
次に、S1302においてMDBで生成された特徴量データ103−03を元に、元画像内の特徴点及び特徴量が抽出され、MDBより生成される特徴量データと比較される。ここで、MDBより特徴量データを生成・比較する方法には、以下の2種類がある。
なお、情報距離の算出アルゴリズムには、符号理論上の種々のアルゴリズム(ハミング、フィッシャー等)や他の情報理論に基づく距離計算アルゴリズムを採用することができる。
図16(A)において、1600は長いすの元画像である。ここでは、5つの特徴点が抽出されている。1601は図中向かって左の背もたれ角の特徴点である。1602は図中手前の左肘掛の角の特徴点である。1603は左手前脚部の特徴点、1604は右手前脚部の特徴点である。1606は向かって右の背もたれの角の特徴点である。1605は特徴点として抽出されなかった部位であるが、説明のため番号を付ける(丸印は付していない)。
図16(B)において、1650は長いすの比較CADデータからの描画像である。ここでは、6つの特徴点が抽出されている。1651は向かって左の背もたれの特徴点である。1652は手前の左肘掛の角の特徴点である。1653は左手前脚部の特徴点である。1654は右手前脚部の特徴点である。1655は手前の右肘掛の特徴点である。1656は向かって右の背もたれの角の特徴点である。
比較は、特徴点1601と1651、特徴点1602と1652、特徴点1603と1653、特徴点1604と1654、特徴点1605と1655、特徴点1606と1656とで後述の手法(図18)を用いて行われる。特徴点1605は検出できてないが、ここでは、他の5点が一致しているので、1600の長いすは1650の長いすと特定することが出来る。つまり、特徴点のうち、全ての特徴点あるいは一定の割合以上の特徴点が一致すれば物体が特定できたと判断することができる。
あるいは、物体の一部隠れていても場合(関数検出できない場合)であっても、その他の特徴点でよく一致していれば同定できたとすることができる。
図17(C)は、図16の(A)に示した長いす1600と同じである。
図17(D)において、1750は別の長いすの比較CADデータからの描画像である。ここでは、6つの特徴点が抽出されている。1751は向かって左の背もたれの特徴点である。1752は手前の左肘掛の角の特徴点である。1753は左手前脚部の特徴点である。1754は右手前脚部の特徴点である。1755は手前の右肘掛の特徴点である。1756は向かって右の背もたれの角の特徴点である。
比較は、特徴点1601と1751、特徴点1602と1752、特徴点1603と1753、特徴点1604と1754、特徴点1605と1755、特徴点1606と1756で行われる。後述の手法(図18)により1602と1752が一致してないので、1600と1750が別の物体と判断される。
図18(K)において、横軸には位相(角度、距離、色などを包含する)、縦軸には元画像と比較CAD画像の一致度を取る。比較CAD画像を偏位させ特徴点を比較することで、元画像との一致度が0と1の間の値を取る。一致すれば0であり、不一致であれば1である。CAD画像どうしてあれば、比較CAD画像の比較CAD画像の1つの位相で、元CAD画像が完全に一致する。しかし、元画像にはノイズが含まれているので、完全な一致にはなり得ない。結果、比較CAD画像の位相に従って1802の線となる。また、もし、完全に一致しない場合には、1803の直線になる。
図18(L)において、図16の一致の場合と図17の不一致の場合をあらわす。図18(L)Aにおいて、特徴点1は1603、特徴点2は1601、特徴点3は1602、特徴点4は1606、特徴点5は1605、特徴点6は1604に対応する。図Aではある同一位相値において抽出されてない特徴点1605以外は極小値となっている。ゆえに、元画像は比較CAD画像と一致したと判断する。一方、図18(L)Bにおいては、同様の比較を行った結果、1602に対応する特徴点3が他とは違う比較CAD画像の位相値で一致度の極小値となっている。結果、元画像は比較CAD画像とは不一致であると判断する。
(A)個々のユーザの着目点やカテゴリ情報、画像情報に付加されていた位置情報(GPS)などのメタデータ及び、それらの時間的統計処理により算出される行動履歴に基づいた類似度計算などにより、関連する画像のリコメンデーションや広告を生成し、リコメンデーション情報として情報収集・配信サーバ101aに送信し、情報収集・配信サーバ101aから対応する端末へ原画像と共に配信する。
(B)さらに、多くのユーザが着目している特定物体情報や、興味の傾向・変化などをリアルタイムに解析し、鮮度の高いマーケティングデータを生成することができる。
101a 動画像収集・配信サーバ
101a−01 受信制御部
101a−02 画像処理部
101a−03 動画サムネイル生成部
101a−04 チャンネル構成部
101a−05 動画像送出部
101b 動画像マネージャ
101c 動画像アーカイブ
101d メタデータ・位置データ等DB
102 リアルタイム画像認識システム
103 マザーデータベース(MDB)
104 ネットワーク
105a〜105d 端末
412 メタデータ情報収集処理システム
415 著作権等管理DB
Claims (15)
- 複数の端末と、
前記複数の端末がアップロードした複数の動画を受ける一又は二以上のサーバと、
を備え、
一又は二以上のサーバが、
前記複数の動画における第1の物体及び/又はシーンを認識する画像認識手段と、
前記認識された第1の物体及び/又はシーンに基づいて、前記複数の動画を複数の動画チャンネルに割り振る割り振り手段と、
前記複数の動画に関連する動画サムネイルを前記複数の端末の少なくとも一つに送信する送信手段と、
を有し、
前記複数の端末の少なくとも一つが、所定の期間の間、前記複数の動画に関連する複数の動画サムネイルの一部を表示し、前記所定の期間経過後、表示された当該動画サムネイルの一又は二以上が動画の撮影時刻を順序に前記複数の動画に関連する動画サムネイル中の当該表示された動画サムネイル以外の動画サムネイルに置換されて、前記複数の端末の少なくとも一つが置換された前記動画サムネイルを表示する、システム。 - 前記置換は、動画がアップロードされた順序に基づいて実行される、請求項1に記載のシステム。
- 前記置換は、動画の撮影時刻に基づいて実行される、請求項1又は2に記載のシステム。
- 前記送信手段は、前記動画サムネイルを一覧表示形式で送信し、前記置換は、当該一覧表示形式における前記動画サムネイルの位置を維持して行われる、請求項1ないし3のいずれか一つに記載のシステム。
- 前記動画サムネイルは、特定の条件を満たした1以上の動画サムネイルを少なくとも一つ含み、前記送信手段は、当該特定の条件を満たした1以上の動画サムネイルを前記一覧表示形式の所定の表示領域に表示するよう配信する、請求項4に記載のシステム。
- 前記一又は二以上のサーバは、前記複数の動画において、前記第1の物体及び/又はシーンとは異なる第2の物体及び/又はシーンをさらに認識し、前記割り振り手段は、前記複数の動画チャンネルそれぞれにおける動画の数、及び/又は、前記第2の物体及び/又はシーンに基づいて、動画チャンネルを再編成、分割、融合、又は、終了する、請求項1ないし5のいずれか一つに記載のシステム。
- 前記一又は二以上のサーバは、アップロードを行った前記複数の端末の内の少なくとも一つの端末の位置情報及び/又は当該端末のユーザの情報に基づいて、動画チャンネルを再編成、分割、融合、又は、終了する、請求項1ないし6のいずれか一つに記載のシステム。
- 前記一又は二以上のサーバは、前記複数の端末の一つを用いて入力された所定の時間に対応する動画がアップロードされた時刻、動画の撮影時刻、及び/又は、任意の時刻を起点とした時刻に関連する一又は二以上の動画サムネイルを送信する、請求項1ないし7のいずれか一つに記載のシステム。
- 前記一又は二以上のサーバは、前記一又は二以上のサーバが前記複数の端末の一つを用いて入力された情報であって、アップロードを行ったユーザ、物体、及び/又は、ロケーションに関する情報を受信したことに応じて、所定の動画を前記複数の端末の少なくとも一つ及び/又は当該端末以外の端末に送信する、請求項1ないし7のいずれか一つに記載のシステム。
- 前記一又は二以上のサーバは、前記画像認識手段が前記複数の動画において特定の画像を認識した場合、又は、前記複数の動画において所定の著作権管理情報を認識した場合、認識された動画及び/又は当該動画に関連する動画サムネイルの送信を中止する、又は、前記認識された動画における所定の物体部分にフィルタリング処理を行う又は当該物体部分をマスキング画像に置き換える、請求項1ない9のいずれか一つに記載のシステム。
- 前記複数の端末は、個々のユーザにより選択された動画及び動画中の対象物体、動画の選択順序、並びに、個々のユーザによりアップロードされた動画及び動画中の着目物体から抽出されるユーザの属性及び行動履歴を少なくとも含む端末に関する情報を、前記一又は二以上のサーバに送り、
前記一又は二以上のサーバは、前記端末に関する情報を蓄積し、当該前記端末に関する情報に基づいて、所定のユーザが関心を有する情報を特定する、請求項1ないし10のいずれか一つに記載のシステム。 - 前記置換は、スワップイン及びスワップアウトによって実現され、当該スワップイン及びスワップアウトを実現する際、置換される動画サムネイルそれぞれの一部又は全部において、輝度を変化させ、色を変化させ、又は、点滅させる、又は、当該動画サムネイルそれぞれ上で所定のパターン又はアニメーションが表示される、請求項11に記載のシステム。
- 複数の端末がアップロードした複数の動画を受ける一又は二以上のサーバであって、
前記複数の動画における第1の物体及び/又はシーンを認識する画像認識手段と、
前記認識された第1の物体及び/又はシーンに基づいて、前記複数の動画を複数の動画チャンネルに割り振る割り振り手段と、
前記複数の動画に関連する動画サムネイルを前記複数の端末の少なくとも一つに送信する送信手段と、
を有し、
前記複数の端末の少なくとも一つにおいて、所定の期間の間、前記複数の動画に関連する複数の動画サムネイルの一部が表示され、前記所定の期間経過後、表示された当該動画サムネイルの一又は二以上が動画の撮影時刻を順序に前記複数の動画に関連する動画サムネイル中の当該表示された動画サムネイル以外の動画サムネイルに置換されて、前記複数の端末の少なくとも一つにおいて、置換された前記動画サムネイルが表示されることを特徴とする、一又は二以上のサーバ。 - 複数の端末がアップロードした複数の動画を受ける一又は二以上のサーバが実行するコンピュータプログラムであって、
前記複数の動画における第1の物体及び/又はシーンを認識するステップと、
前記認識された第1の物体及び/又はシーンに基づいて、前記複数の動画を複数の動画チャンネルに割り振るステップと、
前記複数の動画に関連する動画サムネイルを前記複数の端末の少なくとも一つに送信するステップと、
を有し、
前記複数の端末の少なくとも一つにおいて、所定の期間の間、前記複数の動画に関連する複数の動画サムネイルの一部が表示され、前記所定の期間経過後、表示された当該動画サムネイルの一又は二以上が動画の撮影時刻を順序に前記複数の動画に関連する動画サムネイル中の当該表示された動画サムネイル以外の動画サムネイルに置換されて、前記複数の端末の少なくとも一つにおいて、置換された前記動画サムネイルが表示されることを特徴とする、コンピュータプログラム。 - 請求項14に記載のコンピュータプログラムを記録した記録媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010090727 | 2010-04-09 | ||
JP2010090727 | 2010-04-09 | ||
PCT/JP2011/059009 WO2011126134A1 (ja) | 2010-04-09 | 2011-04-11 | リアルタイム動画像収集・認識・分類・処理・配信サーバシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2011126134A1 JPWO2011126134A1 (ja) | 2013-07-11 |
JP5920587B2 true JP5920587B2 (ja) | 2016-05-18 |
Family
ID=44763069
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012509719A Active JP5920587B2 (ja) | 2010-04-09 | 2011-04-11 | リアルタイム動画像収集・認識・分類・処理・配信サーバシステム |
Country Status (4)
Country | Link |
---|---|
US (2) | US8863183B2 (ja) |
EP (1) | EP2557782B1 (ja) |
JP (1) | JP5920587B2 (ja) |
WO (1) | WO2011126134A1 (ja) |
Families Citing this family (63)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8224078B2 (en) | 2000-11-06 | 2012-07-17 | Nant Holdings Ip, Llc | Image capture and identification system and process |
US7680324B2 (en) | 2000-11-06 | 2010-03-16 | Evryx Technologies, Inc. | Use of image-derived information as search criteria for internet and other search engines |
US7899243B2 (en) | 2000-11-06 | 2011-03-01 | Evryx Technologies, Inc. | Image capture and identification system and process |
US7565008B2 (en) | 2000-11-06 | 2009-07-21 | Evryx Technologies, Inc. | Data capture and identification system and process |
US9910341B2 (en) | 2005-01-31 | 2018-03-06 | The Invention Science Fund I, Llc | Shared image device designation |
US10003762B2 (en) | 2005-04-26 | 2018-06-19 | Invention Science Fund I, Llc | Shared image devices |
US20070222865A1 (en) * | 2006-03-15 | 2007-09-27 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Enhanced video/still image correlation |
WO2009111047A2 (en) | 2008-03-05 | 2009-09-11 | Ebay Inc. | Method and apparatus for image recognition services |
US9495386B2 (en) | 2008-03-05 | 2016-11-15 | Ebay Inc. | Identification of items depicted in images |
US9002924B2 (en) * | 2010-06-17 | 2015-04-07 | Microsoft Technology Licensing, Llc | Contextual based information aggregation system |
KR20120021057A (ko) * | 2010-08-31 | 2012-03-08 | 삼성전자주식회사 | 특정 영역에서 키워드를 추출하는 검색 서비스 제공방법 및 이를 적용한 디스플레이 장치 |
JP2013013065A (ja) * | 2011-06-01 | 2013-01-17 | Ricoh Co Ltd | 画像処理装置、画像処理方法及び画像処理プログラム |
JP5491585B2 (ja) * | 2011-08-12 | 2014-05-14 | キヤノン株式会社 | 表示制御装置、制御方法、及びプログラム |
US20130054450A1 (en) * | 2011-08-31 | 2013-02-28 | Richard Lang | Monetization of Atomized Content |
US9473668B2 (en) * | 2011-11-01 | 2016-10-18 | Siemens Industry, Inc. | Distributed storage and processing of mail image data |
US9767259B2 (en) * | 2012-05-07 | 2017-09-19 | Google Inc. | Detection of unauthorized content in live multiuser composite streams |
US9693108B2 (en) * | 2012-06-12 | 2017-06-27 | Electronics And Telecommunications Research Institute | Method and system for displaying user selectable picture |
US10846766B2 (en) * | 2012-06-29 | 2020-11-24 | Ebay Inc. | Contextual menus based on image recognition |
JP6071288B2 (ja) * | 2012-07-09 | 2017-02-01 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
KR102256517B1 (ko) * | 2013-03-15 | 2021-05-27 | 비데리 인코포레이티드 | 인터넷을 통해 디지털 아트 및 이미징의 배포 및 뷰잉을 제어하는 시스템 및 방법 |
US10187667B1 (en) * | 2013-03-15 | 2019-01-22 | Cox Communications, Inc. | Simultaneously optimizing transport bandwidth and client device performance |
US10133442B2 (en) * | 2013-06-08 | 2018-11-20 | Tencent Technology (Shenzhen) Company Limited | Method and apparatus for accessing a chat room |
JP2015045945A (ja) * | 2013-08-27 | 2015-03-12 | 株式会社リコー | 情報処理装置、プログラム及び情報処理システム |
WO2015038130A1 (en) * | 2013-09-12 | 2015-03-19 | Intel Corporation | Content reconfiguration based on characteristic analysis |
WO2015059773A1 (ja) * | 2013-10-22 | 2015-04-30 | 株式会社トヨタマップマスター | ヘッドマウントディスプレイ及びその制御方法、並びにヘッドマウントディスプレイを制御するためのコンピュータプログラムを記録した記録媒体 |
JP2015114865A (ja) * | 2013-12-12 | 2015-06-22 | ソニー株式会社 | 情報処理装置、中継コンピュータ、情報処理システム、および情報処理プログラム |
JP6264870B2 (ja) * | 2013-12-13 | 2018-01-24 | 富士通株式会社 | 情報提供装置、プログラム、及びシステム |
JP5791744B1 (ja) * | 2014-03-18 | 2015-10-07 | 株式会社ドワンゴ | 端末装置、動画表示方法、及びプログラム |
JP5791745B1 (ja) * | 2014-03-18 | 2015-10-07 | 株式会社ドワンゴ | 動画配信装置、動画配信方法、及びプログラム |
JP6120793B2 (ja) * | 2014-03-24 | 2017-04-26 | 株式会社ドワンゴ | 端末装置、動画配信装置、及びプログラム |
JP6177998B2 (ja) * | 2014-04-08 | 2017-08-09 | 日立マクセル株式会社 | 情報表示方法および情報表示端末 |
KR20160018066A (ko) * | 2014-08-08 | 2016-02-17 | 엘지전자 주식회사 | 디스플레이 장치 및 그의 동작 방법 |
CN105373938A (zh) * | 2014-08-27 | 2016-03-02 | 阿里巴巴集团控股有限公司 | 识别视频图像中的商品和展示其信息的方法、装置及系统 |
US10203847B1 (en) * | 2014-09-29 | 2019-02-12 | Amazon Technologies, Inc. | Determining collections of similar items |
JP6550736B2 (ja) | 2014-12-08 | 2019-07-31 | 富士ゼロックス株式会社 | 撮影対象管理プログラム及び情報処理装置 |
US10051036B1 (en) * | 2015-01-23 | 2018-08-14 | Clarifai, Inc. | Intelligent routing of media items |
JP6569315B2 (ja) * | 2015-06-12 | 2019-09-04 | 日本電気株式会社 | 動画監視システム、動画監視方法、および動画監視用プログラム |
JP6451013B2 (ja) * | 2015-08-03 | 2019-01-16 | 株式会社ドワンゴ | 端末装置、動画表示方法、及びプログラム |
JP6333221B2 (ja) * | 2015-08-24 | 2018-05-30 | ヤフー株式会社 | 決定装置、決定方法、決定プログラム、端末装置、及び表示プログラム |
US11019385B2 (en) * | 2016-01-20 | 2021-05-25 | Samsung Electronics Co., Ltd. | Content selection for networked media devices |
CN107273106B (zh) * | 2016-04-08 | 2021-07-06 | 北京三星通信技术研究有限公司 | 物体信息翻译、以及衍生信息获取方法和装置 |
CN106357982B (zh) * | 2016-11-11 | 2023-04-07 | 北京佳艺徕经贸有限责任公司 | 影像服务装置及方法 |
EP3557861A4 (en) * | 2017-01-31 | 2019-12-25 | NTT DoCoMo, Inc. | INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD |
JP7212611B2 (ja) * | 2017-02-27 | 2023-01-25 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 画像配信方法、画像表示方法、画像配信装置及び画像表示装置 |
CN107133583A (zh) * | 2017-04-27 | 2017-09-05 | 深圳前海弘稼科技有限公司 | 一种种植物信息获取方法以及装置 |
WO2019021447A1 (ja) * | 2017-07-28 | 2019-01-31 | 株式会社オプティム | ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム |
WO2019021446A1 (ja) * | 2017-07-28 | 2019-01-31 | 株式会社オプティム | ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム |
JP7006059B2 (ja) * | 2017-09-12 | 2022-01-24 | 凸版印刷株式会社 | 画像処理装置、画像処理方法、及びプログラム |
WO2019117880A1 (en) * | 2017-12-12 | 2019-06-20 | Google Llc | Proactive detection of media item matching |
JP6989450B2 (ja) * | 2018-06-21 | 2022-01-05 | 株式会社東芝 | 画像解析装置、画像解析方法及びプログラム |
JP6814186B2 (ja) * | 2018-10-31 | 2021-01-13 | ヤフー株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
CN111309220A (zh) * | 2018-12-11 | 2020-06-19 | 阿里巴巴集团控股有限公司 | 交互方法、图片处理方法及装置 |
CN110458267A (zh) * | 2019-08-21 | 2019-11-15 | 新疆大学 | 基于stc12和rfid技术的手环式一卡通系统 |
CN110647826B (zh) * | 2019-09-05 | 2022-04-29 | 北京百度网讯科技有限公司 | 商品训练图片的获取方法、装置、计算机设备和存储介质 |
CN111274437B (zh) * | 2020-01-22 | 2021-11-16 | 天窗智库文化传播(苏州)有限公司 | 基于互联网的视频素材资源管理方法及系统 |
KR20210107480A (ko) | 2020-02-24 | 2021-09-01 | 삼성전자주식회사 | 전자장치 및 그 제어방법 |
CN111787221B (zh) * | 2020-06-30 | 2021-10-19 | 北京百度网讯科技有限公司 | 图像采集方法、装置、系统、设备和计算机存储介质 |
CN112686863A (zh) * | 2020-12-30 | 2021-04-20 | 苏州欧鹏自动化设备有限公司 | 元件图像检测方法及装置、计算机存储介质、电子设备 |
US11711493B1 (en) | 2021-03-04 | 2023-07-25 | Meta Platforms, Inc. | Systems and methods for ephemeral streaming spaces |
JP2022164421A (ja) * | 2021-04-16 | 2022-10-27 | Jcc株式会社 | 放送録画装置及び放送録画装置用プログラム |
US11558550B1 (en) | 2021-06-28 | 2023-01-17 | International Business Machines Corporation | Privacy-protecting multi-pass street-view photo-stitch |
JP7196350B2 (ja) * | 2022-02-07 | 2022-12-26 | Line株式会社 | 動画配信方法および配信サーバ |
JP7222140B2 (ja) * | 2022-02-07 | 2023-02-14 | Line株式会社 | プログラム、情報処理方法および端末 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009290651A (ja) * | 2008-05-30 | 2009-12-10 | Access Co Ltd | コンテンツ管理方法、コンテンツ自動編集方法、コンテンツ管理プログラム、コンテンツ自動編集プログラム、サーバ、情報機器、およびコンテンツ自動編集システム |
JP2010041500A (ja) * | 2008-08-06 | 2010-02-18 | Toshiba Corp | サーバ装置、クライアント装置、コンテンツ送出方法、コンテンツ再生装置、コンテンツ再生方法 |
JP2010081129A (ja) * | 2008-09-25 | 2010-04-08 | Hitachi Ltd | コンテンツ再生装置およびコンテンツ再生方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001120841A (ja) | 1999-07-14 | 2001-05-08 | Sega Corp | 通信ゲームシステムおよび通信ゲーム処理方法 |
US6755743B1 (en) | 1999-12-08 | 2004-06-29 | Kabushiki Kaisha Sega Enterprises | Communication game system and processing method thereof |
US6950119B2 (en) | 2002-04-15 | 2005-09-27 | Sumitomo Electric Industries, Ltd. | Videoconference system, terminal equipment included therein and data delivery method |
JP2004007561A (ja) | 2002-04-15 | 2004-01-08 | Sumitomo Electric Ind Ltd | テレビ会議システム、それに含まれる端末装置、及びデータ配信方法 |
JP2009199586A (ja) * | 2008-01-23 | 2009-09-03 | Canon Inc | 情報処理装置及びその制御方法 |
JP2009194491A (ja) | 2008-02-13 | 2009-08-27 | Nippon Telegr & Teleph Corp <Ntt> | 動画検閲装置、動画検閲方法、動画検閲プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2009265754A (ja) | 2008-04-22 | 2009-11-12 | Ntt Docomo Inc | 情報提供装置、情報提供方法及び情報提供プログラム |
-
2011
- 2011-04-11 US US13/640,010 patent/US8863183B2/en not_active Expired - Fee Related
- 2011-04-11 EP EP11766034.0A patent/EP2557782B1/en active Active
- 2011-04-11 JP JP2012509719A patent/JP5920587B2/ja active Active
- 2011-04-11 WO PCT/JP2011/059009 patent/WO2011126134A1/ja active Application Filing
-
2014
- 2014-09-09 US US14/481,067 patent/US9204198B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009290651A (ja) * | 2008-05-30 | 2009-12-10 | Access Co Ltd | コンテンツ管理方法、コンテンツ自動編集方法、コンテンツ管理プログラム、コンテンツ自動編集プログラム、サーバ、情報機器、およびコンテンツ自動編集システム |
JP2010041500A (ja) * | 2008-08-06 | 2010-02-18 | Toshiba Corp | サーバ装置、クライアント装置、コンテンツ送出方法、コンテンツ再生装置、コンテンツ再生方法 |
JP2010081129A (ja) * | 2008-09-25 | 2010-04-08 | Hitachi Ltd | コンテンツ再生装置およびコンテンツ再生方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2011126134A1 (ja) | 2011-10-13 |
US8863183B2 (en) | 2014-10-14 |
EP2557782B1 (en) | 2019-07-17 |
US20130036438A1 (en) | 2013-02-07 |
EP2557782A1 (en) | 2013-02-13 |
US20140380397A1 (en) | 2014-12-25 |
US9204198B2 (en) | 2015-12-01 |
JPWO2011126134A1 (ja) | 2013-07-11 |
EP2557782A4 (en) | 2015-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5920587B2 (ja) | リアルタイム動画像収集・認識・分類・処理・配信サーバシステム | |
US11321385B2 (en) | Visualization of image themes based on image content | |
CN107171932B (zh) | 一种图片风格转换方法、装置及系统 | |
CN110140138A (zh) | 本地设备的内容数据的确定、传输和存储 | |
US20140108932A1 (en) | Online search, storage, manipulation, and delivery of video content | |
KR102027670B1 (ko) | 관람자 관계형 동영상 제작 장치 및 제작 방법 | |
US20160283483A1 (en) | Providing selected images from a set of images | |
US20160321783A1 (en) | System and Methods for Generating an Interactive Mosaic Comprising User Visual Content Data on a Portable Terminal and an Image Sharing Platform | |
US20080028294A1 (en) | Method and system for managing and maintaining multimedia content | |
JP2019534494A (ja) | 動的エンティティのマルチビューインタラクティブデジタルメディア表現における対象の自動タグ付け | |
JP2017501516A (ja) | サラウンドビュー内のオブジェクト及び階層の解析及び操作 | |
EP2405349A1 (en) | Apparatus and method for providing augmented reality through generation of a virtual marker | |
KR20060025518A (ko) | 디지털 비디오 컨텐트를 대화방식의 관점에서 저작하기위한 방법 및 장치 | |
KR20050087876A (ko) | 디지털 비디오 컨텐트의 대화방식의 맵-기반 분석을 위한방법 및 장치 | |
US10013437B2 (en) | Information processing apparatus and method for searching of content based on meta information | |
JP2002529858A (ja) | 相互使用可能なマルチメディアコンテンツ記述のためのシステムおよび方法 | |
JP2002108892A (ja) | データ管理システム、データ管理方法、及び、記録媒体 | |
JPWO2008136466A1 (ja) | 動画編集装置 | |
JP2006293939A (ja) | 出版物発行配信システム | |
US9886415B1 (en) | Prioritized data transmission over networks | |
JP2020080115A (ja) | サムネイル出力装置、サムネイル出力方法およびサムネイル出力プログラム | |
US20230260549A1 (en) | Information processing apparatus, information processing method, and program | |
JP2022056358A (ja) | 動画配信装置、動画配信方法、および、動画配信プログラム | |
JP6169382B2 (ja) | 共有情報提供システム | |
Ivanov et al. | Epitome: A social game for photo album summarization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140314 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140508 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140630 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150518 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150708 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160217 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160314 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160329 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5920587 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |