JP6777089B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP6777089B2
JP6777089B2 JP2017548656A JP2017548656A JP6777089B2 JP 6777089 B2 JP6777089 B2 JP 6777089B2 JP 2017548656 A JP2017548656 A JP 2017548656A JP 2017548656 A JP2017548656 A JP 2017548656A JP 6777089 B2 JP6777089 B2 JP 6777089B2
Authority
JP
Japan
Prior art keywords
moving image
sticker
image
information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017548656A
Other languages
English (en)
Other versions
JPWO2017077751A1 (ja
Inventor
泰弘 武田
泰弘 武田
健之 藤木
健之 藤木
潤一郎 高木
潤一郎 高木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2017077751A1 publication Critical patent/JPWO2017077751A1/ja
Application granted granted Critical
Publication of JP6777089B2 publication Critical patent/JP6777089B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本開示は、情報処理装置、情報処理方法およびプログラムに関する。
近年、スマートフォン等、撮像機能を有する端末により撮像されるライブ映像を複数の視聴者に配信するライブ配信技術が開発されている。例えば、下記特許文献１には、ライブ映像を撮像する撮像装置からの映像の供給を適切に制御するための技術が開示されている。
特開２００２−２９７７９８号公報
上記特許文献１に開示された技術によれば、配信ユーザから一方的に視聴者に映像が配信される。しかし、視聴者から配信ユーザに対してコミュニケーションを取る手段については開示されていない。例えば、ライブ映像とは別に設けられたコミュニケーション手段（例えば、チャット機能またはコメント機能等）を用いて配信ユーザと複数の視聴者とがコミュニケーションを図る場合、コメントの入力等により時間がとられ、コミュニケーションが円滑に進まないということがあった。そのため、配信されている映像におけるリアルタイム性が損なわないようにユーザ間のコミュニケーションを活発にすることが求められていた。
そこで、本開示では、配信されている動画像を介したユーザ間のコミュニケーションをより円滑にすることが可能な、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提案する。
本開示によれば、ライブ配信されている動画像、およびデバイスの表示部に表示されている上記動画像上へのステッカの配置に関する操作位置および配置される上記ステッカに関する情報を含む操作情報を取得する通信部と、上記動画像上における上記操作位置に対応する領域を解析し、解析結果、および上記操作情報に基づいて上記動画像に対して上記ステッカの配置処理を行う制御部と、を備える情報処理装置が提供される。
また、本開示によれば、プロセッサが、ライブ配信されている動画像を取得することと、デバイスの表示部に表示されている上記動画像上へのステッカの配置に関する操作位置および配置される上記ステッカに関する情報を含む操作情報を取得することと、上記動画像上における上記操作位置に対応する動画像を解析することと、上記解析結果、および上記操作情報に基づいて上記動画像に対して上記ステッカの配置処理を行うことと、を含む情報処理方法が提供される。
また、本開示によれば、コンピュータに、受信されたライブ配信されている動画像を上記コンピュータの表示部に表示させるための表示情報を生成することと、上記コンピュータの通信部を制御することによりサーバに送信される、上記動画像上へのステッカの配置に関する操作位置および配置される上記ステッカに関する情報を含む操作情報を生成することと、上記通信部を制御することにより上記サーバから受信される、上記サーバが上記コンピュータを含むデバイスから取得した操作位置に対応する上記動画像上の領域を解析することにより得られる解析結果と上記操作情報とに基づいて上記サーバにより上記ステッカの配置処理が施された動画像を、上記表示部に表示させるための表示情報を生成することと、を実行させるプログラムが提供される。
以上説明したように本開示によれば、配信されている動画像を介したユーザ間のコミュニケーションをより円滑にすることが可能である。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理システムの構成の概要を示す図である。 ユーザ端末の表示操作部に表示されるＵＩの構成の一例を示す図である。 ユーザ端末の表示操作部に表示されるＵＩを用いてステッカを選択する操作について説明するための図である。 ユーザ端末の表示操作部に表示されるＵＩを用いてステッカをライブ映像に配置する操作について説明するための図である。 同実施形態に係るサーバの機能構成例を示すブロック図である。 同実施形態に係るユーザ端末の機能構成例を示すブロック図である。 同実施形態に係るユーザ端末による操作処理の動作例を示すフローチャートである。 同実施形態に係るサーバによる画像処理の動作例を示すフローチャートである。 同実施形態に係る情報処理システムによる動画像の変形処理の第１の例を示す図である。 同実施形態に係る情報処理システムによる動画像の変形処理の第２の例を示す図である。 同実施形態に係る情報処理システムによる動画像に含まれるオブジェクトの特徴に応じた画像処理の例を示す図である。 同実施形態に係る情報処理システムによる動画像に含まれるオブジェクトによるジェスチャ処理の例を示す図である。 同実施形態に係る情報処理システムによるステッカの移動処理の例を示す図である。 同実施形態に係る情報処理システムによるステッカのスライド操作に基づく処理の第１の例を示す図である。 同実施形態に係る情報処理システムによるステッカのスライド操作に基づく処理の第２の例を示す図である。 同実施形態に係る情報処理システムによるステッカに対するタップ操作に基づく処理の例を示す図である。 同実施形態に係る情報処理システムによる動画像に含まれるステッカをまとめる処理の例を示す図である。 同実施形態に係る情報処理システムによる音響情報に応じた画像処理の例を示す図である。 同実施形態に係る情報処理システムによるハイライト動画生成処理の例を説明するための図である。 同実施形態に係る情報処理システムによる画像解析後の投票処理の例を説明するための図である。 同実施形態に係る情報処理システムによる操作位置に基づく画像解析後の投票処理の例を説明するための図である。 同実施形態に係る情報処理システムによる動画属性推定処理を説明するための図である。 本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．情報処理システムの概要
２．各装置の構成
３．情報処理システムの動作
４．情報処理システムによる画像処理例
５．情報処理システムによる操作情報の応用例
６．ハードウェア構成例
７．まとめ
＜＜１．情報処理システムの概要＞＞
＜１．１．情報処理システムの構成＞
図１は、本開示の一実施形態に係る情報処理システム１の構成の概要を示す図である。図１に示すように、情報処理システム１は、サーバ１０、ユーザ端末２０およびユーザ端末３０（３０ａ、３０ｂ、・・・）からなる。サーバ１０、ユーザ端末２０およびユーザ端末３０は、有線または無線の各種ネットワークＮＷにより接続される。
サーバ１０は、情報処理装置の一例である。サーバ１０は、ネットワーク上の一または複数の情報処理装置によって構成される。サーバ１０を構成する情報処理装置は、処理回路と、通信装置を含み得る。例えば、サーバ１０は、通信装置を用いてユーザ端末２０から受信した動画像（例えば、ライブ映像）について、ユーザ端末２０またはユーザ端末３０から取得した操作情報に基づいて処理回路を用いて処理を行い、処理された動画像を通信装置によって各ユーザ端末に送信してもよい。
ユーザ端末２０（３０）は、情報処理装置の一例である。図１では、ユーザ端末２０（３０）の例として、スマートフォンが示されているが、ユーザ端末２０（３０）は、他にもタブレット、パーソナルコンピュータ、レコーダ、ゲーム機、ウェアラブル装置などの装置を含み得る。ユーザ端末２０（３０）は、処理回路と、通信装置と、出入力装置とを含み得る。例えば、ユーザ端末２０（３０）は、通信装置を用いてサーバ１０から動画像を受信し、出入力装置を用いて動画像を出力する。また、ユーザ端末２０（３０）は、出入力装置に表示されている動画像に対する操作を取得し、通信装置を用いて操作に関する情報をサーバ１０に送信してもよい。なお、ユーザ端末２０（３０）は、実空間を撮像し、動画像を生成するための撮像機能を有してもよい。ユーザ端末２０（３０）の撮像機能により生成された動画像はサーバ１０に送信され、サーバ１０により各ユーザ端末に配信され得る。
図１に示した例において、ユーザ端末２０は、配信ユーザＳＳの操作によりライブ映像を撮像し、撮像されたライブ映像はサーバ１０により所定の処理が行われたあと、ユーザ端末３０に配信される。視聴ユーザＡＡ１およびＡＡ２は、ユーザ端末３０を介して配信されたライブ映像を視聴することができる。
さらに、ライブ映像を取得したユーザ端末３０は、ライブ映像が表示されているタッチパネルに対するユーザによる所定の操作により、ライブ映像に対して所定の処理を行うよう指示することができる。当該指示はサーバ１０に送信される。サーバ１０は、ライブ映像に対して、取得した指示に対応する所定の処理を行い、処理後のライブ映像を各ユーザ端末に配信する。これにより、各ユーザ端末には、任意の視聴ユーザによる操作に基づくライブ映像が表示される。
より具体的に説明すると、図１に示したように、ユーザ端末２０、ユーザ端末３０ａ、およびユーザ端末３０ｂの表示部には、表示画面１０００が表示されている。表示画面１０００は、ライブ映像表示画面１０１０およびステッカ選択画面１０１２を含む。ライブ映像表示画面１０１０には配信者ＳＳのオブジェクトＯｂｊを含むライブ映像が表示されている。例えば、ユーザＡＡ２が操作体Ｈを用いてステッカ選択画面１０１２からハートのステッカＳｔｋを選択し、当該ステッカＳｔｋをライブ映像表示画面１０１０上の任意の位置に配置するよう操作する。当該操作を取得したユーザ端末３０ｂは、操作に対応する処理に係る指示をサーバ１０に送信する。サーバ１０は当該指示を取得し、当該指示に対応する処理を行い、処理後のライブ映像を各ユーザ端末に配信される。そうすると、例えばユーザ端末２０の表示部には、ステッカＳｔｋが配置された状態のライブ映像が表示される。また、図１には図示されていないが、視聴ユーザＡＡ１のユーザ端末３０ａの表示部にも同様に、ステッカＳｔｋが配置された状態のライブ映像が表示される。
なお、上述したようなライブ映像表示画面１０１０に対するユーザ端末３０に関する操作は、配信元であるユーザ端末２０に関しても行うことができる。
このように、視聴ユーザ（または配信ユーザ）は、配信中のライブ映像に対してステッカを配置する等の操作を行うことにより、ライブ映像を視聴しながらリアルタイムに複数のユーザと簡単にコミュニケーションを取ることができる。したがって、ライブ映像を介したユーザ間のコミュニケーションがより円滑になる。
＜１．２．端末ＵＩ例＞
ユーザ端末３０（２０）の表示操作部に表示されるＵＩ（User Interface）の構成および操作処理について、図２〜図４を参照しながら詳細に説明する。
図２は、ユーザ端末３０（２０）の表示操作部２１０に表示されるＵＩの構成の一例を示す図である。図２を参照すると、ユーザ端末３０（２０）の表示操作部２１０には、表示画面１０００が表示されている。表示画面１０００は、ヘッダ１００１、ライブ映像表示画面１０１０、モード選択画面１０１１およびステッカ選択画面１０１２が表示されている。
ヘッダ１００１は、ＩＤ１００２およびライブ映像に係る情報１００３を含む。ＩＤ１００２には視聴ユーザのＩＤが表示されてもよいし、ライブ映像の配信元を示す配信ユーザのＩＤが表示されていてもよい。ライブ映像に係る情報１００３は、例えば、配信ユーザまたは視聴ユーザの情報処理システム１の利用頻度を示す指標（例えば、「ユーザレベル」）であってもよいし、ライブ映像に関する指標（例えば、「盛り上げポイント」）であってもよい。ライブ映像に関する指標は、例えばライブ映像の配信中に視聴ユーザ等によりライブ映像に対して行われた処理（例えばステッカの配置）の実行数等に応じて算出される値（盛り上げポイントに相当）であってもよい。ライブ映像に関する指標、または各ユーザに関する指標を各ユーザに表示させることにより、各ユーザによる情報処理システム１の利用を促進させることができる。例えば、上記の指標を上げることにより、多数のユーザにより構成されるランキングの上位に位置するなど、ユーザ自身の注目度を高めることができるので、さらにユーザの情報処理システム１の利用を促進させることができる。そのため、上記の指標をヘッダ１００１のライブ映像に係る情報１００３に表示させることが望ましい。また、ユーザが特定のステッカを使用した場合に上記の指標を増加させやすくすることにより、ユーザの情報処理システム１の利用をより促進させることができる。
ライブ映像表示画面１０１０は、サーバ１０から配信されるライブ映像Ｍ１を表示させるための画面である。図２に示した例では、ライブ映像Ｍ１には配信ユーザに対応する配信ユーザオブジェクトＯｂｊ１が含まれている。本実施形態に係る情報処理システム１では、配信ユーザのユーザ端末２０が撮像するライブ映像は、サーバ１０を介して各視聴ユーザのユーザ端末３０に配信される。
モード選択画面１０１１は、ライブ映像に対する操作モードをユーザに選択させるための画面である。モード選択画面１０１１は、例えば、ステッカ選択モードの他に、コメント記入モード、ユーザランキング表示モード、通知確認モード、共有モード等を選択させるためのオブジェクトを含む。図２に示した例では、ステッカ選択モードがハイライトされている。これは、ステッカ選択モードが選択されていることを示している。
ステッカ選択画面１０１２は、ステッカ選択モードが選択されている場合に任意のステッカをユーザに選択させるための画面である。ステッカ選択画面１０１２は少なくとも一のステッカを含む。少なくとも一のステッカが選択された状態でユーザがライブ映像表示画面１０１０を操作すると、ライブ映像Ｍ１に対して当該ステッカに関する処理を実施するための指示がサーバ１０に送信される。この操作処理については後述する。
なお、モード選択画面１０１１に対するユーザの操作によりステッカ選択モードとは異なるモードが選択されている場合、ステッカ選択画面１０１２には、選択された各モードに対応する操作用画面が表示される。例えば、コメント記入モードが選択されている場合、ステッカ選択画面１０１２にはコメントを記入するための画面（例えば、テキストフィールドまたは疑似キーボードなど）が表示される。また、ユーザランキング表示モードが選択されている場合、ステッカ選択画面１０１２にはユーザのランキングに関する情報が表示される。
続いて、ユーザ端末３０（２０）の表示操作部２１０に表示されるＵＩを用いた操作処理の一例について説明する。図３は、ユーザ端末３０（２０）の表示操作部２１０に表示されるＵＩを用いてステッカを選択する操作について説明するための図である。図３を参照すると、ユーザ端末３０を操作するユーザは、操作体Ｈ（例えばユーザの指）によりステッカ選択画面１０１２に含まれるハートのステッカを示すボタンＢｔｎ１を選択したとする。このとき、ボタンＢｔｎ１を定義する領域は、ボタンＢｔｎ１が選択されたことを表示するため、ハイライト処理されてもよい。
図４は、ユーザ端末３０（２０）の表示操作部２１０に表示されるＵＩを用いてステッカをライブ映像に配置する操作について説明するための図である。図４を参照すると、ボタンＢｔｎ１が選択されたあと、ユーザは操作体Ｈによりライブ映像表示画面１０１０上の任意の位置（配置位置）を選択する。このとき、ユーザ端末３０は、操作体Ｈによる操作情報（例えば、ステッカＳｔｋ１の種類または配置位置等）をサーバ１０に送信する。操作情報を取得したサーバ１０は、ライブ映像に対して操作情報に基づく画像処理を行う。そしてサーバ１０は、画像処理後のライブ映像をユーザ端末３０を含む複数のユーザ端末に配信する。これにより、ライブ映像表示画面１０１０には、画像処理後のライブ映像Ｍ１（例えばステッカＳｔｋ１が重畳されたライブ映像）が表示される。
以上、ユーザ端末３０（２０）の表示操作部に表示されるＵＩの構成および操作処理の例について説明した。このように、配信ユーザおよび視聴ユーザは、配信中のライブ映像に対してステッカ等を用いて簡単にコミュニケーションを行うことができる。これにより、ライブ映像のリアルタイム性を損なうことなく、ユーザ間におけるコミュニケーションをより円滑にすることができる。以下、上述したような情報処理システム１を構成する各装置について詳細に説明する。
＜＜２．各装置の構成＞＞
＜２．１．サーバ＞
図５は、本開示の一実施形態に係るサーバ１０の機能構成例を示すブロック図である。図５を参照すると、サーバ１０は、画像取得部１０１、操作情報取得部１０２、画像解析部１０３および画像処理部１０４を備える。これらの各機能部の動作は、サーバ１０が備えるＣＰＵ（Central Processing Unit）等の処理回路によって制御される。
（画像取得部）
画像取得部１０１は、ライブ映像の配信元であるユーザ端末２０により生成された動画像データを不図示の通信部を介して取得する。例えば、画像取得部１０１は、ユーザ端末２０により生成された動画像データを時系列に取得する。当該動画像データには、例えば、ライブ映像である動画像のほかに、音響情報および動画像の撮像時刻等の情報が含まれる。
画像取得部１０１は、取得した動画像データを、画像解析部１０３に逐次的に出力する。なお、画像解析部１０３に逐次的に出力される動画像データのフレームレートは、ユーザ端末２０の撮像部２２０による撮像フレームレート、または後述する画像解析部１０３による解析処理もしくは画像処理部１０４による画像処理のスループットの少なくともいずれかに応じて決定されてもよい。例えば、当該フレームレートは、上記の解析処理または画像処理のうち、スループットが長い方の処理時間に応じて決定されてもよい。これにより、画像処理された動画像の配信側および視聴側のユーザ端末間において生じ得るレイテンシを下げることができる。
なお、画像解析部１０３による動画像の解析処理を実施しない場合においては、画像取得部１０１は、画像処理部１０４に動画像データを出力してもよい。
（操作情報取得部）
操作情報取得部１０２は、ユーザ端末２０またはユーザ端末３０の少なくともいずれかから送信された操作情報を不図示の通信部を介して取得する。例えば、操作情報取得部１０２は、ユーザ端末の少なくともいずれかから送信された操作情報を時系列に取得する。当該操作情報には、例えば、ユーザ端末２０の表示操作部２１０において表示されている動画像上へのステッカの配置に関する操作位置、当該ステッカに関する情報、並びに動画像が表示されている表示画面上に対して行われた操作の種類および操作態様等が含まれる。
ここで、操作位置とは、動画像上において操作体等により指定された動画像上における位置を意味する。より具体的には、操作位置は、表示操作部２１０に対して操作体が接触した場合における操作体の接触した位置に対応する動画像上の位置であってもよい。この操作位置は、動画像の画素位置により特定され得る。詳細には、操作情報取得部１０２は、ユーザ端末２０の表示操作部２１０上の位置（ｘ，ｙ）に対応する動画像上の位置（ｕ，ｖ）を、操作位置として取得する。この動画像上の位置（ｕ，ｖ）は、動画像の画素位置に対応する。
ステッカに関する情報とは、例えば、ステッカの種類、ステッカの態様および動画像上に配置されたステッカの有するエフェクト等の動画像に対する画像処理に関する情報も含む。また、エフェクトとは、例えば、ステッカ自身の種類または態様を変化させるエフェクト、動画像上に配置された他のステッカの種類または態様を変化させるエフェクト等を含む。ステッカの態様を変化させるエフェクトとは、ステッカの大きさ、色彩、位置、傾き、動きまたは表示時間等を変化させるエフェクトであってもよい。また、エフェクトには、動画像に対する加工処理または編集処理を行うエフェクト、またはサウンドエフェクト等の音声を出力するエフェクトも含まれる。
操作の種類とは、例えば、上述したような動画像の表示画面に重畳されるステッカの使用の有無を含む。また、操作態様は、例えば、動画像の表示画面に対する操作体による操作方法を含む。より具体的には、操作態様は、操作体によるタップ操作、ピンチ操作、スワイプ操作、またはスライド操作等、表示操作部としての機能を有するタッチパネル等に対する公知のジェスチャ処理を含む。さらに表示操作部が操作体により加えられる圧力を検出することが可能である場合、操作態様には、表示操作部に対して加えられる圧力の大きさに関する情報も含まれる。これらの操作位置、ステッカに関する情報、操作の種類および操作態様は、操作情報として、ユーザ端末２０（３０）からサーバ１０に送信され、操作情報取得部１０２により取得される。
操作情報取得部１０２は、取得した操作情報を画像解析部１０３に出力する。なお、画像解析部１０３による動画像の解析処理を実施しない場合においては、操作情報取得部１０２は、画像処理部１０４に操作情報を出力してもよい。
（画像解析部）
画像解析部１０３は、画像取得部１０１が取得した動画像データおよび操作情報取得部１０２が取得した操作情報に基づいて、画像解析を行う。より具体的には、画像解析部１０３は、動画像上における操作位置に対応する領域を解析する。
例えば、画像解析部１０３は、一の操作情報に含まれるステッカの配置に関する操作位置に対応する動画像上の領域について解析を行う。具体的には、画像解析部１０３は、操作位置に対応する動画像上の領域から、特定のオブジェクトを認識する。このオブジェクトは、例えば動画像に含まれる人物または物体等のオブジェクトであってもよい。動画像には、一般的には背景とオブジェクトが含まれる。後段の画像処理部１０４において動画像について画像処理を行う場合、動画像の背景にまで画像処理の効果が生じた場合、視聴ユーザに対して動画像について違和感を生じさせ得る。そのため、画像処理の対象となるオブジェクトを画像解析部１０３が解析することにより、当該オブジェクトのみに画像処理の効果が生じるため、視聴ユーザに違和感を生じさせなくすることができる。また、画像解析部１０３によりオブジェクトを解析することにより、オブジェクトに応じた画像処理を後段の画像処理部１０４により行うことも可能となる。
なお、画像解析部１０３により解析されるオブジェクトは人物等の生体、または物体等であってもよい。画像解析部１０３は、特徴量計算等の公知の画像認識技術または画像解析技術等を用いて、特定のオブジェクトを認識してもよい。また、画像解析部１０３は、動画像に含まれるオブジェクトが時系列に変化する場合、当該オブジェクトの動きを解析してもよい。
なお、画像解析部１０３により解析される対象は、画像処理部１０４による処理前の動画像の全部および一部、並びに画像処理部１０４による処理後の動画像の全部および一部である。処理後の動画像とは、画像処理部１０４によって処理された後の動画像を意味する。つまり動画像に重畳されたステッカ等も画像解析部１０３による解析の対象となる。解析される対象が処理前の動画像であるか処理後の動画像であるかは、画像処理部１０４による処理の種類または対象に応じて決定され得る。
画像解析部１０３は、解析結果を画像処理部１０４に出力する。
（画像処理部）
画像処理部１０４は、画像解析部１０３から取得した解析結果、および操作情報取得部１０２が取得した操作情報に基づいて、動画像に対して画像処理を行う。ここでいう画像処理とは、例えば、ステッカの配置処理である。さらに、画像処理部１０４による画像処理には、動画像に対する加工処理もしくは編集処理が含まれてもよい。
例えば、ステッカの配置処理では、画像処理部１０４は、操作体による動画像上へのタップ操作に基づいて、ステッカを動画像上の操作位置に重畳する処理を行う。ステッカが動画像に重畳される場合、重畳されるステッカは、動画像と同一レイヤーにおいて結合されてもよいし、動画像とは異なるレイヤー上に重畳されてもよい。なお、画像処理部１０４は、操作情報に基づいて、先に動画像に重畳されたステッカに対してさらに処理を行ってもよい。例えば、画像処理部１０４は、先に動画像に重畳されたステッカに他のステッカを重ねることにより、さらに他の効果を生じさせるような画像処理を行ってもよい。また、画像処理部１０４は、操作体の操作態様に応じてステッカの種類または態様を変化させてもよい。例えば操作体によりスライド操作が行われた場合、画像処理部１０４は、当該スライド操作に基づいてステッカを動画像上において逐次的に位置を変化させる処理を行ってもよい。また、操作体によりピンチ操作が行われた場合、画像処理部１０４は、当該ピンチ操作に基づいてステッカを拡大または縮小する処理を行ってもよい。さらに、操作体により表示操作部に対して圧力が加えられた場合、画像処理部１０４は、加えられた圧力の値に応じてステッカの種類または態様を変化させる処理を行ってもよい。これらの処理は、ステッカを動画像上に新たに重畳させる場合に行われてもよいし、既に動画像上に配置されたステッカに対して行われてもよい。例えば、既に動画像上に配置されたステッカについて、画像処理部１０４は、操作体による操作態様に応じてステッカの種類または態様を変更する処理を行ってもよい。なお、ステッカの態様とは、ステッカの大きさ、色彩またはステッカの配置により生じるエフェクトの強度または種類を意味する。
これらの画像処理は、例えば操作情報取得部１０２が操作情報を取得してから所定の時間の間、継続的に実行される。所定の時間は操作情報の種類等に応じて決定される。例えば、ステッカを配置する処理については、ステッカを配置する指示を含む操作情報を取得してからｎ秒間の間、動画像に対してステッカを重畳させる処理を画像処理部１０４は行う。なお、画像処理の実行時間に応じて、画像処理部１０４は画像処理の方法を変化させてもよい。例えば、画像処理部１０４がステッカを配置する処理を行った場合、動画像上に重畳されたステッカについて、画像処理部１０４は、画像処理が終了する時刻の直前において、徐々に動画像上からフェードアウトするような処理を行ってもよい。これにより、画像処理された動画像について視聴ユーザに対して違和感を生じさせないようにすることができる。
上述した種々の画像処理の具体例については後述する。
画像処理部１０４は、例えば、画像解析部１０３により認識されたオブジェクトに対して画像処理を行う。これにより、上述したように動画像を視聴するユーザに対して当該動画像について違和感を生じさせることなく、画像処理による効果をユーザに対し提示することができる。
また、画像処理部１０４は、解析されたオブジェクトの特徴に応じた画像処理を行ってもよい。オブジェクトの特徴とは、一のオブジェクトに含まれる特徴を意味する。例えばオブジェクトが人物である場合、オブジェクトの特徴は、人物の身体の一部であってもよい。身体の一部とは、例えば、人物の顔だけではなく、頭部、顔、眼、鼻、口、体幹、または肢体（腕、足）等である。
具体例を説明すると、画像処理部１０４は、動画像にステッカを重畳させる画像処理を行う場合、解析されたオブジェクトの特徴に応じて、操作情報に含まれるステッカの態様を変化させてもよい。より具体的には、操作位置に対応する領域がオブジェクトの有する特徴に応じた領域に含まれている場合、ステッカの態様を変化させてもよい。ステッカの態様の変化とは、例えば、操作情報に含まれているステッカの種類の変化であってもよいし、操作情報に含まれているステッカの有する効果の変化であってもよい。これにより、ユーザは動画像に含まれるオブジェクトの様々な位置に配置したステッカの変化を楽しむことができる。
また、画像処理部１０４は、画像解析部１０３によりオブジェクトの動きが解析されている場合、当該オブジェクトの動きに基づいて画像処理を行ってもよい。例えば、画像処理部１０４は、オブジェクトの動きに基づいて、先に実行された画像処理を無効化する処理を行ってもよい。これにより、配信ユーザにとって不利益となるような視聴ユーザの行為を無効化することができる。また、画像処理部１０４は、オブジェクトの動きに基づいて、先に実行された画像処理の適用位置を変更してもよい。例えば、画像処理部１０４は、ステッカの配置位置をオブジェクトの動きに基づいて変更してもよい。これにより、例えば動画像に含まれるオブジェクトが配信ユーザの身体である場合、配信ユーザの動きによってステッカがあたかも移動したかのような効果が動画像上で生じる。これにより、配信ユーザと視聴ユーザのコミュニケーションをより多様化することができる。なお、上述した画像処理の無効化および適用位置の変更は、オブジェクトの動きだけではなく、配信ユーザによる動画像に対する操作に関する操作情報に基づいて行われてもよい。これにより、配信ユーザは容易に画像処理の無効化または適用位置の変更を実行することができる。
また、画像処理部１０４は、ユーザ端末２０（３０）の表示操作部２１０に表示される動画像に対する画像処理だけではなく、操作情報等に基づいた他の処理を行ってもよい。例えば、画像処理部１０４は、操作情報の取得量に基づいた処理を行ってもよい。より具体的には、画像処理部１０４は、操作情報の取得量の時系列分布に基づいた処理を行ってもよい。他の処理には、例えば、操作情報等に基づいた動画像に対する統計処理または抽出処理が含まれる。
画像処理部１０４は、所定時間に検出された操作情報の取得量の時系列分布に基づいた処理を行ってもよい。ここで、所定時間とは、例えばライブ映像の開始時刻および終了時刻の間の時間であってもよい。この場合、画像処理部１０４は、例えば配信されている動画像について単位時間ごとに分割し、分割された各区間において操作情報取得部１０２が取得した操作情報の取得量に基づいて処理を行ってもよい。
例えば、画像処理部１０４は、取得量の多かった区間（例えば取得量が閾値以上であった区間）を抽出区間として設定してもよい。そして、画像処理部１０４は、複数の抽出区間を結合してもよい。これにより、既に配信された動画像に関するハイライト映像を容易に作成することができる。
なお、上述したような画像処理部１０４による抽出処理およびハイライト映像生成処理は、配信元であるユーザ端末２０による動画像の配信中に逐次的に実行されてもよいし、ユーザ端末２０による動画の配信が終了した後にポスト処理として実行されてもよい。
また、所定時間は、ライブ映像の配信中において特定される任意の区間であってもよい。この場合、画像処理部１０４は、当該区間において取得された操作情報に基づいた処理を行ってもよい。
例えば、画像処理部１０４は、操作位置の分布に基づいた処理を行ってもよい。より具体的には、画像処理部１０４は、ある時間区間において取得された操作位置の分布に基づいて、動画像についての統計処理を行ってもよい。例えば、画像処理部１０４は、操作位置の分布から、動画像に含まれる複数のオブジェクトのうちどのオブジェクトに対して最も操作が実行されたかなどの情報を統計処理によって取得してもよい。統計処理とは、例えば投票等の集計処理等であってもよい。これにより、配信ユーザは視聴ユーザとのコミュニケーションについて、より定量的なデータを得ることが可能となる。
他にも画像処理部１０４は、動画像に付随する音響情報、または操作情報に付随する属性情報等に基づいた処理を行ってもよい。これらの処理の具体例については後述する。
画像処理部１０４により画像処理された動画像を含む動画像データは、不図示の通信部を介して各ユーザ端末に配信される。
以上、サーバ１０の機能構成例について説明した。
＜２．２．ユーザ端末＞
図６は、本開示の一実施形態に係るユーザ端末２０（３０）の機能構成例を示すブロック図である。なお、ユーザ端末２０およびユーザ端末３０は同様の機能構成を有するため、ここではユーザ端末２０の機能構成について説明する。図６を参照すると、ユーザ端末２０は、制御部２００および表示操作部２１０を備える。なお、ユーザ端末２０により動画像の撮像処理を行う場合、ユーザ端末２０はさらに撮像部２２０を備えてもよい。
（制御部）
制御部２００は、ユーザ端末２０に含まれる各機能部の動作全般を制御する。制御部２００は、例えば、ＣＰＵ等の処理回路によって実現される。また、制御部２００は、画像取得部２０１、表示制御部２０２、操作情報生成部２０３および操作情報送信部２０４としての機能を有する。
（画像取得部）
画像取得部２０１は、サーバ１０から動画像を含む動画像データを不図示の通信部を介して取得する。サーバ１０から取得する動画像は、動画像の配信元であるユーザ端末からサーバ１０へ一度送信された動画像である。例えば、画像取得部２０１は、サーバ１０から動画像データを時系列に取得する。画像取得部２０１は、取得した動画像データを表示制御部２０２に出力する。
（表示制御部）
表示制御部２０２は、画像取得部２０１から取得した動画像データに含まれる動画像を表示操作部２１０に表示させるための制御を行う。例えば、表示制御部２０２は、動画像を表示操作部２１０内の所定の画面に表示させる。
なお、ユーザ端末２０により動画像が配信されている場合、表示制御部２０２は、撮像部２２０により生成された動画像を表示操作部２１０に表示させてもよい。しかしこの場合、サーバ１０から取得した動画像と撮像部２２０により生成された動画像との間にはレイテンシが生じ得るため、配信ユーザが視聴する動画像と視聴ユーザが視聴する動画像との間にズレが生じ得る。そのため、表示操作部２１０に表示される動画像は、サーバ１０から取得した動画像であることが望ましい。
（操作情報生成部）
操作情報生成部２０３は、表示操作部２１０に表示された動画像に対する操作に基づいて操作情報を生成する。例えば、操作情報生成部２０３は、表示操作部２１０に表示された動画像に対するステッカの配置に関する操作に基づいて操作情報を生成する。より具体的には、操作情報生成部２０３は、動画像上へのステッカの配置に関する操作位置、当該ステッカに関する情報、表示操作部２１０に対する操作の種類、および操作態様を表示操作部２１０から取得して、これらを操作情報として生成する。なお、ここで操作情報に含まれる操作位置は、動画像上における操作位置を意味する。詳細には、操作体が表示操作部２１０に対して表示操作部２１０上の位置（ｘ，ｙ）に接触したとすると、操作情報生成部２０３は、表示操作部２１０上の位置（ｘ，ｙ）に対応する動画像上の位置（ｕ，ｖ）を操作位置として取得する。操作情報生成部２０３は、生成した操作情報を操作情報送信部２０４に出力する。
（操作情報送信部）
操作情報送信部２０４は、操作情報生成部２０３が生成した操作情報を不図示の通信部を介してサーバ１０に送信する。
なお、画像取得部２０１および表示制御部２０２による処理は逐次的に実行されるが、操作情報生成部２０３および操作情報送信部２０４による処理は、動画像が表示されている表示操作部２１０への操作体による操作があった際に実行される。
（表示操作部）
表示操作部２１０は、表示部および操作部としての機能を有する。表示操作部２１０は、表示制御部２０２により動画像を表示する。また、表示操作部２１０は、操作体による操作を取得する。表示操作部２１０が取得した当該操作に関する情報は、操作情報生成部２０３に出力される。
表示操作部２１０は、例えば、タッチパネル等、表示部材と入力部材を兼ねる部材により実現されてもよい。また本実施形態において表示操作部２１０は表示部および操作部としての機能を一体として有するが、本技術はかかる例に限定されない。例えば、表示操作部２１０は、表示部としての機能と操作部としての機能とを分離して有してもよい。この場合、表示部は、例えば、ＬＣＤ（Liquid Crystal Display；液晶ディスプレイ）またはＯＥＬＤ（Organic Electro-Luminescence Display；有機電界発光ディスプレイ）等のディスプレイ装置により実現されてもよい。表示部を実現するディスプレイ装置は、操作体によるタップ操作、ピンチ操作、スワイプ操作、またはスライド操作等、表示操作部としての機能を有するタッチパネル等に対する公知のジェスチャ処理を認識可能なタッチセンサを有してもよい。これにより、操作体による表示部に対する接触により行われる操作を検出することができる。また、表示部を実現するディスプレイ装置は、感圧センサをさらに有してもよい。これにより、操作体により表示部に対して加えられる圧力を検出することができる。したがって、操作部は、例えば、キーボード、タッチパネル、マウスまたはホイール等の各種入力部材により実現されてもよい。なお、表示部と操作部が分離してユーザ端末２０に設けられている場合、表示部に表示されている動画像に対する操作位置または操作態様等は、操作部により特定される。
（撮像部）
撮像部２２０は、実空間を撮像し、撮像画像（動画像）を生成する。生成された動画像は、不図示の通信部を介してサーバ１０に送信される。また、生成された動画像は、表示制御部２０２に出力されてもよい。本実施形態に係る撮像部２２０は、例えば、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材により実現される。なお、本実施形態に係るユーザ端末２０は撮像部２２０の機能をユーザ端末２０の外部に設けてもよい。この場合、ユーザ端末２０は、デジタルカメラ等の撮像装置により生成された動画像を取得し、当該動画像をサーバ１０へ送信してもよい。
以上、ユーザ端末２０（３０）の機能構成例について説明した。
＜＜３．情報処理システムの動作＞＞
次に、情報処理システムの各装置における動作例について説明する。ここでは、ユーザ端末による操作処理およびサーバによる画像処理の各動作例について説明する。
＜３．１．ユーザ端末による操作処理の動作＞
図７は、本開示の一実施形態に係るユーザ端末２０（３０）による操作処理の動作例を示すフローチャートである。ここでは、ユーザ端末２０が、ユーザ端末２０に対して操作体による操作に関する操作情報を生成し、当該操作情報に基づく画像処理が行われた動画像を取得するまでの処理の流れについて説明する。
図７を参照すると、まず表示操作部２１０は、表示操作部２１０に表示されている動画像上に対して行われた操作を検出する（Ｓ１０１）。続いて、操作情報生成部２０３は、表示操作部２１０により検出された操作を表示操作部２１０から取得し、ステッカの配置に関する操作に基づいて操作情報を生成する（Ｓ１０３）。次に、操作情報送信部２０４が、操作情報をサーバ１０へ送信する（Ｓ１０５）。当該操作情報を取得したサーバ１０は、当該操作情報に基づく画像処理を、配信されている動画像に対して行う。
次に、画像取得部２０１は、ユーザ端末２０が送信した操作情報を少なくとも含む操作情報に基づく画像処理が行われた動画像をサーバ１０から取得する（Ｓ１０７）。これにより、ユーザ端末２０により実施された操作処理が配信中の動画像に対して適用される。
＜３．２．サーバによる画像処理の動作＞
図８は、本開示の一実施形態に係るサーバ１０による画像処理の動作例を示すフローチャートである。ここでは、サーバ１０が、動画像の配信元であるユーザ端末２０から当該動画像を取得し、操作情報に基づいて画像解析および画像処理を行い、画像処理後の動画像を配信するまでの処理の流れについて説明する。
図８を参照すると、まず画像取得部１０１は、動画像の配信元であるユーザ端末２０から動画像を取得する（Ｓ２０１）。また、操作情報取得部１０２は、配信元であるユーザ端末２０を含む複数のユーザ端末から操作情報を取得する（Ｓ２０３）。
次に、画像解析部１０３は、操作情報に含まれる操作位置に対応する領域について画像解析を行う（Ｓ２０５）。次いで、画像処理部１０４は、操作情報および画像解析部１０３による解析結果に基づいて、動画像に対してステッカの配置処理を実行する（Ｓ２０７）。そして、画像処理部１０４によりステッカの配置処理が施された動画像が、各ユーザ端末に配信される（Ｓ２０９）。
以上、本実施形態に係る情報処理システムによる動作例について説明した。
＜＜４．情報処理システムによる画像処理例＞＞
続いて、本実施形態に係る情報処理システム１による画像処理例について説明する。本実施形態に係るサーバ１０は、ユーザ端末２０から取得した動画像について、各ユーザ端末から取得した操作情報に基づいて画像処理を行う。その際、サーバ１０は、操作情報に含まれる操作位置に対応する領域について画像解析を行ってから画像処理を行ってもよい。これにより、動画像に含まれるオブジェクト等の情報を用いた処理を行うことができる。したがって、配信ユーザと視聴ユーザとのコミュニケーションをより多様なものとすることができる。なお、本実施形態に係るサーバ１０は画像解析を行わずに画像処理を行うことも可能である。以下、画像処理例について説明する。
＜４．１．変形処理＞
まず、情報処理システム１による動画像の変形処理について説明する。この変形処理は、操作情報に基づいて動画像に含まれるオブジェクトに対して変形加工するものである。
図９は、本実施形態に係る情報処理システム１による動画像の変形処理の第１の例を示す図である。図９を参照すると、ユーザ端末３０の表示操作部２１０において、ライブ映像表示画面１０１０にはライブ映像Ｍ２が表示されている。このライブ映像Ｍ２には動体オブジェクトＯｂｊ２１および背景オブジェクトＯｂｊ２２が含まれている。図９に示した例では、動体オブジェクトＯｂｊ２１は人物オブジェクトであり、背景オブジェクトＯｂｊ２２は月オブジェクトである。
図９に示した例において、視聴ユーザがライブ映像Ｍ２に対して爆弾を示すステッカＳｔｋ２を操作体Ｈを用いて配置したとする。この爆弾を示すステッカＳｔｋ２は、配置位置に対応する領域について動画像を変形加工する特徴を有する。操作情報生成部２０３は、ステッカＳｔｋ２の配置位置、種類および態様を含む操作情報を生成し、操作情報送信部２０４は、当該操作情報をサーバ１０に送信する。
操作情報取得部１０２が上記操作情報を取得すると、画像解析部１０３は、画像取得部１０１が取得したライブ映像Ｍ２内の当該配置位置に対応する領域１０２１について画像解析を実行し、領域中に含まれるオブジェクトを認識する。この領域１０２１は、操作情報ごとに設定される所定の領域であってもよい。例えば、図９に示した例では、領域１０２１は、ステッカＳｔｋ２によるライブ映像Ｍ２に対する変形処理が及ぶ範囲である。この場合、領域１０２１には、動体オブジェクトＯｂｊ２１および背景オブジェクトＯｂｊ２２が含まれる。なお、画像解析部１０３では、オプティカルフロー推定等を含む公知の画像解析技術が用いられる。
動体オブジェクトＯｂｊ２１は人物オブジェクトであり、動きの大きいオブジェクトである。一方で、背景オブジェクトＯｂｊ２２は月オブジェクトであり、動きの小さい、または動きのないオブジェクトである。ここで動画像に含まれるオブジェクトの種類に関係なく変形処理を動画像について行う場合、変形処理の対象となる領域全体が変形してしまう。この場合、例えば動画像に含まれる背景にまで変形処理が及んでしまうので、変形処理がされた動画像を視聴するユーザに違和感を生じさせてしまう。
そこで、画像解析部１０３は、動きの大きいオブジェクトを画像処理の対象として特定する。例えば、図９に示した例では、画像解析部１０３は、動体オブジェクトＯｂｊ２１を画像処理の対象のオブジェクトとして特定する。画像処理部１０４は、画像解析部１０３による解析結果に基づき、動体オブジェクトＯｂｊ２１のみを画像処理を行う。例えば、図９に示した例では、画像処理部１０４は、動体オブジェクトＯｂｊ２１のみについて変形処理を行う。これにより、図９に示したように、人物の顔のみが変形し、背景の月は変形しないようなライブ映像を得ることができる。したがって、動画像が変形等する場合においても、動画像に対して、配信ユーザおよび視聴ユーザに違和感を生じさせなくすることができる。
なお、図９に示した例においては、爆弾を示すステッカＳｔｋ２をライブ映像Ｍ２上に配置することにより変形処理が行われたが、本技術はかかる例に限定されない。例えば、他のステッカを動画像上の任意の位置に配置することにより、当該ステッカに対応づけられた画像処理が、動画像上の上記位置に対応する領域について実行される。
また、図９に示した例においては、動きの大きい動体オブジェクトＯｂｊ２１について変形処理が行われたが、本技術はかかる例に限定されない。例えば、背景オブジェクト（例えば月を示す背景オブジェクトＯｂｊ２２）等に対する変形処理等が行われてもよい。より具体的には、画像解析部１０３は、動画像の背景に対して色彩を変化させる処理（例えば、明るい空を暗くするような処理）を行ってもよい。これにより、動画像を介したコミュニケーションをより楽しむことができる。
また、図９ではステッカを用いて動画像を変形する処理について説明したが、本技術はかかる例に限定されない。例えば、ステッカを用いずに、操作体Ｈによる表示操作部２１０に対する操作態様に基づく処理も可能である。
図１０は、本実施形態に係る情報処理システム１による動画像の変形処理の第２の例を示す図である。図１０を参照すると、図９と同様に、ユーザ端末３０の表示操作部２１０において、ライブ映像表示画面１０１０にはライブ映像Ｍ２が表示されている。このとき、視聴ユーザが操作体Ｈによりピンチアウト操作を実行したとする。ピンチアウト操作に関する操作情報がユーザ端末３０からサーバ１０に送信されると、画像解析部１０３は、操作位置に対応する領域について画像解析を行い、画像処理の対象となるオブジェクトを認識する。そして、画像処理部１０４は画像解析により認識されたオブジェクトに対して、ピンチアウト操作に対応する処理を行う。図１０に示した例では、操作体Ｈによるピンチアウト操作に対応する方向に応じてオブジェクトＯｂｊ２が変形加工される。このように、ステッカを用いずに、直接ライブ映像Ｍ２に対して特定の操作を実行することにより、動画像を画像処理することも可能である。したがって、視聴ユーザは配信される動画像を介したコミュニケーションをより容易に楽しむことができる。
＜４．２．オブジェクトの特徴に応じた画像処理＞
次に、情報処理システム１による動画像に含まれるオブジェクトの特徴に応じた画像処理について説明する。このオブジェクトの特徴に応じた画像処理は、操作位置に対応するオブジェクトの特徴に応じて、動画像に対する画像処理を異ならせるものである。
図１１は、本実施形態に係る情報処理システム１による動画像に含まれるオブジェクトの特徴に応じた画像処理の例を示す図である。図１１を参照すると、ユーザ端末３０の表示操作部２１０において、ライブ映像表示画面１０１０にはライブ映像Ｍ３が表示されている。このライブ映像Ｍ３には人物オブジェクトＯｂｊ３が含まれている。さらに、図１１に示した例では、人物オブジェクトＯｂｊ３には、人物の頭部に相当する領域１０３１および人物の顔に相当する領域１０３２が含まれている。
図１１に示した例において、視聴ユーザがライブ映像Ｍ３に対して好意を示すステッカＳｔｋ３を、操作体Ｈを用いてライブ映像Ｍ３上に複数配置したとする。このステッカＳｔｋ３は、配置位置がオブジェクトの特定の領域に含まれている場合に、その態様が変化する特徴を有する。ステッカＳｔｋ３は、それぞれ領域１０３１、領域１０３２およびこれらの領域の外部に配置されたとする。操作情報生成部２０３は、ステッカＳｔｋ３の各配置位置、種類、および態様を含む操作情報を生成し、操作情報送信部２０４は、当該操作情報をサーバ１０に送信する。
操作情報取得部１０２が上記操作情報を取得すると、画像解析部１０３は、画像取得部１０１が取得したライブ映像Ｍ３における当該配置位置に対応する領域（位置）について画像解析を実行し、領域中に含まれるオブジェクトを認識する。さらに、画像解析部１０３は当該配置位置に対応する領域（位置）が、オブジェクトの有する特徴に応じた領域に含まれているか否かを判定してもよい。例えば、図１１に示した例では、画像解析部１０３は、人物オブジェクトＯｂｊ３を認識したあと、人物の頭部に相当する領域１０３１および人物の顔に相当する領域１０３２を検出し、配置位置に対応する領域（位置）がこれらの領域に含まれているか否かを判定する。
画像処理部１０４は、上述した判定結果を含む解析結果、および操作情報に基づいて、ステッカの態様を変化させてステッカを配置する等の画像処理を行う。例えば、図１１に示した例では、画像処理部１０４は、配置位置が領域１０３１に含まれている場合、好意を示すステッカＳｔｋ３を猫の手を示すステッカＳｔｋ３１に変化させてライブ映像Ｍ３に重畳させてもよい。また、画像処理部１０４は、配置位置が領域１０３２に含まれている場合、「ＣＵＴＥ！」という文字を示すステッカＳｔｋ３２に変化させてライブ映像Ｍ３に重畳させてもよい。これにより、動画像に含まれているオブジェクトの特徴に応じて、単一のステッカから様々な表示を楽しむことができる。
＜４．３．ジェスチャ処理＞
次に、情報処理システム１による動画像に含まれるオブジェクトによるジェスチャ処理について説明する。このジェスチャ処理は、オブジェクトの動きに応じて、動画像に対して行われた画像処理を変更または解除するものである。
図１２は、本実施形態に係る情報処理システム１による動画像に含まれるオブジェクトによるジェスチャ処理の例を示す図である。図１２を参照すると、ユーザ端末３０の表示操作部２１０において、ライブ映像表示画面１０１０にはライブ映像Ｍ４が表示されている。このライブ映像Ｍ４には人物オブジェクトＯｂｊ４が含まれている。さらに、図１２に示した例では、複数のステッカＳｔｋ４が人物オブジェクトＯｂｊ４を覆い隠すようにライブ映像Ｍ４に重畳されている。
図１２に示した例において、人物オブジェクトＯｂｊ４がライブ映像Ｍ４上において腕を用いて複数のステッカＳｔｋ４を振り払うようなジェスチャを行ったとする。このとき、画像解析部１０３は、人物オブジェクトＯｂｊ４の腕の動きを認識してもよい。例えば、画像解析部１０３は、予め人物オブジェクトＯｂｊ４をライブ映像Ｍ４上で認識しておき、人物オブジェクトＯｂｊ４が矢印１０４１に沿って腕を動かしたことを検出する。
画像解析部１０３が腕の動きを検出すると、画像解析部１０３は、当該腕の動きに対応する処理の対象となるステッカを解析する。図１２に示した例では、複数のステッカＳｔｋ４が人物オブジェクトＯｂｊ４を覆い隠すようにライブ映像Ｍ４に重畳されている。画像解析部１０３は、人物オブジェクトＯｂｊ４の上に当該腕の動きに対応する処理の対象となるステッカとして、人物オブジェクトＯｂｊ４に対応する領域に存在する複数のステッカＳｔｋ４を認識する。そして、画像解析部１０３は、認識したステッカＳｔｋ４が当該腕の動きに対応する処理の対象であることについての情報を、画像処理部１０４に出力する。
次に、画像処理部１０４は、腕の動きに応じた画像処理をライブ映像Ｍ４に対して行う。図１２に示した例では、画像処理部１０４は、画像解析部１０３により処理対象として認識された複数のステッカＳｔｋ４を、人物オブジェクトＯｂｊ４に重ならない位置まで移動させるような処理を行う。これにより、ライブ映像Ｍ４に人物オブジェクトＯｂｊ４として撮像されている人物は、ステッカ等による配信ユーザへの迷惑行為を、ユーザ端末２０を直接的に操作しなくても、自らの動きにより解消することができる。
なお、図１２に示した例においては、画像処理部１０４は、人物オブジェクトＯｂｊ４の動きに基づいてステッカＳｔｋ４を移動させる処理を行ったが、本技術はかかる例に限定されない。例えば、画像処理部１０４は、このような動きに基づいてステッカＳｔｋ４を消滅させてもよいし、他の態様にステッカＳｔｋ４を変化させてもよい。また、人物オブジェクトＯｂｊ４によるジェスチャも、腕を振り払うジェスチャに限定されない。画像解析部１０３がオブジェクトの動きを解析することが可能であれば、どのようなジェスチャも画像解析の対象となり得る。
また、図１２に示した例においては、人物オブジェクトＯｂｊ４を覆い隠すように重畳されたステッカＳｔｋ４を移動させる処理について示されたが、本技術はかかる例に限定されない。例えば、画像処理部１０４は、人物オブジェクトＯｂｊ４に与えられた変形処理等についても、人物オブジェクトＯｂｊ４のジェスチャにより、当該変形処理を無効化することができる。これにより、配信ユーザの意図しない画像処理を取り消すことができる。
また、図１２ではジェスチャによりステッカを移動させる処理について説明したが、本技術はかかる例に限定されない。例えば、ユーザ端末２０に対する操作に基づいて上記のような処理が行われてもよい。
図１３は、本実施形態に係る情報処理システム１によるステッカの移動処理の例を示す図である。図１３を参照すると、図１２と同様に、ユーザ端末３０の表示操作部２１０において、ライブ映像表示画面１０１０にはライブ映像Ｍ４が表示されている。ライブ映像Ｍ２には人物オブジェクトＯｂｊ４が含まれており、複数のステッカＳｔｋ４が人物オブジェクトＯｂｊ４を覆い隠すようにライブ映像Ｍ４に重畳されている。このとき、配信ユーザ（または視聴ユーザ）が操作体Ｈによりピンチアウト操作を実行したとする。ピンチアウト操作に関する操作情報がユーザ端末３０からサーバ１０に送信されると、画像解析部１０３は、操作位置に対応する領域について画像解析を行い、人物オブジェクトＯｂｊ４に重畳されているステッカを特定する。そして、画像処理部１０４は画像解析により特定されたステッカに対して、ピンチアウト操作に対応する処理を行う。図１３に示した例では、操作体Ｈによるピンチアウト操作に対応する方向に応じて、人物オブジェクトＯｂｊ４に重畳している複数のステッカＳｔｋ４が移動する。このように、直接ライブ映像Ｍ４に対して特定の操作を実行することにより、ステッカを移動させる処理を行うことも可能である。これにより、配信ユーザは、配信ユーザへの迷惑行為を容易に解除することができる。
＜４．４．ステッカに対する操作に基づく処理＞
次に、情報処理システム１によるステッカに対する操作に基づく処理について説明する。このステッカに対する操作に基づく処理は、動画像に重畳されたステッカに対して行われた操作体による操作に基づいて、ステッカの態様等を変化させるものである。以下では、ステッカのスライド操作に基づく処理、およびステッカに対するタップ操作に基づく処理の２つの例について説明する。
図１４は、本実施形態に係る情報処理システム１によるステッカのスライド操作に基づく処理の第１の例を示す図である。図１４を参照すると、ユーザ端末３０の表示操作部２１０において、ライブ映像表示画面１０１０にはライブ映像Ｍ５が表示されている。このライブ映像Ｍ５には人物オブジェクトＯｂｊ５が含まれている。
図１４に示した例において、ライブ映像表示画面１０１０に対して、ユーザが操作体Ｈを用いてステッカＳｔｋ５を配置するとともに、スライド操作を行ったものとする。操作情報生成部２０３は、ステッカＳｔｋ５の配置位置およびスライド操作に関する情報を生成し、操作情報送信部２０４は、当該操作情報をサーバ１０に送信する。
操作情報取得部１０２が上記操作情報を取得すると、画像処理部１０４は、ステッカＳｔｋ５の配置位置およびスライド操作等に基づく画像処理を行う。例えば、画像処理部１０４は、ステッカＳｔｋ５の配置位置を初期位置として、操作体Ｈのスライド操作に対応する方向へ所定の速度で移動させてもよい。これにより、ステッカＳｔｋ５は、ライブ映像Ｍ５上をスライドするような挙動を示す。なお、上記の所定の速度は、例えば上記のスライド操作における操作体Ｈのスライドの速さに応じて決定されてもよい。
また、図１４に示すように、画像処理部１０４は、ステッカをスライドさせる処理を行う場合に、動画像に含まれているオブジェクト上をステッカが通過する際に、所定の処理を動画像全体またはオブジェクトに対して行ってもよい。例えば、図１４に示した例では、画像解析部１０３が人物オブジェクトＯｂｊ５を認識し、画像処理部１０４が人物オブジェクトＯｂｊ５に対応する領域上のみエフェクトＥｆｃを示すような処理を行ってもよい。これにより、視聴ユーザはライブ映像をただ視聴するだけではなく、ゲームのように楽しむことができる。
さらに、画像処理部１０４は、ステッカをスライドさせる処理を行う場合に、動画像に既に重畳されている他のステッカに上記のステッカが動画像上で接触した際に、所定の処理を動画像または各ステッカに対して行ってもよい。図１５は、本実施形態に係る情報処理システム１によるステッカのスライド処理の第２の例を示す図である。図１５を参照すると、ユーザ端末３０の表示操作部２１０において、ライブ映像表示画面１０１０にはライブ映像Ｍ５が表示されている。このライブ映像Ｍ５には人物オブジェクトＯｂｊ５、および第２のステッカＳｔｋ５２が含まれている。
図１５に示した例において、ライブ映像表示画面１０１０に対して、ユーザが操作体Ｈを用いて第１のステッカＳｔｋ５１を配置するとともに、第２のステッカＳｔｋ５２が配置されている位置に向かって第１のステッカＳｔｋ５１がスライドするようにスライド操作を行ったものとする。この場合、スライド処理がされた第１のステッカＳｔｋ５１がライブ映像Ｍ５上において第２のステッカＳｔｋ５２と接触したと判定されたときに、画像処理部１０４は所定の処理を行ってもよい。例えば、画像処理部１０４は、衝突された第２のステッカＳｔｋ５２をライブ映像Ｍ５の外部に弾き飛ばされるような演出を表示する処理を行ってもよい。図１５に示した例では、第２のステッカＳｔｋ５２は第１のステッカＳｔｋ５１から衝突されると、ライブ映像表示画面１０１０の外部に弾き飛ばされる。このように、複数のステッカがスライド処理により衝突した際に画像処理部１０４が所定の処理を行うことにより、視聴ユーザはライブ映像をただ視聴するだけではなく、ゲームのように楽しむことができる。
なお、複数のステッカがスライド処理により衝突した際に行う処理については、特に限定されない。例えば、特定のステッカが他のステッカに衝突した際に、さらに異なるステッカに変化するような処理を画像処理部１０４が行ってもよい。このように、ステッカの種類に応じて衝突した際に行う処理を変化させることにより、視聴ユーザによるライブ映像の視聴をより多様性の富むものとすることができる。さらに、ライブ映像上におけるステッカのスライドによる当該ステッカの位置の変化に係る態様は特に限定されない。例えば、スライド処理による操作体Ｈのスライドの態様に応じて、ステッカの位置の変化量の大きさや方向が適宜決定されてもよい。
次に、情報処理システム１によるステッカに対するタップ操作に基づく処理について説明する。このステッカに対するタップ操作に基づく処理は、動画像に重畳されたステッカに対してタップ操作を行うことにより、当該ステッカの態様等を変化させるものである。
図１６は、本実施形態に係る情報処理システム１によるステッカに対するタップ操作に基づく処理の例を示す図である。図１６を参照すると、ユーザ端末３０の表示操作部２１０において、ライブ映像表示画面１０１０にはライブ映像Ｍ５が表示されている。このライブ映像Ｍ５には人物オブジェクトＯｂｊ５、および第３のステッカＳｔｋ５３が含まれている。
図１６に示した例において、ライブ映像表示画面１０１０に先に配置されている第３のステッカＳｔｋ５３に対して、ユーザが操作体Ｈを用いて所定のタップ操作を行ったものとする。この所定のタップ操作とは、例えば、操作体Ｈが所定時間内に所定回数以上行うことによるタップ操作、または操作体Ｈが表示操作部２１０に対して所定圧力以上を圧力を加えることによる押圧操作等であってもよい。この場合、操作情報取得部１０２は、所定のタップ操作に関する操作情報を取得し、画像処理部１０４は、当該操作情報に応じて第３のステッカＳｔｋ５３の種類または態様を変化させる処理を行ってもよい。図１６に示した例では、第３のステッカＳｔｋ５３は、操作体Ｈによる所定のタップ操作に応じて第４のステッカＳｔｋ５４に変化する。図１６に示した例では、第４のステッカＳｔｋ５４は、操作体Ｈによる所定のタップ操作により第３のステッカＳｔｋ５３が拡大されて得られるステップである。このように、ステッカがタップ操作に応じてその種類または態様が変化することにより、複数のユーザが一のステッカを介してコミュニケーションを図ることが可能となる。
なお、上述した例においては、画像処理部１０４が所定のタップ操作に関する操作情報に基づいてステッカの種類または態様を変化させるとしたが、本技術はかかる例に限定されない。例えば、画像処理部１０４は、タップ操作だけではなく、ステッカに対する所定のスライド操作または所定のピンチ操作に応じて、ステッカの種類または態様を変化させてもよい。例えば、画像処理部１０４は、動画像上に配置されたステッカをタップした後に所定の方向へスライドさせる操作に応じて、ステッカの種類または態様を変化させてもよい。このほか、画像処理部１０４は、表示操作部２１０が取得可能である操作体Ｈによるステッカに対する様々な操作に応じて、当該ステッカの種類または態様を変化させてもよい。これにより、動画像上に配置されたステッカを介して、ゲーム要素を含んだコミュニケーションを形成することが可能となる。
＜４．５．ステッカまとめ処理＞
次に、情報処理システム１による動画像に含まれるステッカをまとめる処理について説明する。このステッカまとめ処理は、動画像に密集して重畳されたステッカをまとめるものである。
図１７は、本実施形態に係る情報処理システム１による動画像に含まれるステッカをまとめる処理の例を示す図である。図１７を参照すると、ユーザ端末３０の表示操作部２１０において、ライブ映像表示画面１０１０にはライブ映像Ｍ６が表示されている。このライブ映像Ｍ６には人物オブジェクトＯｂｊ６が含まれている。さらに、図１７に示した例では、複数のステッカＳｔｋ６０が人物オブジェクトＯｂｊ６の上に密集してライブ映像Ｍ６に重畳されている。
図１７に示した例において、画像処理部１０４は、ステッカＳｔｋ６０の密集度が所定の閾値を超えた場合に、これらのステッカＳｔｋ６０をまとめる処理を行ってもよい。例えば、図１７の右上に示したように、画像処理部１０４は、複数のステッカＳｔｋ６０を一つのステッカＳｔｋ６０にまとめる処理を行ってもよい。この際、画像処理部１０４は、まとめられたステッカＳｔｋ６０の個数を、「×１０」のようにステッカＳｔｋ６０の近傍に表示してもよい。また、画像処理部１０４は、まとめ処理を行った後のステッカＳｔｋ６０の代わりに、ステッカＳｔｋ６０とは態様の異なるステッカＳｔｋ６１を表示する処理を行ってもよい。これにより、ライブ映像Ｍ６に含まれる人物オブジェクトＯｂｊ６の視認性を確保し、かつ視聴ユーザに対してステッカがまとめられたことを示唆することができる。したがって、配信ユーザおよび視聴ユーザ間の動画像を介したコミュニケーションの利便性を確保することができる。
＜４．６．音響情報に応じた画像処理＞
次に、情報処理システム１による音響情報に応じた画像処理について説明する。この音声に応じた画像処理は、動画像に付随する音響情報に応じて画像処理を実行、変更または解除するものである。図１８は、本実施形態に係る情報処理システム１による音響情報に応じた画像処理の例を示す図である。図１８を参照すると、ユーザ端末３０の表示操作部２１０において、ライブ映像表示画面１０１０にはライブ映像Ｍ７が表示されている。このライブ映像Ｍ７には音楽を演奏する複数の人物オブジェクト、およびステッカＳｔｋ７０が含まれている。また、ライブ映像Ｍ７には音響情報が付随されており、音響情報には音響波形Ｓｎｄ１が含まれる。音響波形Ｓｎｄ１の振幅は、音量の大きさを示す。
画像処理部１０４は、音響情報に応じた画像処理を行ってもよい。図１８に示した例において、画像処理部１０４は、音響波形の大きさに応じて、ステッカＳｔｋ７０の大きさを変化させる処理を行ってもよい。図１８の右側に示したように、音響波形Ｓｎｄ２の振幅は音響波形Ｓｎｄ１の振幅よりも大きいため、画像処理部１０４は、ステッカＳｔｋ７１の大きさをステッカＳｔｋ７０よりも大きくする処理を行う。これにより、ステッカＳｔｋ７０の大きさが、ライブ映像Ｍ７の音声の大きさに応じて変化する。このように、音声に応じて画像処理を行うことにより、視聴ユーザに与えるライブ映像の臨場感をより大きくさせることができる。
なお、画像処理部１０４は、音量のみならず、音質または音場等の変化に応じて画像処理を行ってもよい。これにより、音響情報とマッチした画像処理を行うことができる。
＜＜５．情報処理システムによる操作情報の応用例＞＞
以上、本実施形態に係る情報処理システム１による画像処理例について説明した。本実施形態に係る情報処理システム１は、動画像に対して画像解析結果に基づいて画像処理を行うだけではなく、操作情報等に基づいた他の処理を行ってもよい。以下、本実施形態に係る情報処理システム１による操作情報の応用例について説明する。
＜５．１．ハイライト動画生成＞
まず、情報処理システム１によるハイライト動画生成処理について説明する。このハイライト動画生成処理は、配信された動画像から盛り上がった部分のみを抽出して結合することによりハイライト動画を生成するものである。
図１９は、本実施形態に係る情報処理システム１によるハイライト動画生成処理の例を説明するための図である。図１９には、単位時間あたりの操作情報の取得量を示すグラフ５００が示されている。当該単位時間は、ライブ映像の配信開始時から配信終了時までの時間を複数の区間に分割した際の当該区間の大きさである。当該単位時間の大きさは特に限定されない。本応用例では、例えば単位時間の大きさは５秒程度であってもよい。
グラフ５００を参照すると、ライブ映像の配信開始時から配信終了時までの各区間における操作情報の取得量が示されている。操作情報の取得量は、当該区間において操作情報取得部１０２が取得した操作情報の取得量である。
例えば、グラフ５００内に示されている区間帯５０１〜５０３では、他の区間と比較して取得量が大きくなっている。つまり、この区間帯においてライブ映像に対するユーザによる操作が多かったことが考えられる。したがって、この区間帯は、ライブ映像を視聴するユーザにとって盛り上がっていた時間帯であると考えることができる。そこで、画像処理部１０４は、このような時間帯におけるライブ映像を抽出して結合してもよい。これにより、ライブ映像のうち盛り上がった部分のみを抽出したハイライト動画を容易に作成することができる。
以下、ハイライト動画の生成に関する処理について説明する。ここでは、ライブ映像の配信が終了した後に画像処理部１０４によりハイライト動画を生成する例について説明する。なお、ハイライト動画の生成処理は、ライブ映像の配信中に逐次的に実施されてもよい。まず、画像処理部１０４は、単位時間ごとの操作情報の取得量を取得する。次に、画像処理部１０４は、各区間における取得量が所定の閾値（図１９に示したグラフ５００においては、閾値線５１０に相当）を超えているか否かを判定し、ライブ映像の抽出対象となる区間帯を設定する。そして、画像処理部１０４は、抽出対象となる区間帯におけるライブ映像をそれぞれ抽出し、それらを時間的に連続するよう結合することによりハイライト動画を生成する。
なお、複数の抽出されたライブ映像を結合する際においては、画像処理部１０４は、連続する２つの区間のライブ映像について、先の区間におけるライブ映像の末端時刻および後の区間におけるライブ映像の始端時刻およびの前後について画像処理を適宜行ってもよい。具体的には、画像処理部１０４は、先の区間におけるライブ映像の末端時刻に対応する動画像がフェードアウトするような処理を行い、かつ、後の区間におけるライブ映像の始端時刻に対応する動画像がフェードインするような処理を行ってもよい。これによってライブ映像の結合によるハイライト動画の不連続性が解消されるので、視聴ユーザに対して違和感を生じさせないようにすることができる。
＜５．２．画像解析後の投票処理＞
次に、情報処理システム１による画像解析後の投票処理について説明する。この画像解析後の投票処理は、投票対象となるオブジェクトを画像解析により認識し、認識したオブジェクトについて操作情報を用いて投票処理を行うものである。
図２０は、本実施形態に係る情報処理システム１による画像解析後の投票処理の例を説明するための図である。図２０を参照すると、ユーザ端末３０の表示操作部２１０において、ライブ映像表示画面１０１０にはライブ映像Ｍ８が表示されている。このライブ映像Ｍ８には第１の人物オブジェクトＯｂｊ８０および第２の人物オブジェクトＯｂｊ８１が含まれている。これらの人物オブジェクトは、情報処理システム１による投票処理の投票対象となるオブジェクトである。
ここで、ライブ映像Ｍ８には、視聴ユーザに対して人物オブジェクトＯｂｊ８０または第２の人物オブジェクトＯｂｊ８１のいずれかに対してタップするような指示が提示されたとする。視聴ユーザがユーザ端末３０に対して人物オブジェクトＯｂｊ８０に対応する領域１０８０または第２の人物オブジェクトＯｂｊ８１に対応する領域１０８１のいずれかをタップすると、操作情報生成部２０３は、動画像上のタップ位置を含む操作情報を生成し、操作情報送信部２０４は、当該操作情報をサーバ１０に送信する。
画像解析部１０３は、ライブ映像Ｍ８に含まれる第１の人物オブジェクトＯｂｊ８０および第２の人物オブジェクトＯｂｊ８１を認識し、画像処理部１０４は、操作情報に含まれるタップ位置が人物オブジェクトＯｂｊ８０に対応する領域１０８０または第２の人物オブジェクトＯｂｊ８１に対応する領域１０８１のいずれかに対応する領域に含まれるか否かを判定する。そして、画像処理部１０４は、対応するオブジェクト（またはいずれにも該当しないこと）を特定し、当該オブジェクトについてタップ回数をカウントする。上記のような処理は所定時間繰り返し実施される。なお、当該所定時間は、ユーザ端末２０を用いてライブ映像を配信する配信ユーザにより決定されてもよいし、予め規定された時間等であってもよい。
所定時間の経過後に、画像処理部１０４は各オブジェクトに対応する総タップ数を集計し、集計結果に応じた処理を行う。例えば、図２０に示したように、画像処理部１０４は、集計結果をヒートマップ１０８２およびヒートマップ１０８３のように表示してもよい。各ヒートマップは、第１の人物オブジェクトＯｂｊ８０および第２の人物オブジェクトＯｂｊ８１に重畳するように画像処理される。なお、各ヒートマップの色に対応する度数を示すゲージ１０８４がライブ映像Ｍ８に表示されてもよい。このようにヒートマップを用いて集計結果を表示することにより、ユーザは集計結果を直感的に理解することができる。なお、画像処理部１０４は、ヒートマップに限らず、集計結果について多様な態様によりユーザに対して提示してもよい。例えば、画像処理部１０４は、集計結果の数値をライブ映像Ｍ８に表示させてもよいし、集計結果が多かった（または少なかった）方のオブジェクトに対して所定のエフェクトを表示する処理を行ってもよい。
＜５．３．操作位置に基づく画像解析後の投票処理＞
次に、情報処理システム１による操作位置に基づく画像解析後の投票処理について説明する。この操作位置に基づく画像解析後の投票処理は、上述した画像解析後の投票処理とは異なり、投票対象となるオブジェクトを操作情報に基づいて認識し、認識したオブジェクトについて操作情報を用いて投票処理を行うものである。
図２１は、本実施形態に係る情報処理システム１による操作位置に基づく画像解析後の投票処理の例を説明するための図である。図２１を参照すると、ユーザ端末３０の表示操作部２１０において、ライブ映像表示画面１０１０にはライブ映像Ｍ９が表示されている。このライブ映像Ｍ８には人物オブジェクトＯｂｊ９０が含まれている。
ここで、ライブ映像Ｍ９には、視聴ユーザに対して人物オブジェクトＯｂｊ９０の眼または口のいずれかに対してタップするような指示が提示されたとする。視聴ユーザがユーザ端末３０に対して人物オブジェクトＯｂｊ９０の眼または口のいずれかの近傍をタップすると、操作情報生成部２０３は、動画像上のタップ位置を含む操作情報を生成し、操作情報送信部２０４は、当該操作情報をサーバ１０に送信する。
画像解析部１０３は、まず、操作情報に含まれる操作位置の分布を解析し、分布に基づいて投票処理の対象となる領域を特定する。図２１に示した例では、画像解析部１０３は、複数のユーザ端末３０から取得した位置情報から人物オブジェクトＯｂｊ９の眼に相当する位置群１０９０Ａおよび人物オブジェクトＯｂｊ９の口に相当する位置群１０９０Ｂを抽出する。そして、画像解析部１０３は、これらの位置群の近傍を解析することにより人物オブジェクトＯｂｊ９の眼オブジェクトＯｂｊ９１および口オブジェクトＯｂｊ９２を認識し、これらのオブジェクトに対応する領域１０９１および１０９２を特定する。これにより、画像解析部１０３による画像解析を、動画像全体ではなく、操作情報により特定される範囲についてのみ行うことができる。したがって、画像解析における計算量が減少するため、画像解析による処理の遅れが生じにくくなり、ユーザの利便性を確保することができる。
なお、オブジェクトに対応する領域の特定後の処理（タップ位置の判定処理および集計処理）は、上述した画像処理部１０４による投票処理と同様であるため、説明を省略する。
＜５．４．動画属性推定＞
次に、情報処理システム１による動画属性推定処理について説明する。この動画属性推定処理は、動画像に対する操作情報に基づいて、当該動画像の属性（カテゴリ等）を推定するものである。
図２２は、本実施形態に係る情報処理システム１による動画属性推定処理を説明するための図である。図２２を参照すると、ステッカおよびステッカのライブ映像に対するタップ回数（操作情報の取得量）を含むテーブル１１００が示されている。このテーブル１１００は、一のライブ映像の所定時間内におけるステッカのタップ数を示すものである。所定時間とは、ライブ映像の配信開始時から配信終了時までの間における任意の時間である。例えば、所定時間は、ライブ映像が配信中であれば配信開始時から現在までの時間であってもよいし、特定の映像が配信されている状態である時間であってもよい。特定の映像であるか否かについては、画像解析部１０３による画像解析に基づいて判定されてもよいし、ライブ映像を配信する配信ユーザが判定してもよい。
画像処理部１０４は、所定時間内における操作情報に基づいて、動画像の属性を推定してもよい。図２２に示した例においては、ステッカ「猫」のタップ回数が４５０回、ステッカ「ハート」のタップ回数が２１０回、およびステッカ「Ｌｉｋｅ」のタップ回数が１２４回であることが示されている。一方で、ステッカ「食べ物」のタップ回数が２３回であることが示されている。画像処理部１０４は、上述した結果から、ライブ映像が「猫」「ハート」「Ｌｉｋｅ」に関連する属性を有するライブ映像であると推定してもよい。例えば、画像処理部１０４は、ライブ映像の属性が「動物−猫」であると推定してもよい。なお、この動画推定処理は、例えば機械学習等に関する公知の技術を用いて行われてもよい。
このように、画像処理部１０４が操作情報に基づいて動画像の属性を推定することにより、動画像の属性を自動的に設定することができる。したがって、動画像のカテゴリ分けを容易にかつ精度高く行うことができる。
＜＜６．ハードウェア構成例＞＞
以上、本実施形態に係る情報処理システム１による操作情報の応用例について説明した。次に、図２３を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図２３は、本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。図示された情報処理装置９００は、例えば、上記の実施形態におけるサーバ１０およびユーザ端末２０（３０）を実現しうる。
情報処理装置９００は、ＣＰＵ９０１、ＲＯＭ（Read Only Memory）９０３、およびＲＡＭ（Random Access Memory）９０５を含む。また、情報処理装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２５、通信装置９２９を含んでもよい。さらに、情報処理装置９００は、必要に応じて、撮像装置（不図示）を含んでもよい。また、情報処理装置９００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Digital Signal Processor）またはＡＳＩＣ（Application Specific Integrated Circuit）と呼ばれるような処理回路を有してもよい。
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２３に記録された各種プログラムに従って、情報処理装置９００内の動作全般またはその一部を制御する。例えば、ＣＰＵ９０１は、上記の実施形態におけるサーバ１０およびユーザ端末２０（３０）に含まれる各機能部の動作全般を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Peripheral Component Interconnect/Interface）バスなどの外部バス９１１に接続されている。
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話などの外部接続機器９２７であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりする。
出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ、ＰＤＰ、ＯＥＬＤなどの表示装置、スピーカおよびヘッドホンなどの音響出力装置、ならびにプリンタ装置などでありうる。出力装置９１７は、情報処理装置９００の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音響などの音として出力したりする。
ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Hard Disk Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２３のためのリーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２３に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２３に記録を書き込む。
接続ポート９２５は、機器を情報処理装置９００に直接接続するためのポートである。接続ポート９２５は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）ポートなどでありうる。また、接続ポート９２５は、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポートなどであってもよい。接続ポート９２５に外部接続機器９２７を接続することで、情報処理装置９００と外部接続機器９２７との間で各種のデータが交換されうる。
通信装置９２９は、例えば、通信ネットワークＮＷに接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２９は、例えば、有線または無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Wireless USB）用の通信カードなどでありうる。また、通信装置９２９は、光通信用のルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２９は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２９に接続される通信ネットワークＮＷは、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。なお、通信装置９２９は、通信部としての機能を実現する。
撮像装置（不図示）は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。当該撮像装置は、静止画を撮像するものであってもよいし、または動画を撮像するものであってもよい。
以上、情報処理装置９００のハードウェア構成の一例を示した。
＜＜７．まとめ＞＞
本実施形態に係る情報処理システム１によれば、サーバ１０は、ユーザ端末３０から取得したステッカの配置に関する操作位置および配置されるステッカに関する情報を含む操作情報に基づいて、配信元であるユーザ端末２０から取得した動画像を画像解析する。そして、サーバ１０は、解析結果および操作情報に基づいて当該動画像を画像処理する。そしてサーバ１０は、画像処理された動画像をユーザ端末２０およびユーザ端末３０に配信する。
かかる構成により、ユーザ端末３０を用いて動画像を視聴する視聴ユーザは、動画像に対してステッカを配置する操作等の所定の操作を行うことにより、動画像を視聴しながらリアルタイムに複数のユーザと簡単にコミュニケーションを取ることができる。したがって、動画像を介したユーザ間のコミュニケーションがより円滑になる。
また、本実施形態に係る情報処理システム１によれば、サーバ１０は、ユーザ端末３０から取得した操作情報を用いて、画像処理以外の処理を行う。例えば、サーバ１０は、操作情報に基づく統計処理または抽出処理等を行う。かかる構成により、単に動画像を処理するだけではなく、動画像を介してより定量性の高いコミュニケーションを行うことが可能となる。また、配信されていた動画像に関するハイライト動画を容易に作成することができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態では、画像解析部１０３による画像解析および画像処理部１０４による画像処理はサーバ１０で行うとしたが、本技術はかかる例に限定されない。例えば、上記の画像解析および画像処理は、ユーザ端末２０（３０）で行われてもよい。より具体的には、画像処理については、ユーザ端末２０（３０）がサーバ１０から取得した動画像およびサーバ１０を経由して他のユーザ端末から取得した操作情報に基づいて、ユーザ端末２０（３０）が画像解析および画像処理を行ってもよい。この場合、サーバ１０は、動画像の配信元であるユーザ端末２０から取得した動画像、およびユーザ端末２０（３０）から取得した操作情報を、ユーザ端末２０（３０）に送信する。かかる構成により、画像解析および画像処理に係る負担をユーザ端末２０（３０）に分散させることができるので、サーバ１０における処理負担が減少する。したがって、各種処理による遅延を生じにくくすることができる。
なお、上記の実施形態に係るサーバ１０に備わる各機能部は、サーバ１０およびユーザ端末２０（３０）の仕様またはシステム構成に応じて、サーバ１０およびユーザ端末２０（３０）に分離して設けられてもよい。
さらに、上記実施形態に係る情報処理システム１はサーバ１０および複数のユーザ端末２０（３０）を有するが、本技術はかかる例に限定されない。例えば、情報処理システムは、ネットワークを介して接続される複数のユーザ端末２０（３０）により構成されてもよい。この場合、配信された動画像の画像解析および画像処理は、当該動画像および操作情報を取得した各ユーザ端末２０（３０）において実施されてもよい。
また、本明細書のサーバおよびユーザ端末の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、サーバおよびユーザ端末の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
また、サーバおよびユーザ端末に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、上述したサーバおよびユーザ端末の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
ライブ配信されている動画像、およびデバイスの表示部に表示されている前記動画像上へのステッカの配置に関する操作位置および配置される前記ステッカに関する情報を含む操作情報を取得する通信部と、
前記動画像上における前記操作位置に対応する領域を解析し、解析結果、および前記操作情報に基づいて前記動画像に対して前記ステッカの配置処理を行う制御部と、
を備える情報処理装置。
（２）
前記制御部は、前記操作位置に対応する領域に含まれるオブジェクトを認識し、前記オブジェクトに対して画像処理を行う、前記（１）に記載の情報処理装置。
（３）
前記制御部は、前記オブジェクトの特徴に基づいて、前記動画像上に配置される前記ステッカの態様を変化させる、前記（２）に記載の情報処理装置。
（４）
前記制御部は、前記動画像内の前記オブジェクトの動きを認識し、認識された前記オブジェクトの動きに基づいて前記動画像に対してさらなる画像処理を行う、前記（２）または（３）に記載の情報処理装置。
（５）
前記制御部は、前記さらなる画像処理として、前記動画像に適用された画像処理を無効とする、前記（４）に記載の情報処理装置。
（６）
前記制御部は、前記さらなる画像処理として、前記動画像に配置されたステッカの位置を変更する、前記（４）または（５）に記載の情報処理装置。
（７）
前記制御部は、前記操作情報の取得量に基づく処理を行う、前記（１）〜（６）のいずれか１項に記載の情報処理装置。
（８）
前記制御部は、前記操作情報の取得量の時系列分布に基づく処理を行う、前記（７）に記載の情報処理装置。
（９）
前記制御部は、前記動画像から少なくとも一のオブジェクトを認識し、前記少なくとも一のオブジェクトに対する前記操作情報の取得量に基づく処理を行う、前記（７）または（８）に記載の情報処理装置。
（１０）
前記制御部は、前記操作位置の分布に基づいて少なくとも一のオブジェクトを認識する、前記（７）〜（９）のいずれか１項に記載の情報処理装置。
（１１）
前記制御部は、前記取得量の時系列分布に基づいて前記動画像の抽出区間を設定する、前記（７）〜（１０）のいずれか１項に記載の情報処理装置。
（１２）
前記制御部は、前記動画像に対応する音響情報に基づく処理を行う、前記（１）〜（１１）のいずれか１項に記載の情報処理装置。
（１３）
前記制御部は、前記操作情報に基づいて前記動画像の属性を推定する、前記（１）〜（１２）のいずれか１項に記載の情報処理装置。
（１４）
前記制御部は、前記動画像上における少なくとも一のステッカに対する操作に関する操作情報に基づいて、前記ステッカの少なくともいずれかの態様を変化させる、前記（１）〜（１３）のいずれか１項に記載の情報処理装置。
（１５）
前記制御部は、前記動画像上に配置されている少なくとも一のステッカに対応する領域に含まれる他の前記ステッカの少なくともいずれかの態様を変化させる、前記（１４）に記載の情報処理装置。
（１６）
前記操作情報は、前記デバイスの表示部に対する操作態様に関する情報を含む、前記（１）〜（１５）のいずれか１項に記載の情報処理装置。
（１７）
前記操作態様は、少なくとも一の操作体によるタップ操作、ピンチ操作、スワイプ操作、スライド操作、または前記デバイスの表示部に対して加えられる圧力の大きさの少なくともいずれかを含む、前記（１６）に記載の情報処理装置。
（１８）
前記制御部は、前記動画像に対する加工処理を行う、前記（１）〜（１７）のいずれか１項に記載の情報処理装置。
（１９）
プロセッサが、
ライブ配信されている動画像を取得することと、
デバイスの表示部に表示されている前記動画像上へのステッカの配置に関する操作位置および配置される前記ステッカに関する情報を含む操作情報を取得することと、
前記動画像上における前記操作位置に対応する領域を解析することと、
前記解析結果、および前記操作情報に基づいて前記動画像に対して前記ステッカの配置処理を行うことと、
を含む情報処理方法。
（２０）
コンピュータに、
受信されたライブ配信されている動画像を前記コンピュータの表示部に表示させるための表示情報を生成することと、
前記コンピュータの通信部を制御することによりサーバに送信される、前記動画像上へのステッカの配置に関する操作位置および配置される前記ステッカに関する情報を含む操作情報を生成することと、
前記通信部を制御することにより前記サーバから受信される、前記サーバが前記コンピュータを含むデバイスから取得した操作位置に対応する前記動画像上の領域を解析することにより得られる解析結果と前記操作情報とに基づいて前記サーバにより前記ステッカの配置処理が施された動画像を、前記表示部に表示させるための表示情報を生成することと、
を実行させるプログラム。
１ 情報処理システム
１０ サーバ
２０、３０ ユーザ端末
１０１ 画像取得部
１０２ 操作情報取得部
１０３ 画像解析部
１０４ 画像処理部
２００ 制御部
２０１ 画像取得部
２０２ 表示制御部
２０３ 操作情報生成部
２０４ 操作情報送信部
２１０ 表示操作部
２２０ 撮像部

Claims (20)

  1. ライブ配信されている動画像、およびデバイスの表示部に表示されている前記動画像上へのステッカの配置に関する操作位置および配置される前記ステッカに関する情報を含む操作情報を取得する通信部と、
    前記動画像上における前記操作位置に対応する領域を解析し、解析結果、および前記操作情報に基づいて前記動画像に対して前記ステッカの配置処理を行う制御部と、
    を備える情報処理装置。
  2. 前記制御部は、前記操作位置に対応する領域に含まれるオブジェクトを認識し、前記オブジェクトに対して画像処理を行う、請求項１に記載の情報処理装置。
  3. 前記制御部は、前記オブジェクトの特徴に基づいて、前記動画像上に配置される前記ステッカの態様を変化させる、請求項２に記載の情報処理装置。
  4. 前記制御部は、前記動画像内の前記オブジェクトの動きを認識し、認識された前記オブジェクトの動きに基づいて前記動画像に対してさらなる画像処理を行う、請求項２または３に記載の情報処理装置。
  5. 前記制御部は、前記さらなる画像処理として、前記動画像に適用された画像処理を無効とする、請求項４に記載の情報処理装置。
  6. 前記制御部は、前記さらなる画像処理として、前記動画像に配置されたステッカの位置を変更する、請求項４または５に記載の情報処理装置。
  7. 前記制御部は、前記操作情報の取得量に基づく処理を行う、請求項１〜６のいずれか１項に記載の情報処理装置。
  8. 前記制御部は、前記操作情報の取得量の時系列分布に基づく処理を行う、請求項７に記載の情報処理装置。
  9. 前記制御部は、前記動画像から少なくとも一のオブジェクトを認識し、前記少なくとも一のオブジェクトに対する前記操作情報の取得量に基づく処理を行う、請求項７または８に記載の情報処理装置。
  10. 前記制御部は、前記操作位置の分布に基づいて少なくとも一のオブジェクトを認識する、請求項７〜９のいずれか１項に記載の情報処理装置。
  11. 前記制御部は、前記取得量の時系列分布に基づいて前記動画像の抽出区間を設定する、請求項７〜１０のいずれか１項に記載の情報処理装置。
  12. 前記制御部は、前記動画像に対応する音響情報に基づく処理を行う、請求項１〜１１のいずれか１項に記載の情報処理装置。
  13. 前記制御部は、前記操作情報に基づいて前記動画像の属性を推定する、請求項１〜１２のいずれか１項に記載の情報処理装置。
  14. 前記制御部は、前記動画像上における少なくとも一のステッカに対する操作に関する操作情報に基づいて、前記ステッカの少なくともいずれかの態様を変化させる、請求項１〜１３のいずれか１項に記載の情報処理装置。
  15. 前記制御部は、前記動画像上に配置されている少なくとも一のステッカに対応する領域に含まれる他の前記ステッカの少なくともいずれかの態様を変化させる、請求項１４に記載の情報処理装置。
  16. 前記操作情報は、前記デバイスの表示部に対する操作態様に関する情報を含む、請求項１〜１５のいずれか１項に記載の情報処理装置。
  17. 前記操作態様は、少なくとも一の操作体によるタップ操作、ピンチ操作、スワイプ操作、スライド操作、または前記デバイスの表示部に対して加えられる圧力の大きさの少なくともいずれかを含む、請求項１６に記載の情報処理装置。
  18. 前記制御部は、前記動画像に対する加工処理を行う、請求項１〜１７のいずれか１項に記載の情報処理装置。
  19. プロセッサが、
    ライブ配信されている動画像を取得することと、
    デバイスの表示部に表示されている前記動画像上へのステッカの配置に関する操作位置および配置される前記ステッカに関する情報を含む操作情報を取得することと、
    前記動画像上における前記操作位置に対応する領域を解析することと、
    前記解析結果、および前記操作情報に基づいて前記動画像に対して前記ステッカの配置処理を行うことと、
    を含む情報処理方法。
  20. コンピュータに、
    受信されたライブ配信されている動画像を前記コンピュータの表示部に表示させるための表示情報を生成することと、
    前記コンピュータの通信部を制御することによりサーバに送信される、前記動画像上へのステッカの配置に関する操作位置および配置される前記ステッカに関する情報を含む操作情報を生成することと、
    前記通信部を制御することにより前記サーバから受信される、前記サーバが前記コンピュータを含むデバイスから取得した操作位置に対応する前記動画像上の領域を解析することにより得られる解析結果と前記操作情報とに基づいて前記サーバにより前記ステッカの配置処理が施された動画像を、前記表示部に表示させるための表示情報を生成することと、
    を実行させるプログラム。
JP2017548656A 2015-11-04 2016-08-04 情報処理装置、情報処理方法およびプログラム Active JP6777089B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015216617 2015-11-04
JP2015216617 2015-11-04
PCT/JP2016/073014 WO2017077751A1 (ja) 2015-11-04 2016-08-04 情報処理装置、情報処理方法およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020169358A Division JP7095722B2 (ja) 2015-11-04 2020-10-06 情報処理装置およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2017077751A1 JPWO2017077751A1 (ja) 2018-08-30
JP6777089B2 true JP6777089B2 (ja) 2020-10-28

Family

ID=58661814

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017548656A Active JP6777089B2 (ja) 2015-11-04 2016-08-04 情報処理装置、情報処理方法およびプログラム
JP2020169358A Active JP7095722B2 (ja) 2015-11-04 2020-10-06 情報処理装置およびプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2020169358A Active JP7095722B2 (ja) 2015-11-04 2020-10-06 情報処理装置およびプログラム

Country Status (3)

Country Link
US (1) US11237717B2 (ja)
JP (2) JP6777089B2 (ja)
WO (1) WO2017077751A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4327731A3 (en) 2015-08-20 2024-05-15 Apple Inc. Exercise-based watch face
DK201770423A1 (en) 2016-06-11 2018-01-15 Apple Inc Activity and workout updates
US9854156B1 (en) 2016-06-12 2017-12-26 Apple Inc. User interface for camera effects
US10291678B2 (en) 2016-10-01 2019-05-14 Facebook, Inc. Architecture for augmenting video data obtained by a client device with one or more effects during rendering
US10203855B2 (en) * 2016-12-09 2019-02-12 Snap Inc. Customized user-controlled media overlays
KR101944112B1 (ko) * 2016-12-22 2019-04-17 주식회사 시어스랩 사용자 저작 스티커를 생성하는 방법 및 장치, 사용자 저작 스티커 공유 시스템
JP6198983B1 (ja) * 2017-04-26 2017-09-20 株式会社 ディー・エヌ・エー 動画を配信するためのシステム、方法、及びプログラム
JP6748041B2 (ja) * 2017-08-22 2020-08-26 株式会社 ディー・エヌ・エー 動画を配信するためのシステム、方法、及びプログラム
CN110062269A (zh) * 2018-01-18 2019-07-26 腾讯科技（深圳）有限公司 附加对象显示方法、装置及计算机设备
JP7285291B2 (ja) 2018-05-07 2023-06-01 アップル インコーポレイテッド クリエイティブカメラ
JPWO2020071545A1 (ja) * 2018-10-04 2021-06-03 パロニム株式会社 情報処理装置
DK201970532A1 (en) 2019-05-06 2021-05-03 Apple Inc Activity trends and workouts
CN113892077A (zh) 2019-06-01 2022-01-04 苹果公司 多模式活动跟踪用户界面
JP7001645B2 (ja) * 2019-07-26 2022-01-19 株式会社リンクコーポレイトコミュニケーションズ 情報処理装置、端末装置、情報処理方法、およびプログラム
JP7261727B2 (ja) * 2019-11-20 2023-04-20 グリー株式会社 動画配信システム、動画配信方法及びサーバ
US10972682B1 (en) * 2019-12-12 2021-04-06 Facebook, Inc. System and method for adding virtual audio stickers to videos
CN113434223A (zh) 2020-03-23 2021-09-24 北京字节跳动网络技术有限公司 特效处理方法及装置
KR20210135683A (ko) 2020-05-06 2021-11-16 라인플러스 주식회사 인터넷 전화 기반 통화 중 리액션을 표시하는 방법, 시스템, 및 컴퓨터 프로그램
JP7012792B2 (ja) * 2020-08-06 2022-01-28 株式会社 ディー・エヌ・エー 動画を配信するためのシステム、方法、及びプログラム
WO2022245669A1 (en) 2021-05-15 2022-11-24 Apple Inc. User interfaces for group workouts
US11977729B2 (en) 2022-06-05 2024-05-07 Apple Inc. Physical activity information user interfaces
US11896871B2 (en) 2022-06-05 2024-02-13 Apple Inc. User interfaces for physical activity information

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010030667A1 (en) * 2000-04-10 2001-10-18 Kelts Brett R. Interactive display interface for information objects
US20020018067A1 (en) * 2000-08-08 2002-02-14 Carcia Peter P. System for reproducing images in an altered form in accordance with sound characteristics
JP2001142980A (ja) * 2000-10-04 2001-05-25 Kazuhiro Ide ステッカーサービスシステム及びその方法
JP2002297798A (ja) 2001-03-30 2002-10-11 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
US7697714B2 (en) * 2005-09-19 2010-04-13 Silverbrook Research Pty Ltd Associating an object with a sticker and a surface
US8564544B2 (en) * 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US20090132924A1 (en) * 2007-11-15 2009-05-21 Yojak Harshad Vasa System and method to create highlight portions of media content
US20110022992A1 (en) * 2008-03-31 2011-01-27 Koninklijke Philips Electronics N.V. Method for modifying a representation based upon a user instruction
CA2698052C (en) * 2009-03-30 2021-02-02 Stickeryou, Inc. Internet-based method and system for making user-customized stickers
US8806331B2 (en) * 2009-07-20 2014-08-12 Interactive Memories, Inc. System and methods for creating and editing photo-based projects on a digital network
TWI439960B (zh) * 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
US8989786B2 (en) * 2011-04-21 2015-03-24 Walking Thumbs, Llc System and method for graphical expression during text messaging communications
JP2013101528A (ja) * 2011-11-09 2013-05-23 Sony Corp 情報処理装置、表示制御方法、およびプログラム
US8941707B2 (en) * 2011-12-01 2015-01-27 Tangome, Inc. Video messaging
JP5568610B2 (ja) 2012-08-28 2014-08-06 株式会社プレミアムエージェンシー 拡張現実システム、映像合成装置、映像合成方法及びプログラム
US9007465B1 (en) * 2012-08-31 2015-04-14 Vce Company, Llc Obtaining customer support for electronic system using first and second cameras
US20140096018A1 (en) * 2012-09-28 2014-04-03 Interactive Memories, Inc. Methods for Recognizing Digital Images of Persons known to a Customer Creating an Image-Based Project through an Electronic Interface
US9898187B2 (en) * 2013-06-09 2018-02-20 Apple Inc. Managing real-time handwriting recognition
US9639969B1 (en) * 2013-07-25 2017-05-02 Overlay Studio, Inc. Collaborative design
JP2015073175A (ja) * 2013-10-02 2015-04-16 日本写真印刷株式会社 動画スタンプシステム、動画スタンプシステムの端末装置、動画スタンプシステムのスタンプサーバ、及び動画スタンプシステムのプログラム
US10271010B2 (en) * 2013-10-31 2019-04-23 Shindig, Inc. Systems and methods for controlling the display of content
US20150127753A1 (en) * 2013-11-04 2015-05-07 Meemo, Llc Word Recognition and Ideograph or In-App Advertising System
WO2015072195A1 (ja) 2013-11-13 2015-05-21 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
JP6122768B2 (ja) 2013-11-19 2017-04-26 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、表示方法およびコンピュータプログラム
US20150172246A1 (en) * 2013-12-13 2015-06-18 Piragash Velummylum Stickers for electronic messaging cards
KR102114617B1 (ko) * 2014-01-08 2020-05-25 엘지전자 주식회사 이동단말기 및 그 제어방법
US10516629B2 (en) * 2014-05-15 2019-12-24 Narvii Inc. Systems and methods implementing user interface objects
US9792716B2 (en) * 2014-06-13 2017-10-17 Arcsoft Inc. Enhancing video chatting
EP3216220A4 (en) * 2014-11-07 2018-07-11 H4 Engineering, Inc. Editing systems
US20160334972A1 (en) * 2015-05-13 2016-11-17 Yahoo!, Inc. Content overlay for social network posts
CA2998896A1 (en) * 2015-10-08 2017-04-13 Magnificus Software Inc. Method and system for creating and using emojis and other graphic content in instant messaging systems
US10218938B2 (en) * 2016-04-14 2019-02-26 Popio Ip Holdings, Llc Methods and systems for multi-pane video communications with photo-based signature verification

Also Published As

Publication number Publication date
US20180300037A1 (en) 2018-10-18
US11237717B2 (en) 2022-02-01
WO2017077751A1 (ja) 2017-05-11
JP2021007042A (ja) 2021-01-21
JPWO2017077751A1 (ja) 2018-08-30
JP7095722B2 (ja) 2022-07-05

Similar Documents

Publication Publication Date Title
JP7095722B2 (ja) 情報処理装置およびプログラム
US10933321B2 (en) Information processing device and information processing method
JP6760271B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN111045511B (zh) 基于手势的操控方法及终端设备
US20120262484A1 (en) Motion Capture and Analysis at a Portable Computing Device
US20130265448A1 (en) Analyzing Human Gestural Commands
JP2016510144A (ja) ナチュラルユーザインプットの関与の検出
US20220398816A1 (en) Systems And Methods For Providing Real-Time Composite Video From Multiple Source Devices Featuring Augmented Reality Elements
JPWO2019187862A1 (ja) 情報処理装置、情報処理方法、および記録媒体
EP2753094B1 (en) Method and apparatus for controlling contents in electronic device
CN106507201A (zh) 一种视频播放控制方法及装置
KR20220127568A (ko) 홈 트레이닝 서비스 제공 방법 및 그를 수행하는 디스플레이 장치
WO2018135057A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN113508354A (zh) 显示环境的表示
WO2023124972A1 (zh) 显示状态切换方法、装置及系统、电子设备、存储介质
US11328187B2 (en) Information processing apparatus and information processing method
US20220321772A1 (en) Camera Control Method and Apparatus, and Terminal Device
JP2022095625A (ja) 動画を作成するためのシステム、方法、及びプログラム
US20190339771A1 (en) Method, System and Apparatus For Brainwave and View Based Recommendations and Story Telling
JP7418498B2 (ja) プログラム、情報処理装置、および方法
WO2021112010A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム
CN117156208A (zh) 终端设备、显示设备和焦距调节方法
CN115463413A (zh) 应用于多人互动场景下的互动装置、控制方法和互动系统
CN117130465A (zh) 基于xr设备的参数设置方法、装置、设备及存储介质
CN111167115A (zh) 交互式游戏系统

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190709

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200921

R151 Written notification of patent or utility model registration

Ref document number: 6777089

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151