JPWO2019187493A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JPWO2019187493A1
JPWO2019187493A1 JP2020509688A JP2020509688A JPWO2019187493A1 JP WO2019187493 A1 JPWO2019187493 A1 JP WO2019187493A1 JP 2020509688 A JP2020509688 A JP 2020509688A JP 2020509688 A JP2020509688 A JP 2020509688A JP WO2019187493 A1 JPWO2019187493 A1 JP WO2019187493A1
Authority
JP
Japan
Prior art keywords
information
tag information
information processing
captured image
association
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020509688A
Other languages
English (en)
Inventor
優太 中尾
優太 中尾
伸穂 池田
伸穂 池田
広志 池田
広志 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2019187493A1 publication Critical patent/JPWO2019187493A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Abstract

【課題】撮像画像の再生における利便性の向上を図ることが可能な、情報処理装置、情報処理方法、およびプログラムを提供する。【解決手段】被写体に関するタグ情報と、複数のタグ情報の関連付けを示す識別情報とが対応付けられている撮像画像を、設定される再生条件に基づき再生する再生処理部を備える、情報処理装置が、提供される。【選択図】図３

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
プレーごとに区切られた複数の動画像をダイジェスト再生する際に、各動画像を適切な再生時間で再生するための技術が開発されている。上記技術としては、例えば下記の特許文献１に記載の技術が挙げられる。
特開２０１７−１５７９５２号公報
スポーツを例に挙げると、バスケットボールや、テニス、バレーボール、サッカー、卓球などの様々なスポーツの中継を行うために、スポーツが行われる領域を、撮像装置で撮像することが、行われている。スポーツが行われる領域には、例えば、コートなどのスポーツが行われる領域と、観客席などスポーツを行う者以外の者が存在しうる領域とが含まれる。
また、上記のように撮像装置により撮像される撮像画像（動画像または静止画像。以下、同様とする。）の再生に着目すると、撮像画像（動画像または静止画像。以下、同様とする。）全体だけではなく、撮像画像が示す特定のシーンを再生させたいというニーズがある。
ここで、上記特許文献１に技術では、複数の動画像をダイジェスト再生する際に、適切な再生時間での再生が図られている。しかしながら、上記特許文献１に技術に係る手法では、スポーツのプレーに関する情報と再生時間の対応関係が既知である必要があり、事前に再生時間を決めることが難しいプレー（例えば、バスケットボールにおけるドリブルやパス回しなど）では、適切な再生時間で再生することが困難である。
本開示では、撮像画像の再生における利便性の向上を図ることが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
本開示によれば、被写体に関するタグ情報と、複数の上記タグ情報の関連付けを示す識別情報とが対応付けられている撮像画像を、設定される再生条件に基づき再生する再生処理部を備える、情報処理装置が、提供される。
また、本開示によれば、撮像装置により撮像された撮像画像に、被写体に関するタグ情報と、複数の上記タグ情報の関連付けを示す識別情報とを対応付ける対応付け処理部を備える、情報処理装置が、提供される。
また、本開示によれば、被写体に関するタグ情報と、複数の上記タグ情報の関連付けを示す識別情報とが対応付けられている撮像画像を、設定される再生条件に基づき再生するステップを有する、情報処理装置により実行される情報処理方法が、提供される。
また、本開示によれば、撮像装置により撮像された撮像画像に、被写体に関するタグ情報と、複数の上記タグ情報の関連付けを示す識別情報とを対応付けるステップを有する、情報処理装置により実行される情報処理方法が、提供される。
また、本開示によれば、被写体に関するタグ情報と、複数の上記タグ情報の関連付けを示す識別情報とが対応付けられている撮像画像を、設定される再生条件に基づき再生する機能を、コンピュータに実現させるためのプログラムが、提供される。
また、本開示によれば、撮像装置により撮像された撮像画像に、被写体に関するタグ情報と、複数の上記タグ情報の関連付けを示す識別情報とを対応付ける機能を、コンピュータに実現させるためのプログラムが、提供される。
本開示によれば、撮像画像の再生における利便性の向上を図ることができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。
本実施形態に係る情報処理方法の概要を説明するための説明図である。 本実施形態に係る情報処理方法が適用される情報処理システムの一例を示す説明図である。 本実施形態に係る情報処理装置の機能構成の一例を示すブロック図である。 本実施形態に係る情報処理装置のハードウェア構成の一例を示す説明図である。 本実施形態に係る情報処理方法に係る対応付け処理の一例を示す流れ図である。 本実施形態に係るタグ情報の一例を示す説明図である。 本実施形態に係る情報処理方法に係る対応付け処理におけるタグ情報の生成処理の一例を示す説明図である。 本実施形態に係る情報処理方法に係る対応付け処理における識別情報の生成処理の一例を示す説明図である。 本実施形態に係る情報処理方法に係る対応付け処理における識別情報の生成処理の一例を示す説明図である。 本実施形態に係る情報処理方法に係る対応付け処理における識別情報の生成処理の一例を示す説明図である。 本実施形態に係る情報処理方法に係る再生処理における切り出し処理の一例を示す説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下では、下記に示す順序で説明を行う。
１．本実施形態に係る情報処理方法
［１］本実施形態に係る情報処理方法の概要
［２］本実施形態に係る情報処理方法に係る処理の一例
［３］本実施形態に係る情報処理方法が用いられることにより奏される効果の一例
［４］本実施形態に係る情報処理システムを構成する各装置の適用例
２．本実施形態に係るプログラム
（本実施形態に係る情報処理方法）
以下では、本実施形態に係る情報処理方法に係る処理を、本実施形態に係る情報処理装置が行う場合を例に挙げる。本実施形態に係る情報処理装置の構成の一例については、本実施形態に係る情報処理方法に係る処理の一例の説明と共に、説明する。
また、以下では、本実施形態に係る情報処理方法が、バスケットボールが行われる領域（スポーツが行われる領域の一例）を、撮像装置で撮像する場合に適用される例を、主に説明する。なお、本実施形態に係る情報処理方法の適用例は、係る例に限定されない。
なお、本実施形態に係る情報処理方法が適用される例は、バスケットボールが行われる領域を撮像装置で撮像する例に限られない。例えば、本実施形態に係る情報処理方法は、“テニスや、バレーボール、卓球などの球技”や、“アイススケート、柔道などの、球技以外のスポーツ”など、任意のスポーツに適用することが可能である。
また、本実施形態に係る情報処理方法が適用される例は、スポーツが行われる領域を撮像装置で撮像する例に限られない。例えば、本実施形態に係る情報処理方法は、防犯の対象となる領域を撮像装置で撮像する場合など、任意の所定の領域（３次元空間）を撮像装置で撮像する場合に、適用することが可能である。
また、以下では、撮像画像が動画像である場合を主に例に挙げる。なお、上述したように、本実施形態に係る撮像画像は、動画像に限られず、静止画像であってもよい。また、本実施形態に係る撮像画像には、マイクロホンなどの音声入力装置により生成された音声などの音声（音楽も含みうる。）が、所定の画像フォーマットに従って対応付けられていてもよい。撮像画像に対応付けられる音声は、例えば、後述する盛り上がり情報の生成などに用いることが可能である。
［１］本実施形態に係る情報処理方法の概要
上述したように、撮像画像全体だけではなく、撮像画像が示す特定のシーンを再生させたいというニーズがある。
そこで、本実施形態に係る情報処理装置は、タグ情報と識別情報とが対応付けられている撮像画像を、再生対象の撮像画像とし、当該撮像画像を、設定される再生条件に基づき再生する（再生処理）。
本実施形態に係るタグ情報は、撮像画像に含まれる被写体に関するデータであり、タグ情報は、被写体と当該被写体の動作内容とを示す。タグ情報の具体例については、後述する。
本実施形態に係る識別情報は、複数のタグ情報の関連付けを示すデータである。識別情報としては、例えば、関連付けられているタグ情報に対して付与される固有のＩＤが、挙げられる。
例えば、タグ情報と識別情報とが撮像画像のメタデータとして記録されることによって、タグ情報と識別情報とは、撮像画像に対応付けられる。なお、タグ情報と識別情報は、撮像画像のメタデータとして記録されることに限られず、撮像画像と関連付けることが可能な任意の方法によって、撮像画像に対応付けられてもよい。
図１は、本実施形態に係る情報処理方法の概要を説明するための説明図であり、タグ情報と識別情報とが対応付けられている撮像画像を再生する再生画面の一例を示している。図１に示すＡは、撮像画像に対応付けられているタグ情報の内容を示しており、例えば、撮像画像に対応付けられているタグ情報の内容が時系列で表示される。図１に示すＢは、撮像画像に対応付けられている識別情報の内容を示している。図１に示すように、例えば、撮像画像に対応付けられている識別情報の内容と、当該識別情報に関連付けられている複数のタグ情報の内容とは、視覚的に認識可能であるように表示される。
なお、タグ情報と識別情報とが対応付けられている撮像画像を再生する再生画面の一例が、図１に示す例に限られないことは、言うまでもない。
タグ情報と識別情報とが撮像画像に対応付けられることによって、タグ情報と識別情報との一方または双方を指標として、撮像画像を再生することが可能となる。つまり、撮像画像に対応付けられるタグ情報と識別情報とは、再生を行う指標となる情報であるといえる。
つまり、本実施形態に係る再生条件としては、タグ情報に関する条件と識別情報に関する条件との一方または双方が、挙げられる。なお、本実施形態に係る再生条件には、撮像画像全体を生成する条件のように、タグ情報に関する条件と識別情報に関する条件との一方または双方を含まない条件が、含まれうる。
タグ情報に関する条件としては、例えば、指定されているタグ情報のＡＮＤ条件、指定されているタグ情報のＮＯＲ条件、指定されているタグ情報のＮＡＮＤ条件などが、挙げられる。なお、タグ情報に関する条件の例が、上記に示す例に限られないことは、言うまでもない。
識別情報に関する条件としては、例えば、指定されている識別情報のＡＮＤ条件、指定されている識別情報のＮＯＲ条件、指定されている識別情報のＮＡＮＤ条件などが、挙げられる。なお、識別情報に関する条件の例が、上記に示す例に限られないことは、言うまでもない。
再生条件は、例えば、ユーザの操作に基づき設定される。再生条件の設定に係る操作としては、例えば、操作部（後述する）を用いた操作や、リモートコントローラなどの外部の操作デバイスを用いた操作、ジェスチャによる操作、音声による操作のうちの１または２以上などが、挙げられる。
なお、再生条件は、ユーザの操作に基づき設定されることに限られない。再生条件は、撮像画像に関連するメタ情報に基づき設定されてもよい。撮像画像に関連するメタ情報としては、例えば、撮像画像が示す内容に対する盛り上がりの状態が数値化されている盛り上がり情報や、撮像画像の再生履歴を示すデータなどが、挙げられる。盛り上がり情報は、例えば、ＳＮＳ（Social Networking Service）のデータを解析すること、撮像画像に対応する音声データを解析することなど、撮像画像が示す内容に対する盛り上がりを数値化することが可能な任意の技術を用いて生成される。盛り上がり情報を生成する処理は、本実施形態に係る情報処理装置が行ってもよいし、本実施形態に係る情報処理装置の外部装置において行われてもよい。
再生条件がユーザの操作に基づき設定されることによって、ユーザは、撮像画像における所望のシーンを、本実施形態に係る情報処理装置に再生させることができる。また、再生条件が撮像画像に関連するメタ情報に基づき設定されることによって、例えばループ再生などのような、自動的な撮像画像の再生が、実現される。なお、再生条件は、ユーザの操作と撮像画像に関連するメタ情報との双方により設定されてもよい。ユーザの操作と撮像画像に関連するメタ情報との双方により設定される再生条件の一例としては、“撮像画像に関連するメタ情報により設定された後、ユーザの操作に基づき変更される再生条件”が、挙げられる。
上記のように、本実施形態に係る情報処理装置は、タグ情報と識別情報とが対応付けられている撮像画像を、設定される再生条件に基づき再生する。撮像画像に対応付けられるタグ情報と識別情報とは、再生を行う指標として機能するので、タグ情報に関する条件と識別情報に関する条件との一方または双方が再生条件として設定される場合には、撮像画像が示す特定のシーン（再生条件に合致するシーン）が再生される。
よって、本実施形態に係る情報処理装置は、撮像画像が示す特定のシーンを再生させたいというニーズを満たすことができるので、撮像画像の再生における利便性の向上を図ることができる。
なお、本実施形態に係る情報処理方法に係る処理は、上記再生処理に限られない。例えば、本実施形態に係る情報処理装置は、撮像画像に対してタグ情報と識別情報とを対応付ける処理（対応付け処理）を、さらに行ってもよい。本実施形態に係る対応付け処理の一例については、後述する。
また、本実施形態に係る情報処理方法は、対応付け処理を行う第１の情報処理装置と、再生処理を行う第２の情報処理装置とを有する、情報処理システムに適用されてもよい。再生処理を行う第２の情報処理装置は、外部装置（対応付け処理を行う第１の情報処理装置）においてタグ情報と識別情報とが対応付けられた撮像画像、または、タグ情報と識別情報と手動で対応付けられた撮像画像を、再生処理の処理対象とする。
［２］本実施形態に係る情報処理方法に係る処理の一例
次に、上述した本実施形態に係る情報処理方法に係る処理の一例を、本実施形態に係る情報処理方法が適用される情報処理システムの一例を示しつつ説明する。以下では、１つの情報処理装置が、本実施形態に係る情報処理方法に係る対応付け処理および再生処理の双方を行う場合を例に挙げる。
なお、上述したように、本実施形態に係る情報処理方法に係る対応付け処理と、本実施形態に係る情報処理方法に係る再生処理とは、別体の情報処理装置において行われてもよい。また、本実施形態に係る情報処理方法に係る再生処理を行う情報処理装置は、タグ情報と識別情報と手動で対応付けられた撮像画像を、再生処理の処理対象とすることも可能である。
図２は、本実施形態に係る情報処理方法が適用される情報処理システム１０００の一例を示す説明図である。情報処理システム１０００は、例えば、情報処理装置１００と、撮像装置２００Ａ、２００Ｂ、２００Ｃとを有する。以下では、撮像装置２００Ａ、２００Ｂ、２００Ｃのうちの１つを指して、または、撮像装置２００Ａ、２００Ｂ、２００Ｃを総称して、「撮像装置２００」と示す場合がある。
情報処理装置１００と撮像装置２００とは、例えば、ネットワーク３００を介して無線または有線で接続され、ネットワーク３００を介した通信によって、通信を行う。本実施形態に係るネットワーク３００としては、例えば、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）などの有線ネットワーク、ＷＬＡＮ（Wireless Local Area Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。なお、本実施形態に係る情報処理システムでは、情報処理装置１００と撮像装置２００とは、ネットワーク３００を介さずに、直接的に通信を行うことも可能である。
なお、本実施形態に係る情報処理システムの構成は、図１に示す例に限られない。
例えば、図１では３つの撮像装置２００を有する構成を示しているが、本実施形態に係る情報処理システムは、１つの撮像装置２００、２つの撮像装置、あるいは、４つ以上の撮像装置２００を有する構成であってもよい。つまり、本実施形態に係る情報処理システムは、１または２以上の撮像装置２００を有しうる。
また、本実施形態に係る情報処理システムは、情報処理装置１００と撮像装置２００との間の通信を中継する中継装置（図示せず）を、さらに有していてもよい。また、本実施形態に係る情報処理システムにおいて、中継装置（図示せず）は、例えば、画像データなどの様々なデータを集約する機能と、様々なデータを分配する機能とを有する、データ集約・分配装置の役目を果たしていてもよい。中継装置（図示せず）としては、例えばルータなどが挙げられる。
また、本実施形態に係る情報処理システムは、例えば、第１の記憶装置、パラメータ記憶装置、撮像装置２００のキャリブレーション処理装置、入力装置、表示装置、第２の記憶装置のうちの、一部または全部をさらに有していてもよい。なお、これらの装置が有する機能のうちの一部または全部は、本実施形態に係る情報処理装置が有していてもよい。
第１の記憶装置は、撮像装置２００において撮像された撮像画像を記憶する機能を有する装置である。第１の記憶装置で撮像画像が記憶されることによって、本実施形態に係る情報処理方法に係る処理などの、本実施形態に係る情報処理システムおける後段の処理を撮像現場で必ずしも実施する必要がなくなる。また、第１の記憶装置で撮像画像が記憶されることによって、ユーザが好きなタイミングで撮像画像を再生させて見ることが、可能となる。また、本実施形態に係る情報処理システムが第１の記憶装置を有さない場合、撮像装置２００は、撮像画像を示す信号（デジタル信号またはアナログ信号）を、本実施形態に係る情報処理装置などの他の装置に対して、ストリーミング送信してもよい。
パラメータ記憶装置は、撮像装置２００の内部パラメータ（例えば、焦点距離、レンズの補正量など）を記憶する機能を有する装置である。パラメータ記憶装置における内部パラメータの記憶は、例えば、第１の記憶装置における撮像画像の記憶と同期して行われる。パラメータ記憶装置における内部パラメータの記憶が、第１の記憶装置における撮像画像の記憶と同期して行われることによって、例えばユーザが好きなタイミングで撮像画像を再生させて見ることが、より容易に可能となる。
撮像装置２００のキャリブレーション処理装置は、撮像装置２００の位置、視点方向などを示す撮像装置２００の状態情報を取得する機能を有する装置である。撮像装置２００のキャリブレーション処理装置は、撮像装置２００の内部パラメータに基づいて任意のキャリブレーションを実施して、撮像装置２００の位置、視点方向などを示すパラメータを取得する。そして、撮像装置２００のキャリブレーション処理装置は、取得したパラメータを示す状態情報を、撮像装置２００の撮像画像（撮像装置２００それぞれの視点に対応する撮像画像）と対応付けて記憶する。
入力装置は、撮像装置２００により撮像される領域を示す領域情報を、本実施形態に係る情報処理装置などに入力する装置である。領域情報としては、例えば、コートやグラウンド、ゴール位置などの位置を三次元で示す三次元データが、挙げられる。入力装置としては、例えば、キーボード、マウス、タッチパネルなどが挙げられる。領域情報は、例えば、マウスロールや、ドラッグアンドドロップ、ピンチ操作、フリック操作、ダブルタッチ操作などの、任意の操作によって、生成される。キーボードやマウスが入力装置として用いられる場合には、タッチパネルのような表示と操作とが可能なデバイスが入力装置として用いられる場合と比較して、細かな入力が可能であるという利点がある。一方、タッチパネルのような表示と操作とが可能なデバイスが入力装置として用いられる場合には、キーボードやマウスが入力装置として用いられる場合と比較して、入力のための別途のデバイスを必要としないため、導入のための必要機材が少ないという利点がある。
表示装置は、本実施形態に係る情報処理装置により再生された撮像画像など、様々な画像を表示画面に表示することが可能な装置である。
第２の記憶装置は、本実施形態に係る情報処理装置における処理後のデータ（例えば、タグ情報および識別情報が対応付けられている撮像画像など）を記憶する装置である。なお、第１の記憶装置と第２の記憶装置とは、同一の装置であってもよい。
ここで、例えば図１に示す情報処理システム１０００のように、複数の撮像装置２００で撮像が行われる場合（すなわち、複数視点で撮像が行われる場合）には、記憶される撮像画像のデータ容量が大きくなる傾向にある。そのため、第２の記憶装置には、撮像画像を示すデータのうちの一部のデータのみが記憶されてもよい。一例を挙げると、第２の記憶装置には、再生条件として設定されたタグ情報と識別情報との一方または双方が対応付けられている撮像画像を示すデータが、上記一部のデータとして記憶される。なお、上記一部のデータの例が、上記に示す例に限られないことは、言うまでもない。また、第２の記憶装置に全ての撮像画像のデータが記憶されるか、または、第２の記憶装置に一部の撮像画像のデータが記憶されるかは、第２の記憶装置が記憶可能なデータ容量（例えば、第２の記憶装置が備える記録媒体の記憶容量）に基づき、手動でまたは自動的に選択されてもよい。
［２−１］情報処理装置１００
情報処理装置１００は、本実施形態に係る情報処理方法に係る処理を行う装置である。以下では、情報処理装置１００が、本実施形態に係る情報処理方法に係る対応付け処理および再生処理の双方を行う場合を例に挙げる。
図３は、本実施形態に係る情報処理装置１００の機能構成の一例を示すブロック図である。情報処理装置１００は、例えば、通信部１０２と、制御部１０４とを備える。
また、情報処理装置１００は、例えば、ＲＯＭ（Read Only Memory。図示せず）や、ＲＡＭ（Random Access Memory。図示せず）、記憶部（図示せず）、情報処理装置１００の使用者が操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）などを備えていてもよい。情報処理装置１００は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。
ＲＯＭ（図示せず）は、制御部１０４が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部１０４により実行されるプログラムなどを一時的に記憶する。
記憶部（図示せず）は、情報処理装置１００が備える記憶手段であり、例えば、本実施形態に係る情報処理方法に係るデータや、各種アプリケーションなどの、様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリなどが挙げられる。また、記憶部（図示せず）は、情報処理装置１００から着脱可能であってもよい。
操作部（図示せず）としては、後述する操作入力デバイスが挙げられる。また、表示部（図示せず）としては、後述する表示デバイスが挙げられる。
［情報処理装置１００のハードウェア構成例］
図４は、本実施形態に係る情報処理装置１００のハードウェア構成の一例を示す説明図である。情報処理装置１００は、例えば、ＭＰＵ１５０と、ＲＯＭ１５２と、ＲＡＭ１５４と、記録媒体１５６と、入出力インタフェース１５８と、操作入力デバイス１６０と、表示デバイス１６２と、通信インタフェース１６４とを備える。また、情報処理装置１００は、例えば、データの伝送路としてのバス１６６で各構成要素間を接続する。また、情報処理装置１００は、例えば、情報処理装置１００が備えているバッテリなどの内部電源から供給される電力、または、接続されている外部電源から供給される電力などによって、駆動する。
ＭＰＵ１５０は、例えば、ＭＰＵ（Micro Processing Unit）などの演算回路で構成される、１または２以上のプロセッサや、各種処理回路などで構成され、情報処理装置１００全体を制御する制御部１０４として機能する。また、ＭＰＵ１５０は、情報処理装置１００において、例えば、後述する対応付け処理部１１０および再生処理部１１２の役目を果たす。なお、対応付け処理部１１０と再生処理部１１２との一方または双方は、専用の（または汎用の）回路（例えば、ＭＰＵ１５０とは別体のプロセッサなど）で構成されていてもよい。
ＲＯＭ１５２は、ＭＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。ＲＡＭ１５４は、例えば、ＭＰＵ１５０により実行されるプログラムなどを一時的に記憶する。
記録媒体１５６は、記憶部（図示せず）として機能し、例えば、本実施形態に係る情報処理方法に係るデータや、各種アプリケーションなどの、様々なデータを記憶する。ここで、記録媒体１５６としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体１５６は、情報処理装置１００から着脱可能であってもよい。
入出力インタフェース１５８は、例えば、操作入力デバイス１６０や、表示デバイス１６２を接続する。操作入力デバイス１６０は、操作部（図示せず）として機能し、また、表示デバイス１６２は、表示部（図示せず）として機能する。ここで、入出力インタフェース１５８としては、例えば、ＵＳＢ（Universal Serial Bus）端子や、ＤＶＩ（Digital Visual Interface）端子、ＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）端子、各種処理回路などが挙げられる。
また、操作入力デバイス１６０は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。操作入力デバイス１６０としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクタ、あるいは、これらの組み合わせなどが挙げられる。
また、表示デバイス１６２は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。表示デバイス１６２としては、例えば、液晶ディスプレイや有機ＥＬディスプレイ（Organic Electro-Luminescence Display。または、ＯＬＥＤディスプレイ（Organic Light Emitting Diode Display）ともよばれる。）などが挙げられる。
なお、入出力インタフェース１５８が、情報処理装置１００の外部の操作入力デバイス（例えば、キーボードやマウスなど）や外部の表示デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス１６２は、例えばタッチパネルなど、表示とユーザ操作とが可能なデバイスであってもよい。
通信インタフェース１６４は、情報処理装置１００が備える通信手段であり、ネットワーク３００を介して（あるいは、直接的に）、撮像装置２００などの外部装置と、無線または有線で通信を行うための通信部１０２として機能する。ここで、通信インタフェース１６４としては、例えば、通信アンテナおよびＲＦ（Radio Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local Area Network）端子および送受信回路（有線通信）などが挙げられる。また、通信インタフェース１６４は、ネットワーク３００に対応する任意の構成であってもよい。
情報処理装置１００は、例えば図４に示す構成によって、本実施形態に係る情報処理方法に係る処理を行う。なお、本実施形態に係る情報処理装置１００のハードウェア構成は、図４に示す構成に限られない。
例えば、情報処理装置１００は、接続されている外部の通信デバイスを介して外部装置などと通信を行う場合には、通信インタフェース１６４を備えていなくてもよい。また、通信インタフェース１６４は、複数の通信方式によって、１または２以上の外部装置などと通信を行うことが可能な構成であってもよい。
また、情報処理装置１００は、例えば、撮像デバイスをさらに備えていてもよい。情報処理装置１００が撮像デバイスを備える場合、当該撮像デバイスは、撮像により撮像画像（動画像または静止画像）を生成する撮像部（図示せず）として機能する。また、情報処理装置１００が撮像デバイスを備える場合、情報処理装置１００は、撮像装置２００の役目を果たしうる。
また、情報処理装置１００は、例えば、スピーカなどの音声出力デバイスをさらに備えていてもよい。
また、情報処理装置１００は、例えば、記録媒体１５６、操作入力デバイス１６０、表示デバイス１６２のうちの一部または全部を備えない構成をとることが可能である。
また、情報処理装置１００は、例えば、後述する情報処理装置１００の適用例に応じた構成をとることが可能である。
また、例えば、図４に示す構成（または変形例に係る構成）の一部または全部は、１、または２以上のＩＣ（Integrated Circuit）で実現されてもよい。
再度図３を参照して、情報処理装置１００の構成の一例について説明する。通信部１０２は、情報処理装置１００が備える通信手段であり、ネットワーク３００を介して（あるいは、直接的に）、撮像装置２００などの外部装置と、無線または有線で通信を行う。また、通信部１０２は、例えば制御部１０４により通信が制御される。
ここで、通信部１０２としては、例えば、通信アンテナおよびＲＦ回路や、ＬＡＮ端子および送受信回路などが挙げられるが、通信部１０２の構成は、上記に限られない。例えば、通信部１０２は、ＵＳＢ端子および送受信回路などの通信を行うことが可能な任意の規格に対応する構成や、ネットワーク３００を介して外部装置と通信可能な任意の構成をとることができる。また、通信部１０２は、複数の通信方式によって、１または２以上の外部装置などと通信を行うことが可能な構成であってもよい。
制御部１０４は、例えばＭＰＵなどで構成され、情報処理装置１００全体を制御する役目を果たす。また、制御部１０４は、例えば、対応付け処理部１１０と、再生処理部１１２とを有し、本実施形態に係る情報処理方法に係る処理を主導的に行う役目を果たす。
［２−１−１］対応付け処理部１１０
対応付け処理部１１０は、本実施形態に係る情報処理方法に係る対応付け処理を主導的に行う役目を果たし、撮像画像にタグ情報と識別情報とを対応付ける。
対応付け処理部１１０は、例えば下記の（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）に示す４つの処理を行うことによって、撮像画像にタグ情報と識別情報とを対応付ける。
図５は、本実施形態に係る情報処理方法に係る対応付け処理の一例を示す流れ図である。以下、図１に示す情報処理システム１０００のように複数の撮像装置２００により複数の視点で撮像された、複数の撮像画像を処理する場合を例に挙げて、本実施形態に係る対応付け処理の一例を説明する。
（Ａ）被写体抽出処理（被写体解析処理）：図５のＳ１００
対応付け処理部１１０は、撮像画像から被写体を抽出する。
対応付け処理部１１０は、複数の撮像画像と、各撮像画像を撮像した撮像装置２００の状態情報に基づいて、各撮像画像に含まれるオブジェクトを三次元空間上のオブジェクトとして統合し、三次元データを生成する。
対応付け処理部１１０は、生成された三次元データに基づいて、例えば、ボールや選手などの被写体の位置推定に係る処理や、顔認識や背番号認識などの任意のオブジェクト認識技術に係る処理を行ない、被写体の位置の推定結果を示す位置情報と、被写体の認識結果を示す被写体情報とを生成する。また、対応付け処理部１１０は、三次元データに基づいて被写体の姿勢推定に係る処理を行なうことによって、被写体の姿勢の推定結果を示す姿勢情報を、さらに生成してもよい。姿勢情報が生成されることによって、後述するタグ情報の生成処理において、より精度が高い内容を示すタグ情報を生成することが可能となる。
なお、対応付け処理部１１０は、例えば、情報処理装置１００におけるプロセッサの処理能力、当該プロセッサの負荷状態、およびタグ情報が示す内容に対して求められる精度の設定のうちの一部または全部に基づいて、三次元データに基づき生成する情報の種類を変えてもよい。
三次元データに基づき生成される位置情報、被写体情報、および姿勢情報それぞれは、撮像画像に含まれる被写体に関連する情報である。また、三次元データは、撮像画像に基づき生成されたデータである。よって、三次元データに基づき位置情報、被写体情報、および姿勢情報が生成されることによって、撮像画像から被写体を抽出することができる。
対応付け処理部１１０は、例えば上記のような処理を行うことによって、撮像画像から被写体を抽出する。なお、上記では、撮像画像に基づき三次元データを生成する例を示したが、被写体抽出処理が、三次元データを生成する例に限られないことは、言うまでもない。
（Ｂ）被写体の軌跡の推定処理：図５のＳ１０２、Ｓ１０４
対応付け処理部１１０は、所定期間内に撮像された撮像画像に基づいて、撮像画像それぞれから抽出される被写体の軌跡を推定する。図５に示す例では、ボール（被写体の一例）の軌跡が推定され（Ｓ１０２）、選手（被写体の他の例）の軌跡が推定される（Ｓ１０４）。
所定期間内に撮像された撮像画像としては、例えば、所定期間内に撮像されたフレーム画像（撮像画像が動画像の場合）と、所定期間内に撮像された静止画像（撮像画像が静止画像の場合）との一方または双方が、挙げられる。所定期間は、予め設定されている固定の期間（例えば、撮像画像の撮像開始時間から撮像終了時間までの期間など）であってもよいし、ユーザの操作などに基づき設定された可変の期間であってもよい。
撮像画像が動画像である場合を例に挙げると、対応付け処理部１１０は、例えば、被写体の位置情報および被写体情報を一定の複数フレーム分の情報として処理することによって、ボールの軌跡および選手の軌跡それぞれを推定する。
なお、対応付け処理部１１０は、例えば推定された被写体の軌跡を微分することによって、被写体の動きを示す動き情報をさらに生成してもよい。動き情報を生成することによって、後述するタグ情報の生成処理において、より精度が高い内容を示すタグ情報を生成することが可能となる。一例を挙げると、本実施形態に係る情報処理方法が、テニスが行われる領域（スポーツが行われる領域の一例）を撮像装置で撮像する場合に適用される場合、対応付け処理部１１０は、生成されたボールの動き情報を用いることによって、ストロークの瞬間を判定することが可能である。具体的には、ボールの速度ベクトルが、速度の大きさと方向との双方が変化したときに、ストロークの瞬間を判定することができる。
（Ｃ）タグ情報の生成処理：図５のＳ１０６
対応付け処理部１１０は、推定された被写体の軌跡に基づきタグ情報を生成し、生成されたタグ情報を撮像画像に対応付ける。対応付け処理部１１０は、例えば生成したタグ情報を撮像画像のメタデータとして記録することによって、タグ情報を撮像画像に対応付ける。
本実施形態に係る情報処理方法が、バスケットボールが行われる領域を撮像装置２００で撮像する場合に適用される場合、タグ情報の生成処理は、ステップＳ１０６に示すように、撮像されたプレーに対してタグ情報を対応付ける処理に該当する。
図６は、本実施形態に係るタグ情報の一例を示す説明図であり、バスケットボールが行われる領域が撮像装置２００により撮像される場合におけるタグ情報の一例を示している。図６は、複数のタグ情報がテーブル形式で記録されているデータである例を示しており、図６に示すテーブルの各行が、タグ情報に該当する。
タグ情報には、例えば、時間（図６のＡ）、抽出された被写体それぞれの位置（図６のＢ、図６のＣ）、およびタグ情報の内容（図６のＤ）が、対応付けて記録される。抽出された被写体は、被写体情報が示す被写体に該当し、抽出された被写体それぞれの位置は、位置情報が示す位置に該当する。タグ情報に時間（図６のＡ）とタグ情報の内容（図６のＤ）とが含まれることによって、撮像画像とタグ情報の内容（図６のＤ）とが対応付けられる。また、タグ情報に抽出された被写体それぞれの位置（図６のＢ、図６のＣ）が含まれることによって、後述する再生処理において、被写体を含む一部の領域を切り出す処理などを容易に行うことが可能となる。
なお、本実施形態に係るタグ情報は、図６に示す例に限られない。
例えば、タグ情報には、抽出された被写体それぞれの位置（図６のＢ、図６のＣ）が含まれていなくてもよい。抽出された被写体それぞれの位置（図６のＢ、図６のＣ）がタグ情報に含まれない場合であっても、時間（図６のＡ）とタグ情報の内容（図６のＤ）とによって、撮像画像とタグ情報の内容（図６のＤ）とを対応付けることが可能である。
また、タグ情報がテーブル形式のデータに限られないこと、およびタグ情報に記録される被写体の数およびタグ情報の内容が、図６に示すようなバスケットボールに対応するものに限られないことは、言うまでもない。
対応付け処理部１１０は、例えば、設定されているタグ情報の生成規則に従って、タグ情報を生成する。つまり、対応付け処理部１１０は、例えばルールベースでタグ情報を生成する。タグ情報の生成規則は、予め設定されている固定の規則であってもよいし、ユーザの操作などに基づき変更可能な可変の規則であってもよい。
図７は、本実施形態に係る情報処理方法に係る対応付け処理におけるタグ情報の生成処理の一例を示す説明図である。図７のＡは、最終的に生成されるタグ情報の内容の一例を示している。図７のＢは、中間的に生成されるタグ情報の内容の一例を示している。図７では、複数フレームのフレーム画像における被写体の位置情報を扱う処理ウィンドウの一例を示している。
本実施形態に係る情報処理方法が、バスケットボールが行われる領域を撮像装置２００で撮像する場合に適用される場合を例に挙げると、タグ情報の生成規則としては、例えば下記に示す例が挙げられる。バスケットボールが行われる領域が撮像される撮像画像に対しては、例えば、ボールキープ、ドリブル、パス、シュート、スローイン、タッチラインアウト、ゴール、ファウルという８つのプレーに対して、タグ情報が生成される。ここで、ボールキープ、ドリブル、パス、シュートは、関連が続くプレーであると捉えることができ、スローイン、タッチラインアウト、ゴール、ファウルそれぞれは、他のプレーとの関連が途切れるプレーであると捉えることができる。なお、バスケットボールが行われる領域を撮像装置２００で撮像する場合に適用される場合におけるタグ情報の生成規則が、下記に示す例に限られないことは、言うまでもない。
・ボールキープ：処理ウィンドウ内の半分以上のフレームで、ボールの位置と選手の位置が一定の閾値以内の距離に存在し、選手が移動していない
・ドリブル：処理ウィンドウ内の半分以上のフレームで、ボールの位置と選手の位置が一定の閾値以内の距離に存在し、選手が移動している
・パス：処理ウィンドウ内のフレームで、ボールの位置が二人の選手の間を移動し、それぞれの選手が1フレーム以上ボールキープしている
・シュート：処理ウィンドウ内のフレームで、ボールの位置が選手とゴールの間を移動し、選手が1フレーム以上ボールキープしている
・スローイン：処理ウィンドウ内のフレームで、ボールの位置がコート外からコート内へ入ったフレームを含んでいる
・タッチラインアウト：処理ウィンドウ内のフレームで、ボールの位置がコート内からコート外へ出たフレームを含んでいる
・ゴール：処理ウィンドウ内のフレームで、ボールの位置がゴールの位置と完全に重なるフレームを含んでいる
・ファウル：処理ウィンドウ内の半分以上のフレームで、ボールの位置と審判の位置が一定の閾値以内の距離に存在している
複数フレームの位置情報を扱う処理ウィンドウの中で、ボール位置と選手位置から上記の各プレーに対応するタグ情報が中間的に付与される。対応付け処理部１１０は、各時間で複数のプレーに対応するタグ情報を生成し、付与されたプレーに対応するタグ情報が一番多いものを、その該当時間のプレーに対応するタグ情報とする。付与された数が一番多いプレーに対応するタグ情報が、複数存在する場合、対応付け処理部１１０は、例えば、その該当時間のプレーに対応するタグ情報が示す内容を“タグなし”とする。なお、付与された数が一番多いプレーに対応するタグ情報が、複数存在する場合、対応付け処理部１１０は、付与された数が一番多いプレーに対応するタグ情報の一部または全部を、その該当時間のプレーに対応するタグ情報としてもよい。
なお、タグ情報の生成処理は、ルールベースでタグ情報を生成する処理に限られない。例えば、対応付け処理部は、機械学習によりタグ情報を生成してもよい。タグ情報の生成に係る機械学習としては、例えば、Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋの一種であるＲＮＮ（Recurrent Neural Network）や、弱学習器を組み合わせたＲａｎｄｏｍ Ｆｏｒｅｓｔ、線形識別器であるＳＶＭ（Support Vector Machine）などを用いた学習が、挙げられる。これらの機械学習は、非常に幅広く応用が利く一方、十分な判定性能を得るためには数多くの学習データと同時に正解ラベリングデータが必要になることがある。タグ情報の生成処理に機械学習を用いる場合、必要な判定精度と汎用性に応じて、機械学習方法を選択すればよい。
（Ｄ）識別情報の生成処理：図５のＳ１０８
対応付け処理部１１０は、タグ情報の生成処理において生成された複数のタグ情報を関連付け、関連付られた複数のタグ情報に対する識別情報を生成する。そして、対応付け処理部１１０は、生成された識別情報を撮像画像に対応付ける。対応付け処理部１１０は、例えば生成した識別情報を撮像画像のメタデータとして記録することによって、識別情報を撮像画像に対応付ける。
関連付られた複数のタグ情報に対して共通の識別情報が付与されることによって、タグ情報を固有の識別情報で関連付けて管理することが可能となる。また、関連付られた複数のタグ情報に対して共通の識別情報が付与されることによって、後述する再生処理などにおいて、タグ情報のつながりを利用する処理を行うことが可能となる。
本実施形態に係る情報処理方法が、バスケットボールが行われる領域を撮像装置２００で撮像する場合に適用される場合、識別情報の生成処理は、ステップＳ１０８に示すように、撮像されたプレーに対して識別情報を対応付ける処理に該当する。
対応付け処理部１１０は、例えば、設定されているタグ情報の関連付け規則に従って複数のタグ情報を関連付ける。つまり、対応付け処理部１１０は、例えばルールベースで識別情報を生成する。識別情報の関連付け規則は、予め設定されている固定の規則であってもよいし、ユーザの操作などに基づき変更可能な可変の規則であってもよい。
図８〜図１０は、本実施形態に係る情報処理方法に係る対応付け処理における識別情報の生成処理の一例を示す説明図であり、タグ情報の関連付け規則に従った関連付けの一例をそれぞれ示している。
図８に示すように、同一の選手においてドリブルとシュートが連続しているときに、当該ドリブルに対応するタグ情報と当該シュートに対応するタグ情報とに対して、同一のＩＤ（識別情報の一例）を付与する。つまり、図８は、“ドリブル＋シュート”のパターンを関連付ける関連付け規則に従った、関連付けの一例である。
図９に示すように、選手、およびチームの異同に関わらず、ゴール判定前のプレーに対しては、設定されるタグ情報の数分、タグ情報を関連付け、これらに対して同一のＩＤ（識別情報の一例）を付与する。図９では、設定されるタグ情報の数が３である例を示しているが、関連付け規則に係るタグ情報の数は、図９に示す例に限られない。つまり、図９は、ゴール判定されたときに設定されるタグ情報の数分のタグ情報を関連付ける関連付け規則に従った、関連付けの一例である。
図１０は、“パスが異なるチームの選手に出されたときは関連付けを行わない”という関連付け規則に従った、関連付けの一例である。図１０に示すように、タグ情報の関連付け規則には、タグ情報を関連付けない規則が含まれていてもよい。
対応付け処理部１１０は、例えば図８〜図１０に示すような関連付け規則に従って、タグ情報を関連付け、関連付けられたタグ情報に対する識別情報を生成する。ここで、関連付け規則には優先度が設定され、対応付け処理部１１０は、優先度がより高い関連付け規則に従って、タグ情報を関連付けてもよい。
なお、本実施形態に係るタグ情報の関連付け規則は、上記に示す例に限られない。
例えば、対応付け処理部１１０は、“一のタグ情報に含まれるプレーの終了時刻と、他のタグ情報に含まれるプレーの開始時刻の差、および”“当該一のタグ情報に含まれる被写体の位置と、当該他のタグ情報に含まれる被写体の位置との距離”それぞれが、設定されている閾値以内であるときに、これらのタグ情報を関連するタグ情報としてもよい。
なお、識別情報の生成処理は、ルールベースで識別情報を生成する処理に限られない。例えば、対応付け処理部は、機械学習により識別情報を生成してもよい。識別情報の生成に係る機械学習としては、例えば、Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋの一種であるＲＮＮや、弱学習器を組み合わせたＲａｎｄｏｍ Ｆｏｒｅｓｔ、線形識別器であるＳＶＭなどを用いた学習が、挙げられる。識別情報の生成処理に機械学習を用いる場合、タグ情報の生成処理に機械学習を用いる場合と同様に、必要な判定精度と汎用性に応じて、機械学習方法を選択すればよい。
対応付け処理部１１０は、例えば上記の（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）に示す４つの処理を行うことによって、撮像画像にタグ情報と識別情報とを対応付ける。なお、上記の（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）に示す４つの処理は、本実施形態に係る対応付け処理を便宜上切り分けたものであり、本実施形態に係る対応付け処理の切り分け方は、上記に示す例に限られない。
［２−１−２］再生処理部１１２
再生処理部１１２は、上述した本実施形態に係る情報処理方法に係る再生処理を主導的に行う役目を果たし、タグ情報と識別情報とが対応付けられている撮像画像を、設定される再生条件に基づき再生する。
上述したように、再生条件は、ユーザの操作に基づき設定され、または、撮像画像に関連するメタ情報に基づき設定される。また、上述したように、再生条件には、タグ情報に関する条件と識別情報に関する条件との一方または双方が、含まれうる。
ユーザの操作に基づいて、タグ情報に関する条件が再生条件として設定される場合を例に挙げると、ユーザは、細かく再生条件を設定することができるため、ユーザが再生させたいシーンを再生させることができる。このとき、ゴールやフリースローなどのキーとなるイベントを選択させた後に、個別のプレーに対応するタグ情報を選択させるようにすれば、ユーザが再生条件の設定に係る操作を行う上での煩雑さを、軽減することが可能である。
ユーザの操作に基づいて、識別情報に関する条件が再生条件として設定される場合を例に挙げると、ユーザは、識別情報に関する条件を設定すれば、識別情報により関連付けられている一連のプレーに対応するシーンを再生させることができる。よって、識別情報に関する条件が再生条件として設定される場合には、上記タグ情報に関する条件が再生条件として設定される場合よりも、より簡便にユーザが再生させたいシーンを再生させることが可能となる。このとき、ゴールやフリースローなどのキーとなるイベントを選択させた後に、識別情報を選択させるようにすれば、イベントにつながったプレーを途切れることなく再生させることができる。
ユーザの操作に基づいて、タグ情報に関する条件および識別情報に関する条件が再生条件として設定される場合には、ユーザは、識別情報により関連付けられている一連のプレーに対応するシーンのうちの、タグ情報に対応する一部のプレーを再生させることができる。
ユーザ操作に基づき上記のような再生条件が設定されることによって、ユーザは、時間方向のアナログ的な再生領域の設定をする煩雑さから解放され、撮像画像の再生における利便性は向上する。
撮像画像に関連するメタ情報に基づき再生条件が設定される場合を一例に挙げると、再生処理部１１２は、盛り上がり情報（メタ情報の一例）に基づいて、盛り上がっていると判定された時点に対応する識別情報に関する条件を自動的に設定する。上記のように自動的に再生条件が設定されることによって、再生処理部１１２は、ユーザの操作を必要とせずに、盛り上がっているところから一連のプレーに対応するシーンを再生することができる。また、上記のように自動的に再生条件が設定されることによって、撮像画像の自動的なループを実現することが可能である。
撮像画像に関連するメタ情報に基づき再生条件が設定される場合を他の例に挙げると、再生処理部１１２は、撮像画像の再生履歴を示すデータに基づいて、基準となるイベントや当該イベントからどの位のタグ情報単位のプレーが再生されているかを特定し、特定結果に対応する再生条件を自動的に設定する。上記のように自動的に再生条件が設定されることによって、再生処理部１１２は、自動的にお薦めのシーンを再生することができる。また、上記のように自動的に再生条件が設定されることによって、撮像画像の自動的なループを実現することが可能である。
なお、本実施形態に係る再生処理は、上記に示す例に限られない。再生処理部１１２は、再生処理として、例えば下記の（ａ）の処理と下記の（ｂ）の処理の一方または双方を、さらに行ってもよい。
（ａ）撮像装置２００の選択処理
例えば、図１に示す情報処理システム１０００のように異なる視点で撮像を行う複数の撮像装置２００が存在する場合には、再生処理部１１２は、選択された撮像装置２００により撮像された撮像画像を再生してもよい。
撮像装置２００は、例えばユーザの操作に基づき選択される。この場合、再生処理部１１２は、ユーザの操作に基づき選択された撮像装置２００により撮像された撮像画像を再生する。
また、撮像装置２００は、タグ情報と識別情報との一方または双方が選択されることによって選択されてもよい。上述したように、再生条件には、タグ情報に関する条件と識別情報に関する条件との一方または双方が含まれうる。よって、再生処理部１１２は、再生条件の設定と連動して自動的に撮像装置２００を選択し、選択された撮像装置２００により撮像された撮像画像を再生することも可能である。
ここで、タグ情報（識別情報から間接的に特定されるタグ情報も含む）に基づき撮像装置２００を選択する場合、再生処理部１１２は、例えば、位置情報が示す被写体の位置と、被写体情報が示す内容との一方または双方に基づいて、被写体が近い撮像装置２００や、被写体の顔が撮像されている撮像装置２００を、選択する。上記のように撮像装置２００が選択されることによって、再生処理部１１２は、プレーが映っている可能性がより高い撮像画像を再生することができる。
なお、撮像装置２００は、ユーザの操作と、タグ情報と識別情報との一方または双方が選択されることとの双方により選択されてもよい。ユーザの操作と、タグ情報と識別情報との一方または双方が選択されることとの双方により選択される撮像装置２００の一例としては、“タグ情報と識別情報との一方または双方が選択されることにより設定された後、ユーザの操作に基づき変更される撮像装置２００”が、挙げられる。
（ｂ）切り出し処理（画像クロッピング処理）
再生処理部１１２は、再生する撮像画像から、再生する撮像画像に対応付けられているタグ情報に対応する被写体を含む一部の領域を切り出す。
図１１は、本実施形態に係る情報処理方法に係る再生処理における切り出し処理の一例を示す説明図である。図１１のＡは、ある時点に撮像された撮像画像（フレーム画像または静止画像）の一例を示している。図１１のＢは、図１１のＡに示す撮像画像から切り出された画像（静止画像）の一例を示している。
例えば図６に示すように、タグ情報には、抽出された被写体それぞれの位置が含まれうる。再生処理部１１２は、例えば再生する撮像画像に対応付けられているタグ情報に含まれる抽出された被写体それぞれの位置を参照して、撮像画像から特定の領域を切り出すこと（撮像画像から特定の領域をクロッピングすること）によって、図１１のＡに示す撮像画像から図１１のＢに示す画像を得る。
再生処理部１１２が上記のような切り出し処理を行うことによって、例えば、自動記事生成における見出し画像の生成を、実現することができる。なお、切り出し処理が適用される用途が、上記に示す例に限られないことは、言うまでもない。
制御部１０４は、例えば、対応付け処理部１１０を有することにより、本実施形態に係る情報処理方法に係る対応付け処理を主導的に行う役目を果たす。また、制御部１０４は、例えば、再生処理部１１２を有することにより、本実施形態に係る情報処理方法に係る再生処理を主導的に行う役目を果たす。
なお、制御部１０４の機能構成は、図３に示す例に限られない。
例えば、制御部１０４は、本実施形態に係る情報処理方法に係る処理の切り分け方に応じた構成など、情報処理装置１００が有する機能の切り分け方に応じた、任意の構成を有することが可能である。
一例を挙げると、情報処理装置１００が対応付け処理を行う機能を有さない場合、制御部１０４は、対応付け処理部１１０を有していなくてもよい。他の例を挙げると、情報処理装置１００が再生処理を行う機能を有さない場合、制御部１０４は、再生処理部１１２を有していなくてもよい。
情報処理装置１００は、例えば図３に示す構成によって、本実施形態に係る情報処理方法に係る処理を行う。したがって、情報処理装置１００は、例えば図３に示す構成によって、撮像画像の再生における利便性の向上を図ることができる。
また、例えば図３に示す構成によって、情報処理装置１００は、本実施形態に係る情報処理方法に係る処理が行われることにより奏される効果を、奏することができる。
なお、本実施形態に係る情報処理装置の構成は、図３に示す構成に限られない。
例えば、本実施形態に係る情報処理装置は、図３に示す対応付け処理部１１０と再生処理部１１２との一方または双方を、制御部１０４とは個別に備える（例えば、別の処理回路で実現する）ことができる。
また、本実施形態に係る情報処理方法に係る処理を実現するための構成は、図３に示す構成に限られず、本実施形態に係る情報処理方法に係る処理の切り分け方に応じた構成など、情報処理装置１００が有する機能の切り分け方に応じた、任意の構成を有することが可能である。
一例を挙げると、本実施形態に係る情報処理装置は、図３に示す対応付け処理部１１０と再生処理部１１２との一方を有さない構成をとることが可能である。
他の例を挙げると、本実施形態に係る情報処理装置は、上述した“第１の記憶装置、パラメータ記憶装置、撮像装置２００のキャリブレーション処理装置、入力装置、表示装置、および第２の記憶装置それぞれが有する機能”のうちの一部または全部を行う構成を、有していてもよい。
また、例えば、通信部１０２と同様の機能、構成を有する外部の通信デバイスを介して外部装置と通信を行う場合には、本実施形態に係る情報処理装置は、通信部１０２を備えていなくてもよい。
［２−２］撮像装置２００
撮像装置２００は、例えばスポーツが行われる領域などの、撮像対象の領域を撮像するように配置される撮像装置であり、撮像により撮像画像（動画像または静止画像）を生成する。
撮像装置２００は、例えば、レンズ／撮像素子と信号処理回路とを含んで構成される。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を複数用いたイメージセンサとで構成される。信号処理回路は、例えば、ＡＧＣ（Automatic Gain Control）回路やＡＤＣ（Analog to Digital Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換する。また、信号処理回路は、例えばＲＡＷ現像に係る各種処理を行う。さらに、信号処理回路は、例えば、Ｗｈｉｔｅ Ｂａｌａｎｃｅ補正処理や、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理など各種信号処理を行ってもよい。さらに、撮像装置２００では、信号処理回路の演算リソースを利用して、任意の画像処理を行うことが可能であってもよい。
また、撮像装置２００は、例えば、通信デバイスを備え、または、外部の通信デバイスが接続される。撮像装置２００は、備えている通信デバイス、または、接続されている外部の通信デバイスによって、ネットワーク３００を介して（あるいは、直接的に）、情報処理装置１００などの外部装置と、無線または有線で通信を行う。
また、撮像装置２００は、表示デバイスを備えていてもよいし、外部の表示デバイスが接続されていてもよい。
なお、撮像装置２００の構成は、上記に示す例に限られず、後述する撮像装置２００の適用例に応じた構成をとることが可能である。
［３］本実施形態に係る情報処理方法が用いられることにより奏される効果の一例
本実施形態に係る情報処理方法が用いられることによって、例えば下記に示す効果が奏される。なお、本実施形態に係る情報処理方法が用いられることにより奏される効果が、下記に示す例に限られないことは、言うまでもない。
・ボール位置と選手位置からスポーツのプレーを自動でデータ化することが可能になり、ユーザの手間を軽減することが可能になる。
・スポーツのプレーをデータ化することによって、試合内容のスコアリングを自動で行うことが可能になる。また、試合の勝敗を分けるプレーなど、より抽象的なタグ情報の撮像画像への対応付け、また当該タグ情報を利用した自動記事生成の見出し画像やプレーの振り返り動画像を、簡易に撮像画像から生成することが可能になる。
・スポーツのプレーをタグ情報としてデータ化することによって、一つ一つ時間の長さが異なるプレーを一つのデータ単位として扱えるようになる。よって、ダイジェスト再生やプレー振り返りのためのループ再生を、より簡易に実現することができる。
［４］本実施形態に係る情報処理システムを構成する各装置の適用例
以上、本実施形態に係る情報処理システムの構成要素として、情報処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、“ＰＣ（Personal Computer）やサーバなどのコンピュータ”や、“タブレット型の装置”、“ゲーム機”、“デジタルスチルカメラやデジタルビデオカメラなどのカメラ”など、本実施形態に係る情報処理方法に係る処理を行うことが可能な、様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理ＩＣに適用することもできる。
また、本実施形態に係る情報処理装置は、例えばクラウドコンピューティングなどのように、ネットワークへの接続（または各装置間の通信）を前提とした処理システムに適用されてもよい。本実施形態に係る情報処理方法に係る処理が行われる処理システムの一例としては、例えば“処理システムを構成する一の装置によって本実施形態に係る情報処理方法に係る処理の一部の処理が行われ、処理システムを構成する他の装置によって本実施形態に係る情報処理方法に係る処理の当該一部の処理以外の処理が行われるシステム”などが、挙げられる。
また、本実施形態に係る情報処理システムの構成要素として、撮像装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、“デジタルスチルカメラやデジタルビデオカメラなどのカメラ”や、“スマートホンや携帯電話などの撮像を行うことが可能な通信装置”、“撮像を行うことが可能なタブレット型の装置”、“撮像を行うことが可能なゲーム機”など、撮像機能を有する任意の装置が、挙げられる。また、上述したように、本実施形態に係る情報処理システムでは、本実施形態に係る情報処理装置が撮像装置の役目を果たしてもよい。
（本実施形態に係るプログラム）
コンピュータシステムを、本実施形態に係る情報処理装置として機能させるためのプログラム（例えば、“対応付け処理”、“再生処理”、または、“対応付け処理および再生処理”などの、本実施形態に係る情報処理方法に係る処理を実行することが可能なプログラム）が、コンピュータシステムにおいてプロセッサなどにより実行されることによって、撮像画像の再生における利便性の向上を図ることができる。ここで、本実施形態に係るコンピュータシステムとしては、単体のコンピュータ、または、複数のコンピュータが挙げられる。本実施形態に係るコンピュータシステムによって、本実施形態に係る情報処理方法に係る一連の処理が行われる。
また、コンピュータシステムを、本実施形態に係る情報処理装置として機能させるためのプログラムが、コンピュータシステムにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る情報処理方法に係る処理によって奏される効果を、奏することができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記では、コンピュータシステムを、本実施形態に係る情報処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
被写体に関するタグ情報と、複数の前記タグ情報の関連付けを示す識別情報とが対応付けられている撮像画像を、設定される再生条件に基づき再生する再生処理部を備える、情報処理装置。
（２）
前記再生条件には、前記タグ情報に関する条件と前記識別情報に関する条件との一方または双方が、含まれる、（１）に記載の情報処理装置。
（３）
前記再生条件は、ユーザの操作に基づき設定される、（１）または（２）に記載の情報処理装置。
（４）
前記再生条件は、前記撮像画像に関連するメタ情報に基づき設定される、（１）〜（３）のいずれか１つに記載の情報処理装置。
（５）
前記再生処理部は、選択された撮像装置により撮像された前記撮像画像を再生する、（１）〜（４）のいずれか１つに記載の情報処理装置。
（６）
前記撮像装置は、ユーザの操作に基づき選択される、（５）に記載の情報処理装置。
（７）
前記撮像装置は、前記タグ情報と前記識別情報との一方または双方が選択されることによって選択される、（５）または（６）に記載の情報処理装置。
（８）
前記再生処理部は、再生する前記撮像画像から、再生する前記撮像画像に対応付けられている前記タグ情報に対応する被写体を含む一部の領域を切り出す、（１）〜（７）のいずれか１つに記載の情報処理装置。
（９）
撮像装置により撮像された撮像画像に対して、前記タグ情報と前記識別情報とを対応付ける対応付け処理部を、さらに備える、（１）〜（８）のいずれか１つに記載の情報処理装置。
（１０）
撮像装置により撮像された撮像画像に、被写体に関するタグ情報と、複数の前記タグ情報の関連付けを示す識別情報とを対応付ける対応付け処理部を備える、情報処理装置。
（１１）
前記対応付け処理部は、
前記撮像画像から被写体を抽出し、
所定期間内に撮像された前記撮像画像に基づいて、前記撮像画像それぞれから抽出される前記被写体の軌跡を推定し、
推定された前記被写体の軌跡に基づき前記タグ情報を生成し、
生成された前記タグ情報を前記撮像画像に対応付ける、（１０）に記載の情報処理装置。
（１２）
前記対応付け処理部は、設定されている前記タグ情報の生成規則に従って、前記タグ情報を生成する、（１１）に記載の情報処理装置。
（１３）
前記対応付け処理部は、機械学習により前記タグ情報を生成する、（１１）に記載の情報処理装置。
（１４）
前記対応付け処理部は、設定されている前記タグ情報の関連付け規則に従って複数の前記タグ情報を関連付け、関連付られた複数の前記タグ情報に対する前記識別情報を生成し、
生成された前記識別情報を前記撮像画像に対応付ける、（１１）〜（１３）のいずれか１つに記載の情報処理装置。
（１５）
前記対応付け処理部は、機械学習により複数の前記タグ情報を関連付け、関連付られた複数の前記タグ情報に対する前記識別情報を生成し、
生成された前記識別情報を前記撮像画像に対応付ける、（１１）〜（１３）のいずれか１つに記載の情報処理装置。
（１６）
被写体に関するタグ情報と、複数の前記タグ情報の関連付けを示す識別情報とが対応付けられている撮像画像を、設定される再生条件に基づき再生するステップを有する、情報処理装置により実行される情報処理方法。
（１７）
撮像装置により撮像された撮像画像に、被写体に関するタグ情報と、複数の前記タグ情報の関連付けを示す識別情報とを対応付けるステップを有する、情報処理装置により実行される情報処理方法。
（１８）
被写体に関するタグ情報と、複数の前記タグ情報の関連付けを示す識別情報とが対応付けられている撮像画像を、設定される再生条件に基づき再生する機能を、コンピュータに実現させるためのプログラム。
（１９）
撮像装置により撮像された撮像画像に、被写体に関するタグ情報と、複数の前記タグ情報の関連付けを示す識別情報とを対応付ける機能を、コンピュータに実現させるためのプログラム。
１００ 情報処理装置
１０２ 通信部
１０４ 制御部
１１０ 対応付け処理部
１１２ 再生処理部
２００、２００Ａ、２００Ｂ、２００Ｃ 撮像装置
３００ ネットワーク
１０００ 情報処理システム

Claims (19)

  1. 被写体に関するタグ情報と、複数の前記タグ情報の関連付けを示す識別情報とが対応付けられている撮像画像を、設定される再生条件に基づき再生する再生処理部を備える、情報処理装置。
  2. 前記再生条件には、前記タグ情報に関する条件と前記識別情報に関する条件との一方または双方が、含まれる、請求項１に記載の情報処理装置。
  3. 前記再生条件は、ユーザの操作に基づき設定される、請求項１に記載の情報処理装置。
  4. 前記再生条件は、前記撮像画像に関連するメタ情報に基づき設定される、請求項１に記載の情報処理装置。
  5. 前記再生処理部は、選択された撮像装置により撮像された前記撮像画像を再生する、請求項１に記載の情報処理装置。
  6. 前記撮像装置は、ユーザの操作に基づき選択される、請求項５に記載の情報処理装置。
  7. 前記撮像装置は、前記タグ情報と前記識別情報との一方または双方が選択されることによって選択される、請求項５に記載の情報処理装置。
  8. 前記再生処理部は、再生する前記撮像画像から、再生する前記撮像画像に対応付けられている前記タグ情報に対応する被写体を含む一部の領域を切り出す、請求項１に記載の情報処理装置。
  9. 撮像装置により撮像された撮像画像に対して、前記タグ情報と前記識別情報とを対応付ける対応付け処理部を、さらに備える、請求項１に記載の情報処理装置。
  10. 撮像装置により撮像された撮像画像に、被写体に関するタグ情報と、複数の前記タグ情報の関連付けを示す識別情報とを対応付ける対応付け処理部を備える、情報処理装置。
  11. 前記対応付け処理部は、
    前記撮像画像から被写体を抽出し、
    所定期間内に撮像された前記撮像画像に基づいて、前記撮像画像それぞれから抽出される前記被写体の軌跡を推定し、
    推定された前記被写体の軌跡に基づき前記タグ情報を生成し、
    生成された前記タグ情報を前記撮像画像に対応付ける、請求項１０に記載の情報処理装置。
  12. 前記対応付け処理部は、設定されている前記タグ情報の生成規則に従って、前記タグ情報を生成する、請求項１１に記載の情報処理装置。
  13. 前記対応付け処理部は、機械学習により前記タグ情報を生成する、請求項１１に記載の情報処理装置。
  14. 前記対応付け処理部は、設定されている前記タグ情報の関連付け規則に従って複数の前記タグ情報を関連付け、関連付られた複数の前記タグ情報に対する前記識別情報を生成し、
    生成された前記識別情報を前記撮像画像に対応付ける、請求項１１に記載の情報処理装置。
  15. 前記対応付け処理部は、機械学習により複数の前記タグ情報を関連付け、関連付られた複数の前記タグ情報に対する前記識別情報を生成し、
    生成された前記識別情報を前記撮像画像に対応付ける、請求項１１に記載の情報処理装置。
  16. 被写体に関するタグ情報と、複数の前記タグ情報の関連付けを示す識別情報とが対応付けられている撮像画像を、設定される再生条件に基づき再生するステップを有する、情報処理装置により実行される情報処理方法。
  17. 撮像装置により撮像された撮像画像に、被写体に関するタグ情報と、複数の前記タグ情報の関連付けを示す識別情報とを対応付けるステップを有する、情報処理装置により実行される情報処理方法。
  18. 被写体に関するタグ情報と、複数の前記タグ情報の関連付けを示す識別情報とが対応付けられている撮像画像を、設定される再生条件に基づき再生する機能を、コンピュータに実現させるためのプログラム。
  19. 撮像装置により撮像された撮像画像に、被写体に関するタグ情報と、複数の前記タグ情報の関連付けを示す識別情報とを対応付ける機能を、コンピュータに実現させるためのプログラム。
JP2020509688A 2018-03-26 2019-01-10 情報処理装置、情報処理方法、およびプログラム Pending JPWO2019187493A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018057833 2018-03-26
JP2018057833 2018-03-26
PCT/JP2019/000594 WO2019187493A1 (ja) 2018-03-26 2019-01-10 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
JPWO2019187493A1 true JPWO2019187493A1 (ja) 2021-04-22

Family

ID=68058047

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020509688A Pending JPWO2019187493A1 (ja) 2018-03-26 2019-01-10 情報処理装置、情報処理方法、およびプログラム

Country Status (4)

Country Link
US (1) US11749309B2 (ja)
EP (1) EP3780643A4 (ja)
JP (1) JPWO2019187493A1 (ja)
WO (1) WO2019187493A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7479184B2 (ja) 2020-04-21 2024-05-08 株式会社Ｎｔｔドコモ 情報処理装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010183302A (ja) * 2009-02-04 2010-08-19 Sony Corp 映像処理装置、映像処理方法及びプログラム
JP2013183233A (ja) * 2012-02-29 2013-09-12 Jvc Kenwood Corp 画像処理装置、画像処理方法、及びプログラム
WO2014024475A1 (ja) * 2012-08-10 2014-02-13 パナソニック株式会社 映像提供方法、送信装置および受信装置
WO2017051063A1 (en) * 2015-09-23 2017-03-30 Nokia Technologies Oy Video content selection

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8250171B2 (en) * 2007-06-22 2012-08-21 Pioneer Corporation Content delivery apparatus, content delivery method, and content delivery program
US20130326338A1 (en) * 2007-09-07 2013-12-05 Adobe Systems Incorporated Methods and systems for organizing content using tags and for laying out images
US20110016150A1 (en) * 2009-07-20 2011-01-20 Engstroem Jimmy System and method for tagging multiple digital images
US20130086112A1 (en) * 2011-10-03 2013-04-04 James R. Everingham Image browsing system and method for a digital content platform
US9056253B2 (en) * 2013-05-22 2015-06-16 David S. Thompson Fantasy sports interleaver
US9641761B2 (en) * 2014-07-14 2017-05-02 Samsung Electronics Co., Ltd Electronic device for playing-playing contents and method thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010183302A (ja) * 2009-02-04 2010-08-19 Sony Corp 映像処理装置、映像処理方法及びプログラム
JP2013183233A (ja) * 2012-02-29 2013-09-12 Jvc Kenwood Corp 画像処理装置、画像処理方法、及びプログラム
WO2014024475A1 (ja) * 2012-08-10 2014-02-13 パナソニック株式会社 映像提供方法、送信装置および受信装置
WO2017051063A1 (en) * 2015-09-23 2017-03-30 Nokia Technologies Oy Video content selection

Also Published As

Publication number Publication date
EP3780643A4 (en) 2021-02-24
WO2019187493A1 (ja) 2019-10-03
US20210110849A1 (en) 2021-04-15
EP3780643A1 (en) 2021-02-17
US11749309B2 (en) 2023-09-05

Similar Documents

Publication Publication Date Title
US11423653B2 (en) Systems and methods for generating media content
US11247114B2 (en) Information processing device, storage medium, and information processing method
JP6610689B2 (ja) 情報処理装置、情報処理方法及び記録媒体
JP6673221B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP4683031B2 (ja) 電子機器、コンテンツ分類方法及びそのプログラム
US10070046B2 (en) Information processing device, recording medium, and information processing method
JP6649231B2 (ja) 検索装置、検索方法およびプログラム
CN110771175A (zh) 视频播放速度的控制方法、装置及运动相机
US20180369678A1 (en) System and Apparatus for Sports Training
US20210120218A1 (en) Information processing system, information processing method and non-transitory computer readable medium
JPWO2019187493A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP5929535B2 (ja) エフェクト制御装置、エフェクト制御方法、およびプログラム
JP2017147697A (ja) 情報処理装置、情報処理方法およびプログラム
US20230013988A1 (en) Enhancing viewing experience by animated tracking of user specific key instruments
JP6371020B1 (ja) 情報処理装置
JPWO2019017046A1 (ja) 情報処理装置、および情報処理方法
JP7464437B2 (ja) 情報処理装置
JP7180519B2 (ja) 映像データ処理装置、映像データ処理システム、チャット表示方法、及び映像データ処理プログラム
JP2022173865A (ja) プレイ分析装置、プレイ分析方法、及び、コンピュータプログラム
JP2021175038A (ja) 情報処理装置
US20170354891A1 (en) User interface for live streaming game play including user controls

Legal Events

Date Code Title Description
AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20201222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210125

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221031

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230228