JPWO2019193821A1 - 情報処理装置、情報処理方法、プログラム - Google Patents

Abstract

放送等におけるハイライト画像やリプレイ画像等として使用するクリップ画像を容易かつ精度よく生成できるようにする。このために情報処理装置は、受信した画像信号について、リアルタイム処理用の画像信号として外部の解析エンジンに送信する第１処理を行う。また情報処理装置は、解析エンジンから受信したイベント抽出情報を受信し、該イベント抽出情報を用いて、クリップ画像の設定情報を生成する第２処理を行う。

Description

本技術は情報処理装置、情報処理方法、プログラムに関し、例えば撮像した動画映像としての画像信号からクリップ画像を生成する技術分野に関する。

例えば放送のために撮像している動画映像から、視聴価値のあるシーンを抽出し、リプレイやハイライトとして放送することがある。
下記特許文献１では、動画像中のイベントを検出する技術が記載されている。

特開２０１７−５５１７５号公報

本技術はリアルタイムで撮像した画像（動画映像）に関する解析及びその解析を用いた処理を迅速に行うことを目的とする。更には処理における精度の向上であったり、ユーザの作業負担を減らすことを目的とする。

本技術に係る情報処理装置は、受信した画像信号について、リアルタイム処理用の画像信号として外部の解析エンジンに送信する第１処理と、前記解析エンジンから受信したイベント抽出情報を受信し、該イベント抽出情報を用いて、クリップ画像の設定情報を生成する第２処理とを行うイベント解析部を備える。
例えば情報処理装置は、撮像装置によって撮像されたリアルタイム動画としての画像信号について、第１処理として必要な処理を施して、解析エンジンに送信する。
解析エンジンはＡＩエンジンであって、受信した画像信号からリプレイ画像やハイライト画像に適したイベント発生期間を抽出し、それを示すイベント抽出情報を送信する。
情報処理装置は、第２処理として、解析エンジンからのイベント抽出情報に基づき、イベントを提示する画像としてのクリップ画像の設定情報を生成する。

上記した本技術に係る情報処理装置においては、前記イベント解析部は、前記第１処理において、画像信号の情報量と、解析エンジンへ送信する伝送路の帯域情報を用いて、画像信号の情報量削減処理を行うか否かの判断を行うことが考えられる。
ここでは例えばｂｐｓ（bits per second）、通信容量、通信速度などの有線／無線通信路としての伝送路の能力を総括して「帯域」と呼ぶ。いわゆる伝送路の帯域と画像信号の情報量、即ちフレームレートや解像度によっては適切にリアルタイム処理用画像としての通信が実行できない場合も生ずる。そこで必要に応じて情報量削減を行うように判断する。

上記した本技術に係る情報処理装置においては、前記イベント解析部は、前記情報量削減処理では、帯域情報と、画像信号の情報量に応じた解析エンジンの精度の情報を用いて、削減後の情報量を決定することが考えられる。
解析エンジンの解析精度は画像信号の情報量（解像度やフレームレート）に依存する面がある。即ち画像信号の情報量によって解析精度が変動する。画像信号の情報量が少なければそれだけ解析精度も落ちる。そこで、送信先の解析エンジンについて、画像信号の情報量に応じた解析精度の情報を用いて削減の程度を決める。

上記した本技術に係る情報処理装置においては、前記イベント解析部は、前記第１処理において、受信した画像信号をストリーミング画像信号にエンコードして解析エンジンに送信する処理を行うことが考えられる。
例えばリアルタイム動画としての画像信号をストリーミング画像信号として送信する。

上記した本技術に係る情報処理装置においては、前記イベント解析部は、前記第１処理において、受信した画像信号を、一定又は不定の時間長の画像期間に分割して画像ファイルとし、解析エンジンに送信する処理を行うことが考えられる。
例えばリアルタイム動画としての画像信号を、例えば５〜１０秒程度の期間毎のシーンで画像ファイルにエンコードして、順次解析エンジンに送信する。

上記した本技術に係る情報処理装置においては、前記イベント解析部は、前記画像ファイルを、時間的に連続する前後の画像ファイルにおいて一部のシーンが重複するように生成することが考えられる。
例えば５〜１０秒程度の期間の画像ファイルについて、例えば１秒程度、前後の画像ファイルでシーンが重複するようにする。

上記した本技術に係る情報処理装置においては、前記イベント解析部は、前記第２処理において、前記解析エンジンから受信した、イン点及びアウト点を含むイベント抽出情報について、前記イン点又は前記アウト点を更新した前記設定情報を生成することが考えられる。
参照可能な情報を用いて、外部の解析エンジンが提示したイン点／アウト点を変更する。

上記した本技術に係る情報処理装置においては、前記イベント解析部は、前記第２処理において、接続された画像システム内の機器から得られる情報を用いて前記設定情報を生成することが考えられる。
例えば解析エンジンが提示したイン点／アウト点を含むイベント抽出情報を、接続された画像システム内の機器からの情報を用いて変更する。画像システム内の機器とは、例えばリアルタイム放送のための撮像から画像出力のためのシステムを構成する装置であり、例えば１又は複数の撮像装置、収録装置（画像サーバ）、画像送出制御装置（スイッチング装置）などである。

上記した本技術に係る情報処理装置においては、前記イベント解析部は、前記第２処理において、前記解析エンジンから受信したイベント抽出情報として、同じイベントを対象とする複数のイベント抽出情報が存在する場合、当該複数のイベント抽出情報を用いて、そのイベントに関するクリップ画像の設定情報を生成することが考えられる。
例えば或るシーンを複数の撮像装置で撮像していた場合、解析エンジンからは、同じイベントについて複数のイベント抽出情報が提供される場合がある。その場合に、同じイベントを対象とする複数のイベント抽出情報を利用して、設定情報を生成する。

上記した本技術に係る情報処理装置においては、前記イベント解析部は、前記第２処理において、接続された画像システム外の機器から得られる情報を用いて前記設定情報を生成することが考えられる。
画像システム外の機器とは、例えばインターネット等のネットワークにより情報を取得できる装置など、情報処理装置が何らかの手段により情報取得可能な機器である。得られる情報としては本例の画像システム外のあらゆる機器からの情報が想定される。

上記した本技術に係る情報処理装置においては、前記イベント解析部は、前記第２処理において、画像システム内の機器又は画像システム外の機器から取得した情報を用いて、メタデータ制御情報を含む前記設定情報を生成することが考えられる。
メタデータ制御情報は、例えば各種情報をメタデータとしてクリップ画像ファイルに付加することを指示する情報やメタデータ内容などである。
これによりメタデータとして、例えばスポーツ放送における選手の情報、シーン種別の情報、経過情報など、各種の情報を付加した画像クリップが生成されるようにする。

上記した本技術に係る情報処理装置においては、前記イベント解析部は、前記第２処理において、イベント抽出に関する評価値を含む前記設定情報を生成することが考えられる。
例えば評価値としてイベント抽出の確度（適切に有意なイベントが抽出されたものか否かを示す値）を設定情報に付加する。

上記した本技術に係る情報処理装置においては、前記イベント解析部は、前記解析エンジンから受信したイベント抽出情報として、同じイベントを対象とする複数のイベント抽出情報が存在する場合、そのイベントに関するクリップ画像の設定情報について、前記評価値を上げるようにすることが考えられる。
複数の撮像装置により同じシーンが撮られて、それらが複数のイベント抽出情報として得られた場合、複数の撮像装置で撮像した重要なシーンがイベントとして抽出された可能性が高い。そこで評価値を上昇させる。

上記した本技術に係る情報処理装置においては、前記イベント解析部は、イベント抽出情報で示されるシーンについての撮像装置の動作情報に基づいて、当該イベント抽出情報に基づく前記設定情報についての前記評価値を変更するようにすることが考えられる。
例えばイベント抽出情報で指定されたシーンにおける撮像装置の動作情報を参照することで、適切な撮像がなされていたか否かが判定できる。そこで動作情報を参照して評価値を変更する。

上記した本技術に係る情報処理装置においては、接続された画像システム内の機器からフィードバック情報を受信して所定の処理を行うフィードバック受信処理部を備えることが考えられる。
例えば画像システムを構成する機器の各種動作に関しての情報を情報処理装置にフィードバックし、情報処理装置の所定の処理に反映させる。

上記した本技術に係る情報処理装置においては、前記フィードバック情報は、使用されたクリップ画像の情報を含むことが考えられる。
例えばオペレータ等によるクリップ画像の選択情報（使用情報）をフィードバックし、所定の処理に反映させる。

上記した本技術に係る情報処理装置においては、前記フィードバック受信処理部は、前記所定の処理として、撮像装置の動作制御を行うことが考えられる。
フィードバック情報に基づいて、より適切な撮像装置動作を判定し、撮像装置を制御する。

本技術に係る情報処理方法は、受信した画像信号について、リアルタイム処理用の画像信号として外部の解析エンジンに送信する第１処理と、前記解析エンジンから受信したイベント抽出情報を受信し、該イベント抽出情報を用いて、クリップ画像の設定情報を生成する第２処理と、を情報処理装置が行う。
これによりイベント抽出の効率化と精度向上を実現する。
本技術に係るプログラムは、この情報処理方法の処理を情報処理装置に実行させるプログラムである。
これにより本技術の情報処理装置の実現を容易化する。

本技術によれば動画映像の撮像とともに短時間で行うクリップ画像の抽出作業を効率化でき、適正なクリップ生成のためのオペレータの作業負担を削減できる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術の実施の形態のシステム構成のブロック図である。 実施の形態の機能構成のブロック図である。 実施の形態の情報処理装置の構成のブロック図である。 実施の形態のシステム動作の説明図である。 実施の形態の情報処理装置の入出力の説明図である。 実施の形態の情報処理装置のイベント解析のための画像送信処理のフローチャートである。 実施の形態の画像ファイル送信における一部重複の説明図である。 実施の形態の情報処理装置のクリップ設定情報の生成処理のフローチャートである。 実施の形態の情報処理装置のクリップ設定情報の生成処理のフローチャートである。 実施の形態のクリップ提示画面の説明図である。 内視鏡手術システムの概略的な構成の一例を示す図である。 カメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、実施の形態を次の順序で説明する。
＜１．システム構成＞
＜２．処理概要＞
＜３．イベント解析のための画像送信＞
＜４．クリップ設定情報の生成処理＞
＜５．フィードバック情報を用いた動作＞
＜６．内視鏡手術システムへの応用例＞
＜７．移動体への応用例＞
＜８．まとめ及び変形例＞

＜１．システム構成＞
図１より実施の形態の画像システム１０及びその周辺構成を説明する。
なお実施の形態の画像システム１０は、例えば放送等で使用できる画像撮像のためのシステムであり、図１の情報処理装置１、収録装置２、撮像装置３、画像送出制御装置４を指すこととする。
もちろんこれは一例であり、他の装置が画像システム１０に含まれることもあるし、上記の一部が含まれないこともある。例えば収録装置２と画像送出制御装置４が一体化されている場合もある。さらにこれらに情報処理装置１が一体化されている場合もある。
放送映像収録のために一連の画像信号の転送が行われる機器及びその直接的な制御機器を画像システム１０内の機器とする。

また本実施の形態の説明上、「画像」は、主に動画映像を指す。もちろん静止画が含まれていてもよい。
リアルタイム撮像された動画映像信号、及び、その動画映像から切り出されたクリップ画像、それらの動画映像の転送状態の信号などを「画像信号」と表記する。

撮像装置３は例えば放送用の画像の撮像を行うビデオカメラである。例えばスポーツの競技の中継などのためには、複数台の撮像装置３が用いられ、各撮像装置３からの画像が切り替えられながら放送されることが多い。
１又は複数の撮像装置３は撮像した画像信号を収録装置２に対して出力する。

収録装置２は各撮像装置３で撮像された画像信号の蓄積、送出を行う、いわゆるリアルタイム画像信号のサーバ装置として機能する。また画像信号に対する信号処理、切り出し編集、クリップ画像生成などの処理も行う。
このため収録装置２には大容量の記憶部や、画像信号処理プロセッサとしての信号処理部、及び他機器との信号転送及び各種情報通信等を行う制御部としての構成を備えることになる。

画像送出制御装置４は、オペレータＯＰが操作するスイッチャー端末である。
画像送出制御装置４は、収録装置２を介してリアルタイム画像として転送されてきた各撮像装置３による画像信号や、収録装置２において生成されたクリップ画像としての画像信号を、オペレータＯＰの操作に基づいて選択し、図示しない後段に送信する。このため、画像送出制御装置４は、オペレータＯＰ（スイッチングオペレータ）に対する表示機能や操作機能としてのインタフェースや、他の機器との画像信号や各種情報の通信機能を備える。
なお画像送出制御装置４は、放送用のワークステーションとして収録装置２と一体化もしくは一部デバイスの共用化がされたものでもよい。
画像送出制御装置４を操作するオペレータＯＰは、放送中においては、リアルタイム画像としてどの撮像装置３の画像を放送するかを選択したり、クリップ画像ＣＬを挿入したりする操作を行う。クリップ画像ＣＬは、例えばリプレイシーン、ハイライトシーンなどである。

本実施の形態では、主にクリップ画像の生成について説明していく。
情報処理装置１は、クリップ画像ＣＬの生成のための処理を行う。特には精度の高い自動的なクリップ画像生成を実現する。
クリップ画像ＣＬは、撮像装置３で得られたリアルタイム画像信号のうちでイベントを抽出し、そのイベント部分を切り出して、ハイライトシーンやリプレイシーンとして放送で使用できるようにしたものである。
このためにはリアルタイム収録される画像信号のうち、特に視聴価値のある場面を精度良くイベントとして抽出し、その抽出されたイベントの区間（画像信号におけるイン点／アウト点）を指定して、クリップ画像として切り出すことが必要である。
ここでいうイベントとは、特に限定されないが、撮像画像内で何かしらの事象が発生したことを示すシーンと定義される。例えば特に視聴価値が高いシーン、競技等の放送対象にとって重要なシーンなどである。即ち撮像画像内で、クリップ画像ＣＬとする候補となる事象、又はそのシーン範囲をイベントと呼んでいる。

このようなイベント抽出、イン点／アウト点の指定は、通常は、クリップ生成のためのオペレータが目視及び手動で行っている。ここでいうオペレータは、通常は、上記のスイッチングオペレータＯＰとは別のスタッフである。
イベント抽出のオペレータは、記録されている映像を全て見ながら手打ちで重要なシーンを抜き出す作業を行う。このため、作業を効率的にこなすことが困難である。
また、イベントを画像解析により自動的に抜き出す技術もあるが、画像解析には、ある程度まとまった時間の画像ファイルを使用することになり、放送中のリプレイシーンの切り出し等のために短時間でクリップ切り出しを行うことが困難であった。
さらに、自動的に画像解析を行う場合でも、解析エンジンの抽出結果に頼ると、切り出しの精度を上げることができず、必要なイベントが抽出できなかったり、不要なイベントが大量に検出されたりしてしまうこともある。

そこで本実施の形態では、情報処理装置１が、自動的なイベント抽出のための処理を実現すると共に、その切り出し精度を向上させるようにする。
特に情報処理装置１は、スポーツ中継などでのリプレイ画像や後のハイライト画像の制作に利用できるアプリケーションソフトウエアがインストールされたコンピュータ装置（演算処理装置）であり、図示するようにイベント解析部１Ａ、フィードバック受信処理部１Ｂとしての機能を備える。これらの機能については後述する。

情報処理装置１は、収録装置２に蓄積された画像信号を取得したり、収録装置２に制御信号を送信する。
また情報処理装置１は画像送出制御装置４から情報を取得する場合もある。
また情報処理装置１は撮像装置３に情報を送信する場合もある。
なお画像送出制御装置４は、放送用のワークステーションとして収録装置２もしくは画像送出制御装置４の一方又は両方と一体化された装置として実現されてもよいし、収録装置２もしくは画像送出制御装置４と一部デバイスの共用化がされたものでもよい。

情報処理装置１は例えば伝送路８０を介して、例えば外部のＡＩ（artificial intelligence）エンジンである解析エンジン９０（９０Ａ、９０Ｂ・・・）や、システム外機器８１と通信可能とされている。伝送路８０については、インターネット、ＬＡＮ（Local Area Network）、ＶＰＮ（Virtual Private Network：仮想専用網）、イントラネット、エキストラネット、衛星通信網、ＣＡＴＶ（Community Antenna TeleVision）通信網、電話回線網、移動体通信網等の各種の形態が想定される。

解析エンジン９０は、本例の画像システム１０が利用可能な外部のＡＩエンジンを示している。利用可能に提供されている解析エンジン９０は複数存在し、それぞれ解析エンジン９０Ａ、９０Ｂ・・・として示している。以下、これらの個々のいずれかを指す場合、或いは総称する場合は「解析エンジン９０」と表記する。
システム外機器８１は、伝送路８０で通信可能な各種の機器、情報処理装置、サーバ等を指す。特には、情報処理装置１に対して撮像（放送）対象に関する情報を提供できる機器を想定している。

図２により、図１に示した各機器の動作機能を説明する。
撮像装置３は、撮像した画像信号ＰＳ１を収録装置２に供給する。例えばスポーツ等のライブ映像としての画像信号である。
カメラ制御部３１は撮像装置３におけるマイクロコンピュータなどによる制御部を示している。カメラ制御部３１はカメラマンの操作や、外部からの制御信号ＣＴＲに基づいて撮像装置３の撮像動作を制御する。例えばカメラ制御部３１は、制御信号ＣＴＲに基づいてフォーカス状態、ズーム状態、撮像方向（パン・チルト）等の制御を行う。

収録装置２は、画像蓄積機能２１、画像出力機能２２、クリップ切り出し機能２３、メタデータ付加機能２４を有する。
画像蓄積機能２１は、撮像装置３からの画像信号ＰＳ１を一時的に、もしくはある程度の長期的に蓄積する機能である。
画像出力機能２２は、画像信号ＰＳ１を情報処理装置１に供給する機能である。
クリップ切り出し機能２３は、情報処理装置１からの設定情報ＣＬＤに基づいてクリップ画像の切り出しを行う機能である。つまりクリップ切り出し機能２３は、画像蓄積機能２１により蓄積していた画像信号ＰＳ１のうちで、設定情報ＣＬＤに含まれるイン点／アウト点に従って切り出しを行い、クリップ画像ＣＬを生成する。
メタデータ付加機能２４は、情報処理装置１からの設定情報ＣＬＤに含まれるメタデータ制御情報を取得し、これに基づいてメタデータＭＴをクリップ画像ＣＬに付加する機能である。これにより情報処理装置１が指示したメタデータＭＴが付加されたクリップ画像ＣＬを生成する。

画像送出制御装置４は、ＵＩ（ユーザインタフェース）機能４１と後段処理要求機能４２を備える。
ＵＩ機能４１は、表示機能と操作機能を含む。表示機能によりオペレータＯＰに対して、各撮像装置３からのリアルタイム画像を表示させたり、放送映像として挿入可能に生成されたクリップ画像ＣＬの一覧、或いは再生画像を表示させたりする。また操作機能によりオペレータＯＰのスイッチング操作やクリップ選択操作等を受け付ける。
後段処理要求機能４２は、図示しない後段の装置に対して、放送用の画像信号（クリップ画像ＣＬを含む）を供給するとともに、オペレータＯＰの操作に基づく必要な処理要求を行う機能である。例えばクリップ画像ＣＬについて、そのまま放送に用いるほか、所定の時間長（尺）で使用する指示や、画質調整、画像エフェクト等の指示などを示すＥＤＬ（Edit Decision List）データを後段に送信することで、必要な要求を行う。
なお、画像送出制御装置４は、例えばオペレータＯＰが選択したクリップ画像ＣＬの情報や使用した長さ情報、ＥＤＬデータなどをフィードバック情報ＦＢＤとして情報処理装置１に送信できる。

情報処理装置１は、イベント解析部１Ａ、フィードバック受信処理部１Ｂを備える。
イベント解析部１Ａは、ライブで記録されている映像としての画像信号ＰＳ１を主な入力として、効果的なクリップ作成を行うための処理を行う。このイベント解析部１Ａは、第１処理機能１１としての処理と、第２処理機能１２としての処理を行う。
第１処理機能１１は、受信した画像信号ＰＳ１、つまりこの場合は撮像装置３で撮像された画像信号について必要な処理を行い、リアルタイム処理用の画像信号ＰＳ２として外部の解析エンジン９０に送信する第１処理を行う。
第２処理機能１２は、解析エンジン９０から受信したイベント抽出情報ＥＶを受信し、該イベント抽出情報を用いて、クリップ画像の設定情報ＣＬＤを生成する第２処理を行う。また第２処理機能１２は、システム外機器８１からの情報や、画像システム１０内の機器からの情報を用いてメタデータ制御情報を生成し、これを設定情報ＣＬＤの一部として収録装置２に送信する処理も行う。メタデータ制御情報は、例えば各種情報をメタデータとしてクリップ画像ファイルに付加することを指示する情報やメタデータ内容自体などの情報である。
また第２処理機能１２は、例えば撮像装置３等、画像システム１０内の機器から動作情報を取得し、これを設定情報ＣＬＤの生成に反映させることもできる。

フィードバック受信処理部１Ｂは、画像システム１０内の機器からフィードバック情報ＦＢＤを受信して所定の処理を行う。例えば画像送出制御装置４からクリップ選択情報等のフィードバック情報ＦＢＤを受信する。もちろん撮像装置３や収録装置２からの情報をフィードバック情報ＦＢＤとして受け付けても良い。
そしてフィードバック部１Ｂは、フィードバック情報ＦＢＤをイベント解析部１Ａに渡して、メタデータ制御情報（例えばメタデータ内容）の生成に用いることができるようにしたり、例えば制御信号ＣＴＲを生成して、撮像装置３の動作制御を行うことなどが可能とされる。

解析エンジン９０は、情報処理装置１から画像信号ＰＳ２を受信し、解析を行ってイベントを抽出する。そして抽出したイベントを示すイベント抽出情報ＥＶを情報処理装置１に返す。イベント抽出情報ＥＶは、例えば画像信号ＰＳ２におけるタイムスタンプ（時：分：秒：フレーム）によるイン点／アウト点が含まれている。

システム外機器８１は、情報提供ユニット８２としての機能を備え、例えば情報処理装置１からのデータ要求に応答して、情報処理装置１に対してデータを送信することが可能とされる。例えば撮像装置３で撮像しているスポーツの試合の関連情報としてのデータ、選手のデータ、試合経過データなどを情報処理装置１に提供できる。

以上の構成において、情報処理装置１、収録装置２、画像送出制御装置４は、ハードウエア構成としては、例えば図３のようなコンピュータ装置１７０により実現できる。

図３において、コンピュータ装置１７０のＣＰＵ（Central Processing Unit）１７１は、ＲＯＭ（Read Only Memory）１７２に記憶されているプログラム、または記憶部１７８からＲＡＭ（Random Access Memory）１７３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ１７３にはまた、ＣＰＵ１７１が各種の処理を実行する上において必要なデータなども適宜記憶される。
ＣＰＵ１７１、ＲＯＭ１７２、およびＲＡＭ１７３は、バス１７４を介して相互に接続されている。このバス１７４にはまた、入出力インタフェース１７５も接続されている。

入出力インタフェース１７５には、キーボード、マウスなどよりなる入力部１７６、ＬＣＤ（Liquid Crystal Display）或いは有機ＥＬ（Electro-Luminescence）パネルなどよりなるディスプレイ、並びにスピーカなどよりなる出力部１７７、ハードディスクなどより構成される記憶部１７８、モデムなどより構成される通信部１７９が接続されている。
通信部１７９は、伝送路８０として示したインターネット等のネットワークを介しての通信処理を行ったり、画像システム１０内の有線／無線通信、バス通信などによる通信を行う。

入出力インタフェース１７５にはまた、必要に応じてドライブ１８０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１８１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１７８にインストールされる。

上述した情報処理装置１の機能をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
この記録媒体は、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク、光ディスク、光磁気ディスク、若しくは半導体メモリなどよりなるリムーバブルメディア１８１により構成される。或いは、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ１７２や、記憶部１７８に含まれるハードディスクなどでも構成される。

このようなコンピュータ装置１７０を情報処理装置１とする場合は、通信部１７９による受信動作として画像信号ＰＳ１を受信した際や、解析エンジン９０からのイベント抽出情報ＥＶを受信した際などに、ＣＰＵ１７１がプログラムに基づいて、上述のイベント解析部１Ａの処理（第１処理、第２処理）を行う。また受信したフィードバック情報ＦＢＤを用いて、ＣＰＵ１７１がプログラムに基づいて、上述のフィードバック受信処理部１Ｂの処理を行うことができる。

＜２．処理概要＞
図４により本実施の形態の処理概要を説明する。この処理概要は、主に、撮像装置３で撮像した画像信号ＰＳ１からクリップ画像ＣＬを生成する過程を説明するものである。
図４では、撮像装置３、収録装置２、情報処理装置１、解析エンジン９０、システム外機器８１、オペレータＯＰ、画像送出制御装置４、及び後段処理として、各部の動作の流れを示している。図の縦方向が時間軸である。
時間軸に沿って各動作又は処理を（ＳＴ１）〜（ＳＴ１５）として説明する。

（ＳＴ１）
撮像装置３は撮像による画像信号ＰＳ１を収録装置２に送信する。なお実際には撮像装置３はライブ動画としての画像信号ＰＳ１の撮像を行う場合、この画像信号ＰＳ１の収録装置２への送信は、放送中継続して行うことになる。
収録装置２は、画像信号ＰＳ１を蓄積する。
また図１のように撮像装置３が複数用いられることを想定すると、その場合、各撮像装置３からの画像信号ＰＳ１が、それぞれ収録装置２に送信され、蓄積されることになる。

（ＳＴ２）
収録装置２は、撮像装置３からの画像信号ＰＳ１をほぼリアルタイムで情報処理装置１に送信する。なお、これも実際には継続的に行われる。また複数の撮像装置３からの画像信号ＰＳ１は、それぞれ情報処理装置１にほぼリアルタイムで送信される。

（ＳＴ３）
情報処理装置１は、受信した画像信号ＰＳ１に対して、リアルタイム処理用の画像信号として外部の解析エンジン９０に送信するための処理を行う。リアルタイム性を維持するためには、情報処理装置１は例えば画像信号ＰＳ１を送信用のストリーミング画像信号にエンコードする処理、或いは短い所定時間単位の画像ファイルに区切ってエンコードする処理を行う。これらの処理により解析エンジン９０に送信する画像信号ＰＳ２を生成する。
（ＳＴ４）
情報処理装置１は、画像信号ＰＳ２を解析エンジン９０に送信する。
ここまでの（ＳＴ１）〜（ＳＴ４）は、例えば放送中など、撮像装置３が撮像を行っている期間、継続して行われる。

（ＳＴ５）
解析エンジン９０は、受信した画像信号ＰＳ２に対して解析を行い、イベントを検出する毎に、イベント抽出情報ＥＶを情報処理装置１に送信する。
情報処理装置１はイベント抽出情報ＥＶを受信する。イベント抽出情報ＥＶには画像信号ＰＳ２（ＰＳ１）に付与されたタイムスタンプによるイン点／アウト点が含まれることで、情報処理装置１はクリップとして切り出す候補となるイベント画像の区間を認識できる。

（ＳＴ６）
情報処理装置１はシステム外機器８１に対してシステム外データ要求を行う。例えば撮像している試合に関する情報、選手に関する情報など、関連する情報を要求する。
（ＳＴ７）
当該要求に対してシステム外機器８１からシステム外データを送信してくる。情報処理装置１はこれを受信し、放送内容に関連するデータを取得する。

（ＳＴ８）
情報処理装置１はシステム内機器（例えば撮像装置３）に対してシステム内データ要求を行う。例えば撮像装置３から画像信号ＰＳ１にかかる撮像動作に関する情報を要求する。撮像動作に関する情報としては、例えばフォーカス状態、ズーム状態、撮像方向、絞り値、情報量（解像度、フレームレート）などの情報が想定される。
（ＳＴ９）
当該要求に対してシステム内機器（撮像装置３）からシステム内データを送信してくる。情報処理装置１はこれを受信し、画像信号ＰＳ１に関連するデータを取得する。
なお、情報処理装置１は画像送出制御装置４に対して例えばオペレータＯＰにより画質調整や画像エフェクト等の操作情報、輝度設定情報、などの情報を要求し、これを取得するようにしてもよい。
なお、この例では、上記（ＳＴ６）（ＳＴ７）の後に（ＳＴ８）（ＳＴ９）を行っているが、逆の順番でもよい。

（ＳＴ１０）
情報処理装置１はクリップ画像ＣＬの生成のための設定情報ＣＬＤの生成処理を行う。例えばイベント抽出情報ＥＶとしてのイン点／アウト点を用い、又はこれを補正して、クリップ画像ＣＬの切り出しのためのイン点／アウト点を決定する。
またシステム内データを利用して、イベント抽出に関する評価値を設定する。
またシステム外データを利用して、メタデータ内容を含むメタデータ制御情報を生成する。
（ＳＴ１１）
情報処理装置１は生成した設定情報ＣＬＤを収録装置２に送信し、収録装置２にクリップ切り出し要求を行う。設定情報ＣＬＤにはメタデータ制御情報や評価値が含まれる場合がある。
（ＳＴ１２）
収録装置２は、設定情報ＣＬＤに基づいてクリップ画像ＣＬの切り出しを行う。収録装置２はメタデータ制御情報に従ってクリップ画像ＣＬとしてのファイルにメタデータＭＴの付加を行う場合もある。
そして収録装置２は、新たなクリップ画像ＣＬが追加された状態でオペレータＯＰに提示されるように、画像送出制御装置４に表示更新のための情報を提供する。
オペレータＯＰは例えばクリップ一覧画面のようなＵＩ画面上で、新たなクリップ画像ＣＬが生成されたことを確認できる。評価値やメタデータＭＴもオペレータＯＰに提示される。

（ＳＴ１３）
オペレータＯＰは、画像送出制御装置４におけるＵＩ機能４１によりクリップ画像を確認し、放送するクリップ画像ＣＬを選択する操作等を行うことができる。
（ＳＴ１４）
画像送出制御装置４は、オペレータＯＰの操作に基づいて、後段の装置に放送に用いる画像信号を指定し、収録装置２から読み出して後段の装置に送信するとともに必要な処理を要求する。この処理により、オペレータＯＰが選択したクリップ画像ＣＬの画像信号が後段の装置に供給されることになる。
（ＳＴ１５）
オペレータによるクリップ選択が行われた場合、その選択されたクリップを示す選択クリップ情報が画像送出制御装置４から情報処理装置１に送信される。情報処理装置１は選択クリップ情報を例えばオペレータＯＰのクリップ選択の傾向の分析などに用いることができる。

以上がクリップ画像ＣＬの自動生成と、オペレータＯＰによるクリップ選択のための一連の動作である。
本実施の形態では、ライブ収録している画像信号ＰＳ１から、自動的にイベント抽出を行い、クリップ画像ＣＬの切り出しを行う。生成されたクリップ画像ＣＬは、随時オペレータＯＰに提示される。例えばオペレータＯＰに対しては、放送内で生成されたクリップ画像ＣＬの一覧が表示される。
オペレータＯＰは任意にクリップ画像ＣＬを選択して、放送に用いる画像として後段に送信することが可能となる。

このような画像システム１０において、情報処理装置１は主にクリップ画像ＣＬの自動生成のための処理を行うことになるが、その情報処理装置１に対する入力と、情報処理装置１からの出力の各例を説明する。
図５は、主に図４の動作の過程で情報処理装置１に対して入出力されるデータの例を一覧で示したものである。

まず情報処理装置１に対する入力としては、クリップ作成に関するものとして、上記（ＳＴ２）の際の解析用データ、上記（ＳＴ５）の際の解析エンジンの結果データ、上記（ＳＴ９）の際のシステム内機器からのデータ、上記（ＳＴ７）の際のシステム外機器からのデータが挙げられる。

解析用データとはカメラ映像、即ち画像信号ＰＳ１である。１台からのカメラ映像、或いは複数台からのカメラ映像としての画像信号ＰＳ１が入力される。なお、画像信号ＰＳ１には撮像装置３で収録された音声信号（カメラ音声）も含まれる。
この解析用データは解析エンジン９０に送信する目的で情報処理装置１に入力される。
なお、複数の撮像装置３からの画像信号ＰＳ１を入力することで、複数のカメラに渡って同じイベントが発生していたら確からしさが上がるなど、イベントの評価に用いることができる。

情報処理装置１には、解析エンジン９０の結果のデータとしては、イベント抽出情報ＥＶが入力される。これも１台のカメラ映像又は複数台のカメラ映像について、イベント抽出情報ＥＶが解析エンジン９０から送信されてくる。イベント抽出情報ＥＶはクリップ切り出し範囲の候補として情報処理装置１で扱われる。

画像システム１０内の他の機器からの入力としては、撮像装置３からのカメラデータが想定されている。
ここで言うカメラデータとは、例えば絞り値、フォーカス値、撮像方向、情報量（解像度、フレームレート）等である。これらはクリップ切り出し精度の向上に用いることができる。即ち解析エンジン９０においてＡＩ処理による解析結果としてのイベント抽出情報ＥＶをリファインする用途に用いることができる。

システム外機器８１からのデータとしては、テレメトリーデータやゲームデータが想定される。
情報処理装置１は、テレメトリーデータとして、撮像している試合中の各種計測データを用いることで、メタデータ内容を生成し、クリップ画像ＣＬに埋め込ませるようにメタデータ制御情報を生成することができる。
またゲームデータ、即ち撮像している試合に関するデータからイベント時間やスコア、メインプレーヤ等の選手情報などが分かる。これにより情報処理装置１はメタデータ内容を生成したり、或いはクリップ抽出精度の向上に利用できる。

情報処理装置１への入力としては、上記（ＳＴ１５）で示した選択クリップ情報のように、クリップ選択に係るフィードバック情報ＦＢＤがある。
このフィードバック情報ＦＢＤとしては、オペレータＯＰの選択操作などによりシステム後段に送信されたクリップ画像ＣＬの情報や、使用された長さ（いわゆる尺の情報）、ＥＤＬデータなどがある。
情報処理装置１は、選択されたクリップ画像ＣＬの情報は、解析精度の向上やオペレータＯＰの癖のエミュレートに用いることができる。例えばどんなクリップが使われやすいかを学習するために使用できる。
また情報処理装置１は、画像のアングルや映った選手の大きさからオペレータの癖（採用するクリップ画像を決める傾向）をエミュレートすることも可能である。
情報処理装置１は、用いられた長さの情報やＥＤＬデータによれば、編集、修正をクリップ画像ＣＬの設定情報ＣＬＤに対するフィードバックが可能である。例えばどういうシーンがどのくらいの長さで使われるかが分かれば切り出し時間も最適化できる。また尺に対して、再生スピード等をどう変更したかをフィードバックすることも考えられる。

情報処理装置１からの出力としては、クリップ作成に関するものとして、上記（ＳＴ１１）の際の後段処理自動化のためのデータや後段オペレータの補助のためのデータがある。即ち設定情報ＣＬＤとしての出力である。
設定情報ＣＬＤとして、イン点／アウト点がある。これはクリップ切り出し位置の指定情報として収録装置２に送信される。
設定情報ＣＬＤにはＥＤＬデータを含むこともできる。例えばオペレータを設定するとそのオペレータの編集をエミュレートするような処理も考えられる。
設定情報ＣＬＤには、後段処理要求として、ワークフローを自動化する情報を含むこともできる。例えばアーカイブするかしないかの情報や、アーカイブ先の情報を指定する。

後段のオペレータＯＰの補助のための情報としては、メタデータ制御情報がある。
情報処理装置１は、切り出すクリップ画像ＣＬについて、クリップ名や、評価値、ゲームデータ、テレメトリーデータ等のメタデータ内容を含むメタデータ制御情報を設定情報ＣＬＤに含むようにする。
これにより、わかりやすいクリップ名を自動付与したり、複数のクリップ画像ＣＬをイベント毎にまとめられるようにして後から検索しやすくすることなどが可能となる。
メタデータ内容として選手情報なども付加することで、人物や背番号などによるクリップ画像の検索性を向上させることもできる。

情報処理装置１はオペレータＯＰの補助のための情報として、設定情報ＣＬＤにおいてデュレーション（duration） の変更可能な長さの情報を含めてもよい。例えばイベント検出結果とリプレイなどで普段使われているクリップ長がどのくらい差がありそうかを検出した情報である。
また情報処理装置１は、設定情報ＣＬＤにおいて他のアングルのカメラ画像との組み合わせを提案する情報を含めてもよい。例えば同じイベントを拾った他のカメラアングルの画像を差し込むことを提案する情報である。
また情報処理装置１は、設定情報ＣＬＤにおいて、再生スピードの変更の提案の情報を含めても良い。例えば残りの尺に対して再生スピードをどう変えるかを提案する情報である。秒ごとの確からしさから最高確からしさ周辺で再生速度を変更することなどを提案する。
これらの情報は後段のオペレータＯＰの操作軽減を実現できる情報となる。

また情報処理装置１は、設定情報ＣＬＤにおいてお薦め度の情報を含めても良い。後段のオペレータの補助の選択指標となる情報であり、これにより最適なクリップやシーンを選択しやすくする 。例えば競技データから対象選手を抜出し、その選手が映っているカメラの画像をお勧めするなどが想定される。

情報処理装置１の出力としては、画像システム１０内の機器制御のための情報、例えば撮像装置３に対する制御信号ＣＴＲとしてのカメラコントロールデータもある。
例えばクリップ選択結果に応じて撮像装置３のフォーカス状態、絞り、パン・チルトなどを制御することが考えられる。またカメラマンの癖（フォーカスや選手への寄り具合など）を学習し、カメラマンをエミュレートするような制御も可能である。

＜３．イベント解析のための画像送信＞
以下、情報処理装置１の具体的な処理例を説明する。
図６は情報処理装置１がイベント解析部１Ａの機能により行う第１処理の例である。即ち収録装置２から受信した画像信号ＰＳ１について、リアルタイム処理用の画像信号として外部の解析エンジンに送信する処理の例である。

ステップＳ１０１で情報処理装置１は収録装置２から画像信号ＰＳ１を受信する。
ステップＳ１０２で情報処理装置１は、画像信号ＰＳ１を解析して、情報量、即ちフレームレートや解像度を算出する。なお、撮像装置３や収録装置２からフレームレートや解像度の情報が提供されているのであれば画像信号の解析を行ってこれらを算出する必要はない。

ステップＳ１０３で情報処理装置１は、伝送路８０の帯域情報を取得する。この場合、ある解析エンジン９０を選択して画像信号ＰＳ２を送信することになるが、その解析エンジン９０に対する伝送路８０の帯域情報を取得する。
なおここでは、例えばｂｐｓ、通信容量、通信速度などの有線／無線通信路としての伝送路の能力を総括して「帯域」と呼ぶ。
ステップＳ１０４で情報処理装置１は、ステップＳ１０２で求めた情報量とステップＳ１０３で取得した帯域情報に基づいて、リアルタイム性を損なわない速度での画像信号ＰＳ２の送信ができるか否かを判断する。
即ち画像信号ＰＳ１の情報量から、それをエンコードした画像信号ＰＳ２の情報量が求められるため、送信先の解析エンジン９０に送信する伝送路８０の現在の帯域状況が、画像信号ＰＳ２の送信に対して十分であるか否かを判定する。

伝送路８０の帯域が十分であると判定した場合は、ステップＳ１０７に進み、情報処理装置１は送信用エンコード処理を行い、送信する画像信号ＰＳ２を生成する。
例えば情報処理装置１は、ストリーミング画像信号として伝送用のエンコード処理を行う。或いは情報処理装置１は、５秒から１０秒程度に細かく分割された映像ファイルとしてファイル共有やＨＴＴＰ（Hypertext Transfer Protocol）、ＦＴＰ（File Transfer Protocol）転送で解析エンジン９０に転送するためのエンコード処理を行う。
これらによりリアルタイムに近い速度で画像信号ＰＳ２が解析エンジン９０に転送されるようにし、解析エンジン９０においてリアルタイム性をもったイベント抽出が行われるようにする。
なおこれらのエンコード処理では、情報処理装置１は、収録装置２からの画像信号ＰＳ１をＳＤＩ（Serial Digital Interface）信号として受信し、Ｈ．２６４等の汎用的かつ解析エンジン９０が受信可能なフォーマットでファイル化を行う。
そして情報処理装置１はステップＳ１０８で伝送路８０を介して解析エンジン９０に画像信号ＰＳ２を送信する。

一方、ステップＳ１０４で、画像信号ＰＳ２のリアルタイム性を損なわない転送には帯域が十分でないと判断した場合、情報処理装置１はステップＳ１０５で情報量削減の設定を行う。つまりどの程度情報量を削減すれば良いかを判定する。
利用可能に提供される解析エンジン９０Ａ、９０Ｂ・・・は、それぞれ解析手法や精度が異なる。そして画像解析に関しては、入力される画像の情報量（解像度やフレームレート）により、解析精度も変化する。
そこで情報処理装置１は、使用する解析エンジン９０毎に、画像データの情報量に対する解析精度（この場合はイベント抽出精度）をテーブル情報などとして保持しておくようにする。
そしてステップＳ１０５では、今回使用する（つまり送信先とした）解析エンジン９０に関してのテーブルデータを参照する。そして現在の伝送路８０の帯域と比較して、リアルタイム性を損なわず、一方でデータ削減量を小さくして解析精度を保つ、或いは所定の精度以上となるようなデータ削減量を設定する。
具体的には、現在の伝送路８０の帯域で、リアルタイム性を損なわないと考えられる最大の情報量を設定し、その情報量での解析エンジン９０の解析精度を確認する。
もし解析精度が所定以上であれば、その情報量を削減処理後の情報量として決定する。

一方、現在の伝送路８０の帯域で、リアルタイム性を損なわないと考えられる最大の情報量では、解析精度が不十分になる場合は、各種の例が考えられる。
例えば解析エンジン９０を変更して、解析精度がより高くなるようにする。
或いは、そのまま解析精度が低いことを許容して送信するが、後述の設定情報ＣＬＤの生成の際に評価値を低下させる処理を行う。
或いは、解析精度と帯域のリアルタイム性を勘案しながら、リアルタイム性を若干犠牲にしてもイベント抽出精度を重視して情報量を多少多くしていくことも考えられる。

ステップＳ１０５で情報量、即ち削減処理後の情報量を設定したら、情報処理装置１はステップＳ１０６で情報量削減処理を行う。即ち画像信号ＰＳ１について解像度変換或いはフレーム間引き、或いはその両方を行うなどして、設定した情報量となるようにする。
そしてステップＳ１０７，Ｓ１０８の処理を行う。

なお、この例ではステップＳ１０５で削減する情報量を設定するようにしたが、一定の削減量で情報量削減処理を行っても良い。
また帯域状態にかかわらず、常に情報量削減処理をおこなってもよい。例えば画像信号ＰＳ１について解像度を１２８０×７２０程度に、解析結果に影響ない範囲でデータサイズを落とすことで、解析エンジン９０への転送時間を短くすることも考えられる。

以上のように情報処理装置１は第１処理として、画像信号ＰＳ２を解析エンジン９０に送信する。
この際に、伝送路８０の帯域と画像信号ＰＳ２の情報量、即ちフレームレートや解像度によっては適切にリアルタイム処理用画像としての通信が実行できない場合も生ずる。そこで必要に応じて情報量削減を行うようにしている。

なお、ステップＳ１０７での送信のためのエンコード処理の際には、情報処理装置１は図７に示すようなファイル化を行うことが望ましい。
図７にはあるイベントが発生している期間として時点ｔ１〜時点ｔ６を示しているが、このようなイベントを解析エンジン９０において正しく抽出させる必要がある。
細かい時間でファイルを分けて送信する場合は、解析エンジン９０側が時間軸のつながりを正しく認識できない場合も生ずる。そこで、画像信号ＰＳ２としての画像ファイルは、図示するように時点ｔ０〜時点ｔ３のシーンである画像ファイルＶＦ１，時点ｔ２〜時点ｔ５のシーンである画像ファイルＶＦ２、時点ｔ４〜時点ｔ７のシーンである画像ファイルＶＦ３、というようにする
このような画像ファイルＶＦ１，ＶＦ２，ＶＦ３はそれぞれ時間幅ＴＷとし、その前後は、隣接する期間の画像ファイルと重なり部分（時点ｔ２−ｔ３、時点ｔ４−ｔ５）が設けられるようにしている。
例えば１秒程度の重なりを含めて、このように画像ファイルを形成し、解析エンジン９０に渡すことで、複数の画像ファイルに渡るイベントも正確に抽出されるようにする。
なお、各画像ファイルＶＦ１，ＶＦ２・・・は一定の時間幅ＴＷとしたが、各画像ファイルＶＦ１，ＶＦ２・・・は、一定の時間幅でなく、可変時間幅を含む不定長の時間幅としてもよい。

＜４．クリップ設定情報の生成処理＞
続いて情報処理装置１がイベント解析部１Ａの機能により行う第２処理の例を図８，図９により説明する。即ち情報処理装置１が解析エンジン９０から受信したイベント抽出情報ＥＶを用いてクリップ画像ＣＬの生成のための設定情報ＣＬＤを作成する処理の例である。

ステップＳ２０１で情報処理装置１は解析エンジン９０からイベント抽出情報ＥＶを受信する。
先の図６の第１処理は、情報処理装置１は撮像装置３の撮像中（例えば放送中）に継続的に行っており、解析エンジン９０が略リアルタイムで画像信号ＰＳ２を受信し解析を行っていくことになる。
その際に、解析エンジン９０はイベントを抽出することに応じて、イベント抽出情報ＥＶを生成し、その都度、もしくはある程度のイベント抽出情報ＥＶをまとめたタイミングで、情報処理装置１に送信してくる。従ってステップＳ２０１のイベント抽出情報ＥＶの受信は、不定期に行われる。

イベント抽出情報ＥＶを受信したら、情報処理装置１はステップＳ２０２で、処理対象とした１つのイベント抽出情報ＥＶに関し、他の撮像装置３による画像について同じタイミングのイベント抽出情報ＥＶが存在するか否かを確認する。
例えば複数の撮像装置３による画像信号ＰＳ１がそれぞれ画像信号ＰＳ２とされて解析エンジン９０に送信されている。例えばサッカーのゴールシーンを３台の撮像装置３で撮像していた場合、その各撮像装置３による画像信号ＰＳ２からそれぞれ同じ時間帯のシーンがイベントとして抽出される可能性がある。ステップＳ２０２では、そのように同じ対象のシーンがイベントとして抽出されているか否かを、各イベント抽出情報ＥＶの時刻情報、つまりイン点／アウト点により確認する。
もし、同じイベントのイベント抽出情報ＥＶが他になければ、情報処理装置１はステップＳ２０３から図９のステップＳ２１０に進む。

同じ重要なシーンを複数の撮像装置３でとらえた場合などで、複数の同時刻帯のイベント抽出情報ＥＶが存在した場合、情報処理装置１はステップＳ２０３からＳ２０４に進み、該当する他の１つのイベント抽出情報ＥＶから、他の撮像装置３による画像の撮像範囲を算出する。即ち同じイベントとして抽出された他のイベント抽出情報ＥＶについてのイン点／アウト点を取得する。

そして情報処理装置１はステップＳ２０５で、処理対象のイベント抽出情報ＥＶの範囲（イン点〜アウト点）は、他のイベント抽出情報ＥＶの範囲（イン点〜アウト点）を包含しているか否かを確認する。
例えば時：分：秒：フレームのタイムスタンプが次のようであったとする。
処理対象のイベント抽出情報ＥＶのイン点が００：０５：３１：１０
処理対象のイベント抽出情報ＥＶのアウト点が００：０６：２９：０３

これに対して「例１」として、
他のイベント抽出情報ＥＶのイン点が００：０５：４５：００
他のイベント抽出情報ＥＶのアウト点が００：０６：１８：１５
であったとしたら、他のイベント抽出情報ＥＶの範囲は、全て処理対象のイベント抽出情報ＥＶの範囲に含まれている。
従って、処理対象のイベント抽出情報ＥＶのイン点／アウト点を変更しなくとも、他の撮像装置による画像範囲も含まれることになる。

一方「例２」として、
他のイベント抽出情報ＥＶのイン点が００：０５：２５：５１
他のイベント抽出情報ＥＶのアウト点が００：０６：１８：１５
であったとしたら、他のイベント抽出情報ＥＶの範囲は、イン点付近が処理対象のイベント抽出情報ＥＶの範囲に含まれていない。
また「例３」として、
他のイベント抽出情報ＥＶのイン点が００：０５：４５：００
他のイベント抽出情報ＥＶのアウト点が００：０６：３５：１７
であったとしたら、他のイベント抽出情報ＥＶの範囲は、アウト点付近が処理対象のイベント抽出情報ＥＶの範囲に含まれていない。
もちろん、イン点付近とアウト点付近の両方が処理対象のイベント抽出情報ＥＶに含まれていないこともある。
これらの場合、情報処理装置１はステップＳ２０６に進み、他の撮像装置３に係るイベント抽出情報ＥＶのイン点／アウト点を用いて、処理対象のイベント抽出情報ＥＶのイン点／アウト点を変更する。
即ち、他のイベント抽出情報ＥＶの範囲が含まれるように、処理対象のイベント抽出情報ＥＶのイン点／アウト点の一方又は両方を変更する。例えば上記の「例２」の場合、イン点を００：０５：２５：５１に変更したり、「例３」の場合は、アウト点を００：０６：３５：１７に変更したりする処理を行う。

ステップＳ２０７では情報処理装置１は、処理対象のイベント抽出情報ＥＶについてイベント抽出確度を示すスコアを加点する。これは、複数の撮像装置３によるシーンがイベントとして抽出されていたことから、実際に重要なシーンが解析エンジン９０によって抽出された確度が高いとして、スコアアップを行うものである。

ステップＳ２０８で情報処理装置１は、さらに同じ時刻帯の同じイベントを抽出したイベント抽出情報ＥＶで未計算のものが残っているか否かを確認する。残っていれば情報処理装置１はステップＳ２０４に戻って、残りの他のイベント抽出情報ＥＶを用いて同様の処理を行う。
その場合もステップＳ２０５，Ｓ２０６により、当該他のイベント抽出情報ＥＶの範囲が含まれるように処理対象のイベント抽出情報ＥＶのイン点／アウト点が確認又は変更される。
またステップＳ２０７が行われることで、さらにスコアの加点が行われる。つまり、同じイベントを複数の撮像装置３により撮像しているほど、イベント抽出の確度が高いものと判定される。

情報処理装置１は図９のステップＳ２１０に進むと、システム外機器８１に対してシステム外データを要求し、ステップＳ２１１でシステム外機器８１からのデータを受信する。
そしてステップＳ２１２で情報処理装置１は、受信したシステム外データに、処理対象のイベント抽出情報ＥＶに対応する情報が存在するか否かを確認する。
存在した場合は、情報処理装置１はステップＳ２１３に進み、当該イベントに対応するメタデータ制御情報の生成処理を行う。

ステップＳ２１４で情報処理装置１はシステム１０内の機器、例えば撮像装置３に対してシステム内データ要求を行う。そして情報処理装置１はステップＳ２１５で要求先の機器からシステム１０内データを受信する。
例えば今回の処理対象のイベント抽出情報ＥＶの元となる画像を撮像した撮像装置３から、当該撮像時のカメラデータを取得する。撮像からイベント抽出情報ＥＶの受信までのリアルタイム性が十分に確保されているのであれば、現時点のカメラデータを取得してもよい。
ステップＳ２１６で情報処理装置１は、取得したカメラデータにより撮像画像が適切な状態であるか否かを判定する。例えば撮像方向が適切であるか否か、フォーカス状態が適切であるか否か、或いは画像の明るさが適切であるか否か等を判定する。
もし適切でないと評価した場合、ステップＳ２１７に進んでスコアを減点する。この場合、あまり適切でない画像区間を抽出したとして、抽出確度を低く評価するものとする。

ステップＳ２１８で情報処理装置１は、以上の処理を踏まえて設定情報ＣＬＤの生成を行う。
当該処理対象のイベント抽出情報ＥＶのイン点／アウト点もしくはステップＳ２０６で修正されたイン点／アウト点を用いて、切り出し範囲としてのイン点／アウト点を設定する。設定情報として、図５に示したＥＤＬデータ、後段処理選択の情報、オペレータＯＰの補助のための情報を含む場合もある。
また情報処理装置１はステップＳ２１３で生成したメタデータ制御情報も設定情報ＣＬＤに含める。また情報処理装置１はステップＳ２０７，Ｓ２１７で設定したイベント抽出確度のスコア値も設定情報ＣＬＤに含める。

そして情報処理装置１はステップＳ２１９で収録装置２に対して設定情報ＣＬＤを送信し、クリップ切り出し要求を行う。
これに応じて収録装置２でクリップ画像ＣＬの切り出しやメタデータ付加等が行われる。

以上のように情報処理装置１は、解析エンジン９０から取得したイベント抽出情報ＥＶに基づいて設定情報ＣＬＤを生成し、収録装置２に対して、切り出しのイン点／アウト点を指定する。
またメタデータＭＴの内容やスコアの情報、その他の補助データも提供する。

以上の処理において、複数の撮像装置３からの画像信号ＰＳ１を入力としていた場合、情報処理装置１は、複数の撮像装置３による画像信号ＰＳ２からのイベント抽出結果を利用して、確からしさやイベントの開始時間、終了時間を更新するようにした。
具体的には、複数のカメラ映像で、撮像しているオブジェクトが同じ、もしくは包含関係があるとき、同じようなタイミングで同じイベントを検出した際にはそれぞれの検出結果の確からしさを高いものに変更する（Ｓ２０７）。
撮像オブジェクトについては、撮像装置３の向きやズーム値、フォーカス値を用いて同一のオブジェクトを撮像していることを算出することができる（Ｓ２０２）。
また、イベントの開始時間と終了時間を全てのカメラの論理和とする（Ｓ２０６）。

また情報処理装置１は、イベント抽出の精度を上げるため、エンジンの解析に使用している撮像装置３のカメラデータなど、システム内の他の機器の情報を入力している（Ｓ２１４、Ｓ２１５）。
そして撮像装置３のフォーカス値や向いている方向のデータを使用することで、その撮像装置３からの画像が正しく焦点の合ったものなのかどうか等を判断し、焦点が合っていない映像に対して検出されたイベント等に対しては確からしさのスコアを下げる処理（Ｓ２１７）を行うようにした。
なお、解析エンジン９０からのイベント抽出情報ＥＶに、抽出したイベントの確からしさの情報が含まれている場合、それをスコアに反映することもできる。

また情報処理装置１は、イベントで使われている他の装置の計測データ(テレメトリーデータ)や、インターネット情報をシステム外データとして入力する（Ｓ２１０、Ｓ２１１）。例えば、外部で公開されている、イベントのスタッツデータと組み合わせ、スタッツデータのタイミングを含むイベントデータに、得点や得点をあげた選手の名前など、付加情報としてスタッツデータを登録する（Ｓ２１３）。

情報処理装置１は、クリップ画像ＣＬにメタデータＭＴを付加させるため、クリップ画像ＣＬに関するイベント名や、人物、背番号などの対象オブジェクト、確からしさ等を含むメタデータ制御情報を生成し、設定情報ＣＬＤに含めて収録装置２に供給する。収録装置２はこれらの情報をクリップ画像ＣＬのメタデータＭＴとして登録する。
これにより、後段のオペレータＯＰが、クリップ検索を容易に行うことができ、操作負担を軽減することができる。

収録装置２が設定情報ＣＬＤに基づいてクリップ画像ＣＬの切り出しを行った場合、オペレータＯＰは例えば図１０のような画面により、現在作成されているクリップ画像ＣＬを確認することができる。
例えばこのクリップ一覧画面７０では、個々のクリップ画像ＣＬに対応して、チェックボックス７１、クリップ画像ファイルのファイルナンバ７２、サムネイル画像７３、各種の付加情報７４、イン点／アウト点７５、撮像時刻情報７６等が表示される。
また多数のクリップをページ送りで確認するためのページ送りボタン７８や、選択したクリップを後段の装置に送信するセンドボタン７７等が表示される。

各クリップ画像ＣＬについては、例えば付加情報７４として、メタデータＭＴに基づく表示が可能である。例えばシーンの名称／種別、選手名、イベント抽出確度のスコアなど、オペレータＯＰのクリップ選択を補助する情報が付加情報７４として表示される。
このようなクリップ一覧画面７０により、オペレータは任意のクリップ画像ＣＬを選択することができる。もちろんクリップ画像ＣＬ自体を再生させて内容を実際に確認することも可能である。
オペレータＯＰは選択するクリップ画像ＣＬについてチェックボックス７１にチェックを入れる操作を行い、センドボタン７７を操作することで、そのクリップ画像ＣＬのデータファイルが後段の装置に送信される。

なお、さらにオペレータＯＰの補助のために、情報処理装置１は、設定情報ＣＬＤに提案情報（お薦め情報）を含ませることも可能である。例えば他の撮像装置３からの画像の解析結果に基づく他のカメラアングルの差し込みの提案や、フィードバック受信処理部１Ｂで取得しているＥＤＬデータから過去の編集作業で使用された操作を認識し一部の再生スピードを変更するなどの提案などを含むようにする。このような推奨情報を例えば付加情報７４として表示させることで、オペレータＯＰの選択操作の便宜を図ることができる。これによりオペレータＯＰの編集操作負担を軽減することができる。

＜５．フィードバック情報を用いた動作＞
実施の形態の情報処理装置１は、フィードバック受信処理部１Ｂの機能により、フィードバック情報ＦＢＤを用いた各種処理も行うことができる。
上述のように情報処理装置１は、フィードバック情報ＦＢＤとして、オペレータＯＰのクリップ選択情報や、使用したクリップ長等を取得する。
また情報処理装置１は、利用されたクリップについて、クリップのイン点／アウト点の変更や他の撮像装置３の撮像画像の差し込みなど、オペレータＯＰが操作した履歴であるＥＤＬデータもフィードバック情報ＦＢＤとして取得する。
以下ではこれらのフィードバック情報ＦＢＤを用いた各種の処理例を例示する。

情報処理装置１は、設定情報ＣＬＤに基づいて収録装置２で作成されたクリップ画像ＣＬを、オペレータＯＰが、リプレイ画像やハイライト画像として利用したかどうかを判別し、設定情報生成処理にフィードバックを行うことができる。
使用されたクリップ画像ＣＬから、望ましいクリップ長を判定し、その後の設定情報ＣＬＤのイン点／アウト点の補正を行うことが考えられる。

また、使用されたクリップ画像ＣＬのカメラアングル、ズーム状態などから、ハイライト画像として望ましいと考えるオペレータＯＰの嗜好を学習し、そのような画像がクリップ化されやすいようにすることもできる。
例えば情報処理装置１は、フィードバック情報ＦＢＤから放送に使用される頻度が多いカメラアングルやズーム状態を判定しておく。そして例えば３つの撮像装置３で同じイベントが抽出された場合、３つの撮像装置による画像のうちで、これまで使用頻度が高いアングルやズーム状態の画像をメインの画像となるようにして設定情報ＣＬＤを作成する。これにより、使用されやすいクリップ画像ＣＬを自動生成していくことができる。

また情報処理装置１は、使用したクリップ長やＥＤＬデータのほかに、オペレータＯＰの情報も取得することで、オペレータＯＰの操作を模した自動切り出し編集も可能である。例えば、オペレータＯＰの個人の操作履歴としての選択クリップ情報やＥＤＬデータ等を収集することで、当該オペレータの嗜好を学習できる。そこで学習結果を設定情報ＣＬＤに反映させることで、当該オペレータが好むクリップ画像ＣＬを生成できる。或いはオペレータＯＰの操作をシミュレートするようなクリップ画像ＣＬを生成することも考えられる。

またお薦め情報をオペレータ毎に提供することも可能である。
情報処理装置１は、フィードバック情報ＦＢＤをオペレータＯＰの個人毎に記憶しておく。そしてオペレータのクリップ選択の嗜好を判定して、メタデータＭＴとされる付加情報やお勧め情報を加える。
システム外データを参照して、類似のシーンをお勧めすることなども考えられる。
オペレータＯＰの選択の傾向が学習できた場合、生成されたクリップ画像ＣＬについて、その傾向との合致度から優先順位をつけてオペレータＯＰに提示することもできる。

情報処理装置１は、撮像装置３の動作制御を行うこともできる。
情報処理装置１は、フィードバック情報ＦＢＤに基づいてオペレータＯＰに選択されやすいクリップ画像ＣＬの傾向、例えばカメラアングル、ズーム状態等を判定する。そのカメラアングルやズーム状態となるように制御信号ＣＴＲを生成し、撮像装置３の動作を自動制御する。これによりクリップ画像ＣＬの品質／内容をよりよいものとすることができる。
また、情報処理装置１は、解析エンジン９０から、画像信号ＰＳ２の画像がクリアでないと検出されるなど、何らかの情報を取得して、撮像装置３に対する制御信号ＣＴＲを生成し、撮像装置３のフォーカス状態や明るさ（露出値）等を制御することも考えられる。
このように撮像装置３の撮像動作を適正化すると、解析エンジン９０による解析精度も高くなり、結果としてイベント抽出精度が向上する。
なお、情報処理装置１は、生成した設定情報ＣＬＤを収録装置２には送信せずに、制御信号ＣＴＲのみを撮像装置３に送信し、クリップ画像ＣＬを生成せずに撮像装置３の動作のみを自動制御するものであってもよい。また、自動制御されるものは撮像装置３に限定されず、画像信号ＰＳ１を解析し、そのイベント抽出情報ＥＶに基づいて制御されるものであれば何でもよく、例えば自動車の自動運転制御などがあげられる。

情報処理装置１は、フィードバック情報ＦＢＤを解析エンジン９０に提供してもよい。解析エンジン９０は、フィードバック情報ＦＢＤによりオペレータＯＰのクリップ選択の傾向を学習し、それに合致したイベント抽出を行うようにする。
このようにすることで情報処理装置１が受信するイベント抽出情報ＥＶの精度を向上させることができる。

もちろん情報処理装置１自体がフィードバック情報ＦＢＤを用いた学習処理をおこなって、それを設定情報ＣＬＤの生成に反映させてもよい。
例えば、情報処理装置１は、放送に使用されやすいイベント、シーン、カメラアングル、ズーム状態等を学習する。例えばイベントをクラスタリングし、クラスタ毎に、選択されやすい傾向を学習していく。そしてその傾向を設定情報に反映させる。例えばイン点／アウト点やメタデータ、お勧めデータの設定に反映させる。

フィードバックとしてズームやパン、チルトなどの撮像装置３のカメラデータを取得してもよい。それらを用いた学習結果を設定情報ＣＬＤに反映させたり、オペレータＯＰへの提示優先度を設定することもできる。
また、予めカメラマンの名前等を設定してシステム運用を行うとともに情報処理装置１が、ズームやパン、チルトなどのカメラデータを取得するようにすれば、イベントに対するカメラワークを対応付けることができる。するとイベント発生時に撮像装置３を自動制御することで、カメラマンを模したカメラワークが実現できる。

＜６．内視鏡手術システムへの応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。

図１１は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。

図１１では、術者（医師）１１１３１が、内視鏡手術システム１１０００を用いて、患者ベッド１１１３３上の患者１１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１１０００は、内視鏡１１１００と、気腹チューブ１１１１１やエネルギー処置具１１１１２等の、その他の術具１１１１０と、内視鏡１１１００を支持する支持アーム装置１１１２０と、内視鏡下手術のための各種の装置が搭載されたカート１１２００と、から構成される。

内視鏡１１１００は、先端から所定の長さの領域が患者１１１３２の体腔内に挿入される鏡筒１１１０１と、鏡筒１１１０１の基端に接続されるカメラヘッド１１１０２と、から構成される。図示する例では、硬性の鏡筒１１１０１を有するいわゆる硬性鏡として構成される内視鏡１１１００を図示しているが、内視鏡１１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。

鏡筒１１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１１００には光源装置１１２０３が接続されており、当該光源装置１１２０３によって生成された光が、鏡筒１１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

カメラヘッド１１１０２の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ: Camera Control Unit）１１２０１に送信される。

ＣＣＵ１１２０１は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡１１１００及び表示装置１１２０２の動作を統括的に制御する。さらに、ＣＣＵ１１２０１は、カメラヘッド１１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。

表示装置１１２０２は、ＣＣＵ１１２０１からの制御により、当該ＣＣＵ１１２０１によって画像処理が施された画像信号に基づく画像を表示する。

光源装置１１２０３は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１１１００に供給する。

入力装置１１２０４は、内視鏡手術システム１１０００に対する入力インタフェースである。ユーザは、入力装置１１２０４を介して、内視鏡手術システム１１０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１１１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。

処置具制御装置１１２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１１２の駆動を制御する。気腹装置１１２０６は、内視鏡１１１００による視野の確保及び術者の作業空間の確保の目的で、患者１１１３２の体腔を膨らめるために、気腹チューブ１１１１１を介して当該体腔内にガスを送り込む。レコーダ１１２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ１１２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

なお、内視鏡１１１００に術部を撮影する際の照射光を供給する光源装置１１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

また、光源装置１１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。

また、光源装置１１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１１２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。

図１２は、図１１に示すカメラヘッド１１１０２及びＣＣＵ１１２０１の機能構成の一例を示すブロック図である。

カメラヘッド１１１０２は、レンズユニット１１４０１と、撮像部１１４０２と、駆動部１１４０３と、通信部１１４０４と、カメラヘッド制御部１１４０５と、を有する。ＣＣＵ１１２０１は、通信部１１４１１と、画像処理部１１４１２と、制御部１１４１３と、を有する。カメラヘッド１１１０２とＣＣＵ１１２０１とは、伝送ケーブル１１４００によって互いに通信可能に接続されている。

レンズユニット１１４０１は、鏡筒１１１０１との接続部に設けられる光学系である。鏡筒１１１０１の先端から取り込まれた観察光は、カメラヘッド１１１０２まで導光され、当該レンズユニット１１４０１に入射する。レンズユニット１１４０１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。

撮像部１１４０２を構成する撮像素子は、１つ（いわゆる単板式）であってもよいし、複数（いわゆる多板式）であってもよい。撮像部１１４０２が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部１１４０２は、３Ｄ（dimensional）表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者１１１３１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１１４０２が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１１４０１も複数系統設けられ得る。

また、撮像部１１４０２は、必ずしもカメラヘッド１１１０２に設けられなくてもよい。例えば、撮像部１１４０２は、鏡筒１１１０１の内部に、対物レンズの直後に設けられてもよい。

駆動部１１４０３は、アクチュエータによって構成され、カメラヘッド制御部１１４０５からの制御により、レンズユニット１１４０１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１１４０２による撮像画像の倍率及び焦点が適宜調整され得る。

通信部１１４０４は、ＣＣＵ１１２０１との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４０４は、撮像部１１４０２から得た画像信号をＲＡＷデータとして伝送ケーブル１１４００を介してＣＣＵ１１２０１に送信する。

また、通信部１１４０４は、ＣＣＵ１１２０１から、カメラヘッド１１１０２の駆動を制御するための制御信号を受信し、カメラヘッド制御部１１４０５に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。

なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてＣＣＵ１１２０１の制御部１１４１３によって自動的に設定されてもよい。後者の場合には、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡１１１００に搭載されていることになる。

カメラヘッド制御部１１４０５は、通信部１１４０４を介して受信したＣＣＵ１１２０１からの制御信号に基づいて、カメラヘッド１１１０２の駆動を制御する。

通信部１１４１１は、カメラヘッド１１１０２との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４１１は、カメラヘッド１１１０２から、伝送ケーブル１１４００を介して送信される画像信号を受信する。

また、通信部１１４１１は、カメラヘッド１１１０２に対して、カメラヘッド１１１０２の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。

画像処理部１１４１２は、カメラヘッド１１１０２から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。

制御部１１４１３は、内視鏡１１１００による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部１１４１３は、カメラヘッド１１１０２の駆動を制御するための制御信号を生成する。

また、制御部１１４１３は、画像処理部１１４１２によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置１１２０２に表示させる。この際、制御部１１４１３は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部１１４１３は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１１１１２の使用時のミスト等を認識することができる。制御部１１４１３は、表示装置１１２０２に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者１１１３１に提示されることにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。

カメラヘッド１１１０２及びＣＣＵ１１２０１を接続する伝送ケーブル１１４００は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。

ここで、図示する例では、伝送ケーブル１１４００を用いて有線で通信が行われていたが、カメラヘッド１１１０２とＣＣＵ１１２０１との間の通信は無線で行われてもよい。

以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち制御部１１４１３に適用され得る。
手術を行っている際に出血や穿孔が発生することがあり、この状態に気がつかないまま手術が進むと致命傷に至ることがある。そのため、リアルタイムで撮像している内視鏡１１１００により得られる撮像画像を制御部１１４１３はリアルタイム処理用の画像信号として解析エンジンに送信し、解析エンジンにて撮像画像内の色等を検出することにより出血等をイベントとしてそのイベント抽出情報を受信し、該イベント抽出情報を用いてリプレイ画像を術者１１１３１に提示されることにより、術者が早急に状況を把握して確実に手術を進めることが可能になる。

なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、その他、例えば、顕微鏡手術システム等に適用されてもよい。

＜７．移動体への応用例＞
さらに本開示に係る技術（本技術）は、例えば、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

図１３は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１３に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０３０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１３の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

図１４は、撮像部１２０３１の設置位置の例を示す図である。

図１４では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。

撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図１４には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、マイクロコンピュータ１２０５１に適用され得る。
自動運転を目的とした制御を行うためにはリアルタイムで撮像から得られた情報を基に制御が行われている。撮像部１２１０１ないし１２１０４から得られた撮像情報をマイクロコンピュータ１２０５１はリアルタイム処理用の画像信号として解析エンジンに送信し、解析エンジンにて撮像範囲１２１１１ないし１２１１４内における各立体物までの距離や時間的変化を解析する。解析エンジンはこれらの解析結果に基づいて、各立体物までの衝突リスクをイベントとしてそのイベント抽出情報をマイクロコンピュータ１２０５１に送信し、マイクロコンピュータ１２０５１は該イベント抽出情報を用いて、衝突可能性がある状況であるときには、オーディオスピーカー１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。また、運転支援に対して、運転者が異なる操作をした場合などの情報をフィードバック情報として解析エンジンやマイクロコンピュータ１２０５１に蓄積していくことにより、該イベント抽出情報を用いた制御が正しかったか否かを判定し、その都度イベント抽出や該イベント抽出情報を用いた解析アルゴリズムを変更していくことにより、運転支援の精度を上げていくことができる。

＜８．まとめ及び変形例＞
以上説明してきた本実施の形態では次のような効果が得られる。
実施の形態の情報処理装置１は、受信した画像信号ＰＳ１について、リアルタイム処理用の画像信号ＰＳ２として外部の解析エンジン９０に送信する第１処理と、解析エンジン９０から受信したイベント抽出情報ＥＶを受信し、イベント抽出情報ＥＶを用いて、クリップ画像ＣＬの設定情報ＣＬＤを生成する第２処理とを行うイベント解析部１Ａを備えている。
情報処理装置１がこれらの第１処理、第２処理を行うことで、リプレイ画像やハイライト用の画像としてのクリップ画像を自動的に切り出すことができ、オペレーションの効率化や放送局での省人化、或いはコストダウンを促進できる。
例えばスポーツ中継放送などの場合に、リアルタイムで撮像していた画像（動画映像）について、リプレイやハイライトシーンを流すためには、放送中に短時間で画像中のイベントを抽出し、クリップ化することが行われる。これをオペレータが記録された動画を確認し、重要なシーンについてクリップとする画像の範囲（イン点／アウト点）を決めるようにすると、その画像抽出作業は簡単ではなく、また迅速性が要求されることから、スタッフの作業負担は非常に大きい。実施の形態の場合、このような人手に頼った作業を解消し、かつ適切なクリップ抽出ができるという点で大きな効果がある。
また外部の解析エンジン９０によるイベント抽出情報ＥＶをそのままクリップ画像ＣＬの切り出しのための設定情報ＣＬＤとはしていない。即ち解析エンジン９０のイベント抽出結果の修正等を行う。これにより解析エンジン９０の性能に依存せず、画像の切り出し精度を向上させることができる。

実施の形態の情報処理装置１（イベント解析部１Ａ）は、第１処理において、画像信号ＰＳ１（ＰＳ２）の情報量と、解析エンジン９０へ送信する伝送路８０の帯域情報を用いて、画像信号の情報量削減処理を行うか否かの判断を行うようにした（図６のＳ１０２〜Ｓ１０４参照）。
例えばリアルタイム動画としての画像信号のフレームレートや解像度によって決まる情報量と、伝送路の帯域の事情により、リアルタイム性が損なわれてしまうこともあり得る。本実施の形態では、画像信号の情報量の削減と、解析エンジンへの送信を行う伝送路の帯域情報を比較して、画像信号の情報量削減処理（Ｓ１０６）を行うことが必要かどうかを判断する。
必要な場合は情報量削減処理を行うことで、帯域にかかわらずリアルタイム性を維持することができる。
帯域が十分な場合は情報量削減処理を行わないことで、高フレームレート、高解像度のままの画像情報ＰＳ２を解析エンジン９０に送信すれば良く、情報処理装置１では情報量削減処理による処理負担は生じない。また解析エンジン９０側では情報量の多い画像情報を得ることで精度の高いイベント解析が可能となる。

実施の形態の情報処理装置１（イベント解析部１Ａ）は、情報量削減処理では、帯域情報と、画像信号ＰＳ１（ＰＳ２）の情報量に応じた解析エンジン９０の精度の情報を用いて、削減後の情報量を決定するようにした（Ｓ１０５）。
情報量削減を行う場合に、画像信号の情報量に対する解析エンジンの精度の情報を参照し、これと伝送路の帯域情報を勘案して、削減処理の程度を決めることで、リアルタイム性を維持可能な範囲で最も情報量を多くするような削減処理が可能である。さらには、解析エンジンでの解析に支障がない情報量を維持しつつ、伝送路の帯域状況に対応できる。これによって、解析エンジンの情報品質も保ち、結果として精度のよいクリップ画像の自動設定が可能となる。

実施の形態では、情報処理装置１（イベント解析部１Ａ）が第１処理において、収録装置２から受信した画像信号ＰＳ１をストリーミング画像信号にエンコードして解析エンジン９０に送信する処理を行う例を挙げた。
これによりストリーミング画像信号に対応してイベント抽出を行う解析エンジン９０を利用する場合に、リアルタイム性を損なわずに画像信号ＰＳ２の転送ができる。

実施の形態では、情報処理装置１（イベント解析部１Ａ）が第１処理において、収録装置２から受信した画像信号ＰＳ１を、一定又は不定の時間長の画像期間に分割して画像ファイルとし、解析エンジンに送信する処理を行う例を挙げた。
例えばリアルタイム動画としての画像信号を、例えば５〜１０秒程度の期間毎のシーンで画像ファイルにエンコードして、順次解析エンジンに送信する。
これにより短い期間長の画像としてファイル化された画像信号に対応してイベント抽出を行う解析エンジン９０を利用することができるとともに、リアルタイム性を損なわない画像信号ＰＳ２の提供が可能となる。

この場合において、情報処理装置１（イベント解析部１Ａ）が、画像ファイルを、時間的に連続する前後の画像ファイルにおいて一部のシーンが重複するように生成する例を挙げた（図７参照）
例えば５〜１０秒程度の期間の画像ファイルについて、例えば１秒程度、前後の画像ファイルでシーンが重複するようにする。
短時間の期間毎の画像をファイル化する場合、画像解析の際に前後のファイルの繋がりが不明確になりやすいが、実施の形態のように一部シーンが重複するようにすることで、複数の画像ファイルに渡るイベントを、解析エンジン９０が正確に認識し易いようにすることができる。

実施の形態では、情報処理装置１（イベント解析部１Ａ）が第２処理において、解析エンジン９０から受信した、イン点及びアウト点を含むイベント抽出情報ＥＶについて、イン点又はアウト点を更新した設定情報ＣＬＤを生成する例を挙げた（図８，図９参照）。
これにより、外部の解析エンジン９０の性能に頼らずに、画像システム１０としてより適切なクリップ生成のための設定情報ＣＬＤを生成できる。つまり解析エンジン９０に依存せず、画像の切り出し精度を向上させることができる。

実施の形態では、情報処理装置１（イベント解析部１Ａ）が第２処理において、接続された画像システム１０内の機器から得られる情報を用いて設定情報ＣＬＤを生成する例を述べた（図９のＳ２１４〜Ｓ２１７参照）。
画像システム１０内の各機器から情報を取得し利用することで、より当該画像システム１０に適したクリップ生成のための設定情報ＣＬＤを生成できる。つまり解析エンジン９０の解析に頼らず、当該画像システム１０に適した情報を含む設定情報ＣＬＤを生成できる。

実施の形態では、情報処理装置１（イベント解析部１Ａ）が第２処理において、解析エンジン９０から受信したイベント抽出情報ＥＶとして、同じイベントを対象とする複数のイベント抽出情報ＥＶが存在する場合、当該複数のイベント抽出情報ＥＶを用いて、そのイベントに関するクリップ画像の設定情報ＣＬＤを生成する例を述べた（図８のＳ２０２〜Ｓ２０８）。
例えば或るシーンを複数の撮像装置３で撮像していた場合、解析エンジン９０からは、同じイベントについて複数のイベント抽出情報ＥＶが提供される場合がある。その場合に、同じイベントを対象とする複数のイベント抽出情報ＥＶを利用して、設定情報ＣＬＤを生成する。
これにより、複数の撮像装置３で撮られた画像に基づき、より精度のよいクリップ設定情報ＣＬＤが生成できる。例えば、複数のイベント抽出情報のイン点／アウト点を確認し、それぞれの期間が含まれるようにイン点／アウト点を設定した設定情報を生成できる。これによりイベントを構成するシーンとして漏れのないクリップ画像ＣＬを生成できるなど、クリップ切り出し精度を向上させることができる。

実施の形態では、情報処理装置１（イベント解析部１Ａ）が第２処理において、接続された画像システム外機器８１から得られる情報を用いて設定情報ＣＬＤを生成する例を述べた（図９のＳ２１０〜Ｓ２１８）。
システム外機器８１から情報を取得して設定情報ＣＬＤに反映させることで、より情報の充実したクリップ画像ＣＬを生成することができる。
なお、システム外機器８１からのデータを用いて、解析エンジン９０が提示したイベント抽出情報ＥＶを更新することで、より望ましい設定情報ＣＬＤを生成できる。例えば解析エンジン９０が提示したイン点／アウト点を、システム外機器８１からのデータを用いて変更する。
例えば外部の信頼度の高い情報を得ることでイベント発生の時刻を正確に把握して、イン点／アウト点を更新することで、より精度の高いクリップ画像ＣＬのための設定情報ＣＬＤが生成できる。

実施の形態では、情報処理装置１（イベント解析部１Ａ）が第２処理において、画像システム１０内の機器又はシステム外機器８１から取得した情報を用いて、メタデータ制御情報を含む設定情報ＣＬＤを生成する例を述べた（図９のＳ２１０〜Ｓ２１３）。
例えば画像クリップに対応してサッカー中継の際の選手の情報や、ゴールシーン／キックオフシーン、終了シーンなどのイベント種別の情報等も付加できる。
これにより、オペレータＯＰが扱いやすいクリップ画像ＣＬを提供できることにもなる。またオペレータＯＰの操作負担も低減できる。
オペレータＯＰは、メタデータＭＴに基づく情報提示により、各クリップ画像ＣＬの内容を把握でき、いちいち内容を見なくてもクリップ選択ができる場合もある。これはオペレータＯＰの操作を著しく効率化するものとなる。
なお、メタデータ制御情報は、設定情報ＣＬＤとしてのイン点／アウト点とは別途送信されてもよい。いずれにしても設定情報ＣＬＤは、クリップ生成のために情報処理装置１が収録装置２に送信する情報の総称であり、個々の情報がどのようなデータ形式で転送されるか、また同時に送信されるか否かは特に規定されるものではない。次に述べる評価値も同様である。

実施の形態では、情報処理装置１（イベント解析部１Ａ）が第２処理において、イベント抽出に関する評価値（イベント抽出確度スコア）を含む設定情報ＣＬＤを生成する例を述べた。
このような設定情報ＣＬＤに基づいて生成されたクリップ画像ＣＬについて評価値となるスコアを提示するようにすれば、オペレータＯＰが、そのスコアを参考にしてクリップ画像ＣＬを選択することもできる。従って例えば放送に使用できる確実なクリップ画像を容易に選択できるようにもなる。

実施の形態の情報処理装置１（イベント解析部１Ａ）は、解析エンジン９０から受信したイベント抽出情報ＥＶとして、同じイベントを対象とする複数のイベント抽出情報ＥＶが存在する場合、そのイベントに関するクリップ画像の設定情報ＣＬＤについて、評価値（イベント抽出確度スコア）を上げるようにした（図８のＳ２０７）。
複数の撮像装置により同じシーンが撮られて、それらが複数のイベント抽出情報ＥＶとして得られた場合、複数の撮像装置３で撮像した重要なシーンがイベントとして抽出された可能性が高い。そこで評価値を上昇させる。
これにより、イベント抽出が適切であった、つまり重要なイベントを解析エンジン９０が抽出したことが示されるようになり、クリップ選択のためのガイドとして適切な情報を付加できることになる。

また実施の形態の情報処理装置１（イベント解析部１Ａ）は、イベント抽出情報ＥＶで示されるシーンについての撮像装置３の動作情報（カメラデータ）に基づいて、当該イベント抽出情報に基づく設定情報ＣＬＤについての評価値（イベント抽出確度スコア）を変更するようにした（図９のＳ２１７）。
例えばイベント抽出情報で指定されたシーンにおける撮像装置の動作情報を参照することで、適切な撮像がなされていたか否かが判定できる。そこで動作情報を参照して評価値を変更する。
これにより、例えば抽出されたイベントとしてのシーンの画像が、フォーカス状態がよくない画像である場合などに、評価値を下げるなどすることができる。もちろん適切な動作状態であった場合は評価値を上げるようにしてもよい。このような評価値（イベント抽出確度スコア）は、クリップ選択のための適切なガイド情報となる。

実施の形態の情報処理装置１は、接続された画像システム１０内の機器からフィードバック情報ＦＢＤを受信して所定の処理を行うフィードバック受信処理部１Ｂを備える。
情報処理装置１は、撮像装置３、収録装置２、画像送出制御装置４などの画像システム１０内の各機器から情報を取得することで、より適切な設定情報生成のための学習等が可能となる。

実施の形態では、フィードバック情報ＦＢＤは、使用されたクリップ画像ＣＬの情報を含むものとした。
例えばオペレータＯＰによるクリップ画像ＣＬの選択情報（使用情報）をフィードバックし、所定の処理に反映させる。
画像送出制御装置４におけるクリップ画像の選択情報、即ち放送で使用されるクリップ画像の情報をフィードバックしていくことで、情報処理装置１は、どのようなクリップが選択されやすいかを学習したり、学習結果を用いて選択の傾向にあわせた設定情報ＣＬＤの生成を行ったりすることが可能となる。これにより、より使用に適したクリップ作成が実現できる。

実施の形態では、情報処理装置１（フィードバック受信処理部１Ｂ）がフィードバック情報ＦＢＤを用いた所定の処理として、撮像装置３の動作制御を行う例を挙げた。
例えば適切なフィードバック情報ＦＢＤに基づいてフォーカス、明るさ、ズームなどの撮像装置３の動作を制御することで、イベント抽出に有利になるように撮像装置２を動かし、イベント検出精度を高めるようにすることが可能である。
また撮像装置３の動作制御を自動化することで、カメラマンの省人化、省力化が可能となる

実施の形態のプログラムは、上述の実施の形態で示した図６の第１処理、及び図８，図９の第２処理を、例えばＣＰＵ、ＤＳＰ等、或いはこれらを含むデバイスに実行させるプログラムである。
即ち実施の形態のプログラムは、受信した画像信号について、リアルタイム処理用の画像信号として外部の解析エンジン９０に送信する第１処理と、解析エンジン９０から受信したイベント抽出情報ＥＶを受信し、該イベント抽出情報ＥＶを用いて、クリップ画像ＣＬの設定情報ＣＬＤを生成する第２処理とを情報処理装置１に実行させるプログラムである。このようなプログラムにより、上述した情報処理装置１を実現できる。

このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。

またこのようなプログラムによれば、実施の形態の情報処理装置１の広範な提供に適している。例えばパーソナルコンピュータ、携帯型情報処理装置、画像編集装置、放送機器、携帯電話機、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等にプログラムをダウンロードすることで、当該パーソナルコンピュータ等を、本開示の情報処理装置１とすることができる。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

なお本技術は以下のような構成も採ることができる。
（１）
受信した画像信号について、リアルタイム処理用の画像信号として外部の解析エンジンに送信する第１処理と、
前記解析エンジンから受信したイベント抽出情報を受信し、該イベント抽出情報を用いて、クリップ画像の設定情報を生成する第２処理と、
を行うイベント解析部を備えた
情報処理装置。
（２）
前記イベント解析部は、前記第１処理において、画像信号の情報量と、解析エンジンへ送信する伝送路の帯域情報を用いて、画像信号の情報量削減処理を行うか否かの判断を行う
上記（１）に記載の情報処理装置。
（３）
前記イベント解析部は、前記情報量削減処理では、帯域情報と、画像信号の情報量に応じた解析エンジンの精度の情報を用いて、削減後の情報量を決定する
上記（２）に記載の情報処理装置。
（４）
前記イベント解析部は、前記第１処理において、
受信した画像信号をストリーミング画像信号にエンコードして解析エンジンに送信する処理を行う
上記（１）乃至（３）のいずれかに記載の情報処理装置。
（５）
前記イベント解析部は、前記第１処理において、
受信した画像信号を、一定又は不定の時間長の画像期間に分割して画像ファイルとし、解析エンジンに送信する処理を行う
上記（１）乃至（３）のいずれかに記載の情報処理装置。
（６）
前記イベント解析部は、前記画像ファイルを、時間的に連続する前後の画像ファイルにおいて一部のシーンが重複するように生成する
上記（５）に記載の情報処理装置。
（７）
前記イベント解析部は、前記第２処理において、
前記解析エンジンから受信した、イン点及びアウト点を含むイベント抽出情報について、前記イン点又は前記アウト点を更新した前記設定情報を生成する
上記（１）乃至（６）のいずれかに記載の情報処理装置。
（８）
前記イベント解析部は、前記第２処理において、
接続された画像システム内の機器から得られる情報を用いて前記設定情報を生成する
上記（１）乃至（７）のいずれかに記載の情報処理装置。
（９）
前記イベント解析部は、前記第２処理において、
前記解析エンジンから受信したイベント抽出情報として、同じイベントを対象とする複数のイベント抽出情報が存在する場合、当該複数のイベント抽出情報を用いて、そのイベントに関するクリップ画像の設定情報を生成する
上記（１）乃至（８）のいずれかに記載の情報処理装置。
（１０）
前記イベント解析部は、前記第２処理において、
接続された画像システム外の機器から得られる情報を用いて前記設定情報を生成する
上記（１）乃至（９）のいずれかに記載の情報処理装置。
（１１）
前記イベント解析部は、前記第２処理において、
画像システム内の機器又は画像システム外の機器から取得した情報を用いて、メタデータ制御情報を含む前記設定情報を生成する
上記（１）乃至（１０）のいずれかに記載の情報処理装置。
（１２）
前記イベント解析部は、前記第２処理において、
イベント抽出に関する評価値を含む前記設定情報を生成する
上記（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
前記イベント解析部は、前記解析エンジンから受信したイベント抽出情報として、同じイベントを対象とする複数のイベント抽出情報が存在する場合、そのイベントに関するクリップ画像の設定情報について、前記評価値を上げるようにする
上記（１２）に記載の情報処理装置。
（１４）
前記イベント解析部は、イベント抽出情報で示されるシーンについての撮像装置の動作情報に基づいて、当該イベント抽出情報に基づく前記設定情報についての前記評価値を変更するようにする
上記（１２）又は（１３）に記載の情報処理装置。
（１５）
接続された画像システム内の機器からフィードバック情報を受信して所定の処理を行うフィードバック受信処理部を備えた
上記（１）乃至（１４）のいずれかに記載の情報処理装置。
（１６）
前記フィードバック情報は、使用されたクリップ画像の情報を含む
上記（１５）に記載の情報処理装置。
（１７）
前記フィードバック受信処理部は、前記所定の処理として、撮像装置の動作制御を行う
上記（１５）又は（１６）に記載の情報処理装置。
（１８）
受信した画像信号について、リアルタイム処理用の画像信号として外部の解析エンジンに送信する第１処理と、
前記解析エンジンから受信したイベント抽出情報を受信し、該イベント抽出情報を用いて、クリップ画像の設定情報を生成する第２処理と、を情報処理装置が行う
情報処理方法。
（１９）
受信した画像信号について、リアルタイム処理用の画像信号として外部の解析エンジンに送信する第１処理と、
前記解析エンジンから受信したイベント抽出情報を受信し、該イベント抽出情報を用いて、クリップ画像の設定情報を生成する第２処理と、
を情報処理装置に実行させるプログラム。

１… 情報処理装置、１Ａ…イベント解析部、１Ｂ…フィードバック受信処理部、２…収録装置、３…撮像装置、４…画像送出制御装置、１０…画像システム、８０…伝送路、８…システム外機器、９０…解析エンジン

Claims (19)

1. 受信した画像信号について、リアルタイム処理用の画像信号として外部の解析エンジンに送信する第１処理と、
   前記解析エンジンから受信したイベント抽出情報を受信し、該イベント抽出情報を用いて、クリップ画像の設定情報を生成する第２処理と、
   を行うイベント解析部を備えた
   情報処理装置。
2. 前記イベント解析部は、前記第１処理において、画像信号の情報量と、解析エンジンへ送信する伝送路の帯域情報を用いて、画像信号の情報量削減処理を行うか否かの判断を行う
   請求項１に記載の情報処理装置。
3. 前記イベント解析部は、前記情報量削減処理では、帯域情報と、画像信号の情報量に応じた解析エンジンの精度の情報を用いて、削減後の情報量を決定する
   請求項２に記載の情報処理装置。
4. 前記イベント解析部は、前記第１処理において、
   受信した画像信号をストリーミング画像信号にエンコードして解析エンジンに送信する処理を行う
   請求項１に記載の情報処理装置。
5. 前記イベント解析部は、前記第１処理において、
   受信した画像信号を、一定又は不定の時間長の画像期間に分割して画像ファイルとし、解析エンジンに送信する処理を行う
   請求項１に記載の情報処理装置。
6. 前記イベント解析部は、前記画像ファイルを、時間的に連続する前後の画像ファイルにおいて一部のシーンが重複するように生成する
   請求項５に記載の情報処理装置。
7. 前記イベント解析部は、前記第２処理において、
   前記解析エンジンから受信した、イン点及びアウト点を含むイベント抽出情報について、前記イン点又は前記アウト点を更新した前記設定情報を生成する
   請求項１に記載の情報処理装置。
8. 前記イベント解析部は、前記第２処理において、
   接続された画像システム内の機器から得られる情報を用いて前記設定情報を生成する
   請求項１に記載の情報処理装置。
9. 前記イベント解析部は、前記第２処理において、
   前記解析エンジンから受信したイベント抽出情報として、同じイベントを対象とする複数のイベント抽出情報が存在する場合、当該複数のイベント抽出情報を用いて、そのイベントに関するクリップ画像の設定情報を生成する
   請求項１に記載の情報処理装置。
10. 前記イベント解析部は、前記第２処理において、
    接続された画像システム外の機器から得られる情報を用いて前記設定情報を生成する
    請求項１に記載の情報処理装置。
11. 前記イベント解析部は、前記第２処理において、
    画像システム内の機器又は画像システム外の機器から取得した情報を用いて、メタデータ制御情報を含む前記設定情報を生成する
    請求項１に記載の情報処理装置。
12. 前記イベント解析部は、前記第２処理において、
    イベント抽出に関する評価値を含む前記設定情報を生成する
    請求項１に記載の情報処理装置。
13. 前記イベント解析部は、前記解析エンジンから受信したイベント抽出情報として、同じイベントを対象とする複数のイベント抽出情報が存在する場合、そのイベントに関するクリップ画像の設定情報について、前記評価値を上げるようにする
    請求項１２に記載の情報処理装置。
14. 前記イベント解析部は、イベント抽出情報で示されるシーンについての撮像装置の動作情報に基づいて、当該イベント抽出情報に基づく前記設定情報についての前記評価値を変更するようにする
    請求項１２に記載の情報処理装置。
15. 接続された画像システム内の機器からフィードバック情報を受信して所定の処理を行うフィードバック受信処理部を備えた
    請求項１に記載の情報処理装置。
16. 前記フィードバック情報は、使用されたクリップ画像の情報を含む
    請求項１５に記載の情報処理装置。
17. 前記フィードバック受信処理部は、前記所定の処理として、撮像装置の動作制御を行う
    請求項１５に記載の情報処理装置。
18. 受信した画像信号について、リアルタイム処理用の画像信号として外部の解析エンジンに送信する第１処理と、
    前記解析エンジンから受信したイベント抽出情報を受信し、該イベント抽出情報を用いて、クリップ画像の設定情報を生成する第２処理と、を情報処理装置が行う
    情報処理方法。
19. 受信した画像信号について、リアルタイム処理用の画像信号として外部の解析エンジンに送信する第１処理と、
    前記解析エンジンから受信したイベント抽出情報を受信し、該イベント抽出情報を用いて、クリップ画像の設定情報を生成する第２処理と、
    を情報処理装置に実行させるプログラム。

Images