JP7452641B2 - 情報処理装置、制御方法、及び、プログラム - Google Patents

Description

本開示は、ダイジェストの生成に関する処理を行う情報処理装置、制御方法及び記憶媒体の技術分野に関する。

素材となる映像データを編集してダイジェストを生成する技術が存在する。例えば、特許文献１には、グランドでのスポーツイベントの映像ストリームからハイライトを確認して製作する方法が開示されている。

特表２０１９－５２２９４８号公報

映像編集の時間短縮化とコンテンツ拡大の二つのニーズから、映像の自動編集に対するニーズが高まっている。このような自動編集では、複数の推論器を用いることで多角的な観点により重要区間を判定することが可能となる一方で、複数の推論器の推論結果を適切に組み合わせることが困難であった。

本開示の目的は、上記の課題を勘案し、ダイジェスト候補を好適に生成することが可能な情報処理装置、制御方法及び記憶媒体を提供することである。

情報処理装置の一の態様は、
入力された映像データに対して重要度に関する推論を行う複数の推論器による素材映像データへの前記推論器毎の推論結果を取得する推論手段と、
前記推論器毎の推論結果に関するパラメータを指定する入力を受け付け、前記パラメータは前記推論器毎の推論結果を統合した総合スコアに対する閾値に関する情報を含み、前記映像データ対して指定された再生時刻に応じて画像を表示する入力受付手段と、
前記画像が表示された画面に備えられた決定ボタンの選択に応じて、前記パラメータと、前記推論器毎の推論結果とに基づき、前記素材映像データのダイジェストの候補であるダイジェスト候補を生成するダイジェスト候補生成手段と、
を有する情報処理装置である。

制御方法の一の態様は、
コンピュータにより、
入力された映像データに対して重要度に関する推論を行う複数の推論器による素材映像データへの前記推論器毎の推論結果を取得し、
前記推論器毎の推論結果に関するパラメータを指定する入力を受け付け、前記パラメータは前記推論器毎の推論結果を統合した総合スコアに対する閾値に関する情報を含み、前記映像データ対して指定された再生時刻に応じて画像を表示し、
前記画像が表示された画面に備えられた決定ボタンの選択に応じて、前記パラメータと、前記推論器毎の推論結果とに基づき、前記素材映像データのダイジェストの候補であるダイジェスト候補を生成する、制御方法である。

プログラムの一の態様は、
入力された映像データに対して重要度に関する推論を行う複数の推論器による素材映像データへの前記推論器毎の推論結果を取得する推論手段と、
前記推論器毎の推論結果に関するパラメータを指定する入力を受け付け、前記パラメータは前記推論器毎の推論結果を統合した総合スコアに対する閾値に関する情報を含み、前記映像データ対して指定された再生時刻に応じて画像を表示する入力受付手段と、
前記画像が表示された画面に備えられた決定ボタンの選択に応じて、前記パラメータと、前記推論器毎の推論結果とに基づき、前記素材映像データのダイジェストの候補であるダイジェスト候補を生成するダイジェスト候補生成手段としてコンピュータを機能させるプログラムである。

本開示によれば、複数の推論器を用いてダイジェスト候補を好適に生成することができる。

第１実施形態におけるダイジェスト生成支援システムの構成を示す。 情報処理装置のハードウェア構成を示す。 情報処理装置の機能ブロックの一例である。 ダイジェスト生成支援画面の第１表示例である。 ダイジェスト生成支援画面の第２表示例である。 第１実施形態において情報処理装置が実行する処理の手順を示すフローチャートの一例である。 ダイジェスト生成支援画面の第３表示例である。 変形例におけるダイジェスト生成支援システムの構成を示す。 第２実施形態における情報処理装置の機能ブロック図である。 第２実施形態において情報処理装置が実行するフローチャートの一例である。

以下、図面を参照しながら、情報処理装置、制御方法及び記憶媒体の実施形態について説明する。

＜第１実施形態＞
（１）システム構成
図１は、第１実施形態に係るダイジェスト生成支援システム１００の構成を示す。ダイジェスト生成支援システム１００は、素材となる映像データのダイジェストの候補となる映像データ（「ダイジェスト候補Ｃｄ」とも呼ぶ。）の生成を好適に支援する。ダイジェスト生成支援システム１００は、主に、情報処理装置１と、入力装置２と、出力装置３と、記憶装置４とを備える。以後において、映像データは、音データを含んでもよい。

情報処理装置１は、通信網を介し、又は、無線若しくは有線による直接通信により、入力装置２、及び出力装置３とデータ通信を行う。情報処理装置１は、記憶装置４に記憶された素材映像データＤ１に対して重要区間の映像データを抽出することで、素材映像データＤ１のダイジェスト候補Ｃｄを生成する。

入力装置２は、ユーザ入力を受け付ける任意のユーザインターフェースであり、例えば、ボタン、キーボード、マウス、タッチパネル、音声入力装置などが該当する。入力装置２は、ユーザ入力に基づき生成した入力信号「Ｓ１」を、情報処理装置１へ供給する。出力装置３は、例えば、ディスプレイ、プロジェクタ等の表示装置、及び、スピーカ等の音出力装置であり、情報処理装置１から供給される出力信号「Ｓ２」に基づき、所定の表示又は／及び音出力（ダイジェスト候補Ｃｄの再生などを含む）を行う。

記憶装置４は、情報処理装置１の処理に必要な各種情報を記憶するメモリである。記憶装置４は、例えば、素材映像データＤ１と、推論器情報Ｄ２とを記憶する。

素材映像データＤ１は、ダイジェスト候補Ｃｄを生成する対象となる映像データである。なお、素材映像データＤ１として複数の映像データが記憶装置４に記憶されている場合には、例えば、入力装置２によりユーザが指定した映像データに対するダイジェスト候補Ｃｄが生成される。

推論器情報Ｄ２は、入力された映像データに対するスコアを推論する複数の推論器に関する情報である。上述のスコアは、入力された映像データの重要度を示すスコアであり、上述の重要度は、入力された映像データが重要区間であるか又は非重要区間であるか（即ちダイジェストの一区間として相応しいか否か）を判定するための基準となる指標である。また、複数の推論器は、夫々、入力された映像データに対して異なる着目点によりスコアを夫々推論するモデルである。

ここで、複数の推論器は、例えば、入力された映像データを構成する画像に基づきスコアを推論する推論器と、入力された映像データに含まれる音データに基づきスコアを推論する推論器とを含む。また、前者の推論器は、入力された映像データを構成する画像の全体領域に基づきスコアを推論する推論器と、入力された映像データを構成する画像において特定箇所（例えば人の顔）を示す領域に基づきスコアを推論する推論器とを含んでもよい。なお、画像において特定箇所を示す領域に基づきスコアを推論する推論器は、例えば、画像から特定箇所に関する特徴量を抽出する前段部と、抽出した特徴量から重要度に関するスコアを推論する後段部とを有してもよい。他の推論器も同様に、対象となる着目点に関する特徴量を抽出する処理部と、抽出された特徴量からスコアを評価する処理部とを有してもよい。

これらの推論器は予め学習され、推論器情報Ｄ２には、学習された各推論器のパラメータが含まれる。推論器の学習モデルは、それぞれ、ニューラルネットワーク又はサポートベクターマシンなどの任意の機械学習に基づく学習モデルであってもよい。例えば、上述の第１推論器及び第２推論器のモデルが畳み込みニューラルネットワークなどのニューラルネットワークである場合、推論器情報Ｄ２は、層構造、各層のニューロン構造、各層におけるフィルタ数及びフィルタサイズ、並びに各フィルタの各要素の重みなどの各種パラメータを含む。

なお、記憶装置４は、情報処理装置１に接続又は内蔵されたハードディスクなどの外部記憶装置であってもよく、フラッシュメモリなどの記憶媒体であってもよい。また、記憶装置４は、情報処理装置１とデータ通信を行うサーバ装置であってもよい。また、記憶装置４は、複数の装置から構成されてもよい。この場合、記憶装置４は、素材映像データＤ１及び推論器情報Ｄ２を分散して記憶してもよい。

以上において説明したダイジェスト生成支援システム１００の構成は一例であり、当該構成に種々の変更が行われてもよい。例えば、入力装置２及び出力装置３は、一体となって構成されてもよい。この場合、入力装置２及び出力装置３は、情報処理装置１と一体となるタブレット型端末として構成されてもよい。他の例では、情報処理装置１は、複数の装置から構成されてもよい。この場合、情報処理装置１を構成する複数の装置は、予め割り当てられた処理を実行するために必要な情報の授受を、これらの複数の装置間において行う。

（２）情報処理装置のハードウェア構成
図２は、情報処理装置１のハードウェア構成を示す。情報処理装置１は、ハードウェアとして、プロセッサ１１と、メモリ１２と、インターフェース１３とを含む。プロセッサ１１、メモリ１２及びインターフェース１３は、データバス１９を介して接続されている。

プロセッサ１１は、メモリ１２に記憶されているプログラムを実行することにより、所定の処理を実行する。プロセッサ１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、量子プロセッサなどのプロセッサである。

メモリ１２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの各種の揮発性メモリ及び不揮発性メモリにより構成される。また、メモリ１２には、情報処理装置１が実行するプログラムが記憶される。また、メモリ１２は、作業メモリとして使用され、記憶装置４から取得した情報等を一時的に記憶する。なお、メモリ１２は、記憶装置４として機能してもよい。同様に、記憶装置４は、情報処理装置１のメモリ１２として機能してもよい。なお、情報処理装置１が実行するプログラムは、メモリ１２以外の記憶媒体に記憶されてもよい。

インターフェース１３は、情報処理装置１と他の装置とを電気的に接続するためのインターフェースである。例えば、情報処理装置１と他の装置とを接続するためのインターフェースは、プロセッサ１１の制御に基づき他の装置とデータの送受信を有線又は無線により行うためのネットワークアダプタなどの通信インターフェースであってもよい。他の例では、情報処理装置１と他の装置とはケーブル等により接続されてもよい。この場合、インターフェース１３は、他の装置とデータの授受を行うためのＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＳＡＴＡ（Ｓｅｒｉａｌ ＡＴ Ａｔｔａｃｈｍｅｎｔ）などに準拠したハードウェアインターフェースを含む。

なお、情報処理装置１のハードウェア構成は、図２に示す構成に限定されない。例えば、情報処理装置１は、入力装置２又は出力装置３の少なくとも一方を含んでもよい。

（３）機能ブロック
情報処理装置１は、複数の推論器の推論結果Ｒｅに関するパラメータ（「パラメータＰｄ」とも呼ぶ。）を指定するユーザ入力を受け付け、パラメータＰｄに基づきダイジェスト候補Ｃｄを生成する。ここで、パラメータＰｄは、複数の推論器の推論結果Ｒｅからダイジェスト候補Ｃｄを生成するために必要なパラメータである。以下では、上述の処理を実現するための情報処理装置１の機能ブロックについて説明する。

情報処理装置１のプロセッサ１１は、機能的には、推論部１５と、入力受付部１６と、ダイジェスト候補生成部１７と、を有する。なお、図３では、データの授受が行われるブロック同士を実線により結んでいるが、データの授受が行われるブロックの組合せは図３に限定されない。後述する他の機能ブロックの図においても同様である。

推論部１５は、素材映像データＤ１に対し、推論器情報Ｄ２により構成される推論器による推論器毎の推論結果「Ｒｅ」を生成する。ここで、推論結果Ｒｅは、素材映像データＤ１に対して推論器毎に推論されたスコア（「個別スコアＳｉ」とも呼ぶ。）の時系列データを示す。この場合、推論部１５は、推論器情報Ｄ２を参照することで構成した複数の推論器の各々に対し、素材映像データＤ１を区間毎に分割した映像データである区間映像データを順次入力することで、入力した区間映像データに対する推論器毎の時系列の個別スコアＳｉを算出する。ここで、個別スコアＳｉは、対象の推論器が対象とする観点において重要性が高いと判定される区間映像データほど高い値となる。そして、推論部１５は、生成した推論結果Ｒｅを、入力受付部１６及びダイジェスト候補生成部１７へ供給する。

入力受付部１６は、素材映像データＤ１及び複数の推論器の推論結果Ｒｅに基づき、ダイジェスト候補Ｃｄを選定するために必要なパラメータＰｄを指定するユーザ入力を受け付ける。具体的には、入力受付部１６は、ダイジェスト候補Ｃｄの生成を支援する画面（「ダイジェスト生成支援画面」とも呼ぶ。）を表示するための出力信号Ｓ１を、インターフェース１３を介して出力装置３に送信する。ダイジェスト生成支援画面は、ユーザがパラメータＰｄを指定するための入力画面であり、具体例については後述する。そして、入力受付部１６は、ダイジェスト生成支援画面において指定されたパラメータＰｄに関する入力信号Ｓ２を、インターフェース１３を介して入力装置２から受信する。そして、入力受付部１６は、入力信号Ｓ２に基づき特定したパラメータＰｄを、ダイジェスト候補生成部１７に供給する。

パラメータＰｄは、例えば、推論器毎の個別スコアＳｉを統合したスコア（「総合スコアＳｔ」とも呼ぶ。）を算出するために推論器毎に設定する重み（「重みＷ」とも呼ぶ。）に関する情報を含む。他の例では、パラメータＰｄは、総合スコアＳｔに基づき素材映像データＤ１の重要区間（即ちダイジェスト候補Ｃｄとする区間）を判定するための閾値（「重要判定閾値Ｔｈ」とも呼ぶ。）に関する情報を含む。パラメータＰｄの設定値の初期値は、メモリ１２又は記憶装置４に予め記憶されている。入力受付部１６は、入力信号Ｓ２に基づきパラメータＰｄの設定値を更新し、最新のパラメータＰｄの設定値をメモリ１２又は記憶装置４に記憶する。

ダイジェスト候補生成部１７は、推論器毎の推論結果Ｒｅと、パラメータＰｄとに基づき、ダイジェスト候補Ｃｄを生成する。例えば、ダイジェスト候補生成部１７は、総合スコアＳｔが重要判定閾値Ｔｈ以上となる素材映像データＤ１の区間の映像データを抽出し、抽出した映像データを時系列に従い並べて結合した映像データを、ダイジェスト候補Ｃｄとして生成する。

なお、ダイジェスト候補生成部１７は、ダイジェスト候補Ｃｄとして１つの映像データを生成する代わりに、重要区間に該当すると判定した映像データのリストを、ダイジェスト候補Ｃｄとして生成してもよい。この場合、ダイジェスト候補生成部１７は、ダイジェスト候補Ｃｄを出力装置３に表示させ、最終的なダイジェストに含める映像データを選択するユーザ入力などを入力装置２により受け付けてもよい。

情報処理装置１は、ダイジェスト候補生成部１７が生成したダイジェスト候補Ｃｄを、最終的なダイジェストとしてもよく、ダイジェスト候補Ｃｄに対してさらに追加の処理を行うことで、最終的なダイジェストを生成してもよい。後者の場合、例えば、情報処理装置１は、重要区間と判定した映像データと関連性が高い非重要区間を含むシーンが最終的なダイジェストに含まれるように追加の処理を行ってもよい。

図３において説明した推論部１５、入力受付部１６、ダイジェスト候補生成部１７の各構成要素は、例えば、プロセッサ１１が記憶装置４又はメモリ１２に格納されたプログラムを実行することによって実現できる。また、必要なプログラムを任意の不揮発性記憶媒体に記録しておき、必要に応じてインストールすることで、各構成要素を実現するようにしてもよい。なお、これらの各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、これらの各構成要素は、例えばＦＰＧＡ（field-programmable gate array）又はマイコン等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。このように、各構成要素は、プロセッサ以外のハードウェアを含む任意のコントローラにより実現されてもよい。以上のことは、後述する他の実施の形態においても同様である。

（４）ダイジェスト生成支援画面
次に、入力受付部１６が実行する具体的な処理について、ダイジェスト生成支援画面の表示例（第１表示例及び第２表示例）と共に説明する。

図４は、ダイジェスト生成支援画面の第１表示例である。入力受付部１６は、重みＷ及び重要判定閾値Ｔｈの変更を指定可能なダイジェスト生成支援画面を、出力装置３に表示させている。この場合、入力受付部１６は、出力信号Ｓ１を出力装置３に供給することで、上述のダイジェスト生成支援画面を出力装置３に表示させている。

入力受付部１６は、ダイジェスト生成支援画面上において、画像表示領域３１と、シークバー３２と、総合スコア表示領域３３と、重み調整領域３４と、推定時間長表示領域３６と、決定ボタン４０とを設けている。

入力受付部１６は、画像表示領域３１において、シークバー３２において指定された再生時刻に対応する素材映像データＤ１の画像を表示する。ここで、シークバー３２は、素材映像データＤ１の再生時間長（ここでは３５分）を明示したバーであり、画像表示領域３１において表示する画像（ここでは２５分３秒に対応する画像）を指定するスライド３７が設けられている。入力受付部１６は、スライド３７の位置に応じて入力装置２が生成する入力信号Ｓ２に基づき、画像表示領域３１に表示する画像を決定する。

また、入力受付部１６は、総合スコア表示領域３３上において、素材映像データＤ１に対する時系列の総合スコアＳｔを示す線グラフを表示している。この場合、入力受付部１６は、推論器毎の推論結果Ｒｅと、重みＷとに基づき、素材映像データＤ１の全区間に対する時系列の総合スコアＳｔを算出し、時系列の総合スコアＳｔを示す線グラフを、総合スコア表示領域３３上に表示する。また、入力受付部１６は、現在の重要判定閾値Ｔｈの設定値を示す閾値ライン３８を、上述の線グラフと共に総合スコア表示領域３３上に表示している。

さらに、入力受付部１６は、重要判定閾値Ｔｈの設定値の変更をユーザが入力可能なユーザインターフェースである閾値変更ボタン３９を、総合スコア表示領域３３に設けている。ここでは、一例として、入力受付部１６は、重要判定閾値Ｔｈの設定値を所定値毎に増減可能な２つのボタンから構成される閾値変更ボタン３９を表示している。そして、入力受付部１６は、閾値変更ボタン３９に対する入力を入力信号Ｓ２に基づき検知した場合、重要判定閾値Ｔｈの設定値を変更し、変更した重要判定閾値Ｔｈの設定値に応じて閾値ライン３８を移動させる。なお、入力受付部１６は、ダイジェスト生成支援画面の表示開始時点では、記憶装置４又はメモリ１２に予め記憶された重要判定閾値Ｔｈの初期値に基づき、閾値ライン３８を表示する。

入力受付部１６は、重み調整領域３４上において、ダイジェスト候補Ｃｄの生成に使用する推論器に対する重みＷを調整可能なユーザインターフェースを表示する。ここでは、一例として、推論器情報Ｄ２には、第１推論器と、第２推論器と、第３推論器との夫々を構成するために必要なパラメータが含まれるものとする。ここで、第１推論器は、素材映像データＤ１を構成する画像中の人の顔の領域に基づき重要度を推論する。第２推論器は、素材映像データＤ１を構成する画像全体に基づき重要度を推論する。第３推論器は、素材映像データＤ１に含まれる音データに基づき重要度を推論する。

そして、重み調整領域３４には、第１推論器～第３推論器に夫々対応する重みＷを調整するための重み調整バー３５Ａ～３５Ｃが設けられている。ここで、重み調整バー３５Ａは、第１推論器が出力する個別スコア「Ｓｉ１」に対する重み「Ｗ１」を調整するユーザインターフェースである。また、重み調整バー３５Ｂは、第２推論器が出力する個別スコア「Ｓｉ２」に対する重み「Ｗ２」を調整するためのユーザインターフェースであり、重み調整バー３５Ｃは、第３推論器が出力する個別スコア「Ｓｉ３」に対する重み「Ｗ３」を調整するためのユーザインターフェースである。重み調整バー３５Ａ～３５Ｃには、スライド４１Ａ～４１Ｃが夫々設けられ、スライド４１Ａ～４１Ｃの位置を調整することで、対応する重みＷ１～Ｗ３を調整することが可能となっている。なお、記憶装置４又はメモリ１２には、重みＷの初期値が予め記憶されており、入力受付部１６は、ダイジェスト生成支援画面の表示開始時には、当該初期値を参照することで、重み調整領域３４の各表示を行う。

そして、入力受付部１６は、スライド４１Ａ～４１Ｃのいずれかの移動を入力信号Ｓ２に基づき検知した場合に、重みＷの設定値を変更する。また、重みＷの設定値の変更により総合スコアＳｔも変更が生じることから、入力受付部１６は、変更された重みＷの設定値に基づき総合スコアＳｔを再計算し、再計算した総合スコアＳｔに基づき総合スコア表示領域３３の表示を更新する。この場合、入力受付部１６は、例えば、以下の式に基づき、総合スコアＳｔを算出する。
Ｓｔ＝（Ｗ１・Ｓｉ１＋Ｗ２・Ｓｉ２＋Ｗ３・Ｓｉ３）／（Ｗ１＋Ｗ２＋Ｗ３）

また、入力受付部１６は、後述する推定時間長表示領域３６において表示するダイジェスト候補Ｃｄの時間長についても再計算を行うことで、推定時間長表示領域３６の表示を更新する。

入力受付部１６は、推定時間長表示領域３６上において、パラメータＰｄ（ここでは、重要判定閾値Ｔｈ及び重みＷ）の現在の設定値によりダイジェスト候補Ｃｄを生成した場合の当該ダイジェスト候補Ｃｄの推定される時間長（「ダイジェスト推定時間長」とも呼ぶ。）を表示する。

そして、入力受付部１６は、決定ボタン４０が選択されたことを検知した場合、現在の重要判定閾値Ｔｈの設定値及び重みＷの設定値を示すパラメータＰｄを、ダイジェスト候補生成部１７に供給する。そして、ダイジェスト候補生成部１７は、供給されたパラメータＰｄが示す現在の重要判定閾値Ｔｈの設定値及び重みＷの設定値によりダイジェスト候補Ｃｄを生成する。その後、ダイジェスト候補生成部１７は、生成したダイジェスト候補Ｃｄを、記憶装置４又はメモリ１２に記憶させてもよく、記憶装置４以外の外部装置に送信してもよい。また、ダイジェスト候補生成部１７は、ダイジェスト候補Ｃｄを再生するための出力信号Ｓ１を出力装置３に送信することで、ダイジェスト候補Ｃｄを出力装置３により再生してもよい。

第１表示例によれば、情報処理装置１は、重要判定閾値Ｔｈの設定値及び重みＷの設定値の変更を受け付け、ダイジェストとして抽出すべきシーン及びダイジェストの時間長を、ユーザ入力に基づき好適に調整することができる。また、情報処理装置１は、重要判定閾値Ｔｈの設定値及び重みＷの設定値を変更する目安となるダイジェスト推定時間長をユーザに提示し、上述の調整を好適に支援することができる。

図５は、ダイジェスト生成支援画面の第２表示例である。第２表示例では、入力受付部１６は、総合スコア表示領域３３上に、総合スコアＳｔの算出における各推論器の推論結果の寄与の度合を明示した棒グラフ（柱状グラフ）を表示する。

具体的には、第２表示例では、入力受付部１６は、所定区間毎の総合スコアＳｔの棒グラフを総合スコア表示領域３３上に表示する場合に、第１推論器～第３推論器の各寄与分を特定し、特定した第１推論器～第３推論器の各寄与分を棒グラフにて色分け表示する。この場合、入力受付部１６は、上述の総合スコアＳｔの算出式の第１項に相当する「（Ｗ１・Ｓｉ１）／（Ｗ１＋Ｗ２＋Ｗ３）」を、第１推論器の推論結果の寄与分とみなす。同様に、入力受付部１６は、「（Ｗ２・Ｓｉ２）／（Ｗ１＋Ｗ２＋Ｗ３）」を、第２推論器の推論結果の寄与分とみなし、「（Ｗ３・Ｓｉ３）／（Ｗ１＋Ｗ２＋Ｗ３）」を、第３推論器の推論結果の寄与分とみなす。そして、入力受付部１６は、区間毎に算出した各寄与分に応じた長さを有するブロックを推論器毎に色分けして積み重ねることで、上述の棒グラフを表示する。

第２表示例によれば、入力受付部１６は、各推論器の推論結果の寄与の度合を好適にユーザに提示することができる。これにより、ダイジェスト候補Ｃｄの編集を行うユーザは、各推論器の重みＷを設定する際に参考となる情報を好適に把握することができる。

（５）処理フロー
図６は、第１実施形態において情報処理装置１が実行する処理の手順を示すフローチャートの一例である。情報処理装置１は、図６に示すフローチャートの処理を、例えば、対象となる素材映像データＤ１を指定して処理の開始を指示するユーザ入力を検知した場合等に実行する。

まず、情報処理装置１は、素材映像データＤ１を取得する（ステップＳ１１）。そして、情報処理装置１の推論部１５は、複数の推論器により、重要度に関する推論を実行する（ステップＳ１２）。この場合、推論部１５は、推論器情報Ｄ２を参照することで構成した複数の推論器により、素材映像データＤ１に対する時系列での個別スコアＳｉを推論器毎に算出する。推論部１５は、推論器毎の時系列の個別スコアＳｉを示す推論結果Ｒｅを、入力受付部１６に供給する。

そして、入力受付部１６は、推論部１５による推論結果Ｒｅと、記憶装置４又はメモリ１２等に記憶されたパラメータＰｄの初期値（初期パラメータ）とに基づき、ダイジェスト生成支援画面を出力装置３に表示させる（ステップＳ１３）。この場合、入力受付部１６は、ダイジェスト生成支援画面を表示するための出力信号Ｓ１を生成し、インターフェース１３を介して出力装置３に出力信号Ｓ１を送信することで、出力装置３にダイジェスト生成支援画面を表示させる。これにより、入力受付部１６は、重要判定閾値Ｔｈや各推論器に対する重みＷなどの現在の設定値を明示したダイジェスト生成支援画面を、出力装置３に表示させる。

次に、入力受付部１６は、入力装置２から供給される入力信号Ｓ２に基づき、パラメータＰｄの変更指示があったか否か判定する（ステップＳ１４）。図４及び図５の例では、入力受付部１６は、重み調整バー３５Ａ～３５Ｃ又は閾値変更ボタン３９の少なくともいずれかに対する操作を検知したか否か判定する。

そして、入力受付部１６は、パラメータＰｄの変更指示があった場合（ステップＳ１４；Ｙｅｓ）、変更後のパラメータＰｄをメモリ１２等に記憶し、かつ、変更後のパラメータＰｄに基づきダイジェスト生成支援画面の表示を更新する（ステップＳ１５）。これにより、入力受付部１６は、ユーザが指定したパラメータＰｄを反映した最新のダイジェスト候補Ｃｄに関する情報をユーザに提示し、パラメータＰｄのさらなる変更の要否判定に必要な情報を可視化する。一方、パラメータＰｄの変更指示がない場合（ステップＳ１４；Ｎｏ）、ステップＳ１６へ処理を進める。

そして、入力受付部１６は、入力装置２から供給される入力信号Ｓ２に基づき、ダイジェスト候補Ｃｄの生成指示があったか否か判定する（ステップＳ１６）。図４及び図５の例では、入力受付部１６は、決定ボタン４０が選択されたか否か判定する。そして、ダイジェスト候補Ｃｄの生成指示があった場合（ステップＳ１６；Ｙｅｓ）、ダイジェスト候補Ｃｄの生成を行う（ステップＳ１７）。一方、ダイジェスト候補Ｃｄの生成指示がない場合（ステップＳ１６；Ｎｏ）、ステップＳ１４へ処理を戻し、再びパラメータＰｄの変更指示の有無を判定する。

ここで、本実施形態による効果について補足説明する。

スポーツ映像編集の時間短縮化とコンテンツ拡大の二つのニーズから、スポーツ映像の自動編集に対するニーズが高まっている。このような自動編集では、重要シーンの検出は、画像全体から重要シーンを推論する推論器、画像中の特定箇所から重要シーンを推論する推論器、音声から重要シーンを推論する推論器などの複数の推論器を使う場合がある。この際に、全ての推論器の結果を結合すると、ユーザが求める時間長のダイジェストが得られない場合がある。例えば、２分のダイジェストが欲しいのに８分のダイジェストが生成されてしまったり、強制的にダイジェストの時間長を固定しても望むハイライトシーンがダイジェストに含まれなかったりすることがある。このため、各推論器の結果を結合してダイジェスト候補Ｃｄを選定するためのパラメータを、編集者であるユーザが調整できることが望ましい。

以上を勘案し、第１実施形態では、情報処理装置１は、パラメータＰｄの変更を指示する入力をダイジェスト生成支援画面により受け付け、編集者であるユーザによるパラメータＰｄの調整を可能にする。これにより、情報処理装置１は、ユーザが求める時間長のダイジェストの生成を好適に支援することができる。

（６）変形例
次に、上記実施形態に好適な各変形例について説明する。以下の変形例は任意に組み合わせて上述の実施形態に適用してもよい。

（変形例１）
情報処理装置１は、ダイジェスト生成支援画面上において、ユーザが希望するダイジェストの時間長を実現するために推奨されるパラメータＰｄの推奨値をダイジェスト生成支援画面上において明示してもよい。

図７は、ダイジェスト生成支援画面の第３表示例を示す。入力受付部１６は、第３表示例に係るダイジェスト生成支援画面上に、希望時間長表示欄４２と、お薦め切替ボタン４３とを設けている。

希望時間長表示欄４２は、ユーザが望むダイジェスト候補Ｃｄの再生時間長（「希望時間長」とも呼ぶ。）を表示する欄である。なお、希望時間長表示欄４２には、増減ボタン４４が設けられており、入力受付部１６は、増減ボタン４４の操作を検知することで、希望時間長表示欄４２に表示する希望時間長を変更する。お薦め切替ボタン４３は、総合スコア表示領域３３及び重み調整領域３４での重要判定閾値Ｔｈ及び重みＷに関するお薦め表示のオンとオフとを切り替えるためのボタンである。第３表示例では、お薦め表示がオンに設定されている。

入力受付部１６は、希望時間長表示欄４２にて指定された希望時間長に基づき、重要判定閾値Ｔｈ及び重みＷの推奨値を算出する。そして、入力受付部１６は、算出した重要判定閾値Ｔｈの推奨値を示す推奨閾値ライン３８ｘを、総合スコア表示領域３３上に表示し、重みＷ１～Ｗ３の推奨値を夫々示す仮想スライド４１Ａｘ～４１Ｃｘを、重み調整バー３５Ａ～３５Ｃ上に表示する。この場合、入力受付部１６は、例えば、ダイジェスト推定時間長が希望時間長となることを制約条件とし、重要判定閾値Ｔｈ及び重みＷの現在の設定値と推奨値との差異が低いほど高い評価となる評価関数を最大化する最適化を行うことで、重要判定閾値Ｔｈ及び重みＷの推奨値を算出する。他の例では、入力受付部１６は、記憶装置４等に記憶された過去のダイジェスト生成に関する実績情報に基づき、重要判定閾値Ｔｈ及び重みＷの推奨値を決定してもよい。

なお、入力受付部１６は、重要判定閾値Ｔｈ及び重みＷの両方の推奨値を表示する代わりに、重要判定閾値Ｔｈ又は重みＷのいずれか一方の推奨値を表示してもよい。この場合、入力受付部１６は、重要判定閾値Ｔｈ又は重みＷのいずれの推奨値を表示するか選択する入力を受け付けるユーザインターフェースを、ダイジェスト生成支援画面上にさらに表示してもよい。この場合、入力受付部１６は、推奨値を算出しないパラメータを現在の設定値に固定し、推奨値を表示するパラメータの推奨値を上述した最適化等により算出する。

本変形例によれば、情報処理装置１は、編集者であるユーザに対して、希望時間長を実現するための目安となるパラメータＰｄの推奨値を好適に提示することができる。これにより、編集者であるユーザは、どのパラメータをどの程度変更する必要があるかの目安を把握することができる。

（変形例２）
ダイジェスト生成支援システム１００は、サーバクライアントモデルであってもよい。

図８は、変形例４におけるダイジェスト生成支援システム１００Ａの構成を示す。図８に示すように、ダイジェスト生成支援システム１００Ａは、主に、サーバとして機能する情報処理装置１Ｂと、ダイジェスト候補Ｃｄの生成に必要な情報を記憶する記憶装置４と、クライアントとして機能する端末装置５とを有する。情報処理装置１Ａと端末装置５とは、ネットワーク７を介してデータ通信を行う。

端末装置５は、少なくとも入力機能、表示機能、及び通信機能を有する端末であり、図１に示される入力装置２及び出力装置３（即ち表示装置）として機能する。端末装置５は、例えば、パーソナルコンピュータ、タブレット型端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）などであってもよい。

情報処理装置１Ａは、図１に示す情報処理装置１と同一構成を有し、図６に示すフローチャートの処理を実行する。ここで、ステップＳ１３及びステップＳ１５では、ダイジェスト生成支援画面を表示するための表示信号を、ネットワーク７を介して端末装置５へ送信する。また、ステップＳ１４及びステップＳ１６では、情報処理装置１Ａは、端末装置５からユーザの指示を示す入力信号を、ネットワーク７を介して受信する。本変形例では、情報処理装置１Ａは、端末装置５を操作するユーザに対するパラメータＰｄの変更の入力を受け付け、ダイジェスト候補Ｃｄを好適に生成することができる。

＜第２実施形態＞
図９は、第２実施形態における情報処理装置１Ｘの機能ブロック図である。情報処理装置１Ｘは、主に、推論手段１５Ｘと、入力受付手段１６Ｘと、ダイジェスト候補生成手段１７Ｘとを有する。

推論手段１５Ｘは、入力された映像データに対して重要度に関する推論を行う複数の推論器による素材映像データへの推論器毎の推論結果を取得する。ここで、推論手段１５Ｘは、第１の例では、複数の推論器を用いて推論器毎の推論結果を生成する。この場合、推論手段１５Ｘは、第１実施形態（変形例を含む、以下同じ）の推論部１５とすることができる。第２の例では、推論手段１５Ｘは、複数の推論器を用いて推論器毎の推論結果を生成する外部装置から、当該推論結果を受信する。この場合、例えば、推論手段１５Ｘは、第１実施形態の推論部１５に相当する機能を有する外部装置から推論結果Ｒｅを受信する。

入力受付手段１６Ｘは、推論器毎の推論結果に関するパラメータを指定する入力を受け付ける。ここで、入力受付手段１６Ｘは、第１実施形態の入力受付部１６とすることができる。「推論器毎の推論結果に関するパラメータ」は、第１実施形態の重要判定閾値Ｔｈ又は重みＷの少なくとも一方とすることができる。

ダイジェスト候補生成手段１７Ｘは、パラメータと、推論器毎の推論結果とに基づき、素材映像データのダイジェストの候補であるダイジェスト候補を生成する。ここで、ダイジェスト候補生成手段１７Ｘは、第１実施形態のダイジェスト候補生成部１７とすることができる。

図１０は、第２実施形態において情報処理装置１Ｘが実行するフローチャートの一例である。まず、推論手段１５Ｘは、入力された映像データに対して重要度に関する推論を行う複数の推論器による素材映像データへの推論器毎の推論結果を取得する（ステップＳ２１）。入力受付手段１６Ｘは、推論器毎の推論結果に関するパラメータを指定する入力を受け付ける（ステップＳ２２）。ダイジェスト候補生成手段１７Ｘは、パラメータと、推論器毎の推論結果とに基づき、ダイジェスト候補を生成する（ステップＳ２３）。

第２実施形態に係る情報処理装置１Ｘは、ユーザが指定したパラメータに基づき複数の推論器の推論結果を統合し、ダイジェスト候補を好適に生成することができる。

なお、上述した各実施形態において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータであるプロセッサ等に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記憶媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記憶媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

その他、上記の各実施形態の一部又は全部は、以下の付記のようにも記載され得るが以下には限られない。

［付記１］
入力された映像データに対して重要度に関する推論を行う複数の推論器による素材映像データへの前記推論器毎の推論結果を取得する推論手段と、
前記推論器毎の推論結果に関するパラメータを指定する入力を受け付ける入力受付手段と、
前記パラメータと、前記推論器毎の推論結果とに基づき、前記素材映像データのダイジェストの候補であるダイジェスト候補を生成するダイジェスト候補生成手段と、
を有する情報処理装置。

［付記２］
前記パラメータは、前記推論器毎の推論結果に対する重みに関する情報を少なくとも含み、
前記ダイジェスト候補生成手段は、前記重みと、前記推論器毎の推論結果とに基づき、前記素材映像データから前記ダイジェスト候補を抽出する、付記１に記載の情報処理装置。

［付記３］
前記パラメータは、前記推論器毎の推論結果を統合した総合スコアに対する閾値に関する情報を少なくとも含み、
前記ダイジェスト候補生成手段は、前記閾値と、前記総合スコアとに基づき、前記素材映像データから前記ダイジェスト候補を抽出する、付記１または２に記載の情報処理装置。

［付記４］
前記入力受付手段は、前記閾値の現在の設定値を明示した前記総合スコアのグラフの表示を行う、付記３に記載の情報処理装置。

［付記５］
前記入力受付手段は、前記総合スコアに対する前記推論器毎の推論結果の寄与分を明示した前記総合スコアのグラフの表示を行う、付記３または４に記載の情報処理装置。

［付記６］
前記入力受付手段は、前記パラメータの現在の設定値に基づき前記ダイジェスト候補が生成された場合の前記ダイジェスト候補の時間長に関する情報の表示を行う、付記１～５のいずれか一項に記載の情報処理装置。

［付記７］
前記入力受付手段は、前記ダイジェスト候補の希望時間長を指定する入力を少なくも受け付け、前記ダイジェスト候補の時間長を前記希望時間長にするための前記パラメータの推奨設定値の表示を行う、付記１～６のいずれか一項に記載の情報処理装置。

［付記８］
前記入力受付手段は、出力装置に表示信号を送信することで、前記出力装置に前記表示を実行させる、付記４～７のいずれか一項に記載の情報処理装置。

［付記９］
前記推論手段は、前記素材映像データに含まれる画像に基づき前記重要度に関する推論を行う推論器の推論結果と、前記素材映像データに含まれる音データに基づき前記重要度に関する推論を行う推論器との推論結果とを少なくとも取得する、付記１～８のいずれか一項に記載の情報処理装置。

［付記１０］
前記推論手段は、前記素材映像データに含まれる画像の全体領域に基づき前記重要度に関する推論を行う推論器の推論結果と、前記素材映像データに含まれる画像において特定箇所を示す領域に基づき前記重要度に関する推論を行う推論器の推論結果とを少なくとも取得する、付記１～９のいずれか一項に記載の情報処理装置。

［付記１１］
コンピュータにより、
入力された映像データに対して重要度に関する推論を行う複数の推論器による素材映像データへの前記推論器毎の推論結果を取得し、
前記推論器毎の推論結果に関するパラメータを指定する入力を受け付け、
前記パラメータと、前記推論器毎の推論結果とに基づき、前記素材映像データのダイジェストの候補であるダイジェスト候補を生成する、
制御方法。

［付記１２］
入力された映像データに対して重要度に関する推論を行う複数の推論器による素材映像データへの前記推論器毎の推論結果を取得する推論手段と、
前記推論器毎の推論結果に関するパラメータを指定する入力を受け付ける入力受付手段と、
前記パラメータと、前記推論器毎の推論結果とに基づき、前記素材映像データのダイジェストの候補であるダイジェスト候補を生成するダイジェスト候補生成手段
としてコンピュータを機能させるプログラムが格納された記憶媒体。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。

１、１Ａ、１Ｘ 情報処理装置
２ 入力装置
３ 出力装置
４ 記憶装置
５ 端末装置
１００、１００Ａ ダイジェスト生成支援システム

Claims (10)

1. 入力された映像データに対して重要度に関する推論を行う複数の推論器による素材映像データへの前記推論器毎の推論結果を取得する推論手段と、
   前記推論器毎の推論結果に関するパラメータを指定する入力を受け付け、前記パラメータは前記推論器毎の推論結果を統合した総合スコアに対する閾値に関する情報を含み、前記映像データ対して指定された再生時刻に応じて画像を表示する入力受付手段と、
   前記画像が表示された画面に備えられた決定ボタンの選択に応じて、前記パラメータと、前記推論器毎の推論結果とに基づき、前記素材映像データのダイジェストの候補であるダイジェスト候補を生成するダイジェスト候補生成手段と、
   を有する情報処理装置。
2. 前記パラメータは、前記推論器毎の推論結果に対する重みに関する情報を少なくとも含み、
   前記ダイジェスト候補生成手段は、前記重みと、前記推論器毎の推論結果とに基づき、前記素材映像データから前記ダイジェスト候補を抽出する、請求項１に記載の情報処理装置。
3. 前記ダイジェスト候補生成手段は、前記閾値と、前記総合スコアとに基づき、前記素材映像データから前記ダイジェスト候補を抽出する、請求項１または２に記載の情報処理装置。
4. 前記入力受付手段は、前記閾値の現在の設定値を明示した前記総合スコアのグラフの表示を行う、請求項３に記載の情報処理装置。
5. 前記入力受付手段は、前記総合スコアに対する前記推論器毎の推論結果の寄与分を明示した前記総合スコアのグラフの表示を行う、請求項３または４に記載の情報処理装置。
6. 前記入力受付手段は、前記パラメータの現在の設定値に基づき前記ダイジェスト候補が生成された場合の前記ダイジェスト候補の時間長に関する情報の表示を行う、請求項１～５のいずれか一項に記載の情報処理装置。
7. 前記入力受付手段は、前記ダイジェスト候補の希望時間長を指定する入力を少なくも受け付け、前記ダイジェスト候補の時間長を前記希望時間長にするための前記パラメータの推奨設定値の表示を行う、請求項１～６のいずれか一項に記載の情報処理装置。
8. 前記入力受付手段は、表示装置に表示信号を送信することで、前記表示装置に前記表示を実行させる、請求項４～７のいずれか一項に記載の情報処理装置。
9. コンピュータにより、
   入力された映像データに対して重要度に関する推論を行う複数の推論器による素材映像データへの前記推論器毎の推論結果を取得し、
   前記推論器毎の推論結果に関するパラメータを指定する入力を受け付け、前記パラメータは前記推論器毎の推論結果を統合した総合スコアに対する閾値に関する情報を含み、前記映像データ対して指定された再生時刻に応じて画像を表示し、
   前記画像が表示された画面に備えられた決定ボタンの選択に応じて、前記パラメータと、前記推論器毎の推論結果とに基づき、前記素材映像データのダイジェストの候補であるダイジェスト候補を生成する、制御方法。
10. 入力された映像データに対して重要度に関する推論を行う複数の推論器による素材映像データへの前記推論器毎の推論結果を取得する推論手段と、
    前記推論器毎の推論結果に関するパラメータを指定する入力を受け付け、前記パラメータは前記推論器毎の推論結果を統合した総合スコアに対する閾値に関する情報を含み、前記映像データ対して指定された再生時刻に応じて画像を表示する入力受付手段と、
    前記画像が表示された画面に備えられた決定ボタンの選択に応じて、前記パラメータと、前記推論器毎の推論結果とに基づき、前記素材映像データのダイジェストの候補であるダイジェスト候補を生成するダイジェスト候補生成手段としてコンピュータを機能させるプログラム。

Images