JP7479183B2

JP7479183B2 - 情報処理装置

Info

Publication number: JP7479183B2
Application number: JP2020075684A
Authority: JP
Inventors: 暁人横田; 暢滝澤; 太郎川上; 大輔本間; 枝美木下; 俊紀門田; 史佳奥原; 美帆森
Original assignee: NTT Docomo Inc
Current assignee: NTT Docomo Inc
Priority date: 2020-04-21
Filing date: 2020-04-21
Publication date: 2024-05-08
Anticipated expiration: 2040-04-21
Also published as: JP2021175037A

Description

本発明は、再生対象となる動画を選択するときに用いられるサムネイル画像を設定するための技術に関する。

例えばサッカー等の競技や旅行等のレクリエーションの様子を撮像してその動画データをクラウドに保管して共有する仕組みが知られている。特許文献１には、複数のカメラで同一の被写体が撮像されることで得られる複数の画像を、これら複数のカメラのユーザで共有するシステムが開示されている。

特開２０１５－２２６３２１号公報

クラウド上に保管された複数の動画の中から閲覧対象を選択する際には、例えばそれらの動画の先頭にある画像をサムネイル画像として一覧表示し、ユーザはそのサムネイル画像を参照して所望の動画を閲覧対象として選択する。このとき各動画について表示されるサムネイル画像は、その動画の内容や見どころをユーザに分かりやすく伝えることができるような画像であることが望ましい。

本発明は、動画において閲覧者から注目される可能性が高い画像を、再生対象となる動画を選択するときに用いられる画像として設定することを目的とする。

上記課題を解決するため、本発明は、動画データの各部分において再生された再生回数をカウントするカウント部と、カウントされた前記再生回数が決められた条件を満たす部分の動画データに対応する静止画像データを特定する特定部と、特定された静止画像データを、再生対象となる動画データを選択するときに用いられる画像を表示するための画像データに設定する設定部とを備え、前記動画データの任意の位置に付与された付与データを選択して前記動画データの再生が要求された場合に、前記カウント部は、前記動画データの再生時に前記付与データが選択された回数を、前記再生回数としてカウントし、前記特定部は、前記動画データにおいてカウントされた前記再生回数が決められた条件を満たす前記付与データの位置と所定の関係にある静止画像データを特定し、さらに、前記動画データにおける複数の付与データの位置が所定の範囲に収まる場合において、当該複数の付与データの各々に対する前記再生回数の総和が決められた条件を満たすときに、当該複数の付与データのうちいずれかの付与データの位置と所定の関係にある静止画像データを特定することを特徴とする情報処理装置を提供する。

前記特定部は、前記動画データにおける複数の付与データの位置が所定の範囲に収まる場合において、当該複数の付与データの各々に対する再生回数の差が閾値未満であり、且つ、当該複数の付与データの各々に対する再生回数の総和が決められた条件を満たすときに、当該複数の付与データのうち最先の位置に付与された付与データの位置と所定の関係にある静止画像データを特定するようにしてもよい。

前記特定部は、前記動画データにおける複数の付与データの位置が所定の範囲に収まる場合であっても、当該複数の付与データの各々に対する再生回数の差が閾値以上であるときは、前記動画データに付与された全ての前記付与データの各々についてカウントされた前記再生回数が決められた条件を満たす部分の動画データに対応する静止画像データを特定するようにしてもよい。

前記特定部は、前記動画データにおける複数の付与データの位置が所定の範囲に収まる場合において、当該複数の付与データの各々に対する再生回数の差が閾値以上であり、且つ、当該複数の付与データの各々に対する再生回数の総和が決められた条件を満たすときに、当該複数の付与データの各々に対する再生回数のうち最多の再生回数となる付与データの位置と所定の関係にある静止画像データを特定するようにしてもよい。

前記特定部は、前記動画データにおいてカウントされた再生回数が決められた条件を満たす付与データであっても、当該付与データの内容が例外として決められた条件を満たす場合には、当該付与データの位置と所定の関係にある静止画像データを特定しないようにしてもよい。

前記設定部は、カウントされた再生回数が決められた条件を満たす部分の動画データに対応する静止画像データ群のうち、前記静止画像データを選択して前記動画データを閲覧するユーザの属性に応じた静止画像データを設定するようにしてもよい。

前記動画データの任意の位置に付与された付与データを選択して前記動画データの再生が要求された場合に、前記設定部は、前記静止画像データを選択して前記動画データを閲覧したユーザごとに、当該ユーザによって選択された付与データの傾向を分析し、
カウントされた再生回数が決められた条件を満たす部分の動画データに対応する静止画像データ群のうち、各々の前記ユーザにより選択された付与データの傾向に応じた静止画像データを設定するようにしてもよい。

前記設定部は、カウントされた再生回数が決められた条件を満たす部分の動画データに対応する静止画像データ群のうち、前記静止画像データを選択して前記動画データが閲覧されるときの地域又は日時に応じた静止画像データを設定するようにしてもよい。

本発明によれば、動画において閲覧者から注目される可能性が高い画像を、再生対象となる動画を選択するときに用いられる画像として設定することが可能となる。

情報処理システム１の装置構成の一例を示す図である。サーバ装置１０のハードウェア構成を示す図である。ユーザ端末２０のハードウェア構成を示す図である。情報処理システム１の機能構成の一例を示す図である。サーバ装置１０の動作の一例を示すフローチャートである。動画データ及び付与データの関係を例示する模式図である。付与データの構造を例示する模式図である。ユーザ端末２０に表示される画像を例示する図である。マーカの再生回数を記録した様子を例示する図である。サーバ装置１０の動作の一例を示すフローチャートである。動画データ、マーカ及び静止画像データとの関係を例示する模式図である。ユーザ端末２０に表示されるサムネイル画像の一覧を例示する図である。

［構成］
図１は、本発明の一実施形態に係る情報処理システム１の装置構成を例示するブロック図である。情報処理システム１は、例えばサッカーを行っている様子を動画で撮像してその撮像された動画を再生するためのシステムである。情報処理システム１において撮像対象は、サッカー等のスポーツ乃至競技に限らず、どのようなものであってもよい。

この情報処理システム１は、主に動画データの記憶、編集及び配信に関する処理を行うサーバ装置１０と、主に動画データの撮像又は表示に関する処理を行う複数のユーザ端末２０とを含む。これらサーバ装置１０及びユーザ端末２０は、ネットワーク３０を介して通信可能に接続される。ネットワーク３０は、例えばＬＡＮ（Local Area Network）又はＷＡＮ（Wide Area Network）、若しくはこれらの組み合わせであり、有線区間又は無線区間を含んでいる。

サーバ装置１０は、本発明に係る情報処理装置の一例として機能するコンピュータ装置である。サーバ装置１０は、動画データの記憶、編集及び配信といった機能を有する。同図で示しているサーバ装置１０の数は例示であり、１以上であればよい。

ユーザ端末２０は、例えばスマートホン、デジタルカメラ、タブレット、又はウェアラブルデバイス、パーソナルコンピュータ等のコンピュータ装置である。ユーザ端末２０は、動画の撮像機能又は動画の表示機能の少なくともいずれか一方を備えている。動画の撮像機能を備えるユーザ端末２０は、動画を撮像する撮像装置として機能する。動画の表示機能を備えるユーザ端末２０は、動画を表示する表示装置として機能する。動画の撮像機能及び動画の表示機能を備えるユーザ端末２０は、撮像装置及び表示装置として機能する。撮像装置としてのユーザ端末２０は、動画の撮像を行うユーザにより利用される。撮像装置としてのユーザ端末２０によって撮像された動画を示す動画データは、無線又は有線を用いた通信により、ネットワーク３０経由でサーバ装置１０に送信される。表示装置としてのユーザ端末２０は、動画を閲覧するユーザにより利用される。表示装置としてのユーザ端末２０は、サーバ装置１０によって配信される動画データを、無線又は有線を用いた通信によりネットワーク３０経由で取得し、この動画データに基づいて動画を表示する。同図で示しているユーザ端末２０の数は例示であり、１以上であればよい。

図２は、情報処理装置としてのサーバ装置１０のハードウェア構成を例示するブロック図である。サーバ装置１０のハードウェア構成の一例を示す図である。サーバ装置１０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６及びこれらを接続するバスなどを含むコンピュータ装置として構成されている。なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。サーバ装置１０のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

サーバ装置１０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ１００１が演算を行い、通信装置１００４による通信を制御したり、メモリ１００２及びストレージ１００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）によって構成されてもよい。

プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ１００３及び通信装置１００４の少なくとも一方からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、後述する動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。サーバ装置１０の機能ブロックは、メモリ１００２に格納され、プロセッサ１００１において動作する制御プログラムによって実現されてもよい。各種の処理は、１つのプロセッサ１００１によって実行されてもよいが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してサーバ装置１０に送信されてもよい。

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つによって構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本実施形態に係る方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つによって構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。

通信装置１００４は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。送受信部は、送信部と受信部とで、物理的に、または論理的に分離された実装がなされてもよい。

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタンなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカ、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。

プロセッサ１００１、メモリ１００２などの各装置は、情報を通信するためのバスによって接続される。バスは、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。

また、サーバ装置１０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。

図３は、撮像装置及び表示装置として機能するユーザ端末２０のハードウェア構成を示す図である。ユーザ端末２０は、物理的には、プロセッサ２００１、メモリ２００２、ストレージ２００３、通信装置２００４、入力装置２００５、出力装置２００６、測位装置２０１１及びこれらを接続するバスなどを含むコンピュータ装置として構成されている。ユーザ端末２０における各機能は、プロセッサ２００１、メモリ２００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ２００１が演算を行い、通信装置２００４による通信を制御したり、メモリ２００２及びストレージ２００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。また、プロセッサ２００１は、クロックに基づいて日時を計測する計時装置としても機能する。プロセッサ２００１、メモリ２００２、ストレージ２００３、通信装置２００４、入力装置２００５、出力装置２００６は、サーバ装置１０が備えるプロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６と同様の装置群であるが、以下の点が異なっている。

通信装置２００４は、例えば周波数分割複信（ＦＤＤ：Frequency Division Duplex）及び時分割複信（ＴＤＤ：Time Division Duplex）の少なくとも一方を実現するために、高周波スイッチ、デュプレクサ、フィルタ、周波数シンセサイザなどを含んで構成されてもよい。例えば、送受信アンテナ、アンプ部、送受信部、伝送路インターフェースなどは、通信装置１００４によって実現されてもよい。

測位装置２０１１は、例えばＧＰＳ（Global Positioning System）ユニットであり、ユーザ端末２０の位置を測位する。

図３には、撮像装置及び表示装置として機能するユーザ端末２０のハードウェア構成を例示している。このため、入力装置２００５は、例えば、キーボード、マウス、スイッチ、ボタンなどのほか、撮像部としてのカメラ２００７、及び、収音部としてのマイク２００８を含んでいる。また、出力装置２００６は、表示部としてのディスプレイ２００９、及び、放音部としてのスピーカ２０１０を含んでおり、この他にLEDランプなどを含んでもい。撮像装置としてのみ機能するユーザ端末２０においては、表示部としてのディスプレイ２００９、及び、放音部としてのスピーカ２０１０は必須ではない。表示装置としてのみ機能するユーザ端末２０においては、撮像部としてのカメラ２００７、及び、収音部としてのマイク２００８は必須ではない。なお、ユーザ端末２０のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

図４は、情報処理システム１の機能構成を例示するブロック図である。図４では、撮像装置及び表示装置として機能するユーザ端末２０を含むシステム全体の機能構成を例示している。ユーザ端末２０において、動画データ生成部２１は、カメラ２００７により撮像された画像と、マイク２００８によって収音された音声とからなる動画データを生成する。この動画データには、撮像時において、測位装置２０１１によって測位された位置（撮像位置）と、プロセッサ２００１によって計時された日時（撮像日時）とがメタデータとして含まれている。

ユーザはユーザ端末２０による撮像を行いながら、又は撮像した画像をユーザ端末２０において再生しながら、「マーカ」と呼ばれる付与データを付与する操作を行うことができる。例えばサッカーでゴールが決まったなどのシーンに対しては、「ゴール！」などの文字情報を含むマーカを付与する例が考えられる。この操作に応じて、ユーザ端末２０のマーカ付与部２３は、ユーザにより入力された「ゴール！」という文字情報を含むマーカを、動画データにおいてユーザにより指定された任意の位置に付与する。ここで、動画データにおいてユーザにより指定された位置とは、上記の例ではゴールが決まったシーンに対応する動画データの一部分である。マーカは、ユーザにより入力された文字情報と、動画データにおいてそのマーカが付与された位置を示すデータ（例えば動画データの撮像開始時点からの経過時間を示すタイムスタンプ）とを含んでいる。このマーカは、動画データをこのマーカが付与された位置から再生するために用いられる。

ユーザ端末２０において、送信部２２は、各種のデータをネットワーク３０経由でサーバ装置１０に送信する。例えばユーザ端末２０において、送信部２２は、動画データ生成部２１により生成された動画データ及びマーカをネットワーク３０経由でサーバ装置１０に送信する。

表示装置として機能するユーザ端末２０において、ユーザは、撮像装置として機能するユーザ端末２０により撮像された動画を閲覧することができる。この場合、ユーザは、表示装置としてのユーザ端末２０において、動画データに付与されている複数のマーカのうちのいずれかを選択することで、自身が所望するシーンから動画を閲覧することができる。例えば、サッカーの動画において、「パス」「シュート」「ゴール」といった文字情報を含むマーカ群のうち、「ゴール」という文字情報を含むマーカを選択することで、動画データにおいてそのマーカが付与された位置、つまりサッカーにおけるゴールのシーンから動画を閲覧することができるようになっている。表示装置としてのユーザ端末２０において、マーカ選択部２４は、動画データに付与されている複数のマーカのうちいずれかがユーザにより選択されると、その選択されたマーカを特定する。表示装置としてのユーザ端末２０において、送信部２２は、マーカ選択部２４により特定されたマーカを識別するマーカ識別子をネットワーク３０経由でサーバ装置１０に送信する。

ユーザ端末２０において、出力部２５は、動画データに応じた画像をディスプレイ２００９表示するとともに、動画データに応じた音声をスピーカ２０１０から放音する。

サーバ装置１０において、取得部１１は、ユーザ端末２０から送信される各種のデータをネットワーク３０経由で取得する。例えば取得部１１は、撮像装置としての複数のユーザ端末２０の各々によって撮像された動画データとその動画データに対して付与されたマーカとをネットワーク３０経由で取得する。また、取得部１１は、表示装置としての複数のユーザ端末２０の各々から、ユーザにより選択されたマーカのマーカ識別子をネットワーク３０経由で取得する。

サーバ装置１０において、カウント部１２は、表示装置としての複数のユーザ端末２０の各々においてユーザにより選択されたマーカごとに、そのマーカが選択された回数（つまりそのマーカが付与された位置から動画データが再生された再生回数）をカウントする。つまり、カウント部１２は、動画データの各部分において再生された再生回数をカウントする。

特定部１３は、カウント部１２によりカウントされた再生回数が決められた条件を満たす部分の動画データに対応する静止画像データを特定する。ここでいう決められた条件とは、例えば、１つのデータファイルである動画データにおいて最多の再生回数がカウントされたマーカに該当することである。つまり、特定部１３によって、各動画データについて、再生回数が最多のマーカに対応する静止画像データが特定される。

設定部１４は、特定部１３により特定された静止画像データを、再生対象となる動画データを選択するときに用いられる画像（以下、サムネイル画像という）をユーザ端末２０において表示するためのサムネイル画像データに設定する。

サーバ装置１０において、再生部１５は、ユーザ端末２０において動画データを再生させる。例えば、再生部１５は、動画データに対して付与された複数のマーカのうちいずれかがユーザにより選択された場合に、カウント部１２により特定されたマーカが付与された位置に対応する部分から、動画データの再生を開始させる。また、再生部１５は、ユーザ端末２０において表示されたサムネイル画像の一覧のうちいずれかが指定されると、そのサムネイル画像に対応する動画データの再生を開始させる。このとき、再生部１５は、そのサムネイル画像に対応する動画データをその冒頭の位置から再生させてもよいし、その動画データにおいて指定された上記サムネイル画像に対応する位置から再生させてもよい。

[動作]
次に、本実施形態の動作を説明する。以下では、まず、動画の撮像からその再生までの動作について説明し、その後に、サムネイル画像の一覧の生成について説明する。

［動画の撮像からその再生までの動作］
撮像者たるユーザはユーザ端末２０を操作して、カメラ２００７及びマイク２００８による撮像処理を開始させる。これに応じて、ユーザ端末２０の動画データ生成部２１は動画データを生成する。ユーザはユーザ端末２０による撮像を続けながら、又は撮像した画像をユーザ端末２０において再生しながら、マーカを付与する操作を行う。この操作に応じて、ユーザ端末２０のマーカ付与部２３は、ユーザにより入力された文字情報を含むマーカを、動画データにおいてユーザにより指定された位置に付与する。ユーザ端末２０の送信部２２は、動画データ及びマーカを例えばＲＴＭＰ（Real-Time Messaging Protocol）やＨＴＴＰＳ（Hypertext Transfer Protocol Secure）等の任意のプロトコルに従い、ネットワーク３０経由でサーバ装置１０に送信する。サーバ装置１０の取得部１１は、ユーザ端末２０の送信部２２により送信されてくる動画データ及びマーカをネットワーク３０経由で取得して（図５のステップＳ１１）、記憶する（ステップＳ１２）。

ここで、図６は、動画データ及びマーカの関係を例示する模式図である。図示のように、動画データにおいて時間軸上の異なる位置に複数のマーカＭ１～Ｍ５が付与されている。そして、図７に例示するように、各マーカＭは、動画データにおいてマーカＭが付与された位置を示す位置データ（例えば撮像開始からの経過時間を示すタイムスタンプ）と、マーカを識別するマーカ識別子と、ユーザにより入力された文字情報と、そのほかの付属情報とを含んでいる。

図５において、サーバ装置１０の取得部１１は、複数のユーザ端末２０から取得した各々の動画データにメタデータとして含まれている撮像位置及び撮像日時が重複するものどうしをグルーピングする（ステップＳ１３）。具体的には、取得部１１は、動画の撮像位置が半径Ｘｍの円の範囲に含まれ、且つ、動画の撮像開始時期から撮像終了時期までの期間の少なくとも一部が重複している動画データを抽出し、これらにユニークなグループ識別子を割り当てる等してグルーピングを行う。これにより、撮像対象が同一と想定される１以上の動画データがグルーピングされる。グルーピングされた各動画データは、表示装置としてのユーザ端末２０において再生可能な状態となる。

そして、いずれかのユーザ端末２０から或る動画データを指定して再生開始が要求されると（ステップＳ１４；ＹＥＳ）、サーバ装置１０の再生部１５は、指定された動画データを読み出してそのユーザ端末２０に送信することで、その再生を開始させる（ステップＳ１５）。図８は、ユーザ端末２０において動画データが再生されるときの表示例を示す図である。ユーザ端末２０のディスプレイ２００９において、動画表示領域１０２には動画データに応じた動画が表示されるほか、動画データのメタデータ等から特定される情報群１０１や、この動画データに付与されたマーカに含まれる文字情報群１０３が表示される。文字情報群１０３は、図中の左側にあるものほど動画データの時間軸上において先の位置に付与されたマーカに対応するものであり、図中の右側にあるものほど動画データの時間軸上において後ろの位置に付与されたマーカに対応するものである。ユーザは操作子画像１０４を指定することにより、各マーカに対応する文字情報群を時間軸上において、いわゆる巻き戻し又は早送りをさせて、任意の文字情報をタップすることでその文字情報（つまりマーカ）を選択することができる。

ここで、ユーザによりいずれかの文字情報が選択されると（図５のステップＳ１６；ＹＥＳ）、選択された文字情報に対応するマーカのマーカ識別子がユーザ端末２０からサーバ装置１０に通知される。サーバ装置１０のカウント部１２は、通知されたマーカ識別子により、選択されたマーカを特定する。これに応じて、再生部１５は、特定されたマーカが付与された位置から動画データをユーザ端末２０に送信することで、再生位置を変更して再生を行わせる（ステップＳ１７）。これにより、ユーザは、自身が選択したマーカに対応するシーンから動画を閲覧することができる。そして、サーバ装置１０のカウント部１２は、マーカが選択されて再生された再生回数をカウントして記録する（ステップＳ１８）。これにより、図９に例示するように、各動画データの動画データ識別子、マーカのマーカ識別子及び文字情報に対応付けて、そのマーカがユーザにより選択されて再生された累積の再生回数が記録される。動画データにおいてこの再生回数が多いマーカの位置は、多数のユーザにより閲覧された回数が多いシーン、つまり人気のあるがゆえに多数のユーザから注目される可能性が高いシーンに対応する位置ということになる。

［サムネイル画像の設定動作］
次に、図１０を参照して、サムネイル画像の設定動作について説明する。特定部１３は、カウント部１２によりカウントされた再生回数が決められた条件を満たすマーカに対応する静止画像データを特定する。この条件とは、前述したように、１つのデータファイルである動画データにおいて最多の再生回数がカウントされたマーカに該当することである。つまり、再生回数が最多のマーカに対応する静止画像データがサムネイル画像データとして特定される。

ここで、図１１～１２を参照して、動画データとマーカと静止画像データとの関係を説明する。図１１に例示しているように、動画データにおいては、そのデータの先頭の位置から時間軸上の所定期間ΔＴ（例えば６０秒）ごとに、各位置に相当する１フレーム分の画像が静止画像群ｇ１～ｇ７として設定される。そして、マーカＭ１～Ｍ５のうち、カウント部１２によりカウントされた再生回数が最多のマーカ（例えばマーカＭ３とする）の付与位置ｍｔ３よりも時間軸上において前に存在し、且つ、時間軸上においてそのマーカＭ３の付与位置ｍｔ３に最も近い静止画像（図では静止画像ｇ３）が、再生対象となる動画データを選択するときに用いられるサムネイル画像を表示するためのサムネイル画像データとして特定される。

図１１において、上記条件を充足するマーカがある場合には（ステップＳ２１；ＹＥＳ）、設定部１４は、そのマーカの位置に基づいて特定部１３により特定された静止画像データを、この動画データを代表するサムネイル画像データに設定する（ステップＳ２２）。

一方、例えば動画データにおいてマーカの選択による再生が一度も発生していないなどのように、動画データにおいて上記条件を充足するマーカがない場合には（ステップＳ２１；ＮＯ）、設定部１４は、所定の静止画像データ（例えばその動画データの先頭の静止画像データ）をサムネイル画像データとして設定する（ステップＳ２３）。

これにより様々な動画データについて設定された各サムネイル画像Ｓが、図１２に例示するようにして一覧表示される。ユーザはこのようなサムネイル画像Ｓの一覧を参照し、所望のサムネイル画像を指定する。この指定に応じて、図５のステップＳ１４以降の処理が開始され、そのサムネイル画像に対応する動画が再生される。例えば、再生部１５は、指定されたサムネイル画像に対応する動画データの再生を、そのサムネイル画像に対応する位置に対応する部分から再生させてもよい。具体的には、図１１において、静止画像ｇ３がサムネイル画像に設定されていた場合には、静止画像ｇ３に対応する位置（動画データの開始からΔＴ×２が経過した時点）から動画データが再生される。これにより、ユーザは、指定したサムネイル画像の続きから動画を閲覧することが可能となる。

以上説明した実施形態によれば、所望の位置から動画を閲覧するために付与したマーカを上手く利用することによって、動画において注目される可能性が高い静止画像を、再生対象となる動画を選択するときに用いられるサムネイル画像として設定することが可能となる。

［変形例］
本発明は、上述した実施形態に限定されない。上述した実施形態を以下のように変形してもよい。また、以下の２つ以上の変形例を組み合わせて実施してもよい。

［変形例１］
実施形態においては、ユーザ端末２０が撮像者たるユーザによるマーカ付与の操作を受け付けていたが、動画を撮像するための撮像装置とマーカを付与するためのマーカ付与装置とが別体の装置であってもよい。具体的には、撮像者たるユーザは撮像装置（例えばスマートホンやビデオカメラ）を操作して撮像を行う一方、マーカ付与装置（例えばスマートホンのリモコンや、スマートホンに接続されたスマートウォッチ等のウェアラブル端末）を操作してマーカを付与するようにしてもよい。

［変形例２］
サーバ装置１０は、複数のマーカ群が動画データの時間軸上で近接する場合には、これらマーカ群の再生回数を合計した値を用いてサムネイル画像を設定するようにしてもよい。複数のマーカ群が動画データの時間軸上で近接する場合とは、例えばサッカーにおいてパスからシュート、そしてゴールというように、短期間において見どころとなるような撮像対象の事象に対して付与されたマーカ群であると想定される。このような場合において、これらのマーカについての再生回数を個別にカウントしてしまうと、閲覧者から人気がある、一連の連続したシーンに対するマーカであると認識できない可能性がある。そこで、動画データにおける複数のマーカの位置が時間軸上において所定の時間の範囲に収まる場合において、当該複数のマーカの各々が選択された回数の総和が決められた条件を満たすときに、当該複数のマーカのうちいずれかのマーカの位置に応じた静止画像データをサムネイル画像データとして設定するようにしてもよい。ここでいう決められた条件とは、例えば複数のマーカについての再生回数の総和が閾値を超えるとか、複数のマーカについての再生回数の総和がカウントされた他の再生回数を含めて最多である等の条件である。つまり、特定部１３は、動画データにおける複数の付与データの位置が所定の範囲に収まる場合、当該複数の付与データの各々に対する指定回数の総和が決められた条件を満たすときに、当該複数の付与データのうちいずれかの付与データの位置と所定の関係にある静止画像データを特定するようにしてもよい。複数の付与データのうちいずれかの付与データの位置と所定の関係にある静止画像データとしては、以下のような例が考えられる。

例えばマーカＭ１～Ｍ３が時間的に近接して付与されているマーカであり、マーカＭ４がこれらのマーカＭ１～Ｍ３とは時間的に離れたマーカであるとしたとき、各マーカについての再生回数が次のとおりであると仮定する。
マーカＭ１の再生回数が１５回
マーカＭ２の再生回数が２０回
マーカＭ３の再生回数が９回
マーカＭ４の再生回数が４０回
この場合、マーカＭ１の再生回数、マーカＭ２の再生回数及びマーカＭ３の再生回数の総和は４４回である一方、マーカＭ４の再生回数は４０回であるから、マーカＭ１～Ｍ３の再生回数の総和＞マーカＭ４の再生回数となる。この場合、図１１に例示したようにΔＴごとに設定された複数の静止画像において、マーカＭ１～Ｍ３のうち最先の位置に付与されたマーカＭ１よりも時間軸上において前に存在し、且つ、時間軸上においてそのマーカＭ１に最も近い静止画像（図１１では静止画像ｇ１）が特定される。

ここで、時間的に近接して付与された複数のマーカの各々についての再生回数の差が閾値未満である場合に限って、上記のようにマーカの再生回数の総和を用いてもよい。つまり、特定部１３は、動画データにおける複数のマーカの位置が所定の範囲に収まる場合において、当該複数のマーカの各々に対する再生回数の差が閾値未満であり、且つ、当該複数のマーカの各々に対する再生回数の総和が決められた条件を満たすときに、当該複数のマーカのうち最先の位置に付与されたマーカの位置と所定の関係にある静止画像データをサムネイル画像データとして特定するようにしてもよい。例えば、上記と同様に、マーカＭ１～Ｍ３が時間的に近接して付与されているマーカであり、マーカＭ４がこれらのマーカＭ１～Ｍ３とは時間的に離れたマーカであるとしたとき、マーカＭ１の再生回数が１５回、マーカＭ２の再生回数が２０回、マーカＭ３の再生回数が９回、マーカＭ４の再生回数が４０回であると仮定する。ここで、再生回数の差に関する閾値を１５とすると、マーカＭ１の再生回数、マーカＭ２の再生回数及びマーカＭ３の再生回数の各々の差はいずれも、閾値である１５未満である。よって、マーカＭ１の再生回数、マーカＭ２の再生回数及びマーカＭ３の再生回数の総和を用い、その総和が４４回である一方、マーカＭ４の再生回数は４０回であるから、マーカＭ１～Ｍ３の再生回数の総和＞マーカＭ４の再生回数となる。この場合、図１１に例示したようにΔＴごとに設定された複数の静止画像において、マーカＭ１～Ｍ３のうち最先の位置に付与されたマーカＭ１よりも時間軸上において前に存在し、且つ、時間軸上においてそのマーカＭ１に最も近い静止画像（図１１では静止画像ｇ１）が特定される。

これに対し、複数のマーカ群が動画データの時間軸上で近接する場合であって、且つ、この各マーカ群の各々の再生回数が同程度ではなく、いずれか１のマーカの再生回数が突出して多いような場合がある。例えばマーカＭ１、Ｍ２が時間的に近接して付与されているマーカであり、マーカＭ３がこれらのマーカＭ１、Ｍ２とは時間的に離れたマーカであるとしたとき、各マーカについての再生回数が次のとおりであると仮定する。
マーカＭ１の再生回数が２回、
マーカＭ２の再生回数が１００回、
マーカＭ３の再生回数が１０１回
また、再生回数の差に関する閾値を５０とする。時間的に近接するマーカＭ１，Ｍ２の差は９８であるから、閾値の５０以上である。この場合には、マーカＭ１の再生回数とマーカＭ２の再生回数の総和は考えない。つまり、マーカＭ１～Ｍ３のうち、マーカＭ３が最多となるから、図１１に例示したようにΔＴごとに設定された複数の静止画像において、最多の再生回数であるマーカＭ３よりも時間軸上において前に存在し、且つ、時間軸上においてそのマーカＭ３に最も近い静止画像（図１１では静止画像ｇ３）が特定される。つまり、特定部１３は、動画データにおける複数のマーカの位置が所定の範囲に収まる場合であっても、当該複数のマーカの各々に対する再生回数の差が閾値以上であるときは、動画データに付与された全てのマーカの各々についてカウントされた再生回数が決められた条件を満たす部分の動画データに対応する静止画像データを特定するようにしてもよい。

また、特定部１３は、動画データにおける複数のマーカの位置が所定の範囲に収まる場合において、当該複数のマーカの各々に対する再生回数の差が閾値以上であり、且つ、当該複数のマーカの各々に対する再生回数の総和が決められた条件を満たすときに、当該複数のマーカの各々に対する再生回数のうち最多の再生回数となるマーカの位置と所定の関係にある静止画像データを特定するようにしてもよい。上記と同様に例えば、マーカＭ１、Ｍ２が時間的に近接して付与されているマーカであり、マーカＭ３がこれらのマーカＭ１、Ｍ２とは時間的に離れたマーカであるとしたとき、各マーカについての再生回数が次のとおりであると仮定する。
マーカＭ１の再生回数が２回、
マーカＭ２の再生回数が１００回、
マーカＭ３の再生回数が１０１回
また、再生回数の差に関する閾値を５０とする。時間的に近接するマーカＭ１，Ｍ２の差は９８であるから、閾値の５０以上であるが、マーカＭ１の再生回数とマーカＭ２の再生回数の総和を考える。ここでは、マーカＭ１の再生回数とマーカＭ２の再生回数の総和＞マーカＭ３の再生回数となり、さらに、マーカＭ１の再生回数＜マーカＭ２の再生回数となる。この場合、図１１に例示したようにΔＴごとに設定された複数の静止画像において、近接するマーカ間で最多の再生回数であるマーカＭ２よりも時間軸上において前に存在し、且つ、時間軸上においてそのマーカＭ２に最も近い静止画像（図１１では静止画像ｇ２）が特定される。

［変形例３］
或る特定の文字情報を含むマーカが付与されている場合は、そのマーカに対応する静止画像をサムネイル画像には設定しないようにしてもよい。ここでいう、特定の文字情報とは、その画像データに対して当然に付与される文字情報（サッカーの動画データに対して「サッカー」）のほか、ごくありふれた意味内容の文字情報などである。つまり、特定部１３は、動画データにおいてカウントされた再生回数が決められた条件を満たすマーカであっても、当該マーカの内容（文字情報）が例外として決められた条件を満たす場合には、当該マーカの位置と所定の関係にある静止画像データを特定しないようにしてもよい。

［変形例４］
閲覧者となるユーザの属性に応じてサムネイル画像を設定してもよい。つまり、設定部１４は、カウントされた再生回数が決められた条件を満たすマーカに対応する静止画像データ群のうち、動画データを閲覧するユーザの属性に応じた静止画像データをサムネイル画像として設定するようにしてもよい。例えば、設定部１４は、ユーザの年齢や性別、趣味嗜好等の属性を格納したデータベースを備えており、サムネイル画像を設定するにあたっては、再生回数が閾値以上のマーカ群のうち、その属性に応じて決められた文字情報（例えば２０代男性なら「ゴール」という文字情報、１０代女性なら人気選手の名前を含む文字情報）を含むマーカに対応する静止画像をサムネイル画像として設定する。

［変形例５］
閲覧者となるユーザが過去に選択したマーカに含まれる文字情報の傾向に応じてサムネイル画像を設定してもよい。つまり、設定部１４は、サムネイル画像を選択して動画データを閲覧したユーザごとに、当該ユーザによって選択されたマーカの文字情報の傾向を分析し、その傾向に応じた静止画像をサムネイル画像として設定するようにしてもよい。例えば、設定部１４は、ユーザが過去に選択したマーカに含まれる文字情報を格納したデータベースを備えており、サムネイル画像を設定するにあたっては、再生回数が閾値以上のマーカ群のうち、その文字情報と類似する意味を持つ文字情報を含むマーカに対応する静止画像をサムネイル画像として設定する。

［変形例６］
動画データの閲覧地域又は閲覧日時に応じてサムネイル画像を設定してもよい。つまり、設定部１４は、カウントされた再生回数が決められた条件を満たす部分の動画データに対応する静止画像データ群のうち、動画データが閲覧されるときの地域又は日時に応じた静止画像データを設定するようにしてもよい。

［その他の変形例］
上記実施の形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び／又は論理的に結合した１つの装置により実現されてもよいし、物理的及び／又は論理的に分離した２つ以上の装置を直接的及び／又は間接的に（例えば、有線及び／又は無線）で接続し、これら複数の装置により実現されてもよい。例えばサーバ装置１０の機能の少なくとも一部がユーザ端末２０に実装されてもよい。

本明細書で説明した各態様／実施形態は、ＬＴＥ（Long Term Evolution）、ＬＴＥ－Ａ（LTE-Advanced）、ＳＵＰＥＲ３Ｇ、ＩＭＴ－Ａｄｖａｎｃｅｄ、４Ｇ、５Ｇ、ＦＲＡ（Future Radio Access）、Ｗ－ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra Mobile Broadband）、ＩＥＥＥ８０２．１１（Ｗｉ－Ｆｉ）、ＩＥＥＥ８０２．１６（ＷｉＭＡＸ）、ＩＥＥＥ８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及び／又はこれらに基づいて拡張された次世代システムに適用されてもよい。

本明細書で説明した各態様／実施形態の処理手順、シーケンス、フローチャート等は、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
本明細書で説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。

本明細書で使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。

本明細書で使用する「判定（determining）」、「決定（determining）」という用語は、多種多様な動作を包含する場合がある。「判定」、「決定」は、例えば、判定（judging）、計算（calculating）、算出（computing）、処理（processing）、導出（deriving）、調査（investigating）、探索（looking up）（例えば、テーブル、データベース又は別のデータ構造での探索）、確認（ascertaining）した事を「判定」「決定」したとみなす事等を含み得る。また、「判定」、「決定」は、受信（receiving）（例えば、情報を受信すること）、送信（transmitting）（例えば、情報を送信すること）、入力（input）、出力（output）、アクセス（accessing）（例えば、メモリ中のデータにアクセスすること）した事を「判定」「決定」したとみなす事等を含み得る。また、「判定」、「決定」は、解決（resolving）、選択（selecting）、選定（choosing）、確立（establishing）、比較（comparing）等した事を「判定」「決定」したとみなす事を含み得る。つまり、「判定」「決定」は、何らかの動作を「判定」「決定」したとみなす事を含み得る。

本発明は、情報処理システム１やサーバ装置１０において行われる処理のステップを備える情報処理方法として提供されてもよい。また、本発明は、サーバ装置１０において実行されるプログラムとして提供されてもよい。かかるプログラムは、光ディスク等の記録媒体に記録した形態で提供されたり、インターネット等のネットワークを介して、コンピュータにダウンロードさせ、これをインストールして利用可能にする等の形態で提供されたりすることが可能である。

ソフトウェア、命令等は、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）等の有線技術及び／又は赤外線、無線及びマイクロ波等の無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。

本明細書で説明した情報、信号等は、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップ等は、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

本明細書で説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。例えば、チャネル及び／又はシンボルは信号（シグナル）であってもよい。また、信号はメッセージであってもよい。また、コンポーネントキャリア（ＣＣ）は、キャリア周波数、セル等と呼ばれてもよい。

「含む（ｉｎｃｌｕｄｉｎｇ）」、「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」、及びそれらの変形が、本明細書或いは特許請求の範囲で使用されている限り、これら用語は、用語「備える」と同様に、包括的であることが意図される。さらに、本明細書或いは特許請求の範囲において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。

本開示の全体において、例えば、英語でのa、an、及びtheのように、翻訳により冠詞が追加された場合、これらの冠詞は、文脈から明らかにそうではないことが示されていなければ、複数のものを含むものとする。

以上、本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。

１・・・情報処理システム、１０・・・サーバ装置、１１・・・取得部、１２・・・カウント部、１３・・・特定部、１４・・・設定部、１５・・・再生部、２０・・・ユーザ端末、２１・・・動画データ生成部、２２・・・送信部、２３・・・マーカ付与部、２４・・・マーカ選択部、２５・・・出力部、３０・・・ネットワーク、１００１・・・プロセッサ、１００２：メモリ、１００３：ストレージ、１００４・・・通信装置、１００５・・・入力装置、１００６・・・出力装置、２００１・・・プロセッサ、２００２・・・メモリ、２００３・・・ストレージ、２００４・・・通信装置、２００５・・・入力装置、２００６：出力装置、２００７・・・カメラ、２００８・・・マイク、２００９・・・ディスプレイ、２０１０・・・スピーカ、２０１１・・・測位装置。

Claims

動画データの各部分において再生された再生回数をカウントするカウント部と、
カウントされた前記再生回数が決められた条件を満たす部分の動画データに対応する静止画像データを特定する特定部と、
特定された静止画像データを、再生対象となる動画データを選択するときに用いられる画像を表示するための画像データに設定する設定部と
を備え、
前記動画データの任意の位置に付与された付与データを選択して前記動画データの再生が要求された場合に、
前記カウント部は、
前記動画データの再生時に前記付与データが選択された回数を、前記再生回数としてカウントし、
前記特定部は、
前記動画データにおいてカウントされた前記再生回数が決められた条件を満たす前記付与データの位置と所定の関係にある静止画像データを特定し、
さらに、前記動画データにおける複数の付与データの位置が所定の範囲に収まる場合において、当該複数の付与データの各々に対する前記再生回数の総和が決められた条件を満たすときに、当該複数の付与データのうちいずれかの付与データの位置と所定の関係にある静止画像データを特定する
ことを特徴とする情報処理装置。
前記特定部は、
前記動画データにおける複数の付与データの位置が所定の範囲に収まる場合において、当該複数の付与データの各々に対する再生回数の差が閾値未満であり、且つ、当該複数の付与データの各々に対する再生回数の総和が決められた条件を満たすときに、
当該複数の付与データのうち最先の位置に付与された付与データの位置と所定の関係にある静止画像データを特定する
ことを特徴とする請求項１記載の情報処理装置。
前記特定部は、
前記動画データにおける複数の付与データの位置が所定の範囲に収まる場合であっても、当該複数の付与データの各々に対する再生回数の差が閾値以上であるときは、
前記動画データに付与された全ての前記付与データの各々についてカウントされた前記再生回数が決められた条件を満たす部分の動画データに対応する静止画像データを特定する
ことを特徴とする請求項２記載の情報処理装置。
前記特定部は、
前記動画データにおける複数の付与データの位置が所定の範囲に収まる場合において、当該複数の付与データの各々に対する再生回数の差が閾値以上であり、且つ、当該複数の付与データの各々に対する再生回数の総和が決められた条件を満たすときに、
当該複数の付与データの各々に対する再生回数のうち最多の再生回数となる付与データの位置と所定の関係にある静止画像データを特定する
ことを特徴とする請求項１記載の情報処理装置。
前記特定部は、前記動画データにおいてカウントされた再生回数が決められた条件を満たす付与データであっても、当該付与データの内容が例外として決められた条件を満たす場合には、当該付与データの位置と所定の関係にある静止画像データを特定しない
ことを特徴とする請求項１～４のいずれか１項に記載の情報処理装置。
前記設定部は、カウントされた再生回数が決められた条件を満たす部分の動画データに対応する静止画像データ群のうち、前記静止画像データを選択して前記動画データを閲覧するユーザの属性に応じた静止画像データを設定する
ことを特徴とする請求項１～５のいずれか１項に記載の情報処理装置。
前記動画データの任意の位置に付与された付与データを選択して前記動画データの再生が要求された場合に、
前記設定部は、
前記静止画像データを選択して前記動画データを閲覧したユーザごとに、当該ユーザによって選択された付与データの傾向を分析し、
カウントされた再生回数が決められた条件を満たす部分の動画データに対応する静止画像データ群のうち、各々の前記ユーザにより選択された付与データの傾向に応じた静止画像データを設定する
ことを特徴とする請求項１～５のいずれか１項に記載の情報処理装置。
前記設定部は、カウントされた再生回数が決められた条件を満たす部分の動画データに対応する静止画像データ群のうち、前記静止画像データを選択して前記動画データが閲覧されるときの地域又は日時に応じた静止画像データを設定する
ことを特徴とする請求項１～５のいずれか１項に記載の情報処理装置。