JPWO2019106997A1 - 検索システム、端末装置の動作方法及びプログラム - Google Patents

Abstract

サーバ（２０）は、動画から抽出された人物の外観の特徴と動きの特徴とを対応付けた人物情報を記憶し、端末装置（１０）から受信した入力情報をキーとして人物情報を検索し、検索結果を端末装置（１０）に返信する。端末装置（１０）は、サーバ（２０）に記憶されている人物情報の一部または全部をサーバ（２０）から取得して記憶し、入力情報をキーとして検索し、検索結果を入力欄に入力される情報の候補としてディスプレイに表示させる。

Description

本発明は、検索システム、サーバ、端末装置、サーバの動作方法、端末装置の動作方法及びプログラムに関する。

特許文献１は、ユーザがディスプレイ画面に描いた図形の大まかな形状を入力し、画像やオブジェクトのデータベースからユーザが描いた図形の形状に類似するオブジェクトを抽出し、抽出したオブジェクトをユーザが描いた図形に対応する位置に配置し、図として背景画像等と合成することにより違和感のない１枚の画像に仕上げて出力する技術を開示している。

非特許文献１は手書き画像に基づいた動画検索技術を開示している。当該技術では、入力欄において手書き画像の入力を受付けると、手書き画像に類似するシーンを検索し、出力する。また、手書きされた図形に類似する図形を入力候補として提示し、入力候補の中の１つが選択されると、入力欄における手書きされた図形を選択された図形に置き代える。

特開２０１１−２８７５号公報 国際公開第２０１４／１０９１２７号 特開２０１５−４９５７４号公報

Claudiu Tanase、他７名、"Semantic Sketch-Based Video Retrieval with Auto completion"、［Online］、［平成２９年９月５日検索］、インターネット＜URL: https://iui.ku.edu.tr/sezgin_publications/2016/Sezgin-IUI-2016.pdf＞

非特許文献１に記載のような「画像のみをキーとしたシーン検索」の場合、検索結果を十分に絞り込むことができない場合がある。本発明は、所望のシーンを高精度に検索する技術を提供することを課題とする。

本発明によれば、
端末装置とサーバとを含み、
前記端末装置は、
検索キーの入力欄をディスプレイに表示させるとともに、検索結果を前記ディスプレイに表示させる表示制御手段と、
前記入力欄に入力された入力情報を取得する入力受付手段と、
前記入力情報を前記サーバに送信する端末側送信手段と、
前記検索結果を前記サーバから受信する端末側受信手段と、
を有し、
前記サーバは、
動画から抽出された人物の外観の特徴と動きの特徴とを対応付けた人物情報を記憶する検索情報記憶手段と、
前記入力情報を前記端末装置から受信するサーバ側受信手段と、
前記入力情報をキーとして前記検索情報記憶手段を検索し、前記入力情報を含む前記人物情報を取得する第１の検索手段と、
前記第１の検索手段により取得された前記人物情報の少なくとも一部を、前記検索結果として前記端末装置に送信するサーバ側送信手段と、
を有し、
前記サーバまたは前記端末装置は、
前記検索情報記憶手段に記憶されている前記人物情報の一部または全部を前記検索情報記憶手段から読み出して記憶する入力補完データ記憶手段と、
前記入力情報をキーとして前記入力補完データ記憶手段を検索し、前記入力情報を含む前記人物情報を取得する第２の検索手段と、
を有し、
前記表示制御手段は、前記第２の検索手段により取得された前記人物情報の少なくとも一部を、前記入力欄に入力される情報の候補として前記ディスプレイに表示させる検索システムが提供される。

また、本発明によれば、
検索キーの入力欄をディスプレイに表示させるとともに、検索結果を前記ディスプレイに表示させる表示制御手段と、
前記入力欄に入力された入力情報を取得する入力受付手段と、
前記入力情報をサーバに送信する端末側送信手段と、
前記検索結果を前記サーバから受信する端末側受信手段と、
前記サーバに記憶されている動画から抽出された人物の外観の特徴と動きの特徴とを対応付けた人物情報の一部または全部を前記サーバから取得して記憶する入力補完データ記憶手段と、
前記入力情報をキーとして前記入力補完データ記憶手段を検索し、前記入力情報を含む前記人物情報を取得する第２の検索手段と、
を有し、
前記表示制御手段は、前記第２の検索手段により取得された前記人物情報の少なくとも一部を、前記入力欄に入力される情報の候補として前記ディスプレイに表示させる端末装置が提供される。

また、本発明によれば、
動画から抽出された人物の外観の特徴と動きの特徴とを対応付けた人物情報を記憶する検索情報記憶手段と、
検索キーの入力欄に入力された入力情報を端末装置から受信するサーバ側受信手段と、
前記入力情報をキーとして前記検索情報記憶手段を検索し、前記入力情報を含む前記人物情報を取得する第１の検索手段と、
前記第１の検索手段により取得された前記人物情報の少なくとも一部を、検索結果として前記端末装置に送信するサーバ側送信手段と、
を有するサーバが提供される。

また、本発明によれば、
コンピュータが、
検索キーの入力欄をディスプレイに表示させるとともに、検索結果を前記ディスプレイに表示させる表示制御工程と、
前記入力欄に入力された入力情報を取得する入力受付工程と、
前記入力情報をサーバに送信する端末側送信工程と、
前記検索結果を前記サーバから受信する端末側受信工程と、
前記入力情報をキーとして、前記サーバに記憶されている動画から抽出された人物の外観の特徴と動きの特徴とを対応付けた人物情報の一部または全部を前記サーバから取得して記憶する入力補完データ記憶手段を検索し、前記入力情報を含む前記人物情報を取得する第２の検索工程と、
を実行し、
前記表示制御工程では、前記第２の検索工程で取得された前記人物情報の少なくとも一部を、前記入力欄に入力される情報の候補として前記ディスプレイに表示させる端末装置の動作方法が提供される。

また、本発明によれば、
コンピュータを、
検索キーの入力欄をディスプレイに表示させるとともに、検索結果を前記ディスプレイに表示させる表示制御手段、
前記入力欄に入力された入力情報を取得する入力受付手段、
前記入力情報をサーバに送信する端末側送信手段、
前記検索結果を前記サーバから受信する端末側受信手段、
前記サーバに記憶されている動画から抽出された人物の外観の特徴と動きの特徴とを対応付けた人物情報の一部または全部を前記サーバから取得して記憶する入力補完データ記憶手段、
前記入力情報をキーとして前記入力補完データ記憶手段を検索し、前記入力情報を含む前記人物情報を取得する第２の検索手段、
として機能させ、
前記表示制御手段は、前記第２の検索手段により取得された前記人物情報の少なくとも一部を、前記入力欄に入力される情報の候補として前記ディスプレイに表示させるプログラムが提供される。

また、本発明によれば、
コンピュータが、
検索キーの入力欄に入力された入力情報を端末装置から受信するサーバ側受信工程と、
前記入力情報をキーとして、動画から抽出された人物の外観の特徴と動きの特徴とを対応付けた人物情報を記憶する検索情報記憶手段を検索し、前記入力情報を含む前記人物情報を取得する第１の検索工程と、
前記第１の検索工程で取得された前記人物情報の少なくとも一部を、検索結果として前記端末装置に送信するサーバ側送信工程と、
を実行するサーバの動作方法が提供される。

また、本発明によれば、
コンピュータを、
動画から抽出された人物の外観の特徴と動きの特徴とを対応付けた人物情報を記憶する検索情報記憶手段、
検索キーの入力欄に入力された入力情報を端末装置から受信するサーバ側受信手段、
前記入力情報をキーとして前記検索情報記憶手段を検索し、前記入力情報を含む前記人物情報を取得する第１の検索手段、
前記第１の検索手段により取得された前記人物情報の少なくとも一部を、検索結果として前記端末装置に送信するサーバ側送信手段、
として機能させるプログラムが提供される。

本発明によれば、所望のシーンを高精度に検索することが可能となる。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

本実施形態の検索システムの機能ブロック図の一例を示す図である。 本実施形態の装置のハードウエア構成の一例を示す図である。 本実施形態の検索システムの機能ブロック図の一例を示す図である。 本実施形態の人物情報の一例を模式的に示す図である。 本実施形態の人物情報の一例を模式的に示す図である。 本実施形態の端末装置のディスプレイに表示される情報の一例を模式的に示す図である。 本実施形態の端末装置のディスプレイに表示される情報の一例を模式的に示す図である。 本実施形態の端末装置のディスプレイに表示される情報の一例を模式的に示す図である。 本実施形態の端末装置のディスプレイに表示される情報の一例を模式的に示す図である。 本実施形態の端末装置のディスプレイに表示される情報の一例を模式的に示す図である。 本実施形態の検索システムの処理の流れの一例を示すフローチャートである。 本実施形態の検索システムの処理の流れの一例を示すフローチャートである。 本実施形態の検索システムの機能ブロック図の一例を示す図である。 本実施形態の人物情報の生成方法の一例を説明するための図である。

＜第１の実施形態＞
まず、本実施形態の検索システムの概要を説明する。本実施形態の検索システムは、動画から抽出された人物の外観の特徴と動きの特徴とを対応付けた人物情報を記憶手段に記憶しておく。そして、人物の外観の特徴及び動きの特徴をキーとして記憶手段を検索し、所定の外観や動きの特徴を備える人物を動画から抽出したり、所定の外観や動きの特徴を備える人物が写るシーンを抽出したりできる。人物の外観の特徴のみならず、人物の動きをキーとして動画を検索できる本実施形態の検索システムによれば、検索結果を十分に絞り込むことができ、高精度な検索が実現できる。

次に、本実施形態の検索システムの構成を詳細に説明する。図１の機能ブロック図に示すように、本実施形態の検索システムは、端末装置１０とサーバ２０とを有する。端末装置１０とサーバ２０とは、有線及び／又は無線で互いに通信可能に構成される。端末装置１０とサーバ２０は、例えば有線及び／又は無線で直接（他の装置を介さずに）通信してもよい。その他、端末装置１０とサーバ２０は、例えば有線及び／又は無線で公共及び／又はプライベートな通信ネットワークを介して（他の装置を介して）通信してもよい。

まず、端末装置１０及びサーバ２０のハードウエア構成の一例について説明する。本実施形態の端末装置１０及びサーバ２０が備える各部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。

図２は、本実施形態の端末装置１０及びサーバ２０のハードウエア構成を例示するブロック図である。図２に示すように、端末装置１０及びサーバ２０各々は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。なお、周辺回路４Ａを有さなくてもよい。

バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置（例：キーボード、マウス、マイク等）、外部装置、外部サーバ、外部センサー等から情報を取得するためのインターフェイスや、出力装置（例：ディスプレイ、スピーカ、プリンター、メーラ等）、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。

次に、端末装置１０及びサーバ２０各々の機能構成を説明する。まず、各装置が備える機能の概要を説明する。

サーバ２０は、検索機能を有する。すなわち、サーバ２０は、動画から抽出された人物の外観の特徴と動きの特徴とを対応付けた人物情報を記憶し、端末装置１０から受信した入力情報をキーとして人物情報を検索し、検索結果を端末装置１０に返信する機能を有する。

端末装置１０は、入出力機能を有する。すなわち、端末装置１０は、ディスプレイに表示した入力欄への入力を受付け、入力された入力情報をサーバ２０に送信するとともに検索結果をサーバ２０から受信し、受信した検索結果をディスプレイに表示する機能（入出力機能）を有する。

また、端末装置１０は、入力欄への入力を補助する入力補完機能を有する。すなわち、端末装置１０は、入力欄への入力を補完する入力補完情報を記憶し、入力欄に入力された入力情報をキーとして入力補完情報を検索し、抽出した入力補完情報を、入力欄に入力する情報の候補としてディスプレイに表示する機能を有する。候補の中のいずれかが選択されると、選択された候補が入力情報として入力欄に入力される。

以下、端末装置１０及びサーバ２０各々の上記機能を詳細に説明する。図３に、端末装置１０及びサーバ２０各々の機能ブロック図の一例を示す。図示するように、サーバ２０は、サーバ側送信部２１と、サーバ側受信部２２と、検索情報記憶部２３と、第１の検索部２４とを有する。そして、端末装置１０は、表示制御部１１と、入力受付部１２と、端末側送信部１３と、端末側受信部１４と、入力補完データ記憶部１５と、第２の検索部１６とを有する。

サーバ２０の上記検索機能は、サーバ側送信部２１、サーバ側受信部２２、検索情報記憶部２３及び第１の検索部２４により実現される。

検索情報記憶部２３は、動画から抽出された人物の外観の特徴と動きの特徴とを対応付けた人物情報を記憶する。検索情報記憶部２３は、不揮発性の記憶装置（例：ＨＤＤ（hard disk drive））である。サーバ側受信部２２は、検索キーの入力欄に入力された入力情報を端末装置から受信する。第１の検索部２４は、入力情報をキーとして検索情報記憶部２３を検索し、入力情報を含む人物情報を取得する。サーバ側送信部２１は、第１の検索部２４により取得された人物情報の少なくとも一部を、検索結果として端末装置１０に送信する。

端末装置１０の上記入出力機能は、表示制御部１１、入力受付部１２、端末側送信部１３及び端末側受信部１４により実現される。

表示制御部１１は、検索キーの入力欄をディスプレイに表示させる。入力受付部１２は、検索キーの入力欄に入力された入力情報を取得する。端末側送信部１３は、入力情報をサーバ２０に送信する。端末側受信部１４は、検索結果をサーバから受信する。表示制御部１１は、サーバ２０から送信されてきた検索結果をディスプレイに表示させる。

端末装置１０の上記入力補完機能は、表示制御部１１、入力受付部１２、入力補完データ記憶部１５及び第２の検索部１６により実現される。

入力補完データ記憶部１５は、検索情報記憶部２３に記憶されている人物情報の一部または全部を検索情報記憶部２３から読み出して記憶する。入力補完データ記憶部１５は、揮発性の記憶装置（例：ＲＡＭ）である。第２の検索部１６は、入力情報をキーとして入力補完データ記憶部１５を検索し、入力情報を含む人物情報を取得する。表示制御部１１は、第２の検索部１６により取得された人物情報の少なくとも一部を、入力欄に入力される情報の候補としてディスプレイに表示させる。なお、入力補完データ記憶部１５に記憶されている情報が、上述した入力補完情報である。

以下、具体例を用いて検索システムを詳細に説明する。

まず、検索情報記憶部２３に記憶される情報を詳細に説明する。図４に、人物情報の一例を模式的に示す。図示する人物情報は、動画から抽出された人物に付与される人物ＩＤ（identifier）と、その人物の外観の特徴と、その人物の動きの特徴とを互いに対応付けている。

人物の外観の特徴は、顔の特徴、性別、年齢層、国籍、体型、身に着けている物の特徴、持ち物の特徴等が例示されるがこれらに限定されない。顔の特徴は、例えば顔のパーツ等を用いて表現することができるが、その詳細は制限されない。身に着けている物の特徴は、例えば、青いキャップ、黒いズボン、白いスカート、黒いハイヒール等のように、種類、色、柄、形等で表現される。持ち物の特徴は、例えば、黒い鞄、赤い傘、迷彩柄のリュックサック等のように、種類、色、柄、形等で表現される。

動きの特徴は、走っている、歩いている、静止している、上を見上げている、ベンチに座っている、移動軌跡の特徴等が例示されるがこれらに限定されない。移動軌跡の特徴は、例えば、所定の対象（例：ベンチ）の方に向かって移動している等のように、画像に写っている物との相対的な関係（例：近づいている、遠ざかっている）で表現されてもよい。

図５に、人物情報の他の一例を模式的に示す。図示する人物情報は、動画から抽出された人物に付与される人物ＩＤ（identifier）と、その人物の外観の特徴と、その人物の動きの特徴と、その人物の背景の特徴とを互いに対応付けている。背景の特徴は、人込み、ビル群、駅、公園、ベンチ、コンビニエンスストア等のように、抽出された人物の背景に写っている物等で表現される。

なお、図示しないが、人物情報は、各人物が各動きをした様子を含む動画ファイルを特定する情報（例：ファイル名）及びそのシーンを特定する情報（例：動画ファイルの冒頭からの時間）をさらに含んでもよい。また、人物情報は、各人物が各動きをしたシーンの静止画像をさらに含んでもよい。

上述のような人物情報は、動画に基づき生成される。動画は、街角に設置された監視装置により撮影された動画であってもよいし、ユーザが自身の撮影装置を用いて撮影した動画であってもよい。動画に基づき人物情報を生成する手段は、以下の実施形態で一例を説明するが、本実施形態では特段制限されない。

なお、検索情報記憶部２３は、複数の図形のテンプレートをさらに記憶してもよい。そして、入力補完データ記憶部１５は、当該図形のテンプレートをさらに検索情報記憶部２３から読み出して、記憶してもよい。当該テンプレートの利用方法は以下で説明する。

次に、入力受付部１２が受付けることのできる入力情報の種類を例示し、各種情報を受け付けた際の各機能部の処理の具体例を説明する。

「例１」
入力受付部１２は、人物の外観の特徴及び動きの特徴を示す入力情報を取得する。また、入力受付部１２は、人物の背景の特徴を示す入力情報を取得することができる。

図６に、表示制御部１１がディスプレイに表示させた入力欄の一例を示す。入力受付部１２は、図示するような入力欄において、テキストの直接入力で検索キーの入力を受付けることができる。例えば、入力受付部１２は、顔の特徴、性別、年齢層、国籍、体型、身に着けている物の特徴、持ち物の特徴、動きの特徴、背景の特徴等の入力を受付けてもよい。

なお、入力受付部１２は、複数のワードの入力を一度に受付けることができてもよい。この場合、所定のルールに従い複数のワードを入力することで、複数のワードを所定の演算子で組み合わせた検索式の入力ができてもよい。例えば、and、or、not等の文字により演算子が指定されてもよい。一例として、「男and５０代and黒いズボンand走る」等が例示される。この場合、「黒いズボンをはいて、走っている５０代の男性」が検索対象となり、このような人物やこのような人物が写るシーンが抽出される。

また、所定のルールに従いワードを入力することで、各ワードがどの種類の特徴を示すものかを指定して入力できてもよい。例えば、「sex:」の後に記載したワードは性別、「age:」の後に記載したワードは年令層、「move:」の後に記載したワードは動きの特徴等のように、ワードの前に付す文字や文言で特徴の種類が指定されてもよい。一例として、「sex:男 and age:５０代 and move:走る」等が例示される。

その他、表示制御部１１は、各種特徴に対応してドロップダウンリストやチェックボックス等のＧＵＩ（graphical user interface）部品をディスプレイに表示させ、入力受付部１２は当該ＧＵＩ部品を介して検索キーの入力を受付けてもよい。

このような入力情報が得られた場合、第１の検索部２４は検索情報記憶部２３を検索し、入力情報を含む人物情報を抽出する。そして、表示制御部１１は、抽出した人物の一覧を検索結果としてディスプレイに表示させる。

図７に、ディスプレイに表示された画面の一例を示す。画面の左上には入力欄が表示されている。そして、画面の右半分には第１の検索部２４による検索結果が示されている。

図示する例では、第１の検索部２４により抽出された人物情報各々に対応した人物が各々に対応した動きをしているシーンの一覧が検索結果として表示されている。いずれか１つを選択されると、そのシーンを含む動画の再生が開始されてもよい。

また、上述のような入力情報が得られた場合、第２の検索部１６は入力補完データ記憶部１５を検索し、入力情報を含む人物情報を抽出する。そして、表示制御部１１は、抽出した人物情報に含まれる特徴を、入力欄に入力される情報の候補としてディスプレイに表示させることができる。

入力される情報の候補として表示させる特徴は、検索式に含まれない種類の特徴であってもよい。例えば、検索式が「男and５０代and黒いズボンand走る」の場合、これらと異なる種類の特徴である顔の特徴、国籍、体型、持ち物の特徴、背景の特徴等が第２の検索部１６により抽出された人物情報から抽出され、入力欄に入力される情報の候補としてディスプレイに表示されてもよい。図７の画面例の場合、入力欄の下に、入力欄に入力される情報の候補が選択可能に一覧表示される。

そして、表示された候補の中からいずれかが選択されると、そのワードが入力欄に表示されてもよい。例えば、入力欄に「男and５０代and黒いズボンand走る」が表示されている状態で、入力欄に入力される情報の候補として「ビル群、人込み、・・・」等の背景の特徴が表示され、その中から「ビル群」が選択されたとする。この場合、当該選択に応じて、入力欄の表示は「男and５０代and黒いズボンand走るandビル群」に変化してもよい。そして、当該変化に応じて、例えば第１の検索部２４及び第２の検索部１６は新たな検索式を用いた検索を再実行し、第１の検索部２４による検索結果の表示や、入力欄に入力される情報の候補の表示が切り替わってもよい。

「例２」
その他、入力受付部１２は、画像の入力を受付けてもよい。画像は、例えば人物の外観の特徴や背景の特徴を示す。例えば、ユーザは、探したい人物、探したい人物に外観の特徴が似ている人物、探したい人物の背景、探したい人物の背景に似ている背景等が写っている画像ファイルを入力することができる。

その他、入力受付部１２は、入力欄において画像を手書きする入力を受付けてもよい。例えば、図６に示す入力欄におけるアイコンＡに対する操作を受付けると、表示制御部１１は、図８に示すように画像を手書きする入力欄をディスプレイに表示させてもよい。そして、当該入力欄においては、図９や図１０に示すように手書きで図形等を描けてもよい。

この場合、第２の検索部１６は、手書きされた図形をキーとして、入力補完データ記憶部１５に記憶されている複数の図形のテンプレートを検索し、所定レベル以上類似する図形を抽出してもよい。そして、表示制御部１１は、第２の検索部１６により抽出された図形を、入力欄に入力される情報の候補としてディスプレイに一覧表示させてもよい。この場合、候補の中からいずれかが選択されると、入力欄に表示されていた手書きの図形が、選択された図形に置き換わる。なお、第２の検索部１６による検索、表示制御部１１による候補の表示を実行するタイミングは設計的事項であり、図形を描いている最中に、随時、その時点で入力欄に描かれている図形を入力情報として、検索、候補の表示を実行してもよい。

当該例の場合、入力受付部１２は、例１と同様の手段で動きの特徴の入力を受付けてもよい。すなわち、入力受付部１２は、入力欄におけるテキストの直接入力で動きの特徴の入力を受付けてもよい。

その他、入力受付部１２は、入力欄に表示されている画像（図形）に対する所定の操作を受付けることで、動きの特徴の入力を受付けてもよい。例えば、図１０に示すように入力欄に人物及びベンチ（背景）が表示されている状態で、人物をドラッグしベンチのほうに移動させてドロップするドラッグ＆ドロップ操作を受付けると、「ベンチの方に向かって移動」する動きの特徴が入力されてもよい。

この場合、第２の検索部１６は、その時点で入力欄に入力されている入力情報（画像、ワード等）をキーとして入力補完データ記憶部１５を検索し、入力情報を含む人物情報を抽出する。そして、表示制御部１１は、抽出した人物情報に含まれる動きの特徴に対応した入力操作（上述したドラッグ＆ドロップ操作等）の案内をディスプレイに表示させてもよい。例えば、図１０に示す入力欄の人物からベンチに向かう矢印を入力欄に表示することで、人物をドラッグしベンチのほうに移動させてドロップするドラッグ＆ドロップ操作の案内を行ってもよい。

その他、例えば入力欄に表示されている人物に対する所定の操作（例：アイコンを画像上において右クリック）を受付けると、表示制御部１１は、動きの特徴を選択するためのドロップダウンリストやチェックボックス等のＧＵＩ部品をディスプレイに表示させてもよい。そして、入力受付部１２は、当該ＧＵＩ部品から、動きの特徴を選択する入力を受付けてもよい。

この場合、第２の検索部１６は、その時点で入力欄に入力されている入力情報（画像、ワード等）をキーとして入力補完データ記憶部１５を検索し、入力情報を含む人物情報を抽出する。そして、表示制御部１１は、抽出した人物情報に含まれる動きの特徴を選択肢として含むドロップダウンリストやチェックボックス等のＧＵＩ部品を表示させる。なお、画像をキーとした検索においては、入力情報の画像と所定レベル以上類似する人物情報が抽出されてもよい。例えば、人物情報に含まれる「各人物が各動きをしたシーンの静止画像」における人物の外観と、入力情報の人物の画像との類似度が判断され、入力情報の画像と所定レベル以上類似する人物を含む静止画像に対応した人物情報が抽出されてもよい。その他、人物情報に含まれる「各人物が各動きをしたシーンの静止画像」における人物の背景と、入力情報の背景の画像（例：図１０のベンチ）との類似度が判断され、入力情報の画像と所定レベル以上類似する箇所を背景に含む静止画像（例：図１０のベンチと所定レベル以上類似するベンチを背景に含む静止画像）に対応した人物情報が抽出されてもよい。

第１の検索部２４は、例１と同様にして、入力欄に入力された入力情報をキーとして検索情報記憶部２３を検索し、入力情報を含む人物情報を抽出することができる。そして、表示制御部１１は、抽出した人物情報の一覧を検索結果としてディスプレイに表示させることができる。また、第２の検索部１６は、例１と同様にして、入力欄に入力された入力情報をキーとして入力補完データ記憶部１５を検索し、入力情報を含む人物情報を抽出することができる。

次に、図１１を用いて、入力補完データを表示する処理の流れの一例を説明する。

入力欄に入力情報が入力されると（Ｓ１０のＹｅｓ）、第２の検索部１６は入力補完データ記憶部１５を検索する（Ｓ１１）。そして、表示制御部１１は、第２の検索部１６による検索結果に基づき、入力欄に入力される情報の候補をディスプレイに表示させる（Ｓ１２）。

その後、入力欄に入力されている入力情報が変更されると（Ｓ１３のＹｅｓ）、Ｓ１１及びＳ１２の処理を繰り返す。

次に、図１２を用いて、サーバ２０の検索処理の流れの一例を説明する。

サーバ側受信部２２が端末装置１０から入力情報を取得すると（Ｓ２０のＹｅｓ）、第１の検索部２４は検索情報記憶部２３を検索する（Ｓ２１）。そして、サーバ側送信部２１は、検索結果を端末装置１０に送信する（Ｓ２２）。

以上説明した本実施形態の検索システムは、人物の外観の特徴及び動きの特徴をキーとして検索し、動画の中から所定の特徴（外観の特徴及び動きの特徴）を備える人物を抽出したり、所定の特徴を備える人物が写るシーンを抽出したりできる。人物の外観の特徴のみならず、動きをキーとして動画を検索できる本実施形態の検索システムによれば、検索結果を十分に絞り込むことができ、高精度な検索が実現できる。

また、本実施形態の検索システムによれば、ユーザは検索キーとして画像を入力することができる。頭にイメージしている人物の外観や背景の特徴を文字に変換することが苦手なユーザにとって、当該入力手段は利便性の高いものとなる。

また、本実施形態の検索システムによれば、検索情報記憶部２３に記憶されている人物情報の一部または全部を入力補完データ記憶部１５に記憶させ、入力補完データ記憶部１５に記憶させている人物情報、及び、それまでに入力欄に入力されている情報に基づき入力欄に入力される情報の候補を決定し、ユーザに提供することができる。このような本実施形態の検索システムによれば、ユーザの入力の補助を行うことができる。また、検索情報記憶部２３に記憶されている人物情報に基づき入力される情報の候補を決定するので、当該情報は検索結果の絞り込みに有益な情報となる。

＜第２の実施形態＞
図１３に、本実施形態の検索システムの機能ブロック図の一例を示す。本実施形態は、サーバ２０が入力補完データ記憶部１５及び第２の検索部１６を有し、端末装置１０が入力補完データ記憶部１５及び第２の検索部１６を有さない点で、第１の実施形態と異なる。

本実施形態では、端末装置１０は、第２の検索部１６による検索に用いる情報をサーバ２０に送信し、サーバ２０から第２の検索部１６の検索結果を取得する。

本実施形態の検索システムによれば、第１の実施形態の検索システムと同様の作用効果を実現できる。

＜第３の実施形態＞
本実施形態では、検索情報記憶部２３に記憶される人物情報の作成方法の一例を提供する。以下の処理はサーバ２０が行ってもよいし、サーバ２０と異なる装置が行ってもよい。

まず、複数のフレーム各々から人物を抽出する。そして、あるフレームから抽出された人物と、それ以前のフレームから抽出された人物とが同一人物であるか判断し、同じ人物同士をグループ化する。それ以前のフレームから抽出されたすべての人物各々の外観の特徴と、あるフレームから抽出されたすべての人物各々の外観の特徴とのすべてのペアを比較することで、上記判断を行ってもよい。しかし、この処理の場合、蓄積された人物のデータが増えるほど、比較するペアの数が膨大となり、処理負担が大きくなる。そこで、例えば、次のような方法を採用してもよい。

例えば、抽出された人物を図１４のようにインデックス化し、当該インデックスを用いて、それ以前に抽出された人物と同一人物か否かの判定を行ってもよい。当該インデックスを用いることで、処理速度を高速化できる。当該インデックスの詳細及び生成方法は、特許文献２及び３に開示されているが、以下、簡単に説明する。

図１４に示す抽出ＩＤ（identifier）：「Ｆ○○○−○○○○」は、各フレームから抽出された人物各々に付される識別情報である。Ｆ○○○がフレーム識別情報であり、ハイフン以下が各フレームから抽出された人物各々の識別情報である。同一人物が異なるフレームから抽出された場合、各々に異なる抽出ＩＤが付されることとなる。

第３層には、それまでに処理されたフレームから得られた全ての抽出ＩＤ各々に対応したノードが配置される。そして、第３層に配置された複数のノードは、類似度（外観の特徴量の類似度）が第１のレベル以上のもの同士でまとめてグループ化される。第３層では、同一人物に関すると判断される複数の抽出ＩＤどうしでグループ化されている。すなわち、上記類似度の第１のレベルは、このようなグループ化を実現可能とする値に設定されている。このような第３層の各グループに対応して、人物識別情報（人物ＩＤ）が付される。

第２層には、第３層の複数のグループ各々から選択された１つのノード（代表）が配置され、第３層の当該グループと紐付けられる。第２層に配置された複数のノードは、類似度が第２のレベル以上のもの同士でまとめてグループ化される。なお、類似度の第２のレベルは、上記第１のレベルよりも低い。すなわち、第１のレベルを基準にした場合にはグループ化されないノード同士が、第２のレベルを基準にした場合にはグループ化され得る。

第１層には、第２層の複数のグループ各々から選択された１つのノード（代表）が配置され、第２層の当該グループと紐付けられる。

新たなフレームから新たな抽出ＩＤが得られた場合、まず、第１層に位置する複数の抽出ＩＤを比較対象とする。すなわち、新たな抽出ＩＤと、第１層に位置する複数の抽出ＩＤ各々とでペアを作成する。そして、ペア毎に類似度（外観の特徴量の類似度）を算出し、算出した類似度が第１の閾値以上（所定レベル以上類似）であるか判定する。

第１層に、類似度が第１の閾値以上である抽出ＩＤが存在しない場合、新たな抽出ＩＤに対応する人物は、それ以前に抽出された人物と同一人物でないと判断する。そして、新たな抽出ＩＤを第１層乃至第３層に追加し、それらを互いに紐付ける。第２層及び第３層においては、追加された新たな抽出ＩＤにより新たなグループが生成される。また、第３層の新たなグループに対応して新たな人物ＩＤが発行される。そして、その人物ＩＤを、新たな抽出ＩＤに対応する人物の人物ＩＤとして特定する。

一方、第１層に、類似度が第１の閾値以上である抽出ＩＤが存在する場合、比較対象を第２層に移す。具体的には、「類似度が第１の閾値以上であると判定された第１層の抽出ＩＤ」に紐付けられた第２層のグループを、比較対象とする。

そして、新たな抽出ＩＤと、第２層の処理対象のグループに含まれる複数の抽出ＩＤ各々とでペアを作成する。次いで、ペア毎に類似度を算出し、算出した類似度が第２の閾値以上であるか判定する。なお、第２の閾値は、第１の閾値よりも高い。

第２層の処理対象のグループに、類似度が第２の閾値以上である抽出ＩＤが存在しない場合、新たな抽出ＩＤに対応する人物は、それ以前に抽出された人物と同一人物でないと判断する。そして、新たな抽出ＩＤを第２層及び第３層に追加し、互いに紐付ける。第２層においては、新たな抽出ＩＤは処理対象のグループに追加される。第３層においては、追加された新たな抽出ＩＤにより新たなグループが生成される。また、第３層の新たなグループに対応して新たな人物ＩＤが発行される。そして、その人物ＩＤを、新たな抽出ＩＤに対応する人物の人物ＩＤとして特定する。

一方、第２層の処理対象のグループに、類似度が第２の閾値以上である抽出ＩＤが存在する場合、新たな抽出ＩＤに対応する人物は、それ以前に抽出された人物と同一人物であると判断する。そして、新たな抽出ＩＤを、「類似度が第２の閾値以上であると判定された第２層の抽出ＩＤ」に紐付けられた第３層のグループに属させる。また、第３層のそのグループに対応する人物ＩＤを、新たな抽出ＩＤに対応する人物の人物ＩＤとして特定する。

例えば、以上のようにして、新たなフレームから抽出された１つ又は複数の抽出ＩＤを図１４のインデックスに追加し、各々に人物ＩＤを対応付けることができる。

各人物の外観の特徴、動きの特徴及び背景の特徴は、コンピュータによる処理で生成されてもよいし、人間が動画を視認して各種特徴を判断し、コンピュータに入力してもよい。コンピュータによる処理の場合、あらゆる技術を利用して実現できる。

本実施形態の検索システムによれば、第１及び第２の実施形態と同様の作用効果を実現できる。

以下、参考形態の例を付記する。
１． 端末装置とサーバとを含み、
前記端末装置は、
検索キーの入力欄をディスプレイに表示させるとともに、検索結果を前記ディスプレイに表示させる表示制御手段と、
前記入力欄に入力された入力情報を取得する入力受付手段と、
前記入力情報を前記サーバに送信する端末側送信手段と、
前記検索結果を前記サーバから受信する端末側受信手段と、
を有し、
前記サーバは、
動画から抽出された人物の外観の特徴と動きの特徴とを対応付けた人物情報を記憶する検索情報記憶手段と、
前記入力情報を前記端末装置から受信するサーバ側受信手段と、
前記入力情報をキーとして前記検索情報記憶手段を検索し、前記入力情報を含む前記人物情報を取得する第１の検索手段と、
前記第１の検索手段により取得された前記人物情報の少なくとも一部を、前記検索結果として前記端末装置に送信するサーバ側送信手段と、
を有し、
前記サーバまたは前記端末装置は、
前記検索情報記憶手段に記憶されている前記人物情報の一部または全部を前記検索情報記憶手段から読み出して記憶する入力補完データ記憶手段と、
前記入力情報をキーとして前記入力補完データ記憶手段を検索し、前記入力情報を含む前記人物情報を取得する第２の検索手段と、
を有し、
前記表示制御手段は、前記第２の検索手段により取得された前記人物情報の少なくとも一部を、前記入力欄に入力される情報の候補として前記ディスプレイに表示させる検索システム。
２． １に記載の検索システムにおいて、
前記入力受付手段は、人物の外観の特徴及び動きの特徴を示す前記入力情報を取得する検索システム。
３． ２に記載の検索システムにおいて、
前記入力受付手段は、人物の外観の特徴を示す前記入力情報として、画像を取得する検索システム。
４． １から３のいずれかに記載の検索システムにおいて、
前記人物情報は、背景の特徴をさらに含む検索システム。
５． ４に記載の検索システムにおいて、
前記入力受付手段は、背景の特徴を示す前記入力情報を取得する検索システム。
６． ５に記載の検索システムにおいて、
前記入力受付手段は、背景の特徴を示す前記入力情報として、画像を取得する検索システム。
７． ３又は６に記載の検索システムにおいて、
前記入力受付手段は、前記入力欄に手書き入力された前記画像を取得する検索システム。
８． １から７のいずれかに記載の検索システムにおいて、
前記人物情報は、各人物が各動きを行った様子を示す画像データをさらに含む検索システム。
９． 検索キーの入力欄をディスプレイに表示させるとともに、検索結果を前記ディスプレイに表示させる表示制御手段と、
前記入力欄に入力された入力情報を取得する入力受付手段と、
前記入力情報をサーバに送信する端末側送信手段と、
前記検索結果を前記サーバから受信する端末側受信手段と、
前記サーバに記憶されている動画から抽出された人物の外観の特徴と動きの特徴とを対応付けた人物情報の一部または全部を前記サーバから取得して記憶する入力補完データ記憶手段と、
前記入力情報をキーとして前記入力補完データ記憶手段を検索し、前記入力情報を含む前記人物情報を取得する第２の検索手段と、
を有し、
前記表示制御手段は、前記第２の検索手段により取得された前記人物情報の少なくとも一部を、前記入力欄に入力される情報の候補として前記ディスプレイに表示させる端末装置。
１０． 動画から抽出された人物の外観の特徴と動きの特徴とを対応付けた人物情報を記憶する検索情報記憶手段と、
検索キーの入力欄に入力された入力情報を端末装置から受信するサーバ側受信手段と、
前記入力情報をキーとして前記検索情報記憶手段を検索し、前記入力情報を含む前記人物情報を取得する第１の検索手段と、
前記第１の検索手段により取得された前記人物情報の少なくとも一部を、検索結果として前記端末装置に送信するサーバ側送信手段と、
を有するサーバ。
１１． １０に記載のサーバにおいて、
前記検索情報記憶手段に記憶されている前記人物情報の一部または全部を前記検索情報記憶手段から読み出して記憶する入力補完データ記憶手段と、
前記入力情報をキーとして前記入力補完データ記憶手段を検索し、前記入力情報を含む前記人物情報を取得する第２の検索手段と、
をさらに有するサーバ。
１２． コンピュータが、
検索キーの入力欄をディスプレイに表示させるとともに、検索結果を前記ディスプレイに表示させる表示制御工程と、
前記入力欄に入力された入力情報を取得する入力受付工程と、
前記入力情報をサーバに送信する端末側送信工程と、
前記検索結果を前記サーバから受信する端末側受信工程と、
前記入力情報をキーとして、前記サーバに記憶されている動画から抽出された人物の外観の特徴と動きの特徴とを対応付けた人物情報の一部または全部を前記サーバから取得して記憶する入力補完データ記憶手段を検索し、前記入力情報を含む前記人物情報を取得する第２の検索工程と、
を実行し、
前記表示制御工程では、前記第２の検索工程で取得された前記人物情報の少なくとも一部を、前記入力欄に入力される情報の候補として前記ディスプレイに表示させる端末装置の動作方法。
１３． コンピュータを、
検索キーの入力欄をディスプレイに表示させるとともに、検索結果を前記ディスプレイに表示させる表示制御手段、
前記入力欄に入力された入力情報を取得する入力受付手段、
前記入力情報をサーバに送信する端末側送信手段、
前記検索結果を前記サーバから受信する端末側受信手段、
前記サーバに記憶されている動画から抽出された人物の外観の特徴と動きの特徴とを対応付けた人物情報の一部または全部を前記サーバから取得して記憶する入力補完データ記憶手段、
前記入力情報をキーとして前記入力補完データ記憶手段を検索し、前記入力情報を含む前記人物情報を取得する第２の検索手段、
として機能させ、
前記表示制御手段は、前記第２の検索手段により取得された前記人物情報の少なくとも一部を、前記入力欄に入力される情報の候補として前記ディスプレイに表示させるプログラム。
１４． コンピュータが、
検索キーの入力欄に入力された入力情報を端末装置から受信するサーバ側受信工程と、
前記入力情報をキーとして、動画から抽出された人物の外観の特徴と動きの特徴とを対応付けた人物情報を記憶する検索情報記憶手段を検索し、前記入力情報を含む前記人物情報を取得する第１の検索工程と、
前記第１の検索工程で取得された前記人物情報の少なくとも一部を、検索結果として前記端末装置に送信するサーバ側送信工程と、
を実行するサーバの動作方法。
１５． コンピュータを、
動画から抽出された人物の外観の特徴と動きの特徴とを対応付けた人物情報を記憶する検索情報記憶手段、
検索キーの入力欄に入力された入力情報を端末装置から受信するサーバ側受信手段、
前記入力情報をキーとして前記検索情報記憶手段を検索し、前記入力情報を含む前記人物情報を取得する第１の検索手段、
前記第１の検索手段により取得された前記人物情報の少なくとも一部を、検索結果として前記端末装置に送信するサーバ側送信手段、
として機能させるプログラム。

この出願は、２０１７年１１月２９日に出願された日本出願特願２０１７−２２８７７２号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (15)

1. 端末装置とサーバとを含み、
   前記端末装置は、
   検索キーの入力欄をディスプレイに表示させるとともに、検索結果を前記ディスプレイに表示させる表示制御手段と、
   前記入力欄に入力された入力情報を取得する入力受付手段と、
   前記入力情報を前記サーバに送信する端末側送信手段と、
   前記検索結果を前記サーバから受信する端末側受信手段と、
   を有し、
   前記サーバは、
   動画から抽出された人物の外観の特徴と動きの特徴とを対応付けた人物情報を記憶する検索情報記憶手段と、
   前記入力情報を前記端末装置から受信するサーバ側受信手段と、
   前記入力情報をキーとして前記検索情報記憶手段を検索し、前記入力情報を含む前記人物情報を取得する第１の検索手段と、
   前記第１の検索手段により取得された前記人物情報の少なくとも一部を、前記検索結果として前記端末装置に送信するサーバ側送信手段と、
   を有し、
   前記サーバまたは前記端末装置は、
   前記検索情報記憶手段に記憶されている前記人物情報の一部または全部を前記検索情報記憶手段から読み出して記憶する入力補完データ記憶手段と、
   前記入力情報をキーとして前記入力補完データ記憶手段を検索し、前記入力情報を含む前記人物情報を取得する第２の検索手段と、
   を有し、
   前記表示制御手段は、前記第２の検索手段により取得された前記人物情報の少なくとも一部を、前記入力欄に入力される情報の候補として前記ディスプレイに表示させる検索システム。
2. 請求項１に記載の検索システムにおいて、
   前記入力受付手段は、人物の外観の特徴及び動きの特徴を示す前記入力情報を取得する検索システム。
3. 請求項２に記載の検索システムにおいて、
   前記入力受付手段は、人物の外観の特徴を示す前記入力情報として、画像を取得する検索システム。
4. 請求項１から３のいずれか１項に記載の検索システムにおいて、
   前記人物情報は、背景の特徴をさらに含む検索システム。
5. 請求項４に記載の検索システムにおいて、
   前記入力受付手段は、背景の特徴を示す前記入力情報を取得する検索システム。
6. 請求項５に記載の検索システムにおいて、
   前記入力受付手段は、背景の特徴を示す前記入力情報として、画像を取得する検索システム。
7. 請求項３又は６に記載の検索システムにおいて、
   前記入力受付手段は、前記入力欄に手書き入力された前記画像を取得する検索システム。
8. 請求項１から７のいずれか１項に記載の検索システムにおいて、
   前記人物情報は、各人物が各動きを行った様子を示す画像データをさらに含む検索システム。
9. 検索キーの入力欄をディスプレイに表示させるとともに、検索結果を前記ディスプレイに表示させる表示制御手段と、
   前記入力欄に入力された入力情報を取得する入力受付手段と、
   前記入力情報をサーバに送信する端末側送信手段と、
   前記検索結果を前記サーバから受信する端末側受信手段と、
   前記サーバに記憶されている動画から抽出された人物の外観の特徴と動きの特徴とを対応付けた人物情報の一部または全部を前記サーバから取得して記憶する入力補完データ記憶手段と、
   前記入力情報をキーとして前記入力補完データ記憶手段を検索し、前記入力情報を含む前記人物情報を取得する第２の検索手段と、
   を有し、
   前記表示制御手段は、前記第２の検索手段により取得された前記人物情報の少なくとも一部を、前記入力欄に入力される情報の候補として前記ディスプレイに表示させる端末装置。
10. 動画から抽出された人物の外観の特徴と動きの特徴とを対応付けた人物情報を記憶する検索情報記憶手段と、
    検索キーの入力欄に入力された入力情報を端末装置から受信するサーバ側受信手段と、
    前記入力情報をキーとして前記検索情報記憶手段を検索し、前記入力情報を含む前記人物情報を取得する第１の検索手段と、
    前記第１の検索手段により取得された前記人物情報の少なくとも一部を、検索結果として前記端末装置に送信するサーバ側送信手段と、
    を有するサーバ。
11. 請求項１０に記載のサーバにおいて、
    前記検索情報記憶手段に記憶されている前記人物情報の一部または全部を前記検索情報記憶手段から読み出して記憶する入力補完データ記憶手段と、
    前記入力情報をキーとして前記入力補完データ記憶手段を検索し、前記入力情報を含む前記人物情報を取得する第２の検索手段と、
    をさらに有するサーバ。
12. コンピュータが、
    検索キーの入力欄をディスプレイに表示させるとともに、検索結果を前記ディスプレイに表示させる表示制御工程と、
    前記入力欄に入力された入力情報を取得する入力受付工程と、
    前記入力情報をサーバに送信する端末側送信工程と、
    前記検索結果を前記サーバから受信する端末側受信工程と、
    前記入力情報をキーとして、前記サーバに記憶されている動画から抽出された人物の外観の特徴と動きの特徴とを対応付けた人物情報の一部または全部を前記サーバから取得して記憶する入力補完データ記憶手段を検索し、前記入力情報を含む前記人物情報を取得する第２の検索工程と、
    を実行し、
    前記表示制御工程では、前記第２の検索工程で取得された前記人物情報の少なくとも一部を、前記入力欄に入力される情報の候補として前記ディスプレイに表示させる端末装置の動作方法。
13. コンピュータを、
    検索キーの入力欄をディスプレイに表示させるとともに、検索結果を前記ディスプレイに表示させる表示制御手段、
    前記入力欄に入力された入力情報を取得する入力受付手段、
    前記入力情報をサーバに送信する端末側送信手段、
    前記検索結果を前記サーバから受信する端末側受信手段、
    前記サーバに記憶されている動画から抽出された人物の外観の特徴と動きの特徴とを対応付けた人物情報の一部または全部を前記サーバから取得して記憶する入力補完データ記憶手段、
    前記入力情報をキーとして前記入力補完データ記憶手段を検索し、前記入力情報を含む前記人物情報を取得する第２の検索手段、
    として機能させ、
    前記表示制御手段は、前記第２の検索手段により取得された前記人物情報の少なくとも一部を、前記入力欄に入力される情報の候補として前記ディスプレイに表示させるプログラム。
14. コンピュータが、
    検索キーの入力欄に入力された入力情報を端末装置から受信するサーバ側受信工程と、
    前記入力情報をキーとして、動画から抽出された人物の外観の特徴と動きの特徴とを対応付けた人物情報を記憶する検索情報記憶手段を検索し、前記入力情報を含む前記人物情報を取得する第１の検索工程と、
    前記第１の検索工程で取得された前記人物情報の少なくとも一部を、検索結果として前記端末装置に送信するサーバ側送信工程と、
    を実行するサーバの動作方法。
15. コンピュータを、
    動画から抽出された人物の外観の特徴と動きの特徴とを対応付けた人物情報を記憶する検索情報記憶手段、
    検索キーの入力欄に入力された入力情報を端末装置から受信するサーバ側受信手段、
    前記入力情報をキーとして前記検索情報記憶手段を検索し、前記入力情報を含む前記人物情報を取得する第１の検索手段、
    前記第１の検索手段により取得された前記人物情報の少なくとも一部を、検索結果として前記端末装置に送信するサーバ側送信手段、
    として機能させるプログラム。

Images