JP5618804B2 - 画像検索装置、画像検索方法及び画像検索プログラム - Google Patents

Description

本発明は、画像の検索を行う画像検索装置、画像検索方法及び画像検索プログラムに関する。

従来から、ユーザがカメラで撮影した画像を用いた検索を行うシステムが知られている。例えば、特許文献１には、ユーザがカメラ付きの携帯電話機を用いて求める商品を撮影し、その画像を、インターネットを通じてサーバへ送信し、当該画像を利用して製品の購入が可能な店舗を検索することが可能なシステムについて記載されている。

特開２００３−１２２７５７号公報

画像を利用した検索として、入力された画像に類似する画像を検索するものがある。これを利用して、予め家族の写真等の画像を記憶させておき、記憶された画像から、テレビ電話を行っている際に表示される通信相手の画像に類似するものを検索して出力することができる。これにより、例えば、テレビ電話を行っている際に表示される通信相手の写真をテレビ電話における会話の話題にすることができ、テレビ電話の利便性を高めることができる。しかしながら、予め記憶された検索対象の画像の数が多かったり、一つ一つの画像のサイズが大きかったりすると検索に必要な時間が増大する。

本発明は、上記を鑑みてなされたものであり、テレビ電話において通信相手の画像として表示される画像を用いた検索において検索時間を短縮することを可能にする画像検索装置、画像検索方法及び画像検索プログラムを提供することを目的とする。

上記目的を達成するために、本発明に係る画像検索装置は、検索対象の画像を、テレビ電話における通信相手に応じた情報に対応付けて記憶する画像データベースと、テレビ電話における通信相手に応じた情報と、当該テレビ電話において表示される画像とを入力する入力手段と、入力手段によって入力された通信相手に応じた情報に対応付けられて画像データベースに記憶された画像を検索対象として決定する検索対象決定手段と、入力手段によって入力された画像に類似する画像を、検索対象決定手段によって検索対象として決定された画像の中から検索する検索手段と、検索手段による検索に応じた出力を行う出力手段と、を備えることを特徴とする。

本発明に係る画像検索装置では、テレビ電話において表示される画像を用いた検索を行う際に、検索対象となる画像がテレビ電話における通信相手に応じた情報に対応付けられた画像に限定される。即ち、目的の画像である可能性が低い画像を検索対象から除外することができる。これにより、本発明に係る画像検索装置によれば、テレビ電話において通信相手の画像として表示される画像を用いた検索において検索時間を短縮することができる。

画像データベースは、検索対象の画像に対応付けられた通信相手に応じた情報をそれぞれに優先度が設けられた複数の項目について記憶し、入力手段は、テレビ電話における通信相手に応じた情報として、第１の項目の情報及び第１の項目より優先度が低い第２の項目の情報を入力し、検索対象決定手段は、入力手段によって入力された第１の項目の情報に対応付けられて画像データベースに記憶された画像を検索対象として決定すると共に、決定した検索対象の画像の中から検索手段による検索によって画像が抽出できなかった場合に、入力手段によって入力された第２の項目の情報に対応付けられて画像データベースに記憶された画像を検索対象として決定し、検索手段は、検索対象決定手段によって検索対象として決定された、第１の項目の情報に対応付けられて画像データベースに記憶された画像の中から検索を行い、当該検索によって画像が抽出できなかった場合に、検索対象決定手段によって検索対象として決定された、第２の項目の情報に対応付けられて画像データベースに記憶された画像の中から検索を行う。この構成によれば、目的の画像である可能性に応じて段階的に検索を行うことができ、更に効率的かつ適切な検索を行うことができる。

画像データベースは、検索対象の画像に対応付けて時刻又は位置を示す情報を記憶し、入力手段は、時刻又は位置を示す情報を入力し、検索対象決定手段は、入力手段によって入力された時刻又は位置を示す情報にも対応付けられて画像データベースに記憶された画像を検索対象として決定する、ことが望ましい。この構成によれば、テレビ電話が行われた時刻や位置に応じた検索を行うことができ、より利便性の高い検索を行うことができる。

検索手段は、入力手段によって入力された画像における通信相手のユーザの顔部分を認識して、当該認識結果に基づいて当該画像の特徴を示す特徴量を決定して、当該特徴量を用いて検索することが望ましい。通常、テレビ電話で表示される画像はユーザの顔である。従って、この構成によれば、より適切な検索が可能になる。

また、画像検索装置は、テレビ電話機能を実現するテレビ電話手段を更に備え、入力手段は、テレビ電話手段のテレビ電話機能による当該テレビ電話における通信相手を示す情報と、当該テレビ電話において表示される画像とを入力し、出力手段は、検索手段によって検索された画像を、テレビ電話手段のテレビ電話機能による表示と合わせて表示される画像として出力する、こととしてもよい。

ところで、本発明は、上記のように画像検索装置の発明として記述できる他に、以下のように画像検索方法及び画像検索プログラムの発明としても記述することができる。これはカテゴリが異なるだけで、実質的に同一の発明であり、同様の作用及び効果を奏する。

即ち、本発明に係る画像検索方法は、検索対象の画像を、テレビ電話における通信相手に応じた情報に対応付けて記憶する画像データベースを備える画像検索装置による画像検索方法であって、テレビ電話における通信相手に応じた情報と、当該テレビ電話において表示される画像とを入力する入力ステップと、入力ステップにおいて入力された通信相手に応じた情報に対応付けられて画像データベースに記憶された画像を検索対象として決定する検索対象決定ステップと、入力ステップにおいて入力された画像に類似する画像を、検索対象決定ステップにおいて検索対象として決定された画像の中から検索する検索ステップと、検索ステップにおける検索に応じた出力を行う出力ステップと、を含み、画像データベースは、検索対象の画像に対応付けられた通信相手に応じた情報をそれぞれに優先度が設けられた複数の項目について記憶し、入力ステップにおいて、テレビ電話における通信相手に応じた情報として、第１の項目の情報及び第１の項目より優先度が低い第２の項目の情報を入力し、検索対象決定ステップにおいて、入力ステップにおいて入力された第１の項目の情報に対応付けられて画像データベースに記憶された画像を検索対象として決定すると共に、決定した検索対象の画像の中から検索ステップにおける検索によって画像が抽出できなかった場合に、入力ステップにおいて入力された第２の項目の情報に対応付けられて画像データベースに記憶された画像を検索対象として決定し、検索ステップにおいて、検索対象決定ステップにおいて検索対象として決定された、第１の項目の情報に対応付けられて画像データベースに記憶された画像の中から検索を行い、当該検索によって画像が抽出できなかった場合に、検索対象決定ステップにおいて検索対象として決定された、第２の項目の情報に対応付けられて画像データベースに記憶された画像の中から検索を行う、ことを特徴とする。

本発明に係る画像検索プログラムは、コンピュータを、検索対象の画像を、テレビ電話における通信相手に応じた情報に対応付けて記憶する画像データベースと、テレビ電話における通信相手に応じた情報と、当該テレビ電話において表示される画像とを入力する入力手段と、入力手段によって入力された通信相手に応じた情報に対応付けられて画像データベースに記憶された画像を検索対象として決定する検索対象決定手段と、入力手段によって入力された画像に類似する画像を、検索対象決定手段によって検索対象として決定された画像の中から検索する検索手段と、検索手段による検索に応じた出力を行う出力手段と、して機能させ、画像データベースは、検索対象の画像に対応付けられた通信相手に応じた情報をそれぞれに優先度が設けられた複数の項目について記憶し、入力手段は、テレビ電話における通信相手に応じた情報として、第１の項目の情報及び第１の項目より優先度が低い第２の項目の情報を入力し、検索対象決定手段は、入力手段によって入力された第１の項目の情報に対応付けられて画像データベースに記憶された画像を検索対象として決定すると共に、決定した検索対象の画像の中から検索手段による検索によって画像が抽出できなかった場合に、入力手段によって入力された第２の項目の情報に対応付けられて画像データベースに記憶された画像を検索対象として決定し、検索手段は、検索対象決定手段によって検索対象として決定された、第１の項目の情報に対応付けられて画像データベースに記憶された画像の中から検索を行い、当該検索によって画像が抽出できなかった場合に、検索対象決定手段によって検索対象として決定された、第２の項目の情報に対応付けられて画像データベースに記憶された画像の中から検索を行う、ことを特徴とする。

本発明では、テレビ電話において表示される画像を用いた検索を行う際に、検索対象となる画像がテレビ電話における通信相手に応じた情報に対応付けられた画像に限定される。即ち、目的の画像である可能性が低い画像を検索対象から除外することができる。これにより、本発明によれば、テレビ電話において通信相手の画像として表示される画像を用いた検索において検索時間を短縮することができる。

本発明の実施形態に係る画像検索装置の機能構成を示す図である。 携帯電話機におけるテレビ電話の表示の一例を示す図である。 携帯電話機の電話帳データベースにより記憶される情報を示す図である。 画像検索装置の画像データベースにより記憶される情報を示す図である。 本発明の実施形態に係る画像検索装置のハードウェア構成を示す図である。 本発明の実施形態に係る画像検索装置で実行される処理（画像検索方法）を示すシーケンス図である。 本発明の実施形態に係る画像検索プログラムの構成を記録媒体と共に示す図である。

以下、図面と共に本発明に係る画像検索装置、画像検索方法及び画像検索プログラムの好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。

図１に本実施形態に係る画像検索装置１０を示す。画像検索装置１０は、検索対象の画像を記憶しており、画像を入力して、入力された画像に類似する画像を記憶した画像から検索して出力する装置である。画像検索装置１０は、携帯電話機（情報端末）２０との間で情報の送受信を行うことができ、携帯電話機２０から入力された画像を用いて画像検索を行い、検索された画像を携帯電話機２０に出力する。

ここで、画像検索装置１０との間で情報の入出力を行う携帯電話機２０について説明する。携帯電話機２０は、テレビ電話機能を備えており、無線通信により通信網に接続してテレビ電話を行うことができる装置である。図２に示すように、携帯電話機２０によってテレビ電話が行われている間、携帯電話機２０が備えるディスプレイ等の表示装置２０ａに通信相手から送信された画像（映像）３１が表示される。この画像は、通信相手の電話機によって撮像されたものであり、通常、撮影対象は通信相手（であるところの通話者）である。

携帯電話機２０は、テレビ電話において表示される画像を画像検索装置１０に送信する。当該画像の送信に応じて画像検索装置１０によって画像検索が行われ、検索された画像が携帯電話機２０に送信される。図２に示すように、携帯電話機２０では、当該画像３２が受信されて、表示装置２０ａに通信相手から送信された画像（映像）３１と合わせて（通信相手の画像３１とは別の領域に）表示装置２０ａに表示される。

ここで、画像検索装置１０によって記憶された検索対象とされる画像は、例えば、携帯電話機２０のユーザが所有する写真の画像である。従って、携帯電話機２０のユーザは、通信相手に関連する写真を参照しながらテレビ電話を行うことができる。これにより、例えば、通信相手の写真をテレビ電話における会話の話題にすることができ、テレビ電話の利便性を高めることができる。

画像検索装置１０は、例えば、携帯電話機２０と通信網を介して情報が送受信されてもよい。あるいは、画像検索装置１０は、携帯電話機２０との間で近距離無線通信あるいは有線通信によって情報が送受信されてもよい。なお、画像検索装置１０と携帯電話機２０との間のデータのやり取りの際に、データを暗号化してセキュリティを高めてもよい。

引き続いて、携帯電話機２０の機能についてより詳細について説明する。図１に示すように携帯電話機２０は、電話帳データベース２１と、テレビ電話部２２とを備えて構成される。また、携帯電話機２０は、以下に説明する機能以外にも通常の携帯電話機が有する機能も有しているが説明を省略する。

電話帳データベース２１は、通信相手の電話機の電話番号や通信相手の名前等の電話帳データを記憶したデータベースである。電話帳データベース２１は、具体的には、図３に示すようなテーブルに各情報を格納することによってデータを記憶する。図３に示すように電話帳Ｎｏ、名前、画像、グループキーワード、電話番号及びメールアドレスが対応付けられて記憶されている。電話帳Ｎｏは、電話帳データベース２１の各レコードを一意に特定するための識別子である。名前は、通信相手の電話機を利用している利用者の名前である。画像は、当該利用者の画像である（例えば、着信時の表示等に用いられる）。グループキーワードは、「家族」、「仕事」等、当該利用者が、（携帯電話機２０のユーザからみて）どのような属性を有するかを示す情報である。電話番号は、通信相手の電話機の電話番号である。メールアドレスは、通信相手の電話機のメールアドレスである。

電話帳データベースに記憶された情報のうち、後述するように名前及びグループキーワードが、通信相手に応じた検索用の情報として用いられる。電話帳データベース２１に記憶される情報は、携帯電話機２０のユーザによる携帯電話機２０への入力操作等によって予め電話帳データベース２１に入力されている。

テレビ電話部２２は、テレビ電話機能を実現するテレビ電話手段である。テレビ電話部２２は、ユーザの操作に応じてテレビ電話の発信、着信、通信（テレビ電話に係る音声及び画像の送受信）を行う。また、テレビ電話部２２は、テレビ電話の通信を行っている際に電話帳データベース２１から当該テレビ電話の通信相手の名前及びグループキーワード（ユーザ情報）を取得する。具体的には、名前及びグループキーワードは、例えば、テレビ電話部２２が有するテレビ電話機能によって通信相手の電話機の電話番号の情報が取得されて当該電話番号をキーとして取得される。テレビ電話部２２は、取得した名前及びグループキーワードと、当該テレビ電話において表示される画像（通信相手の電話機から送信された画像）とを画像検索装置１０に送信する。テレビ電話部２２は、当該送信に応じて画像検索装置１０から送信される画像を受信して、上述したように表示する。

また、上記の検索のために時刻又は位置を示す情報も合わせて、画像検索装置１０に送信することとしてもよい。送信される時刻の情報は、例えば、テレビ電話が実施されている時刻（現時点の時刻）の情報である。送信される位置の情報は、例えば、通信相手がいる位置（即ち、携帯電話機２０に入力されるテレビ電話の画像の撮影位置）の情報であり、当該位置を示す緯度及び経度の情報である。この通信相手がいる位置は、例えば、通信相手の電話機が備えるＧＰＳ等の測位機能によって測位が行われて、当該電話機から測位結果の情報を受信することによって得ることができる。これらの情報がどのように検索に利用されるのかについては後述する。以上が、携帯電話機２０の機能構成である。

携帯電話機２０は、ＣＰＵ（Central Processing Unit）、メモリ、無線通信モジュール、スピーカー、ディスプレイ、及びテレビ電話用のマイク、カメラ等のハードウェアを備えて構成される。これらの構成要素がプログラム等により動作することによって上述した機能が発揮される。

引き続いて、本実施形態に係る画像検索装置１０の機能についてより詳細について説明する。図１に示すように画像検索装置１０は、画像データベース１１と、入力部１２と、検索対象決定部１３と、検索部１４と、出力部１５とを備えて構成される。

画像データベース１１は、検索対象の画像を、テレビ電話における通信相手に応じた検索用の情報に対応付けて記憶するデータベースである。画像データベース１１は、具体的には、図４に示すようなテーブルに各情報を格納することによってデータを記憶する。図４に示すように画像ＩＤ、画像、名前、撮影日時、グループキーワード、画像特徴量（ＲＧＢ）が対応付けられて記憶されている。画像ＩＤは、画像データベース１１に記憶される画像を一意に特定するための識別子である。画像は、検索対象の画像（画像データ）である。

名前は、例えば、画像に写っている人物、あるいは画像に関連する人物の名前である。この名前欄の情報は、携帯電話機２０の電話帳データベース２１の名前の欄の情報に対応している。撮影日時は、画像が撮影された時刻を示す情報である。具体的には、撮影が行われた年月日及び時間である。グループキーワードは、上記の人物がどのような属性を有するかを示す情報である。このグループキーワードの欄の情報は、携帯電話機２０の電話帳データベース２１のグループキーワードの欄の情報に対応している。画像特徴量（ＲＧＢ）は、画像の特徴を示す数値データである。例えば、画像中に三原色のＲＧＢのそれぞれの色がどれだけ含まれているか示す値である。この情報は、画像の検索に用いられる。

上記の画像データベース１１に記憶された情報のうち、通信相手に応じた検索用の情報は、名前及びグループキーワードである。上記のように画像データベース１１は、画像に対応付けて複数の検索用の情報（項目）を記憶することとしてもよい。この場合、検索用の情報には優先度が設けられる。画像データベース１１には、当該優先度の情報は記憶されていないが、後述する検索処理で優先度に応じた処理が行われる。本実施形態では、名前の優先度が高く、グループキーワードの優先度が低い。

また、上記のように画像データベース１１は、検索対象の画像に対応付けて時刻を示す情報を記憶しておくこととしてもよい。あるいは、上記のように画像データベース１１は、検索対象の画像に対応付けて位置を示す情報を記憶していてもよい。位置を示す情報は、当該位置を示す緯度及び経度の情報である。上記の時刻あるいは位置を示す情報は、携帯電話機２０から送信される時刻あるいは位置を示す情報に対応している。

画像データベース１１に記憶される画像及び情報は、画像検索装置１０の管理者等による画像データベース１１への画像の登録及び情報の入力操作等によって予め画像データベース１１に入力されている。

入力部１２は、携帯電話機２０でのテレビ電話における通信相手に応じた検索用の情報と、当該テレビ電話において表示される画像とを入力する入力手段である。具体的には、入力部１２は、上述したように携帯電話機２０から送信されるテレビ電話の画像と通信相手に応じた名前及びグループキーワードの情報とを受信する。入力部１２は、受信した名前及びグループキーワードの情報を検索対象決定部１３に出力する。入力部１２は、受信した画像を検索部１４に出力する。

また、入力部１２は、上記の情報と合わせて、携帯電話機２０から時刻又は位置を示す情報を受信して入力することとしてもよい。これらの情報を入力した場合、入力部１２は、その情報を検索対象決定部１３に出力する。なお、時刻の情報については、必ずしも携帯電話機２０から受信する必要はなく、自装置が備える計時機能から現時点の時刻を取得して入力することとしてもよい。

検索対象決定部１３は、画像データベース１１に記憶された画像の中から検索対象の画像を決定する検索対象決定手段である。検索対象決定部１３は、入力部１２から入力された通信相手に応じた検索用の情報に対応付けられた画像を検索対象として決定する。例えば、入力部１２から入力された名前の情報が「お祖母ちゃん」であった場合、画像データベース１１に記憶された画像のうち画像に対応付けられた名前が「お祖母ちゃん」と一致する画像（あるいは、名前に「お祖母ちゃん」を含む画像）を検索対象として決定する。画像データベース１１に記憶された画像が図４に示すようなものである場合、画像ＩＤが「ＩＤ０００１」及び「ＩＤ０００６」の画像が検索対象として決定される。検索対象決定部１３は、検索対象として決定された画像を画像データベース１１から取得して、検索部１４に出力する。

入力部１２から入力されたグループキーワードの情報が「家族」であった場合、画像データベース１１に記憶された画像のうち画像に対応付けられたグループキーワードが「家族」と一致する画像（あるいは、グループキーワードに「家族」を含む画像）を検索対象として決定する。画像データベース１１に記憶された画像が図４に示すようなものである場合、画像ＩＤが「ＩＤ０００１」、「ＩＤ０００２」、「ＩＤ０００３」及び「ＩＤ０００６」の画像が検索対象として決定される。検索対象決定部１３は、検索対象として決定された画像を画像データベース１１から取得して、検索部１４に出力する。

本実施形態では、検索対象決定部１３には名前とグループキーワードという複数の通信相手に応じた検索用の情報がある。検索対象決定部１３は、検索用の情報に応じて優先的に検索される画像を検索対象として決定する、即ち、検索対象決定部１３は、段階的に検索対象の画像を決定する。

上述したように本実施形態においては検索用の情報の優先度は、名前、グループキーワードの順である。本実施形態では、検索対象決定部１３は、まず、入力部１２から入力された名前に対応する画像を最初に検索する検索対象の画像として決定する。上述したように本実施形態においては、テレビ電話で表示される画像に類似する画像を検索する。即ち、テレビ電話で話している相手が写っている写真等の画像を検索するものである。従って、通信相手の電話機に対応付けられた名前と一致する画像が、テレビ電話で表示される画像と類似する可能性が高いと考えられるためである。

検索部１４による検索の結果、入力部１２から入力された名前に対応付けられた画像の中にテレビ電話の画像と類似するものが無かった場合、続いて、検索対象決定部１３は、入力部１２から入力されたグループキーワードに対応する画像を検索する検索対象の画像として決定する。例えば、電話機が家族で用いられていた場合、通信相手が通信相手の電話機に対応付けられた名前の人物でなくてもその家族や職場の人間であり、「家族」や「仕事」といったグループキーワードが対応付けられた画像が、テレビ電話で表示される画像と類似する可能性が高いと考えられるためである。

検索部１４による検索の結果、入力部１２から入力されたキーワードに対応付けられた画像の中にテレビ電話の画像と類似するものが無かった場合、続いて、検索対象決定部１３は、上記で検索画像とされなかった画像を検索対象の画像として決定する。

また、検索対象決定部１３は、入力部１２から時刻又は位置を示す情報が入力された場合には、当該時刻又は当該位置を示す情報にも対応付けられて画像データベース１１に記憶された画像を検索対象として決定する。なお、時刻及び位置については、入力された情報と画像データベース１１において画像に対応付けられている情報とは、通常、完全に一致しないことも多いので一定以内の差であれば対応するものとする。また、時刻については、通常、年月日は一致しないので時分のみが対応すればよいものとする。

検索部１４は、入力部１２から入力された画像に類似する画像を、検索対象決定部１３によって検索対象として入力された画像の中から検索する検索手段である。具体的には、検索部１４は、各画像から画像の特徴を示す画像特徴量を抽出（計算）して、画像特徴量を比較することによって、入力部１２から入力された画像と類似する画像を検索する。なお、画像データベース１１に格納された画像については、図４の最右欄に示すように各画像について予め画像特徴量を計算しておき、予め計算した値を用いることが望ましい。

また、検索部１４は、入力部１２から入力された画像における通信相手のユーザ（通話相手）の顔部分を認識して、当該認識結果に基づいて画像特徴量を決定することが望ましい。より具体的には、画像特徴量の際に顔部分の特徴が際立つような重み付けを行う。通常、テレビ電話で表示される画像はユーザの顔であるのでより、このような検索を行うことによって更に適切な検索が可能になる。なお、画像特徴量の抽出、顔部分の認識、画像特徴量間の比較の検索の具体的な処理については、既存技術を用いて行うことができる。

検索部１４は、検索の結果、検索対象の画像から入力部１２から入力された画像に類似する画像が得られた場合には、その画像を出力部１５に出力する。検索部１４は、類似する画像が得られなかった（無かった）場合には、次に検索対象とされる画像がある場合（類似する画像が得られなかった検索対象が、名前あるいはグループキーワードが一致する画像であった場合）、その旨を検索対象決定部１３に通知する。検索部１４は、検索対象の通知に応じて新たに検索対象決定部１３から入力される検索対象の画像の中から検索を行う。上記のようにこの場合、検索対象の画像を変えて段階的な検索が行われる。

一方、検索部１４は、次に検索対象とされる画像がない場合（類似する画像が得られなかった検索対象が、名前あるいはグループキーワードが一致する画像以外であった場合）、検索の結果、類似する画像が得られなかった旨を出力部１５に通知する。

なお、上記のように一致する画像が無かった場合に検索対象決定部１３に通知して新たな検索対象の画像を入力せずに、検索対象決定部１３から入力される（全ての）検索対象の画像を検索の優先度に対応付けておき、その優先度に応じて上記と同様に順次検索を行うこととしてもよい。例えば、入力部１２から入力された名前に対応付いている画像を優先順位１、入力部１２から入力されたグループキーワードに対応付いている画像を優先順位２、入力部１２から入力された名前及びグループキーワードの何れにも対応付いていない画像を優先順位３といったようにする。

出力部１５は、検索部１４による検索に応じた出力を行う出力手段である。具体的には、出力部１５は、検索部１４から入力された画像を携帯電話機２０においてテレビ電話機能による表示と合わせて表示される画像として、携帯電話機２０に送信する。また、検索部１４から類似する画像が得られなかった旨の通知があった場合には、携帯電話機２０にその旨が通知される。以上が、画像検索装置１０の機能構成である。

図５に画像検索装置１０のハードウェア構成を示す。図５に示すように画像検索装置１０は、ＣＰＵ１０１、主記憶装置であるＲＡＭ（Random Access Memory）１０２及びＲＯＭ（Read Only Memory）１０３、通信を行うための通信モジュール１０４、並びにハードディスク等の補助記憶装置１０５等のハードウェアを備えるコンピュータを含むものとして構成される。これらの構成要素がプログラム等により動作することにより、上述した画像検索装置１０の機能が発揮される。以上が、画像検索装置１０の構成である。

引き続いて、図６のシーケンス図を用いて、本実施形態に係る画像検索装置１０で実行される処理（画像検索方法）を説明する。この処理は、携帯電話機２０によりテレビ電話が行われるときに実行される。

本処理では、まず、携帯電話機２０において、テレビ電話部２２によって通信相手の電話機との間でテレビ電話が開始される（Ｓ０１、テレビ電話ステップ）。テレビ電話の開始は、携帯電話機２０のユーザによる携帯電話機２０に対する操作をトリガとして開始される。テレビ電話の開始によって、携帯電話機２０と通信相手の電話機との間では、テレビ電話に係る音声及び画像が送受信される。携帯電話機２０に入力される画像は、通信相手の電話機によって撮影されたものである。

続いて、テレビ電話部２２によって、通信相手の電話機の電話番号をキーとして電話帳データベース２１から通信相手の名前及びグループキーワードがユーザ情報として取得される（Ｓ０２）。続いて、テレビ電話部２２から画像検索装置１０に、当該テレビ電話において表示される画像（通信相手の電話機から送信された画像）と取得されたユーザ情報とが送信される（Ｓ０３）。上述したようにこの際に時刻及び位置の少なくとも一つが上記の情報と合わせて送信されてもよい。

画像検索装置１０では、入力部１２によって携帯電話機２０から送信された情報が受信され入力される（Ｓ０３、入力ステップ）。入力された情報のうち、画像は入力部１２から検索部１４に出力される。また、ユーザ情報、時刻及び位置の情報は、入力部１２から検索対象決定部１３に出力される。

続いて、検索対象決定部１３によって、画像データベース１１に記憶された画像の中から検索対象の画像が決定される（Ｓ０４、検索対象決定ステップ）。上述したように入力部１２から入力された通信相手に応じた検索用の情報に対応付けられた画像が検索対象として決定される。本実施形態のように検索用の情報（ユーザ情報として）優先度が高い名前と、優先度の低いグループキーワードがあった場合、まず、名前に対応付けられた画像が検索対象として決定される。また、検索対象の画像は、上述したように時刻及び位置によって更に限定されてもよい。検索対象として決定された画像は、検索対象決定部１３によって、画像データベース１１から取得されて検索部１４に出力される。

続いて、検索部１４によって、入力部１２から入力された画像に類似する画像が、検索対象決定部１３から入力された画像の中から検索される。具体的には、入力部１２から入力された画像から画像特徴量が抽出される（Ｓ０５、検索ステップ）。続いて、抽出された画像特徴量と、検索対象決定部１３から入力された画像の画像特徴量とが比較されて、類似が判断されることによって検索が行われる（Ｓ０６、検索ステップ）。

検索の結果、検索対象の画像から入力部１２から入力された画像に類似する画像が得られた場合には、その画像が検索部１４から出力部１５に出力される。続いて、出力部１５によって検索部１４から入力された画像が携帯電話機２０に送信される（Ｓ０７、出力ステップ）。

携帯電話機２０では、テレビ電話部２２によって、画像検索装置１０から送信された画像が受信される（Ｓ０７）。受信された画像は、図２に示すように、テレビ電話画像と合わせて表示される（Ｓ０８、出力ステップ）。

Ｓ０６における検索の結果、検索対象の画像から入力部１２から入力された画像に類似する画像が得られなかった場合には、その旨が検索部１４から検索対象決定部１３に通知される。続いて、検索対象決定部１３によって、改めて画像データベース１１に記憶された画像の中から検索対象の画像が決定される（Ｓ０４、検索対象決定ステップ）。具体的には、グループキーワードに対応付けられた画像が検索対象として決定される。続いて、上記と同様に検索対象として決定された画像に対して検索が行われる（Ｓ０６、検索ステップ）。検索の結果、検索対象の画像から入力部１２から入力された画像に類似する画像が得られた場合には、上記と同様にその画像が出力部１５から携帯電話機２０に送信され、携帯電話機２０で表示される（Ｓ０７、Ｓ０８、出力ステップ）。

一方で、Ｓ０６における検索の結果、検索対象の画像から入力部１２から入力された画像に類似する画像が得られなかった場合には、その旨が検索部１４から検索対象決定部１３に通知される。続いて、検索対象決定部１３によって、改めて画像データベース１１に記憶された画像の中から検索対象の画像が決定される（Ｓ０４、検索対象決定ステップ）。具体的には、名前及びグループキーワードの何れにも対応付けられていない画像が検索対象として決定される。続いて、上記と同様に検索対象として決定された画像に対して検索が行われる（Ｓ０６、検索ステップ）。検索の結果、検索対象の画像から入力部１２から入力された画像に類似する画像が得られた場合には、上記と同様にその画像が出力部１５から携帯電話機２０に送信され、携帯電話機２０で表示される（Ｓ０７、Ｓ０８、出力ステップ）。

Ｓ０６における検索の結果、検索対象の画像から入力部１２から入力された画像に類似する画像が得られなかった場合には、類似する画像が得られなかった旨が検索部１４から出力部１５に通知される。続いて、出力部１５によって携帯電話機２０に、類似する画像が得られなかった旨が通知され、携帯電話機２０ではその旨の通知に応じた処理（例えば、ユーザへの通知等）がなされる。以上が、本実施形態に係る画像検索装置１０で実行される処理（画像検索方法）である。

上述したように、本実施形態では、テレビ電話において表示される画像を用いた検索を行う際に、検索対象となる画像がテレビ電話における通信相手に応じた検索用の情報である名前やグループキーワードに対応付けられた画像に限定される。これにより、目的の画像（検索にヒットする画像である可能性の高い画像）に絞って検索を行うことができる。即ち、目的の画像（検索にヒットする画像）である可能性が低い画像を検索対象から除外することができる。これにより、本発明に係る画像検索装置によれば、テレビ電話において通信相手の画像として表示される画像を用いた検索において効率的に検索を行うことができ、その結果、検索時間を短縮することができる。これにより携帯電話機２０のテレビ電話の表示画面に、迅速に検索画像を表示させることができ、ユーザの利便性を向上させることができる。

また、本実施形態のように名前及びグループキーワードといった複数の検索用の情報を用いて段階的に検索を行うこととしてもよい。この構成によれば、目的の画像である可能性に応じて段階的に検索を行うことができ、更に効率的かつ適切な検索を行うことができる。なお、本実施形態では、通信相手に応じた検索用の情報として名前及びグループキーワードを用いたが、それら以外の情報が用いられてもよい。また、本実施形態では、最終的に通信相手の名前及びグループキーワードに対応付けられていない画像に対しても検索を行っているが、例えば、画像の総数が膨大である場合等には必ずしも名前及びグループキーワードに対応付けられていない画像に対しては検索を行う必要はない。

また、本実施形態のように時刻や位置に応じて検索対象の画像を限定することとしてもよい。この構成によれば、テレビ電話が行われた時刻や位置に応じた検索を行うことができ、より利便性の高い検索を行うことができる。

なお、上述した実施形態では、通信相手に応じた検索用の情報である名前及びグループキーワードを携帯電話機２０において通信相手の電話機の電話番号から特定して、画像検索装置１０に送信することとしている。しかしながら、携帯電話機２０から画像検索装置１０に送信される情報を通信相手の電話機を特定する情報（例えば、電話番号）としてもよい。図３に示す電話帳データベースに記憶される情報を画像検索装置１０でも記憶しておき、画像検索装置１０において携帯電話機２０から受信された通信相手の電話機を特定する情報から名前及びグループキーワードを特定することとしてもよい。

また、上述した本実施形態では、テレビ電話を行う電話機は無線通信を行う携帯電話機２０としていたが必ずしも無線通信を行う必要はなく、有線で電話通信を行う固定電話機であってもよい。

また、上述した本実施形態では、テレビ電話を行う携帯電話機２０と、画像データベース１１を備え画像の検索を行う画像検索装置１０とは、別々の装置として構成されていた。しかしながら、これらの装置が一体となっていることとしてもよい。即ち、上述した画像検索装置１０が、携帯電話機２０の電話帳データベース２１と、テレビ電話部２２とを備えていてもよい（あるいは、テレビ電話を行う電話機が、上述した画像検索装置１０の機能を全て備えていてもよい）。その場合、画像検索装置１０における入力部１２は、装置内部において、テレビ電話部２２のテレビ電話機能による当該テレビ電話における通信相手を示す情報と、当該テレビ電話において表示される画像とを入力する。また、出力部１５は、検索部１４によって検索された画像をテレビ電話機能による表示と合わせて表示される画像として出力する。

引き続いて、上述した一連の画像検索装置１０の上述した画像検索処理をコンピュータに実行させるための画像検索プログラムを説明する。図７に示すように、画像検索プログラム４１は、コンピュータに挿入されてアクセスされる、あるいはコンピュータが備える記録媒体４０に形成されたプログラム格納領域４０ａ内に格納される。

画像検索プログラム４１は、画像検索処理を統括的に制御するメインモジュール４１ａと、画像データベースモジュール４１ｂと、入力モジュール４１ｃと、検索対象決定モジュール４１ｄと、検索モジュール４１ｅと、出力モジュール４１ｆとを備えて構成される。メインモジュール４１ａと、画像データベースモジュール４１ｂと、入力モジュール４１ｃと、検索対象決定モジュール４１ｄと、検索モジュール４１ｅと、出力モジュール４１ｆとを実行させることにより実現される機能は、上述した画像検索装置１０の画像データベース１１と、入力部１２と、検索対象決定部１３と、検索部１４と、出力部１５との機能とそれぞれ同様である。

なお、画像検索プログラム４１は、その一部若しくは全部が、通信回線等の伝送媒体を介して伝送され、他の機器により受信されて記録（インストールを含む）される構成としてもよい。また、画像検索プログラム４１の各モジュールは、１つのコンピュータでなく、複数のコンピュータのいずれかにインストールされてもよい。その場合、当該複数のコンピュータによるコンピュータシステムよって上述した一連の画像検索装置１０の画像検索処理が行われる。

１０…画像検索装置、１１…画像データベース、１２…入力部、１３…検索対象決定部、１４…検索部、１５…出力部、１０１…ＣＰＵ、１０２…ＲＡＭ、１０３…ＲＯＭ、１０４…通信モジュール、１０５…補助記憶装置、２０…携帯電話機、２１…電話帳データベース、２２…テレビ電話部、４０…記録媒体、４０ａ…プログラム格納領域、４１…画像検索プログラム、４１ａ…メインモジュール、４１ｂ…画像データベースモジュール、４１ｃ…入力モジュール、４１ｄ…検索対象決定モジュール、４１ｅ…検索モジュール、４１ｆ…出力モジュール。

Claims (6)

1. 検索対象の画像を、テレビ電話における通信相手に応じた情報に対応付けて記憶する画像データベースと、
   テレビ電話における通信相手に応じた情報と、当該テレビ電話において表示される画像とを入力する入力手段と、
   前記入力手段によって入力された通信相手に応じた情報に対応付けられて前記画像データベースに記憶された画像を検索対象として決定する検索対象決定手段と、
   前記入力手段によって入力された前記画像に類似する画像を、前記検索対象決定手段によって検索対象として決定された画像の中から検索する検索手段と、
   前記検索手段による検索に応じた出力を行う出力手段と、
   を備え、
   前記画像データベースは、検索対象の画像に対応付けられた通信相手に応じた情報をそれぞれに優先度が設けられた複数の項目について記憶し、
   前記入力手段は、テレビ電話における通信相手に応じた情報として、第１の項目の情報及び第１の項目より前記優先度が低い第２の項目の情報を入力し、
   前記検索対象決定手段は、前記入力手段によって入力された第１の項目の情報に対応付けられて前記画像データベースに記憶された画像を検索対象として決定すると共に、決定した検索対象の画像の中から前記検索手段による検索によって画像が抽出できなかった場合に、前記入力手段によって入力された第２の項目の情報に対応付けられて前記画像データベースに記憶された画像を検索対象として決定し、
   前記検索手段は、前記検索対象決定手段によって検索対象として決定された、第１の項目の情報に対応付けられて前記画像データベースに記憶された画像の中から検索を行い、当該検索によって画像が抽出できなかった場合に、前記検索対象決定手段によって検索対象として決定された、第２の項目の情報に対応付けられて前記画像データベースに記憶された画像の中から検索を行う、画像検索装置。
2. 前記画像データベースは、検索対象の画像に対応付けて時刻又は位置を示す情報を記憶し、
   前記入力手段は、時刻又は位置を示す情報を入力し、
   前記検索対象決定手段は、前記入力手段によって入力された時刻又は位置を示す情報にも対応付けられて前記画像データベースに記憶された画像を検索対象として決定する、
   ことを特徴とする請求項１に記載の画像検索装置。
3. 前記検索手段は、前記入力手段によって入力された前記画像における前記通信相手のユーザの顔部分を認識して、当該認識結果に基づいて当該画像の特徴を示す特徴量を決定して、当該特徴量を用いて検索することを特徴とする請求項１又は２に記載の画像検索装置。
4. テレビ電話機能を実現するテレビ電話手段を更に備え、
   前記入力手段は、前記テレビ電話手段のテレビ電話機能による当該テレビ電話における通信相手を示す情報と、当該テレビ電話において表示される画像とを入力し、
   前記出力手段は、前記検索手段によって検索された画像を、前記テレビ電話手段のテレビ電話機能による表示と合わせて表示される画像として出力する、
   ことを特徴とする請求項１〜３の何れか一項に記載された画像検索装置。
5. 検索対象の画像を、テレビ電話における通信相手に応じた情報に対応付けて記憶する画像データベースを備える画像検索装置による画像検索方法であって、
   テレビ電話における通信相手に応じた情報と、当該テレビ電話において表示される画像とを入力する入力ステップと、
   前記入力ステップにおいて入力された通信相手に応じた情報に対応付けられて前記画像データベースに記憶された画像を検索対象として決定する検索対象決定ステップと、
   前記入力ステップにおいて入力された前記画像に類似する画像を、前記検索対象決定ステップにおいて検索対象として決定された画像の中から検索する検索ステップと、
   前記検索ステップにおける検索に応じた出力を行う出力ステップと、
   を含み、
   前記画像データベースは、検索対象の画像に対応付けられた通信相手に応じた情報をそれぞれに優先度が設けられた複数の項目について記憶し、
   前記入力ステップにおいて、テレビ電話における通信相手に応じた情報として、第１の項目の情報及び第１の項目より前記優先度が低い第２の項目の情報を入力し、
   前記検索対象決定ステップにおいて、前記入力ステップにおいて入力された第１の項目の情報に対応付けられて前記画像データベースに記憶された画像を検索対象として決定すると共に、決定した検索対象の画像の中から前記検索ステップにおける検索によって画像が抽出できなかった場合に、前記入力ステップにおいて入力された第２の項目の情報に対応付けられて前記画像データベースに記憶された画像を検索対象として決定し、
   前記検索ステップにおいて、前記検索対象決定ステップにおいて検索対象として決定された、第１の項目の情報に対応付けられて前記画像データベースに記憶された画像の中から検索を行い、当該検索によって画像が抽出できなかった場合に、前記検索対象決定ステップにおいて検索対象として決定された、第２の項目の情報に対応付けられて前記画像データベースに記憶された画像の中から検索を行う、画像検索方法。
6. コンピュータを、
   検索対象の画像を、テレビ電話における通信相手に応じた情報に対応付けて記憶する画像データベースと、
   テレビ電話における通信相手に応じた情報と、当該テレビ電話において表示される画像とを入力する入力手段と、
   前記入力手段によって入力された通信相手に応じた情報に対応付けられて前記画像データベースに記憶された画像を検索対象として決定する検索対象決定手段と、
   前記入力手段によって入力された前記画像に類似する画像を、前記検索対象決定手段によって検索対象として決定された画像の中から検索する検索手段と、
   前記検索手段による検索に応じた出力を行う出力手段と、
   して機能させ、
   前記画像データベースは、検索対象の画像に対応付けられた通信相手に応じた情報をそれぞれに優先度が設けられた複数の項目について記憶し、
   前記入力手段は、テレビ電話における通信相手に応じた情報として、第１の項目の情報及び第１の項目より前記優先度が低い第２の項目の情報を入力し、
   前記検索対象決定手段は、前記入力手段によって入力された第１の項目の情報に対応付けられて前記画像データベースに記憶された画像を検索対象として決定すると共に、決定した検索対象の画像の中から前記検索手段による検索によって画像が抽出できなかった場合に、前記入力手段によって入力された第２の項目の情報に対応付けられて前記画像データベースに記憶された画像を検索対象として決定し、
   前記検索手段は、前記検索対象決定手段によって検索対象として決定された、第１の項目の情報に対応付けられて前記画像データベースに記憶された画像の中から検索を行い、当該検索によって画像が抽出できなかった場合に、前記検索対象決定手段によって検索対象として決定された、第２の項目の情報に対応付けられて前記画像データベースに記憶された画像の中から検索を行う、画像検索プログラム。

Images