JP6116472B2 - 情報端末、画像検索システムおよび画像検索方法 - Google Patents

Description

本発明は、ユーザの注文に応じて所定の画像をプリントするプリントサービスなどに用いられる情報端末、画像サーバおよび画像検索システムならびに画像検索方法に関するものである。

従来から、フォトブック、コラージュおよびポストカードなど、所定の画像をプリントするプリントサービスが利用されており、近年、画像サーバなどに保管された大量の画像データからプリントする画像を検索する画像検索システムおよび画像検索方法が利用されている。また、これらの画像検索システムおよび画像検索方法では、情報端末および画像サーバが利用されている。

特許文献１には、動画像や複数の静止画像からプリントすべき画像を抽出し、その画像とその画像へのアクセス情報をプリント媒体に記録し、記録したアクセス情報を読み取ることで、サーバ上への画像データにアクセスするプリントサービスシステムが開示されている。
また、特許文献２には、画像データとともに画像データの属性情報を付随させて保管することで、効率的な画像検索を行うことのできる画像データ保管システムが開示されている。

特許第４３３７１３９号公報 特許第４１０４０５５号公報

特許文献１のプリントサービスシステムでは、記録したアクセス情報を読み取ることで、プリント画像に対応したサーバ上の画像データにアクセスできるものの、プリント画像以外の画像データにアクセスすることはできなかった。
また、特許文献２の画像データ保管システムでは、画像データとともに属性情報を保管しているものの、属性情報をキーワードとして画像データを検索するにはユーザが属性情報を入力する必要があり手間が掛かっていた。

本発明の目的は、所定のプリント画像または所定の表示画像（以下、所定画像）から、その画像に関連性の高い複数の画像データ等を簡単な操作で検索・参照することができる画像検索システムおよび画像検索方法を提供することにある。また、これらの画像検索システムおよび画像検索方法に利用される情報端末および画像サーバを提供することにある。

上記課題を解決するために、本発明は、画像サーバに接続されて画像サーバ内に格納された複数の画像データの画像検索を行う情報端末であって、所定画像と所定画像に対応した情報タグとを有する撮像画像の情報タグに基づいて所定画像の関連情報を取得する関連情報取得部と、取得された関連情報に基づいて画像サーバでの画像検索に利用する検索条件を生成する検索条件生成部と、所定画像を表示し、表示された所定画像に、検索条件生成部によって生成された検索条件を重畳表示する表示部と、表示部に表示された検索条件をユーザに選択させる検索条件選択部と、検索条件選択部において選択された検索条件を画像サーバに送信する検索条件送信部と、画像サーバから検索条件によって検索された所定画像に関連する関連画像データおよび関連画像の情報の少なくとも一方を受信する関連画像データ受信部とを有し、情報タグは、撮像画像上から読取可能なバーコード、２次元コード、ＩＣタグ、または、電子透かしであることを特徴とする情報端末を提供する。

また、所定画像と所定画像に対応した情報タグを撮像し、所定画像と情報タグとを有する撮像画像を取得する撮像部を更に有し、表示部は、撮像部によって撮像された所定画像の撮像画像信号に基づいて所定画像を表示することが好ましい。

また、検索条件選択部と表示部とはタッチパネルディスプレイとして一体に構成されることが好ましい。

また、検索条件は、関連情報または関連情報に基づいて新たに生成される情報であり、関連情報は、ユーザによって入力された所定画像に関する情報、所定画像の画像解析結果および所定画像のメタ情報ならびにこれらの組み合わせに基づくものであることが好ましい。

また、情報端末は、関連画像データ受信部において画像サーバから受信した関連画像データに基づく関連画像および関連画像の情報の少なくとも一方を表示部に表示することが好ましい。

また、検索条件生成部は、関連画像データ受信部において画像サーバから受信した関連画像データに基づく関連画像および関連画像の情報の少なくとも一方に基づいて新たな検索条件を生成し、表示部は、検索条件生成部において生成された新たな検索条件を所定画像に重畳表示することが好ましい。

また、関連画像の情報は、関連画像データへのアクセス情報または関連画像の関連情報であることが好ましい。

また、関連情報取得部は、情報タグから関連情報へのアクセス情報を取得し、関連情報へのアクセス情報に基づいて関連情報を取得してもよい。

また、情報端末は、インターネットに接続され、検索条件に基づいてインターネット検索を行うことができる。

また、本発明は、画像サーバに接続されて画像サーバ内に格納された複数の画像データの画像検索を行う情報端末であって、所定画像と所定画像に対応した情報タグとを有する撮像画像の情報タグに基づいて所定画像の関連情報を取得する関連情報取得部と、取得された関連情報に基づいて画像サーバでの画像検索に利用する検索条件を生成する検索条件生成部と、所定画像を表示し、表示された所定画像に、検索条件生成部によって生成された検索条件を重畳表示する表示部と、検索条件生成部において生成された検索条件を画像サーバに送信する検索条件送信部と、画像サーバから検索条件によって検索された所定画像に関連する関連画像データおよび関連画像の情報の少なくとも一方を受信する関連画像データ受信部とを有し、情報タグは、撮像画像上から読取可能なバーコード、２次元コード、ＩＣタグ、または、電子透かしであることを特徴とする情報端末を提供する。

また、本発明は、情報端末に接続されて画像検索のなされる画像サーバであって、複数の画像データを格納する格納部と、情報端末から検索条件を受信する検索条件受信部と、検索条件受信部において受信された検索条件に基づいて格納部に格納された複数の画像データから関連画像データを検索し抽出する画像データ検索部と、画像データ検索部で抽出された関連画像データおよび関連画像データに基づく関連画像の情報の少なくとも一方を情報端末に送信する関連画像データ送信部を有することを特徴とする画像サーバを提供する。

また、格納部に格納された複数の画像データについてそれぞれ関連情報を生成する関連情報生成部を更に備え、格納部は、複数の画像データとともに関連情報生成部で生成された関連情報を格納することが好ましい。

また、本発明は、上述のいずれかに記載の情報端末と、画像サーバとを備える画像検索システムであって、画像サーバの格納部に格納された所定画像と所定画像の関連情報に関する情報タグとを有する画像プリントを出力するプリンタを更に備えることを特徴とする画像検索システムを提供する。

また、本発明は、上述のいずれかに記載の情報端末と、画像サーバとを備える画像検索システムであって、画像サーバの格納部に格納された所定画像と所定画像の関連情報に関する情報タグとを有する画像を表示する表示装置を更に備えることを特徴とする画像検索システムを提供する。

また、本発明は、画像サーバに格納された複数の画像データを情報端末を用いて画像検索するための画像検索方法であって、情報端末において、所定画像と所定画像に対応した情報タグとを有する撮像画像の情報タグから所定画像の関連情報を取得し、取得された関連情報に基づいて、画像サーバでの画像検索に利用する検索条件を生成し、情報端末の表示部に所定画像を表示し、表示された所定画像に、生成された検索条件を重畳表示し、情報タグは、撮像画像上から読取可能なバーコード、２次元コード、ＩＣタグ、または、電子透かしであることを特徴とする画像検索方法を提供する。

また、情報端末の表示部において所定画像に重畳表示された検索条件がユーザによって選択されると、選択された検索条件を情報端末から画像サーバに送信し、検索条件に基づいて画像サーバに格納された複数の画像データを検索し、所定画像に関連する関連画像データを抽出し、画像サーバから情報端末へ関連画像データおよび関連画像データに基づく関連画像の情報の少なくとも一方を送信し、情報端末は、画像サーバから送信された関連画像データおよび関連画像の情報の少なくとも一方を受信することが好ましい。

また、検索条件を情報端末から画像サーバに送信し、検索条件に基づいて画像サーバに格納された複数の画像データを検索し、所定画像に関連する関連画像データを抽出し、画像サーバから情報端末へ関連画像データおよび関連画像データに基づく関連画像の情報の少なくとも一方を送信し、情報端末は、画像サーバから送信された関連画像データおよび関連画像の情報の少なくとも一方を受信することが好ましい。

また、情報端末の表示部に所定画像を表示し、所定画像に画像サーバから送信された関連画像データに基づく関連画像および関連画像の情報の少なくとも一方を重畳表示することが好ましい。

また、情報端末の表示部に表示され、ユーザによって選択された関連画像および関連画像の情報の少なくとも一方に基づいて新たな検索条件を生成し、新たな検索条件に基づいて画像サーバに格納された複数の画像データを再検索することが好ましい。
また、表示部は、所定画像に関連する関連画像データに基づく関連画像をサムネイルとして並べて表示することが好ましい。

本発明によれば、所定画像に直接関連性の高い画像やデータを、キーワード入力等をすることなく簡単な操作で検索・参照することができ、また、所定画像の撮影時または出力時以降に追加された画像やデータも含めて最新の画像やデータを検索・参照することができる。また、画像サーバにおける画像解析結果を利用するため、ユーザ端末上で画像を読み取り、検索・参照するよりも検索・参照の精度を高くすることができ、また、画像中の被写体ごとに画像やデータを検索・参照することができる。

本発明の一実施形態に係る画像検索システムの全体構成を示すブロック図である。 図１の画像検索システムの詳細構成を示すブロック図である。 図１の画像検索システムを利用して情報タグを有する画像プリントを出力する場合のフローチャートである。 所定画像およびその情報タグを有する画像プリントの一例を示す図である。 図１の画像検索システムにおける画像検索方法を示すフローチャートである。 図４に示す画像プリントを本発明のユーザ端末により撮像した場合の表示の一例を示す図である。 図１の画像検索システムにおける画像検索結果の表示の一例を示す図である。 図１の画像検索システムにおける画像検索結果の表示の他の例を示す図である。

本発明に係る情報端末、画像サーバおよび画像検索システムならびに画像検索方法を、添付の図面に示す好適実施形態に基づいて以下に詳細に説明する。

図１は、本発明の一実施形態に係る画像検索システムの全体構成を表すブロック図であり、図２は、図１の画像検索システムの詳細構成を示すブロック図である。本発明の一実施形態に係る画像検索システムは、図１に示すように、本発明の情報端末である少なくとも１つのユーザ端末１と画像サーバ２と、プリンタ３と、受付端末４とを有し、これらがインターネット５を介して相互に接続されている。

ユーザ端末１は、例えば、スマートフォンやタブレットＰＣ等であり、図２に示すように、撮像部１１から順次接続される関連情報取得部１２、検索条件生成部１３、検索条件送信部１４と、同じく撮像部１１から順次接続される表示制御部１６、表示部１７を備える。また、表示制御部１６は、検索条件生成部１３と関連画像データ受信部１５とに接続され、検索条件生成部１３は、関連画像データ受信部１５に接続され、端末制御部１８は、撮像部１１、関連情報取得部１２、検索条件生成部１３、検索条件送信部１４、関連画像データ受信部１５および表示制御部１６のそれぞれに接続する。そして、端末制御部１８には端末操作部１９が接続する。

画像サーバ２は、例えば、インターネット上に設置され、複数の画像データをデータベースとして格納するものであり、図２に示すように、サーバデータ送受信部２１、画像検索部２２、画像データ格納部２３および関連情報生成部２４と、サーバ制御部２５とを有する。サーバデータ送受信部２１、画像検索部２２および画像データ格納部２３は、それぞれ相互に接続し、関連情報生成部２４は画像データ格納部２３に接続する。また、サーバ制御部２５はサーバデータ送受信部２１、画像検索部２２、画像データ格納部２３および関連情報生成部２４のそれぞれに接続する。

ユーザ端末１の撮像部１１は、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサ等の撮像素子を有し、図示しない撮像光学系を介して撮像画像データを取得する。なお、撮像部１１は、所定画像（所定のプリント画像または所定の表示画像）および所定画像に対応した情報タグを撮像することで、所定画像と情報タグとを含む撮像画像データを取得する。ここで、情報タグとは、例えば、撮像画像上から読取可能なバーコード、２次元コード、または電子透かし等である。
関連情報取得部１２は、例えば、撮像画像データに基づく撮像画像を解析し、撮像画像上の情報タグから所定画像の関連情報を取得する。また、詳細は後述するが、ここで関連情報とは、所定画像に関連する情報である。

検索条件生成部１３は、関連情報に基づいて検索条件を生成し、検索条件送信部１４へ検索条件を出力する。ここで検索条件とは、関連情報に基づいて生成され、画像検索の際に用いられる情報であり、関連情報自体であってもよく、また、関連情報および検索日時情報等によって新たに生成される情報であってもよく、複数の関連情報を組み合わせることで新たに生成される情報であってもよく、関連情報およびユーザ端末１が蓄積したユーザ情報によって新たに生成される情報であってもよい。

検索条件送信部１４は、上述のインターネット５等を通じて画像サーバ２へ検索条件を送信する。
関連画像データ受信部１５は、上述のインターネット５を通じて画像サーバ２からの関連画像データおよび関連画像の情報の少なくとも一方を受信する。詳細は後述するが、ここで関連画像データとは、画像サーバ２において検索条件に基づいて検索され、抽出された所定画像に関連する画像の画像データであり、関連画像の情報とは、関連画像の関連情報、または関連画像データへのアクセス情報および関連画像の関連情報である。

表示制御部１６は、撮像部１１からの撮像画像データと検索条件生成部１３からの検索条件とを取得し、撮像画像上に検索条件が表示されるように、表示部１７を制御する。
表示部１７は、例えば、液晶ディスプレイ等であり、撮像画像データに基づく撮像画像を表示し、また、撮像画像上に検索条件を重畳表示する。

端末制御部１８は、端末操作部１９を通じたユーザの指示や所定のプログラム等に基づいて、撮像部１１、関連情報取得部１２、検索条件生成部１３、検索条件送信部１４、関連画像データ受信部１５および表示制御部１６をそれぞれ制御する。
ユーザが指示等を入力する端末操作部１９としては、例えば、ユーザが操作入力を行う操作ボタン等によって構成される。なお、上述のユーザ端末１の表示部１７と端末操作部１９とは、１つのタッチパネル２０によって一体として構成されていてもよい。例えば、上述のスマートフォンやタブレットＰＣでは、表示部と端末操作部とが１つのタッチパネルとして構成されることが一般的である。また、端末操作部１９は、本発明の検索条件選択部に対応するものである。

画像サーバ２のサーバデータ送受信部２１は、インターネット５を通じてユーザ端末１からの検索条件を受信し、また、ユーザ端末１へ関連画像データおよび関連画像の情報の少なくとも一方を送信する。また、サーバデータ送受信部２１は、インターネット５を介して、プリンタ３および受付端末４とそれぞれ相互に接続し、プリンタ３へ所定画像およびその関連情報が記載された情報タグを含むフォトブックやポストカード等のプリント画像のプリントデータを送信し、また、受付端末４から、ユーザによりアップロードされた画像データやユーザによる画像プリントのプリント指示を受信する。
画像データ検索部２２は、検索条件に基づいて画像データ格納部２３に格納された複数の画像データを検索し、所定画像に関連する関連画像データおよび関連画像の情報を抽出する。

画像データ格納部２３は、複数の画像データ等を格納するものであり、例えば、受付端末４を介してユーザによりアップロードされた画像データや関連情報生成部２４で生成された関連情報を対応する画像データとともに格納する。なお、関連情報は、対応する画像データに紐づけられて格納される。
関連情報生成部２４は、画像データ格納部２３に格納された画像データの関連情報を生成する。ここで関連情報とは、検索条件生成部１３において検索条件の生成に用いられ、所定の画像データに関連する、画像データ格納部２３に格納された他の画像データを画像データ検索部２２により検索・抽出するための基礎となる情報であり、例えば、所定の画像に関連し、かつ複数の画像に共通するキーワード等が挙げられる。上述の関連情報は、例えば、ユーザによって分類・入力のなされた画像群の情報、画像の解析結果、および画像のメタ情報などに基づいて生成される。ユーザによって分類・入力のなされた画像群の情報としては、例えば、ユーザが画像をアップロードした際に分類した画像群の情報やユーザが直接記入した画像群の分類名、ユーザが直接記入した画像群の共通項（例えば、被写体毎の誕生日や被写体毎の趣味などの被写体に関する情報）などが考えられ、画像解析結果としては、例えば、画像解析によって得られる画像の構図、人物・顔の大きさ等の画像抽出処理情報、画像の露出やシーン識別結果（人物、青空、夕景など）等の自動画質補正処理情報、およびデータベースに登録された顔情報等に基づく顔認識（人物認識）情報などが考えられ、画像のメタ情報としては、撮影日時、撮影場所（ＧＰＳ情報）および撮影条件や、ユーザが入力した画像の情報（画像名、画像の分類、画像に関するキーワード、画像に映る被写体の情報、画像の撮影状況に関する情報等）などが考えらえる。

サーバ制御部２５は、ユーザ端末１または受付端末４等からのユーザの指示または所定のプログラム等に基づいて、サーバデータ送受信部２１、画像データ検索部２２、画像データ格納部２３および関連情報生成部２４をそれぞれ制御する。

プリンタ３は、例えば、インターネット５を介して利用可能なネットワークプリンタ等であり、所定画像と所定画像の関連情報が記載された情報タグとが印刷されたプリント画像を出力する。プリント画像としては、例えば、フォトブック、コラージュ、通常のデジカメプリントおよびポストカード等が挙げられる。
また、受付端末４は、例えば、店舗等に設置され、ユーザによって持ち込まれたメモリーカード等の記録媒体から画像データが登録された場合には、登録された画像データをインターネット５を介して画像サーバ２へ出力する。また、受付端末４は、画像サーバ２およびプリンタ３と連動し、ユーザの指示に基づいて画像サーバ２に格納された画像データを検索・閲覧し、ユーザの指示に基づいてプリント３から画像プリントを出力する。

次に、図１の画像検索システムを利用して画像プリントを出力する動作を図３のフローチャートに基づいて説明する。
図３のステップＳ１に示すように、受付端末４などを介してユーザにより画像サーバ２に画像データがアップロードされると、画像サーバ２の関連情報生成部２４は、ステップＳ２に示すように、サーバ制御部２５の指示に基づいて、アップロードされた画像データの関連情報を生成し、アップロードされた画像データとともに画像データ格納部２３に格納する。

続くステップＳ３では、ユーザが受付端末４等を用いて画像サーバ２の画像データ格納部２３に格納された少なくとも１つの画像を所定画像として選択し、プリンタ４へ画像プリントの出力指示を行う。
出力指示がなされると、ステップＳ４としてプリンタ４から、所定画像およびその関連情報を含む情報タグが印刷された画像プリントＰが出力される。

図４は、画像プリントＰの一例を示す模式図である。画像プリントＰは、ユーザによって選択された所定画像Ｆ１、Ｆ２と、所定画像Ｆ１、Ｆ２の関連情報を含む情報タグＴとが印刷された画像プリントである。なお、情報タグＴには、所定画像Ｆ１、Ｆ２の関連情報のみならず、画像プリントＰにおける所定画像Ｆ１、Ｆ２自体の位置情報や所定画像Ｆ１、Ｆ２の画像内容、および所定画像Ｆ１、Ｆ２内における被写体およびその位置関係など、関連情報に基づいて生成される検索条件を所定画像Ｆ１、Ｆ２上に重畳表示するために必要な情報が含まれる。

次に、図４の画像プリントＰに基づく図１の画像検索システムの動作（画像検索方法）を図５のフローチャートに基づいて説明する。
ステップＳ１１として、ユーザが、ユーザ端末１を操作して、撮像部１１によって所定画像Ｆ１、Ｆ２および情報タグＴを含む画像プリントＰを撮像すると、ユーザ端末１の撮像部１１は、端末制御部１８の指示に基づいて所定画像Ｆ１、Ｆ２および情報タグＴを含む撮像画像の撮像画像データを関連情報取得部１２および表示制御部１６へそれぞれ出力する。

続くステップＳ１２では、関連情報取得部１２は、端末制御部１８の指示に基づいて撮像画像データに基づく撮像画像の情報タグＴから関連情報を取得し、関連情報を検索条件生成部１３へ出力する。
検索条件生成部１３は、ステップＳ１３として、関連情報取得部１２から取得した関連情報に基づいて検索条件を生成し、生成された検索条件を検索条件送信部１４および表示制御部１６へそれぞれ出力する。検索条件生成部１３は、画像プリントＰの撮像時に検索条件を生成するため、例えば、昨年の誕生日プリントから今年の誕生日画像群を検索することや、昨年の旅行プリントから、その旅行の参加者が被写体として映った今年のイベントの画像群を検索することが可能となる。

表示制御部１６は、ステップＳ１４として、表示部１７に撮像部１１から出力された撮像画像データに基づく撮像画像を表示し、また、検索条件生成部１３から出力された検索条件を撮像画像に重畳表示する。撮像画像は、画像プリントＰの画像であるため、画像プリントＰ上に検索条件が重畳表示される。

図６は、図４の画像プリントＰをユーザ端末１により撮像した場合のユーザ端末１の表示部１７の表示の一例を示す説明図である。例えば、画像プリントＰの所定画像Ｆ１上には、子供の誕生日に関する検索条件（「２０１３ 誕生日」）が表示される。なお、子供の誕生日に関する検索条件は、画像サーバ２の関連情報生成部２４において顔認識（人物認識）に基づいて得られた関連情報に基づいて、ユーザ端末１の検索条件生成部１３によって生成されたものである。
また、例えば、所定画像Ｆ２上には、所定画像Ｆ２に映る建物に関する検索条件（「Ａテーマパーク」）や、所定画像Ｆ２に映る自動車に関する検索条件（「ドライブ」）が表示される。なお、建物に関する検索条件は、例えば、関連情報生成部２４において得られた画像の撮影日時および撮影位置等のメタ情報や、ユーザが入力した画像群の分類などの関連情報から検索条件生成部１３で生成されたものであり、また、自動車に関する検索条件は、関連情報生成部２４で得られた画像解析結果から検索条件生成部１３で生成されたものである。

ステップＳ１５として、ユーザがユーザ端末１の端末操作部１９を操作して、画像プリントＰ上に映る検索条件を選択すると、端末制御部１８は、検索条件送信部１４に、ユーザが選択した検索条件の画像サーバ２への送信指示を出す。検索条件送信部１４は、画像サーバ２のサーバデータ送受信部２１へユーザの選択した検索条件を出力する。

画像サーバ２のサーバデータ送受信部２１は、ユーザの選択した検索条件を受信し、画像データ検索部２２へ出力する。画像データ検索部２２は、ステップＳ１６として、ユーザの選択した検索条件に基づいて画像サーバ格納部２３に格納された画像データを検索して関連画像データを抽出し、サーバ制御部２５の指示に基づいて、抽出した関連画像データおよび関連画像の情報の少なくとも一方をサーバデータ送受信部２１を通じて、ユーザ端末１の関連画像データ受信部１５へ出力する。なお、ここで、関連画像データとは、関連画像の画像データそのものであり、関連画像の情報とは、関連画像に対応して予め生成され保存された、関連画像の関連情報である。
関連画像データ受信部１５は、端末制御部１８の指示に基づいて、取得した関連画像データおよび関連画像の情報の少なくとも一方を表示制御部１６に出力し、ステップＳ１７として、表示制御部１６は、表示部１７に関連画像データに基づく関連画像および関連画像の情報の少なくとも一方を表示する。表示部１７における関連画像および関連画像の情報の表示としては、例えば、図７に示すように、関連画像をサムネイル（サムネイル「Ｆ３」等）として並べて表示してもよく、また、関連画像の情報を箇条書きで表示してもよい。

また、ユーザ端末１は、端末制御部１８の指示に基づいて、関連画像データ受信部１５で取得した関連画像データおよび関連画像の情報を、検索条件生成部１３へ出力し、検索条件生成部１３は、関連画像データおよび関連画像の情報に基づいて新たな検索条件を生成し、上述の検索条件とともに新たな検索条件を表示部１７に表示された画像プリントＰ上に重畳表示してもよく、また、当初の検索条件と、新たな検索条件とが区別できるように、当初の検索条件と比較し新たな検索条件を太枠表示してもよく（「２０１３年 旅行」）、更に、所定画像およびその関連画像からなるフォトブック等の商材作成の提案（「※Ｎｅｗ Ｐｈｏｔｏｂｏｏｋ！を作成する」）を行ってもよい。なお、上述の区別は、太枠表示に限られず、画像プリントに重畳表示された当初の検索条件、新たな検索条件、および商材作成の提案等の違いが区別できるものであればよく、フォントの種類、大きさ変える、太字にする、色を変える等、種々の公知の表示方法を利用することができる。また、検索条件として、関連画像のサムネイル「Ｆ３」を画像プリントＰ上に重畳表示してもよい。また、表示部１７に表示された新たな検索条件のみを画像プリントＰ上に重畳表示してもよい。

また、図７の表示および図８の表示のいずれの場合においても、関連画像および関連画像の情報に基づく新たな検索条件から、上述と同様に、画像サーバ２に格納された画像データを再検索し、再度関連画像データおよび関連画像の情報の少なくとも一方を取得してもよい。

上述のとおり、本発明の一実施形態に係る画像検索システムによれば、所定画像に直接関連性の高い画像やデータを、キーワード入力等をすることなく簡単な操作で検索・参照することができ、また、所定画像の撮影時または出力時以降に追加された画像やデータも含めて最新の画像やデータを検索・参照することができる。
また、画像サーバにおける画像解析結果を利用するため、ユーザ端末上で画像を読み取り、検索・参照するよりも検索・参照の精度を高くすることができ、また、画像中の被写体ごとに画像やデータを検索・参照することができる。

また、上述の図５に示した画像検索システムの動作では、ユーザが選択した検索条件についてのみ画像サーバ２において画像データ検索（画像検索）を行い、関連画像データおよび関連画像の情報の少なくとも一方を取得していたが、ユーザ端末１の検索条件生成部１３が、情報タグＴから取得した関連情報に基づいて生成されたすべての検索条件を画像サーバ２へ出力し、すべての検索条件に基づいて画像データ検索を行い、関連画像データおよび関連画像の情報の少なくとも一方を取得してもよい。

この場合、ユーザが表示部１２に表示された検索条件を選択する必要はなく、すべての検索条件に基づいて画像サーバ２で画像データ検索がなされ、関連画像データおよび関連画像の情報の少なくとも一方をユーザ端末１が受信次第、表示部１７において関連画像および関連画像の情報の少なくとも一方を表示部１７に表示すればよい。この場合も、上述の場合と同様に、関連画像および関連画像の情報の少なくとも一方を検索条件とともに所定画像に重畳表示してもよく、また、検索条件生成部において、関連画像データおよび関連画像の情報の少なくとも一方に基づいて新たな検索条件を生成し、新たな検索条件に基づいて画像サーバ２に格納された画像データを再検索し、再度、関連画像データおよび関連画像の情報の少なくとも一方を取得してもよい。

また、図１の画像検索システムは、検索条件に基づいて画像データ検索を行っているが、ユーザ端末１からインターネットの検索サーバ等に接続し、検索条件に基づいてインターネット検索を行い、検索結果を表示してもよい。また、端末操作部１９を操作することで、画像データ検索とインターネット検索とが選択できてもよい。

上述の画像検索システムのユーザ端末１は、撮像部１１が取得した撮像画像データに基づく撮像画像の情報タグから、関連情報取得部１２が関連情報を取得したが、例えば、情報タグがＩＣタグのような場合には、ユーザ端末１の関連情報取得部１２は専用の読取装置を備え、専用の読取装置によって撮像画像を介さずに所定画像の関連情報を取得してもよい。

また、ユーザ端末１の関連情報取得部１２は、撮影画像上の情報タグから所定画像の関連情報を取得したが、これに限らず、例えば、撮像画像上の情報タグから所定画像の関連情報へのアクセス情報を取得し、例えば、取得したアクセス情報に基づいて画像サーバ２に接続し、画像サーバ２の画像データ格納部２３に格納された所定画像の関連情報を取得してもよい。なお、ユーザ端末１の接続先、つまり、所定画像の関連情報の格納先は画像サーバ２に限らず、所定画像の関連情報が格納される外部サーバ等であればよい。

なお、画像の関連情報は、画像サーバ２において、画像データの格納時等に関連情報生成部２４によって生成されたが、これに限らず、画像サーバにおける画像データの格納前に画像サーバ外で生成されてもよく、例えば、情報端末が関連情報生成部を備え、情報端末の撮像部によって画像を撮像した際に、撮像部から出力される画像データに基づいて関連情報が生成されてもよい。この場合、関連情報は、撮像された画像データとともに画像サーバに送信され、撮像された画像データに紐づけられて格納される。

また、画像サーバ２の関連情報生成部２４は、画像サーバ２に画像がアップロードされた際に、画像の関連情報を生成するが、関連情報として、例えば、所定の基準に基づいて画像のスコアを付けてもよい。関連情報としてスコアを用いることで、所定のスコア以上の画像や所定のスコアの範囲に入る画像を抽出する等、スコアを用いた画像データの検索・抽出が可能となる。

また、上述の画像検索システムでは、プリンタ３から出力された情報タグＴを含む画像プリントＰをユーザ端末１によって撮像することで、ユーザ端末１が所定画像の関連情報を取得するが、これに限らず、例えば、画像検索システムはプリンタの代わりに表示装置を備え、表示装置に表示された情報タグを含む画像プリントの画像をユーザ端末によって撮像することで所定画像の関連情報を取得してもよい。
また、ユーザ端末が、通信等によって、情報タグを含む画像プリントの表示画像データを取得し、画像プリントの表示画像データから所定画像の関連情報を取得してもよい。この場合、ユーザ端末による画像プリント等の撮像は不要となる。

以上、本発明の情報端末、画像サーバおよび画像検索システムならびに画像検索方法について詳細に説明したが、本発明は、上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよい。

１ ユーザ端末、 ２ 画像サーバ、 ３ プリンタ、 ４ 受付端末、 インターネット、 １１ 撮像部、 １２ 関連情報取得部、 １３ 検索条件生成部、 １４ 関連情報送信部、 １５ 関連画像データ受信部、 １６ 表示制御部、 １７ 表示部、 １８ 端末制御部、 １９ 端末操作部、 ２０ タッチパネル、 ２１ サーバデータ送受信部、 ２２ 画像データ検索部、 ２３ 画像データ格納部、 ２４ 関連情報生成部、 ２５ サーバ制御部、 Ｆ１、Ｆ２ 所定画像、 Ｆ３ サムネイル、 Ｐ 画像プリント、Ｔ 情報タグ。

Claims (18)

1. 画像サーバに接続されて前記画像サーバ内に格納された複数の画像データの画像検索を行う情報端末であって、
   所定画像と前記所定画像に対応した情報タグとを有する撮像画像の前記情報タグに基づいて前記所定画像の関連情報を取得する関連情報取得部と、
   取得された前記関連情報に基づいて前記画像サーバでの画像検索に利用する検索条件を生成する検索条件生成部と、
   前記所定画像を表示し、表示された前記所定画像に、前記検索条件生成部によって生成された前記検索条件を重畳表示する表示部と、
   前記表示部に表示された前記検索条件をユーザに選択させる検索条件選択部と、
   前記検索条件選択部において選択された前記検索条件を前記画像サーバに送信する検索条件送信部と、
   前記画像サーバから前記検索条件によって検索された前記所定画像に関連する関連画像データおよび関連画像の情報の少なくとも一方を受信する関連画像データ受信部とを有し、
   前記情報タグは、前記撮像画像上から読取可能なバーコード、２次元コード、ＩＣタグ、または、電子透かしであることを特徴とする情報端末。
2. 前記所定画像と前記所定画像に対応した情報タグを撮像し、前記所定画像と前記情報タグとを有する撮像画像を取得する撮像部を更に有し、
   前記表示部は、前記撮像部によって撮像された前記所定画像の撮像画像信号に基づいて前記所定画像を表示することを特徴とする請求項１に記載の情報端末。
3. 前記検索条件選択部と前記表示部とはタッチパネルディスプレイとして一体に構成されることを特徴とする請求項１または２に記載の情報端末。
4. 前記検索条件は、前記関連情報または前記関連情報に基づいて新たに生成される情報であり、
   前記関連情報は、ユーザによって入力された前記所定画像に関する情報、前記所定画像の画像解析結果および前記所定画像のメタ情報ならびにこれらの組み合わせに基づくものであることを特徴とする請求項１〜３いずれか一項に記載の情報端末。
5. 前記情報端末は、前記関連画像データ受信部において前記画像サーバから受信した前記関連画像データに基づく関連画像および前記関連画像の情報の少なくとも一方を前記表示部に表示することを特徴とする請求項１〜４のいずれか一項に記載の情報端末。
6. 前記検索条件生成部は、前記関連画像データ受信部において前記画像サーバから受信した前記関連画像データに基づく関連画像および前記関連画像の情報の少なくとも一方に基づいて新たな検索条件を生成し、
   前記表示部は、前記検索条件生成部において生成された前記新たな検索条件を前記所定画像に重畳表示することを特徴とする請求項１〜５のいずれか一項に記載の情報端末。
7. 前記関連画像の情報は、前記関連画像データへのアクセス情報または前記関連画像の関連情報であることを特徴とする請求項１〜６のいずれか一項に記載の情報端末。
8. 前記関連情報取得部は、前記情報タグから前記関連情報へのアクセス情報を取得し、前記関連情報への前記アクセス情報に基づいて前記関連情報を取得することを特徴とする請求項１〜７のいずれか一項に記載の情報端末。
9. 前記情報端末は、インターネットに接続され、前記検索条件に基づいてインターネット検索を行うことを特徴とする請求項１〜８のいずれか一項に記載の情報端末。
10. 画像サーバに接続されて前記画像サーバ内に格納された複数の画像データの画像検索を行う情報端末であって、
    所定画像と前記所定画像に対応した情報タグとを有する撮像画像の前記情報タグに基づいて前記所定画像の関連情報を取得する関連情報取得部と、
    取得された前記関連情報に基づいて前記画像サーバでの画像検索に利用する検索条件を生成する検索条件生成部と、
    前記所定画像を表示し、表示された前記所定画像に、前記検索条件生成部によって生成された前記検索条件を重畳表示する表示部と、
    前記検索条件生成部において生成された前記検索条件を前記画像サーバに送信する検索条件送信部と、
    前記画像サーバから前記検索条件によって検索された前記所定画像に関連する関連画像データおよび関連画像の情報の少なくとも一方を受信する関連画像データ受信部とを有し、
    前記情報タグは、前記撮像画像上から読取可能なバーコード、２次元コード、ＩＣタグ、または、電子透かしであることを特徴とする情報端末。
11. 請求項１〜１０のいずれか一項に記載の情報端末と、画像サーバとを備える画像検索システムであって、
    前記画像サーバの格納部に格納された前記所定画像と前記所定画像の前記関連情報に関する前記情報タグとを有する画像プリントを出力するプリンタを更に備えることを特徴とする画像検索システム。
12. 請求項１〜１０のいずれか一項に記載の情報端末と、画像サーバとを備える画像検索システムであって、
    前記画像サーバの格納部に格納された前記所定画像と前記所定画像の前記関連情報に関する前記情報タグとを有する画像を表示する表示装置を更に備えることを特徴とする画像検索システム。
13. 画像サーバに格納された複数の画像データを情報端末を用いて画像検索するための画像検索方法であって、
    前記情報端末において、所定画像と前記所定画像に対応した情報タグとを有する撮像画像の前記情報タグから前記所定画像の関連情報を取得し、
    取得された前記関連情報に基づいて、前記画像サーバでの画像検索に利用する検索条件を生成し、
    前記情報端末の表示部に前記所定画像を表示し、表示された前記所定画像に、生成された前記検索条件を重畳表示し、
    前記情報タグは、前記撮像画像上から読取可能なバーコード、２次元コード、ＩＣタグ、または、電子透かしであることを特徴とする画像検索方法。
14. 前記情報端末の前記表示部において前記所定画像に重畳表示された前記検索条件がユーザによって選択されると、
    選択された前記検索条件を前記情報端末から前記画像サーバに送信し、
    前記検索条件に基づいて前記画像サーバに格納された前記複数の画像データを検索し、前記所定画像に関連する関連画像データを抽出し、
    前記画像サーバから前記情報端末へ前記関連画像データおよび前記関連画像データに基づく関連画像の情報の少なくとも一方を送信し、
    前記情報端末は、前記画像サーバから送信された前記関連画像データおよび関連画像の情報の少なくとも一方を受信することを特徴とする請求項１３に記載の画像検索方法。
15. 前記検索条件を前記情報端末から前記画像サーバに送信し、
    前記検索条件に基づいて前記画像サーバに格納された前記複数の画像データを検索し、前記所定画像に関連する関連画像データを抽出し、
    前記画像サーバから前記情報端末へ前記関連画像データおよび前記関連画像データに基づく関連画像の情報の少なくとも一方を送信し、
    前記情報端末は、前記画像サーバから送信された前記関連画像データおよび関連画像の情報の少なくとも一方を受信することを特徴とする請求項１３に記載の画像検索方法。
16. 前記情報端末の前記表示部に前記所定画像を表示し、前記所定画像に前記画像サーバから送信された前記関連画像データに基づく関連画像および前記関連画像の情報の少なくとも一方を重畳表示することを特徴とする請求項１４または１５に記載の画像検索方法。
17. 前記情報端末の前記表示部に表示され、ユーザによって選択された前記関連画像および前記関連画像の情報の少なくとも一方に基づいて新たな検索条件を生成し、
    前記新たな検索条件に基づいて前記画像サーバに格納された複数の画像データを再検索することを特徴とする請求項１４〜１６のいずれか一項に記載の画像検索方法。
18. 前記表示部は、前記所定画像に関連する前記関連画像データに基づく関連画像をサムネイルとして並べて表示することを特徴とする請求項１〜１０のいずれか一項に記載の情報端末。

Images