JP6904102B2 - 画像検索方法及びサーバ - Google Patents

Description

本発明は、画像検索方法及びサーバに関する。

顧客がデジタルカメラやスマートフォン等で撮影した画像をプリント受注システムにアップロードし、写真プリントの注文が行えるサービスが提供されている（例えば特許文献１参照）。

また、コンサートやスポーツ大会等のイベントでプロカメラマンが撮影した写真を販売するサービスが知られている（例えば特許文献２参照）。プロカメラマンが撮影した画像データは、ネットワークを介して写真販売システムにアップロードされる。顧客は、アップロードされた画像を閲覧し、好みの写真を選択して購入することができる。購入した画像は印刷所で印刷され、印刷物が顧客へ配送される。

顧客は、写真販売システムに掲載されている大量の画像の中から、好みの歌手や選手が写っている画像、自分自身や家族等が写っている画像を探し出す必要があり、注文に手間がかかっていた。

特開２０１４−１４２７１１号公報 特開２００１−３２５０８２号公報

本発明は、上記従来の実状に鑑みてなされたものであり、各画像に付されたキーワードをグループタグと個別タグとに分類して扱いを分け、適切な数の画像をグループ化して、所望の画像を探し出し易くすることができる画像検索方法及びサーバを提供することを課題とする。

本発明による画像検索方法は、複数の画像の各々について、関連付けられた少なくとも１つのキーワードを検出するステップと、各キーワードの検出回数を集計するステップと、前記検出回数が第１所定値以上かつ第２所定値以下のキーワードが関連付けられている画像をグループ化するステップと、前記複数の画像、及び前記検出回数が前記第１所定値以上かつ前記第２所定値以下のキーワードであるグループタグを含む画像閲覧ページのデータを送信するステップと、前記画像閲覧ページ内の前記グループタグが選択された場合、前記グループ化された複数の画像を検索するステップと、を備えるものである。

本発明の一態様による画像検索方法は、前記画像閲覧ページを介してキーワードが入力された場合、入力キーワードと一致する前記グループタグが関連付けられている画像、及び入力キーワードと一致する前記検出回数が前記第１所定値未満のキーワードである個別タグが関連付けられている画像の少なくともいずれか一方を検索する。

本発明の一態様による画像検索方法は、各画像に関連付けられているキーワードのうち、前記検出回数が前記第２所定値より多いキーワードを削除又は検索に使用しないキーワードとして分類する。

本発明によるサーバは、複数の画像の画像データを解析端末へ送信し、前記解析端末から各画像に関連付けられた少なくとも１つのキーワードを含む解析結果を受信する通信部と、前記複数の画像の各々について、関連付けられたキーワードを検出し、各キーワードの検出回数を集計する集計部と、前記複数の画像及び前記検出回数が第１所定値以上かつ第２所定値以下のキーワードであるグループタグを含む画像閲覧ページを生成する生成部と、を備え、前記生成部は、前記画像閲覧ページ内の前記グループタグが選択された場合、前記グループタグのキーワードが関連付けられている複数の画像を検索し、抽出した複数の画像を含む画像閲覧ページを生成するものである。

本発明の一態様によるサーバにおいて、前記生成部は、前記画像閲覧ページを介してキーワードが入力された場合、入力キーワードと一致する前記グループタグが関連付けられている画像、及び入力キーワードと一致する前記検出回数が前記第１所定値未満のキーワードである個別タグが関連付けられている画像の少なくともいずれか一方を検索する。

本発明の一態様によるサーバは、各画像に関連付けられているキーワードのうち、前記検出回数が前記第２所定値より多いキーワードを削除又は検索に使用しないキーワードとして分類する。

本発明によれば、各画像に付されたキーワードをグループタグと個別タグとに分類して扱いを分け、適切な数の画像をグループ化して、所望の画像を探し出し易くすることができる。

本発明の実施形態による画像販売システムの概略図である。 同実施形態に係るサーバの概略構成図である。 検索処理プログラムを実行することで実現される機能ブロック図である。 同実施形態による画像検索方法を説明するフローチャートである。 （ａ）〜（ｅ）は画像に付与されるキーワードの例を示す図である。 （ａ）〜（ｃ）は画像閲覧ページの例を示す図である。 別の実施形態による画像プリント装置の外観図である。

図１は、本発明の実施形態に係る画像販売システムの概略図である。画像販売システムは、販売画像の閲覧ページを顧客のユーザ端末４へ配信するサーバ１、権利者が販売画像を登録するために使用する登録端末２、販売画像の解析を行い、キーワードを付与する解析端末３などを有する。

顧客は、スマートフォンやＰＣ等のユーザ端末４を用いて、閲覧ページから好みの画像を選択し、決済処理を行うと、販売画像の画像データをダウンロードしたり、プリント物の注文を行ったりすることができる。サーバ１は、プリント物の注文を受け付けると、画像データを工場５へ送信する。工場５で製造されたプリント物は顧客の元へ配送される。プリント物は、例えば、写真、ポスター、フォトブック、マグカップ等である。

図２に示すように、サーバ１は、ＣＰＵ１０（中央演算処理装置）、記憶部１１、及び通信部１２等を有するコンピュータである。サーバ１は、液晶ディスプレイ等の表示部１３や、キーボード、マウス等の操作部１４をさらに有していてもよい。

通信部１２は、登録端末２、解析端末３、ユーザ端末４等との通信処理を行い、データの送受信を行う。通信部１２は、登録端末２から販売する画像のデータを受信し、記憶部１１に格納する。通信部１２は、販売画像の画像データを解析端末３へ送信し、解析端末３から画像毎に関連するキーワード情報を受信し、キーワード情報を記憶部１１に格納する。画像の解析処理については後述する。

通信部１２は、販売画像の閲覧ページを生成し、ユーザ端末４へ送信する。また、通信部１２は、ユーザ端末４から画像の選択結果や、決済情報を受信する。

記憶部１１は、フラッシュメモリ、ＲＯＭ（Ｒｅａｄ−ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の組み合わせであり、販売画像の画像データ、各画像に付与されたキーワード情報、後述するキーワード分類処理の分類結果、検索処理プログラム等を記憶する。

ＣＰＵ１０が検索処理プログラムを実行することで、図３に示すように、集計部１６、分類部１７、及び閲覧ページ生成部１８が実現される。集計部１６は、解析端末３により各画像に付与されたキーワードを検出し、キーワード毎の検出回数を集計する。

分類部１７は、検出回数に基づいて、各キーワードをグループタグ、個別タグ、不要のいずれに該当するか判別する（分類する）。グループタグは、複数の画像をグループ化するためのタグである。個別タグは、各画像の特徴を示すタグである。多数の画像に共通して付与されたキーワードは、画像を検索・抽出する上で使用できない（画像を絞り込めず、使用する意味がない）ため、“不要”と分類される。

閲覧ページ生成部１８は、グループタグや個別タグを用いて、販売画像の閲覧ページを生成する。

本実施形態による画像検索方法を具体例と共に図４に示すフローチャートに沿って説明する。

画像の権利者が、登録端末２を用いて販売画像をサーバ１に登録する（ステップＳ１）。販売画像のデータはサーバ１の記憶部１１に保存される。

サーバ１が販売画像の画像データを解析端末３へ送信し、解析端末３から各画像に付与されたキーワードを含む解析結果を受信する（ステップＳ２）。解析端末３は、公知の手法で画像認識を行い、画像に関連するキーワードを関連付ける（付与する）。例えば、解析端末３は、画像に含まれる物体を検知し、花、動物、乗り物などの多数のカテゴリの中から分類し、キーワードとして付与する。また、解析端末３は、ＯＣＲ（光学的文字認識）により、画像に含まれるテキストを認識して抽出し、キーワードとして付与する。

解析端末３は、画像に写る人物の顔を検知し、感情の状態や帽子類の着用等の属性を検知し、キーワードとして付与してもよい。また、解析端末３は、画像に含まれる有名な商品や企業のロゴを検知したり、有名な自然構造物、人工構造物を検知したりし、検知結果をキーワードとして付与してもよい。

サーバ１が、販売画像と共に、人物画像及び人物名を対応付けた参照用データを解析端末３に提供してもよい。解析端末３は、販売画像から検知した顔画像と、参照用データとを比較し、画像内の人物を特定して、人物名をキーワードとして付与してもよい。

解析端末３へ送信した画像と、付与されたキーワードの例を図５（ａ）〜（ｅ）に示す。

集計部１６が、各画像に付与されたキーワードを検出し、検出回数を集計する（ステップＳ３）。例えば、図５（ａ）〜（ｅ）に示す画像に付与されたキーワードの検出回数は、以下の表１のようになる。

分類部１７が、集計結果に基づいて、各キーワードをグループタグ、個別タグ、又は不要に分類する。分類部１７は、ステップＳ３で検出されたキーワードの中から未選択のキーワードを１個選択する（ステップＳ４）。

選択したキーワードの検出回数と、第１所定値Ｎ１及び第２所定値Ｎ２との大小を比較する。第２所定値Ｎ２は、第１所定値Ｎ１よりも大きい。所定値Ｎ１、Ｎ２はサーバ１の管理者が任意に設定できる。検出回数が第１所定値Ｎ１以上かつ第２所定値Ｎ２以下の場合は（ステップＳ５＿Ｙｅｓ、ステップＳ６＿Ｎｏ）、このキーワードをグループタグに分類する（ステップＳ７）。なお、本実施形態では、グループタグに分類するキーワードを、さらに個別タグにも分類する。

検出回数が第１所定値Ｎ１未満の場合は（ステップＳ５＿Ｎｏ）、このキーワードを個別タグに分類する（ステップＳ８）。検出回数が第２所定値Ｎ２より大きい場合は、このキーワードを“不要”と分類する（ステップＳ９）。分類部１７は、各画像に付与されたキーワードのうち、“不要”と分類したキーワードを削除してもよいし、検索に使用しないキーワードとして分類してもよい。“不要”と分類したキーワードを削除するか、又は検索に使用しないキーワードとして分類して残すかは、サーバ１への負荷等に応じて決定することができる。

全てのキーワードについて、上述の分類処理を行う（ステップＳ４〜Ｓ１０）。分類結果は、記憶部１１に保存される（ステップＳ１１）。

例えば、図５（ａ）〜（ｅ）、表１に示す例において、第１所定値Ｎ１を２、第２所定値Ｎ２を４とすると、各キーワードは以下の表２に示すように分類される。

検出回数が２回以上４回以下である「夏」「おにぎり」というキーワードは複数画像のグループ化に適しているため、グループタグとする。例えば、図５（ａ）に示す画像と、図５（ｃ）に示す画像とは、「夏」というグループタグでグループ化される。同様に、図５（ｂ）に示す画像と、図５（ｅ）に示す画像とは、「おにぎり」というグループタグでグループ化される。

検出回数が１回である「飲み物」「ラムネ」「かき氷」「桃の花」「ひな祭り」というキーワードは、画像を他と区別する特徴的な情報であるため、個別タグとする。

検出回数が４回より多い「食べ物」というキーワードは、５枚の画像に共通しており、このキーワードでグループ化した場合は、全ての画像がグループ化されてしまうため、検索用のグループ化に適さない。また、画像を他と区別する特徴的な情報にもならない。そのため、このキーワードは“不要”と分類される。

閲覧ページ生成部１８は、キーワードの分類結果を用いて、画像を販売するための閲覧ページを生成する（ステップＳ１２）。閲覧ページは、販売画像を個別に表示すると共に、グループタグを表示する。顧客が、ユーザ端末４を操作してグループタグを選択した場合、閲覧ページ生成部１８は、このグループタグでグループ化されている画像を検索・抽出して表示する。

また、閲覧ページには、キーワード入力欄が設けられている。顧客が、ユーザ端末４を操作してキーワードを入力すると、閲覧ページ生成部１８は、入力キーワードを個別タグとして持つ画像を検索・抽出して表示する。

例えば、閲覧ページ生成部１８は、図６（ａ）に示すような閲覧ページ８０を生成し、ユーザ端末４へ送信する。閲覧ページ８０では、販売する画像８１が個別に表示されると共に、各画像８１の購入ボタン８２や、キーワード入力欄８４が表示される。また、閲覧ページ８０には、「夏」「おにぎり」というグループタグ８３が表示される。

例えば、「夏」というグループタグ８３が選択されると、閲覧ページ生成部１８は、「夏」をキーワードで付与された画像を検索し、図６（ｂ）に示すような閲覧ページを生成する。

また、例えば、キーワード入力欄８４に「ラムネ」というキーワードが入力されると、閲覧ページ生成部１８は、「ラムネ」をキーワードで付与された画像を検索し、図６（ｃ）に示すような閲覧ページを生成する。

顧客は、グループタグでの絞り込みやキーワード検索等を用いて好みの画像を探し、購入ボタン８２を押して購入画像を選択する（ステップＳ１３）。画像の選択を終えると、決済処理を行う（ステップＳ１４）。決済処理後、サーバ１は、ユーザ端末４へ画像データを送信したり、プリント注文内容を工場５へ転送したりする。

このように、本実施形態によれば、解析端末３によって付与されたキーワードの検出回数（出現回数）を集計し、検出回数が第１所定値Ｎ１以上かつ第２所定値Ｎ２以下のキーワードをグループタグとするため、適切な数の画像をグループ化し、画像を探し出し易くすることができる。そのため、顧客が大量の画像の中から所望の画像を探し出す手間を軽減することができる。

上記実施形態において、閲覧ページ８０内でのグループタグ８３の表示／非表示を任意に設定できるようにしてもよい。例えば、写真販売者（サーバ管理者）が、複数のグループタグの中から、表示させたいグループタグを選択する。閲覧ページ生成部１８は、選択されたグループタグが表示された閲覧ページを生成する。写真販売者が、グループタグの表示順を指定できるようにしてもよい。

顧客がグループタグの表示／非表示を切り替えられるようにしてもよい。この場合、閲覧ページ８０には、グループタグ８３の表示／非表示を切り替える切り替えボタンが設けられる。

例えば、グループタグの数が多数（所定数以上）ある場合、閲覧ページ生成部１８は、まず、グループタグを非表示とした閲覧ページを生成する。顧客が切り替えボタンを押して表示オンとすることで、グループタグが表示される。グループタグの数が少数（所定数以下）の場合、閲覧ページ生成部１８は、グループタグを表示した閲覧ページを最初に生成してもよい。

上記実施形態では、食べ物画像に付与されたキーワードの分類例を示したが、販売画像はこれに限定されず、様々な画像に適用することができる。

例えば、マラソン大会の写真の場合、解析端末３は、ゼッケンに表示されている数字（ゼッケン番号）やチーム名をＯＣＲで抽出し、キーワードとして付与する。また、解析端末３は、多数の画像に「マラソン」というキーワードを付与する。

サーバ１の分類部１７は、検出回数の多い「マラソン」というキーワードは“不要”と分類する。分類部１７は、検出回数が第１所定値Ｎ１以上かつ第２所定値Ｎ２以下となるチーム名をグループタグとして分類する。閲覧ページには、グループタグとしてチーム名が表示される。マラソン大会の参加者である顧客が、所属するチーム名のグループタグを選択すると、自分自身やチームメイトが写った画像が検索・表示される。

販売画像がアイドルグループのコンサートの写真の場合、サーバ１は、各メンバーの顔画像及び名前を対応付けた参照用データを解析端末３に提供する。解析端末３は、画像から検知した顔画像と、参照用データとを比較し、画像内のメンバーを特定して、名前をキーワードとして付与する。また、解析端末３は、多数の画像に「アイドル」や「歌手」というキーワードを付与する。

サーバ１の分類部１７は、検出回数の多い「アイドル」「歌手」というキーワードは“不要”と分類する。分類部１７は、検出回数が第１所定値Ｎ１以上かつ第２所定値Ｎ２以下となるメンバー名をグループタグとして分類する。閲覧ページには、グループタグとしてメンバー名が表示される。アイドルグループのファンである顧客が、お気に入りのメンバー名のグループタグを選択すると、このメンバーが写った画像が検索・表示される。

上記実施形態では、閲覧ページでキーワードが入力されると、入力キーワードを個別タグとして持つ画像を検索・抽出して表示する例について説明したが、入力キーワードをグループタグとして持つ画像を検索してもよいし、入力キーワードをグループタグ又は個別タグとして持つ画像を検索してもよい。

上記実施形態では、ユーザ端末４へ閲覧ページを送信し、プリント注文を受け付けた場合は、工場５で製造したプリント物を配送する例について説明したが、図７に示すようなキオスク端末としての画像プリント装置７に販売画像を登録し、プリント物を販売してもよい。

画像プリント装置７の筐体７１の天板７１Ａ部分及び上部にそれぞれタッチパネル７０Ａ、７０Ｂが設けられている。筐体７１内には昇華型又はインクジェット型などの高解像度カラープリンタが収容されている。筐体７１の前面側には、透明な開閉扉７３が開閉自在に設けられている。開閉扉７３の裏面側には、プリンタがプリント出力したプリント物が集積される集積部（図示せず）が設けられており、開閉扉７３を開けると集積部に集積されたプリント物を取り出せるようになっている。

また、画像プリント装置７は、筐体７１の前面側に設けられた硬貨投入口７２Ａ、紙幣投入口７２Ｂ、釣銭返却口７２Ｃを含む課金部を備え、硬貨投入口７２Ａ及び紙幣投入口７２Ｂから投入された貨幣を識別計数し、釣銭を釣銭返却口７２Ｃから放出する。

画像プリント装置７は、サーバ１と通信可能に接続されており、解析端末３によりキーワードが付与された画像データをサーバ１から受信する。画像プリント装置７は、コンピュータを有し、上述の検索処理プログラムを実行し、サーバ１と同様の処理を行うことができる。画像プリント装置７は、上述したような閲覧ページを生成し、タッチパネル１０Ａ（又は１０Ｂ）に表示する。

顧客が、タッチパネル１０Ａを操作して購入画像を選択すると、課金処理を行う。課金処理後、画像プリント装置７は、選択された画像を印画紙にプリントして、出力する。顧客は、プリント物をその場で受け取ることができる。

上述した実施形態で説明した検索処理プログラムをＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。また、検索処理プログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１ サーバ
２ 登録端末
３ 解析端末
４ ユーザ端末
５ 工場
６ プリント物
７ 画像プリント装置

Claims (6)

1. 複数の画像の各々について、関連付けられた少なくとも１つのキーワードを検出するステップと、
   各キーワードの検出回数を集計するステップと、
   前記検出回数が第１所定値以上かつ第２所定値以下のキーワードが関連付けられている画像をグループ化するステップと、
   前記複数の画像、及び前記検出回数が前記第１所定値以上かつ前記第２所定値以下のキーワードであるグループタグを含む画像閲覧ページのデータを送信するステップと、
   前記画像閲覧ページ内の前記グループタグが選択された場合、前記グループ化された複数の画像を検索するステップと、
   を備え、
   前記グループタグの数が所定値未満の場合は前記グループタグを表示した前記画像閲覧ページのデータを送信し、
   前記グループタグの数が前記所定値以上の場合は前記グループタグを非表示とした前記画像閲覧ページのデータを送信し、表示オンの指示を受け付けた場合に前記グループタグが表示されるようにすることを特徴とする画像検索方法。
2. 前記画像閲覧ページを介してキーワードが入力された場合、入力キーワードと一致する前記グループタグが関連付けられている画像、及び入力キーワードと一致する前記検出回数が前記第１所定値未満のキーワードである個別タグが関連付けられている画像の少なくともいずれか一方を検索することを特徴とする請求項１に記載の画像検索方法。
3. 各画像に関連付けられているキーワードのうち、前記検出回数が前記第２所定値より多いキーワードを削除又は検索に使用しないキーワードとして分類することを特徴とする請求項１又は２に記載の画像検索方法。
4. 複数の画像の画像データを解析端末へ送信し、前記解析端末から各画像に関連付けられた少なくとも１つのキーワードを含む解析結果を受信する通信部と、
   前記複数の画像の各々について、関連付けられたキーワードを検出し、各キーワードの検出回数を集計する集計部と、
   前記複数の画像及び前記検出回数が第１所定値以上かつ第２所定値以下のキーワードであるグループタグを含む画像閲覧ページを生成する生成部と、
   を備え、
   前記生成部は、前記グループタグの数が所定値未満の場合は前記グループタグを表示した前記画像閲覧ページを生成し、前記グループタグの数が前記所定値以上の場合は前記グループタグを非表示とした前記画像閲覧ページ生成し、表示オンの指示を受け付けた場合に前記グループタグが表示されるようにし、前記画像閲覧ページ内の前記グループタグが選択された場合、前記グループタグのキーワードが関連付けられている複数の画像を検索し、抽出した複数の画像を含む画像閲覧ページを生成することを特徴とするサーバ。
5. 前記生成部は、前記画像閲覧ページを介してキーワードが入力された場合、入力キーワードと一致する前記グループタグが関連付けられている画像、及び入力キーワードと一致する前記検出回数が前記第１所定値未満のキーワードである個別タグが関連付けられている画像の少なくともいずれか一方を検索することを特徴とする請求項４に記載のサーバ。
6. 各画像に関連付けられているキーワードのうち、前記検出回数が前記第２所定値より多いキーワードを削除又は検索に使用しないキーワードとして分類することを特徴とする請求項４又は５に記載のサーバ。

Images