JP7420495B2 - 画像処理装置，画像処理方法，画像処理プログラムおよびそのプログラムを格納した記録媒体 - Google Patents

Description

この発明は，画像処理装置，画像処理方法，画像処理プログラムおよびそのプログラムを格納した記録媒体に関する。

インターネットを利用してユーザが商品を検索したり，購入したりする場合には，商品名を入力しなければならない。その商品名をユーザが知らなければ検索できないので，検索したい商品などの対象物またはその類似する対象物を検索するものが考えられている（特許文献１）。また，インターネットを利用して商品を購入する場合に，ユーザが投稿した１枚の画像に含まれている物品についての物品区分を認識し，認識した物品区分以外の物品区分から推奨する商品を決めるものがある（特許文献２）。さらに，投稿情報から商品名を取得し，ユーザの嗜好を特定し，お勧め情報を生成するものもある（特許文献３）。

特開2016-006660号公報 特開2011-141892号公報 特開2016-184369号公報

ユーザが撮影した画像を用いてユーザが興味ある対象を見つけようとする場合に，画像に含まれる被写体そのもの以外に，画像に含まれていないものについてもユーザが興味あることがある。引用文献１においては，ユーザが靴という商品を検索した場合に靴にあった服などを提案するものであり，ユーザが撮影した画像を利用するものではない。引用文献２においては，投稿画像から投稿画像に含まれている物品区分以外の物品区分を特定しているが，１枚の投稿画像のみを利用しているためにユーザが興味ある対象を見つけられているかどうか必ずしもわからない。引用文献３においては，ユーザがＳＮＳ(Social Networking Service)などに投稿した文章などにもとづいてユーザの嗜好を特定しており，ユーザの画像とは関係ない。

この発明は，ユーザが撮影した複数の画像が記録されている記録装置から読み取られる画像にもとづいて，ユーザが潜在的に興味のある商品，サービスを決定することを目的とする。

この発明による画像処理装置は，第１のユーザが撮影した複数の画像を記録している記録装置から画像を読み取る読取手段，読取手段によって読み取られた画像に含まれている被写体を検出する被写体検出手段，および被写体検出手段によって検出された被写体そのものとは異なる商品または被写体そのものを販売するサービスとは異なるサービスの少なくとも一方についての情報を決定する第１の決定手段を備えている。

この発明は画像処理方法も提供している。すなわち，読取手段が，第１のユーザが撮影した複数の画像を記録している記録装置から画像を読み取り，被写体検出手段が，読取手段によって読み取られた画像に含まれている被写体を検出し，決定手段が，被写体検出手段によって検出された被写体そのものとは異なる商品または被写体そのものを販売するサービスとは異なるサービスの少なくとも一方についての情報を決定する。

この発明は，画像処理装置のコンピュータを制御するプログラムおよびそのプログラムを格納した記録媒体も提供している。

画像処理装置が，第１のユーザが撮影した複数の画像を記録している記録装置から画像を読み取る読取手段，およびプロセッサを備え，プロセッサが，読取手段によって読み取られた画像に含まれている被写体を検出し，検出された被写体そのものとは異なる商品または被写体そのものを販売するサービスとは異なるサービスの少なくとも一方についての情報を決定してもよい。

第１の決定手段は，被写体検出手段によって検出された被写体に関連する商品またはサービスについての情報であって，被写体検出手段によって検出された被写体そのものとは異なる商品または被写体そのものを販売するサービスとは異なるサービスについての情報を決定することが好ましい。

読取手段は，たとえば，記録装置から２枚以上の画像を読み取る。

被写体検出手段は，たとえば，読取手段によって読み取られた２枚以上の画像から得られる被写体のうち，出現回数がしきい値以上の被写体を検出する。

被写体は，たとえば，主要被写体である。

被写体検出手段は，読取手段によって読み取られた複数の画像のうち，第１の画像に含まれる第１の被写体および第２の画像に含まれる第２の被写体を検出してもよい。この場合，第１の決定手段は，たとえば，被写体検出手段によって検出された第１の被写体および第２の被写体とはいずれも異なる商品または第１の被写体および第２の被写体のいずれも販売するサービスとは異なるサービスの少なくとも一方についての情報を決定する。

被写体検出手段は，たとえば，読取手段によって読み取られた画像に含まれる少なくとも２つの被写体を検出する。この場合，第１の決定手段は，たとえば，被写体検出手段によって検出された被写体そのものとは異なる商品または被写体そのものを販売するサービスとは異なるサービスであって，少なくとも２つの被写体の組み合わせに関連する商品またはサービスの少なくとも一方についての情報を決定する。

第１の決定手段において決定した商品またはサービスについての情報を，その商品を販売する第２のユーザまたはそのサービスを提供する第３のユーザに報知する報知手段をさらに備えてもよい。

読取手段によって読み取られた画像にもとづいて，第１のユーザの撮影スキルを判定する撮影スキル判定手段，および撮影スキル判定手段における判定結果に応じて，撮影に関する商品またはサービスについての情報を決定する第２の決定手段をさらに備えてもよい。

読取手段によって読み取られた複数の画像にもとづいて，画像を撮影した第１の撮影装置に関する情報を検出する撮影装置情報検出手段，および第１の撮影装置に関する情報にもとづいて，第２の撮影装置に関する情報を決定する第３の決定手段をさらに備えてもよい。

第１の決定手段において決定された情報を表示装置に表示させる表示制御手段をさらに備えてもよい。

第１の決定手段は，たとえば，被写体検出手段によって検出された被写体そのものに関する商品またはサービスであるが，被写体検出手段によって検出された被写体そのものとは異なる商品または被写体そのものを販売するサービスとは異なるサービスの少なくとも一方についての情報を決定してもよい。

この発明によると，ユーザが撮影した複数の画像にもとづいて，ユーザが興味のある商品，サービスを決定できる。

画像処理システムの概要である。 ストレージ・サーバの電気的構成を示すブロック図である。 ハード・ディスクに記録されているユーザの画像を示している。 ストレージ・サーバの処理手順を示すフローチャートである。 ストレージ・サーバの処理手順を示すフローチャートである。 第１のユーザの画像の一例である。 商品についての管理情報の一例である。 サービスについての管理情報の一例である。 第２のユーザの画像の一例である。 第１のユーザが興味ある対象を決定する処理手順を示すフローチャートである。 ストレージ・サーバの処理手順を示すフローチャートである。 ストレージ・サーバの処理手順を示すフローチャートである。

［第１実施例］
図１は，この発明の実施例を示すもので，画像処理システムの概要を示している。

画像処理システムには，ｎ（ｎは正の整数）個のクライアント・コンピュータ１－ｎが含まれており，これらのｎ個のクライアント・コンピュータ１－ｎがインターネットに接続されている。また，画像処理システムには，ストレージ・サーバ10および情報提供サーバ20も含まれており，これらのストレージ・サーバ10および情報提供サーバ20のそれぞれは，ｎ個のクライアント・コンピュータ１－ｎのそれぞれとインターネットを介して通信可能である。

クライアント・コンピュータ１－ｎはユーザが撮影した画像を表す画像ファイルをストレージ・サーバ10に送信するもので，ストレージ・サーバ10はクライアント・コンピュータ１－ｎから送信された画像ファイルを受信し記憶するものである。情報提供サーバ20はユーザに情報を送信するものであるが，ストレージ・サーバ10がユーザに情報を送信してもよい。

図１においてはｎ個のクライアント・コンピュータ１－ｎが図示されているが，１個のクライアント・コンピュータのみが画像処理システムに含まれるようにしてもよい。クライアント・コンピュータの数に関係なく，複数のユーザがクライアント・コンピュータを用いて画像データをストレージ・サーバ10にアップロードできればよい。また，クライアント・コンピュータ１－ｎの代わりにスマートフォンなどの通信機器を利用してもよい。

また，情報提供サーバ20を利用せずに画像処理システムを構成してもよい。

図２は，ストレージ・サーバ10の電気的構成を示すブロック図である。

ストレージ・サーバ10（画像処理装置の一例である）の全体の動作はＣＰＵ(central processing unit)11によって統括される。

ストレージ・サーバ10には，インターネットと接続するための通信装置12，メモリ・カード14にアクセスするためのメモリ・カード・リーダ・ライタ13，コンパクト・ディスク16に記録されているデータなどを読み取るコンパクト・ディスク・ドライブ15，ユーザ(クライアント・コンピュータ１－ｎ)から送信された画像ファイル等を記録するハード・ディスク18，およびハード・ディスク18に画像ファイルを書き込み，かつハード・ディスク18から画像ファイルを読み取るハード・ディスク・ドライブ17が含まれている。さらに，ストレージ・サーバ10には，メモリ19および表示装置19Ａも含まれている。

コンパクト・ディスク16（可搬型記録媒体）には，ストレージ・サーバ10の動作を制御するプログラムが格納されており，コンパクト・ディスク16に記録されているプログラムがコンパクト・ディスク・ドライブ15によって読み取られて，ストレージ・サーバ10にインストールされる。プログラムはコンパクト・ディスク16から読み取られてストレージ・サーバ10にインストールされずに，インターネットなどのネットワークを介してストレージ・サーバ10において受信し，受信したプログラムがストレージ・サーバ10にインストールされるようにしてもよい。

情報提供サーバ20も，ストレージ・サーバ10と同様の電気的構成であり，ＣＰＵ，通信装置，メモリ等を有している。

図３はハード・ディスク18に格納されている複数の画像を示している。

ハード・ディスク18(記録装置の一例である)には，ユーザＵ１が撮影した画像Ｐ１からＰ100，ユーザＵ２が撮影した画像Ｐ101からＰ200，ユーザＵ３が撮影した画像Ｐ201からＰ300など，複数のユーザが撮影した複数の画像が格納されている。ユーザＵ１，Ｕ２およびＵ３以外のユーザの画像についてもハード・ディスク18に格納されている。ユーザＩＤ，パスワードを利用することにより，ユーザＵ１は，ユーザＵ１の画像Ｐ１からＰ100にアクセスできるが，他のユーザ，たとえば，ユーザＵ２の画像Ｐ101からＰ200またはユーザＵ３の画像Ｐ201からＰ300などにはアクセスできない。他のユーザについても，自分の画像にはアクセスできるが，他のユーザの画像にはアクセスできないように管理されている。

この実施例は，一のユーザ（第１のユーザの一例である。以下，第１のユーザという）が撮影した複数の画像に含まれている被写体を検出し，被写体そのものとは異なる商品または被写体そのものを販売するサービスとは異なるサービスの少なくとも一方についての情報を決定するものである。決定された情報は第１のユーザに送信される。

図４および図５は，ストレージ・サーバ10(画像処理装置)の処理手順を示すフローチャートである。

図４および図５に示す処理手順は，決定された情報が第１のユーザに送信される時に開始されてもよいし，任意のタイミングで開始されてもよいし，定期的に開始されてもよいし，ユーザからストレージ・サーバ10に画像が送信されたタイミングで開始されてもよい。複数のユーザの中から誰を第１のユーザにするかについては，どのように決めてもよい。単に，ユーザのＩＤ順としてもよいし，アップロードした画像の数の多い順としてもよいし，画像をアップロードしたユーザの古い順，新しい順としてもよいし，アップロードの頻度が多い順としてもよい。

いずれにしても，第１のユーザについての情報を決定するタイミングとなると，第１のユーザによって撮影された複数の画像のうち，１枚の画像をストレージ・サーバ10のハード・ディスク18から読み取るように設定されているか，２枚以上の画像をストレージ・サーバ10のハード・ディスク18から読み取るように設定されているかが，ストレージ・サーバ10のＣＰＵ11によって判断される。この設定は，たとえば，ユーザごとに設定されていてもよいし，ユーザにかかわらず一律に設定されてもよい。

１枚の画像を読み取るように設定されている場合には（ステップ31でＹＥＳ），ハード・ディスク18に記憶されている，第１のユーザが撮影した複数の画像のうち，いずれか１枚の画像がハード・ディスク・ドライブ17（読取手段の一例である）によって読み取られる（ステップ32）。第１のユーザが撮影した複数の画像のうち，どの画像がハード・ディスク・ドライブ17によって読み取られてもよい，たとえば，ストレージ・サーバ10に送信された画像のうち，最後に撮影された画像，最後に送信された画像などがハード・ディスク・ドライブ17によって読み取られてもよい。第１のユーザに情報を知らせる時期に撮影された画像がハード・ディスク・ドライブ17によって読み取られてもよいし，特殊なイベントを撮影した画像がある場合には，その特殊なイベントの画像がハード・ディスク・ドライブ17によって読み取られてもよい。画像の撮影時期，画像が表すイベントなどのデータは，画像を表す画像ファイルのヘッダに記録されているので，そのヘッダから分かる。もっとも，画像の撮影時期，画像が表すイベントなどのデータを画像（画像ファイル名）に対応してユーザごとに画像データ・テーブルとしてハード・ディスク18に記録しておいてもよい。その場合には，画像がアップロードされるごとに画像データ・テーブルに記録されているデータがＣＰＵ11によって更新される。

画像が読み取られると，読み取られた画像に含まれる被写体（主要被写体でもよい）がＣＰＵ11（被写体検出手段の一例である）によって検出される（ステップ33）。

図６は，ハード・ディスク18から読み取られた画像50の一例である。

図６は，人が自転車に乗っている画像である。

画像50には，被写体として自転車51，水筒52，サイクル・ウェア53，サングラス54，ヘルメット55などが含まれている。これらの自転車51，水筒52，サイクル・ウェア53，サングラス54，ヘルメット55が，画像50に含まれる被写体としてＣＰＵ11によって検出される。被写体検出は，例えば，画像50についてエッジ検出を行い，得られた領域についての形状，色分布などとあらかじめハード・ディスク18またはストレージ・サーバ10の外部に設けられている記憶装置等に格納されている商品画像とのマッチング処理などにより行う。被写体検出により画像50に含まれている被写体の具体的な商品等がＣＰＵ11によって認識される（なお，商品ならびに商品等という場合，サービスを含むことがある。以下同様である）。

ＣＰＵ11によって主要被写体が検出される場合には，たとえば，自転車51が主要被写体として検出される。画像50の中から被写体として検出された自転車51，水筒52，サイクル・ウェア53，サングラス54，ヘルメット55などのうち，画像の中心部に近い位置にあり，かつ画像50に対する大きさの比率が一定以上あるような被写体が主要被写体として検出されるが，他の方法により主要被写体がＣＰＵ11によって決定されてもよい。主要被写体の数は１つに限らず２つ以上でもよい。

画像50の中から被写体（主要被写体）がＣＰＵ11によって検出されると，検出された被写体(主要被写体)から第１のユーザが興味のあると思われる対象がＣＰＵ11によって決定される（図５ステップ34）。

画像50においては，被写体として自転車51，水筒52，サイクル・ウェア53，サングラス54，ヘルメット55が検出されているから，第１のユーザが興味のある対象として被写体から，たとえば，ロード・レース，自転車などがＣＰＵ11によって決定される。この決定は，たとえば，ＡＩ(artificial intelligence)を利用できるし，被写体と対象との対応テーブルを利用できる。たとえば，その対応テーブルを，あらかじめハード・ディスク18，ストレージ・サーバ10などに記憶しておき，それらの対応関係から第１のユーザが興味のある対象をＣＰＵ11が決定できる。主要被写体である自転車51を利用して第１のユーザが興味のある対象をＣＰＵ11が決定する場合には，たとえば，ロード・レース，サイクリング，自転車などがＣＰＵ11によって決定される。第１のユーザが興味のある対象は，画像50から検出された被写体(主要被写体)そのものでもよいし，被写体(主要被写体)そのものではなく被写体(主要被写体)に関連するものでもよい。この実施例では，第１のユーザが興味のある対象が，自転車に決定されたものとする。

第１のユーザが興味のある対象が，ＣＰＵ11によって決定されると，決定された対象にもとづいて，第１のユーザに知らせる情報がＣＰＵ11によって決定される（ステップ35）。このように，決定される情報は，たとえば，第１のユーザの興味がある対象についてのものである。もっとも，第１のユーザが興味のある対象を決定せずに，上述のように画像50から検出された被写体(主要被写体)を利用して，第１のユーザに知らせる情報をＣＰＵ11が決定してもよい。いずれにしても，画像50から検出された被写体そのものとは異なる商品または被写体そのものを販売するサービスとは異なるサービスとなるようにＣＰＵ11が決定する。本実施例では検出された被写体(主要被写体)から，まず第１のユーザが興味のある対象が決定され，次いで興味のある対象について商品情報の管理構造を参照し，第１のユーザに知らせる商品についての情報を決定する場合について，主に説明する。

図７は，商品情報の管理構造の一例である。

管理構造は，複数の階層から構成されている。第１階層は「スポーツ用品」であり，第１階層の下の階層の第２階層には第１階層の「スポーツ用品」の下の概念の商品が管理されている。第２階層には「自転車」が例示されているが，その他の商品(たとえば，登山用品)も存在する。第２階層の下の第３階層には，第２階層の商品の下の概念の商品が管理されている。たとえば，第２階層の商品の一例である「自転車」の下の概念の商品である「自転車アクセサリ」，「メンテナンス商品」，「ウェア／シューズ」などが，第３階層の商品の一例として示されている。同様に，第３階層の下の第４階層には，第３階層の商品の下の概念の商品が管理されている。たとえば，第４階層の商品の一例である「スマートフォン・フォルダ」，「サイクル・コンピュータ」，「鍵」などが，第３階層の商品の一例である「自転車アクセサリ」についての商品の下の概念の商品として管理されている。第３階層の商品の一例である「メンテナンス用品」，「ウェア／シューズ」などについても同様に，それらの商品の下の概念の商品が管理されている。すべてのスポーツ商品について第１階層から第４階層まで規定されているわけではなく，スポーツ商品の種類によっては階層の数が４つの階層よりも少なくともよいし，多くてもよい。

図７に示す商品情報の管理構造の第１階層は「スポーツ用品」のみが示されているが，同様に，たとえば，「音楽用品」，「旅行用品」，「健康用品」，「動物」，「植物」など，その他の分類が規定されている。

図８は，サービス情報の管理構造の一例である。

図８においては「自転車」という商品の下の階層に「自転車旅行」，「自転車整備」，「ロード・レース大会」，「サイクリング大会」などのイベント等についてのサービスが規定されている。但し，「自転車」そのものを販売するサービスは規定されていないが規定されていてもよい。

「自転車」という商品以外の商品についても図８に示す管理構造と同様の管理構造が規定されている。

図７に示す商品情報の管理構造，図８に示すサービス情報の管理構造がさまざまな商品について決められており，それらの管理構造を表すデータがハード・ディスク18またはストレージ・サーバ10の外部の記憶装置等に記憶されている。

ＣＰＵ11は，図７に示す商品情報の管理構造を参照して第１のユーザに知らせる商品についての情報を決定でき，図８に示すサービス情報の管理構造を参照して第１のユーザに知らせるサービスについての情報を決定できる。

第１のユーザの興味のある対象が「自転車」と決定されると(興味のある対象が決定されずに検出された被写体または主要被写体が「自転車」と決定された場合も同様である)，図７を参照して，第２階層に規定されている「自転車」がＣＰＵ11によって読み出される。第２階層よりも下の階層に規定されている商品であって，画像50から検出された被写体とは異なる商品が，第１のユーザに知らせる商品についての情報となる。たとえば，自転車が規定されている第２階層の下の第３階層の「自転車アクセサリ」のさらに下の第４階層に規定されている「スマートフォン・フォルダ」，「サイクル・コンピュータ」や自転車が規定されている第２階層の下の第３階層の「メンテナンス用品」のさらに下の第４階層に規定されている「空気入れ」，「工具」などが第１のユーザに知らせる商品についての情報となる。

複数の商品の情報を第１のユーザに知らせてもよいし，１つの商品の情報を第１のユーザに知らせてもよい。一定数以上に売れ行きの良い商品についての情報を第１のユーザに知らせてもよい。但し，自転車が規定されている第２階層の下の第３階層の「ウェア／シューズ」のさらに下の第４階層に規定されている商品のうち「ヘルメット」，「サイクル・ウェア」などは，画像50から被写体として検出されているから，第１のユーザに知らせる商品についての情報とはならない。

また，同様に，図８を参照して，「自転車」の階層の下の階層に規定されているイベント等についてのサービス，たとえば，「自転車旅行」，「自転車整備」などが，第１のユーザに知らせるサービスについての情報となる。「自転車」の下の階層には「自転車」そのものを販売するサービスは規定されていないので，自転車そのものを販売するサービスは第１のユーザに知らせるサービスについての情報とはならない。一定以上の利用者がいるサービスについての情報を第１のユーザに知らせてもよい。

１枚の画像50から検出された被写体(主要被写体)が複数であり，それらの複数の被写体(主要被写体)を用いて，第１のユーザに知らせる商品またはサービスの少なくとも一方の情報をＣＰＵ11が決定することもできる。そのような場合には，図７に示す商品についての管理構造の中から，検出された複数の被写体に対応する商品以外の商品についての情報がＣＰＵ11によって決定される。また，サービスについても，図８に示すように検出された被写体の下の階層に規定されているサービスについての情報がＣＰＵ11によって決定される。

このようにして決定された商品，サービスについての情報がＣＰＵ11(表示制御手段の一例である)によって表示装置19Ａの表示画面に表示させられる（ステップ36）。

決定された商品，サービスについての情報が，画像50に含まれる被写体そのもの，またはその被写体を販売するサービスそのものであった場合には（ステップ37でＹＥＳ），第１のユーザが興味のある対象が，ＣＰＵ11によって決定され直されて，新たに第１のユーザに知らせる情報がＣＰＵ11によって決定される。決定された商品，サービスについての情報が，画像50に含まれる被写体そのもの，またはその被写体を販売するサービスそのものでなければ（ステップ37でＮＯ），決定した商品についての情報は第２のユーザに通信装置12によって送信され，決定したサービスについての情報は第３のユーザに通信装置12によって送信される（ステップ38）。

第２のユーザから第１のユーザに，決定した商品についての情報が送信され，第１のユーザは，その情報を知ることにより，商品を購入できる。また，第３のユーザから第１のユーザに，決定した商品についての情報が送信され，第１のユーザは，その情報を知ることにより，サービスを購入できる。決定した商品についての情報および決定したサービスについての情報の両方の情報が第２のユーザまたは第３のユーザに送信されてもよい。第２のユーザおよび第３のユーザの少なくとも一方から，決定した商品についての情報および決定したサービスについての情報の両方の情報が第１のユーザに送信される。

第１のユーザが撮影した複数の画像のうち，２枚以上の画像がハード・ディスク・ドライブ17(読取手段の一例である)によって読み取られると（図４ステップ31でＮＯ，ステップ42でＹＥＳ），読み取られた２枚以上の画像のそれぞれの画像から被写体(主要被写体)がＣＰＵ11(被写体検出手段の一例である)によって検出される（ステップ43）。

たとえば，図６に示す画像50と図９に示す画像70とがハード・ディスク・ドライブ17により読み取られたものとする。上述したように，図６に示す画像50からは被写体として，自転車51，水筒52，サイクル・ウェア53，サングラス54，ヘルメット55など(これらの自転車51，水筒52，サイクル・ウェア53，サングラス54，ヘルメット55の被写体のすべてまたはいずれか一つの被写体が第１の被写体の一例である)が検出される。図９に示す画像70からは被写体として犬71-75(これらの犬71-75のすべてまたはいずれか一つが第２の被写体の一例である)が検出される。図６に示す画像50に含まれる自転車51，水筒52，サイクル・ウェア53，サングラス54，ヘルメット55の被写体から，第１のユーザが興味のある対象として「自転車」がＣＰＵ11によって決定され，図９に示す画像70に含まれる犬71-75から，第１のユーザが興味のある対象として「犬」がＣＰＵ11によって決定される（図５ステップ34）。

これらの興味のある対象から，第１のユーザに知らせる情報がＣＰＵ11(第１の決定手段の一例である)によって決定される（図５ステップ35）。このように複数の興味のある対象が決定された場合には，それらの複数の興味のある対象に共通に利用される商品およびサービスであって，検出された被写体そのもの以外の商品または検出された被写体そのものを販売するサービスとは異なるサービスの少なくとも一方がＣＰＵ11によって決定される。たとえば，第１のユーザが興味のある対象として「自転車」と「犬」とが決定された場合には，まず，自転車に関しての商品情報およびサービス情報の管理構造のデータをすべて読み込む。また，犬に関しての商品情報およびサービス情報の管理構造のデータをすべて読み込む。そして，自転車に関しての商品情報の管理構造と犬に関しての商品情報の管理構造とのいずれにも出現する商品についての情報，ここでは犬を自転車で運ぶ際に利用される「自転車用ペット・キャリー・ケース」が第１のユーザに知らせる商品についての情報としてＣＰＵ11によって決定される。また，自転車に関してのサービス情報の管理構造と犬に関してのサービス情報の管理構造とのいずれにも出現するサービスについての情報，ここでは「ペットとともにサイクリングが可能なホテル」が第１のユーザに知らせるサービスについての情報としてＣＰＵ11によって決定される。もちろん，その他の商品，サービスが第１のユーザに知らせる情報としてＣＰＵ11によって決定されてもよい。

複数の興味のある対象から関連する商品，サービスを，ＡＩを利用して決定し，その商品，サービスについての情報を第１のユーザに知らせてもよい。たとえば，複数の興味のある対象がいずれも含まれている画像(この場合，第１のユーザが撮影した画像に限らない)をＣＰＵ11がハード・ディスク18の中から見つけ，見つけられた画像が表す撮影状況(たとえば，旅行の画像であれば旅行，ペットの大会の画像であればペットの大会)を決定し，その撮影状況をユーザが興味のある対象とする。そのようにして決定された対象から，第１のユーザに知らせる商品およびサービスについての少なくとも一方の情報をＣＰＵ11が決定してもよい。

決定された情報が，ハード・ディスク18から読み取られた画像から検出された被写体そのものまたは検出された被写体そのものを販売するサービスにいずれでもなければ（ステップ37でＮＯ），決定された商品についての情報が通信装置12(報知手段の一例である)によって，たとえば，決定された商品を販売する第２のユーザに送信され，決定されたサービスについての情報が通信装置12によって，たとえば，決定されたサービスを提供する第３のユーザに送信される（ステップ38）。第１のユーザに送信されてもよい。商品についての情報およびサービスについての情報の両方の情報が，通信装置12によって第２のユーザまたは第３のユーザに送信されてもよいし，通信装置12によって第１のユーザに送信されてもよい。

上述の実施例によると，ユーザが撮影した複数の画像にもとづいて，ユーザが興味のある商品，サービスを決定できる。

図10は，第１のユーザが興味のある対象を決定する処理手順(図５ステップ34の処理手順)を示すフローチャートである。

２枚以上の画像のそれぞれの画像から被写体(主要被写体)が検出された場合に，検出された被写体(主要被写体)の種類ごとに検出回数(出現回数)がＣＰＵ11によって計算される（ステップ61）。検出回数がしきい値(第１のしきい値)以上となった被写体(主要被写体)から，第１のユーザが興味のある対象がＣＰＵ11によって決定される（ステップ62）。

検出回数が多い被写体(主要被写体)ほど，第１のユーザが興味のある被写体(主要被写体)と考えられる。第１のユーザが興味のある被写体(被写体)から，第１のユーザが興味のある対象を，ＣＰＵ11が決定できる。

［第２実施例］
図11は，第２実施例を示すもので，ストレージ・サーバ10の処理手順を示すフローチャートである。図11に示す処理手順は，図４および図５に示す処理手順に対応する。

第１実施例と同様に，ストレージ・サーバ10のハード・ディスク18からハード・ディスク・ドライブ17が，第１のユーザが撮影した画像を読み取る場合に，１枚の画像を読み取るようにストレージ・サーバ10に設定されていると（ステップ81でＹＥＳ），１枚の画像がハード・ディスク・ドライブ17によって読み取られ（ステップ82），２枚以上の画像を読み取るようにストレージ・サーバ10に設定されていると（ステップ81でＮＯ），２枚以上の画像がハード・ディスク・ドライブ17によって読み取られる（ステップ83）。

読み取られた１枚または２枚以上の画像を用いて，第１のユーザの撮影スキルがＣＰＵ11(撮影スキル判定手段の一例である)によって判定される（ステップ84）。ＣＰＵ11が画像を解析することにより得られる，画像に含まれる主要被写体のボケ具合，その明るさの程度，そのコントラスト，画像全体に対する主要被写体の大きさ，位置などによりＣＰＵ11によって第１のユーザの撮影スキルが判定される（ステップ85）。

撮影スキルが分かると，その撮影スキルに応じて，撮影に関する商品，サービスについての情報がＣＰＵ11(第２の決定手段の一例である)によって決定される（ステップ85）。たとえば，第１のユーザの撮影スキルが初級者と判定されると，初級者向けの撮影の仕方の本，初級者向けのカメラなどの商品，中級者向け撮影教室などのサービスなどが，撮影に関する商品，サービスについての情報としてＣＰＵ11によって決定される。たとえば，第１のユーザの撮影スキルが中級者と判定されると，中級者向けの撮影の仕方の本，中級者向けのカメラ，カメラ・レンズなどの商品，中級者向けの撮影教室などのサービスなどが，撮影に関する商品，サービスについての情報としてＣＰＵ11によって決定される。また，第１のユーザの撮影スキルが上級者と判定されると，上級者向けのカメラ・レンズ，カメラ・フィルタなどの商品，カメラマンとしての仕事の紹介，撮影教室の講師の紹介などのサービスなどが，撮影に関する商品，サービスについての情報としてＣＰＵ11によって決定される。撮影スキルごとに，商品，サービスについての情報が，あらかじめ定められていてもよい。

商品，サービスについての情報が決定すると，ストレージ・サーバ10の表示装置19Ａの表示画面に，決定した情報がＣＰＵ11によって表示される（ステップ86）。決定した商品についての情報が通信装置12によって第２のユーザに送信され，決定したサービスについての情報が通信装置12によって第３のユーザに送信される（ステップ87）。決定した商品についての情報が第２のユーザから第１のユーザに送信され，決定したサービスについての情報が第３のユーザから第１のユーザに送信される。ストレージ・サーバ10の通信装置12が，第２のユーザおよび第３のユーザの少なくとも一方に，決定した商品およびサービスについての少なくとも一方の情報を送信してもよい。

図11に示す処理手順において，ステップ84からステップ86の処理を図５のステップ35の処理とステップ36の処理との間に行うようにしてもよい。

第２の実施例によると，撮影スキルに応じた商品，サービスについての情報を，ストレージ・サーバ10が決定できる。

［第３実施例］
図12は，第３実施例を示すもので，ストレージ・サーバ10の処理手順を示すフローチャートである。図12に示す処理手順は，図４および図５に示す処理手順に対応する。

第１実施例および第２実施例と同様に，ストレージ・サーバ10のハード・ディスク18からハード・ディスク・ドライブ17が，第１のユーザが撮影した画像を読み取る場合に，１枚の画像を読み取るようにストレージ・サーバ10に設定されていると（ステップ91でＹＥＳ），１枚の画像がハード・ディスク・ドライブ17によって読み取られ（ステップ92），２枚以上の画像を読み取るようにストレージ・サーバ10に設定されていると（ステップ91でＮＯ），２枚以上の画像がハード・ディスク・ドライブ17によって読み取られる（ステップ93）。

読み取られた１枚または２枚以上の画像を用いて，第１の撮影装置(第１のユーザの撮影装置)に関する情報がＣＰＵ11(撮影装置情報検出手段の一例である)によって読み取られる（ステップ94）。第１の撮影装置に関する情報は，ハード・ディスク18から読み取られた画像を表す画像ファイルのヘッダに記録されているので，そのヘッダからＣＰＵ11が読み取ることができる。

第１の撮影装置に関する情報が読み取られると，第２の撮影装置に関する情報がＣＰＵ11(第３の決定手段の一例である)によって決定される（ステップ95）。第１の撮影装置に関する情報は第１のユーザが画像を撮影した装置に関する情報であり，第２の撮影装置に関する情報は，たとえば，第１のユーザに推奨する撮影装置に関する情報であり，たとえば，第１ユーザに商品等の購入を促すための情報である。たとえば，第１の撮影装置よりも上位機種の撮影装置についての情報，上位機種のカメラについての情報などが第２の撮影装置に関する情報の一例である。

第２の撮影装置に関する情報が決定すると，ストレージ・サーバ10の表示装置19Ａの表示画面に，決定した情報がＣＰＵ11によって表示される（ステップ96）。決定した情報が通信装置12によって第２のユーザに送信される（ステップ97）。ストレージ・サーバ10の通信装置12が，第２のユーザに，決定した情報を送信してもよい。

図11に示す処理手順において，ステップ94およびステップ95の処理を図５のステップ35の処理とステップ36の処理との間に行うようにしてもよい。

第３の実施例によると，たとえば，第１のユーザに推奨する第２の撮影装置に関する情報を，ストレージ・サーバ10が決定できる。

上述の処理を実行する処理部には，ソフトウエアを実行して各種の処理部として機能するＣＰＵ11のほかに，FPGA（field-programmable gate array）などのように製造後に回路構成を変更可能なプログラマブル・ロジック・ディバイス，ASIC（application specific integrated circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は，これらの各種のプロセッサのうちの１つで構成されてもよいし，同種または異種の２つ以上のプロセッサの組合せ（たとえば，複数のFPGA，ＣＰＵとFPGAの組合せ）で構成されてもよい。複数の処理部を１つのプロセッサで構成する例としては，第１に，クライアント・コンピュータやサーバなどのコンピュータに代表されるように，１つ以上のＣＰＵとソフトウエアの組合せで１つのプロセッサを構成し，このプロセッサが複数の処理部として機能する形態がある。第２に，システム・オン・チップなどに代表されるように，複数の処理部を含むシステム全体の機能を１つのＩＣ（integrated circuit）チップで実現するプロセッサを使用する形態がある。このように，各種の処理部は，ハードウエア的な構造として各種のプロセッサを１つ以上用いて構成される。

さらに，これらの各種のプロセッサのハードウエア的な構造は，より具体的には，半導体素子などの回路素子を組合せた電気回路である。

１－ｎ：コンピュータ，10：ストレージ・サーバ，11：ＣＰＵ，12：通信装置，13：メモリ・カード・リーダ・ライタ，14：メモリ・カード，15：コンパクト・ディスク・ドライブ，16：コンパクト・ディスク，17：ハード・ディスク・ドライブ，18：ハード・ディスク，19：メモリ，19Ａ：表示装置，20：情報提供サーバ，50：画像，51：自転車，52：水筒，53：サイクル・ウェア，54：サングラス，55：ヘルメット，70：画像，Ｐ１-Ｐ300：画像，Ｕ１-Ｕ３：ユーザ

Claims (11)

1. 第１のユーザが撮影した複数の画像を記録している記録装置から２枚以上の画像を読み取る読取手段，
   上記読取手段によって読み取られた２枚以上の画像から得られる被写体のうち，出現回数が，しきい値以上の被写体を検出する被写体検出手段，および
   上記被写体検出手段によって検出された被写体そのものに関する商品またはサービスであるが，上記被写体検出手段によって検出された被写体そのものとは異なる種類の商品または上記被写体そのものを販売するサービスとは異なる種類のサービスの少なくとも一方についての情報を決定する第１の決定手段，
   を備えた画像処理装置。
2. 上記被写体は主要被写体である，
   請求項１に記載の画像処理装置。
3. 第１のユーザが撮影した複数の画像を記録している記録装置から２枚以上の画像を読み取る読取手段，
   上記読取手段によって読み取られた２枚以上の画像のうち，第１の画像に含まれる第１の被写体および第２の画像に含まれる第２の被写体を検出する被写体検出手段，および
   上記被写体検出手段によって検出された被写体そのものに関する商品またはサービスであるが，上記被写体検出手段によって検出された第１の被写体および第２の被写体とはいずれも異なる種類の商品または上記第１の被写体および上記第２の被写体のいずれも販売するサービスとは異なる種類のサービスの少なくとも一方についての情報を決定する第１の決定手段，
   を備えた画像処理装置。
4. 上記被写体検出手段は，
   上記読取手段によって読み取られた画像に含まれる少なくとも２つの被写体を検出し，
   上記第１の決定手段は，
   上記被写体検出手段によって検出された被写体そのものとは異なる種類の商品または上記被写体そのものを販売するサービスとは異なる種類のサービスであって，上記少なくとも２つの被写体の組み合わせに関連する商品またはサービスの少なくとも一方についての情報を決定する，
   請求項１から３のうち，いずれか一項に記載の画像処理装置。
5. 第１のユーザが撮影した複数の画像を記録している記録装置から画像を読み取る読取手段，
   上記読取手段によって読み取られた画像に含まれている被写体を検出する被写体検出手段，
   上記被写体検出手段によって検出された被写体そのものに関する商品またはサービスであるが，上記被写体検出手段によって検出された被写体そのものとは異なる種類の商品または上記被写体そのものを販売するサービスとは異なる種類のサービスの少なくとも一方についての情報を決定する第１の決定手段，および
   上記第１の決定手段において決定した商品またはサービスについての情報を，その商品を販売する第２のユーザまたはそのサービスを提供する第３のユーザに報知する報知手段，
   を備えた画像処理装置。
6. 第１のユーザが撮影した複数の画像を記録している記録装置から画像を読み取る読取手段，
   上記読取手段によって読み取られた画像に含まれている被写体を検出する被写体検出手段，
   上記被写体検出手段によって検出された被写体そのものに関する商品またはサービスであるが，上記被写体検出手段によって検出された被写体そのものとは異なる種類の商品または上記被写体そのものを販売するサービスとは異なる種類のサービスの少なくとも一方についての情報を決定する第１の決定手段，
   上記読取手段によって読み取られた画像にもとづいて，上記第１のユーザの撮影スキルを判定する撮影スキル判定手段，および
   上記撮影スキル判定手段における判定結果に応じて，撮影に関する商品またはサービスについての情報を決定する第２の決定手段，
   を備えた画像処理装置。
7. 第１のユーザが撮影した複数の画像を記録している記録装置から画像を読み取る読取手段，
   上記読取手段によって読み取られた画像に含まれている被写体を検出する被写体検出手段，
   上記被写体検出手段によって検出された被写体そのものに関する商品またはサービスであるが，上記被写体検出手段によって検出された被写体そのものとは異なる種類の商品または上記被写体そのものを販売するサービスとは異なる種類のサービスの少なくとも一方についての情報を決定する第１の決定手段，
   上記読取手段によって読み取られた複数の画像にもとづいて，画像を撮影した第１の撮影装置に関する情報を検出する撮影装置情報検出手段，および
   上記第１の撮影装置に関する情報にもとづいて，第２の撮影装置に関する情報を決定する第２の決定手段，
   を備えた請求項画像処理装置。
8. 上記第１の決定手段において決定された情報を表示装置に表示させる表示制御手段，
   をさらに備えた請求項１から７のうち，いずれか一項に記載の画像処理装置。
9. 読取手段が，第１のユーザが撮影した複数の画像を記録している記録装置から２枚以上の画像を読み取り，
   被写体検出手段が，上記読取手段によって読み取られた２枚以上の画像から得られる被写体のうち，出現回数が，しきい値以上の被写体を検出し，
   決定手段が，上記被写体検出手段によって検出された被写体そのものに関する商品またはサービスであるが，上記被写体検出手段によって検出された被写体そのものとは異なる種類の商品または上記被写体そのものを販売するサービスとは異なる種類のサービスの少なくとも一方についての情報を決定する，
   画像処理方法。
10. 画像処理装置のコンピュータが読み取り可能なプログラムであって，
    第１のユーザが撮影した複数の画像を記録している記録装置から２枚以上の画像を読み取らせ，
    読み取られた２枚以上の画像から得られる被写体のうち，出現回数が，しきい値以上の被写体を検出させ，
    検出された被写体そのものに関する商品またはサービスであるが，検出された被写体そのものとは異なる種類の商品または上記被写体そのものを販売するサービスとは異なる種類のサービスの少なくとも一方についての情報を決定させるように，画像処理装置の上記コンピュータを制御するプログラム。
11. 請求項10に記載のプログラムを格納した記録媒体。

Images