JP7333027B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

この発明は、２以上の識別子を用いて情報を取得し、取得した情報を出力する情報処理装置、情報処理方法及びプログラムに関する。

２以上の識別子を用いて情報を出力する情報処理装置の構成が種々提案されている（例えば、特許文献１参照）。

特表２０１３－５４３１９６号公報

ところで、従来の情報処理装置においては、通常、言語により表現された情報が入力され、入力された情報に応じて情報の出力が行われる。このような一般的な情報処理の態様とは異なる態様の情報処理を行うことができる情報処理装置の実現が求められている。

本第一の発明の情報処理装置は、１以上の撮影画像が格納される画像格納部と、画像格納部に格納された撮影画像から、オブジェクトを識別する２以上のオブジェクト識別子を取得する識別子取得部と、識別子取得部により取得されたオブジェクト識別子を用いて、出力情報を取得する情報取得部と、情報取得部が取得した出力情報を出力する情報出力部とを備える、情報処理装置である。

かかる構成により、撮影画像の内容に応じて取得された情報を出力することができる。

また、本第二の発明の情報処理装置は、第一の発明に対して、画像格納部には、２以上の撮影画像が格納され、識別子取得部は、画像格納部に格納された２以上の撮影画像のそれぞれからオブジェクト識別子を取得する、情報処理装置である。

かかる構成により、２以上の撮影画像から取得した２以上のオブジェクト識別子を用いて、情報を出力することができる。

また、本第三の発明の情報処理装置は、第二の発明に対して、２以上の撮影画像の順序を決定する順序取得部をさらに備え、情報取得部は、順序取得部により決定された順序に基づいて、出力情報を取得する、情報処理装置である。

かかる構成により、２以上の撮影画像の順序によって、出力される情報を変更することができる。

また、本第四の発明の情報処理装置は、第一から三のいずれか１つの発明に対して、ユーザにより指定された、２以上のオブジェクト識別子の組み合わせ方法に関する方法情報を取得する方法取得部をさらに備え、情報取得部は、方法取得部により取得された方法情報に基づいて、出力情報を取得する、情報処理装置である。

かかる構成により、ユーザの指定操作により２以上のオブジェクト識別子の用い方を調整し、出力される情報を変更することができる。

また、本第五の発明の情報処理装置は、第一から四のいずれか１つの発明に対して、１以上の撮影画像は、カメラにより撮影された写真である、情報処理装置である。

かかる構成により、撮影した写真の内容に応じて取得された情報を出力することができる。

また、本第六の発明の情報処理装置は、第一から四のいずれか１つの発明に対して、１以上の撮影画像は、カメラにより撮影された動画の中から選択された静止画である、情報処理装置である。

かかる構成により、動画中に含まれる静止画の内容に応じて情報を出力することができる。

また、本第七の発明の情報処理装置は、第六の発明に対して、動画の中から静止画を選択する静止画選択部をさらに備え、静止画選択部は、所定の条件に従って静止画の選択を行う、情報処理装置である。

かかる構成により、用いる動画を指定するだけで、動画中に含まれる静止画の内容に応じた情報を出力させることができる。

また、本第八の発明の情報処理装置は、第一から七のいずれか１つの発明に対して、識別子取得部は、オブジェクト認識技術を用いてオブジェクト識別子を取得する、情報処理装置である。

かかる構成により、撮影画像から的確にオブジェクト識別子を取得することができる。

また、本第九の発明の情報処理装置は、第一から七のいずれか１つの発明に対して、識別子取得部は、画像とその画像の内容を表すものとして予め定められた識別子とが対応付けられて記憶されている類似画像データベースにおいて、撮影画像と類似度の高い画像を検索するとともに、検索により探し出された画像に対応付けられている識別子をオブジェクト識別子として取得する、情報処理装置である。

かかる構成により、容易に撮影画像からオブジェクト識別子を取得することができる。

また、本第十の発明の情報処理方法は、１以上の撮影画像が格納される画像格納部と、識別子取得部と、情報取得部と、情報出力部とにより実現される情報処理方法であって、識別子取得部が、画像格納部に格納された撮影画像から、オブジェクトを識別する２以上のオブジェクト識別子を取得する識別子取得ステップと、情報取得部が、識別子取得ステップにより取得されたオブジェクト識別子を用いて、出力情報を取得する情報取得ステップと、情報出力部が、情報取得ステップが取得した出力情報を出力する情報出力ステップと、を備える情報処理方法である。

かかる構成により、撮影画像の内容に応じて取得された情報を出力することができる。

また、本第十一の発明のプログラムは、１以上の撮影画像が格納される画像格納部を有するコンピュータを、画像格納部に格納された撮影画像から、オブジェクトを識別する２以上のオブジェクト識別子を取得する識別子取得部と、識別子取得部により取得されたオブジェクト識別子を用いて、出力情報を取得する情報取得部と、情報取得部が取得した出力情報を出力する情報出力部として機能させるための、プログラムである。

かかる構成により、撮影画像の内容に応じて取得された情報を出力することができる。

本発明による情報処理装置、情報処理方法、及びプログラムによれば、撮影画像の内容に応じて取得された情報を出力することができる。

実施の形態１における情報システムの概念図 同情報システムのブロック図 同情報システムにおける情報出力機能で用いられる取得パターンの具体例について説明する表である。 同情報システムにおける情報出力機能の利用時の利用者端末装置と情報処理装置の動作の一例を大まかに示すシーケンス図 同利用者端末装置の画面表示例を示す第１の図 同利用者端末装置の画面表示例を示す第２の図 同情報処理装置の情報出力機能に関する動作の一例を示すフローチャート 同情報処理装置が行うオブジェクト識別子取得処理の一例を示すフローチャート 同情報処理装置が行う出力情報取得処理の一例を示すフローチャート 同情報システムで行われうる情報出力機能の利用シーンの第１の具体例について説明するフローチャート 同第１の具体例における第１撮影画像を示す図 同第１の具体例における第２撮影画像を示す図 同第１の具体例における利用者端末装置の出力情報についての画面表示を示す図 同情報システムで行われうる情報出力機能の利用シーンの第２の具体例について説明するフローチャート 同第２の具体例における第１撮影画像を示す図 同第２の具体例における第２撮影画像を示す図 同第２の具体例における利用者端末装置の出力情報についての画面表示を示す図 同情報システムで行われうる情報出力機能の利用シーンの第３の具体例について説明するフローチャート 同第３の具体例における第１撮影画像を示す図 同第３の具体例における第２撮影画像を示す図 同第３の具体例における利用者端末装置の出力情報についての画面表示を示す図 同情報システムで行われうる情報出力機能の利用シーンの第４の具体例について説明するフローチャート 同第４の具体例における第１撮影画像を示す図 同第４の具体例における第２撮影画像を示す図 同第４の具体例における第３撮影画像を示す図 同第４の具体例における利用者端末装置の出力情報についての画面表示を示す図 同情報システムで行われうる情報出力機能の利用シーンの第５の具体例について説明するフローチャート 同情報システムで行われうる情報出力機能の利用シーンの第６の具体例について説明するフローチャート 同第６の具体例における利用者端末装置の出力情報についての画面表示を示す図 同情報システムで行われうる情報出力機能の利用シーンの第６の具体例について説明するフローチャート 実施の形態２に係る情報システムを示すブロック図 同静止画選択部が行う静止画の選択について説明する図 実施の形態３に係る情報処理装置が行うオブジェクト識別子取得処理の一例を示すフローチャート 上記実施の形態におけるコンピュータシステムの概観図 同コンピュータシステムのブロック図

以下、情報処理装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。

（実施の形態１）

本実施の形態において、１以上の撮影画像からオブジェクトを識別する２以上のオブジェクト識別子を取得し、２以上のオブジェクト識別子を用いて、情報を取得し、取得した情報を出力する情報処理装置について説明する。情報処理装置において、２以上の各撮影画像から２以上のオブジェクト識別子を取得してもよい。情報処理装置において、２以上の撮影画像の指定順序により取得される情報が異なるようにしてもよいし、２以上のオブジェクト識別子の用い方を、撮影画像の指定操作により区別できるようにしてもよい。

本実施の形態において、１以上の撮影画像は、例えば、撮影された写真である。撮影画像からオブジェクト識別子を取得する技術としては、オブジェクト認識技術を用いることができるが、画像検索により類似度の高い画像を検索し、当該検索した画像と対になるオブジェクト識別子を取得する技術を用いてもよい。

なお、オブジェクトとは、ここでは、情報を取得するために利用される物理的な又は概念的な物、観念をいう。具体的には、花、バラ、猫、及び自動車等の物理的な物体そのものや、黄色、緑色、屋内、屋外、オフィス、及び道路などの概念的、具象的な物、状態がオブジェクトには含まれる。また、以下の実施の形態において、オブジェクトには、暑い、寒い、元気、人気がある、明るい、早い、又は遅いなどというような、抽象的な、心象や印象など（これらを、コンテキストと表現することがある）が含まれるものとする。

オブジェクト識別子とは、オブジェクトを識別する識別子をいう。例えば、上述のようなオブジェクトに対して、「花」、「バラ」、「猫」、「自動車」、「黄色」、「緑」、「屋内」、「屋外」、「オフィス」、「道路」、「暑い」、「寒い」、「元気」、「人気がある」、「明るい」、「早い」、又は「遅い」などがオブジェクト識別子に該当する。なお、オブジェクト識別子は、このような自然言語で表されるものに限られず、オブジェクトに対応付けられている符号等で示されてもよい。

情報の取得とは、キーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付け、有線もしくは無線の通信回線を介して送信された情報の受信、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付け、他の情報を用いた情報処理などによる別の情報の生成、変換等により、情報を得ることを含む概念である。

以下、本実施の形態における情報処理装置１００を備える情報システム１について説明する。

図１は、実施の形態１における情報システム１の概念図である。図２は、同情報システム１のブロック図である。

図１に示されるように、情報システム１は、利用者端末装置３００と、情報処理装置１００とを備える。利用者端末装置３００と情報処理装置１００とは、例えばインターネットなどのネットワークを介して互いに通信可能である。

なお、図１においては、例えばいわゆるスマートフォンなどの携帯情報端末装置や、タブレット型の情報端末装置、及びラップトップコンピュータなどのパーソナルコンピュータ（ＰＣ）などが利用者端末装置３００として示されているが、利用者端末装置３００として用いられるのはこれらのうちいずれであってもよいし、これら以外の装置であってもよい。情報システム１のユーザ（利用者）は、利用者端末装置３００を利用して、情報システム１を利用することができる。

図２に示されるように、利用者端末装置３００は、端末格納部３１０、端末処理部３２０、端末表示部３３０、操作受付部３４０、端末通信部３５０、及び撮像部３７０を備える。本実施の形態において、利用者端末装置３００は、例えばタッチパネルを備えたディスプレイデバイスを端末表示部３３０及び操作受付部３４０として有する、いわゆるスマートフォンである。

端末格納部３１０は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。端末格納部３１０には、種々の情報やプログラム等が記憶されている。これらの情報等が記憶される過程は問わない。例えば、記録媒体を介して情報が端末格納部３１０で記憶されるようになってもよく、通信回線等を介して送信された情報が端末格納部３１０で記憶されるようになってもよく、あるいは、操作受付部３４０等の入力デバイスを介して入力された情報が端末格納部３１０で記憶されるようになってもよい。

端末処理部３２０は、通常、ＭＰＵやメモリ等から実現されうる。端末処理部３２０の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現してもよい。

本実施の形態において、端末表示部３３０は、操作受付部３４０に含まれるタッチパネルを有するディスプレイデバイスを含んでいる（以下、ディスプレイデバイスを指して端末表示部３３０ということがある）。端末表示部３３０は、ディスプレイデバイスのドライバーソフトとディスプレイデバイス等で実現されうるが、端末表示部３３０がディスプレイデバイスを含まないと考えてもよい。

操作受付部３４０は、ディスプレイデバイスに設けられているタッチパネルを有している。操作受付部３４０の入力手段は、このようなタッチパネルのほか、その他のデジタイザや、テンキーやキーボードやマウスやメニュー画面によるもの等、何でもよい。操作受付部３４０は、テンキーやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現されうる。

端末通信部３５０は、利用者端末装置３００をネットワークに接続し、ネットワークに接続されている他の装置との間での通信を行えるように制御する。端末通信部３５０は、例えば無線ＬＡＮや携帯電話のデータ通信などを利用して無線通信を行うように構成されていてもよいし、各種の有線による通信を行うように構成されていてもよい。

撮像部３７０は、例えば、レンズや撮像素子を含むカメラである。撮像部３７０は、カメラの動作を制御する制御ソフトウェア等を含んでいてもよい。撮像部３７０は、カメラにより撮影して静止画である画像を生成する。撮像部３７０は、カメラにより撮影して静止画を生成するものに限られず、動画を生成するものであってもよい。

利用者端末装置３００は、写真撮影機能を有している。写真撮影機能では、撮像部３７０によりカメラで撮影した画像を生成し、端末格納部３１０に撮影画像として格納することができる。カメラによる撮影は、例えば、端末表示部３３０にプレビュー映像を表示させながらユーザによるシャッタを切る操作を操作受付部３４０で受け付け、操作が受け付けられたタイミングで撮像された画像を生成することにより行われる。なお、ユーザによる操作に基づかずに画像を生成するようにしてもよい。

利用者端末装置３００は、端末格納部３１０に格納されている情報を、ネットワークを介して他の装置に送信することができる。例えば、利用者端末装置３００は、端末格納部３１０に記憶されている撮影画像を、情報処理装置１００に送信することができる。

これらの利用者端末装置３００の動作は、例えば、端末処理部３２０が他の各部の動作を制御することにより実現されうる。

図２に示されるように、情報処理装置１００は、格納部１１０、処理部１２０、及び通信部１５０などを備える。

格納部１１０は、画像格納部１１１、取得情報格納部１１３、出力情報格納部１１５、及び取得パターン格納部１１７を有している。格納部１１０は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。格納部１１０の各部に情報等が記憶される過程は問わない。例えば、記録媒体を介して情報等が格納部１１０で記憶されるようになってもよく、通信回線等を介して送信された情報等が格納部１１０で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された情報等が格納部１１０で記憶されるようになってもよい。

画像格納部１１１には、情報処理装置１００で取得された撮影画像が格納される。画像格納部１１１には、１以上の撮影画像が格納されており、好ましくは、２以上の撮影画像が格納されている。図２に示される例においては、例えば、第１撮影画像Ｐ１と第２撮影画像Ｐ２とが格納されている。

ここで、撮影画像とは、上述のように利用者端末装置３００においてカメラで撮影され、情報処理装置１００に送信された撮影画像（写真）であるが、これに限られるものではない。例えば、利用者端末装置３００において予め端末格納部３１０に格納された撮影画像が利用者端末装置３００から情報処理装置１００に送信され、その画像が撮影画像とされてもよい。また、利用者端末装置３００において指定されたネットワーク上におけるロケーションに存在する画像を情報処理装置１００が取得して、撮影画像として画像格納部１１１に格納されてもよい。

取得情報格納部１１３には、後述のように、情報出力機能に関して用いられる種々の情報が格納される。例えば、撮影画像から取得されたオブジェクト識別子が、その撮影画像に対応付けて格納される。また、利用者端末装置３００から送信された方法情報や、撮影画像に関する順序情報などが格納される。

出力情報格納部１１５には、後述のように、情報出力機能によって取得された出力情報が格納される。本実施の形態においては、情報出力機能によって利用者端末装置３００に送信される出力情報が格納される。

取得パターン格納部１１７には、例えば後述するように情報出力機能において用いられる取得パターンが格納される。取得パターンは、予め取得パターン格納部１１７に格納されていてもよいし、情報出力機能を利用するユーザによる操作に基づいて利用者端末装置３００から送信された情報に基づいて格納されてもよい。

取得パターンとは、情報出力機能における、２以上のオブジェクト識別子を用いた検索情報の検索態様（検索方法）と出力情報の出力内容（出力方法）との少なくとも一方を規定するものである。

取得パターンとして、様々なものを用いることができる。すなわち、例えば、取得パターンとして、２以上のオブジェクト識別子を用いて検索を行うときに使用する検索エンジンに関する情報や、オブジェクト識別子のほかに指定する検索条件などが規定されうる。

また、取得パターンにおいては、２以上のオブジェクト識別子について、後述のような、２以上の撮影画像について決定された順序（順序情報）に基づいた規定を行うようにしてもよい。例えば、２つの撮影画像についてそれぞれ１つのオブジェクト識別子が取得される場合において、１番目の撮影画像についてのオブジェクト識別子（１番目のオブジェクト識別子ということがある）と２番目の撮影画像についてのオブジェクト識別子（２番目のオブジェクト識別子ということがある）とを、検索においてそれぞれどのように用いるかを規定することができる。具体的には、例えば、１番目のオブジェクト識別子が表すものについて、２番目のオブジェクト識別子で表される検索コンテキスト（例えば、検索する場所、範囲、観点などをいうが、これに限られるものではない。）に基づいて情報の検索を行う、などというような規定を行うことができる。

取得パターンの具体例について説明する。

図３は、同情報システム１における情報出力機能で用いられる取得パターンの具体例について説明する表である。

図３に示される表において、第１のオブジェクト識別子が「＄ＯＢＪ１」として、第２のオブジェクト識別子が「＄ＯＢＪ２」として、出力情報が「＄ｏｕｔｐｕｔ」として表されている。その他、情報処理装置１００で実行されるプログラムまたは利用者端末装置３００で実行されるプログラムにおいて、以下のとおり、所定の処理を行うための所定の関数が予め定められているものとする。

例えば、図３に示される例においては、第２のオブジェクト識別子が、表のいずれかの行に規定されているものに一致するとき、それに対応するものとして規定されている出力情報が、第１のオブジェクト識別子の内容に基づいて取得される。すなわち、第２のオブジェクト識別子に所定の関数が対応付けられているとき、その関数を出力情報としたり、その関数の戻り値を出力情報としたりすることができる。

例えば、第２のオブジェクト識別子が「道」であるとき、出力情報として、利用者端末装置３００の位置情報（「＄ｇｅｏｍｅｔｒｙ」）と第１のオブジェクト識別子とを引数とする関数「ｎａｖｉ」が出力情報とされる。例えばこの関数が出力情報として利用者端末装置３００に渡されると、利用者端末装置３００において、利用者端末装置３００の位置から、第１のオブジェクト識別子で検索される地点までの道順が示されるようにすることができる。

また、例えば、第２のオブジェクト識別子が特定の通信販売ウェブサイトである「ショップＡ」であるとき、出力情報として、第１のオブジェクト識別子をクエリとして含む通信販売ウェブサイトのウェブページのＵＲＩを引数とする関数「ｓｈｏｐｓｅａｒｃｈ」が出力情報とされる。例えばこの関数が出力情報として利用者端末装置３００に渡されると、利用者端末装置３００において機能するウェブブラウザにおいて、ＵＲＩが示すウェブページが表示されるようにすることができる。

また、例えば、第２のオブジェクト識別子が「カタログ」であるとき、出力情報として、所定のアプリ名と第１のオブジェクト識別子に基づいて検索される品物ＩＤ（「ｉｔｅｍ＿ｉｄ（＄ＯＢＪ１）」）とを引数として、利用者端末装置３００において所定のアプリ名のアプリを起動させる関数「ｓｔａｒｔ＿ａｐｐ」が出力情報とされる。

また、例えば、第２のオブジェクト識別子が「表」であるとき、出力情報として、第１のオブジェクト識別子についての検索結果を引数として表を作成して利用者端末装置３００において表示させる関数「ｍａｋｅ＿ｔａｂｌｅ」が出力情報とされる。

なお、情報出力機能の利用時に使用する取得パターンは、ユーザによって指定可能であってもよい。この場合、例えば、利用者端末装置３００においてユーザによる指定を受け付けて、利用者端末装置３００から送信される方法情報において取得パターンが指定されるようにしてもよい。

他方、情報出力機能の利用時に使用する取得パターンは、情報取得部１２４が自動的に決定するようにしてもよい。この場合には、例えば、情報取得部１２４が、オブジェクト識別子取得処理において取得されたオブジェクト識別子の数や種類に応じて、用いることができる取得パターンを指定するようにしてもよい。

また、単一の取得パターンのみが規定されており、常に同じ態様で情報の検索が行われるように規定されていてもよい。

処理部１２０は、識別子取得部１２１、順序取得部１２２、方法取得部１２３、情報取得部１２４、及び情報出力部１２５を有している。

処理部１２０及びその各部は、通常、ＭＰＵやメモリ等から実現されうる。処理部１２０及びその各部の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現してもよい。

識別子取得部１２１は、例えば以下に説明するようにして、画像格納部１１１に格納された１又は２以上の撮影画像から、オブジェクトを識別する２以上のオブジェクト識別子を取得する。本実施の形態においては、識別子取得部１２１は、画像格納部１１１に格納された２以上の撮影画像のそれぞれからオブジェクト識別子を取得する。識別子取得部１２１は、取得した２以上のオブジェクト識別子を取得情報格納部１１３に格納する。

本実施の形態においては、例えば、識別子取得部１２１は、オブジェクト認識技術を用いてオブジェクト識別子を取得する。

オブジェクト認識技術としては、例えば、パターンマッチング技術などを用いることができる。例えば、画像から特徴量を抽出し、予め保有するデータベースを参照して適合度が高いレコードに関連付けられているオブジェクト識別子を取得するようにしてもよい。また、オブジェクト認識技術として、機械学習のアルゴリズムを利用したものを用いることができる。これにより、的確に、撮影画像からオブジェクト識別子を取得することができる。

機械学習のアルゴリズムの利用については、例えば次のようにすることができる。すなわち、撮影画像を入力とし、オブジェクト識別子を出力とする学習器を、機械学習のアルゴリズムにより構成する。例えば、撮影画像と、オブジェクト識別子との組の情報を２以上、取得し、当該取得した２組以上の情報を、機械学習の学習器を構成するためのモジュールに与え、学習器を構成し、格納部１１０に蓄積する。なお、機械学習のアルゴリズムは、例えば、深層学習、ランダムフォレスト、ＳＶＲ等、問わない。また、機械学習のモジュールは、例えば、ＴｅｎｓｏｒＦｌｏｗのモジュール、ｆａｓｔｔｅｘｔ、ｔｉｎｙ＿ｓｖｍ、各種のｒａｎｄｏｍＦｏｒｅｓｔ関数等、種々のものを用いることができる。なお、学習器は分類器ということもできる。

なお、各撮影画像についてのオブジェクト識別子の取得態様が規定されていてもよい。例えば、各撮影画像についてオブジェクト認識技術を用いる場合に、取得するオブジェクト識別子の種類（例えば、物体の名称に対応するものであるのか、色名に対応するものであるのか、コンテキストを示すものであるのか、など）が規定されるようにしてもよい。

また、このようなオブジェクト識別子の取得態様に関する規定は、順序情報に基づく各撮影画像において個別に規定可能であってもよい（例えば、１番目の撮影画像については物体名に対応するオブジェクト識別子を取得し、２番目の撮影画像についてはコンテキストを示すオブジェクト識別子を取得するなど）。換言すると、処理対象の撮影画像の順序（何番目の撮影画像であるか）に応じて、オブジェクト識別子の取得態様を設定してもよい。例えば、赤いバラの花が写っている撮影画像について、その撮影画像が１番目の撮影画像であれば「バラ」や「花」をオブジェクト識別子として取得し、２番目の撮影画像であれば「赤色」をオブジェクト識別子として取得するというように、オブジェクト識別子の取得態様を設定することができる。すなわち、１枚目の撮影画像であれば写っている物を具体的に表すオブジェクト識別子を取得し、２枚目の撮影画像であれば色や状態などを表すオブジェクト識別子を取得するようにしてもよい。

このようなオブジェクト識別子の取得態様の設定は、例えば、予め取得パターン格納部１１７に格納されている取得パターンに基づいて行われるようにしてもよい。取得パターンとして、又は取得パターンに関連付けて、各撮影画像についてのオブジェクト識別子の取得態様が規定されていてもよい。また、取得パターンによらず、例えば利用者端末装置３００から送信されたユーザの指定操作に基づく情報に基づいて行われるようにしてもよい。

順序取得部１２２は、例えば以下に説明するようにして、２以上の撮影画像の順序を決定する。順序取得部１２２は、決定した順序と各撮影画像とを対応付けて、取得情報格納部１１３に格納する。

本実施の形態において、例えば、順序取得部１２２は、ユーザにより指定された２以上の撮影画像の順序に関する順序情報を取得し、順序情報に基づいて２以上の撮影画像の順序を決定する。例えば、２以上の撮影画像の順序は、利用者端末装置３００をユーザが操作することによって指定されてもよいし、指定したい順序に一致するようにユーザが撮影することにより指定されてもよい。後者の場合においては、例えば、撮影画像の順序を、撮影順に対応するものとすることができる。

なお、例えば、順序取得部１２２は、利用者端末装置３００から２以上の撮影画像が格納されている送信ファイルを情報処理装置１００が受信するように構成されている場合において、その送信ファイルにおける撮影画像の格納順等に基づいて２以上の撮影画像の順序を決定するようにしてもよい。また、例えば、順序取得部１２２は、利用者端末装置３００にて設けられた送信用バッファへの撮影画像の受付順や、情報処理装置１００に設けられた受信用バッファへの撮影画像の受付順に基づいて、２以上の撮影画像の順序を決定するようにしてもよい。２以上の撮影画像の順序の決定方法についてはこれに限られず、適宜設定することができる。

方法取得部１２３は、ユーザにより指定された、情報出力機能における２以上のオブジェクト識別子の組み合わせ方法に関する方法情報を取得する。方法取得部１２３は、例えば、利用者端末装置３００から送信された取得された方法情報を受信する。取得された方法情報は、取得情報格納部１１３に格納される。

なお、ここで、組み合わせ方法としては、例えば、２以上のオブジェクト識別子の少なくとも２つについて、「ＡＮＤ」条件で用いて出力情報の取得を行う方法や「ＯＲ」条件で用いて出力情報の取得を行う方法が該当するが、これらに限られない。例えば、順序情報に基づいて、２以上のオブジェクト識別子のうち所定の順番の撮影画像について取得されたオブジェクト識別子に関連するものを除くようにして出力情報の取得を行う方法などを採用するようにしてもよい。このような組み合わせ方法を識別する情報（識別子）が、方法情報として取得情報格納部１１３に格納される。

情報取得部１２４は、例えば以下に説明するようにして、識別子取得部１２１により取得された２以上のオブジェクト識別子を用いて、出力情報を取得する。取得された出力情報は、出力情報格納部１１５に格納される。

本実施の形態においては、情報取得部１２４は、順序取得部１２２により取得された順序情報に基づいて、出力情報を取得する。また、本実施の形態において、情報取得部１２４は、方法取得部１２３により取得された方法情報に基づいて、出力情報を取得する。なお、順序情報や方法情報によらずに出力情報の取得が行われるようにしてもよい。

出力情報とは、情報出力機能により情報処理装置１００が出力する情報である。出力情報は、例えば、利用者端末装置３００において端末表示部３３０に出力表示画面を表示させるために用いられる情報であるが、これに限られない。例えば、電子メールとして出力（送信）される情報であってもよいし、用紙にプリントされて出力される文書データを構成する情報であってもよいし、音声を出力するための情報やオーディオデータであってもよい。

出力情報の取得とは、情報処理装置１００が装置内で出力情報を生成することであってもよいし、ネットワークを介して通信可能な他の装置から出力情報を受信することであってもよい。

例えば、情報取得部１２４は、情報出力機能において使用すると設定された取得パターンにおいて規定されている、２以上のオブジェクト識別子を用いた検索情報の検索態様又は出力情報の出力内容に基づいて、出力情報を取得する。具体的には、例えば、取得パターンにおいて、１番目のオブジェクト識別子が表すものについて、２番目のオブジェクト識別子で表される検索コンテキストに基づいて情報の検索を行うことが規定されている場合には、２番目のオブジェクト識別子で表される検索コンテキストに基づいて、１番目のオブジェクト識別子が表すものに関する情報を検索し、その検索結果を出力情報として取得することができる。この場合、出力情報とは、例えば、検索結果を表すウェブページのＵＲＩであってもよいし、検索結果を所定のデータ形式で表すデータファイルやそのデータファイルの所在を示す情報であってもよい。

情報出力部１２５は、情報取得部１２４が取得した出力情報を出力する。

出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。

本実施の形態においては、情報出力部１２５は、出力情報を出力情報格納部１１５から読み出して、利用者端末装置３００に送信する。

通信部１５０は、情報処理装置１００をネットワークに接続し、ネットワークに接続されている他の装置との間での通信を行えるように制御する。これにより、情報処理装置１００は、例えば利用者端末装置３００との間で情報の送受信を行うことができる。

情報システム１において、情報処理装置１００は、情報出力機能を有している。ユーザは、利用者端末装置３００を用いて、情報出力機能を利用することができる。

図４は、同情報システム１における情報出力機能の利用時の利用者端末装置３００と情報処理装置１００の動作の一例を大まかに示すシーケンス図である。

図４に示されるように、ユーザは、例えば利用者端末装置３００で動作する所定のアプリケーションプログラム（アプリ）を利用することで、情報出力機能を利用することができる。なお、これに限られず、例えば情報処理装置１００やその他の装置がウェブサーバ等として機能することにより利用者端末装置３００において利用可能となるウェブアプリケーションを利用することで情報出力機能が利用できるように構成されてもよいし、電子メールの送信など、その他の方法で情報出力機能が利用できるように構成されていてもよい。

（ステップＳ１１）利用者端末装置３００において、アプリが起動する。

（ステップＳ１２）利用者端末装置３００において、撮像部３７０が、写真撮影を行う。これにより、撮影画像が端末格納部３１０に格納される。また、本実施の形態においては、写真撮影に伴って、端末処理部３２０が、方法情報を取得する。端末処理部３２０は、方法情報を、例えば撮影画像に対応付けて端末格納部３１０に格納する。また、本実施の形態においては、写真撮影に伴って、端末処理部３２０が、順序情報を取得する。端末処理部３２０は、順序情報を、例えば撮影画像に対応付けて端末格納部３１０に格納する。

（ステップＳ１３）利用者端末装置３００において、端末格納部３１０に格納された撮影画像が、情報処理装置１００に送信される。本実施の形態においては、端末格納部３１０に格納された方法情報や順序情報も、あわせて情報処理装置１００に送信される。

このようなステップＳ１１からステップＳ１３における利用者端末装置３００のそれぞれの動作はユーザの指示操作に基づいて行われるが、これに限られるものではなく、明示の指示操作が行われなくても自動的に行われるようにしてもよい。

（ステップＳ１４）情報処理装置１００において、処理部１２０は、利用者端末装置３００から送信された撮影画像を受信（取得）する。取得された撮影画像は画像格納部１１１に格納される。本実施の形態において、利用者端末装置３００からは方法情報や順序情報も送信されている。方法取得部１２３や順序取得部１２２はこれらの情報を受信し、撮影画像に対応付けて取得情報格納部１１３に格納する。

（ステップＳ１５）情報処理装置１００において、後述するように、画像格納部１１１に格納された撮影画像を用いて出力情報が取得される。そして、情報出力部１２５は、出力情報を利用者端末装置３００に送信する。

（ステップＳ１６）利用者端末装置３００において、端末処理部３２０は、情報処理装置１００から送信された出力情報を取得し、端末格納部３１０に格納する。そして、端末処理部３２０は、例えば、端末表示部３３０に、出力情報に基づいて画面表示を行う。これにより、出力情報をユーザが確認することができる。この処理が終了すると、情報出力機能に関する一連の動作が終了する。

このような情報出力機能が利用される場合に、利用者端末装置３００における写真撮影時に、端末処理部３２０が例えば以下のようにして方法情報や順序情報を取得することができる。

図５は、同利用者端末装置３００の画面表示例を示す第１の図である。図６は、同利用者端末装置３００の画面表示例を示す第２の図である。

図５及び図６においては、写真撮影時において端末表示部３３０に表示される画面表示例が示されている。画面表示にはカメラにより撮像されているプレビュー画像（リアルタイム画像）が表示されているが、その図示は省略されている。端末表示部３３０の画面表示には、例えば、何枚目の撮影画像として撮影されるかを示す順序表示Ｄ１と、シャッタボタンＤ２と、方法選択ボタンＤ３と、画像特定ボタンＤ４とが含まれる。これらは、画像として、プレビュー画像にオーバレイされて表示される。なお、各表示の有無や表示態様等については、これに限られず、適宜設定することができる。

ユーザは、シャッタボタンＤ２、方法選択ボタンＤ３、及び画像特定ボタンＤ４について、タッチ操作を行うことで、それぞれに対応する動作を端末処理部３２０に実行させることができる。

シャッタボタンＤ２が操作されると、シャッタが切られ、その時点でカメラにより撮像されている画像が、撮影画像として取得される。

方法選択ボタンＤ３は、撮影により得られる撮影画像に対応するオブジェクト識別子の情報取得時における利用方法についてユーザによる指定を受け付けるためのボタンである。本実施の形態においては、複数のオブジェクト識別子を「ＡＮＤ」条件で用いる（「ＡＮＤモード」と呼ぶ）か、「ＯＲ」条件で用いる（「ＯＲモード」と呼ぶ）かを指定可能となっている。

画像特定ボタンＤ４は、例えば利用者端末装置３００において予め撮影されて端末格納部３１０に格納されている撮影画像を、情報出力機能において利用するために特定するためのボタンである。ユーザは、シャッタボタンＤ２を操作して撮影した撮影画像を用いるのに代えて、端末格納部３１０に格納されている撮影画像を特定することで、情報出力機能において利用することができる。

図５においては、１枚目の撮影を行う場合であって、方法選択ボタンＤ３で「ＡＮＤモード」が指定されている場合の画面表示が示されている。順序表示Ｄ１には、１枚目の撮影を行う旨と「ＡＮＤモード」が指定されている旨とが表示されているが、いずれか一方のみが表示されていてもよい。この場合において、ユーザによりシャッタボタンＤ２の操作や、画像選択ボタンＤ４の利用により撮影画像の特定が行われると、端末処理部３２０は、撮影された撮影画像や特定された撮影画像について、情報出力機能において用いられる１枚目の撮影として順序情報を取得する。また、端末処理部３２０は、方法情報として、複数のオブジェクト識別子を「ＡＮＤ」条件で用いる旨の情報を取得する。

図６においては、２枚目の撮影を行う場合であって、方法選択ボタンＤ３で「ＯＲモード」が指定されている場合の画面表示が示されている。順序表示Ｄ１には、２枚目の撮影を行う旨と「ＯＲモード」が指定されている旨とが表示されているが、いずれか一方のみが表示されていてもよい。この場合において、ユーザによりシャッタボタンＤ２の操作や、画像選択ボタンＤ４の利用により撮影画像の特定が行われると、端末処理部３２０は、撮影された撮影画像や特定された撮影画像について、情報出力機能において用いられる２枚目の撮影として順序情報を取得する。また、端末処理部３２０は、方法情報として、複数のオブジェクト識別子を「ＯＲ」条件で用いる旨の情報を取得する。

なお、方法情報は、各撮影画像に対応づけて取得されるようにしてもよいし、各回の情報出力機能の利用について１つの方法情報が取得されるようにしてもよい。後者の場合には、各回の情報出力機能の利用について複数の撮影画像が用いられるとき、いずれか１つの撮影画像に対応付けて方法情報が取得されるようにしてもよいし、各撮影画像に対応付けて方法情報が取得されるようにしてもよい。

また、各回の情報出力機能の利用について複数の撮影画像が用いられるとき、カメラによる撮影や既に格納されている撮影画像の特定操作により、用いられる複数の撮影画像が選択された後、選択された複数の撮影画像のそれぞれの順序を指定する操作をユーザから受け付け、その結果に基づいて端末処理部３２０が順序情報を取得するようにしてもよい。撮影画像の順序を指定する方法はこれに限られない。

利用者端末装置３００から情報処理装置１００への撮影画像等の送信は、各回の情報出力機能の利用について用いられる撮影画像が利用者端末装置３００において選択される度に行われてもよいし、用いられる複数の撮影画像の全てが選択された後で一括して行われるようにしてもよい。

図７は、同情報処理装置１００の情報出力機能に関する動作の一例を示すフローチャートである。

図７に示されるように、情報処理装置１００は、情報出力機能を実現する際、次のように動作する。

（ステップＳ１０１）処理部１２０は、利用者端末装置３００から送信された撮影画像等を受信したか否かを判断する。受信していない場合には、判断を繰り返し行い、受信した場合には、ステップＳ１０２に進む。

（ステップＳ１０２）処理部１２０は、受信した撮影画像を、画像格納部１１１に格納する。また、方法取得部１２３や順序取得部１２２は、受信した方法情報や順序情報を、撮影画像に対応付けて取得情報格納部１１３に格納する。なお、各回の情報出力機能の実行に用いるものとして複数の撮影画像を受信した場合には、処理部１２０は、それらの複数の撮影画像を互いに関連付けて格納する。

（ステップＳ１０３）識別子取得部１２１は、オブジェクト識別子取得処理を行う。オブジェクト識別子取得処理については、後述する。

（ステップＳ１０４）情報取得部１２４は、オブジェクト識別子取得処理で取得されたオブジェクト識別子に基づいて、出力情報取得処理を行う。出力情報取得処理については、後述する。

（ステップＳ１０５）情報出力部１２５は、出力情報取得処理で取得された出力情報を、利用者端末装置３００に送信する。一連の処理を終了する。

図８は、同情報処理装置１００が行うオブジェクト識別子取得処理の一例を示すフローチャートである。

（ステップＳ２０１）識別子取得部１２１は、カウンタｉに１を代入する。

（ステップＳ２０２）識別子取得部１２１は、ｉ番目の撮影画像が、各回の情報出力機能の実行に用いるものとして画像格納部１１１に存在するか否かを判断する。ｉ番目の撮影画像が存在する場合はステップＳ２０３に進み、ｉ番目の撮影画像が存在しない場合は、オブジェクト識別子取得処理を終了する（図７のステップＳ１０４に進む）。

（ステップＳ２０３）識別子取得部１２１は、ｉ番目の撮影画像を画像格納部１１１から取得する。

（ステップＳ２０４）識別子取得部１２１は、ｉ番目の撮影画像について、オブジェクト認識技術により、オブジェクト識別子を取得する。

（ステップＳ２０５）識別子取得部１２１は、取得したオブジェクト識別子をｉ番目のオブジェクト識別子として、ｉ番目の撮影画像に対応付けて格納部１１０に格納する。オブジェクト識別子は、例えば、取得情報格納部１１３に格納される。

（ステップＳ２０６）識別子取得部１２１は、カウンタｉを、１インクリメントする。ステップＳ２０２に戻る。

図９は、同情報処理装置１００が行う出力情報取得処理の一例を示すフローチャートである。

（ステップＳ４０１）情報取得部１２４は、カウンタｋに１を代入する。

（ステップＳ４０２）情報取得部１２４は、ｋ番目のオブジェクト識別子が、各回の情報出力機能の実行に用いるものとして取得情報格納部１１３に存在するか否かを判断する。ｋ番目のオブジェクト識別子が存在する場合はステップＳ４０３に進み、ｋ番目のオブジェクト識別子が存在しない場合は、ステップＳ４０５に進む。

（ステップＳ４０３）情報取得部１２４は、ｋ番目のオブジェクト識別子を取得情報格納部１１３から取得する。

（ステップＳ４０４）情報取得部１２４は、カウンタｋを、１インクリメントする。ステップＳ４０２に戻る。

（ステップＳ４０５）情報取得部１２４は、方法情報を、取得情報格納部１１３から取得する。

（ステップＳ４０６）情報取得部１２４は、取得パターンを、取得パターン格納部１１７から取得する。

（ステップＳ４０７）情報取得部１２４は、取得した取得パターンと方法情報とに従って、取得した２以上のオブジェクト識別子を用いて情報を検索し、探し出した情報（検索情報と呼ぶ）を取得する。

（ステップＳ４０８）情報取得部１２４は、探し出した検索情報に基づいて、出力情報を生成する。情報取得部１２４は、生成した出力情報を出力情報格納部１１５に格納する。出力情報取得処理を終了する（図７のステップＳ１０５に進む）。

なお、図８及び図９に示されている処理において、「ｉ番目」や「ｋ番目」とは、各回の情報出力機能の実行に用いられる複数の撮影画像の順序に対応するものとすればよく、この場合、順序情報に従って複数の撮影画像について順番にオブジェクト識別子が取得されるが、これに限られるものではない。オブジェクト識別子が取得される順番と、順序情報に基づく撮影画像の順序とが異なっていてもよい。

本実施の形態によれば、このように、撮影画像から２以上のオブジェクト識別子が取得され、オブジェクト識別子に基づいて出力情報が生成され、出力される。したがって、情報処理装置１００から、撮影画像の内容に応じて取得された情報を出力することができる。そして、利用者端末装置３００において出力情報に基づいて画面表示が行われ、ユーザは、画像を撮影したり選択する操作を行うだけで、出力情報に基づく情報を得ることができる。言語により表現された情報の入力が求められる通常の情報の入力方法を用いた情報システムにより得られるものとは異なる、斬新なユーザエクスペリエンスが情報システム１において提供される。

本実施の形態では、２以上の撮影画像から取得した２以上のオブジェクト識別子を用いて、情報を出力することができる。撮影画像中において最も特徴的な１つのオブジェクトについて１つのオブジェクト識別子を取得するようにすることで、撮影画像において映り込んだユーザの意図しないオブジェクトについて取得されることを防ぐことができ、よりユーザの意図に即した情報の出力を行うことができる。

本実施の形態では、順序情報に基づいて出力情報が取得される。したがって、２以上のオブジェクト識別子を用いて複数通りの情報の取得態様で出力情報を取得することができる。

本実施の形態では、２以上のオブジェクト識別子の組み合わせ方法に関する方法情報に基づいて、情報を出力することができる。ユーザの指定操作により２以上のオブジェクト識別子の用い方を調整し、ユーザの意図した方法で情報を取得し、出力することができる。

以下、本実施の形態における情報システム１で行われうる情報出力機能の利用シーンの具体例について説明する。

（第１の具体例）

第１の具体例では、１番目の撮影画像（第１撮影画像Ｐ１）に含まれるオブジェクトについて、２番目の撮影画像（第２撮影画像Ｐ２）に含まれるオブジェクトに対応する通信販売ウェブサイトにおいて検索した結果を、出力情報（例えば、検索した結果のウェブページに対応するＵＲＩ）とするものである。利用者端末装置３００においては、出力情報について端末表示部３３０で画面表示が行われる（例えば、ＵＲＩで示されるウェブページ等が表示される）。

図１０は、同情報システム１で行われうる情報出力機能の利用シーンの第１の具体例について説明するフローチャートである。

（ステップＳ５１１）まず、利用者端末装置３００で、例えば、花を含む写真が撮影されて、第１撮影画像Ｐ１が得られる。

（ステップＳ５１２）次に、利用者端末装置３００で、例えば、ユーザが指定する通信販売ウェブサイト（指定ウェブサイトということがある）のロゴ画像を含む写真が撮影されて、第２撮影画像Ｐ２が得られる。

このように第１撮影画像Ｐ１と第２撮影画像Ｐ２とが利用者端末装置３００で取得されると、第１撮影画像Ｐ１と第２撮影画像Ｐ２とが、他の情報（例えば、方法情報や順序情報など）とともに情報処理装置１００に送信される。そうすると、情報処理装置１００において、第１撮影画像Ｐ１と第２撮影画像Ｐ２とのそれぞれについてオブジェクト識別子が取得される。第１の具体例では、花について指定ウェブサイトにおいて検索した結果が、出力情報として利用者端末装置３００に送信される。

（ステップＳ５１３）そうすると、利用者端末装置３００で、花について指定ウェブサイトにおいて検索した結果について、端末表示部３３０で画面表示が行われる。

図１１は、同第１の具体例における第１撮影画像Ｐ１を示す図である。

図１１に示されるように、花の写真が撮影され、第１撮影画像Ｐ１とされる。このような第１撮影画像Ｐ１についてオブジェクト識別子取得処理が行われ、例えば「花」が第１オブジェクト識別子として取得される。

図１２は、同第１の具体例における第２撮影画像Ｐ２を示す図である。

図１２に示されるように、指定ウェブサイトのロゴ画像が撮影され、第２撮影画像Ｐ２とされる。このような第２撮影画像Ｐ２についてオブジェクト識別子取得処理が行われると、ロゴ画像が示す通信販売ウェブサイトを特定する名称（通信販売ウェブサイトのＵＲＩなどの符号であってもよい）が第２オブジェクト識別子として取得される。

図１３は、同第１の具体例における利用者端末装置３００の出力情報についての画面表示Ｒ１を示す図である。

図１３に示されるように、出力情報についての画面表示Ｒ１は、利用者端末装置３００の端末表示部３３０に表示される。画面表示Ｒ１は、花について指定ウェブサイトにおいて検索した結果を表すものである。これにより、ユーザは、２つの撮影画像Ｐ１，Ｐ２に基づいて、検索した結果を得ることができる。

（第２の具体例）

第２の具体例では、１番目の撮影画像（第１撮影画像Ｐ１）に含まれるオブジェクトに関する、２番目の撮影画像（第２撮影画像Ｐ２）に含まれるオブジェクトに対応する観点の情報を検索した結果を、出力情報とするものである。

図１４は、同情報システム１で行われうる情報出力機能の利用シーンの第２の具体例について説明するフローチャートである。

（ステップＳ５２１）まず、利用者端末装置３００で、例えば、名所を含む写真が撮影されて、第１撮影画像Ｐ１が得られる。例えば、歴史的に有名な寺院などの建築物や、有名な展望台からの眺望などを撮影することができる。印刷物等に印刷されているものであってもよい（すなわち、実際の風景等ではなくてもよい）。

（ステップＳ５２２）次に、利用者端末装置３００で、例えば、道路の風景を示す写真が撮影されて、第２撮影画像Ｐ２が得られる。

そうすると、上述のように、これらの情報を利用者端末装置３００から受信した情報処理装置１００において、オブジェクト識別子が取得され、出力情報が利用者端末装置３００に送信される。本具体例では、第１撮影画像Ｐ１に含まれる名所のロケーションを示す情報が、出力情報として出力される。

（ステップＳ５２３）そうすると、利用者端末装置３００で、名所までの経路を示す地図が、端末表示部３３０で表示される。なお、名所までの経路を示す地図の画像データ等が情報処理装置１００から送信され、利用者端末装置３００がその画像データを画面表示として表示するようにしてもよい。

図１５は、同第２の具体例における第１撮影画像Ｐ１を示す図である。

図１５に示されるように、例えば名所である寺院を含む写真が撮影され、第１撮影画像Ｐ１とされる。このような第１撮影画像Ｐ１についてオブジェクト識別子取得処理が行われ、例えば名所の名前が第１オブジェクト識別子として取得される。

図１６は、同第２の具体例における第２撮影画像Ｐ２を示す図である。

図１６に示されるように、道路を含む写真が撮影され、第２撮影画像Ｐ２とされる。このような第２撮影画像Ｐ２についてオブジェクト識別子取得処理が行われると、例えば、「道路」が第２オブジェクト識別子として取得される。

図１７は、同第２の具体例における利用者端末装置３００の出力情報についての画面表示Ｒ１を示す図である。

図１７に示されるように、出力情報についての画面表示Ｒ１は、撮影された名所についての場所を検索した結果を表すものである。ここではさらに、検索した場所までの経路を結果として表すことができる。このように、ユーザは、２つの撮影画像Ｐ１，Ｐ２に基づいて、検索した結果を得ることができる。

（第３の具体例）

第３の具体例では、１番目の撮影画像（第１撮影画像Ｐ１）に含まれるオブジェクトに対応するもののうち、２番目の撮影画像（第２撮影画像Ｐ２）に含まれるオブジェクトに対応する観点で検索情報の絞り込みを行った結果を、出力情報とするものである。

図１８は、同情報システム１で行われうる情報出力機能の利用シーンの第３の具体例について説明するフローチャートである。

（ステップＳ５２１）まず、利用者端末装置３００で、例えば、洋服を含む写真が撮影されて、第１撮影画像Ｐ１が得られる。例えば、ビジネススーツなどを撮影することができる。

（ステップＳ５２２）次に、利用者端末装置３００で、例えば、人物の笑顔を示す笑顔写真が撮影されて、第２撮影画像Ｐ２が得られる。笑顔写真としては、例えば、簡便な方法として、ユーザが利用者端末装置３００でセルフィーを撮影（いわゆる自撮り）したものを用いることができるが、これに限られるものではない。

そうすると、上述のように、これらの情報を利用者端末装置３００から受信した情報処理装置１００において、オブジェクト識別子が取得され、出力情報が利用者端末装置３００に送信される。本具体例では、第１撮影画像Ｐ１に含まれる洋服についての所定の検索エンジン等における検索結果のうち、第２撮影画像Ｐ２から取得されたオブジェクト識別子に対応する絞り込み観点で絞り込みを行った結果（当該絞り込み観点に対応するものについてさらに検索を行った結果）を示す情報が、出力情報として出力される。具体的には、例えば、笑顔写真からの印象を示すオブジェクト識別子として「人気がある」が取得され、この点を絞り込み観点として、人気のある洋服を示す情報が出力情報として出力される。出力情報としては、例えば、当該洋服の画像が掲載されているウェブページ又は画像そのものを示すＵＲＩなどであってもよいし、所定の通信販売ウェブサイト等で当該洋服を特定する識別符号等であってもよい。

（ステップＳ５２３）そうすると、利用者端末装置３００で、例えば、人気のある洋服の画像等が、端末表示部３３０で表示される。

図１９は、同第３の具体例における第１撮影画像Ｐ１を示す図である。

図１９に示されるように、例えば洋服であるビジネススーツを含む写真が撮影され、第１撮影画像Ｐ１とされる。このような第１撮影画像Ｐ１についてオブジェクト識別子取得処理が行われると、例えば、「洋服」が第１オブジェクト識別子として取得される。

図２０は、同第３の具体例における第２撮影画像Ｐ２を示す図である。

図２０に示されるように、ユーザの笑顔写真が撮影され、第２撮影画像Ｐ２とされる。このような第２撮影画像Ｐ２についてオブジェクト識別子取得処理が行われると、例えば、「人気がある」が第２オブジェクト識別子として取得される。

図２１は、同第３の具体例における利用者端末装置３００の出力情報についての画面表示Ｒ１を示す図である。

図２１に示されるように、出力情報についての画面表示Ｒ１は、検索により得られた、人気のある洋服を表す画像である。なお、１つの洋服のみでなく、複数の洋服を表示するようにしてもよい。

なお、本具体例において、第１オブジェクト識別子として「スーツ」が取得されてもよい。このような場合において、人気のあるスーツの情報について画面表示Ｒ１が行われるようにしてもよいし、情報取得部１２４において「スーツ」を上位概念化した検索範囲を採用して、結果として図２１に表されるように人気のある洋服の情報について画面表示Ｒ１が行われるようにしてもよい。どのような検索態様を採用するかは、例えば、取得パターンなどにおいて規定することができる。

また、本具体例において、第２オブジェクト識別子として「笑顔」などが取得されてもよい。このような場合においても、「笑顔」に対応するイメージとして「人気がある」を予め対応付けておくなどし、「人気がある」を絞り込み観点として用いることで、上述と同様の結果を得ることができる。また、予め、第２撮影画像Ｐ２からオブジェクト識別子を取得する際には人物の表情に対応するコンテキストを表現するものを取得するというように規定しておくことにより、そのようなコンテキストを表現する第２オブジェクト識別子を的確に取得させることができる。例えば、取得パターンなどにおいてそのような規定を行ってもよい。

（第４の具体例）

第４の具体例では、３つの撮影画像を用いる。本具体例では、１番目の撮影画像（第１撮影画像Ｐ１）に含まれるオブジェクトについて、２番目の撮影画像（第２撮影画像Ｐ２）に含まれるオブジェクトに関連する情報を検索した結果を、３番目の撮影画像（以下、第３撮影画像Ｐ３という）に含まれるオブジェクトに対応する態様で出力情報として出力するものである。

図２２は、同情報システム１で行われうる情報出力機能の利用シーンの第４の具体例について説明するフローチャートである。

（ステップＳ５４１）まず、利用者端末装置３００で、例えば、電動工具を含む写真が撮影されて、第１撮影画像Ｐ１が得られる。

（ステップＳ５４２）次に、利用者端末装置３００で、例えば、工具の商品カタログを含む写真が撮影されて、第２撮影画像Ｐ２が得られる。

（ステップＳ５４３）さらに、利用者端末装置３００で、例えば、表を示す写真が撮影されて、第３撮影画像Ｐ３が得られる。

そうすると、上述のように、これらの情報を利用者端末装置３００から受信した情報処理装置１００において、オブジェクト識別子が取得され、出力情報が利用者端末装置３００に送信される。本具体例では、第１撮影画像Ｐ１として撮影された電動工具について、第２撮影画像Ｐ２として撮影されたカタログに掲載されているべき情報を検索した結果を表形式のフォーマットで表す情報が、出力情報として出力される。

（ステップＳ５４４）そうすると、利用者端末装置３００で、撮影された電動工具の情報が、表形式のフォーマットで、端末表示部３３０に表示される。

図２３は、同第４の具体例における第１撮影画像Ｐ１を示す図である。

図２３に示されるように、例えば電動工具である充電池式電動ドリルを含む写真が撮影され、第１撮影画像Ｐ１とされる。このような第１撮影画像Ｐ１についてオブジェクト識別子取得処理が行われ、例えば充電池式電動ドリルの品番が第１オブジェクト識別子として取得される。

図２４は、同第４の具体例における第２撮影画像Ｐ２を示す図である。

図２４に示されるように、工具の商品カタログを含む写真が撮影され、第２撮影画像Ｐ２とされる。このような第２撮影画像Ｐ２についてオブジェクト識別子取得処理が行われると、例えば、「商品カタログ」が第２オブジェクト識別子として取得される。

図２５は、同第４の具体例における第３撮影画像Ｐ３を示す図である。

図２５に示されるように、表を含む写真が撮影され、第３撮影画像Ｐ３とされる。このような第３撮影画像Ｐ３についてオブジェクト識別子取得処理が行われると、例えば、「表」が第３オブジェクト識別子（３番目の撮影画像に対応するオブジェクト識別子）として取得される。

図２６は、同第４の具体例における利用者端末装置３００の出力情報についての画面表示Ｒ１を示す図である。

図２６に示されるように、出力情報についての画面表示Ｒ１は、撮影された電動工具について、撮影されたカタログに掲載されている情報を検索した結果を表形式のフォーマットで表したものである。なお、当該カタログに掲載されていない事項について、他の情報ソースから検索した結果を用いて情報を補完して結果を表示するようにしてもよい。このように、ユーザは、３つの撮影画像Ｐ１，Ｐ２，Ｐ３に基づいて、検索した結果を得ることができる。

（その他の具体例）

情報システム１で行われうる情報出力機能の利用シーンについての他の具体例として、上述の具体例とは一部が異なるものについて以下に説明する。

図２７は、同情報システム１で行われうる情報出力機能の利用シーンの第５の具体例について説明するフローチャートである。

第５の具体例は、上述の第２の具体例において、道路の撮影画像と名所である寺院の撮影画像とが逆の順序で選択されているものである。すなわち、第１撮影画像Ｐ１として道路を含む写真撮影が行われ（ステップＳ１５２１）、第２撮影画像Ｐ２として寺院を含む写真撮影が行われる（ステップＳ１５２２）。この場合、出力情報を、例えば、利用者端末装置３００の近隣にある寺院の位置を示す情報として、端末表示部３３０において、近隣にある寺院の位置を示す地図が表示されるようにしてもよい（ステップＳ１５２３）。なお、この場合において、情報取得部１２４は、利用者端末装置３００の現在位置を、利用者端末装置３００にてＧＰＳ（衛星利用測位システム）を利用することなどにより取得された位置情報に基づいて判断するようにすればよい。

図２８は、同情報システム１で行われうる情報出力機能の利用シーンの第６の具体例について説明するフローチャートである。

第６の具体例は、上述の第３の具体例において、笑顔の撮影画像と洋服の撮影画像とが逆の順序で選択されているものである。すなわち、第１撮影画像Ｐ１としてユーザの笑顔についての写真撮影が行われ（ステップＳ１５３１）、第２撮影画像Ｐ２として洋服を含む写真撮影が行われる（ステップＳ１５３２）。この場合、例えば、端末表示部３３０において、撮影された洋服を含む洋服についての、ユーザの試着シミュレーション画像が表示されるようにしてもよい（ステップＳ１５３３）。

図２９は、同第６の具体例における利用者端末装置３００の出力情報についての画面表示Ｒ１を示す図である。

第６の具体例において、画面表示Ｒ１としては、例えば、第１撮影画像Ｐ１として撮影されたユーザの顔部分の画像と、「洋服」について検索された画像との合成画像が、ユーザの試着シミュレーション画像として表示される。

第５の具体例や第６の具体例として示されるように、ユーザにより指定された２以上の撮影画像の順序が異なる場合には、出力情報も異なるようにしてもよい。

図３０は、同情報システム１で行われうる情報出力機能の利用シーンの第６の具体例について説明するフローチャートである。

第６の具体例は、上述の第４の具体例において、第３撮影画像Ｐ３を用いずに、第１撮影画像Ｐ１と第２撮影画像Ｐ２とを用いて情報を出力するようにしたものである。すなわち、第１撮影画像Ｐ１として電動工具を含む写真撮影が行われ（ステップＳ１５４１）、第２撮影画像Ｐ２としてカタログを含む写真撮影が行われる（ステップＳ１５４２）。この場合、例えば、端末表示部３３０において、撮影された電動工具を、撮影されたカタログに関連する通信販売ウェブサイトで発注するためのウェブページが表示されるようにしてもよい（ステップＳ１５４３）。この場合、出力情報として、例えば、当該ウェブページのＵＲＩなどが情報処理装置１００から利用者端末装置３００に送信されるようにすればよい。

このように、用いられる撮影画像の数や順番によって、検索情報の検索態様や出力情報の出力態様が異なるようにしてもよい。

なお、本実施の形態における処理は、ソフトウェアで実現してもよい。そして、このソフトウェアをソフトウェアダウンロード等により配布してもよい。また、このソフトウェアをＣＤ－ＲＯＭなどの記録媒体に記録して流布してもよい。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における情報処理装置１００を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、１以上の撮影画像が格納される画像格納部を有するコンピュータを、画像格納部に格納された撮影画像から、オブジェクトを識別する２以上のオブジェクト識別子を取得する識別子取得部と、識別子取得部により取得されたオブジェクト識別子を用いて、出力情報を取得する情報取得部と、情報取得部が取得した出力情報を出力する情報出力部として機能させるための、プログラムである。

（実施の形態２）

まず、実施の形態２の概要を、上述の実施の形態１とは異なる部分について説明する。実施の形態２では、動画中から選択された静止画が撮影画像として用いられる。シーンの切り替わり検索などにより、動画から静止画が自動選択されるようにしてもよい。本実施の形態では、動画中の静止画の選択は、情報処理装置１００において行われる。なお、利用者端末装置３００において、撮影された動画から、静止画が選択され、撮影画像として情報処理装置１００に送信されるようにしてもよい。

図３１は、実施の形態２に係る情報システム２００１を示すブロック図である。

情報システム２００１において、基本的な構成は実施の形態１の情報システム１と同じである。情報処理装置１００の格納部１１０に動画格納部２１１１が設けられており、処理部１２０に静止画選択部２１２６が設けられている点が情報システム１とは異なっている。

実施の形態２においては、情報出力機能が利用されるとき、利用者端末装置３００で動画が撮影され、動画が情報処理装置１００に送信される。処理部１２０は、受信した動画を、動画格納部２１１１に格納する。そうすると、静止画選択部２１２６が、所定の条件に従って、格納された動画から２以上の静止画を選択し、選択した静止画を撮影画像として画像格納部１１１に格納する。

すなわち、静止画選択部２１２６は、動画格納部２１１１に格納されている動画を読み込み、動画の内容を解析する。静止画選択部２１２６は、動画を解析した内容に基づいて、動画の中から静止画を選択する。本実施の形態においては、静止画選択部２１２６は、１つの動画から２つの静止画を選択する。なお、さらに多くの静止画を選択するようにしてもよいし、１つの静止画を選択するようにしてもよい。

静止画が撮影画像として画像格納部１１１に格納されると、それ以後の情報出力機能についての動作は実施の形態１と同様にして行われる。

なお、上述の所定の条件に従って動画から静止画を選択するとは、例えば以下のようにして行われればよい。すなわち、静止画選択部２１２６は、動画中において、シーンの変わり目を検出する。そして、シーンの変わり目の直後（例えば、所定フレーム後）の静止画を選択し、撮影画像として用いる。

図３２は、同静止画選択部２１２６が行う静止画の選択について説明する図である。

図３２に示されるように、例えば、シーン１（再生時間ｔ０から再生時間ｔ１まで）と、シーン２（再生時間ｔ１から再生時間ｔ２まで）と、シーン３（再生時間ｔ２以降）との３つのシーンを含む動画がある場合を想定する。静止画選択部２１２６は、動画の解析を行い、これらの３つのシーンの切り替わりタイミングである再生時間ｔ１と再生時間ｔ２とを特定する。静止画選択部２１２６は、例えば、再生時間ｔ１の所定フレーム後の静止画を第１撮影画像Ｐ１として選択し、また、再生時間ｔ２の所定フレーム後の静止画を第２撮影画像Ｐ２として選択する。なお、再生時間ｔ０の所定フレーム後の静止画も選択するようにしてもよい。

なお、例えば、動画の所定の再生時間帯のみを静止画の選択対象とするようにしたり、２以上の所定数の静止画を選択した場合において処理を終了し、以後の静止画の選択を行わないようにしてもよい。また、１つの動画から１つの静止画を選択するようにし、２以上の動画のそれぞれについて静止画を１つずつ選択し、得られた２以上の撮影画像を情報出力機能において用いるようにしてもよい。

また、動画から選択する静止画は、ユーザの操作に基づいて決定されるようにしてもよい。

このように、動画から選択された静止画を撮影画像として情報出力機能が行われ、動画中に含まれる静止画の内容に応じて情報を出力することができる。したがって、通常の情報の入力方法を用いた情報処理システムにより得られるものとは異なる、斬新なユーザエクスペリエンスを提供することができる。

なお、本実施の形態において用いられる動画は、動画ファイルとして端末格納部３１０に記憶されているものなどの録画された動画であってもよいが、これに限られない。例えば、利用者端末装置３００において静止画の選択が行われる場合において、動画ファイルとしては記憶されていない、撮像部３７０でカメラにより現在撮像されているプレビュー映像（リアルタイム画像）を処理対象の動画として、プレビュー映像から静止画を選択し、撮影画像として用いるようにしてもよい。

（実施の形態３）

まず、実施の形態３の概要を、上述の実施の形態１とは異なる部分について説明する。実施の形態３では、実施の形態１と同様の構成を有する情報システム１が用いられる。本実施の形態では、識別子取得部１２１が、撮影画像からオブジェクト識別子を取得する技術として、類似画像を検索する技術を用いる点が実施の形態１とは異なっている。

すなわち、本実施の形態において、識別子取得部１２１は、画像とその画像の内容を表すものとして予め定められた識別子とが対応付けられて記憶されている類似画像データベースを利用する。識別子取得部１２１は、類似画像データベースにおいて、撮影画像と類似度の高い画像を検索するとともに、検索により探し出された画像に対応付けられている識別子をオブジェクト識別子として取得する。

なお、類似画像データベースとしては、情報処理装置１００とは異なるサーバ等に記憶されているもの（外部の検索ウェブサービス等により利用可能となっているものを含む）を用いるようにしてもよいし、予め情報処理装置１００において構築され格納されている物を用いるようにしてもよい。

図３３は、実施の形態３に係る情報処理装置１００が行うオブジェクト識別子取得処理の一例を示すフローチャートである。

図３３において、ステップＳ１２０１からステップＳ１２０３までの処理は、上述の図８におけるステップＳ２０１からステップＳ２０３までの処理と同じであるため、説明を省略する。

（ステップＳ１２０４）識別子取得部１２１は、ｉ番目の撮影画像について、類似画像データベースを利用して、類似画像を検索する。

（ステップＳ１２０５）識別子取得部１２１は、探し出された類似画像に対応する識別子を、オブジェクト識別子として取得する。例えば、撮影画像について探し出された類似画像が、類似画像データベースにおいて「花」を検索キーワード（識別子）にして検索したときに探し出される画像であれば、その「花」がオブジェクト識別子として取得される。

（ステップＳ１２０６）識別子取得部１２１は、取得したオブジェクト識別子をｉ番目のオブジェクト識別子として、ｉ番目の撮影画像に対応付けて取得情報格納部１１３に格納する。

（ステップＳ１２０７）識別子取得部１２１は、カウンタｉを、１インクリメントする。ステップＳ１２０２に戻る。

このように、実施の形態３によれば、探し出された類似画像に対応する識別子がオブジェクト識別子として取得されるので、容易に撮影画像からオブジェクト識別子を取得することができる。

（その他）

図３４は、上記実施の形態におけるコンピュータシステム８００の概観図である。図３５は、同コンピュータシステム８００のブロック図である。

これらの図においては、本明細書で述べたプログラムを実行して、上述した種々の実施の形態の情報処理装置１００等を実現するコンピュータの構成が示されている。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現されうる。

コンピュータシステム８００は、ＣＤ－ＲＯＭドライブを含むコンピュータ８０１と、キーボード８０２と、マウス８０３と、モニタ８０４とを含む。

コンピュータ８０１は、ＣＤ－ＲＯＭドライブ８０１２に加えて、ＭＰＵ８０１３と、ＣＤ－ＲＯＭドライブ８０１２等に接続されたバス８０１４と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ８０１５と、ＭＰＵ８０１３に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ８０１６と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク８０１７とを含む。ここでは、図示しないが、コンピュータ８０１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでもよい。

コンピュータシステム８００に、上述した実施の形態の情報処理装置等の機能を実行させるプログラムは、ＣＤ－ＲＯＭ８１０１に記憶されて、ＣＤ－ＲＯＭドライブ８０１２に挿入され、さらにハードディスク８０１７に転送されてもよい。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ８０１に送信され、ハードディスク８０１７に記憶されてもよい。プログラムは実行の際にＲＡＭ８０１６にロードされる。プログラムは、ＣＤ－ＲＯＭ８１０１またはネットワークから直接、ロードされてもよい。

プログラムは、コンピュータ８０１に、上述した実施の形態の情報処理装置等の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくてもよい。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいればよい。コンピュータシステム８００がどのように動作するかは周知であり、詳細な説明は省略する。

また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。

また、上記各実施の形態において、一の装置に存在する２以上の通信手段は、物理的に一の媒体で実現されてもよいことは言うまでもない。

また、上記各実施の形態において、各処理は、単一の装置によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。

本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

上述の複数の実施の形態を適宜組み合わせた実施の形態を構成してもよい。例えば、上述の実施の形態の構成そのものに限られず、上述の実施の形態のそれぞれの構成要素を、適宜、他の実施の形態の構成要素と置換したり組み合わせたりしてもよい。また、上述の実施の形態のうち、一部の構成要素や機能が省略されていてもよい。

上述の実施の形態において、予め情報処理装置において記憶されている撮影画像や動画を利用して、情報出力機能が実行されるようにしてもよい。

上述の実施の形態において、利用者端末装置が情報出力機能に関する処理を行って、出力情報を出力するようにしてもよい。

以上のように、本発明にかかる情報処理装置等は、撮影画像の内容に応じて取得された情報を出力することができるという効果を有し、情報処理装置等として有用である。

１、２００１ 情報システム
１００ 情報処理装置
１１０ 格納部
１１１ 画像格納部
１１３ 取得情報格納部
１１５ 出力情報格納部
１１７ 取得パターン格納部
１２０ 処理部
１２１ 識別子取得部
１２２ 順序取得部
１２３ 方法取得部
１２４ 情報取得部
１２５ 情報出力部
１５０ 通信部
３００ 利用者端末装置
３１０ 端末格納部
３２０ 端末処理部
３３０ 端末表示部
３４０ 操作受付部
３５０ 端末通信部
３７０ 撮像部
２１１１ 動画格納部
２１２６ 静止画選択部
２１２６ 同静止画選択部

Claims (9)

1. ２以上の撮影画像が格納される画像格納部と、
   前記２以上の撮影画像の順序を決定する順序取得部と、
   前記画像格納部に格納された撮影画像から、オブジェクトを識別する２以上のオブジェクト識別子を取得する識別子取得部と、
   前記識別子取得部により取得されたオブジェクト識別子を用いて、出力情報を取得する情報取得部と、
   前記情報取得部が取得した出力情報を出力する情報出力部とを備え、
   前記識別子取得部は、前記画像格納部に格納された２以上の撮影画像のそれぞれから前記オブジェクト識別子を取得し、
   前記情報取得部は、前記順序取得部により決定された順序に基づいて、前記出力情報を取得する、情報処理装置。
2. ユーザにより指定された、前記２以上のオブジェクト識別子の組み合わせ方法に関する方法情報を取得する方法取得部をさらに備え、
   前記情報取得部は、前記方法取得部により取得された方法情報に基づいて、前記出力情報を取得する、請求項１に記載の情報処理装置。
3. 前記２以上の撮影画像は、カメラにより撮影された写真である、請求項１又は２に記載の情報処理装置。
4. 前記２以上の撮影画像は、カメラにより撮影された動画の中から選択された静止画である、請求項１又は２に記載の情報処理装置。
5. 前記動画の中から静止画を選択する静止画選択部をさらに備え、
   前記静止画選択部は、所定の条件に従って前記静止画の選択を行う、請求項４に記載の情報処理装置。
6. 前記識別子取得部は、オブジェクト認識技術を用いて前記オブジェクト識別子を取得する、請求項１から５のいずれか１項に記載の情報処理装置。
7. 前記識別子取得部は、画像とその画像の内容を表すものとして予め定められた識別子とが対応付けられて記憶されている類似画像データベースにおいて、前記撮影画像と類似度の高い画像を検索するとともに、当該検索により探し出された画像に対応付けられている識別子を前記オブジェクト識別子として取得する、請求項１から５のいずれか１項に記載の情報処理装置。
8. ２以上の撮影画像が格納される画像格納部と、順序取得部と、識別子取得部と、情報取得部と、情報出力部とにより実現される情報処理方法であって、
   前記順序取得部が、前記２以上の撮影画像の順序を決定する順序取得ステップと、
   前記識別子取得部が、前記画像格納部に格納された撮影画像から、オブジェクトを識別する２以上のオブジェクト識別子を取得する識別子取得ステップと、
   前記情報取得部が、前記識別子取得ステップにより取得されたオブジェクト識別子を用いて、出力情報を取得する情報取得ステップと、
   前記情報出力部が、前記情報取得ステップが取得した出力情報を出力する情報出力ステップと、を備え、
   前記識別子取得ステップは、前記画像格納部に格納された２以上の撮影画像のそれぞれから前記オブジェクト識別子を取得し、
   前記情報取得ステップは、前記順序取得ステップにより決定された順序に基づいて、前記出力情報を取得する、情報処理方法。
9. ２以上の撮影画像が格納される画像格納部を有するコンピュータを、
   前記２以上の撮影画像の順序を決定する順序取得部と、
   前記画像格納部に格納された撮影画像から、オブジェクトを識別する２以上のオブジェクト識別子を取得する識別子取得部と、
   前記識別子取得部により取得されたオブジェクト識別子を用いて、出力情報を取得する情報取得部と、
   前記情報取得部が取得した出力情報を出力する情報出力部として機能させるためのプログラムであって、
   前記識別子取得部は、前記画像格納部に格納された２以上の撮影画像のそれぞれから前記オブジェクト識別子を取得し、
   前記情報取得部は、前記順序取得部により決定された順序に基づいて、前記出力情報を取得する、プログラム。

Images