WO2014020945A1

WO2014020945A1 - 物品推定システム、物品推定方法、及び物品推定プログラム

Info

Publication number: WO2014020945A1
Application number: PCT/JP2013/060633
Authority: WO
Inventors: 靖之林
Original assignee: Rakuten Inc
Current assignee: Rakuten Group Inc
Priority date: 2012-07-31
Filing date: 2013-04-08
Publication date: 2014-02-06
Anticipated expiration: 2015-01-31
Also published as: US20150003729A1; JP2014029586A; US9311532B2; JP5319828B1

Description

物品推定システム、物品推定方法、及び物品推定プログラム

　本発明は、物品が撮像された画像から当該物品を特定する情報を推定する物品推定システム、物品推定方法、及び物品推定プログラムに関する。

　従来、ユーザが興味を持った商品を撮影して商品画像を商品販売サイトに送信すると、画像マッチング処理によって特定された当該商品の情報が返信されることが行われている。例えば非特許文献１に記載のサイトにおけるオンラインストアでは、本の表紙が撮影された表紙画像をユーザ端末から受信すると、画像マッチング処理によって当該本を特定して、本の概要や価格といった特徴情報をユーザ端末に返信するサービスが行われている。

Amazon.com、"Amazon_com Help AmazonMobile for the iPhone, iPad, and iPod touch"、［online］、[平成２４年６月２２日検索]、インターネット<URL:http://www.amazon.com/gp/help/customer/display.html?ie=UTF8&nodeId=200287200>

　本は、本棚等に背表紙を表に向けた状態で置かれていることが多い。このため、前述のサイトに表紙画像を送信しようとする場合、ユーザは、本の表紙を撮影するために、本を取り出して平置き状態にして撮影する手間が必要になる。そこで、表紙ではなく背表紙の画像によって本を特定できれば、ユーザの手間が省ける。更に、この場合、ユーザは複数の本の背表紙を纏めて撮影することもできる。例えば、本棚に並んだ複数の本を逐一本棚から取り出すことなく纏めて撮影することができる。

　しかし、一般的なオンラインストアには、背表紙画像がデータベースに格納されていない場合が多い。この場合、画像マッチング処理によって本を特定（推定）することは不可能である。仮に、一部の本について、背表紙画像がデータベースに格納されているオンラインストアがあったとしても、背表紙画像が格納されていない本については、画像マッチング処理によって本を推定することは不可能である。これは、本だけでなく、表紙と背表紙を有するＣＤ、ＤＶＤ等の物品全般について言えることである。

　そこで本発明は、上記の問題点を解消する為になされたものであり、本等の物品の背表紙画像からタイトルや商品コード等の物品を特定する情報を推定可能な物品推定システム、物品推定方法、及び物品推定プログラムを提供することを目的とする。

　本発明の一形態に係る物品推定システムは、表紙及び背表紙を有する複数の物品毎に、物品を特定する特定情報と当該物品に関する付加情報とを関連付けて記憶する記憶手段から当該特定情報及び当該付加情報を取得可能に構成され、複数の物品が写っている画像を取得する画像取得手段と、取得された画像から、物品が写っている画像領域を物品毎に抽出する抽出手段と、抽出された複数の画像領域を解析して解析情報を取得する解析手段と、取得された解析情報に基づいて、複数の画像領域毎に、記憶手段に記憶された複数の物品の特定情報の中から画像領域に写っている物品に該当すると推定される特定情報の候補を所定数以下に絞り込む処理を試みる第一推定手段と、第一推定手段により少なくとも一の画像領域について所定数以下に候補の絞り込みができた場合、当該候補の物品に関する付加情報を参考物品の付加情報として記憶手段から取得する情報取得手段と、少なくとも一の参考物品の付加情報が取得された場合、背表紙が写っている画像領域であって、第一推定手段により解析情報に基づいて所定数以下に候補の絞り込みができなかった画像領域について、当該解析情報に加えて参考物品の付加情報に基づいて、推定される特定情報の候補を所定数以下に絞り込む処理を試みる第二推定手段と、を備えることを特徴とする。

　本発明の一形態に係る物品推定システムによれば、画像領域を解析して得られた解析情報に基づいて、画像領域に写っている物品に該当すると推定される特定情報の候補を所定数以下に絞り込む処理が試みられる。例えば、ＯＣＲ（Optical Character Recognition：光学文字認識）等の画像解析により得られた解析情報に基づいて、特定情報の候補が絞り込まれる。これにより、画像マッチングの手法を用いずに特定情報の候補を推定することが可能となる。しかし、背表紙の画像は領域が小さいので、特定情報の候補を所定数以下に絞り込むために十分な情報を画像解析だけで得ることができない場合がある。そこで、複数の画像領域のうち少なくとも一の画像領域について、所定数以下に候補の絞り込みができた場合、その物品の候補の付加情報が、参考物品の付加情報として取得される。そして、画像領域の解析だけで物品の特定情報の候補を推定できなかった画像領域について、参考物品の付加情報も加えて推定処理が行われる。これにより、特定情報の候補を推定できなかった画像領域について、他の物品（参考物品）の付加情報が用いられるので、所定数以下の特定情報の候補に絞り込むことが可能となる。従って、本などの物品の背表紙画像からタイトルや商品コード等の物品を特定する情報を推定可能となる。

　別の形態に係る物品推定システムでは、記憶手段が記憶する付加情報には、当該物品の背表紙のサイズを示すサイズ情報が含まれており、第二推定手段は、少なくとも一の参考物品のサイズ情報が取得された場合、背表紙が写っている画像領域であって、第一推定手段により解析情報に基づいて所定数以下に候補の絞り込みができなかった画像領域について、当該解析情報に加えて参考物品のサイズ情報に基づいて、推定される特定情報の候補を所定数以下に絞り込む処理を試みてもよい。

　この形態では、少なくとも一の参考物品のサイズ情報が取得された場合、背表紙が写っている画像領域であって、第一推定手段により解析情報に基づいて所定数以下に候補の絞り込みができなかった画像領域について、当該解析情報に加えて参考物品のサイズ情報に基づいて、推定される特定情報の候補を所定数以下に絞り込む処理が試みられる。これにより、解析情報に基づいて所定数以下に候補の絞り込みができなかった画像領域について、当該解析情報に加えて参考物品のサイズ情報に基づいて、推定される特定情報の候補を所定数以下に絞り込むことができる可能性が高まる。

　別の形態に係る物品推定システムでは、記憶手段が記憶する付加情報には、当該物品のページ数を示すページ数情報が含まれており、第二推定手段は、少なくとも一の参考物品のページ数情報が取得された場合、背表紙が写っている画像領域であって、第一推定手段により解析情報に基づいて所定数以下に候補の絞り込みができなかった画像領域について、当該解析情報に加えて参考物品のページ数情報から推定される厚さに基づいて、推定される特定情報の候補を所定数以下に絞り込む処理を試みてもよい。

　この形態では、少なくとも一の参考物品のページ数情報が取得された場合、背表紙が写っている画像領域であって、第一推定手段により解析情報に基づいて所定数以下に候補の絞り込みができなかった画像領域について、当該解析情報に加えて参考物品のページ数情報から推定される厚さに基づいて、推定される特定情報の候補を所定数以下に絞り込む処理が試みられる。これにより、解析情報に基づいて所定数以下に候補の絞り込みができなかった画像領域について、当該解析情報に加えて参考物品のページ数情報から推定される厚さに基づいて、推定される特定情報の候補を所定数以下に絞り込むことができる可能性が高まる。

　別の形態に係る物品推定システムでは、記憶手段が記憶する付加情報には、当該物品が他の物品とシリーズを構成するか否かを示すシリーズ情報が含まれており、第二推定手段は、少なくとも一の参考物品のシリーズ情報が取得された場合、当該参考物品に隣接して背表紙が写っている画像領域であって、第一推定手段により解析情報に基づいて所定数以下に候補の絞り込みができなかった画像領域について、当該解析情報に加えて参考物品のシリーズ情報に基づいて、推定される特定情報の候補を所定数以下に絞り込む処理を試みてもよい。

　この形態では、少なくとも一の参考物品のシリーズ情報が取得された場合、当該参考物品に隣接して背表紙が写っている画像領域であって、第一推定手段により解析情報に基づいて所定数以下に候補の絞り込みができなかった画像領域について、当該解析情報に加えて参考物品のシリーズ情報に基づいて、推定される特定情報の候補を所定数以下に絞り込む処理が試みられる。これにより、解析情報に基づいて所定数以下に候補の絞り込みができなかった画像領域について、当該解析情報に加えて参考物品のシリーズ情報に基づいて、推定される特定情報の候補を所定数以下に絞り込むことができる可能性が高まる。

　別の形態に係る物品推定システムでは、第二推定手段は、第一推定手段により所定数以下に候補の絞り込みができた画像領域の色あせ度合いと、第一推定手段により所定数以下に候補の絞り込みができなかった画像領域の色あせ度合いとを比較して、色あせ度合いがより小さい方の画像領域に写っている物品の方がより新しい号数を有するとして、推定される特定情報の候補を所定数以下に絞り込む処理を試みてもよい。

　この形態では、所定数以下に候補の絞り込みができた画像領域の色あせ度合いと、所定数以下に候補の絞り込みができなかった画像領域の色あせ度合いとを比較して、色あせ度合いがより小さい方の画像領域に写っている物品の方がより新しい号数を有するとして、推定される特定情報の候補を所定数以下に絞り込む処理が試みられる。これにより、背表紙は時間の経過とともに日焼けして色があせていくという特性を利用して、特定情報の候補を絞り込むことができる。

　別の形態に係る物品推定システムでは、記憶手段が記憶する付加情報には、当該物品が属するジャンルを示すジャンル情報が含まれており、第二推定手段は、少なくとも一の参考物品のジャンル情報が取得された場合、当該参考物品に隣接して背表紙が写っている画像領域であって、第一推定手段により解析情報に基づいて所定数以下に候補の絞り込みができなかった画像領域について、当該解析情報に加えて参考物品のジャンル情報に基づいて、推定される特定情報の候補を所定数以下に絞り込む処理を試みてもよい。

　この形態では、少なくとも一の参考物品のジャンル情報が取得された場合、当該参考物品に隣接して背表紙が写っている画像領域であって、第一推定手段により解析情報に基づいて所定数以下に候補の絞り込みができなかった画像領域について、当該解析情報に加えて参考物品のジャンル情報に基づいて、推定される特定情報の候補を所定数以下に絞り込む処理が試みられる。これにより、同一のジャンルに属する物品は並べて置かれるという特性を利用して、特定情報の候補を絞り込むことができる。

　別の形態に係る物品推定システムでは、記憶手段が記憶する付加情報には、当該物品のタイトル及び著作者の情報が含まれており、解析手段は、抽出された複数の画像領域に対してＯＣＲ処理を施すことにより、解析情報として文字情報を取得し、第一推定手段は、取得された文字情報と記憶されたタイトル及び著作者の情報とに基づいて、記憶手段に記憶された複数の物品の特定情報の中から画像領域に写っている物品に該当すると推定される特定情報の候補を所定数以下に絞り込む処理を試みてもよい。

　この形態では、抽出された複数の画像領域に対してＯＣＲ処理が施されることにより、解析情報として文字情報が取得され、取得された文字情報と記憶されたタイトル及び著作者の情報とに基づいて、記憶手段に記憶された複数の物品の特定情報の中から画像領域に写っている物品に該当すると推定される特定情報の候補を所定数以下に絞り込む処理が試みられる。このため、画像マッチング処理を行うよりも低い処理負荷で、特定情報の候補を絞り込むことができる。

　本発明の一形態に係る物品推定方法は、表紙及び背表紙を有する複数の物品毎に、物品を特定する特定情報と当該物品に関する付加情報とを関連付けて記憶する記憶手段から当該特定情報及び当該付加情報を物品推定システムが取得可能に構成され、複数の物品が写っている画像を物品推定システムが取得する画像取得ステップと、取得された画像から、物品が写っている画像領域を物品毎に物品推定システムが抽出する抽出ステップと、抽出された複数の画像領域を物品推定システムが解析して解析情報を取得する解析ステップと、取得された解析情報に基づいて、複数の画像領域毎に、記憶手段に記憶された複数の物品の特定情報の中から画像領域に写っている物品に該当すると推定される特定情報の候補を所定数以下に絞り込む処理を物品推定システムが試みる第一推定ステップと、第一推定ステップにより少なくとも一の画像領域について所定数以下に候補の絞り込みができた場合、当該候補の物品に関する付加情報を参考物品の付加情報として記憶手段から物品推定システムが取得する情報取得ステップと、少なくとも一の参考物品の付加情報が取得された場合、背表紙が写っている画像領域であって、第一推定ステップにより解析情報に基づいて所定数以下に候補の絞り込みができなかった画像領域について、当該解析情報に加えて参考物品の付加情報に基づいて、推定される特定情報の候補を所定数以下に絞り込む処理を物品推定システムが試みる第二推定ステップと、を有することを特徴とする。

　本発明の一形態に係る物品推定方法によれば、画像領域を解析して得られた解析情報に基づいて、画像領域に写っている物品に該当すると推定される特定情報の候補を所定数以下に絞り込む処理が試みられる。例えば、ＯＣＲ（Optical Character Recognition：光学文字認識）等の画像解析により得られた解析情報に基づいて、特定情報の候補が絞り込まれる。これにより、画像マッチングの手法を用いずに特定情報の候補を推定することが可能となる。しかし、背表紙の画像は領域が小さいので、特定情報の候補を所定数以下に絞り込むために十分な情報を画像解析だけで得ることができない場合がある。そこで、複数の画像領域のうち少なくとも一の画像領域について、所定数以下に候補の絞り込みができた場合、その物品の候補の付加情報が、参考物品の付加情報として取得される。そして、画像領域の解析だけで物品の特定情報の候補を推定できなかった画像領域について、参考物品の付加情報も加えて推定処理が行われる。これにより、特定情報の候補を推定できなかった画像領域について、他の物品（参考物品）の付加情報が用いられるので、所定数以下の特定情報の候補に絞り込むことが可能となる。従って、本などの物品の背表紙画像からタイトルや商品コード等の物品を特定する情報を推定可能となる。

　本発明の一形態に係る物品推定プログラムは、表紙及び背表紙を有する複数の物品毎に、物品を特定する特定情報と当該物品に関する付加情報とを関連付けて記憶する記憶手段から当該特定情報及び当該付加情報をコンピュータが取得可能に構成され、コンピュータに、複数の物品が写っている画像を取得する画像取得手段の機能と、取得された画像から、物品が写っている画像領域を物品毎に抽出する抽出手段の機能と、抽出された複数の画像領域を解析して解析情報を取得する解析手段の機能と、取得された解析情報に基づいて、複数の画像領域毎に、記憶手段に記憶された複数の物品の特定情報の中から画像領域に写っている物品に該当すると推定される特定情報の候補を所定数以下に絞り込む処理を試みる第一推定手段の機能と、第一推定手段の機能により少なくとも一の画像領域について所定数以下に候補の絞り込みができた場合、当該候補の物品に関する付加情報を参考物品の付加情報として記憶手段から取得する情報取得手段の機能と、少なくとも一の参考物品の付加情報が取得された場合、背表紙が写っている画像領域であって、第一推定手段により解析情報に基づいて所定数以下に候補の絞り込みができなかった画像領域について、当該解析情報に加えて参考物品の付加情報に基づいて、推定される特定情報の候補を所定数以下に絞り込む処理を試みる第二推定手段の機能と、を実現させることを特徴とする。

　本発明の一形態に係る物品推定プログラムによれば、画像領域を解析して得られた解析情報に基づいて、画像領域に写っている物品に該当すると推定される特定情報の候補を所定数以下に絞り込む処理が試みられる。例えば、ＯＣＲ（Optical Character Recognition：光学文字認識）等の画像解析により得られた解析情報に基づいて、特定情報の候補が絞り込まれる。これにより、画像マッチングの手法を用いずに特定情報の候補を推定することが可能となる。しかし、背表紙の画像は領域が小さいので、特定情報の候補を所定数以下に絞り込むために十分な情報を画像解析だけで得ることができない場合がある。そこで、複数の画像領域のうち少なくとも一の画像領域について、所定数以下に候補の絞り込みができた場合、その物品の候補の付加情報が、参考物品の付加情報として取得される。そして、画像領域の解析だけで物品の特定情報の候補を推定できなかった画像領域について、参考物品の付加情報も加えて推定処理が行われる。これにより、特定情報の候補を推定できなかった画像領域について、他の物品（参考物品）の付加情報が用いられるので、所定数以下の特定情報の候補に絞り込むことが可能となる。従って、本などの物品の背表紙画像からタイトルや商品コード等の物品を特定する情報を推定可能となる。

　本発明の一形態に係るコンピュータ読取可能な記録媒体は、表紙及び背表紙を有する複数の物品毎に、物品を特定する特定情報と当該物品に関する付加情報とを関連付けて記憶する記憶手段から当該特定情報及び当該付加情報をコンピュータが取得可能に構成され、コンピュータに、複数の物品が写っている画像を取得する画像取得手段の機能と、取得された画像から、物品が写っている画像領域を物品毎に抽出する抽出手段の機能と、抽出された複数の画像領域を解析して解析情報を取得する解析手段の機能と、取得された解析情報に基づいて、複数の画像領域毎に、記憶手段に記憶された複数の物品の特定情報の中から画像領域に写っている物品に該当すると推定される特定情報の候補を所定数以下に絞り込む処理を試みる第一推定手段の機能と、第一推定手段の機能により少なくとも一の画像領域について所定数以下に候補の絞り込みができた場合、当該候補の物品に関する付加情報を参考物品の付加情報として記憶手段から取得する情報取得手段の機能と、少なくとも一の参考物品の付加情報が取得された場合、背表紙が写っている画像領域であって、第一推定手段により解析情報に基づいて所定数以下に候補の絞り込みができなかった画像領域について、当該解析情報に加えて参考物品の付加情報に基づいて、推定される特定情報の候補を所定数以下に絞り込む処理を試みる第二推定手段の機能と、を実現させる物品推定プログラムを記録したことを特徴とする。

　本発明の一形態に係るコンピュータ読取可能な記録媒体によれば、画像領域を解析して得られた解析情報に基づいて、画像領域に写っている物品に該当すると推定される特定情報の候補を所定数以下に絞り込む処理が試みられる。例えば、ＯＣＲ（Optical Character Recognition：光学文字認識）等の画像解析により得られた解析情報に基づいて、特定情報の候補が絞り込まれる。これにより、画像マッチングの手法を用いずに特定情報の候補を推定することが可能となる。しかし、背表紙の画像は領域が小さいので、特定情報の候補を所定数以下に絞り込むために十分な情報を画像解析だけで得ることができない場合がある。そこで、複数の画像領域のうち少なくとも一の画像領域について、所定数以下に候補の絞り込みができた場合、その物品の候補の付加情報が、参考物品の付加情報として取得される。そして、画像領域の解析だけで物品の特定情報の候補を推定できなかった画像領域について、参考物品の付加情報も加えて推定処理が行われる。これにより、特定情報の候補を推定できなかった画像領域について、他の物品（参考物品）の付加情報が用いられるので、所定数以下の特定情報の候補に絞り込むことが可能となる。従って、本などの物品の背表紙画像からタイトルや商品コード等の物品を特定する情報を推定可能となる。

　本発明によれば、本等の物品の背表紙画像からタイトルや商品コード等の物品を特定する情報を推定可能な物品推定システム、物品推定方法、及び物品推定プログラムを提供することができる。

物品推定システムとしてのサーバ２及びサーバ２と通信可能な端末１の機能構成を説明するための機能構成図である。端末１の物理構成を説明するための物理構成図である。サーバ２の物理構成を説明するための物理構成図である。物品データベース２３におけるテーブル構成の一例を説明するためのテーブル構成図である。第二推定部２６による物品の特定情報の推定方法の一例を説明する説明図である。物品推定システムとしてのサーバ２により行われる、一連の処理の流れの全体の概略を説明するためのシーケンス図である。物品推定システムとしてのサーバ２により行われる、本の推定処理の流れを説明するためのフローチャートである。物品推定システムとしてのサーバ２により行われる、対象物品の背表紙領域の情報を用いた推定処理を説明するためのフローチャートである。物品推定システムとしてのサーバ２により行われる、候補が所定数以下に絞り込まれた他の背表紙領域の情報を用いた推定処理を説明するためのフローチャートである。コンピュータを物品推定システムとしてのサーバ２として機能させるための物品推定プログラムＰのモジュール構成を説明するためのモジュール構成図である。

　以下、添付図面を参照しながら本発明の好適な実施形態を詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。

＜１＞物品推定システムの構成
　まず、本発明に係る物品推定システムが搭載されたサーバの構成を、図１～図３を用いて説明する。図１は、サーバ及びサーバと通信可能な端末の機能構成を説明するための機能構成図である。サーバ２は、物品推定システムとして機能し、端末１と情報の送受信が可能に構成されている。物品推定システムは、本が撮像された画像から映っている本がどのような本であるかを推定するシステムである。物品推定システムは、例えば、本のタイトル又はＩＳＢＮ（International Standard Book Number）等を推定する。特に、この物品推定システムは、本の表紙画像からだけでなく、背表紙画像からその本がどのような本であるかを推定する。推定対象は、本に限られず、例えばＤＶＤパッケージ、ＣＤケース、ゲームソフトパッケージ、ビデオパッケージ等の表紙と背表紙とを有する物品でもよい。物品推定システムが行う推定処理は、推定対象となる物品（以下、対象物品）が写っている画像を解析することによって行われる。推定処理を行うにあたって、画像を解析しても対象物品と推定される候補を所定数以下に絞り込めなかった場合、対象物品の周辺に存在する他の物品（以下、参考物品）から得られる情報に基づいて、この推定処理が行われる。この所定数は、一でもよく複数でもよい。また、図２は、端末１の物理構成を説明するための物理構成図であり、図３は、サーバ２の物理構成を説明するための物理構成図である。

　図１に示される端末１は、カメラ機能を有するスマートフォンや携帯電話端末やノートパソコン等の装置である。端末１は、無線基地局や有線通信網等の通信ネットワークＮＷを介して、サーバ２と通信することが可能である。このため、端末１は、本等の対象物品を撮像して得られた画像を、サーバ２に送信することが可能である。また、端末１は、サーバ２から、画像から抽出された複数の領域を示す領域分割画像を受信することが可能である。また、端末１は、複数の領域からユーザによって選択された対象物品の領域を示す選択情報を、サーバ２に送信することが可能である。また、端末１は、サーバ２から、選択された領域に含まれる対象物品がどの物品であると推定されるかを示す物品情報（特定情報、付加情報）を受信することが可能である。

　また、サーバ２は、物品に関するデータを管理するサーバやホストコンピュータ等の装置である。サーバ２は、無線基地局や有線通信網等の通信ネットワークＮＷを介して、端末１と通信することが可能である。このため、サーバ２は、端末１から、本等の対象物品を撮像して得られた画像を受信することが可能である。また、サーバ２は、画像から抽出された複数の領域を示す領域分割画像を、端末１に送信することが可能である。また、サーバ２は、端末１から、複数の領域から選択された領域を示す選択情報を受信することが可能である。また、サーバ２は、選択された領域に含まれる対象物品がどの物品であると推定されるかを示す物品情報を、端末１に送信することが可能である。

　次に、端末１の構成について説明する。端末１は、図２に示されるように、主な物理的な構成要素としてＣＰＵ１０１（Central Processing Unit）、主記憶装置であるＲＡＭ１０２（Random
Access Memory）及びＲＯＭ１０３（Read Only Memory）、端末１を操作するための操作部１０４、通信を行うための通信部１０５、タッチパネルディスプレイ等のディスプレイ１０６、アンテナ１０７、及びカメラ１０８等のハードウェアを備えるコンピュータとして構成される。これらの構成要素が動作することにより、以下に説明する端末１の各機能が発揮される。

　また、端末１は、図１に示されるように、主な機能的な構成要素として、撮像部１１、指定部１２、及び出力部１３を備えている。

　撮像部１１は、複数の本等の物品を撮像して、複数の物品が写っている画像を取得する撮像処理部分である。例えば、撮像部１１は、背表紙を有する対象物品と、対象物品の周辺に存在する参考物品とを撮像して、画像を取得することが可能である。この画像に示される参考物品に関しては、参考物品の表紙のみが撮像されていてもよい。撮像部１１は、端末１に搭載されたカメラを用いて撮像することにより画像を取得してもよく、外部と通信することにより画像を取得してもよい。撮像部１１は、取得した画像をサーバ２に送信する。

　指定部１２は、サーバ２から後述の領域分割画像を受信すると、ユーザによって選択された対象物品の背表紙が写っている画像領域（以下、背表紙領域）を指定する選択情報を生成して、サーバ２に送信する選択処理部分である。領域分割画像は、画像から抽出された複数の領域を示す情報である。例えば、領域分割画像は、参考物品の領域、及び対象物品の背表紙の領域を示す。ユーザが端末１に対してタップして対象物品の背表紙領域を一つ選択すると、指定部１２が、背表紙領域の選択を受け付けて、選択情報を生成する。

　出力部１３は、サーバ２から後述の物品情報を受信し、ユーザによる閲覧が可能なように出力する出力表示部である。物品情報は、ユーザによって選択された背表紙領域に含まれる対象物品がどの物品であると推定されるかを示す情報である。このように推定された対象物品が候補として複数存在する場合、出力部１３は、これら複数の対象物品の候補アイコン又は候補リストを出力する。ユーザは、これら複数の対象物品の候補アイコン又は候補リストの中から選択することによって、閲覧したい対象物品の物品情報を閲覧することができる。なお、出力部１３は、サーバ２から受信した領域分割画像を、ユーザによる閲覧が可能なように表示することも可能である。

　次に、サーバ２の構成について説明する。サーバ２は、図３に示されるように、主な物理的な構成要素としてＣＰＵ２０１、ＲＡＭ２０２及びＲＯＭ２０３、通信を行うための通信モジュール２０４、並びにハードディスク等の補助記憶装置２０５等のハードウェアを備えるコンピュータとして構成される。これらの構成要素が動作することにより、以下に説明するサーバ２の各機能が発揮される。

　また、サーバ２は、抽出部２１（画像取得手段及び抽出手段）、解析部２２（解析手段）、物品データベース２３（記憶手段）、第一推定部２４（第一推定手段）、情報取得部２５（情報取得手段）、及び第二推定部２６（第二推定手段）を備えている。

　抽出部２１は、端末１から画像を受信（取得）し、この画像から、物品が写っている画像領域を物品毎に抽出する画像処理部分である。抽出部２１は、抽出した複数の領域を元の画像に対して重畳して表示する領域分割画像を、生成して取得する。そして、抽出部２１は、取得した領域分割画像を、端末１に送信する。なお、領域分割画像における複数の背表紙領域は、例えば、図５において、枠Ｆｈ，Ｆｐ，Ｆｖ，Ｆｙで示されている。例えば、抽出部２１は、端末１から送信された画像によっては、画像から、対象物品の背表紙領域と、表紙の領域とを抽出することが可能である。この場合、抽出部２１は、抽出した矩形の領域が背表紙を示しているか、表紙を示しているかについては、抽出した領域の縦及び横のサイズ比に基づいて判定することが可能である。

　この背表紙領域の抽出処理では、まず、抽出部２１が、画像データに対してエッジ強調処理（例：二値化、高周波フィルタリング）を行って、縦方向（垂直方向）の線を取得する。次に、抽出部２１が、横方向（水平方向）の線（エッジ）を取得する。そして、抽出部２１が、取得された縦及び横方向の線によって囲まれた矩形状の領域を、物品一つに対応する背表紙領域として抽出する。なお、抽出部２１は、画像を横方向（水平方向）にスキャンしていき、背表紙領域の色が異なることを検知した時点で、画像における異なる物品の存在を認識してもよい。

　また、抽出部２１は、端末１から送信された画像によっては、画像から、参考物品の背表紙の領域と、この参考物品に隣接する対象物品の背表紙の領域とを抽出することが可能である。

　解析部２２は、抽出部２１によって抽出された複数の画像領域のそれぞれを解析して、解析結果を示す解析情報を生成して取得する画像解析処理部分である。例えば、解析部２２は、抽出された複数の画像領域毎に対してＯＣＲ（Optical Character Recognition：光学文字認識）処理を施すことにより、ＯＣＲ処理の解析結果としての文字情報（テキスト情報）を取得することが可能である。

　この場合、解析部２２は、ＯＣＲ処理の結果得られた文字情報から、タイトルや著作者等の背表紙情報を取得する処理を試みる。ＯＣＲ処理では、タイトルや著作者を示す文字情報を完全に取得できるわけではない。ただし、画像に複数の（物品としての）本が写っていれば、少なくとも一冊の本に関してどの本であるか文字情報に基づき特定できる可能性、又は候補を所定数以下に絞り込める可能性が高い。更に、少なくとも一冊の本について文字情報に基づき候補を絞り込めれば、その本の情報（例えば、サイズ等の物理的な情報）を用いて、他の本がどの本なのかを絞り込める可能性が高い。解析部２２は、文字の大きさの違い、スペースの位置等に基づいて、文字情報から背表紙情報を抽出する。

　一例として、背表紙領域に「僕にはわからない　中島らも」と記載されていた場合、「僕にはわから？い　中？らも」が文字情報として取得されたとする。ここで、「？」は文字認識に失敗した箇所を示す。そして、スペースの位置以前の「僕にはわから？い」がタイトルとして抽出され、スペースの位置以後の「中？らも」が著作者として抽出される。

　物品データベース２３は、表紙及び背表紙を有する複数の物品毎に、物品を特定する特定情報と、当該物品に関する付加情報とを、関連付けて記憶するデータベースである。付加情報には、例えば、当該物品の背表紙のサイズを示すサイズ情報が含まれている。サイズ情報は、様々な表現形式で示され、例えば、背表紙の長手方向及び短手方向の長さ、背表紙の縦方向及び横方向の長さ、背表紙の厚さ等で示される。

　また、付加情報には、例えば、ページ数情報やシリーズ情報やジャンル情報やタイトル及び著作者情報等が含まれている。ページ数情報は、当該物品のページ数を示す情報である。シリーズ情報は、当該物品が他の物品とシリーズを構成するか否かを示す情報である。シリーズ情報は、例えば、当該物品が単行本であるか、第１～１０巻といったシリーズ本であるか、特定の文庫シリーズを構成するか、特定の新書シリーズを構成するか、上下巻を構成するか、を示す情報であってもよい。ジャンル情報は、当該物品が属するジャンルを示す情報である。ジャンル情報が示すジャンルの例として、文学、評論、人文、思想、社会、政治、ノンフィクション、エンターテイメント、コミック等がある。タイトル及び著作者情報は、当該物品のタイトル及び著作者を示す情報である。

　なお、物品データベース２３は、サーバ２に備えられていない構成としてもよく、サーバ２の外部に存在する構成としてもよい。この構成の場合、サーバ２は、物品データベース２３と通信を行うことにより、特定情報及び付加情報を取得可能である。

　第一推定部２４は、抽出部２１により取得された領域分割画像における複数の画像領域毎に、画像領域に写っている物品に該当すると推定される特定情報の候補を所定数以下に絞り込む処理を試みる検索処理部分である。第一推定部２４は、解析部２２によって取得された解析情報に基づいて、複数の画像領域毎に、物品データベース２３に記憶された複数の物品の特定情報の中から、前述の特定情報の候補を所定数以下に絞り込む処理を試みる。また、第一推定部２４は、解析部２２により取得された文字情報と、物品データベース２３に記憶されたタイトル及び著作者の情報とに基づいて、前述の特定情報の候補を所定数以下に絞り込む処理を試みることが可能である。

　情報取得部２５は、第一推定部２４により絞り込まれた候補の物品に関する付加情報を、物品データベース２３から取得する情報取得処理部分である。情報取得部２５は、第一推定部２４により少なくとも一の画像領域について所定数以下に候補の絞り込みができた場合、前述の付加情報を、参考物品の付加情報として、物品データベース２３から取得する。なお、情報取得部２５は、第二推定部２６により絞り込まれた候補の物品に関する付加情報を、物品データベース２３から取得することも可能である。この場合、情報取得部２５は、第二推定部２６により少なくとも一の画像領域について所定数以下に候補の絞り込みができた場合、前述の付加情報を物品データベース２３から取得する。

　第二推定部２６は、情報取得部２５により少なくとも一の参考物品の付加情報が取得された場合、第一推定部２４により候補の絞り込みができなかった画像領域について、前述の領域分割画像に加えて参考物品の付加情報に基づいて、推定される特定情報の候補を所定数以下に絞り込む処理を試みる検索処理部分である。第二推定部２６は、背表紙が写っている画像領域であって、第一推定部２４により領域分割画像に基づいて所定数以下に絞り込みができなかった画像領域について、前述の特定情報の候補を所定数以下に絞り込む処理を試みる。

　また、第二推定部２６は、少なくとも一の参考物品のサイズ情報が取得された場合、所定数以下に候補の絞り込みができなかった前述の画像領域について、当該領域分割画像に加えて参考物品のサイズ情報に基づいて、前述の特定情報の候補を所定数以下に絞り込む処理を試みる。サイズ情報は、当該物品の背表紙のサイズを示す情報である。サイズ情報は、例えば、背表紙の長手方向及び短手方向の長さや、背表紙の縦方向及び横方向の長さや、背表紙の厚さといった情報である。

　より詳しくは、第二推定部２６は、参考物品のサイズ情報（実測）と、参考物品が写っている画像領域のサイズに対する、所定数以下に候補の絞り込みができなかった前述の画像領域のサイズの比率（画像同士の比較）と、に基づいて、前述の特定情報の候補を所定数以下に絞り込む処理を試みる。一例として、参考物品のサイズ情報（実測）は、背表紙の長手方向の長さが１０ｃｍであることを示しているとする。

　また、参考物品が写っている画像領域のサイズは２ｃｍであるとする。更に、所定数以下に候補の絞り込みができなかった前述の画像領域のサイズは４～５ｃｍであるとする。これにより、前述の比率は２～２．５となる。この結果、第二推定部２６は、所定数以下に候補の絞り込みができなかった前述の画像領域に写っている物品の背表紙の長手方向の長さは２０～２５ｃｍの範囲にある、と推定する。そして、第二推定部２６は、この推定結果を用いて、前述の特定情報の候補を所定数以下に絞り込む処理を試みる。

　また、第二推定部２６は、少なくとも一の参考物品のページ数情報（実測）が取得された場合、所定数以下に候補の絞り込みができなかった前述の画像領域について、当該領域分割画像に加えて参考物品のページ数情報から推定される厚さに基づいて、前述の特定情報の候補を所定数以下に絞り込む処理を試みる。ページ数情報は、当該物品のページ数を示す情報である。

　より詳しくは、第二推定部２６は、参考物品のページ数情報（実測）と、このページ数情報から推定される背表紙の厚さに対する、所定数以下に候補の絞り込みができなかった前述の画像領域において示される物品の背表紙の厚さの比率と、に基づいて、前述の特定情報の候補を所定数以下に絞り込む処理を試みる。第二推定部２６は、参考物品のサイズ情報（背表紙の厚さ）を物品データベース２３から取得できない場合、参考物品のページ数情報から背表紙の厚さを推定する。一例として、参考物品のページ数情報は、１００ページであることを示しているとする。

　また、このページ数情報から推定される背表紙の厚さは１～１．５ｃｍである、と第二推定部２６によって推定されたとする。更に、所定数以下に候補の絞り込みができなかった前述の画像領域において示される物品の背表紙の厚さは３ｃｍである、と第二推定部２６によって推定されたとする。これにより、前述の比率は２～３となる。この結果、第二推定部２６は、所定数以下に候補の絞り込みができなかった前述の画像領域において示される物品のページ数は２００～３００ページの範囲にある、と推定する。そして、第二推定部２６は、この推定結果を用いて、前述の特定情報の候補を所定数以下に絞り込む処理を試みる。

　また、第二推定部２６は、少なくとも一の参考物品のシリーズ情報が取得された場合、当該参考物品に隣接して背表紙が写っている画像領域であって、所定数以下に候補の絞り込みができなかった前述の画像領域について、当該領域分割画像に加えて参考物品のシリーズ情報に基づいて、前述の特定情報の候補を所定数以下に絞り込む処理を試みる。シリーズ情報は、当該物品が他の物品とシリーズを構成するか否かを示す情報である。

　より詳しくは、第二推定部２６は、参考物品のシリーズ情報が他の物品とシリーズを構成することを示す場合、且つ、所定数以下に候補の絞り込みができなかった前述の画像領域において示される物品の背表紙の背景色が参考物品の背表紙の背景色と同一の系統色である（同一の色名により示される範囲にある）場合、これらの物品は同一のシリーズを構成すると推定する。そして、第二推定部２６は、この推定結果を用いて、前述の特定情報の候補を所定数以下に絞り込む処理を試みる。

　また、第二推定部２６は、第一推定部２４により所定数以下に候補の絞り込みができた画像領域の色あせ度合いと、第一推定部２４により所定数以下に候補の絞り込みができなかった画像領域の色あせ度合いとを比較する。そして、第二推定部２６は、色あせ度合いがより小さい方の画像領域に写っている物品の方が、より新しい号数を有するとして、前述の特定情報の候補を所定数以下に絞り込む処理を試みる。なお、色あせ度合いは、物品データベース２３に記憶された該当シリーズの色（後述する「背表紙の背景色」）と比較して算出される。

　例えば、第一推定部２４により所定数以下に候補の絞り込みができた候補が、全１０巻のシリーズ本における第５巻の本であるとする。まず、第二推定部２６は、第５巻の本が写っている画像領域の色あせ度合いと、候補の絞り込みができなかった画像領域の色あせ度合いとを比較する。候補の絞り込みができなかった画像領域よりも、第５巻の本が写っている画像領域の方が、色あせ度合いがより小さかったとする。この場合、第二推定部２６は、候補の絞り込みができなかった画像領域に写っている本は、所定数以下に絞り込みができた候補である第５巻の本より新しい、第６～１０巻のいずれかであるとして、前述の特定情報の候補を所定数以下に絞り込む処理を試みる。

　また、第二推定部２６は、少なくとも一の参考物品のジャンル情報が取得された場合、当該参考物品に隣接して背表紙が写っている画像領域であって、所定数以下に候補の絞り込みができなかった前述の画像領域について、当該領域分割画像に加えて参考物品のジャンル情報に基づいて、前述の特定情報の候補を所定数以下に絞り込む処理を試みる。ジャンル情報は、当該物品が属するジャンルを示す情報である。

　より詳しくは、第二推定部２６は、参考物品に隣接して背表紙が写っている画像領域であって、所定数以下に候補の絞り込みができなかった前述の画像領域において示される物品は、ジャンル情報が示すジャンルに属すると推定する。そして、第二推定部２６は、この推定結果を用いて、前述の特定情報の候補を所定数以下に絞り込む処理を試みる。

　また、第二推定部２６は、第一推定部２４によるＯＣＲ処理の結果得られた文字情報に基づいて、前述の特定情報の候補を所定数以下に絞り込む処理を試みることが可能である。

＜２＞物品データベース２３におけるテーブル構成
　引き続き、物品データベース２３におけるテーブル構成を、図４を用いて説明する。図４は、物品データベース２３におけるテーブル構成の一例を説明するためのテーブル構成図である。なお、ここでは、物品は本であるとして説明するが、物品の種類は特に限定されない。

　物品データベース２３は、本の識別情報であるＩＳＢＮ（特定情報）と、当該本に関する付加情報とを、対応付けて記憶している。付加情報の例として、本のタイトル、作者（著作者）、出版社、出版年、表紙画像データ、サイズ（縦、横、厚さの寸法等のサイズ情報、背表紙の厚さを推定するためのページ数）、本の種別（シリーズ情報）、ジャンル（ジャンル情報）がある。

　ここで、本の種別は、例えば、当該本が単行本であるか、「ｔｔ文庫（背表紙の背景色：青）」といった特定の文庫シリーズを構成するか、「ｎｎ新書（背表紙の背景色：赤）」といった特定の新書シリーズを構成するか、を示している。なお、第二推定部２６は、所定数以下に候補の絞り込みができなかった前述の画像領域について、この本の種別を示す情報に基づいて、特定情報の候補を所定数以下に絞り込む処理を試みる。また、第二推定部２６は、この本の種別を示す情報に基づいて、当該本のサイズを推定することによって、特定情報の候補を所定数以下に絞り込む処理を試みることも可能である。また、第二推定部２６は、この本の種別がシリーズ構成を示す場合、この本の種別から背表紙の色を特定することも可能である。なお、表紙画像データに、背表紙の画像が含まれていても、背表紙領域は表紙領域よりも小さいため、画像マッチング処理に用いて物品を特定するのは困難である。

＜３＞第二推定部２６による対象物品の候補の絞込み方法の一例
　引き続き、第二推定部２６による対象物品の候補の絞込み方法の一例を、図５を用いて説明する。図５は、第二推定部２６による対象物品の特定情報の推定方法の一例を説明する説明図である。

　第二推定部２６は、少なくとも一の参考物品のサイズ情報（付加情報）が取得された場合、所定数以下に候補の絞り込みができなかった前述の画像領域について、当該領域分割画像に加えて参考物品のサイズ情報にも基づいて、前述の特定情報の候補を所定数以下に絞り込む処理を試みる。より詳しくは、第二推定部２６は、情報取得部２５によって取得されたサイズ情報と、参考物品が写っている画像領域のサイズに対する、所定数以下に候補の絞り込みができなかった前述の画像領域のサイズの比率と、に基づいて、対象物品の特定情報の候補を絞り込む処理を試みる。例えば、第二推定部２６は、枠Ｆｐで示される領域における参考物品「ＰＰ」のサイズ情報（付加情報）と、この参考物品「ＰＰ」が写っている画像領域のサイズに対する、所定数以下に候補の絞り込みができなかった前述の画像領域において示される対象物品「ＨＨ」の背表紙のサイズの比率と、に基づいて、この対象物品「ＨＨ」のサイズを推定する。一例として、参考物品「ＰＰ」の実測のサイズ情報は、背表紙の長手方向の長さがＲｐ（図示せず）であることを示しているとする。

　また、所定数以下に候補の絞り込みができなかった前述の画像領域において示される参考物品「ＰＰ」の背表紙のサイズ（背表紙の長手方向の長さ）はＨｐであるとする。また、この対象物品「ＨＨ」の背表紙のサイズ（背表紙の長手方向の長さ）はＨｈであるとする。これにより、前述の比率は、Ｈｈ／Ｈｐとなる。この結果、第二推定部２６は、対象物品「ＨＨ」の背表紙の長手方向の長さは（Ｒｐ×Ｈｈ／Ｈｐ）、と推定する。そして、第二推定部２６は、この推定結果を用いて、対象物品の特定情報の候補を絞り込む処理を試みる。

＜４＞物品推定システムとしてのサーバ２により行われる一連の処理の流れ
　引き続き、物品推定システムとしてのサーバ２により行われる一連の処理の流れ（物品推定方法）の一例を、図６～図９を用いて説明する。以下では、ユーザが、気になる本（物品）を撮像してサーバ２に画像を送信することによって、当該本を特定する物品情報を取得する場合について説明する。図６は、この一連の処理の流れの全体の概略を説明するためのシーケンス図である。図７は、図６における処理の一部である、本の推定処理の流れを説明するためのフローチャートである。図８は、図７における処理の一部である、対象物品の背表紙領域の情報を用いた推定処理を説明するためのフローチャートである。図９は、図７における処理の一部である、所定数以下に絞り込まれた他の背表紙領域の情報を用いた推定処理を説明するためのフローチャートである。

　最初に、物品推定システムとしてのサーバ２により行われる一連の処理の流れの全体の概略について、図６を用いて説明する。まず、端末１が、ユーザの操作に応じて本を撮影して画像を取得する（ステップＳ０１）。例えば、ユーザは、現時点で気になっているが後でチェックしたいと考える本を含む複数の本を、カメラで撮影する。また、ユーザは、オークションに出品しようか検討している本を含む複数の本を、カメラで撮影する。取得された画像には、本棚に隣り合って並ばれた複数の本の背表紙が写っている。そして、端末１が、サーバ２に画像データを送信し、サーバ２が画像データを受信する（ステップＳ０２、画像取得ステップ）。サーバ２は、受信した画像から、物品が写っている画像領域を物品毎に抽出する（ステップＳ０３、抽出ステップ）。この抽出処理により、少なくとも一の対象物品の背表紙領域が抽出される。そして、サーバ２は、抽出した複数の領域を元の画像に対して重畳して表示する領域分割画像を生成する（ステップＳ０４）。そして、サーバ２が、領域分割画像データを端末１に送信する（ステップＳ０５）。

　端末１は、受信した領域分割画像をユーザによる閲覧が可能なように表示する（ステップＳ０６）。ここで、ユーザが端末１に対してタップして対象物品の領域（背表紙領域）が選択されると、端末１は、ユーザによる背表紙領域の選択を受け付けて、選択情報を生成する（ステップＳ０７）。そして、端末１は、選択された背表紙領域を特定する選択情報を、サーバ２に送信する（ステップＳ０８）。サーバ２は、選択された背表紙領域に基づいて、後述する本の推定処理を行う（ステップＳ０９）。推定処理の結果一冊の本に絞りきれなかった場合、複数の本（例えば三冊の本）が候補アイコン又は候補リストとして出力される。そして、サーバ２は、推定された本（又は、推定処理の結果、候補となった複数の本）についての物品情報を取得し、端末１に送信する（ステップＳ１０、情報取得ステップ）。端末１は、受信した物品情報を、ユーザによる閲覧が可能なように表示する（ステップＳ１１）。

　次に、図６のステップＳ０９において行われる本の推定処理について、図７を用いて説明する。まず、第一推定部２４が、抽出部２１により取得された領域分割画像における複数の画像領域のうち、背表紙が写っている一つの領域を、本の推定処理の対象の背表紙領域としてセットする設定を行う（ステップＴ０１）。そして、第一推定部２４が、後述する、対象物品の背表紙領域の情報を用いた推定処理を行う（ステップＴ０２）。なお、このステップＴ０２における推定処理においては、参考物品から得られる情報は用いられない。そして、第一推定部２４が、画像領域に写っている物品に該当すると推定される候補は所定数（例えば二冊）以下に絞られたか否かを判定する（ステップＴ０３）。候補は所定数以下に絞られた場合、後述のステップＴ０７に移行する。一方、候補は所定数以下に絞られなかった場合、後述のステップＴ０４に移行する。

　ステップＴ０４では、第一推定部２４が、ステップＴ０１でセットされていない他の背表紙領域のうち、第一推定部２４又は第二推定部２６によって候補が所定数以下に絞り込まれた背表紙領域があるか否かを判定する。なお、他の背表紙領域のうち、第一推定部２４により候補が所定数以下に絞り込まれた背表紙領域があると、情報取得部２５がこの物品に関する付加情報を物品データベース２３から既に取得している。候補が所定数以下に絞り込まれた背表紙領域がある場合、後述のステップＴ０５に移行する。一方、候補が所定数以下に絞り込まれた背表紙領域が無い場合、後述のステップＴ０９に移行する。

　ステップＴ０５では、第二推定部２６が、後述する、所定数以下に絞り込まれた他の背表紙領域の情報も用いた推定処理を行う（第二推定ステップ）。そして、後述のステップＴ０６に移行する。

　ステップＴ０６では、第二推定部２６が、画像領域に写っている物品に該当すると推定される候補は所定数以下に絞られたか否かを判定する。画像領域に写っている物品に該当すると推定される候補は所定数以下に絞られた場合、後述のステップＴ０７に移行する。一方、画像領域に写っている物品に該当すると推定される候補は所定数以下に絞られなかった場合、後述のステップＴ０９に移行する。

　ステップＴ０７では、第二推定部２６が、絞られた候補は、端末１から送信された選択情報が示す背表紙領域（即ち、ユーザによって選択された背表紙領域）であるか否かを判定する。絞られた候補は、ユーザによって選択された背表紙領域でない場合、前述のステップＴ０１に移行する。一方、絞られた候補は、ユーザによって選択された背表紙領域である場合、一連の処理は終了する。

　ステップＴ０９では、第一推定部２４が、未だ推定処理が行われていない背表紙領域があるか否かを判定する。未だ推定処理が行われていない背表紙領域がある場合、後述のステップＴ０８に移行する。一方、未だ推定処理が行われていない背表紙領域が無い場合、後述のステップＴ１０に移行する。

　ステップＴ０８では、第一推定部２４が、抽出部２１により取得された領域分割画像における複数の画像領域のうち、未だ推定対象として設定されていない他の１つの背表紙領域を推定対象として選択して設定し、前述のステップＴ０１に移行する。第一推定部２４によって選択される推定対象としては、直前に選択された背表紙領域に隣接する背表紙領域であってもよく、最短距離に位置する背表紙領域であってもよく、面積が最大の背表紙領域であってもよい。

　ステップＴ１０では、第一推定部２４が、ユーザによって選択された（すなわち、選択情報によって示された）対象物品を特定する情報を推定できなかった旨のメッセージを生成し、端末１に送信して表示させる。そして、一連の処理は終了する。

　次に、図７のステップＴ０２において行われる、対象物品の背表紙領域の情報を用いた推定処理について、図８を用いて説明する。まず、解析部２２が、本の推定処理の対象の背表紙領域としてセットされた画像領域に対してＯＣＲ処理を実施して文字情報を取得する（ステップＵ０１、解析ステップ）。そして、解析部２２が、取得した文字情報から、タイトルや著作者等の背表紙情報を取得する処理を試みる（ステップＵ０２、解析ステップ）。次に、第一推定部２４が、取得した背表紙情報に対応する対象物品について、物品データベース２３で検索し、対象物品の候補を絞り込む（ステップＵ０３、第一推定ステップ）。

　次に、第一推定部２４が、対象物品について、物品データベース２３で検索し、文庫シリーズ又は新書シリーズに属するか否かを判定する（ステップＵ０４、第一推定ステップ）。対象物品が文庫シリーズ又は新書シリーズに属する場合、後述のステップＵ０５に移行する。一方、対象物品が文庫シリーズ又は新書シリーズに属さない場合（即ち、単行本である場合）、一連の処理は終了する。対象物品が単行本である場合、背表紙領域が文庫シリーズや新書シリーズより比較的大きい。このため、対象物品が単行本である場合、ＯＣＲ処理の精度がより高くなり、画像領域に写っている物品に該当すると推定される候補がより高い精度で得られる。

　ステップＵ０５では、第一推定部２４が、本の推定処理の対象の背表紙領域としてセットされた画像領域から背景色を取得し、取得した背景色を物品データベース２３で検索して、対象物品の特定情報の候補を絞り込む（第一推定ステップ）。第一推定部２４は、取得した背景色が、物品データベース２３に記憶されている既存の各シリーズに対応する色と一致するか否かを判定することによって、対象物品の特定情報の候補を絞り込む。そして、一連の処理は終了する。

　次に、図７のステップＴ０５において行われる、第一推定部２４又は第二推定部２６によって候補が所定数以下に絞り込まれた他の背表紙領域の情報も用いた推定処理について、図９を用いて説明する。まず、第二推定部２６が、候補が所定数以下に絞り込まれた複数の他の背表紙領域のうち、候補が所定数以下に絞り込まれた一つの背表紙領域を特定（セット）して、後述のステップＶ０２に移行する（ステップＶ０１）。

　ステップＶ０２では、第二推定部２６が、ステップＶ０１で特定（セット）された一つの背表紙領域の候補のうち、一つの候補を特定（セット）する（ステップＶ０２）。次に、第二推定部２６が、サイズによる絞り込みを行う（ステップＶ０３）。ここで、他の背表紙領域のうち、第一推定部２４により候補が所定数以下に絞り込まれた背表紙領域があるとする。この場合、情報取得部２５が、この物品に関する付加情報（例えば、サイズ情報、シリーズ情報、色あせ度合い、ジャンル情報）を、参考物品の付加情報として、物品データベース２３から既に取得している。そして、第二推定部２６が、少なくとも一の参考物品のサイズ情報が取得された場合、ステップＴ０３において所定数以下に候補の絞り込みができなかった前述の画像領域について、前述の領域分割画像に加えて参考物品のサイズ情報に基づいて、前述の特定情報の候補を所定数以下に絞り込む処理を試みる。具体的には、第二推定部２６が、参考物品の実際のサイズと、参考物品が写っている画像領域のサイズに対する、所定数以下に絞り込みができなかった前述の画像領域のサイズの比率と、に基づいて、前述の特定情報の候補を所定数以下に絞り込む処理を試みる。

　そして、第二推定部２６が、ステップＴ０３において所定数以下に候補の絞り込みができなかった前述の画像領域について、対象物品の特定情報の候補は所定数以下に絞り込まれたか否かを判定する（ステップＶ０４）。対象物品の特定情報の候補は所定数以下に絞り込まれた場合、一連の処理は終了する。一方、対象物品の特定情報の候補は所定数以下に絞り込まれなかった場合、後述のステップＶ０５に移行する。

　ステップＶ０５では、第二推定部２６が、前述したシリーズ情報による絞り込みを行う。即ち、第二推定部２６が、少なくとも一の参考物品のシリーズ情報が取得された場合、ステップＴ０３において所定数以下に絞り込みができなかった前述の画像領域について、前述の領域分割画像に加えて参考物品のシリーズ情報に基づいて、前述の特定情報の候補を所定数以下に絞り込む処理を試みる。具体的には、第二推定部２６が、参考物品のシリーズ情報が他の物品とシリーズを構成することを示す場合、且つ、所定数以下に絞り込みができなかった前述の画像領域において示される物品の背表紙の背景色が参考物品の背表紙の背景色と同一の系統色である（同一の色名により示される範囲にある）場合、これらの物品は同一のシリーズを構成すると推定する。そして、第二推定部２６は、第二推定部２６は、この推定結果を用いて、前述の特定情報の候補を所定数以下に絞り込む処理を試みる。

　そして、第二推定部２６が、ステップＴ０３において所定数以下に候補の絞り込みができなかった前述の画像領域について、対象物品の特定情報の候補は所定数以下に絞り込まれたか否かを判定する（ステップＶ０６）。対象物品の特定情報の候補は所定数以下に絞り込まれた場合、一連の処理は終了する。一方、対象物品の特定情報の候補は所定数以下に絞り込まれなかった場合、後述のステップＶ０７に移行する。

　ステップＶ０７では、第二推定部２６が、前述した色あせ度合いによる絞り込みを行う。即ち、第二推定部２６が、第一推定部２４により所定数以下に候補の絞り込みができた画像領域の色あせ度合いと、ステップＴ０３において所定数以下に絞り込みができなかった前述の画像領域の色あせ度合いとを比較する。そして、第二推定部２６は、色あせ度合いがより小さい方の画像領域に写っている物品の方が、より新しい号数を有するとして、前述の特定情報の候補を所定数以下に絞り込む処理を試みる。

　そして、第二推定部２６が、ステップＴ０３において所定数以下に候補の絞り込みができなかった前述の画像領域について、対象物品の特定情報の候補は所定数以下に絞り込まれたか否かを判定する（ステップＶ０８）。対象物品の特定情報の候補は所定数以下に絞り込まれた場合、一連の処理は終了する。一方、対象物品の特定情報の候補は所定数以下に絞り込まれなかった場合、後述のステップＶ０９に移行する。

　ステップＶ０９では、第二推定部２６が、前述したジャンル情報による絞り込みを行う。即ち、第二推定部２６が、少なくとも一の参考物品のジャンル情報が取得された場合、ステップＴ０３において所定数以下に絞り込みができなかった前述の画像領域について、前述の領域分割画像に加えて参考物品のジャンル情報に基づいて、前述の特定情報の候補を所定数以下に絞り込む処理を試みる。具体的には、第二推定部２６が、参考物品に隣接して背表紙が写っている画像領域であって、所定数以下に絞り込みができなかった前述の画像領域において示される物品は、ジャンル情報が示すジャンルに属すると推定する。そして、第二推定部２６は、この推定結果を用いて、前述の特定情報の候補を所定数以下に絞り込む処理を試みる。なお、このような、隣接するか否かの判定結果に基づく処理は、書店において撮像された画像であると第二推定部２６によって特定された場合にのみ、行うようにしてもよい。書店において撮像された画像であることは、端末１のユーザによって入力された情報から判定されてもよく、画像にタグ付けされた位置情報が書店の位置に対応することから判定されてもよい。

　そして、第二推定部２６が、ステップＴ０３において所定数以下に候補の絞り込みができなかった前述の画像領域について、対象物品の特定情報の候補は所定数以下に絞り込まれたか否かを判定する（ステップＶ１０）。対象物品の特定情報の候補は所定数以下に絞り込まれた場合、一連の処理は終了する。一方、対象物品の特定情報の候補は所定数以下に絞り込まれなかった場合、後述のステップＶ１１に移行する。

　ステップＶ１１では、第二推定部２６が、ステップＶ０１で特定（セット）された一つの背表紙領域の候補のうち、未だ特定（セット）されていない候補が存在するか否かを判定する。未だ特定（セット）されていない候補が存在する場合、前述のステップＶ０２に移行する。一方、未だ特定（セット）されていない候補は存在しない場合、後述のステップＶ１２に移行する。

　ステップＶ１２では、第二推定部２６が、候補が所定数以下に絞り込まれた複数の他の背表紙領域のうち、未だ特定（セット）されていない背表紙領域が存在するか否かを判定する。未だ特定（セット）されていない他の背表紙領域が存在する場合、前述のステップＶ０１に移行する。一方、未だ特定（セット）されていない他の背表紙領域は存在しない場合、一連の処理は終了する。

＜５＞物品推定プログラムのモジュール構成
　引き続き、コンピュータを物品推定システムが搭載されたサーバ２として機能させるための物品推定プログラムのモジュール構成について図１０を用いて説明する。図１０は、コンピュータを物品推定システムが搭載されたサーバ２として機能させるための物品推定プログラムＰのモジュール構成を説明するためのモジュール構成図である。

　物品推定プログラムＰは、図１０に示すように、メインモジュールＰ０、画像取得モジュールＰ１、抽出モジュールＰ２、解析モジュールＰ３、記憶モジュールＰ４、第一推定モジュールＰ５、情報取得モジュールＰ６、及び第二推定モジュールＰ７を備えて構成される。

　メインモジュールＰ０は、各種情報の演算処理を実行させる機能を統括的に制御する部分である。メインモジュールＰ０を実行することにより、前述のサーバ２の機能が実現される。

　また、画像取得モジュールＰ１、抽出モジュールＰ２、解析モジュールＰ３、記憶モジュールＰ４、第一推定モジュールＰ５、情報取得モジュールＰ６、及び第二推定モジュールＰ７のそれぞれを実行することにより実現される機能は、抽出部２１、抽出部２１、解析部２２、物品データベース２３、第一推定部２４、情報取得部２５、及び第二推定部２６のそれぞれの機能と同様である。

　物品推定プログラムＰは、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体または半導体メモリに固定的に記録された態様で提供される。また、物品推定プログラムＰは、搬送波に重畳されたコンピュータデータ信号として通信ネットワークを介して提供されてもよい。

＜６＞本発明による作用及び効果
　物品推定システムとしてのサーバ２によれば、画像領域を解析して得られた領域分割画像に基づいて、画像領域に写っている物品に該当すると推定される特定情報の候補を所定数以下に絞り込む処理が試みられる。例えば、ＯＣＲ（Optical Character Recognition：光学文字認識）等の画像解析により得られた領域分割画像に基づいて、候補が絞り込まれる。これにより、画像マッチングの手法を用いずに特定情報の候補を推定することが可能となる。また、ＯＣＲ処理により、処理負荷が低くなる。

　しかし、背表紙の画像は領域が小さいので、特定情報の候補を所定数以下に絞り込むために十分な情報を画像解析だけで得ることができない場合がある。そこで、複数の画像領域のうち少なくとも一の画像領域について、所定数以下に候補の絞り込みができた場合、その物品の候補の付加情報が、参考物品の付加情報として取得される。そして、画像領域の解析だけで物品の特定情報の候補を推定できなかった画像領域について、参考物品の付加情報も加えて推定処理が行われる。

　これにより、候補を推定できなかった画像領域について、他の物品（参考物品）の付加情報が用いられるので、所定数以下の特定情報の候補に絞り込むことが可能となる。従って、本などの物品の背表紙画像からタイトルや商品コード等の物品を特定する情報を推定可能となる。この結果、本棚に背表紙を表に向けた状態で並べられた本等の物品の背表紙画像から、どの物品のタイトルであるかを推定することが可能になる。

　この結果、ユーザは、実在の書店の棚に並べられた本をカメラで撮影して画像を送信すれば、物品推定システムが搭載されたサーバ２によって推定された本の物品情報をオンラインで容易に取得することが可能になる。物品情報の提供元によっては、当該本の試読やレビュー（他のユーザによるコメント）閲覧を可能にするサービスを提供している。このため、ユーザは、このようなサービスをも利用して、当該本（第二の物品）について吟味してから購入することも可能になる。

　また、ユーザは、自宅の棚に並べられた複数の本（第一の物品及び第二の物品）をまとめてカメラで撮影して画像を送信すれば、物品推定システムが搭載されたサーバ２によって推定された本の物品情報をオンラインで容易に取得することができる。よって、この物品情報をオークションに出品する際に、物品の情報を手動で入力する手間を省くことができる。

　また、撮影された本を推定した後、端末１が、推定された本の情報を各背表紙領域と関連付けて記憶しておくことが好ましい。このような構成にすれば、ユーザはオフラインでも背表紙領域の情報を閲覧することができる。また、各背表紙領域を移動・削除・追加等の編集が可能に構成してもよい。

　また、物品推定システムが搭載されたサーバ２によれば、少なくとも一の参考物品のサイズ情報が取得された場合、背表紙が写っている画像領域であって、第一推定部２４により解析情報に基づいて所定数以下に絞り込みができなかった画像領域について、当該解析情報に加えて参考物品のサイズ情報に基づいて、推定される候補を所定数以下に絞り込む処理が試みられる。これにより、領域分割画像に基づいて所定数以下に絞り込みができなかった画像領域について、当該領域分割画像に加えて参考物品のサイズ情報に基づいて、推定される候補を所定数以下に絞り込むことができる可能性が高まる。

　また、物品推定システムが搭載されたサーバ２によれば、少なくとも一の参考物品のページ数情報が取得された場合、背表紙が写っている画像領域であって、第一推定部２４により領域分割画像に基づいて所定数以下に絞り込みができなかった画像領域について、当該領域分割画像に加えて参考物品のページ数情報から推定される厚さに基づいて、推定される候補を所定数以下に絞り込む処理が試みられる。これにより、領域分割画像に基づいて所定数以下に絞り込みができなかった画像領域について、当該領域分割画像に加えて参考物品のページ数情報から推定される厚さに基づいて、推定される候補を所定数以下に絞り込むことができる可能性が高まる。

　また、物品推定システムが搭載されたサーバ２によれば、少なくとも一の参考物品のシリーズ情報が取得された場合、当該参考物品に隣接して背表紙が写っている画像領域であって、第一推定部２４により領域分割画像に基づいて所定数以下に絞り込みができなかった画像領域について、当該領域分割画像に加えて参考物品のシリーズ情報に基づいて、推定される候補を所定数以下に絞り込む処理が試みられる。これにより、領域分割画像に基づいて所定数以下に絞り込みができなかった画像領域について、当該領域分割画像に加えて参考物品のシリーズ情報に基づいて、推定される候補を所定数以下に絞り込むことができる可能性が高まる。

　また、物品推定システムが搭載されたサーバ２によれば、所定数以下に候補の絞り込みができた画像領域の色あせ度合いと、所定数以下に候補の絞り込みができなかった画像領域の色あせ度合いとを比較して、色あせ度合いがより小さい方の画像領域に写っている物品の方がより新しい号数を有するとして、推定される候補を所定数以下に絞り込む処理が試みられる。これにより、背表紙は時間の経過とともに日焼けして色があせていくという特性を利用して、候補を絞り込むことができる。

　また、物品推定システムが搭載されたサーバ２によれば、少なくとも一の参考物品のジャンル情報が取得された場合、当該参考物品に隣接して背表紙が写っている画像領域であって、第一推定手段により解析情報に基づいて所定数以下に絞り込みができなかった画像領域について、当該解析情報に加えて参考物品のジャンル情報に基づいて、推定される候補を所定数以下に絞り込む処理が試みられる。これにより、同一のジャンルに属する物品は並べて置かれるという特性を利用して、候補を絞り込むことができる。

　また、物品推定システムが搭載されたサーバ２によれば、抽出された複数の画像領域に対してＯＣＲ処理が施されることにより、解析情報として文字情報が取得される。そして、取得された文字情報と記憶されたタイトル及び著作者の情報とに基づいて、物品データベース２３に記憶された複数の物品の中から画像領域に写っている物品に該当すると推定される候補を所定数以下に絞り込む処理が試みられる。このため、画像マッチング処理を行うよりも低い処理負荷で、候補を絞り込むことができる。

＜７＞変形例
　前述の実施例では、図９のステップＶ０９に示されるように、第二推定部２６が、少なくとも一の参考物品のジャンル情報が取得された場合、ステップＴ０３において所定数以下に絞り込みができなかった前述の画像領域について、前述の領域分割画像に加えて参考物品のジャンル情報に基づいて、前述の特定情報の候補を所定数以下に絞り込む処理を試みる。より詳しくは、参考物品に隣接して背表紙が写っている画像領域であって、所定数以下に絞り込みができなかった前述の画像領域において示される物品は、ジャンル情報が示すジャンルに属すると推定する。そして、第二推定部２６は、この推定結果を用いて、前述の特定情報の候補を所定数以下に絞り込む処理を試みる。この点に関して、第二推定部２６は、取得された少なくとも一の参考物品のジャンル情報と、所定数以下に絞り込みができなかった前述の画像領域に示されている著作者と参考物品の著作者とが同じ作者であるか否かに関する情報と、に基づいて、前述の特定情報の候補を所定数以下に絞り込む処理を試みてもよい。具体的には、所定数以下に絞り込みができなかった前述の画像領域に示されている著作者と参考物品の著作者とが同じ作者である場合、この画像領域に示されている対象物品はジャンル情報が示すジャンルに属しているとして、絞り込む処理を試みてもよい。

　また、前述の実施例では、図７のステップＴ１０に示されるように、第一推定部２４が、ユーザによって選択された（すなわち、選択情報によって示された）対象物品を特定する情報を推定できなかった旨のメッセージを生成し、端末１に送信して表示させている。この点に関して、このメッセージを生成する前に、参考物品の候補が膨大であるために対象物品の推定が不可能な状況において、対象物品がＯＣＲ処理により所定数以下に絞り込まれたとする。この場合、対象物品と参考物品との大きさ（例えば、長手方向のサイズ、短手方向のサイズ等）の差が所定範囲に収まっていれば、第二推定部２６は、参考物品が文庫シリーズ、新書シリーズ、又は単行本に属するか否かを判定する構成としてもよい。

　このような構成において、参考物品が単行本に属すると判定された場合、第二推定部２６は、物品データベース２３にアクセスして、単行本の中から参考物品に該当する単行本を検索して絞り込み検索を行う。この絞り込み検索が行われても対象物品を特定する情報を推定できなかった場合、第一推定部２４が、ユーザによって選択された（すなわち、選択情報によって示された）対象物品を特定する情報を推定できなかった旨のメッセージを生成し、端末１に送信して表示させる。

　一方、参考物品が文庫シリーズ又は新書シリーズに属すると判定された場合、第二推定部２６は、物品データベース２３にアクセスして、文庫シリーズ又は新書シリーズの中から参考物品に該当する単行本を検索して絞り込み検索を行う。更に、参考物品の背表紙の色により参考物品が属するシリーズを特定し、再度、絞り込み検索を行う。この絞り込み検索が行われても対象物品を特定する情報を推定できなかった場合、第一推定部２４が、ユーザによって選択された（すなわち、選択情報によって示された）対象物品を特定する情報を推定できなかった旨のメッセージを生成し、端末１に送信して表示させる。

　また、前述の実施例では、図１に示されるように、端末１の構成要素は撮像部１１、指定部１２、及び出力部１３であり、物品推定システムが搭載されたサーバ２の構成要素は抽出部２１、解析部２２、物品データベース２３、第一推定部２４、情報取得部２５、及び第二推定部２６であるとして説明されている。しかしながら、物品推定システムの構成要素の配置は特に限定されず、例えば、端末１の構成要素を撮像部１１、指定部１２、出力部１３、抽出部２１、解析部２２、第一推定部２４、情報取得部２５、及び第二推定部２６としてもよい。

　また、抽出部２１を、サーバ２の外部装置であって物品推定システムに含まれる装置に配置させてもよい。また、物品データベース２３を、サーバ２の外部装置であって物品推定システムに含まれる装置に配置させてもよい。

　また、撮像部１１の撮像対象は、本棚に入っていなくてもよい。また、参考物品と対象物品は、隣り合った状態で撮像されなくてもよい。

　また、ユーザが端末１に対してタップして対象物品の背表紙領域を選択する際、背表紙領域は複数選択されてもよい。また、ユーザが端末１に対してタップして対象物品の背表紙領域を選択する際、選択領域を指定し、この選択領域内の物品を対象物品の背表紙領域として選択してもよい。

　また、前述の実施例では、参考物品を用いて対象物品を特定する情報を推定する処理を行う場合、当該参考物品を所定数以下に絞り込めない場合に、当該参考物品とは異なる別の参考物品を所定数以下に絞り込む処理を試みる構成としている。この点に関して、この構成に限られず、例えば、ユーザが端末１を用いて、当該参考物品とは異なる別の参考物品を特定する情報をサーバ２に送信してもよい。これにより、当該参考物品とは異なる別の参考物品を特定できる可能性が高まる。この結果、対象物品を特定する情報を推定できる可能性が高まる。

　また、第一推定部２４は、参考物品の背表紙領域の情報を用いた推定処理を行なっているが、背表紙画像でなく表紙画像を用いてもよい。この場合、従来の画像マッチング処理技術を用いることにより、参考物品を特定する情報を推定することができる。表紙が表を向いて置かれている本と、背表紙が表を向いて置かれている本とが、近くに配置され、一つの画像内に写る場合がある。このような場合に、表紙が表を向いて置かれている参考物品としての本の推定が可能になる。

　また、前述の実施例では、図６に示されるように、対象物品の推定処理（ステップＳ０９）は、ユーザによる背表紙領域の選択（ステップＳ０７）の後で行われるとして説明したが、対象物品の推定処理（ステップＳ０９）は、ユーザによる背表紙領域の選択（ステップＳ０７）の前に行われてもよい。この場合、端末１に送信されるのは、領域分割画像データでもよく、画像に含まれる背表紙から推定された対象物品の物品情報の一覧であってもよい。

　このような構成の場合、例えば、ユーザから背表紙領域の選択を受け付ける前に、解析部２２が、全ての画像領域についてＯＣＲ処理を行う。続いて、第一推定部２４が、ＯＣＲ処理によって得られた文字情報に基づいて、各画像領域に写った本がどの本かを推定する。候補の本が一冊に絞り込まれた画像領域が一つでもあれば、その本（参考物品）の情報を物品データベース２３から取得する。そして、第二推定部２６が、取得した情報を用いて、他の本の画像領域に写っている物品に該当すると推定される特定情報の候補を絞り込む推定処理を行う。このようにして、第一推定部２４が、順次、各画像領域の特定情報の候補を絞り込む。この推定処理は、絞り込まれた特定情報の候補の数が少ない順に行われるのが好ましい。各画像領域の特定情報の候補を絞り込む際には、複数の参考物品の情報を用いることが好ましい。この場合、同じ画像内に写った他の複数の本の情報を用いて対象物品の本を推定することになるので、より確実に、対象物品に該当する本を推定することができる。

　また、サイズ情報として、画像における縦方向のサイズの代わりに、物品の厚さ方向のサイズを用いてもよい。この場合、厚さ方向の長さは、各画像領域における短手方向の長さに等しいものとする。ただし、背表紙の画像と表紙の画像との混同を防止して明確に区別するため、厚さ方向の長さが他の物品の厚さ方向の長さの２倍以上である場合、画像における縦方向のサイズの代わりに、物品の厚さ方向のサイズを用いることはしないこととしてもよい。

　また、端末１で撮影された画像が動画であってもよい。例えば、ユーザが、端末１のカメラ１０８によって本棚の動画を撮影中に、上記の推定処理を実行してもよい。この場合、撮影された画像が端末１からサーバ２に所定の周期で送信される。サーバ２では、受信された画像について、領域を分割すると共に、オブジェクトを追跡する周知の技術を用いて、各画像の領域を追跡する。これにより、サーバ２は、端末１に表示中の画像においてユーザによって選択された領域と、数周期前にサーバ２に送信された画像中の解析された領域とを対応づける。すなわち、サーバ２は、動画の撮影中にユーザによって選択された領域と、推定処理が行われた領域とを対応づける。これにより、サーバ２は、動画の撮影中にユーザが選択した領域の本がどの本かを示す情報を、端末１に提供することができる。

　本発明によれば、本等の物品の背表紙画像からタイトルや商品コード等の物品を特定する情報を推定することができる。

　１…端末、２…サーバ、１１…撮像部、１２…指定部、１３…出力部、２１…抽出部、２２…解析部、２３…物品データベース、２４…第一推定部、２５…情報取得部、２６…第二推定部、ＮＷ…通信ネットワーク、Ｐ…物品推定プログラム。

Claims

　表紙及び背表紙を有する複数の物品毎に、前記物品を特定する特定情報と当該物品に関する付加情報とを関連付けて記憶する記憶手段から当該特定情報及び当該付加情報を取得可能に構成され、
　複数の前記物品が写っている画像を取得する画像取得手段と、
　取得された前記画像から、前記物品が写っている画像領域を物品毎に抽出する抽出手段と、
　抽出された複数の前記画像領域を解析して解析情報を取得する解析手段と、
　取得された前記解析情報に基づいて、複数の前記画像領域毎に、前記記憶手段に記憶された複数の前記物品の特定情報の中から前記画像領域に写っている物品に該当すると推定される特定情報の候補を所定数以下に絞り込む処理を試みる第一推定手段と、
　前記第一推定手段により少なくとも一の前記画像領域について所定数以下に候補の絞り込みができた場合、当該候補の物品に関する付加情報を参考物品の付加情報として前記記憶手段から取得する情報取得手段と、
　少なくとも一の前記参考物品の付加情報が取得された場合、背表紙が写っている画像領域であって、前記第一推定手段により前記解析情報に基づいて所定数以下に候補の絞り込みができなかった前記画像領域について、当該解析情報に加えて前記参考物品の付加情報に基づいて、前記推定される特定情報の候補を所定数以下に絞り込む処理を試みる第二推定手段と、
を備えることを特徴とする物品推定システム。
　前記記憶手段が記憶する前記付加情報には、当該物品の背表紙のサイズを示すサイズ情報が含まれており、
　前記第二推定手段は、少なくとも一の前記参考物品の前記サイズ情報が取得された場合、背表紙が写っている画像領域であって、前記第一推定手段により前記解析情報に基づいて所定数以下に候補の絞り込みができなかった前記画像領域について、当該解析情報に加えて前記参考物品の前記サイズ情報に基づいて、前記推定される特定情報の候補を所定数以下に絞り込む処理を試みる、
請求項１に記載の物品推定システム。
　前記記憶手段が記憶する前記付加情報には、当該物品のページ数を示すページ数情報が含まれており、
　前記第二推定手段は、少なくとも一の前記参考物品の前記ページ数情報が取得された場合、背表紙が写っている画像領域であって、前記第一推定手段により前記解析情報に基づいて所定数以下に候補の絞り込みができなかった前記画像領域について、当該解析情報に加えて前記参考物品の前記ページ数情報から推定される厚さに基づいて、前記推定される特定情報の候補を所定数以下に絞り込む処理を試みる、
請求項１又は２に記載の物品推定システム。
　前記記憶手段が記憶する前記付加情報には、当該物品が他の物品とシリーズを構成するか否かを示すシリーズ情報が含まれており、
　前記第二推定手段は、少なくとも一の前記参考物品の前記シリーズ情報が取得された場合、当該参考物品に隣接して背表紙が写っている画像領域であって、前記第一推定手段により前記解析情報に基づいて所定数以下に候補の絞り込みができなかった前記画像領域について、当該解析情報に加えて前記参考物品の前記シリーズ情報に基づいて、前記推定される特定情報の候補を所定数以下に絞り込む処理を試みる、
請求項１～３のいずれか１項に記載の物品推定システム。
　前記第二推定手段は、前記第一推定手段により所定数以下に候補の絞り込みができた前記画像領域の背景色の色あせ度合いと、前記第一推定手段により所定数以下に候補の絞り込みができなかった前記画像領域の背景色の色あせ度合いとを比較して、色あせ度合いがより小さい方の画像領域に写っている物品の方がより新しい号数を有するとして、前記推定される特定情報の候補を所定数以下に絞り込む処理を試みる、請求項４に記載の物品推定システム。
　前記記憶手段が記憶する前記付加情報には、当該物品が属するジャンルを示すジャンル情報が含まれており、
　前記第二推定手段は、少なくとも一の前記参考物品の前記ジャンル情報が取得された場合、当該参考物品に隣接して背表紙が写っている画像領域であって、前記第一推定手段により前記解析情報に基づいて所定数以下に候補の絞り込みができなかった前記画像領域について、当該解析情報に加えて前記参考物品の前記ジャンル情報に基づいて、前記推定される特定情報の候補を所定数以下に絞り込む処理を試みる、
請求項１～５のいずれか１項に記載の物品推定システム。
　前記記憶手段が記憶する前記付加情報には、当該物品のタイトル及び著作者の情報が含まれており、
　前記解析手段は、抽出された複数の前記画像領域に対してＯＣＲ処理を施すことにより、前記解析情報として文字情報を取得し、
　前記第一推定手段は、取得された前記文字情報と記憶された前記タイトル及び著作者の情報とに基づいて、前記記憶手段に記憶された複数の前記物品の特定情報の中から前記画像領域に写っている物品に該当すると推定される特定情報の候補を所定数以下に絞り込む処理を試みる、
請求項１～６のいずれか１項に記載の物品推定システム。
　表紙及び背表紙を有する複数の物品毎に、前記物品を特定する特定情報と当該物品に関する付加情報とを関連付けて記憶する記憶手段から当該特定情報及び当該付加情報を物品推定システムが取得可能に構成され、
　複数の前記物品が写っている画像を前記物品推定システムが取得する画像取得ステップと、
　取得された前記画像から、前記物品が写っている画像領域を物品毎に前記物品推定システムが抽出する抽出ステップと、
　抽出された複数の前記画像領域を前記物品推定システムが解析して解析情報を取得する解析ステップと、
　取得された前記解析情報に基づいて、複数の前記画像領域毎に、前記記憶手段に記憶された複数の前記物品の特定情報の中から前記画像領域に写っている物品に該当すると推定される特定情報の候補を所定数以下に絞り込む処理を前記物品推定システムが試みる第一推定ステップと、
　前記第一推定ステップにより少なくとも一の前記画像領域について所定数以下に候補の絞り込みができた場合、当該候補の物品に関する付加情報を参考物品の付加情報として前記記憶手段から前記物品推定システムが取得する情報取得ステップと、
　少なくとも一の前記参考物品の付加情報が取得された場合、背表紙が写っている画像領域であって、前記第一推定ステップにより前記解析情報に基づいて所定数以下に候補の絞り込みができなかった前記画像領域について、当該解析情報に加えて前記参考物品の付加情報に基づいて、前記推定される特定情報の候補を所定数以下に絞り込む処理を前記物品推定システムが試みる第二推定ステップと、
を有することを特徴とする物品推定方法。
　表紙及び背表紙を有する複数の物品毎に、前記物品を特定する特定情報と当該物品に関する付加情報とを関連付けて記憶する記憶手段から当該特定情報及び当該付加情報をコンピュータが取得可能に構成され、
　前記コンピュータに、
　複数の前記物品が写っている画像を取得する画像取得手段の機能と、
　取得された前記画像から、前記物品が写っている画像領域を物品毎に抽出する抽出手段の機能と、
　抽出された複数の前記画像領域を解析して解析情報を取得する解析手段の機能と、
　取得された前記解析情報に基づいて、複数の前記画像領域毎に、前記記憶手段に記憶された複数の前記物品の特定情報の中から前記画像領域に写っている物品に該当すると推定される特定情報の候補を所定数以下に絞り込む処理を試みる第一推定手段の機能と、
　前記第一推定手段の機能により少なくとも一の前記画像領域について所定数以下に候補の絞り込みができた場合、当該候補の物品に関する付加情報を参考物品の付加情報として前記記憶手段から取得する情報取得手段の機能と、
　少なくとも一の前記参考物品の付加情報が取得された場合、背表紙が写っている画像領域であって、前記第一推定手段により前記解析情報に基づいて所定数以下に候補の絞り込みができなかった前記画像領域について、当該解析情報に加えて前記参考物品の付加情報に基づいて、前記推定される特定情報の候補を所定数以下に絞り込む処理を試みる第二推定手段の機能と、
を実現させることを特徴とする物品推定プログラム。