JP7067812B2 - 情報処理装置、及び制御方法 - Google Patents

Description

本発明は商品の管理に関する。

コンビニエンスストアやスーパーマーケットなどの店舗では、陳列場所に商品が陳列されている。そして、このような商品の陳列に関する作業を効率化する情報処理技術が開発されている。例えば特許文献１は、陳列場所が撮像された撮像画像から商品と値札を認識することで、陳列場所に置かれている商品と、陳列場所に付されている棚札との関係が正しいかどうかを自動的に判定する技術を開示している。

ここで、撮像画像から特定の物体を認識するためには、その物体の外見の特徴を表す情報（以下、特徴情報）を予め用意しておく必要がある。特徴情報は、例えば物体の画像である。特許文献２には、物体が含まれる画像から、その物体の検出に利用するマスタ画像を生成することが記載されている。

国際公開第２０１６／０５２３８３号 特開２００４－１２７１５７号公報

商品の外見はその向きによって大きく異なることがある。そのため、画像処理による商品の認識精度を高くするためには、商品の様々な向きに対応する特徴情報を用意しておく必要がある。特許文献１では、このように商品の認識に利用する情報を用意する方法については言及されていない。また、特許文献２では、１つの物体について複数のマスタ画像を用意しておく必要があることについては言及されていない。

本願発明は上記の課題に鑑みてなされたものであり、その目的の一つは、画像から商品を認識するために用いられる商品の情報の生成を容易にする技術を提供することである。

本発明の第１の情報処理装置は、１）撮像画像に含まれる画像領域のうち、その中から検出された物体が商品として認識されなかった部分である部分画像を表す第１表示を、ディスプレイ装置に表示させる表示制御部と、２）第１表示を１つ以上選択する入力を受け付ける第１入力受付部と、３）商品の識別情報の入力を受け付ける第２入力受付部と、
４）所定の入力を受け付ける第３入力受付部と、５）所定の入力を受け付けるまでに選択された各第１表示が表す部分画像に基づく特徴を、入力された商品の識別情報に対応づけて記憶装置に記憶させる登録部と、を有する。
部分画像に基づく特徴情報は、その部分画像及びその部分画像から抽出される画像特徴のうちの少なくとも一方を示し、
前記登録部は、前記入力された商品の識別情報で特定される前記商品を表す特徴情報が前記記憶装置に記憶されている場合、複数の前記選択された第１表示それぞれが表す部分画像のうち、その部分画像に基づく特徴情報と前記記憶装置に記憶されている特徴情報との間の類似度が低い部分画像に基づく特徴情報を、前記記憶装置に記憶させる。
本発明の第２の情報処理装置は、１）撮像画像に含まれる画像領域のうち、その中から検出された物体が商品として認識されなかった部分である部分画像を表す第１表示を、ディスプレイ装置に表示させる表示制御部と、２）第１表示を１つ以上選択する入力を受け付ける第１入力受付部と、３）商品の識別情報の入力を受け付ける第２入力受付部と、
４）所定の入力を受け付ける第３入力受付部と、５）所定の入力を受け付けるまでに選択された各第１表示が表す部分画像に基づく特徴を、入力された商品の識別情報に対応づけて記憶装置に記憶させる登録部と、を有する。
部分画像に基づく特徴情報は、その部分画像及びその部分画像から抽出される画像特徴のうちの少なくとも一方を示し、
前記登録部は、複数の前記選択された第１表示それぞれが表す部分画像のうち、互いの類似度が所定値以上である組み合わせについては、その組み合わせに含まれる複数の前記部分画像のうちの一部の部分画像に基づく特徴情報を、前記記憶装置に記憶させる。

本発明の第１の制御方法はコンピュータによって実行される。当該制御方法は、１）撮像画像に含まれる画像領域のうち、その中から検出された物体が商品として認識されなかった部分である部分画像を表す第１表示を、ディスプレイ装置に表示させる表示制御ステップと、２）第１表示を１つ以上選択する入力を受け付ける第１入力受付ステップと、３）商品の識別情報の入力を受け付ける第２入力受付ステップと、４）所定の入力を受け付ける第３入力受付ステップと、５）所定の入力を受け付けるまでに選択された各第１表示が表す部分画像に基づく特徴を、入力された商品の識別情報に対応づけて記憶装置に記憶させる登録ステップと、を有する。
部分画像に基づく特徴情報は、その部分画像及びその部分画像から抽出される画像特徴のうちの少なくとも一方を示し、
前記登録ステップは、前記入力された商品の識別情報で特定される前記商品を表す特徴情報が前記記憶装置に記憶されている場合、複数の前記選択された第１表示それぞれが表す部分画像のうち、その部分画像に基づく特徴情報と前記記憶装置に記憶されている特徴情報との間の類似度が低い部分画像に基づく特徴情報を、前記記憶装置に記憶させる。
本発明の第２の制御方法はコンピュータによって実行される。当該制御方法は、１）撮像画像に含まれる画像領域のうち、その中から検出された物体が商品として認識されなかった部分である部分画像を表す第１表示を、ディスプレイ装置に表示させる表示制御ステップと、２）第１表示を１つ以上選択する入力を受け付ける第１入力受付ステップと、３）商品の識別情報の入力を受け付ける第２入力受付ステップと、４）所定の入力を受け付ける第３入力受付ステップと、５）所定の入力を受け付けるまでに選択された各第１表示が表す部分画像に基づく特徴を、入力された商品の識別情報に対応づけて記憶装置に記憶させる登録ステップと、を有する。
部分画像に基づく特徴情報は、その部分画像及びその部分画像から抽出される画像特徴のうちの少なくとも一方を示し、
前記登録ステップは、複数の前記選択された第１表示それぞれが表す部分画像のうち、互いの類似度が所定値以上である組み合わせについては、その組み合わせに含まれる複数の前記部分画像のうちの一部の部分画像に基づく特徴情報を、前記記憶装置に記憶させる。

本発明のプログラムは、本発明の制御方法が有する各ステップをコンピュータに実行させる。

本発明によれば、画像から商品を認識するために用いられる商品の情報の生成を容易にする技術が提供される。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

実施形態１に係る情報処理装置の動作を概念的に例示する図である。 実施形態１に係る情報処理装置の動作を概念的に例示する図である。 情報処理装置の機能構成を例示する図である。 情報処理装置を実現する計算機の構成を例示する図である。 実施形態１の情報処理装置によって実行される処理の流れを例示するフローチャートである。 部分画像が抽出された撮像画像を例示する図である。 第１表示のバリエーションを例示する図である。 その中の物体が商品として認識された部分画像についても所定の表示が行われるケースを例示する図である。 部分画像の形状を変更する操作を例示する図である。 商品情報をテーブル形式で例示する図である。 第２表示を選択することで商品識別情報を入力するケースを例示する図である。 第１表示の選択を継続するか否かを選択する入力操作を例示する図である。 実施形態２の情報処理装置の機能構成を例示するブロック図である。 部分画像に複数の商品が含まれているケースを例示する図である。 分割数の入力を受け付けるケースを例示する図である。 基準サイズに基づいて部分画像を分割するケースを例示する図である。 分割部による分割によって商品が含まれない部分画像が生成されるケースを例示する図である。 実施形態４の情報処理装置の機能構成を例示する図である。 実施形態４の情報処理装置によって実行される処理の流れを例示するフローチャートである。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。

以下の説明において、特に説明しない限り、各種所定値は、その所定値を利用する機能構成部からアクセス可能な記憶装置に予め記憶させておく。

［実施形態１］
＜概要＞
図１及び図２は、実施形態１に係る情報処理装置（図３でその構成を例示する情報処理装置２０００）の動作を概念的に例示する図である。ここで、図１と図２を用いて説明する情報処理装置２０００の動作は、情報処理装置２０００の理解を容易にするための例示であり、情報処理装置２０００の動作を限定するものではない。情報処理装置２０００の動作の詳細やバリエーションについては後述する。

情報処理装置２０００は、商品が陳列されている陳列場所が撮像された撮像画像を取得する。図１では、カメラ１０によって陳列場所２０が撮像された結果、撮像画像１２が生成されている。撮像画像１２には、陳列場所２０及び陳列場所２０に陳列されている商品が含まれている。なお、情報処理装置２０００が対象とする陳列場所は、商品が陳列される場所であればよく、図１に示されるような複数の段を持つものに限定されない。例えば、机に商品が平積みにされるようなケースでは、この机が陳列場所として扱われる。

撮像画像１２からは、物体が含まれる複数の部分画像が検出される。例えば図１では、その中に物体を含む画像領域として、部分画像１４が複数検出されている。なお、図が煩雑になるのを避けるため、符号１４は、複数の部分画像のうちの１つにのみ付している。

さらに、各部分画像１４について、その中の物体を商品として認識する処理が行われる。図１では、その中の物体が商品として認識された部分画像１４については丸印が示されており、その中の物体が商品として認識されなかった部分画像１４についてはバツ印が示されている。

商品の認識は、商品情報を用いて行われる。商品情報は、商品識別情報と特徴情報とを対応づけている。商品識別情報は、商品に割り当てられた識別番号などの識別子などである。特徴情報は、商品の外見の特徴を表す情報である。例えば特徴情報は、商品の画像（以下、商品画像）や、商品画像から抽出された画像特徴を示す。なお、撮像画像１２について物体の検出及び商品の認識を行う処理は、情報処理装置２０００によって行われてもよいし、情報処理装置２０００以外の装置で行われてもよい。以下では、説明を分かりやすくするために、特に断らない限り、物体の検出及び商品の認識が情報処理装置２０００によって行われると仮定して説明を行う。

ここで、その中に含まれる物体が商品として認識されない部分画像１４が存在しうる。例えば、商品情報がまだ生成されていない商品（例えば新発売の商品）が陳列場所２０に陳列されている場合、この商品を表す部分画像１４については商品を認識できない。その他にも例えば、外見の特徴が見る方向によってそれぞれ異なる商品の場合、その商品の商品情報に、撮像画像１２に含まれるその商品の外見の特徴を表す特徴情報が含まれていなければ、その商品を認識できない。

例として、正面と側面とで見た目が互いに大きく異なる商品について、正面の画像しか商品情報に含まれていないとする。この場合において、その商品が側面を前面に向けて陳列場所２０に陳列されていると、撮像画像１２にはその商品の側面を表す部分画像１４が含まれ、その商品の正面を表す部分画像１４は含まれない。そのため、撮像画像１２からその商品を認識できない。

情報処理装置２０００は、このように商品として認識されなかった物体について、その物体の商品識別情報と、その物体の特徴情報との対応付けを行う。まず情報処理装置２０００は、その中に含まれる物体が商品として認識されなかった部分画像１４を表す第１表示３０を、ディスプレイ装置６０に表示させる。図２はディスプレイ装置６０に第１表示３０が表示されている様子を例示する図である。図２では、ディスプレイ装置６０に選択画面４０が表示されている。選択画面４０には、第１表示３０が重畳されている撮像画像１２が含まれる。

情報処理装置２０００は、１つ以上の第１表示３０を選択する入力を受け付ける。図２では、第１表示３０－１、第１表示３０－２、及び第１表示３０－３という３つの第１表示３０が選択されている。同じ商品が複数並べて陳列されていることもあるため、同じ商品を表す第１表示３０を複数選択することで、その商品についての複数の特徴情報をまとめて商品情報に含めることができるようにしている。

情報処理装置２０００は、ユーザから所定の入力を受け付けることで、第１表示３０の選択の受け付けを終了する。以下、この入力を「選択終了操作」と呼ぶ。例えば図２の例では、ボタン３２を押下することが選択終了操作に該当する。

図２の例において、情報処理装置２０００は、選択終了操作を受け付けたことに応じ、登録画面５０を表示させている。登録画面５０は、物体画像表示エリア５２及び商品情報入力エリア５４を含む。物体画像表示エリア５２は、選択された第１表示３０によって表される部分画像１４が表示される画面領域である。商品情報入力エリア５４は、登録情報に含める商品識別情報を入力するための入力インタフェースが表示される画面領域である。

情報処理装置２０００は、商品情報入力エリア５４に入力された商品識別情報と、選択された第１表示に対応する部分画像１４に基づく特徴情報とを対応づけて、記憶装置１２０に記憶させる。記憶装置１２０は、商品識別情報に対応づけて、その商品識別情報で特定される商品の外見の特徴を表す特徴情報を記憶している記憶装置である。部分画像に基づく特徴情報は、部分画像そのもの（すなわち、商品の画像）であってもよいし、その部分画像から抽出される画像特徴であってもよい。

＜作用・効果＞
本実施形態の情報処理装置２０００によれば、陳列場所２０が撮像された撮像画像１２について、商品として認識されなかった物体を含む部分画像１４を示す第１表示３０が表示される。情報処理装置２０００のユーザは、この第１表示３０を見ることで、どの商品が画像処理によって商品として認識できなかったのかを、容易に把握することができる。特に、撮像画像１２に同一の商品が複数含まれており、その中に商品として認識できたものとできなかったものがあったとする。この場合、情報処理装置２０００のユーザは、第１表示３０を見ることで、その商品の外見を表す情報として不足している情報を容易に把握することができる。

さらに、情報処理装置２０００によれば、１つ以上の第１表示３０の選択及び商品識別情報の入力を行うことで、選択された各第１表示に対応する部分画像１４に基づく特徴情報が、入力した商品識別情報と対応づけて記憶装置１２０に記憶される。こうすることで、情報処理装置２０００のユーザは、第１表示３０を見ることで把握した１つ以上の「商品の外見を表す情報として不足している情報」を、まとめてその商品の商品識別情報に対応づけて記憶装置１２０に記憶させることができる。よって、商品の認識に必要な情報を容易に生成して記憶装置に記憶させることができる。

以下、情報処理装置２０００についてより詳細に説明する。

＜機能構成の例＞
図３は、情報処理装置２０００の機能構成を例示する図である。情報処理装置２０００は、表示制御部２０４０、第１入力受付部２０６０、第２入力受付部２０８０、第３入力受付部２１００、及び登録部２１２０を有する。表示制御部２０４０は、第１表示３０をディスプレイ装置６０に表示させる。前述したように、第１表示３０は、その中に含まれる物体が商品として認識されなかった部分画像を表す。第１入力受付部２０６０は、１つ以上の第１表示３０を選択する入力を受け付ける。第２入力受付部２０８０は、商品識別情報の入力を受け付ける。第３入力受付部２１００は、選択終了操作を表す入力を受け付ける。登録部２１２０は、選択終了操作を受けるまでに選択された各第１表示３０が表す部分画像に基づく特徴情報と、入力された商品識別情報とを対応づけて記憶装置１２０に記憶させる。以下、特徴情報と商品識別情報を対応づけて記憶装置１２０に記憶させる処理を「登録処理」とも表記する。

また、前述したように、撮像画像１２について物体検出及び商品認識を行う処理を情報処理装置２０００が行う場合、情報処理装置２０００は、この処理を行う認識部２０２０を有する。認識部２０２０は、撮像画像１２から物体をその内部に含む部分画像１４を抽出する。さらに認識部２０２０は、抽出した各部分画像１４について商品認識を行うことで、部分画像１４に含まれる物体を商品として認識する（その物体に相当する商品を特定する）。

＜情報処理装置２０００のハードウエア構成の例＞
情報処理装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、情報処理装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

計算機１０００は種々の計算機である。例えば計算機１０００は、Personal Computer（PC）、サーバマシン、タブレット端末、スマートフォン、又はヘッドマウントディスプレイなどである。計算機１０００は、情報処理装置２０００を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。

図４は、情報処理装置２０００を実現する計算機１０００の構成を例示する図である。計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、CPU (Central Processing Unit) や GPU (Graphics Processing Unit) などで実現されるプロセッサである。メモリ１０６０は、RAM (Random Access Memory) などで実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスク、SSD (Solid State Drive)、メモリカード、又は ROM (Read Only Memory) などで実現される補助記憶装置である。入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース１１００には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。ネットワークインタフェース１１２０は、計算機１０００をネットワークに接続するためのインタフェースである。この通信網は、例えば LAN（Local Area Network）や WAN（Wide Area Network）である。ネットワークインタフェース１１２０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。

ストレージデバイス１０８０は情報処理装置２０００の各機能を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールを実行することで、そのプログラムモジュールに対応する各機能を実現する。

＜カメラ１０について＞
カメラ１０は、撮像を行い、撮像結果を表す画像を生成することができる任意の撮像装置である。例えばカメラ１０は、スマートフォンやタブレット端末などに設けられているカメラである。

＜ディスプレイ装置６０について＞
ディスプレイ装置６０は、任意のディスプレイ装置である。例えばディスプレイ装置６０は、カメラ１０と共にスマートフォンやタブレット端末などに設けられる。

＜処理の流れ＞
図５は、実施形態１の情報処理装置２０００によって実行される処理の流れを例示するフローチャートである。図５では、情報処理装置２０００が認識部２０２０を有することを前提としている。認識部２０２０は撮像画像１２を取得する（Ｓ１０２）。認識部２０２０は、撮像画像１２に対して物体検出を行うことで、撮像画像１２から部分画像１４を抽出する（Ｓ１０４）。認識部２０２０は、各部分画像１４を対象に商品認識を行う（Ｓ１０６）。表示制御部２０４０は、第１表示３０をディスプレイ装置６０に表示させる（Ｓ１０８）。第１入力受付部２０６０は、１つ以上の第１表示３０を選択する入力を受け付ける（Ｓ１１０）。第２入力受付部２０８０は、商品識別情報の入力を受け付ける（Ｓ１１２）。第３入力受付部２１００は、選択終了操作を表す入力を受け付ける（Ｓ１１４）。登録部２１２０は、選択終了操作を受けるまでに選択された各第１表示３０が表す部分画像の特徴情報と、入力された商品識別情報とを対応づけて、記憶装置１２０に記憶させる（Ｓ１１６）。

情報処理装置２０００の動作の流れは、図５に示すものに限定されない。例えば、商品識別情報は、第１表示３０を選択する前、第１表示３０の選択中、又は選択終了操作を受け付けた後に入力されてもよい。すなわち、商品識別情報は、図２における選択画面４０が表示されている任意のタイミングで入力されてもよいし、登録画面５０で入力されてもよい。なお、選択画面４０と登録画面５０の双方で商品識別情報を入力できるようにしておき、選択画面４０で入力された商品識別情報を、登録画面５０で訂正できるようにしてもよい。

情報処理装置２０００が図５に示す一連の処理を実行する契機は様々である。例えば、カメラ１０が撮像画像１２を生成したことに応じてその撮像画像１２について商品認識等の処理が行われ、表示制御部２０４０がその結果を取得してＳ１０２の処理を実行するようにする。情報処理装置２０００のユーザの視点からは、カメラ１０に撮像画像１２を撮像させる操作を行うことで、第１表示３０がディスプレイ装置６０に表示されることになる。

その他にも例えば、撮像画像１２を指定する入力操作を受け付け、指定された撮像画像１２について図５に示す一連の処理を実行してもよい。この場合、情報処理装置２０００は、ユーザから入力操作を受け付けたことを契機として、図５に示す一連の処理を実行する。

＜撮像画像１２の取得：Ｓ１０２＞
情報処理装置２０００は、撮像画像１２を取得する（Ｓ１０２）。例えば情報処理装置２０００は、撮像画像１２が記憶されている記憶装置から撮像画像１２を取得する。撮像画像１２が記憶されている記憶装置は、情報処理装置２０００の内部に設けられていてもよいし、外部に設けられていてもよい。その他にも例えば、情報処理装置２０００は、ユーザによる入力操作によって入力される撮像画像１２を取得する。その他にも例えば、情報処理装置２０００は、他の装置によって送信される撮像画像１２を受信することで、撮像画像１２を取得する。

ここで、情報処理装置２０００が取得する撮像画像１２は、カメラ１０によって生成された撮像画像そのものであってもよいし、カメラ１０によって生成された撮像画像に何らかの処理が施されたものであってもよい。後者の場合、例えば、カメラ１０によって生成された撮像画像に対してトリミングを行って不要な画像領域を取り除いたり、カメラ１０によって生成された撮像画像に対して色調補正を施したりすることで、撮像画像１２が生成される。

＜物体検出：Ｓ１０４＞
認識部２０２０は、撮像画像１２に対して物体検出を行うことで、物体をその内部に含む部分画像１４を撮像画像１２から抽出する（Ｓ１０４）。ここで、画像に対して物体検出処理を行うことで、その内部に物体を含むと推測される部分画像を抽出する技術には、既存の技術を利用することができる。

図６は、部分画像１４が抽出された撮像画像１２を例示する図である。図６では、陳列されている商品がそれぞれ物体として検出され、各物体を含む部分画像１４が抽出されている。なお、図６は、撮像画像１２から部分画像１４が抽出された様子を説明するための図であり、このような様子を必ずしも実際にディスプレイ装置６０に表示させる必要があるわけではない。

＜商品認識：Ｓ１０６＞
認識部２０２０は、各部分画像１４について、その中に含まれる物体に相当する商品の特定（商品認識）を行う（Ｓ１０６）。認識部２０２０は、この処理によってその中に含まれる物体に相当する商品を特定できなかった部分画像１４を、第１表示３０の表示対象である「その中に含まれる物体が商品として認識されなかった部分画像１４」とする。ここで、画像から抽出された部分画像に含まれる物体について商品認識を行う技術、すなわち、部分画像中の物体がどの商品を表すかを特定する技術には、既存の技術を利用することができる。

＜第１表示３０の表示：Ｓ１０８＞
表示制御部２０４０は、複数の部分画像１４のうち、その中の物体が商品として認識されなかった部分画像１４について、ディスプレイ装置６０に対する第１表示３０の表示を行う（Ｓ１０８）。第１表示３０は、対応する部分画像を表すことができる任意の表示とすることができる。

図７は、第１表示３０のバリエーションを例示する図である。図７の上段において、第１表示３０は、対応する部分画像１４を囲む枠である。この枠は、その内部が所定の色や模様で塗りつぶされていてもよいし、塗りつぶされていなくてもよい。

図７の下段において、第１表示３０は、対応する部分画像１４の上に重畳されるマークである。なお、このマークは、図７に示すバツ印には限定されず、丸印等の任意の他のマークとすることもできる。

ここで、その中の物体が商品として認識された部分画像１４についても、その部分画像１４を示す表示が行われてもよい。図８は、その中の物体が商品として認識された部分画像１４についても所定の表示が行われるケースを例示する図である。この図において、その中の物体が商品として認識された部分画像１４は、第２表示９０で表されている。第２表示９０は、第１表示３０と識別可能なものとする。例えば図８では、第１表示３０は点線の枠であり、第２表示９０は実線の枠である。

ここで、物体検出及び商品認識が情報処理装置２０００以外の装置によって行われる場合、表示制御部２０４０は、その装置から、その中の物体が商品として認識されなかった各部分画像１４を特定する情報（部分画像１４の位置やサイズなど）を取得する。また、第２表示９０の表示も行う場合には、その中の物体が商品として認識された各部分画像を特定する情報も取得する。

＜第１表示３０の選択：Ｓ１１０＞
第１入力受付部２０６０は、第１表示３０を選択する入力を受け付ける（Ｓ１１０）。ここで、ディスプレイ装置上の表示に対する選択を受け付ける技術には、既存の技術を利用することができる。例えば第１入力受付部２０６０は、第１表示３０をタップする操作やマウスでクリックする操作などを、第１表示３０を選択する入力操作として受け付ける。

ここで、第１表示３０に対する入力操作を通じて、第１表示３０に対応する部分画像１４の形状を変更できるようにすることが好適である。例えば、部分画像１４に陳列場所２０の一部（棚板など）が大きく含まれてしまうことがある。この場合、部分画像１４の形状を調整して、部分画像１４の中にできる限り棚板などが含まれないようにすることが好適である。

図９は、部分画像１４の形状を変更する操作を例示する図である。この例では、部分画像１４の形状は第１表示３０の形状と一致するものとする。ユーザは、第１表示３０の端をドラッグして第１表示３０の形状を変更することにより、部分画像１４の形状を変更する。ここで、第１表示３０の形状を変更する操作は、第１表示３０を選択する操作とは区別可能な操作（第１表示３０を所定時間以上タップし続ける操作など）によって開始されることが好ましい。

＜商品識別情報の入力：Ｓ１１２＞
第２入力受付部２０８０は、商品識別情報の入力を受け付ける（Ｓ１１２）。ここで、商品識別情報は、商品を識別するための任意の情報である。例えば商品識別情報は、JAN（Japanese Article Number）コードなどの識別番号や、商品名などである。

商品識別情報の入力を受け付ける方法には、様々な方法を採用することができる。以下、その方法についていくつか例示する。

＜＜方法１＞＞
例えば第２入力受付部２０８０は、商品識別情報の候補をディスプレイ装置６０に表示させ、その中から１つの商品識別情報を選択する入力を受け付ける。商品識別情報の候補は、複数の入力候補をリスト表示し、その入力候補の選択を受け付ける入力インタフェース（例えばプルダウンリスト）を利用して表示させることが好適である。

ここで、ディスプレイ装置６０に表示させる商品識別情報の候補を決定する方法は様々である。例えば第２入力受付部２０８０は、商品に関する条件（商品名、商品の種別、又はメーカーなど）の入力を受け付け、入力された条件に基づいて商品情報（説明は後述）を検索することで、その条件に該当する１つ以上の商品の商品識別情報を取得する。第２入力受付部２０８０は、ここで取得した１つ以上の商品識別情報を、商品識別情報の候補とする。

前述した商品情報は、商品に関する種々の情報を示す。例えば商品情報は、記憶装置１２０に記憶させておく。図１０は、商品情報をテーブル形式で例示する図である。図１０に示すテーブルを、テーブル２００と呼ぶ。テーブル２００は、商品識別情報２０２、商品名２０４、価格２０６、種別２０８、メーカー２１０、及び特徴情報２１２を示す。メーカー２１０は、商品の製造販売に携わるメーカー（製造メーカーや販売メーカーなど）の名称を示す。特徴情報２１２は、１つ以上の商品画像又は画像特徴を示す。図１０の特徴情報２１２は、商品画像と画像特徴の双方を示している。図１０に示すように、商品画像と画像特徴の双方を特徴情報２１２に示す場合には、商品画像とその商品画像から抽出された画像特徴を対応づけて記憶しておく。

ここで、撮像画像１２に含まれる商品の絞り込みに利用できる情報が予め得られている場合、この情報を条件として商品情報を検索してもよい。例えば、ユーザがカメラ１０を使って陳列場所２０を撮像する前後において、その陳列場所２０に関する情報を入力するようにしておく。より具体的には、陳列場所２０に陳列されている商品の種類や商品名などの情報を、情報処理装置２０００に入力するようにしておく。この場合、第２入力受付部２０８０は、この情報を条件として商品データベースを検索することで、商品識別情報の候補を得る。

＜＜方法２＞＞
例えば第２入力受付部２０８０は、その中の物体が商品として認識された部分画像１４を表す表示（第２表示９０）の選択を、商品識別情報の入力として受け付けてもよい。すなわち、第２入力受付部２０８０は、選択された第２表示９０に対応する部分画像１４に含まれる商品の商品識別情報を、入力として受け付ける。このケースでは、表示制御部２０４０は、第１表示３０だけでなく第２表示９０もディスプレイ装置６０に表示させる。

図１１は、第２表示９０を選択することで商品識別情報を入力するケースを例示する図である。ここでは、第２表示９０－１が選択されている。第２表示９０－１は、その中から ID0002 という商品識別子を持つ商品が認識された部分画像１４に対応している。そこで第２入力受付部２０８０は、ID0002 という商品識別情報の入力を受け付ける。

なお、図１１では、第１表示３０－１、第１表示３０－２、及び第１表示３０－３に対する選択も行われている。そのため、上記入力操作により、これら３つの第１表示３０それぞれに含まれる物体の商品識別情報として、ID0002 を指定することができる。

このように第２表示９０を選択することで商品識別情報を入力するケースでは、或る商品が複数個並べて陳列されている（フェイス数が２以上である）状況において、その一部のみが商品として認識されている。例えば図１２では、第１表示３０－１、第１表示３０－２、第１表示３０－３、及び第２表示９０－１に含まれる商品は、いずれも同じ商品である。このような場合、第２表示９０の選択によって商品識別情報を入力できるようにすれば、認識されなかった商品の商品識別情報を、認識された商品の選択によって容易に指定できるようになる。よって、ユーザが商品識別情報を容易に入力できるようになる。

なお、図１１の例の様に、第１表示３０の選択を行う選択画面４０において、商品識別情報の入力も行える場合、別途登録画面５０（図２参照）を設けなくてもよい。この場合、選択画面４０において選択終了操作（図１１では登録ボタンの押下）が行われたことに応じ、登録部２１２０は、選択された第１表示３０に対応する部分画像１４に基づく特徴情報を、選択された第２表示９０に対応する部分画像１４に含まれる商品の商品識別情報に対応づけて、記憶装置１２０に記憶させる。

＜＜方法３＞＞
その他にも例えば、第１入力受付部２０６０は、商品から商品識別情報を読み取る操作を受け付けてもよい。例えば、商品に付されているバーコードをバーコードリーダで読み取ることで、その商品の商品識別情報を入力できるようにする。なお、読み取りに利用できるものはバーコードに限定されず、QR コード（登録商標）などの種々のシンボルを利用することができる。

ユーザがカメラ１０で陳列場所を撮影しながら情報処理装置２０００を利用している場合、商品識別情報を入力したい商品（撮像画像１２を解析しても認識されなかった商品）がユーザの近くにあることが多いと言える。そのため、商品から商品識別情報を読み取ることで商品識別情報を入力できるようにすることで、情報処理装置２０００の利便性が向上する。

なお、バーコードや QR コード（登録商標）のリーダは、専用の装置として実現されてもよいし、カメラ１０を用いて実現されてもよい。例えば情報処理装置２０００が携帯端末として実現されており、カメラ１０がその携帯端末に設けられているカメラである場合、カメラ１０で商品に付されたバーコード等を撮像することで、そのバーコード等から商品識別情報を得ることができるようにする。なお、バーコードや QR コード（登録商標）の画像から識別情報を読み取る技術には、既存の技術を利用することができる。

＜選択終了操作：Ｓ１１４＞
第３入力受付部２１００は、選択終了操作を受け付ける（Ｓ１１４）。選択終了操作は、第１表示３０を選択する操作や商品識別情報を入力する操作と区別可能な任意の操作とすることができる。例えば、ディスプレイ装置６０に「選択終了」というボタンを表示しておき、このボタンに対する入力操作を選択終了操作として受け付けるようにする（図２参照）。

その他にも例えば、第３入力受付部２１００は、第１表示３０が１つ選択される度に、第１表示３０の選択を継続するか否かを選択する入力操作を受け付けてもよい。図１２は、第１表示３０の選択を継続するか否かを選択する入力操作を例示する図である。図１２では、第１表示３０が選択されたことに応じて、ポップアップウインドウ１３０が表示される。ポップアップウインドウ１３０には、ボタン１３２とボタン１３４が含まれている。ボタン１３２が押下されると、情報処理装置２０００は、ポップアップウインドウ１３０を閉じ、第１表示３０を選択する操作をさらに受け付ける。一方、ボタン１３４が押下されると、情報処理装置２０００は、ディスプレイ装置６０に登録画面５０を表示させる。すなわち、この例では、ボタン１３４を押下する操作が選択終了操作となる。

＜登録処理：Ｓ１１６＞
登録部２１２０は、選択終了操作を受け付けるまでに選択された１つ以上の第１表示３０それぞれに対応する部分画像１４に基づく特徴情報を、第２入力受付部２０８０が受け付けた商品識別情報に対応づけて、記憶装置１２０に記憶させる（Ｓ１１６）。

前述したように、特徴情報は、商品画像又は商品画像から抽出される画像特徴である。そこで登録部２１２０は、部分画像１４（商品画像に相当）と、部分画像１４から抽出される画像特徴との双方又はいずれか一方を、部分画像１４に基づく特徴情報として扱う。

例えば記憶装置１２０は、商品識別情報と特徴情報とを対応づける情報として、前述した商品情報を記憶している。この場合、登録部２１２０は、第２入力受付部２０８０が受け付けた商品識別情報を示す商品情報に、選択された各第１表示３０に対応する部分画像１４の特徴情報を追加する。ただし、第２入力受付部２０８０が受け付けた商品識別情報を示す商品情報が存在しない場合には、登録部２１２０は、その商品識別情報を示す新たな商品情報を生成する。そして、登録部２１２０は、その新たに生成した商品情報に、選択された各第１表示３０に対応する部分画像１４の特徴情報を加える。

登録部２１２０が特徴情報を加えるのは、必ずしも前述した商品情報に対してでなくてもよい。例えば登録部２１２０は、商品情報に追加する特徴情報の候補として、部分画像１４に基づく特徴情報を記憶装置１２０に記憶させておく。例えば、商品情報の作成方針として、「商品情報には、管理者によって許可された情報のみを追加する」という方針が考えられる。このような場合、登録部２１２０によって記憶装置１２０に記憶された特徴情報は、管理者によるチェックで許可された後に、商品情報に追加される。

なお、特徴情報として部分画像１４から抽出される画像特徴を用いる場合、この画像特徴には、撮像画像１２に対する物体検出処理の過程で抽出された画像特徴を利用できる。撮像画像１２に対する物体検出が情報処理装置２０００以外の装置で行われる場合、登録部２１２０は、その装置から、各部分画像１４から抽出された画像特徴を取得する。

ただし、登録部２１２０は、物体検出の過程で抽出された画像特徴を用いずに、部分画像１４から画像特徴を抽出する処理を別途行って、抽出した画像特徴を記憶装置１２０に記憶させてもよい。また、選択された部分画像１４が、ユーザ操作によってその形状が変更されたものである場合、その部分画像１４は物体検出が行われた時のものとは異なるものになっている。そのため、登録部２１２０は、その部分画像１４について画像特徴の抽出を再度行うことが好適である。

＜記憶装置１２０に記憶させた特徴情報の用途＞
商品識別情報に対応づけて記憶装置１２０に記憶させた特徴情報は、その後に行われる商品認識に利用できる。すなわち、将来得られる撮像画像１２から、商品の認識を行うために利用できる。

前述したように、外見の特徴が見る方向によって互いに大きく異なる商品を撮像画像から高い精度で認識できるようにするためには、その商品の様々な方向についての特徴情報が必要となる。そして、撮像画像１２に含まれる商品が商品認識によって認識できなかったことは、その商品の特徴情報のバリエーションが不足していることを意味する。

情報処理装置２０００を利用すれば、このように商品の特徴情報のバリエーションが不足している状況において、その商品の画像である部分画像１４に基づく特徴情報を追加することで、その商品の特徴情報のバリエーションを容易に増やすことができる。

［実施形態２］
図１３は、実施形態２の情報処理装置２０００の機能構成を例示するブロック図である。以下で説明する点を除き、実施形態２の情報処理装置２０００は、実施形態１の情報処理装置２０００と同様の機能を有する。

実施形態２の情報処理装置２０００は、「その中の物体が商品として認識されなかった１つの部分画像１４に、複数の商品が含まれている」というケースを扱う機能を有する。このようなケースでは、１つの部分画像１４には１つの商品のみが含まれるように部分画像１４を分割し、分割後の各画像を新たに部分画像１４として扱うことが好適である。

図１４は、部分画像１４に複数の商品が含まれているケースを例示する図である。図１４の上段において、第１表示３０の中には４つの商品が含まれている。図１４の下段では、図１４の上段における部分画像１４を４つに分割することで部分画像１４－１から部分画像１４－４が生成され、これら４つの部分画像１４それぞれについて第１表示３０が表示されている。

そのために、実施形態２の情報処理装置２０００は分割部２１４０を有する。分割部２１４０は、第１表示３０が表す部分画像１４を複数の部分画像１４に分割する。また、実施形態２の情報処理装置２０００は、分割によって新たに生成された部分画像１４それぞれについて第１表示３０を表示する。なお、分割前の部分画像１４について表示されていた第１表示３０は、ディスプレイ装置６０から削除する。

＜作用効果＞
画像解析によって撮像画像から物体を検出する場合、ノイズの影響などにより、互いに近くにある複数の物体が誤って１つの物体として検出されてしまうことがある。その結果、１つの部分画像１４に複数の物体が含まれてしまう。このような部分画像１４を１つの商品に対応づけなければならないと、その商品を表す適切な画像を記憶装置１２０に記憶させることができない。

この点、本実施形態の情報処理装置２０００によれば、１つの部分画像１４に複数の物体が含まれる場合に、その部分画像１４を分割することで、１つの部分画像１４には１つの物体のみが含まれるようにすることができる。よって、商品を適切に表す画像を容易に記憶装置１２０に記憶させることができるようになる。

分割部２１４０が部分画像１４を分割する方法には、様々な方法がある。以下、その方法の具体例を説明する。

＜分割の方法１＞
例えば分割部２１４０は、部分画像１４の分割数を指定する入力操作を受け付け、選択された第１表示３０を、受け付けた分割数で等分する。例えば、図１５は、分割数の入力を受け付けるケースを例示する図である。図１５では、第１表示３０が選択されている。この第１表示３０の中には、横方向に３個、縦方向に２個の商品が含まれている。そこでユーザは、選択画面４０に含まれる入力エリア１４０に対し、「横：３個」、「縦：２個」という入力を行う。そしてユーザは、「分割実行」というボタンを押す。その結果、分割部２１４０は、第１表示３０に対応する部分画像１４を、横方向に３等分、なおかつ縦方向に２等分する。

ここで、分割の対象とする部分画像１４を選択する方法は、第１入力受付部２０６０が第１表示３０の選択を受け付ける方法と同じであってもよいし、異なっていてもよい。前者の場合、例えば分割部２１４０は、第１表示３０が１つのみ選択されている状態で分割の指示（前述した「分割実行」というボタンの押下など）を受け付けたら、その第１表示３０を分割する。

第１入力受付部２０６０が受け付ける選択操作とは異なる態様の選択操作を受け付ける場合、例えば、第１入力受付部２０６０は、第１表示３０に対するシングルタップを受け付けるようにし、分割部２１４０は第１表示３０に対するダブルタップを受け付けるようにする。

＜分割方法２＞
例えば分割部２１４０は、その中の物体が商品として認識された部分画像１４のサイズに基づいて、部分画像１４を分割してもよい。例えば分割部２１４０は、その中の物体が商品として認識された部分画像１４のサイズに基づいて、基準サイズを決定する。分割部２１４０は、選択された第１表示３０が表す部分画像１４のサイズと基準のサイズとの比率から、その部分画像１４の横方向と縦方向それぞれの分割数を決定する。そして分割部２１４０は、決定した分割数で部分画像１４を分割する。

図１６は、基準サイズに基づいて部分画像１４を分割するケースを例示する図である。図１６において、その中の物体が商品として認識された部分画像１４－１のサイズは、縦方向が h、横方向が w である。そこで、縦方向 h と横方向 w を基準サイズとしている。

分割対象の部分画像１４－２のサイズは、縦方向が 2h であり、横方向が 3w である。そこで、分割部２１４０は、縦方向の分割数を２とし、横方向の分割数を３として、部分画像１４－２を分割している。

ここで、基準サイズを決定する方法は様々である。例えば分割部２１４０は、選択された第１表示３０が表す部分画像１４に隣接している部分画像１４であって、その中の物体が商品として認識された部分画像１４のサイズを、基準サイズとする。このような部分画像１４が複数ある場合、例えば分割部２１４０は、これら複数の部分画像１４のサイズの統計値（平均値など）を基準サイズとする。その他にも例えば、分割部２１４０は、その中の物体が商品として認識された全ての部分画像１４の統計値を基準サイズとしてもよい。

なお、図１６では、説明を簡単にするため、第１表示３０の横幅と高さがそれぞれ、基準サイズの横幅と高さの倍数となっている。しかしながら、第１表示３０の横幅や高さは、基準サイズの横幅や高さの倍数になるとは限らない。そこで例えば、分割部２１４０は、第１表示３０の横幅を基準サイズの横幅で割った値の概数（切り捨て、切り上げ、四捨五入）を横方向の分割数とする。同様に、分割部２１４０は、第１表示３０の高さを基準サイズの高さで割った値の概数を高さ方向の分割数とする。

分割部２１４０が決定した分割数は、ユーザ操作によって変更可能にすることが好適である。例えば分割部２１４０は、上述した図１５に示した入力エリア１４０に、初期値として、基準サイズから決定した分割数を設定するようにする。

＜商品が含まれない部分画像１４について＞
商品がその中に含まれない部分画像１４が存在しうる。このような部分画像１４を示す第１表示３０は、ユーザ操作によって消せるようにしてもよい。ここで、画面上の表示を消去することを指示するユーザ操作を受け付け、それに応じて当該表示を消去する技術には、既存の技術を利用することができる。

なお、部分画像１４の中に商品が含まれないケースの例としては、例えば、値札が物体として誤検出されるケースがある。その他にも例えば、複数の商品が含まれる部分画像１４を商品ごとに分割する際、商品が含まれない部分画像１４が生成されることがありうる。

図１７は、分割部２１４０による分割によって商品が含まれない部分画像１４が生成されるケースを例示する図である。図１７において、分割前の部分画像１４は、横幅が商品３個分であり、高さが商品２個分である。ただし、部分画像１４の右上部分には商品が含まれておらず、部分画像１４に含まれる商品の数は５個である。このような場合、商品の大きさに合わせて部分画像１４を分割すると、商品が含まれない部分画像１４が生成されうる。

＜ハードウエア構成の例＞
実施形態２の情報処理装置２０００を実現する計算機のハードウエア構成は、実施形態１と同様に、例えば図４によって表される。ただし、本実施形態の情報処理装置２０００を実現する計算機１０００のストレージデバイス１０８０には、本実施形態の情報処理装置２０００の機能を実現するプログラムモジュールがさらに記憶される。

［実施形態３］
実施形態３の情報処理装置２０００は、以下で説明する点を除き、実施形態３の情報処理装置２０００は、実施形態１の情報処理装置２０００又は実施形態２の情報処理装置２０００と同様の機能を有する。

実施形態３の情報処理装置２０００は、複数の第１表示３０が選択された場合に、それらの第１表示３０それぞれが表す部分画像１４のうち、所定の条件を満たす部分画像１４の特徴情報のみを記憶装置１２０に記憶させる。すなわち、実施形態３の登録部２１２０は、第１表示３０によって表される部分画像１４が所定の条件を満たすか否かを判定し、所定の条件を満たす場合に、その部分画像１４の特徴情報を記憶装置１２０に記憶させる。

上記所定の条件には、様々なものを採用しうる。以下、所定の条件の具体例を説明する。

＜所定の条件１：特徴点の数＞
前述したように、商品識別情報と対応づけて記憶させる部分画像１４の利用方法の一つとして、その商品識別情報で特定される商品を撮像画像から認識するために利用するという利用方法がある。この商品認識の方法としては、撮像画像から検出された物体の各特徴点（コーナー、エッジ、又はブロブなど）について得られる局所特徴量（画像特徴）と、部分画像１４に含まれる物体の各特徴点について得られる局所特徴量とをマッチングするという方法がある。そして、このマッチングを精度良く行うためには、部分画像１４に含まれる物体について十分な数の特徴点が得られる必要がある。言い換えれば、その中に含まれる物体について十分な数の特徴点が得られない部分画像１４は、商品認識に利用することが難しい。

そこで登録部２１２０は、選択された第１表示３０が表す部分画像１４に含まれる物体について得られた特徴点の数が所定値以上であるか否かを判定する。登録部２１２０は、特徴点の数が所定値以上であると判定された場合、その部分画像１４の特徴情報を記憶装置１２０に記憶させる。一方、特徴点の数が所定値未満であると判定された場合、登録部２１２０は、その部分画像１４の特徴情報を記憶装置１２０に記憶させない。

なお、上記所定値は、全ての商品について共通の値であってもよいし、商品によって異なる値であってもよい。例えばこの所定値は、商品の種類ごとに予め定めておく。登録部２１２０は、第２入力受付部２０８０が受け付けた商品識別情報によって特定される商品について、その商品の種類を特定し、その種類について定められている所定値を取得して利用する。

＜所定の条件２：既に記憶されている特徴情報との類似度合い＞
記憶装置１２０には、第２入力受付部２０８０が受け付けた商品識別情報について、特徴情報が既に記憶されていることがありうる。この場合、既に記憶されている特徴情報との類似度合いが高い特徴情報は、少なくとも記憶装置１２０に記憶させる特徴情報のバリエーションを増やすという観点からは、重要度が低いと言える。

そこで登録部２１２０は、第２入力受付部２０８０が受け付けた商品識別情報に対応づけて記憶装置１２０に記憶されている特徴情報と、選択された第１表示３０が表す部分画像１４の特徴情報との類似度を算出し、算出した類似度が所定の閾値以下であるか否かを判定する。そして登録部２１２０は、算出した類似度が所定の閾値以下であれば、その部分画像１４の特徴情報を記憶装置１２０に記憶させる。一方、算出した類似度が所定の閾値より大きければ、登録部２１２０は、その部分画像１４の特徴情報を記憶装置１２０に記憶させない。

ここで、特徴情報の類似度（商品画像の類似度、又は商品画像から抽出される画像特徴の類似度）を算出する技術には、既存の技術を利用することができる。

＜所定の条件３：複数の部分画像１４の画像特徴同士の類似度合い＞
複数の第１表示３０が選択された場合、或る第１表示３０によって表される部分画像１４の特徴情報が、他の第１表示３０によって表される部分画像１４の特徴情報と類似している可能性がある。このように互いに類似している特徴情報については、少なくとも記憶装置１２０に記憶させる特徴情報のバリエーションを増やすという観点からは、それらの特徴情報のうちの一部（例えば１つ）を記憶装置１２０に記憶させればよいと言える。

そこで登録部２１２０は、選択された複数の第１表示３０によって表される部分画像１４の特徴情報の中から、類似度が所定の閾値以上である特徴情報の組み合わせの特定を試みる。このような組み合わせが特定された場合、登録部２１２０は、その組み合わせに含まれる特徴情報については、その一部のみ（例えば１つのみ）を記憶装置１２０に記憶させる。ここで、複数の情報の中から、類似度が高い情報の組み合わせを見つけ出す技術には、既存の技術を利用することができる。

＜ハードウエア構成の例＞
実施形態３の情報処理装置２０００を実現する計算機のハードウエア構成は、実施形態１と同様に、例えば図４によって表される。ただし、本実施形態の情報処理装置２０００を実現する計算機１０００のストレージデバイス１０８０には、本実施形態の情報処理装置２０００の機能を実現するプログラムモジュールがさらに記憶される。

［実施形態４］
実施形態４の情報処理装置２０００は、商品情報において商品識別情報と対応づけて記憶されている特徴情報を、所定の条件の下で記憶装置１２０から削除する。概念的には、情報処理装置２０００は、商品認識に利用する際の有用性が低い特徴情報を削除する。

ここで、特徴情報は、登録部２１２０によって記憶装置１２０に記憶させた特徴情報であってもよいし、それ以外の方法で記憶装置１２０に記憶させた特徴情報であってもよい。「それ以外の方法」とは、情報処理装置２０００を利用しない方法を意味する。例えば、商品情報がデータベースサーバで管理されている場合、データベースサーバを管理するソフトウエアを直接利用して、商品情報に特徴情報を追加することが考えられる。

＜作用効果＞
商品識別情報には、１つのみではなく、複数の特徴情報が対応づけられていることが好ましい。なぜなら、様々な方向から見た商品の外見それぞれについて特徴情報を用意しておくことで、商品がどのような向きで陳列されてもその商品を認識できるようになるためである。すなわち、商品識別情報に対応づけられている特徴情報のバリエーションを増やすことで、商品認識の精度を向上させることができる。

一方で、特徴情報の数を増やすと、記憶領域の使用量が増大したり、特徴情報の管理が煩雑になったりする。そのため、商品識別情報には、有用性が高い特徴を対応づけておくことが好ましい。

本実施形態の情報処理装置２０００によれば、商品認識に利用する際の有用性が低い特徴情報が、記憶装置１２０から削除される。そのため、特徴情報を利用した商品認識の精度が大きく下がってしまうことを防ぎつつ、記憶装置１２０に記憶させておく特徴情報を減らすことができる。

＜機能構成の例＞
図１８は、実施形態４の情報処理装置２０００の機能構成を例示する図である。実施形態４の情報処理装置２０００は判定部２１６０及び削除部２１８０を有する。判定部２１６０は、判定対象の特徴情報が所定の条件を満たすか否かを判定する。削除部２１８０は、判定対象の特徴情報が所定の条件を満たすと判定されたら、判定対象の特徴情報を記憶装置１２０から削除する。

＜ハードウエア構成の例＞
実施形態４の情報処理装置２０００を実現する計算機のハードウエア構成は、実施形態１と同様に、例えば図４によって表される。ただし、本実施形態の情報処理装置２０００を実現する計算機１０００のストレージデバイス１０８０には、本実施形態の情報処理装置２０００の機能を実現するプログラムモジュールが記憶される。

＜処理の流れ＞
図１９は、実施形態４の情報処理装置２０００によって実行される処理の流れを例示するフローチャートである。判定部２１６０は判定対象の特徴情報が所定の条件を満たすか否かを判定する（Ｓ２０２）。判定対象の特徴情報が所定の条件を満たすと判定された場合（Ｓ２０２：ＹＥＳ）、削除部２１８０は、判定対象の特徴情報を記憶装置１２０から削除する（Ｓ２０４）。判定対象の特徴情報が所定の条件を満たさないと判定された場合（Ｓ２０２：ＮＯ）、図１９の処理は終了する。

＜情報処理装置２０００が動作するタイミング＞
情報処理装置２０００が動作するタイミング（すなわち、特徴情報の削除を試みるタイミング）は様々である。例えば情報処理装置２０００は、定期的に（例えば一週間や一ヶ月に一度）動作する。その他にも例えば、情報処理装置２０００は、特徴情報が商品情報に追加されたことに応じて動作する。その他にも例えば、情報処理装置２０００は、ユーザから所定の入力操作を受け付けたことに応じて動作する。

＜判定対象とする特徴情報を決定する方法＞
判定部２１６０は、記憶装置１２０に記憶されている全ての特徴情報を判定対象としてもよいし、その中の一部を判定対象としてもよい。後者の場合、例えば判定部２１６０は、前回判定を行った後に、対応する特徴情報が追加された商品識別情報を特定し、その商品識別情報に対応づけられている各特徴情報を判定対象とする。これは、特徴情報が新たに商品識別情報に対応付けられると、新たに対応づけられた特徴情報が有用なものでなかったり、以前からその商品識別情報に対応づけられていた特徴情報の有用性が低下したりする可能性があるためである。

＜判定部２１６０による判定：Ｓ２０２＞
判定部２１６０は、判定対象の特徴情報が所定の条件を満たしているか否かを判定する（Ｓ２０２）。この所定の条件としては、様々な条件を採用することができる。以下、所定の条件のバリエーションについて説明する。

＜＜所定の条件１：特徴点の数＞＞
その中に含まれる物体について十分な数の特徴点が得られない商品画像、又はそのような商品画像から得られた画像特徴は、商品認識に利用することが難しいため、商品認識に利用する際の有用性が低いと言える。そこで削除部２１８０は、特徴情報に含まれる特徴点（商品画像から検出される特徴点、又は画像特徴が示す特徴点）の数が所定値以下である特徴情報を、削除対象とする。すなわち、「特徴情報に含まれる特徴点の数が所定値以下である」という条件を、所定の条件とする。こうすることで、商品認識に利用することが難しい特徴情報、すなわち商品認識に利用する際の有用性が低い特徴情報を、記憶装置１２０から削除することができる。

なお、上記所定値は、全ての商品について共通の値であってもよいし、商品によって異なる値であってもよい。例えばこの所定値は、商品の種類ごとに予め定めておく。判定部２１６０は、判定対象の特徴情報に対応づけられている商品識別情報によって特定される商品について、その商品の種類を特定し、その種類について定められている所定値を取得して利用する。

＜＜所定の条件２＞＞
例えば削除部２１８０は、商品認識において、認識対象の物体から得られる特徴情報との類似度が高い（例えば、所定値以上）と判定されることが少ない特徴情報を、削除対象とする。商品認識では、認識対象の物体の特徴情報が、商品情報に含まれる或る特徴情報と類似度が高いと判定されると、その物体はその特徴情報に対応づけられている商品識別情報を持つ商品であると認識される。そのため、認識対象の物体の特徴情報との類似度が高いと判定される頻度が高い特徴情報は、その商品の外見の特徴をよく表していると言える。逆に言えば、認識対象の物体の特徴情報との類似度が高いと判定されることが少ない特徴情報は、その商品の外見の特徴をあまりよく表していない蓋然性が高い。そこで削除部２１８０は、このように商品の外見の特徴をよく表していない特徴情報を削除対象とする。すなわち、「商品認識においてその商品画像と認識対象の物体の画像との類似度が高いと判定されることが少ない」という条件を、上記所定の条件とする。

ここで、「商品認識においてその商品画像と認識対象の物体の画像との類似度が高いと判定されることが少ない」という条件は、具体的には、「所定期間以上、その特徴情報が、認識対象の物体の特徴情報との類似度が高いと判定されていない」や「その特徴情報と認識対象の物体の特徴情報との類似度が高いと判定される頻度が所定値以下である」のように、期間や頻度に関する条件とすることができる。

ここで、品薄などが原因で一時的に（例えば一ヶ月）店舗に置かれない商品は、その間商品認識の対象とされない。このような原因で上述の条件を満たしてしまう特徴情報は、商品の外見の特徴をよく表している可能性もある。

そこで、上述の条件に基づいて特徴情報を削除対象とするのは、その特徴情報と対応づけられている商品識別情報を持つ商品が、別の特徴情報を用いて認識されている場合に限ってもよい。具体的には、「所定期間以上、その特徴情報と認識対象の物体の画像の特徴情報との類似度が高いと判定されていない」かつ「その所定期間において、その特徴情報に対応づけられている商品識別情報を持つ商品が、所定回数以上商品として認識された」という条件を所定の条件とする。同様に、「その特徴情報と認識対象の物体の特徴情報との類似度が高いと判定される頻度が第１所定値以下である」かつ「その特徴情報に対応づけられている商品識別情報を持つ商品が、第２所定値以上の頻度で商品として認識された」という条件を所定の条件としてもよい。なお、第１所定値と第２所定値は、「第１所定値＜第２所定値」の関係を満たすとする。

＜＜所定の条件３＞＞
例えば削除部２１８０は、同じ商品識別情報に対応づけられている複数の特徴情報のうち、互いに類似する特徴情報の一部を削除対象とする。すなわち、「同一の商品識別情報と対応づけられている他の特徴情報と類似度が高い」という条件を、所定の条件とする。互いに類似度が高い特徴情報については、それらのうちの一部（例えば１つ）を商品情報に含めておけば、それらの特徴情報によって表される特徴を持つ商品を認識できるためである。

具体的には、判定部２１６０は、同じ商品識別情報に対応づけられている複数の特徴情報の中から、類似度が所定の閾値以上である特徴情報の組み合わせの特定を試みる。このような組み合わせが特定された場合、判定部２１６０は、その組み合わせに含まれる各特徴情報について、所定の条件を満たすと判定する。なお、複数の情報の中から、類似度が高い情報の組み合わせを見つけ出す技術には、既存の技術を利用することができる。

ここで、上記組み合わせに含まれる複数の特徴情報については、その中の一部（例えば１つ）については削除せず、商品情報に残す必要がある。ここで、削除しない特徴情報を決定する方法は様々である。例えば削除部２１８０は、複数の特徴情報のうち、商品認識において認識対象の物体の特徴情報との類似度が高いと判定された回数が最も多い特徴情報を、削除対象から除外する。これは、商品の特徴を最もよく表している蓋然性が高いためである。その他にも例えば、削除部２１８０は、上記組み合わせの中からランダムに選択した１つの特徴情報を削除対象から除外したり、商品情報に追加された日時が最も早い特徴情報を削除対象から除外したりしてもよい。

＜その他の条件＞
商品識別情報に対応づけられている特徴情報の数が少なければ、特徴情報を削除する必要性が低いと言える。そこで判定部２１６０は、上述した各所定の条件に、「判定対象の特徴情報と対応づけられている商品識別情報に対応づけられている特徴情報の総数が所定値以上である」という条件を加えてもよい。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記各実施形態の組み合わせ、又は上記以外の様々な構成を採用することもできる。

例えば前述した説明では、第１表示３０を重畳した撮像画像１２をディスプレイ装置６０に表示させていた。しかしながら、ディスプレイ装置６０として透過型のヘッドマウントディスプレイの様に画像と実世界の景色を合わせて見ることができるものを利用する場合には、ディスプレイ装置６０に撮像画像１２を表示させなくてもよい。この場合、表示制御部２０４０は、撮像画像１２に含まれる景色と、ディスプレイ装置６０を透過して見える実世界の景色との対応関係に基づいて、ディスプレイ装置６０に表示させる情報（第１表示３０や第２表示９０など）の位置や形状などを決定する。なお、撮像画像１２に含まれる景色とディスプレイ装置６０を透過して見える実世界の景色との対応関係は、撮像画像１２を生成するカメラ１０のカメラパラメータなどに基づいて決定することができる。

また、このように透過型のヘッドマウントディスプレイを利用する場合、第１表示３０を選択したり商品識別情報を入力したりする操作は、例えば、カメラ１０に撮像されるユーザのジェスチャなど（例えば、第１表示３０に重なる位置に指を留める操作）によって実現される。ここで、ヘッドマウントディスプレイがユーザのジェスチャなどの入力操作を認識する技術には、既存の技術を利用することができる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
１． 撮像画像から検出された物体が商品として認識されなかった部分である部分画像を表す第１表示を、ディスプレイ装置に表示させる表示制御部と、
前記第１表示を１つ以上選択する入力を受け付ける第１入力受付部と、
商品の識別情報の入力を受け付ける第２入力受付部と、
所定の入力を受け付ける第３入力受付部と、
前記所定の入力を受け付けるまでに選択された各前記第１表示が表す部分画像に基づく特徴を、前記入力された商品の識別情報に対応づけて記憶装置に記憶させる登録部と、を有し、
前記部分画像に基づく特徴情報は、その部分画像及びその部分画像から抽出される画像特徴のうちの少なくとも一方を示す、情報処理装置。
２． 前記表示制御部は、前記撮像画像に重畳させた前記第１表示を前記ディスプレイ装置に表示させる、１．に記載の情報処理装置。
３． 前記表示制御部は、検出された前記物体が商品として認識された部分画像を表す第２表示を前記ディスプレイ装置に表示させ、
前記第２入力受付部は、前記第２表示が選択されたことに応じて、その第２表示に対応する部分画像に含まれる商品の識別情報の入力を受け付ける、１．又は２．に記載の情報処理装置。
４． 前記選択された前記第１表示が表す部分画像を複数の部分画像に分割する分割部を有し、
前記表示制御部は、前記分割によって生成された複数の部分画像それぞれについての前記第１表示を、前記ディスプレイ装置に表示させる、１．乃至３．いずれか一つに記載の情報処理装置。
５． 前記分割部は、前記選択された前記第１表示が表す部分画像を、入力された数の部分画像に分割する、４．に記載の情報処理装置。
６． 前記分割部は、
前記選択された部分画像のサイズと、その中の物体が商品として認識された他の部分画像のサイズとを比較することで、前記選択された部分画像の分割数を決定し、
前記選択された前記第１表示が表す部分画像を、前記決定した分割数の部分画像に分割する、４．に記載の情報処理装置。
７． 前記登録部は、前記選択された第１表示が表す部分画像それぞれから特徴点を検出し、前記検出された特徴点の数が所定値以上である部分画像に基づく特徴情報を、前記記憶装置に記憶させる、１．乃至６．いずれか一つに記載の情報処理装置。
８． 前記登録部は、前記入力された商品の識別情報で特定される前記商品を表す特徴情報が前記記憶装置に記憶されている場合、複数の前記選択された第１表示それぞれが表す部分画像のうち、その部分画像に基づく特徴情報と前記記憶装置に記憶されている特徴情報との間の類似度が低い部分画像に基づく特徴情報を、前記記憶装置に記憶させる、１．乃至６．いずれか一つに記載の情報処理装置。
９． 前記登録部は、複数の前記選択された第１表示それぞれが表す部分画像のうち、互いの類似度が所定値以上である組み合わせについては、その組み合わせに含まれる複数の前記部分画像のうちの一部の部分画像に基づく特徴情報を、前記記憶装置に記憶させる、１．乃至６．いずれか一つに記載の情報処理装置。

１０． コンピュータによって実行される制御方法であって、
撮像画像から検出された物体が商品として認識されなかった部分である部分画像を表す第１表示を、ディスプレイ装置に表示させる表示制御ステップと、
前記第１表示を１つ以上選択する入力を受け付ける第１入力受付ステップと、
商品の識別情報の入力を受け付ける第２入力受付ステップと、
所定の入力を受け付ける第３入力受付ステップと、
前記所定の入力を受け付けるまでに選択された各前記第１表示が表す部分画像に基づく特徴を、前記入力された商品の識別情報に対応づけて記憶装置に記憶させる登録ステップと、を有し、
前記部分画像に基づく特徴情報は、その部分画像及びその部分画像から抽出される画像特徴のうちの少なくとも一方を示す、制御方法。
１１． 前記表示制御ステップにおいて、前記撮像画像に重畳させた前記第１表示を前記ディスプレイ装置に表示させる、１０．に記載の制御方法。
１２． 前記表示制御ステップにおいて、検出された前記物体が商品として認識された部分画像を表す第２表示を前記ディスプレイ装置に表示させ、
前記第２入力受付ステップにおいて、前記第２表示が選択されたことに応じて、その第２表示に対応する部分画像に含まれる商品の識別情報の入力を受け付ける、１０．又は１１．に記載の制御方法。
１３． 前記選択された前記第１表示が表す部分画像を複数の部分画像に分割する分割ステップを有し、
前記表示制御ステップにおいて、前記分割によって生成された複数の部分画像それぞれについての前記第１表示を、前記ディスプレイ装置に表示させる、１０．乃至１２．いずれか一つに記載の制御方法。
１４． 前記分割ステップにおいて、前記選択された前記第１表示が表す部分画像を、入力された数の部分画像に分割する、１３．に記載の制御方法。
１５． 前記分割ステップにおいて、
前記選択された部分画像のサイズと、その中の物体が商品として認識された他の部分画像のサイズとを比較することで、前記選択された部分画像の分割数を決定し、
前記選択された前記第１表示が表す部分画像を、前記決定した分割数の部分画像に分割する、１３．に記載の制御方法。
１６． 前記登録ステップにおいて、前記選択された第１表示が表す部分画像それぞれから特徴点を検出し、前記検出された特徴点の数が所定値以上である部分画像に基づく特徴情報を、前記記憶装置に記憶させる、１０．乃至１５．いずれか一つに記載の制御方法。
１７． 前記登録ステップにおいて、前記入力された商品の識別情報で特定される前記商品を表す特徴情報が前記記憶装置に記憶されている場合、複数の前記選択された第１表示それぞれが表す部分画像のうち、その部分画像に基づく特徴情報と前記記憶装置に記憶されている特徴情報との間の類似度が低い部分画像に基づく特徴情報を、前記記憶装置に記憶させる、１０．乃至１５．いずれか一つに記載の制御方法。
１８． 前記登録ステップにおいて、複数の前記選択された第１表示それぞれが表す部分画像のうち、互いの類似度が所定値以上である組み合わせについては、その組み合わせに含まれる複数の前記部分画像のうちの一部の部分画像に基づく特徴情報を、前記記憶装置に記憶させる、１０．乃至１５．いずれか一つに記載の制御方法。

１９． １０．乃至１８．いずれか一つに記載の制御方法の各ステップをコンピュータに実行させるプログラム。

この出願は、２０１８年３月２０日に出願された日本出願特願２０１８－０５３４５１号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (10)

1. 撮像画像から検出された物体が商品として認識されなかった部分である部分画像を表す第１表示を、ディスプレイ装置に表示させる表示制御部と、
   前記第１表示を１つ以上選択する入力を受け付ける第１入力受付部と、
   商品の識別情報の入力を受け付ける第２入力受付部と、
   所定の入力を受け付ける第３入力受付部と、
   前記所定の入力を受け付けるまでに選択された各前記第１表示が表す部分画像に基づく特徴を、前記入力された商品の識別情報に対応づけて記憶装置に記憶させる登録部と、を有し、
   前記部分画像に基づく特徴情報は、その部分画像及びその部分画像から抽出される画像特徴のうちの少なくとも一方を示し、
   前記登録部は、前記入力された商品の識別情報で特定される前記商品を表す特徴情報が前記記憶装置に記憶されている場合、複数の前記選択された第１表示それぞれが表す部分画像のうち、その部分画像に基づく特徴情報と前記記憶装置に記憶されている特徴情報との間の類似度が低い部分画像に基づく特徴情報を、前記記憶装置に記憶させる、情報処理装置。
2. 撮像画像から検出された物体が商品として認識されなかった部分である部分画像を表す第１表示を、ディスプレイ装置に表示させる表示制御部と、
   前記第１表示を１つ以上選択する入力を受け付ける第１入力受付部と、
   商品の識別情報の入力を受け付ける第２入力受付部と、
   所定の入力を受け付ける第３入力受付部と、
   前記所定の入力を受け付けるまでに選択された各前記第１表示が表す部分画像に基づく特徴を、前記入力された商品の識別情報に対応づけて記憶装置に記憶させる登録部と、を有し、
   前記部分画像に基づく特徴情報は、その部分画像及びその部分画像から抽出される画像特徴のうちの少なくとも一方を示し、
   前記登録部は、複数の前記選択された第１表示それぞれが表す部分画像のうち、互いの類似度が所定値以上である組み合わせについては、その組み合わせに含まれる複数の前記部分画像のうちの一部の部分画像に基づく特徴情報を、前記記憶装置に記憶させる、情報処理装置。
3. 前記表示制御部は、前記撮像画像に重畳させた前記第１表示を前記ディスプレイ装置に表示させる、請求項１又は２に記載の情報処理装置。
4. 前記表示制御部は、検出された前記物体が商品として認識された部分画像を表す第２表示を前記ディスプレイ装置に表示させ、
   前記第２入力受付部は、前記第２表示が選択されたことに応じて、その第２表示に対応する部分画像に含まれる商品の識別情報の入力を受け付ける、請求項１乃至３いずれか一項に記載の情報処理装置。
5. 前記選択された前記第１表示が表す部分画像を複数の部分画像に分割する分割部を有し、
   前記表示制御部は、前記分割によって生成された複数の部分画像それぞれについての前記第１表示を、前記ディスプレイ装置に表示させる、請求項１乃至４いずれか一項に記載の情報処理装置。
6. 前記分割部は、前記選択された前記第１表示が表す部分画像を、入力された数の部分画像に分割する、請求項５に記載の情報処理装置。
7. 前記分割部は、
   前記選択された前記第１表示が表す部分画像のサイズと、その中の物体が商品として認識された他の部分画像のサイズとを比較することで、前記選択された前記第１表示が表す部分画像の分割数を決定し、
   前記選択された前記第１表示が表す部分画像を、前記決定した分割数の部分画像に分割する、請求項５に記載の情報処理装置。
8. 前記登録部は、前記選択された第１表示が表す部分画像それぞれから特徴点を検出し、前記検出された特徴点の数が所定値以上である部分画像に基づく特徴情報を、前記記憶装置に記憶させる、請求項１乃至７いずれか一項に記載の情報処理装置。
9. コンピュータによって実行される制御方法であって、
   撮像画像から検出された物体が商品として認識されなかった部分である部分画像を表す第１表示を、ディスプレイ装置に表示させる表示制御ステップと、
   前記第１表示を１つ以上選択する入力を受け付ける第１入力受付ステップと、
   商品の識別情報の入力を受け付ける第２入力受付ステップと、
   所定の入力を受け付ける第３入力受付ステップと、
   前記所定の入力を受け付けるまでに選択された各前記第１表示が表す部分画像に基づく特徴を、前記入力された商品の識別情報に対応づけて記憶装置に記憶させる登録ステップと、を有し、
   前記部分画像に基づく特徴情報は、その部分画像及びその部分画像から抽出される画像特徴のうちの少なくとも一方を示し、
   前記登録ステップは、前記入力された商品の識別情報で特定される前記商品を表す特徴情報が前記記憶装置に記憶されている場合、複数の前記選択された第１表示それぞれが表す部分画像のうち、その部分画像に基づく特徴情報と前記記憶装置に記憶されている特徴情報との間の類似度が低い部分画像に基づく特徴情報を、前記記憶装置に記憶させる、制御方法。
10. コンピュータによって実行される制御方法であって、
    撮像画像から検出された物体が商品として認識されなかった部分である部分画像を表す第１表示を、ディスプレイ装置に表示させる表示制御ステップと、
    前記第１表示を１つ以上選択する入力を受け付ける第１入力受付ステップと、
    商品の識別情報の入力を受け付ける第２入力受付ステップと、
    所定の入力を受け付ける第３入力受付ステップと、
    前記所定の入力を受け付けるまでに選択された各前記第１表示が表す部分画像に基づく特徴を、前記入力された商品の識別情報に対応づけて記憶装置に記憶させる登録ステップと、を有し、
    前記部分画像に基づく特徴情報は、その部分画像及びその部分画像から抽出される画像特徴のうちの少なくとも一方を示し、
    前記登録ステップは、複数の前記選択された第１表示それぞれが表す部分画像のうち、互いの類似度が所定値以上である組み合わせについては、その組み合わせに含まれる複数の前記部分画像のうちの一部の部分画像に基づく特徴情報を、前記記憶装置に記憶させる、制御方法。

Images