JP6769554B2 - 物体識別装置、物体識別方法、計算装置、システムおよび記録媒体 - Google Patents

物体識別装置、物体識別方法、計算装置、システムおよび記録媒体 Download PDF

Info

Publication number
JP6769554B2
JP6769554B2 JP2019528293A JP2019528293A JP6769554B2 JP 6769554 B2 JP6769554 B2 JP 6769554B2 JP 2019528293 A JP2019528293 A JP 2019528293A JP 2019528293 A JP2019528293 A JP 2019528293A JP 6769554 B2 JP6769554 B2 JP 6769554B2
Authority
JP
Japan
Prior art keywords
image
identification
parameter
captured image
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019528293A
Other languages
English (en)
Other versions
JPWO2019008734A1 (ja
Inventor
岩元　浩太
浩太 岩元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2019008734A1 publication Critical patent/JPWO2019008734A1/ja
Application granted granted Critical
Publication of JP6769554B2 publication Critical patent/JP6769554B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features

Description

本開示は、物体識別装置、物体識別方法、計算装置、システムおよび記録媒体に関する。
認識精度を高める方法として、認識に用いるデータベースの情報量を増やすことが開示されている（例えば、特許文献１）。また、参照用の物体を異なる複数の視点で撮像した画像を用いて作成したデータベースを用いて、二次元画像に基づいて三次元物体の位置・姿勢を推定する技術が開示されている（例えば、特許文献２）。
特開２００１−０１４４６５号公報 特開２００７−２１９７６５号公報
ところで、局所特徴量を用いた物体識別（被写体識別）では、例えば、データベースに登録された物体の様々な方向から撮像された画像（データベース画像）と、識別対象の物体が含まれるクエリ画像とを照合し、該クエリ画像中のどの位置に何れの物体があるのかを識別する方法が考えられる。
このように、１つの物体に対し識別に用いる複数のデータベース画像がデータベースに登録されている場合、クエリ画像に対し、複数のデータベース画像が識別結果として出力される可能性がある。識別結果に複数のデータベース画像が含まれることにより、識別された物体の個数が正確に把握できない可能性がある。
本開示は上記課題に鑑みてなされたものであり、その目的は、識別対象の物体の個数を精度よく識別することが可能な技術を提供することにある。
本開示の一態様に係る物体識別装置は、撮像画像と物体を識別するための複数の識別用画像との照合を行う照合手段と、前記照合の結果が前記撮像画像に複数の物体が含まれることを示す場合、前記識別用画像間の幾何学関係を表す第１パラメータと、識別された各物体に対応する前記識別用画像および前記撮像画像の間の幾何学関係を表す第２パラメータとに基づいて、前記複数の物体が同一物体か否かを判定する判定手段と、を備える。
また、本開示の一態様に係る物体識別方法は、撮像画像と物体を識別するための複数の識別用画像との照合を行い、前記照合の結果が前記撮像画像に複数の物体が含まれることを示す場合、前記識別用画像間の幾何学関係を表す第１パラメータと、識別された各物体に対応する前記識別用画像および前記撮像画像の間の幾何学関係を表す第２パラメータとに基づいて、前記複数の物体が同一物体か否かを判定する。
また、本開示の一態様に係る計算装置は、物体を識別するための複数の識別用画像の夫々から、前記物体の特徴を表す特徴情報を抽出する抽出手段と、前記抽出された特徴情報に基づいて、前記複数の識別用画像間の幾何学関係を表す第１パラメータであって、前記識別用画像を用いた照合により撮像画像に複数の物体が識別される場合において、該複数の物体が同一物体か否かを判定する際に、識別される各物体に対応する前記識別用画像および前記撮像画像の間の幾何学関係を表す第２パラメータと共に用いる第１パラメータを計算する計算手段と、を備える。
また、上記物体識別装置および計算装置を含むシステムも本開示の範疇に含まれる。
なお、上記各装置または方法を、コンピュータによって実現するコンピュータプログラム、およびそのコンピュータプログラムが格納されている、コンピュータ読み取り可能な非一時的記録媒体も、本開示の範疇に含まれる。
本開示によれば、識別対象の物体の個数を精度よく識別することができる。
第１の実施の形態に係るシステムの全体構成の一例を示す図である。 第１実施の形態に係るシステムが利用される利用シーンの一例を説明するための図である。 第１の実施の形態に係るシステムに含まれる物体識別装置および計算装置の機能構成の一例を示す機能ブロック図である。 画像記憶部に格納されたデータベース画像を含む画像情報の一例を示す図である。 パラメータ計算部によるパラメータの計算を説明するための図である。 パラメータ記憶部が格納するパラメータ情報の一例を示す図である。 判定部が行う判定処理を説明するための図である。 判定部が行う判定処理を更に説明するための図である。 出力装置が受け取った情報をファイル出力する装置の場合における、出力されるファイルの一例を示す図である。 出力装置がディスプレイを有する表示装置または端末装置の場合における、出力装置が出力する画面の一例を示す図である。 計算装置の処理の流れの一例を示すフローチャートである。 物体識別装置の処理の流れの一例を示すフローチャートである。 第２の実施の形態に係る物体識別装置の機能構成の一例を示す機能ブロック図である。 第２の実施の形態に係る物体識別装置の処理の流れの一例を示すフローチャートである。 第２の実施の形態において、物体識別装置が参照する第１パラメータを計算する計算装置の機能構成の一例を示す機能ブロック図である。 第２の実施の形態において、物体識別装置および計算装置を含むシステムの構成の一例を示すブロック図である。 各実施の形態を実現可能なコンピュータ（情報処理装置）のハードウェア構成を例示的に説明する図である。
＜第１の実施の形態＞
本開示の第１の実施の形態について、図面を参照して説明する。図１は、本実施の形態に係るシステム１の全体構成の一例を示す図である。図１に示すシステム１は、物体識別装置１００と、計算装置２００と、撮像装置３００と、出力装置４００とを含む。なお、図１は、本開示に特有な構成について示したものであり、システム１が図１に示されていない装置を有していてもよいことは言うまでもない。また、図１に示す各装置は、各々組み合わせて構成されてもよい。例えば、物体識別装置１００と計算装置２００とが一体となっていてもよいし、物体識別装置１００と撮像装置３００とが一体となっていてもよい。
物体識別装置１００は、計算装置２００、撮像装置３００および出力装置４００と互いに通信可能に接続している。各装置間の通信手段は、有線または無線通信の何れであってもよいし、携帯通信網、公衆回線網、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、または、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）の何れを介した通信であってもよい。このように、各装置間の通信方法は、さまざまな方法が考えられる。
撮像装置３００は、撮像対象の物体を含む画像を撮像する。撮像装置３００は、例えば、レンズおよび撮像素子を含むカメラによって実現される。撮像装置３００は、例えば、デジタルカメラやＷｅｂカメラ等によって実現される。撮像装置３００は、撮像画像を物体識別装置１００に供給する。なお、撮像装置３００は、撮像画像を撮像装置３００の内部または物体識別装置１００とは異なる記憶装置に格納してもよい。この場合、物体識別装置１００は、撮像画像を該撮像画像が格納された場所から取得すればよい。
出力装置４００は、物体識別装置１００からの制御信号に基づいた出力を行う。出力装置４００は、例えば、ディスプレイなどの表示装置であってもよいし、ディスプレイを有する端末装置であってもよい。また、出力装置４００はこれに限定されず、スピーカであってもよいし、プリンタであってもよいし、受け取った信号に含まれる情報をファイル出力する装置であってもよい。
図２は、本実施の形態に係るシステム１が利用される利用シーンの一例を説明するための図である。図２では、物体の例として、所定の容器に梱包された物品５を撮像可能な位置に設置されたカメラ３を撮像装置３００の一例として示している。また、図２では、携帯端末４を出力装置４００の一例として示している。
カメラ３によって撮像された、物品５を含む撮像画像は、物体識別装置１００に送信される。物体識別装置１００は、物品５の識別結果と、計算装置２００によって計算されたパラメータとに基づいて、物品５の個数を判定する。そして、物体識別装置１００は、判定結果を携帯端末４に出力する。これにより、作業者２は、携帯端末４の画面に表示された判定結果を確認することができる。
次に、図３を参照して、システム１に含まれる物体識別装置１００および計算装置２００の構成について説明する。物体識別装置１００は、撮像装置３００によって撮像された撮像画像を受け取り、該撮像画像に含まれる物体を照合し、該物体の個数を判定する。物体識別装置１００は、第１特徴抽出部１１０と、照合部１２０と、判定部１３０と、出力制御部１４０とを備える。
計算装置２００は、物体識別装置１００が、撮像画像に含まれる物体の照合を行う際に用いる、物体を識別するための識別用画像（データベース画像とも呼ぶ）を格納する。また、計算装置２００は、物体識別装置１００が物体の個数を判定する際に用いるパラメータを計算する。計算装置２００は、画像記憶部２１０と、第２特徴抽出部２２０と、パラメータ計算部２３０と、パラメータ記憶部２４０とを備える。
まず、計算装置２００の各部について説明する。画像記憶部２１０は、物体を識別するためのデータベース画像を格納する。データベース画像は、撮像画像との間で物体の照合を行う際に用いられる。本実施の形態では、画像記憶部２１０は、物体毎に、該物体を複数の角度から撮像した画像をデータベース画像として格納する。画像記憶部２１０が格納するデータベース画像の一例を図４に示す。図４は、画像記憶部２１０に格納されたデータベース画像を含む画像情報４１の一例を示す図である。画像情報４１は、図４に示す通り、画像番号４２、物品名４３およびデータベース画像４４を含む。画像番号４２は、データベース画像４４を識別する識別子である。物品名４３は、データベース画像４４が示す物品の名前である。データベース画像４４は、物品名４３によって示される物品を撮像した撮像画像である。
図４に示す通り、画像情報４１は、物品名４３が「ＡＡＡ」の物品を複数の方向から撮像した撮像画像であるデータベース画像４４を含む。例えば、画像番号４２が「４０１Ａ」のデータベース画像４４（データベース画像４４Ａ）は、「ＡＡＡ」の文字を含むラベルが全て含まれる第１方向から物品を撮像した撮像画像であり、画像番号４２が「４０１Ｂ」のデータベース画像４４（データベース画像４４Ｂ）は、同じ物品を第１方向とは異なる第２方向から撮像した撮像画像である。このように、本実施の形態では、画像情報４１は、１つの物品に対し複数の方向から撮像した撮像画像をデータベース画像４４として含むとする。
なお、データベース画像４４は、実際に撮像した画像ではなく、照合用の画像として作成された画像であってもよい。また、データベース画像４４は、撮像装置３００によって撮像された画像であってもよいし、その他の方法で取得された画像であってもよい。また、画像記憶部２１０は、計算装置２００とは別個の記憶装置によって実現されてもよい。
第２特徴抽出部２２０は、画像記憶部２１０に格納されたデータベース画像４４の夫々から特徴量を抽出し、該特徴量を有する特徴点を抽出（検出）する。以降、第２特徴抽出部２２０が抽出する特徴量および特徴点に関連する情報を、特徴情報と呼ぶ。第２特徴抽出部２２０は、任意の方法によって特徴情報を抽出すればよく、その方法は特に限定されない。第２特徴抽出部２２０は、物体識別装置１００が照合を行う際に使用する特徴情報を抽出すればよい。第２特徴抽出部２２０は、抽出した特徴情報を抽出元のデータベース画像４４を示す情報（例えば、画像番号４２）と共に、自身または画像記憶部２１０等の記憶部に格納する。なお、前述した画像記憶部２１０はデータベース画像４４に加え、または、データベース画像４４の代わりに、第２特徴抽出部２２０が抽出した特徴情報を格納してもよい。また、第２特徴抽出部２２０は、複数種類の特徴量を特徴情報として抽出してもよい。第２特徴抽出部２２０は、抽出した特徴情報を、抽出元のデータベース画像４４を示す情報（例えば、画像番号４２）と共に、パラメータ計算部２３０に供給する。
パラメータ計算部２３０は、第２特徴抽出部２２０が抽出した特徴情報を用いて、データベース画像間の幾何学関係を表すパラメータを計算する。図５は、パラメータ計算部２３０によるパラメータの計算を説明するための図である。
図５の上部に示すデータベース画像５１は、図４に示す画像番号４２が「４０１Ａ」のデータベース画像４４である。また、図５の下部に示すデータベース画像５２は、図４に示す画像番号４２が「４０１Ｂ」のデータベース画像４４である。パラメータ計算部２３０は、第２特徴抽出部２２０がデータベース画像５１およびデータベース画像５２の夫々から抽出した特徴情報を用いて、データベース画像間で対応する特徴点を特定する。図５における破線５３は、データベース画像間で対応する特徴点同士を結んだ線分の一例である。パラメータ計算部２３０は、このように対応する特徴点を特定し、データベース画像間の幾何学関係を表すパラメータを計算する。
パラメータを、例えば、ホモグラフィ行列としたとき、パラメータ計算部２３０は、データベース画像５１上の座標をデータベース画像５２上の座標に変換するホモグラフィ行列を計算する。また、パラメータ計算部２３０は、データベース画像５２上の座標をデータベース画像５１上の座標に変換するホモグラフィ行列も計算する。なお、データベース画像５２上の座標をデータベース画像５１上の座標に変換するホモグラフィ行列は、データベース画像５１上の座標をデータベース画像５２上の座標に変換するホモグラフィ行列の逆行列となるため、一方を計算してもよい。
なお、本実施の形態では、パラメータは、ホモグラフィ行列であるとして説明を行うが、これに限定されず、アフィン変換に用いる変換係数であってもよいし、その他の変換式に用いるパラメータであってもよい。
パラメータ計算部２３０は、画像記憶部２１０に格納されたデータベース画像４４のうち、幾何学関係を持つデータベース画像間に対し、第２特徴抽出部２２０が抽出した特徴情報を用いて、パラメータを計算する。そして、パラメータ計算部２３０はパラメータの計算の対象となる２つのデータベース画像の夫々を示す情報と、パラメータとを互いに関連付けてパラメータ記憶部２４０に格納する。
パラメータ記憶部２４０は、パラメータ計算部２３０が計算したパラメータをパラメータの計算の対象となる２つのデータベース画像の夫々を示す情報と共に格納する。パラメータ記憶部２４０が格納するパラメータを含むパラメータ情報の一例を図６に示す。図６に示す通り、パラメータ記憶部２４０は、パラメータ情報６１を格納する。
パラメータ情報６１は、図６に示す通り、変換元画像番号６２と、変換先画像番号６３と、パラメータ６４とを含む。変換元画像番号６２は、幾何学変換を行う元となるデータベース画像を表す画像番号であり、変換先画像番号６３は、幾何学変換を行う先となるデータベース画像を表す画像番号である。例えば、パラメータ情報６１の１行目のパラメータ６４は、画像番号４２が「４０１Ａ」のデータベース画像４４であるデータベース画像４４Ａ上の座標を画像番号４２が「４０１Ｂ」のデータベース画像４４であるデータベース画像４４Ｂ上の座標に変換する場合におけるホモグラフィ行列である。以下では、説明の便宜上、この場合におけるパラメータ６４をＨ［４０１Ａ→４０１Ｂ］と記載する。
同様に、Ｈ［４０１Ａ→４０１Ｃ］は、画像番号４２が「４０１Ａ」のデータベース画像４４Ａ上の座標を画像番号４２が「４０１Ｃ」のデータベース画像４４であるデータベース画像４４Ｃ上の座標に変換する場合におけるホモグラフィ行列であり、図６の２行目に含まれるパラメータ６４を示す。
また、Ｈ［４０１Ｂ→４０１Ａ］は、画像番号４２が「４０１Ｂ」のデータベース画像４４Ｂ上の座標を画像番号４２が「４０１Ａ」のデータベース画像４４Ａ上の座標に変換する場合におけるホモグラフィ行列であり、Ｈ［４０１Ａ→４０１Ｂ］の逆行列である。
なお、パラメータ記憶部２４０は、計算装置２００とは別個の記憶装置によって実現されてもよい。また、パラメータ記憶部２４０は、画像記憶部２１０と一体構成されてもよい。また、パラメータ記憶部２４０は、物体識別装置１００に内蔵されてもよい。
次に、物体識別装置１００について説明する。第１特徴抽出部１１０は、撮像画像から特徴量を抽出し、該特徴量を有する特徴点を抽出する。第１特徴抽出部１１０は、撮像装置３００または撮像画像を格納する記憶装置から撮像画像を取得する。第１特徴抽出部１１０は、取得した撮像画像から特徴量および特徴点に関する情報である特徴情報を抽出する。第１特徴抽出部１１０は、任意の方法によって特徴情報を抽出すればよく、その方法は特に限定されない。第１特徴抽出部１１０は第２特徴抽出部２２０と同様の方法で特徴情報を抽出してもよい。第２特徴抽出部２２０が複数種類の特徴量を特徴情報として抽出する場合、第１特徴抽出部１１０は、その何れかの種類の特徴量を特徴情報として抽出すればよい。そして、第１特徴抽出部１１０は、抽出した特徴情報を抽出元の撮像画像と共に、照合部１２０に供給する。
なお、第１特徴抽出部１１０が取得した撮像画像を、物体識別装置１００内の記憶部等に格納する場合、第１特徴抽出部１１０は、抽出した特徴情報を抽出元の撮像画像を示す情報と共に照合部１２０に供給してもよい。
照合部１２０は、第１特徴抽出部１１０が抽出した特徴情報と、第２特徴抽出部２２０が抽出した特徴情報とを用いて、撮像画像をデータベース画像と照合する。そして、照合部１２０は、照合結果を判定部１３０に供給する。照合結果は、例えば、撮像画像とデータベース画像４４との類似の度合い、データベース画像４４を示す情報、対応する特徴点を示す情報と、該特徴点の撮像画像上の位置等を含むがこれに限定されるものではない。またデータベース画像４４を示す情報は、例えば、画像番号４２であってもよいし、その他の情報であってもよい。照合部１２０が行う照合の方法は特に限定されず、任意の方法を採用してもよい。
判定部１３０は、照合結果を参照し、該照合結果が撮像画像に複数の物体が含まれることを示すか否かを判定する。判定部１３０は、照合結果に基づくと、撮像画像に複数の物体が含まれると判定される場合、パラメータ記憶部２４０に格納されたパラメータ６４（第１パラメータ）と、データベース画像４４および撮像画像の間の幾何学関係を表す第２パラメータとに基づいて、複数の物体が同一物体か否かを判定する。
ここで、データベース画像４４および撮像画像の間の幾何学関係を表す第２パラメータは、上述したデータベース画像４４間のパラメータと同じであることが好ましい。本実施の形態では、第２パラメータは、ホモグラフィ行列であるとして説明を行うが、これに限定されず、アフィン変換に用いる変換係数であってもよいし、その他の変換式に用いるパラメータであってもよい。
まず、判定部１３０は、照合部１２０から照合結果を受け取る。そして、判定部１３０は、照合結果を参照し、複数の物体が識別され、且つ、識別された複数の物体が同じ物体を示すか否かを判定する。識別された複数の物体が同じ物体を示すことは、例えば、同じ名称（例えば、物品名）を有するか否かを判定することによって判定されてもよい。そして、判定部１３０は、同じ物品名を有する複数の物体が識別された場合、照合結果に含まれる、撮像画像の物体に対応するデータベース画像４４を示す情報を用いて、データベース画像４４間のパラメータ６４をパラメータ記憶部２４０から取得する。そして、判定部１３０は取得したパラメータ６４と、データベース画像４４および撮像画像の間の幾何学関係を表す第２パラメータと、に基づいて、識別された複数の物体が同一物体か否かを判定する。
判定部１３０が行う判定処理について、図４、図５、図７および図８を参照してさらに説明する。図７および図８は判定部１３０が行う判定処理を説明するための図である。
図７に示す撮像画像７０（Ｑ７０とも記載する）は、物品７１を撮像することによって得られた画像である。図７に示す通り、撮像画像７０には１つの物品７１が含まれる。照合部１２０はこのような撮像画像７０とデータベース画像４４とを、データベース画像４４から抽出された特徴情報と、撮像画像７０から抽出された特徴情報とを用いて照合する。これにより、得られる照合結果から、図４に示すデータベース画像４４Ａが示す物体とデータベース画像４４Ｂが示す物体とが撮像画像７０に写っているという照合結果を得るとする。つまり、この照合結果からは、あたかも、データベース画像４４Ａが示す物体と、データベース画像４４Ｂが示す物体との２つの物体が撮像画像７０に写っているように見える。
この照合結果から、判定部１３０は、照合部１２０が照合に用いた、データベース画像４４Ａの特徴情報と、撮像画像７０から抽出された特徴情報とを用いて、データベース画像４４Ａと撮像画像７０との幾何学関係を表すパラメータ（上述した第２パラメータ）を計算する。なお、第２パラメータの計算の方法は、パラメータ計算部２３０が行う方法と同じであってもよい。以下、この場合における第２パラメータであるホモグラフィ行列をＨ［４０１Ａ→Ｑ７０］と記載する。このホモグラフィ行列Ｈ［４０１Ａ→Ｑ７０］を用いて、データベース画像４４Ａ上の座標を撮像画像７０の座標空間に変換した座標を、第１座標Ｐ１と呼ぶ。
同様に、判定部１３０は、データベース画像４４Ｂの特徴情報と、撮像画像７０から抽出された特徴情報とを用いて、データベース画像４４Ｂ上の座標を撮像画像７０上の座標に変換する場合におけるホモグラフィ行列を計算する。以下、この場合におけるパラメータであるホモグラフィ行列をＨ［４０１Ｂ→Ｑ７０］と記載する。このホモグラフィ行列Ｈ［４０１Ｂ→Ｑ７０］を用いて、データベース画像４４Ｂ上の座標を撮像画像７０の座標空間に変換した座標を、第２座標Ｐ２と呼ぶ。
図７に示す枠７２は、第１座標Ｐ１によって示される撮像画像７０上の領域であり、図７に示す枠７３は、第２座標Ｐ２によって示される撮像画像７０上の領域である。
判定部１３０は、照合結果に基づいて、データベース画像４４Ａを示す画像番号４２である「４０１Ａ」とデータベース画像４４Ｂを示す画像番号４２である「４０１Ｂ」とに関連付けられたパラメータ６４をパラメータ記憶部２４０から取得する。ここでは、判定部１３０は、変換元画像番号６２が「４０１Ａ」であり、変換先画像番号６３が「４０１Ｂ」である図６に示す１行目のパラメータ６４を、パラメータ記憶部２４０から取得する。取得したパラメータ６４を上述した通り、Ｈ［４０１Ａ→４０１Ｂ］とする。
そして、判定部１３０は、Ｈ［４０１Ａ→Ｑ７０］、Ｈ［４０１Ｂ→Ｑ７０］およびＨ［４０１Ａ→４０１Ｂ］を用いて、識別された複数の物体が同一物体か否かを判定する。
具体的には、判定部１３０は、Ｈ［４０１Ａ→４０１Ｂ］を用いて、データベース画像４４Ａ上の座標を、データベース画像４４Ｂの座標空間の座標に変換する。そして、判定部１３０は、Ｈ［４０１Ｂ→Ｑ７０］を用いて、データベース画像４４Ｂの座標空間に変換した座標を、更に、撮像画像７０の座標空間の座標に変換する。この２つのホモグラフィ変換を行った後の座標を第３座標Ｐ３と呼ぶ。
図７に示す破線の枠７４は、第３座標Ｐ３が表す撮像画像７０上の領域の一例を示す。この枠７４が示す領域は、Ｈ［４０１Ａ→４０１Ｂ］およびＨ［４０１Ｂ→Ｑ７０］を用いて推定された、撮像画像７０の座標空間におけるデータベース画像４４Ａの座標の推定位置を示す領域である。
枠７２によって示される領域と枠７４によって示される領域とを比較すると、これらは略重なっていることがわかる。判定部１３０は、この枠７２の領域と、枠７４の領域との重なりの度合いを示す値である重複率を計算し、重複率が所定の閾値以上の場合、枠７２に含まれる物体と、枠７３に含まれる物体とは同一物体であると判定する。このように、同一物体か否かの判定に、領域の重複率を用いることにより、判定部１３０は、少ない計算量で同一物体か否かの判定を行うことができる。
なお、判定部１３０は、一方の領域の面積に対する、該一方の領域と他方の領域との両方に含まれる領域の面積の比を示す重複率に基づいて、複数の物体が同一物体であるか否かを判定してもよい。例えば、判定部１３０は、枠７２の領域の面積に対する枠７２の領域および枠７４の領域の両方に含まれる領域の面積の重複率に基づいて、複数の物体が同一物体であるか否かを判定してもよい。また、判定部１３０は、枠７４の領域の面積に対する枠７２の領域および枠７４の領域の両方に含まれる領域の面積の重複率に基づいて、複数の物体が同一物体であると判定してもよい。また、判定部１３０は、これら２つの重複率を用いて、複数の物体が同一物体であると判定してもよい。また、重複率はこれに限定されず、２つの面積の和に対する、両方に含まれる領域の面積の比であってもよいし、２つの領域の少なくとも何れか一方に含まれる部分の面積に対する、両方に含まれる領域の面積の比であってもよい。
また、判定部１３０は、複数の物体が同一物体であるかを、領域ではなく、パラメータ間の近さで判定してもよい。例えば、Ｈ［４０１Ｂ→Ｑ７０］×Ｈ［４０１Ａ→４０１Ｂ］を計算し、Ｈ［４０１Ｂ→Ｑ７０］×Ｈ［４０１Ａ→４０１Ｂ］と、Ｈ［４０１Ａ→Ｑ７０］との類似度を計算する。この類似度は、どのような指標であってもよい。例えば、行列の各値の近さであってもよいし、行列に基づいて導き出される任意の指標に基づく値の近さであってもよい。そして、類似度が所定の条件を満たす場合、例えば類似度が所定の閾値以上の場合、判定部１３０は、複数の物体が同一物体であると判定してもよい。
このように、同一物体か否かの判定に、行列同士の類似度を用いることにより、領域の重複率を用いる場合に比べ、物体識別装置１００は、より正確に、同一物体か否かの判定を行うことができる。なお、類似度を求める場合、判定部１３０は、照合結果に基づいて、データベース画像４４間のパラメータ６４を取得した後に、該パラメータ６４と同じ種類の第２パラメータを、計算してもよい。
また、判定部１３０は、データベース画像４４上の全ての座標ではなく、特徴点を用いて、複数の物体が同一物体であるか否かを判定してもよい。例えば、判定部１３０は、Ｈ［４０１Ａ→４０１Ｂ］およびＨ［４０１Ｂ→Ｑ７０］を用いて変換した特徴点の座標と、Ｈ［４０１Ａ→Ｑ７０］を用いて変換した特徴点の座標との距離が所定の閾値以下である場合に、複数の物体が同一物体であると判定してもよい。
また、判定部１３０は、上述した判定の代わりに、または上述した判定に加え、Ｈ［４０１Ａ→Ｑ７０］、Ｈ［４０１Ｂ→Ｑ７０］およびＨ［４０１Ｂ→４０１Ａ］を用いて、識別された複数の物体が同一物体か否かを判定してもよい。
図８に示す撮像画像８０（Ｑ８０とも呼ぶ）は、物品８１および物品８２を撮像することによって得られた画像である。図８に示す通り、撮像画像８０には２つの物品８１および物品８２が含まれる。照合部１２０はこのような撮像画像８０とデータベース画像４４とを、データベース画像４４から抽出された特徴情報と、撮像画像８０から抽出された特徴情報とを用いて照合する。
物品８１および物品８２が夫々、複数の物品に識別された場合の同一物体であることに関する判定方法は、図７を用いて説明した場合と同様である。ここでは、２つの物品が夫々別の物体であると正しく識別される方法について説明する。
例えば、照合結果に、データベース画像４４Ａが示す物体およびデータベース画像４４Ｃが示す物体が撮像画像８０に写っているということを示す情報が含まれるとする。
このような照合結果に基づいて、判定部１３０は、データベース画像４４Ａに含まれる特徴情報と、対応する撮像画像８０上の特徴情報とから、データベース画像４４Ａ上の座標を撮像画像８０上の座標に変換する場合におけるホモグラフィ行列であるＨ［４０１Ａ→Ｑ８０］を計算する。このホモグラフィ行列Ｈ［４０１Ａ→Ｑ８０］を用いて、データベース画像４４Ａ上の座標を撮像画像８０の座標空間に変換した座標を、第４座標Ｐ４と呼ぶ。
同様に、判定部１３０は、データベース画像４４Ｃに含まれる特徴情報と、対応する撮像画像８０上の特徴情報とから、データベース画像４４Ｃ上の座標を撮像画像８０上の座標に変換する場合におけるホモグラフィ行列であるＨ［４０１Ｃ→Ｑ８０］を計算する。このホモグラフィ行列Ｈ［４０１Ｃ→Ｑ８０］を用いて、データベース画像４４Ｃ上の座標を撮像画像８０の座標空間に変換した座標を、第５座標Ｐ５と呼ぶ。
図８に示す枠８３は、第４座標Ｐ４によって示される撮像画像８０上の領域であり、図８に示す枠８４は、第５座標Ｐ５によって示される撮像画像８０上の領域である。
判定部１３０は、照合結果に基づいて、データベース画像４４Ａを示す画像番号４２である「４０１Ａ」とデータベース画像４４Ｃを示す画像番号４２である「４０１Ｃ」とに関連付けられたパラメータ６４をパラメータ記憶部２４０から取得する。ここでは、判定部１３０は、変換元画像番号６２が「４０１Ａ」であり、変換先画像番号６３が「４０１Ｃ」である図６に示す２行目のパラメータ６４を、パラメータ記憶部２４０から取得する。取得したパラメータ６４を、Ｈ［４０１Ａ→４０１Ｃ］と表現する。
そして、判定部１３０は、Ｈ［４０１Ａ→４０１Ｃ］を用いて、データベース画像４４Ａ上の座標を、データベース画像４４Ｃの座標空間の座標に変換する。そして、判定部１３０は、Ｈ［４０１Ｃ→Ｑ８０］を用いて、データベース画像４４Ｃの座標空間に変換した座標を、更に、撮像画像８０の座標空間の座標に変換する。この２つのホモグラフィ変換を行った後の座標を第６座標Ｐ６と呼ぶ。
図８に示す破線の枠８５は、第６座標Ｐ６が表す撮像画像８０上の領域の一例を示す。この枠８５が示す領域は、Ｈ［４０１Ａ→４０１Ｃ］およびＨ［４０１Ｃ→Ｑ８０］を用いて推定された、物品８２に対する、撮像画像８０の座標空間におけるデータベース画像４４Ａの座標の推定位置を示す領域である。
枠８３によって示される領域と枠８５によって示される領域とを比較すると、これらは、図７の枠７２によって示される領域および枠７４によって示される領域に比べ重複していない箇所が多い。よって、判定部１３０は、枠８５の計算に用いた情報に関連するデータベース画像４４Ｃが示す物体と、枠８３に関連するデータベース画像４４Ａが示す物体とが異なる物体であると判定する。これにより、判定部１３０は、図８に含まれる物体が２つであると判定することができる。
このように本実施の形態に係る物体識別装置１００は隣り合って並んだ物体を別の物体であると正しく判定することができる。
判定部１３０は、このように識別された複数の物体が同一物体か否かを示す判定結果を出力制御部１４０に供給する。
出力制御部１４０は、判定部１３０から供給された判定結果に基づいて、該判定結果を表す情報の出力を制御する。例えば、出力装置４００がディスプレイ（表示部）などの表示装置またはディスプレイを有する端末装置の場合、出力制御部１４０は、判定結果を表す情報を画面表示する制御信号を、出力装置４００に出力する。これにより、出力装置４００は、判定結果を表す情報を画面表示する。
また、出力装置４００が受け取った情報をファイル出力する装置の場合、出力制御部１４０は、判定結果を表す情報をファイル出力する制御信号を、出力装置４００に出力する。これにより、出力装置４００は、判定結果を表す情報をファイルとして出力する。
図９は、出力装置４００が受け取った情報をファイル出力する装置の場合における、出力されるファイルの一例を示す図である。図９に示す出力ファイル９１は、物品名９２の列と、個数９３の列とを含む表データである。出力制御部１４０はこのような出力ファイル９１を出力装置４００が出力するよう制御する制御信号を生成してもよい。これにより、撮像画像に、どの物体がいくつ含まれるのかを作業者２は容易に把握することができる。また、出力制御部１４０は、例えば、撮像画像に含まれるべき物体の一覧と判定結果とを比較し、比較結果を出力装置４００に表示するよう制御してもよい。
図１０は、出力装置４００がディスプレイを有する表示装置または端末装置の場合における、出力装置４００が出力する表示画面の一例を示す図である。
出力制御部１４０は、識別された物体の撮像画像上における位置を示す位置情報を撮像画像に重畳した表示画面をディスプレイなどの表示部に表示させる制御信号を生成する。出力装置４００は、出力制御部１４０が生成した制御信号に基づいて、位置情報を撮像画像に重畳した表示画面を表示部に表示する。
図１０に示す表示画面９４は、図７に示す、物品７１を含む撮像画像７０を表示部に表示した画面である。出力制御部１４０は、識別された物体の撮像画像上における位置を示す位置情報を、撮像画像７０に重畳した表示画面を生成する。出力制御部１４０は、照合部１２０による照合の際に、データベース画像４４の何れかとマッチする撮像画像７０上の領域のうち、特徴点間の類似スコアが最も高い領域を示す情報を位置情報としてもよい。
また、出力制御部１４０は、照合部１２０による照合の際に、撮像画像７０とマッチすると判定されたデータベース画像４４を、撮像画像７０の座標空間の座標に変換した場合における該データベース画像４４に対応する領域を示す情報を位置情報としてもよい。例えば、出力制御部１４０は、図７に示す枠７２で示される領域とおよび枠７３で示される領域の何れかを示す情報を位置情報としてもよい。また、出力制御部１４０は、図７に示す枠７２で示される領域とおよび枠７３で示される領域とのうち、特徴点間の類似スコアが最も高い領域を示す情報を位置情報としてもよい。
また、出力制御部１４０は、同一物体と判定された物体に関連するパラメータである、Ｈ［４０１Ａ→Ｑ７０］およびＨ［４０１Ｂ→Ｑ７０］を用いて計算された、データベース画像４４の撮像画像７０上の位置を示す枠７２および枠７３から、物体の位置を推定してもよい。出力制御部１４０は、Ｈ［４０１Ａ→Ｑ７０］を用いて計算した座標と、Ｈ［４０１Ｂ→Ｑ７０］を用いて計算した座標とを用いて、例えば、座標の平均値を求めることにより、物体の位置を推定してもよい。そして、出力制御部１４０は、推定した位置（領域）を示す情報を撮像画像７０に重畳して表示した表示画面を生成してもよい。図１０に示す枠９５は推定した位置を示す。このように、出力制御部１４０が、物体の位置を示す情報を、撮像画像７０に重畳した表示画面を出力装置４００に表示させることにより、物体識別装置１００は、例えば、表示画面を見る作業者２に物体の個数と位置とを容易に把握させることができる。

図１１は、本実施の形態に係るシステム１における計算装置２００の処理の流れの一例を示すフローチャートである。図１１に示す通り、第２特徴抽出部２２０が、画像記憶部２１０に格納されたデータベース画像４４の夫々から特徴情報を抽出する（ステップＳ１１１）。
そして、パラメータ計算部２３０が、抽出された特徴情報に基づいて、データベース画像４４間の幾何学関係を表すパラメータを計算する（ステップＳ１１２）。
上述した通り、パラメータは、データベース画像４４を用いた照合により、撮像画像に複数の物体が識別される場合において、該複数の物体が同一物体か否かを判定する際に、データベース画像４４および撮像画像の間の幾何学関係を表す第２パラメータと共に用いられるものである。
その後、パラメータ計算部２３０は、計算したパラメータをパラメータ記憶部２４０に格納する（ステップＳ１１３）。
図１２は、本実施の形態に係るシステム１における物体識別装置１００の処理の流れの一例を示すフローチャートである。図１２に示す通り、物体識別装置１００の第１特徴抽出部１１０は、取得した撮像画像から特徴情報を抽出する（ステップＳ１２１）。
そして、照合部１２０が、撮像画像から抽出された特徴情報と、ステップＳ１１１において、データベース画像４４から抽出された特徴情報とを用いて、撮像画像とデータベース画像４４との照合を行う（ステップＳ１２２）。
判定部１３０は、照合結果を参照し、複数の物体が識別され、且つ、識別された物体が同じ物品名を示すか否かを判定する（ステップＳ１２３）。同じ物品名の物体を複数識別していない場合（ステップＳ１２３にてＮＯ）、処理はステップＳ１２６に進む。
同じ物品名の物体が複数識別された場合（ステップＳ１２３にてＹＥＳ）、判定部１３０は、識別された物体に対応する（撮像画像とマッチした）データベース画像４４と撮像画像との間の幾何学関係を表すパラメータを計算する（ステップＳ１２４）。
そして、ステップＳ１１２で計算されたパラメータと、ステップＳ１２４で計算されたパラメータとを用いて、複数の物体が同一物体か否かを判定する（ステップＳ１２５）。
その後、出力制御部１４０が、出力装置４００による情報の出力を制御する制御信号を生成する（ステップＳ１２６）。ステップＳ１２５が行われた後の場合、出力制御部１４０は判定結果に基づいて、該判定結果を表す情報の出力を行うための制御信号を生成する。そして、出力制御部１４０は、生成した制御信号を出力装置４００に出力する（ステップＳ１２７）。
これにより、出力装置４００は、出力制御部１４０が出力した制御信号に基づいて、例えば、図１０に示すような表示画面９４を表示部に表示することができる。
以上のように、本実施の形態に係るシステム１の物体識別装置１００は、照合部１２０が撮像画像と物体を識別するための複数のデータベース画像との照合を行う。そして、判定部１３０が、照合の結果が撮像画像に複数の物体が含まれる場合、データベース画像間の幾何学関係を表すパラメータと、識別された各物体に対応するデータベース画像および撮像画像の間の幾何学関係を表すパラメータとに基づいて、複数の物体が同一物体か否かを判定する。
例えば、実際には１つの物体が含まれる撮像画像において、撮像画像と複数のデータベース画像とが対応するとの照合結果を得ると、該照合結果からは、該撮像画像に複数の物体が含まれるとみなされる。本実施の形態によれば、判定部１３０がこの照合結果に基づいて、データベース画像間の幾何学関係を表すパラメータと、撮像画像と上記複数のデータベース画像の夫々との幾何学関係を表す複数のパラメータとに基づいて、識別された複数の物体が同一物体か否かを判定するため、あるデータベース画像と関連する他のデータベース画像が、撮像画像上においてどの位置に対応するのかを計算することができる。これにより、物体識別装置１００は、撮像画像に含まれる物体が、あるデータベース画像と他のデータベース画像とにマッチする１の物体であるか否かを判定することができる。
よって、本実施の形態に係る物体識別装置１００によれば、１の物体が複数のデータベース画像と対応付いた場合であっても、該物体の数が１つであると正確に判定することができる。
よって、本実施の形態に係る物体識別装置１００によれば、識別対象の物体の個数を精度よく識別することできる。
なお、本実施の形態に係るシステム１において、撮像装置３００と物体識別装置１００とは一体となって形成され、例えば、インテリジェンスカメラとして機能してもよい。また、計算装置２００の一部の機能が物体識別装置１００に組み込まれてもよい。例えば、第１特徴抽出部１１０と、第２特徴抽出部２２０とが同じ回路で実現されてもよい。
このように、図１に示すシステム１における各装置は各々組み合わせて構成されてもよい。
＜第２の実施の形態＞
本開示の第２の実施の形態について説明する。本実施の形態では、本開示の課題を解決する基本構成について説明する。
図１３は、本実施の形態に係る物体識別装置１０の機能構成の一例を示す機能ブロック図である。図１３に示す通り、本実施の形態に係る物体識別装置１０は、照合部１２と、判定部１３とを備える。
照合部１２は、上述した照合部１２０の機能を有する。照合部１２は、撮像画像と物体を識別するための複数の識別用画像との照合を行う。照合部１２は、照合結果を判定部１３に供給する。照合部１２が行う照合の方法は特に限定されず、上述した照合部１２０と同様の方法を採用してもよい。
判定部１３は、上述した判定部１３０の機能を有する。判定部１３は、照合の結果が撮像画像に複数の物体が含まれることを示す場合、識別用画像間の幾何学関係を表す第１パラメータと、識別された各物体に対応する識別用画像および撮像画像の間の幾何学関係を表す第２パラメータとに基づいて、複数の物体が同一物体か否かを判定する。判定部１３は、上述した判定部１３０と同様に、（１）第１パラメータおよび第２パラメータを用いてある識別用画像の座標を撮像画像の座標空間の座標に変換することによって得られる領域であって、撮像画像の座標空間上における識別用画像の領域と、（２）第２パラメータを用いて他の識別用画像の座標を撮像画像の座標空間の座標に変換することによって得られる領域であって、撮像画像の座標空間上における他の識別用画像の領域と、の重なりの度合いを示す重複率に基づいて、複数の物体が同一物体か否かを判定してもよい。
図１４は、本実施の形態に係る物体識別装置１０の処理の流れの一例を示すフローチャートである。図１４に示す通り、照合部１２が、撮像画像と物体を識別するための複数の識別用画像との照合を行う（ステップＳ１４１）。そして、判定部１３が、第１パラメータと、第２パラメータとに基づいて、複数の物体が同一物体か否かを判定する（ステップＳ１４２）。
図１５は、上述した物体識別装置１０が参照する第１パラメータを計算する計算装置２０の機能構成の一例を示す機能ブロック図である。図１５に示す通り、計算装置２０は、抽出部２２と、計算部２３とを備える。
抽出部２２は、上述した第２特徴抽出部２２０の機能を有する。物体を識別するための複数の識別用画像の夫々から、物体の特徴を表す特徴情報を抽出する。抽出部２２は、抽出した特徴情報を計算部２３に供給する。
計算部２３は、上述したパラメータ計算部２３０の機能を有する。計算部２３は、抽出された特徴情報に基づいて、複数の識別用画像間の幾何学関係を表す第１パラメータを計算する。なお、上述した通り、第１パラメータは、物体識別装置１０による識別用画像を用いた照合により撮像画像に複数の物体が識別される場合において、該複数の物体が同一物体か否かを判定する際に、識別される各物体に対応する識別用画像および撮像画像の間の幾何学関係を表す第２パラメータと共に用いられる。
また、本実施の形態において、物体識別装置１０および計算装置２０は、図１６に示すシステム６として構成されてもよい。図１６は、物体識別装置１０と計算装置２０とを含むシステムの構成の一例を示すブロック図である。図１６に示す通り、システム６は、物体識別装置１０と計算装置２０とを含む。物体識別装置１０と計算装置２０とは互いに通信可能に接続している。
なお、物体識別装置１０と計算装置２０とは一体となって形成されてもよいし、計算装置２０の一部の機能が物体識別装置１０に組み込まれてもよい。また、システム６は、上述したシステム１と同様に、撮像装置３００および出力装置４００を含む構成であってもよい。
例えば、実際には１つの物体が含まれる撮像画像において、撮像画像と複数の識別用画像とが対応するとの照合結果を得ると、該照合結果からは、該撮像画像に複数の物体が含まれると識別される。本実施の形態によれば、判定部１３がこの照合結果に基づいて、第１パラメータと、複数の第２パラメータとに基づいて、識別された複数の物体が同一物体か否かを判定するため、ある識別用画像と関連する他の識別用画像が、撮像画像上においてどの位置に含まれるのかを計算することができる。これにより、物体識別装置１０は、撮像画像に含まれる物体が、ある識別用画像と他の識別用画像とにマッチする１の物体であるか否かを判定することができる。
よって、本実施の形態に係る物体識別装置１０によれば、１の物体が複数の識別用画像と対応付いた場合であっても、該物体の数が１つであると正確に判定することができる。
よって、本実施の形態に係る物体識別装置１０によれば、識別対象の物体の個数を精度よく識別することできる。
（ハードウェア構成について）
本開示の各実施形態において、各装置の各構成要素は、機能単位のブロックを示している。各装置の各構成要素の一部又は全部は、例えば、図１７に示すような情報処理装置９００とプログラムとの任意の組み合わせにより実現される。図１７は、各装置の各構成要素を実現する情報処理装置９００のハードウェア構成の一例を示すブロック図である。情報処理装置９００は、一例として、以下のような構成を含む。
・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３
・ＲＡＭ９０３にロードされるプログラム９０４
・プログラム９０４を格納する記憶装置９０５
・記録媒体９０６の読み書きを行うドライブ装置９０７
・通信ネットワーク９０９と接続する通信インタフェース９０８
・データの入出力を行う入出力インタフェース９１０
・各構成要素を接続するバス９１１
各実施形態における各装置の各構成要素は、これらの機能を実現するプログラム９０４をＣＰＵ９０１が取得して実行することで実現される。各装置の各構成要素の機能を実現するプログラム９０４は、例えば、予め記憶装置９０５やＲＯＭ９０２に格納されており、必要に応じてＣＰＵ９０１がＲＡＭ９０３にロードして実行される。なお、プログラム９０４は、通信ネットワーク９０９を介してＣＰＵ９０１に供給されてもよいし、予め記録媒体９０６に格納されており、ドライブ装置９０７が当該プログラムを読み出してＣＰＵ９０１に供給してもよい。
各装置の実現方法には、様々な変形例がある。例えば、各装置は、構成要素毎にそれぞれ別個の情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。また、各装置が備える複数の構成要素が、一つの情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。
また、各装置の各構成要素の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。
各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
各装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
なお、上述した各実施の形態は、本開示の好適な実施の形態であり、上記各実施の形態にのみ本開示の範囲を限定するものではなく、本開示の要旨を逸脱しない範囲において当業者が上記各実施の形態の修正や代用を行い、種々の変更を施した形態を構築することが可能である。
例えば、本開示における物体識別装置（１０、１００）は、ＰＯＳ（Ｐｏｉｎｔ Ｏｆ Ｓａｌｅｓ）レジスタ等のキャッシュレジスタの近傍に設置されたカメラを含むシステムにも好適に利用できる。この場合、上述した物体識別装置（１０、１００）は、ＰＯＳレジスタに内蔵されることによって実現されてもよい。なお、該ＰＯＳレジスタは、更に計算装置（２０、２００）の機能を備えてもよい。また、物体識別装置（１０、１００）は、ＰＯＳレジスタに、出力装置４００と同様の出力を行わせてもよい。この場合であっても、物体識別装置（１０、１００）は、カメラが商品を撮像することによって得られた撮像画像から、認識された複数の物体が同一物体か否かを判定することにより、該識別対象の物体の個数を精度よく識別することできる。
また、本開示における物体識別装置（１０、１００）および計算装置（２０、２００）は、ＰＯＳレジスタと通信可能なサーバ装置で実現されてもよい。そして、物体識別装置（１０、１００）は、ＰＯＳレジスタに、出力装置４００と同様の出力を行わせてもよい。このように、既に店舗に設置されているＰＯＳレジスタを利用した構成にも、本開示の物体識別装置（１０、１００）および計算装置（２０、２００）を好適に適用することができる。
なお、上述したＰＯＳレジスタとは、店員が操作するキャッシュレジスタに限定されず、精算を顧客が行う分担型のキャッシュレジスタ（セミセルフレジスタ）、レジスタの通過時に店員が介在しない（精算までの一連の作業を顧客のみで行う）キャッシュレジスタ（セルフレジスタ）の何れであってもよい。
上記の実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
撮像画像と物体を識別するための複数の識別用画像との照合を行う照合手段と、
前記照合の結果が前記撮像画像に複数の物体が含まれることを示す場合、前記識別用画像間の幾何学関係を表す第１パラメータと、識別された各物体に対応する前記識別用画像および前記撮像画像の間の幾何学関係を表す第２パラメータとに基づいて、前記複数の物体が同一物体か否かを判定する判定手段と、
を備える物体識別装置。
（付記２）
前記判定手段は、前記照合の結果に基づいて、識別された第１物体に対応する識別用画像である第１識別用画像の座標を前記撮像画像上に変換する場合の幾何学関係を表す第３パラメータと、識別された、前記第１物体とは異なる第２物体に対応する識別用画像である第２識別用画像の座標を前記撮像画像上に変換する場合の幾何学関係を表す第４パラメータとを前記第２パラメータとして計算し、
前記第１識別用画像の座標を前記第２識別用画像上に変換する場合の前記第１パラメータおよび前記第４パラメータから得られる値と、前記第３パラメータとを用いて、前記複数の物体が同一物体か否かを判定する、
付記１に記載の物体識別装置。
（付記３）
前記判定手段は、前記第１パラメータおよび前記第４パラメータから推定される前記第１物体の前記撮像画像上における第１領域と、前記第３パラメータから得られる前記第１物体の前記撮像画像上における第２領域との重複の度合いを示す重複率が、所定の閾値以上の場合、前記複数の物体が同一物体であると判定する、
付記２に記載の物体識別装置。
（付記４）
前記判定手段は、前記第１識別用画像の座標を前記第２識別用画像上に変換する場合の前記第１パラメータおよび前記第４パラメータから得られる値と、前記第３パラメータとの、所定の指標に基づく類似度が、所定の条件を満たす場合、前記複数の物体が同一物体であると判定する、
付記２に記載の物体識別装置。
（付記５）
前記判定手段による判定結果を表す情報の出力を制御する出力制御手段を更に備え、
前記出力制御手段は、前記識別された物体の前記撮像画像上における位置を示す位置情報を前記撮像画像に重畳した表示画面を表示部に表示させるよう制御する、
付記１から４の何れか１つに記載の物体識別装置。
（付記６）
前記出力制御手段は、同一物体と判定された物体に関連する前記第２パラメータを用いて、複数の前記識別用画像の夫々の前記撮像画像上における位置から、前記物体の位置を推定し、推定した前記位置を示す情報を、前記位置情報とする、
付記５に記載の物体識別装置。
（付記７）
撮像画像と物体を識別するための複数の識別用画像との照合を行い、
前記照合の結果が前記撮像画像に複数の物体が含まれることを示す場合、前記識別用画像間の幾何学関係を表す第１パラメータと、識別された各物体に対応する前記識別用画像および前記撮像画像の間の幾何学関係を表す第２パラメータとに基づいて、前記複数の物体が同一物体か否かを判定する、
物体識別方法。
（付記８）
前記照合の結果に基づいて、識別された第１物体に対応する識別用画像である第１識別用画像の座標を前記撮像画像上に変換する場合の幾何学関係を表す第３パラメータと、識別された、前記第１物体とは異なる第２物体に対応する識別用画像である第２識別用画像の座標を前記撮像画像上に変換する場合の幾何学関係を表す第４パラメータとを前記第２パラメータとして計算し、
前記第１識別用画像の座標を前記第２識別用画像上に変換する場合の前記第１パラメータおよび前記第４パラメータから得られる値と、前記第３パラメータとを用いて、前記複数の物体が同一物体か否かを判定する、
付記７に記載の物体識別方法。
（付記９）
撮像画像と物体を識別するための複数の識別用画像との照合を行う処理と、
前記照合の結果が前記撮像画像に複数の物体が含まれることを示す場合、前記識別用画像間の幾何学関係を表す第１パラメータと、識別された各物体に対応する前記識別用画像および前記撮像画像の間の幾何学関係を表す第２パラメータとに基づいて、前記複数の物体が同一物体か否かを判定する処理と、
をコンピュータに実行させるプログラムを記録する、コンピュータ読み取り可能な非一時的な記録媒体。
（付記１０）
前記判定する処理は、前記照合の結果に基づいて、識別された第１物体に対応する識別用画像である第１識別用画像の座標を前記撮像画像上に変換する場合の幾何学関係を表す第３パラメータと、識別された、前記第１物体とは異なる第２物体に対応する識別用画像である第２識別用画像の座標を前記撮像画像上に変換する場合の幾何学関係を表す第４パラメータとを前記第２パラメータとして計算し、
前記第１識別用画像の座標を前記第２識別用画像上に変換する場合の前記第１パラメータおよび前記第４パラメータから得られる値と、前記第３パラメータとを用いて、前記複数の物体が同一物体か否かを判定する、
付記９に記載の記録媒体。
（付記１１）
物体を識別するための複数の識別用画像の夫々から、前記物体の特徴を表す特徴情報を抽出する抽出手段と、
前記抽出された特徴情報に基づいて、前記複数の識別用画像間の幾何学関係を表す第１パラメータであって、前記識別用画像を用いた照合により撮像画像に複数の物体が識別される場合において、該複数の物体が同一物体か否かを判定する際に、識別される各物体に対応する前記識別用画像および前記撮像画像の間の幾何学関係を表す第２パラメータと共に用いる第１パラメータを計算する計算手段と、を備える計算装置。
（付記１２）
付記１から６の何れか１つに記載の物体識別装置と、
付記１１に記載の計算装置と、
を備えるシステム。
１ システム
６ システム
１０ 物体識別装置
１２ 照合部
１３ 判定部
２０ 計算装置
２２ 抽出部
２３ 計算部
１００ 物体識別装置
１１０ 第１特徴抽出部
１２０ 照合部
１３０ 判定部
１４０ 出力制御部
２００ 計算装置
２１０ 画像記憶部
２２０ 第２特徴抽出部
２３０ パラメータ計算部
２４０ パラメータ記憶部
３００ 撮像装置
４００ 出力装置

Claims (10)

  1. 撮像画像と物体を識別するための複数の識別用画像との照合を行う照合手段と、
    前記照合の結果が前記撮像画像に複数の物体が含まれることを示す場合、前記識別用画像間の幾何学関係を表す第１パラメータと、識別された各物体に対応する前記識別用画像および前記撮像画像の間の幾何学関係を表す第２パラメータとに基づいて、前記複数の物体が同一物体か否かを判定する判定手段と、
    を備える物体識別装置。
  2. 前記判定手段は、前記照合の結果に基づいて、識別された第１物体に対応する識別用画像である第１識別用画像の座標を前記撮像画像上に変換する場合の幾何学関係を表す第３パラメータと、識別された、前記第１物体とは異なる第２物体に対応する識別用画像である第２識別用画像の座標を前記撮像画像上に変換する場合の幾何学関係を表す第４パラメータとを前記第２パラメータとして計算し、
    前記第１識別用画像の座標を前記第２識別用画像上に変換する場合の前記第１パラメータおよび前記第４パラメータから得られる値と、前記第３パラメータとを用いて、前記複数の物体が同一物体か否かを判定する、
    請求項１に記載の物体識別装置。
  3. 前記判定手段は、前記第１パラメータおよび前記第４パラメータから推定される前記第１物体の前記撮像画像上における第１領域と、前記第３パラメータから得られる前記第１物体の前記撮像画像上における第２領域との重複の度合いを示す重複率が、所定の閾値以上の場合、前記複数の物体が同一物体であると判定する、
    請求項２に記載の物体識別装置。
  4. 前記判定手段は、前記第１識別用画像の座標を前記第２識別用画像上に変換する場合の前記第１パラメータおよび前記第４パラメータから得られる値と、前記第３パラメータとの、所定の指標に基づく類似度が、所定の条件を満たす場合、前記複数の物体が同一物体であると判定する、
    請求項２に記載の物体識別装置。
  5. 前記判定手段による判定結果を表す情報の出力を制御する出力制御手段を更に備え、
    前記出力制御手段は、前記識別された物体の前記撮像画像上における位置を示す位置情報を前記撮像画像に重畳した表示画面を表示部に表示させるよう制御する、
    請求項１から４の何れか１項に記載の物体識別装置。
  6. 前記出力制御手段は、同一物体と判定された物体に関連する前記第２パラメータを用いて、複数の前記識別用画像の夫々の前記撮像画像上における位置から、前記物体の位置を推定し、推定した前記位置を示す情報を、前記位置情報とする、
    請求項５に記載の物体識別装置。
  7. 撮像画像と物体を識別するための複数の識別用画像との照合を行い、
    前記照合の結果が前記撮像画像に複数の物体が含まれることを示す場合、前記識別用画像間の幾何学関係を表す第１パラメータと、識別された各物体に対応する前記識別用画像および前記撮像画像の間の幾何学関係を表す第２パラメータとに基づいて、前記複数の物体が同一物体か否かを判定する、
    物体識別方法。
  8. 撮像画像と物体を識別するための複数の識別用画像との照合を行う処理と、
    前記照合の結果が前記撮像画像に複数の物体が含まれることを示す場合、前記識別用画像間の幾何学関係を表す第１パラメータと、識別された各物体に対応する前記識別用画像および前記撮像画像の間の幾何学関係を表す第２パラメータとに基づいて、前記複数の物体が同一物体か否かを判定する処理と、
    をコンピュータに実行させるプログラム。
  9. 物体を識別するための複数の識別用画像の夫々から、前記物体の特徴を表す特徴情報を抽出する抽出手段と、
    前記抽出された特徴情報に基づいて、前記複数の識別用画像間の幾何学関係を表す第１パラメータであって、前記識別用画像を用いた照合により撮像画像に複数の物体が識別される場合において、該複数の物体が同一物体か否かを判定する際に、識別される各物体に対応する前記識別用画像および前記撮像画像の間の幾何学関係を表す第２パラメータと共に用いる第１パラメータを計算する計算手段と、を備える計算装置。
  10. 請求項１から６の何れか１項に記載の物体識別装置と、
    請求項９に記載の計算装置と、
    を備えるシステム。
JP2019528293A 2017-07-07 2017-07-07 物体識別装置、物体識別方法、計算装置、システムおよび記録媒体 Active JP6769554B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/024923 WO2019008734A1 (ja) 2017-07-07 2017-07-07 物体識別装置、物体識別方法、計算装置、システムおよび記録媒体

Publications (2)

Publication Number Publication Date
JPWO2019008734A1 JPWO2019008734A1 (ja) 2020-04-09
JP6769554B2 true JP6769554B2 (ja) 2020-10-14

Family

ID=64950680

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019528293A Active JP6769554B2 (ja) 2017-07-07 2017-07-07 物体識別装置、物体識別方法、計算装置、システムおよび記録媒体

Country Status (3)

Country Link
US (1) US11205089B2 (ja)
JP (1) JP6769554B2 (ja)
WO (1) WO2019008734A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7242309B2 (ja) * 2019-01-16 2023-03-20 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
EP4062268A1 (en) * 2019-11-19 2022-09-28 Orcam Technologies Ltd. Wearable systems and methods for locating an object
US11804039B2 (en) * 2020-05-28 2023-10-31 Science House LLC Systems, methods, and apparatus for enhanced cameras

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001014465A (ja) 1999-06-29 2001-01-19 Matsushita Electric Ind Co Ltd 物体認識方法及び物体認識装置
FR2825814B1 (fr) * 2001-06-07 2003-09-19 Commissariat Energie Atomique Procede de creation automatique d'une base de donnees images interrogeable par son contenu semantique
JP4004899B2 (ja) * 2002-09-02 2007-11-07 ファナック株式会社 物品の位置姿勢検出装置及び物品取出し装置
JP4824411B2 (ja) 2005-01-20 2011-11-30 パナソニック株式会社 顔抽出装置、半導体集積回路
JP2006295890A (ja) * 2005-03-15 2006-10-26 Fuji Photo Film Co Ltd アルバム作成装置、アルバム作成方法、及びプログラム
JP4715539B2 (ja) 2006-02-15 2011-07-06 トヨタ自動車株式会社 画像処理装置、その方法、および画像処理用プログラム
JP4640825B2 (ja) 2006-02-23 2011-03-02 富士フイルム株式会社 特定向き顔判定方法および装置並びにプログラム
US8611673B2 (en) * 2006-09-14 2013-12-17 Parham Aarabi Method, system and computer program for interactive spatial link-based image searching, sorting and/or displaying
TWI506565B (zh) * 2008-03-03 2015-11-01 Avo Usa Holding 2 Corp 動態物件分類
WO2010021527A2 (ko) * 2008-08-22 2010-02-25 Jung Tae Woo 영상에 포함된 객체를 색인하는 시스템 및 방법
WO2011089872A1 (ja) * 2010-01-22 2011-07-28 パナソニック株式会社 画像管理装置、画像管理方法、プログラム、記録媒体及び集積回路
JP5431429B2 (ja) 2011-09-06 2014-03-05 東芝テック株式会社 情報処理装置及びプログラム
US9171195B1 (en) * 2014-06-16 2015-10-27 Amazon Technologies, Inc. Recognizing three-dimensional objects
US9483704B2 (en) * 2014-12-10 2016-11-01 Ricoh Co., Ltd. Realogram scene analysis of images: superpixel scene analysis
US10242287B2 (en) * 2015-06-11 2019-03-26 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and recording medium
US9449258B1 (en) * 2015-07-02 2016-09-20 Agt International Gmbh Multi-camera vehicle identification system
JP2019200697A (ja) * 2018-05-18 2019-11-21 東芝テック株式会社 棚管理システムおよびプログラム
US10902263B1 (en) * 2018-06-26 2021-01-26 Amazon Technologies, Inc. Image processing system for object identification
US20200193552A1 (en) * 2018-12-18 2020-06-18 Slyce Acquisition Inc. Sparse learning for computer vision

Also Published As

Publication number Publication date
US20200143196A1 (en) 2020-05-07
JPWO2019008734A1 (ja) 2020-04-09
US11205089B2 (en) 2021-12-21
WO2019008734A1 (ja) 2019-01-10

Similar Documents

Publication Publication Date Title
JP7019357B2 (ja) 棚情報推定装置及び情報処理プログラム
JP6278276B2 (ja) 物体識別装置、物体識別方法、及びプログラム
JP6458239B1 (ja) 画像認識システム
JP6769554B2 (ja) 物体識別装置、物体識別方法、計算装置、システムおよび記録媒体
JP6976733B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2019046484A (ja) 画像認識システム
US11640709B2 (en) Merchandise specification systems and programs
WO2016158438A1 (ja) 検品処理装置及び方法、及びプログラム
JP6236825B2 (ja) 自動販売機の販売商品認識装置及び販売商品認識方法、並びにコンピュータ・プログラム
JP2021168151A (ja) 処理システム、処理方法及びプログラム
JP2020095408A (ja) リスト生成装置、被写体識別装置、リスト生成方法、及びプログラム
US11189053B2 (en) Information processing apparatus, method of controlling information processing apparatus, and non-transitory computer-readable storage medium
US20160260106A1 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
US11544926B2 (en) Image processing apparatus, method of processing image, and storage medium
WO2017170260A1 (ja) 検品処理装置、検品システム、商品マスタ登録装置、検品処理方法及びプログラム
JP6930601B2 (ja) 情報処理装置、表示位置調整方法、およびプログラム
US11580721B2 (en) Information processing apparatus, control method, and program
JP6769555B2 (ja) 物品識別装置、物品識別方法、計算装置、システムおよびプログラム
US20180181940A1 (en) Pos terminal device, information processing device, information processing system, image recognition method, and image recognition program
US11568564B2 (en) Mapping multiple views to an identity
JP6544482B2 (ja) 物体認識装置、物体認識方法及び記憶媒体
WO2022266996A1 (zh) 物体检知方法及物体检知装置
JP7322945B2 (ja) 処理装置、処理方法及びプログラム
JP6582875B2 (ja) 検品処理装置、検品システム、検品処理方法及びプログラム
JP7207396B2 (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191206

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200825

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200907

R150 Certificate of patent or registration of utility model

Ref document number: 6769554

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150