JP7173344B2 - 画像認識方法及び画像認識装置 - Google Patents

Description

本発明の一側面は、画像認識方法及び画像認識装置に関する。

特定画像を認識する画像認識方法に関する技術として、例えば特許文献１に記載された情報処理装置が知られている。特許文献１に記載された情報処理装置は、入力された画像から部分画像を抽出する。抽出した部分画像と既に登録している部分画像とを比較し、類似か否か判定する。

特許第５０８２５１２号公報

上述したような技術では、特定画像の各画像特徴を含んでいるかに基づき画像認識を行うことから、人間の目視によって容易に特定画像と異なる画像と判別できる画像であっても、同じ画像特徴が多数含まれていれば、特定画像であると誤認識してしまう可能性がある。

本発明の一側面は、特定画像を高い確度で認識できる画像認識方法及び画像認識装置を提供することを目的とする。

本発明の一側面に係る画像認識方法は、特定画像を認識する方法であって、特定画像から複数の画像特徴を検出し、検出した複数の当該画像特徴のそれぞれをパーツとしてメモリに記憶する第１工程と、入力画像から複数の画像特徴を検出し、検出した複数の当該画像特徴のそれぞれについて対応するパーツをメモリから選出する第２工程と、第２工程で選出した複数のパーツを用いて復元画像を生成する第３工程と、第３工程で生成した復元画像が入力画像と一致するか否かをマッチング処理により判定し、復元画像が入力画像と一致すると判定した場合に、入力画像が特定画像であると認識する第４工程と、を含む。

この画像認識方法では、復元画像を生成する際、特定画像から検出されたパーツを用いている。そのため、特定画像以外が入力画像として入力された場合には、入力画像を復元画像として正しく生成することができない。したがって、入力画像と復元画像とが一致するか否かを判定することで、入力画像と特定画像との一致ないし不一致（入力画像が特定画像かそれ以外か）を高い確度で判定することができる。すなわち、特定画像を高い確度で認識することが可能となる。

本発明の一側面に係る画像認識方法において、第１工程では、複数のパーツのそれぞれにラベルとしてパーツラベルを付与し、パーツラベルをパーツとともにメモリに記憶し、第２工程では、複数の画像特徴のそれぞれにラベルとして選出用ラベルを付与し、選出用ラベルに一致するパーツラベルのパーツを選出してもよい。これにより、復元画像の生成処理を効率よく実行することができる。

本発明の一側面に係る画像認識方法では、第２工程は、距離画像としての撮像画像から入力画像を切り出す画像切出し工程を含み、画像切出し工程では、撮像画像における奥行距離が所定範囲内の点群をオブジェクトとし、撮像画像における当該オブジェクトの画像を入力画像として切り出してもよい。これにより、撮像画像から入力画像を生成することができる。

本発明の一側面に係る画像認識方法において、第２工程では、複数の画像特徴のそれぞれの特徴強度を検出し、第３工程では、第２工程で検出した複数の特徴強度を更に用いて復元画像を生成してもよい。これにより、復元画像を精度よく生成することができる。

本発明の一側面に係る画像認識方法では、特定画像は、予め定められた走行路に沿って走行する走行車における車体の少なくとも一部の画像であってもよい。この場合、本発明の一側面に係る画像認識方法を、走行車の車体の画像認識に適用することができる。

本発明の一側面に係る画像認識装置は、特定画像を認識する装置であって、特定画像から検出された複数の画像特徴のそれぞれをパーツとして予め記憶するメモリと、入力画像から複数の画像特徴を検出する特徴検出部と、特徴検出部で検出した複数の当該画像特徴のそれぞれについて対応するパーツをメモリから選出し、選出した複数のパーツを用いて復元画像を生成する復元部と、復元部で生成した復元画像が入力画像と一致するか否かをマッチング処理により判定し、復元画像が入力画像と一致すると判定した場合に、入力画像が特定画像であると認識する判定部と、を備える。

この画像認識装置では、復元画像を生成する際、特定画像から検出されたパーツを用いている。そのため、特定画像以外が入力画像として入力された場合には、入力画像を復元画像として正しく生成することができない。したがって、入力画像と復元画像とが一致するか否かを判定することで、入力画像と特定画像との一致ないし不一致（入力画像が特定画像かそれ以外か）を高い確度で判定することができる。すなわち、特定画像を高い確度で認識することが可能となる。

本発明の一側面に係る画像認識装置では、メモリは、複数のパーツのそれぞれに付与されたラベルを、パーツラベルとしてパーツとともに予め記憶し、特徴検出部は、複数の画像特徴のそれぞれにラベルとして選出用ラベルを付与し、復元部は、選出用ラベルに一致するパーツラベルのパーツを選出してもよい。これにより、復元画像の生成処理を効率よく実行することができる。

本発明の一側面に係る画像認識装置は、距離画像としての撮像画像から入力画像を切り出す画像切出し部を備え、画像切出し部は、撮像画像における奥行距離が所定範囲内の点群をオブジェクトとし、撮像画像における当該オブジェクトの画像を入力画像として切り出してもよい。これにより、撮像画像から入力画像を生成することができる。

本発明の一側面に係る画像認識装置では、特徴検出部は、複数の画像特徴のそれぞれの特徴強度を検出し、復元部は、特徴検出部で検出した複数の特徴強度を更に用いて復元画像を生成してもよい。これにより、復元画像を精度よく生成することができる。

本発明の一側面に係る画像認識装置では、特定画像は、予め定められた走行路に沿って走行する走行車における車体の少なくとも一部の画像であってもよい。この場合、本発明の一側面に係る画像認識装置を、走行車の車体の画像認識に適用することができる。

本発明の一側面によれば、特定画像を高い確度で認識できる画像認識方法及び画像認識装置を提供することが可能となる。

図１は、一実施形態に係る画像認識装置が適用される走行車システムを示す概略平面図である。 図２は、図１の走行車を走行方向から見た正面概略図である。 図３は、図１の走行車システムの機能構成を示すブロック図である。 図４は、図３の画像認識装置の特徴検出部により入力画像から複数の画像特徴を検出する一例を説明する図である。 図５は、図３の画像認識装置の復元部により復元画像を生成する一例を説明する図である。 図６は、一実施形態に係る画像認識方法を示すフローチャートである。 図７（ａ）は、撮像画像の一例を示す図である。図７（ｂ）は、奥行距離データの一例を示す図である。 図８（ａ）は、入力画像の一例を示す図である。図８（ｂ）は、図８（ａ）の入力画像から復元された復元画像を示す図である。 図９（ａ）は、入力画像の一例を示す図である。図９（ｂ）は、図９（ａ）の入力画像から復元された復元画像を示す図である。 図１０（ａ）は、入力画像の一例を示す図である。図１０（ｂ）は、図１０（ａ）の入力画像から復元された復元画像を示す図である。図１０（ｃ）は、入力画像の一例を示す図である。図１０（ｄ）は、図１０（ｃ）の入力画像から復元された復元画像を示す図である。図１０（ｅ）は、入力画像の一例を示す図である。図１０（ｆ）は、図１０（ｅ）の入力画像から復元された復元画像を示す図である。図１０（ｇ）は、入力画像の一例を示す図である。図１０（ｈ）は、図１０（ｇ）の入力画像から復元された復元画像を示す図である。図１０（ｉ）は、入力画像の一例を示す図である。図１０（ｊ）は、図１０（ｉ）の入力画像から復元された復元画像を示す図である。

以下、図面を参照して、一実施形態について詳細に説明する。以下の説明において、同一又は相当要素には同一符号を付し、重複する説明を省略する。

本実施形態に係る画像認識装置は、走行車システムに適用される。そこで、まず、走行車システムについて説明する。図１に示されるように、走行車システム１は、軌道４に沿って移動可能な走行車６を用いて、物品１０を載置部９，９間で搬送するシステムである。物品１０には、例えば、複数の半導体ウェハを格納するＦＯＵＰ（Front Opening Unified Pod）及びガラス基板を格納するレチクルポッド等のような容器、並びに一般部品等が含まれる。走行車システム１は、軌道４、複数の走行車６、複数の載置部９、及びシステム制御部６０を備える。

図２に示されるように、軌道４は、例えば、工場等における作業者の頭上スペースである天井付近に敷設されている。軌道４は、例えば天井から吊り下げられている。軌道４は、走行車６を走行させるための予め定められた走行路である。軌道４は、例えば、一方通行の走行路である。軌道４は、支柱４０，４０により支持される。

走行車６は、軌道４に沿って走行し、物品１０を搬送する。走行車６は、物品１０を移載可能に構成されている。走行車６は、天井走行式無人搬送車（天井走行車）である。走行車システム１が備える走行車６の台数は、特に限定されず、複数である。図２に示されるように、走行車６は、車体２を有する。車体２は、走行部１８と、本体部７と、撮像部８と、走行車制御部５０（図３参照）と、を含む。

本体部７は、本体フレーム２２と、横送り部２４と、θドライブ２６と、昇降駆動部２８と、昇降台３０と、落下防止カバー３３と、を有する。走行部１８は、モータ等を含んで構成され、走行車６を軌道４に沿って走行させる。走行部１８は、例えば、非接触給電により軌道４側から受電する受電通信部２０を有している。

横送り部２４は、θドライブ２６、昇降駆動部２８及び昇降台３０を一括して、軌道４の走行方向と直角な方向に横送りする。θドライブ２６は、昇降駆動部２８及び昇降台３０の少なくとも何れかを水平面内で所定の角度範囲内で回動させる。昇降駆動部２８は、昇降台３０をワイヤ、ロープ及びベルト等の吊持材の巻取りないし繰出しによって昇降させる。昇降台３０には、チャックが設けられており、物品１０の把持又は解放が自在とされている。落下防止カバー３３は、例えば走行車６の走行方向の前後に一対設けられている。落下防止カバー３３は、図示しない爪等を出没させて、搬送中に物品１０が落下することを防止する。

図１及び図２に示されるように、載置部９は、軌道４に沿って配置され、走行車６との間で物品１０の受け渡し可能な位置に設けられている。載置部９には、バッファ及び受渡ポートが含まれる。バッファは、物品１０が一時的に載置される載置部である。バッファは、例えば、目的とする受渡ポートに他の物品１０が載置されている等の理由により、走行車６が搬送している物品１０をその受渡ポートに移載できない場合に、物品１０が仮置きされる載置部である。受渡ポートは、例えば洗浄装置、成膜装置、リソグラフィ装置、エッチング装置、熱処理装置、平坦化装置をはじめとする半導体の処理装置に対して物品１０の受渡を行うための載置部である。例えば、載置部９は、軌道４の側方に配置されている。なお、載置部９は、軌道４の直下に配置されていてもよい。

撮像部８は、自己の走行車６の前方を撮像し、自己の走行車６の前方に位置する走行車６を含む撮像画像を取得する。ここでの撮像画像は、距離画像である。撮像部８は、走行車６の前側に設けられた落下防止カバー３３に配置されている。撮像部８は、撮像した撮像画像を走行車制御部５０に送信する。撮像部８としては、特に限定されず、種々の公知装置を採用してもよい。例えば撮像部８は、ステレオビジョン方式で距離画像を取得してもよい。なお、距離画像は、三次元距離画像、三次元情報を有する画像とも称される。

図２及び図３に示されるように、走行車制御部５０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等からなる電子制御ユニットである。走行車制御部５０は、走行車６における各種動作を制御する。具体的には、走行車制御部５０は、走行部１８と、横送り部２４と、θドライブ２６と、昇降駆動部２８と、昇降台３０と、を制御する。走行車制御部５０は、例えばＲＯＭに格納されているプログラムがＲＡＭ上にロードされてＣＰＵで実行されるソフトウェアとして構成することができる。走行車制御部５０は、電子回路等によるハードウェア（コンピュータ）として構成されてもよい。走行車制御部５０は、軌道４の通信線（フィーダー線）等を利用して、システム制御部６０と通信を行う。

システム制御部６０は、ＣＰＵ、ＲＯＭ及びＲＡＭ等からなる電子制御ユニットである。システム制御部６０は、例えばＲＯＭに格納されているプログラムがＲＡＭ上にロードされてＣＰＵで実行されるソフトウェアとして構成することができる。システム制御部６０は、電子回路等によるハードウェア（コンピュータ）として構成されてもよい。システム制御部６０は、走行車６に物品１０を搬送させる搬送指令を送信する。本実施形態のシステム制御部６０は、画像認識装置１００を構成する。以下、画像認識装置１００を説明する。この画像認識装置１００は走行車６に備えられていてもよい。

画像認識装置１００は、特定の画像である特定画像を認識する装置である。一例として、特定画像は、走行車６の車体２の画像である。画像認識装置１００は、メモリＭ、画像切出し部６１、特徴検出部６２、復元部６３、及び判定部６４を備える。

メモリＭは、特定画像から検出（抽出）された複数の画像特徴のそれぞれをパーツとして予め記憶する。特定画像から複数の画像特徴を検出する手法としては、特に限定されず、種々の公知手法を採用することができる。例えば特定画像を画像フィルタに通すことで、複数の画像特徴を検出してもよい。メモリＭは、複数のパーツのそれぞれに付与されたラベルを、パーツラベルとしてパーツとともに予め記憶する。パーツは、後述するように、復元部６３による画像復元の種として機能する。

画像特徴とは、画像の特徴を構成するものであって、画像の特徴量又は特徴点とも称される。複数のパーツの取得は、Ｌ２ノルムを用いたディープラーニングによって得られる学習済みモデル（ＡＩ；人工知能）を利用して行ってもよい。ラベルは、付与対象を識別するための情報を示すものである。ラベルとしては特に限定されず、例えば番号である。

画像切出し部６１は、撮像画像から入力画像を切り出す。具体的には、画像切出し部６１は、撮像画像における奥行距離が所定範囲内の点群（似た距離を持つ点の塊）を、オブジェクト（物体候補）とする。画像切出し部６１は、撮像画像における当該オブジェクトの画像を入力画像として切り出す。所定範囲は特に限定されず、予め設定することができる。撮像画像からの入力画像の切出しは、ディープラーニングによって得られる学習済みモデル（ＡＩ；人工知能）、例えばYoloV3等を利用して行ってもよい。

特徴検出部６２は、入力画像から複数の画像特徴を検出する。入力画像から複数の画像特徴を検出する手法としては、特に限定されず、種々の公知手法を採用することができる。例えば特徴検出部６２は、入力画像を画像フィルタに通すことで、複数の画像特徴を検出してもよい。特徴検出部６２は、複数の画像特徴のそれぞれにラベルとして選出用ラベルを付与する。特徴検出部６２は、複数の画像特徴のそれぞれの特徴強度を検出する。特徴強度は、その画像特徴が入力画像に関係する強さを示す指標である。特徴強度は、入力画像おいて画像特徴が寄与する程度を示すことができる。

復元部６３は、特徴検出部６２で検出した複数の画像特徴のそれぞれについて、対応するパーツをメモリＭから選出する。復元部６３は、特徴検出部６２で検出した複数の画像特徴の選出用ラベルに一致するパーツラベルのパーツを、メモリＭから選出する。復元部６３は、選出した複数のパーツを用いて復元画像を生成する。復元部６３は、特徴検出部６２で検出した複数の画像特徴の特徴強度を更に用いて復元画像を生成する。複数のパーツを用いて復元画像を生成する手法としては特に限定されず、種々の公知手法、例えばディープニューラルネットワークで構成されたオートエンコーダ等を用いることができる。

判定部６４は、復元部６３で生成した復元画像が入力画像と一致するか否かをマッチング処理により判定する。判定部６４は、復元画像が入力画像と一致すると判定した場合に、入力画像が特定画像であると認識する。マッチング処理としては特に限定されず、種々の公知手法、例えばＬ２ノルム等を用いることができる。判定部６４は、復元画像の入力画像に対する類似度を算出し、当該類似度が閾値よりも大きい場合に、復元画像が入力画像と一致すると判定してもよい。

次に、特徴検出部６２により入力画像から複数の画像特徴を検出する一例を、図４を参照して説明する。

図４に示されるように、ここでの説明では、便宜上、「数字の７」の画像を入力画像として用いている。特徴検出部６２により、入力画像Ｉ１から複数の画像特徴が検出される。図示する例では、選出用ラベルＬＳが「２０」の画像特徴Ｇ１、選出用ラベルＬＳが「２７」の画像特徴Ｇ２、選出用ラベルＬＳが「５１」の画像特徴Ｇ３、及び、選出用ラベルＬＳが「５８」の画像特徴Ｇ４が検出されている。そして、これらが画像特徴の検出結果Ｈとして取得される。画像特徴の検出結果Ｈでは、画像特徴Ｇ１～Ｇ４それぞれの特徴強度が明度として示されている。このように、入力画像Ｉ１から複数の画像特徴Ｇ１～Ｇ４を機械的に検出することができる。

次に、複数の画像特徴Ｇ１～Ｇ４に基づいて復元部６３により画像を復元する一例を、図５を参照して説明する。

図５に示されるように、復元部６３により、画像特徴の検出結果Ｈに基づいて、複数の画像特徴Ｇ１～Ｇ４（図４参照）の選出用ラベルＬＳに一致するパーツラベルＬＰのパーツＰ１～Ｐ４が、メモリＭから選出される。復元部６３により、選出された複数のパーツＰ１～Ｐ４を用いて復元画像Ｏ１が生成される。このように、複数の画像特徴Ｇ１～Ｇ４から復元画像Ｏ１を復元することができる。

次に、画像認識装置１００により実施される画像認識方法を説明する。

画像認識方法は、特定画像を認識する方法である。図６に示されるように、まず、特定画像から複数の画像特徴を検出し、検出した複数の当該画像特徴のそれぞれをパーツとしてメモリＭに記憶する（記憶工程：ステップＳ１）。記憶工程では、複数のパーツそれぞれにラベルとしてパーツラベルを付与し、パーツラベルをパーツとともにメモリＭに記憶する。

続いて、撮像部８により取得された撮像画像から、画像切出し部６１により入力画像を切り出す（画像切出し工程：ステップＳ２）。画像切出し工程では、撮像画像における奥行距離が所定範囲内の点群をオブジェクトとし、撮像画像における当該オブジェクトの画像を入力画像として切り出す。

続いて、特徴検出部６２により、画像切出し工程で切り出した入力画像から、複数の画像特徴を検出する（画像特徴検出工程：ステップＳ３）。画像特徴検出工程では、複数の画像特徴のそれぞれにラベルとして選出用ラベルを付与する。画像特徴検出工程では、複数の画像特徴のそれぞれの特徴強度を検出する。

続いて、復元部６３により、画像特徴検出工程で検出した複数の画像特徴のそれぞれに対応するパーツを、メモリＭから選出する（パーツ選出工程：ステップＳ４）。パーツ選出工程では、選出用ラベルに一致するパーツラベルのパーツを選出する。

続いて、復元部６３により、パーツ選出工程で選出した複数のパーツを用いて、復元画像を生成する（復元工程：ステップＳ５）。復元工程では、画像特徴検出工程で検出した複数の特徴強度を更に用いて復元画像を生成する。最後に、判定部６４により、復元工程で生成した復元画像が入力画像と一致するか否かをマッチング処理により判定する（判定工程：ステップＳ６）。判定工程では、復元画像が入力画像と一致すると判定した場合に、入力画像が特定画像であると認識する。

上記において、記憶工程が第１工程を構成し、画像切出し工程と画像特徴検出工程とパーツ選出工程とが第２工程を構成し、復元工程が第３工程を構成し、判定工程が第４工程を構成する。

次に、上述した画像認識方法により特定画像を認識する場合の一例を説明する。以下においては、走行車６の車体２を特定画像として認識する場合を例示する。

図７（ａ）に示されるように、撮像部８により、自己の走行車６の前方に位置する走行車６を含む撮像画像Ｋ１を取得する。図７（ｂ）に示されるように、画像切出し部６１により、撮像画像Ｋ１における奥行距離データＫ２を算出し、その奥行距離が所定範囲内の点群をオブジェクトＯＢとする。図７（ａ）及び図８（ａ）に示されるように、撮像画像Ｋ１における当該オブジェクトＯＢの画像を、入力画像Ｉ２として切り出す。

図８（ｂ）に示されるように、特徴検出部６２により入力画像Ｉ２から複数の画像特徴を検出し、復元部６３により復元画像Ｏ２を生成する。判定部６４により復元画像Ｏ２が入力画像Ｉ２と一致するか否かをマッチング処理により判定する。図８（ａ）及び図８（ｂ）に示す例では、復元画像Ｏ２が入力画像Ｉ２と一致する（類似度が閾値以上）と判定し、入力画像Ｉ２が特定画像（走行車６の車体２の画像）であると認識する。

一方、図９（ａ）に示されるように、走行車６の車体２以外の画像（例えば、ユーザの体等の画像）が入力画像Ｉ３として入力される場合、図９（ｂ）に示されるように、復元部６３により生成された復元画像Ｏ３は、入力画像Ｉ３を復元するものではなく、顕著な画像の崩れ及びぼやけを有する。よってこの例では、復元画像Ｏ２が入力画像Ｉ２と一致しない（類似度が閾値未満）と判定し、入力画像Ｉ３が特定画像（走行車６の車体２の画像）であると認識しない。

図１０（ａ）～図１０（ｊ）は、特徴検出部６２及び復元部６３のノイズに対するロバスト性を説明する各図である。画像認識装置１００及びその画像認識方法によれば、特徴検出部６２により入力画像Ｉ４（図１０（ａ）参照）から複数の画像特徴を検出し、復元部６３により復元画像Ｏ４（図１０（ｂ）参照）を生成することができる。特徴検出部６２により入力画像Ｉ５（図１０（ｃ）参照）から複数の画像特徴を検出し、復元部６３により復元画像Ｏ５（図１０（ｄ）参照）を生成することができる。特徴検出部６２により入力画像Ｉ６（図１０（ｅ）参照）から複数の画像特徴を検出し、復元部６３により復元画像Ｏ６（図１０（ｆ）参照）を生成することができる。特徴検出部６２により入力画像Ｉ７（図１０（ｇ）参照）から複数の画像特徴を検出し、復元部６３により復元画像Ｏ７（図１０（ｈ）参照）を生成することができる。特徴検出部６２により入力画像Ｉ８（図１０（ｉ）参照）から複数の画像特徴を検出し、復元部６３により復元画像Ｏ８（図１０（ｊ）参照）を生成することができる。これらの結果から、画像認識装置１００及びその画像認識方法によれば、入力画像Ｉ４～Ｉ８がノイズを有していても、特徴を捉える能力があり、精度よく復元画像Ｏ４～Ｏ８が生成されることを確認することができる。

以上、画像認識装置１００及びその画像認識方法では、復元画像を生成する際、特定画像から検出されたパーツを用いている。そのため、以下の（ｉ）、（ii）及び（iii）に示すパターンで画像の復元がなされる。
（ｉ）特定画像が入力画像の場合には、入力画像が復元画像として精度よく復元される。
（ii）特定画像以外の入力画像が入力された場合には、入力画像と復元画像とが一致しない。
（iii）特に、特定画像の画像特徴を有するが特定画像ではない不正解画像が入力画像として入力された場合には、入力画像と復元画像とが一致せずに、復元画像として特定画像が復元される。

したがって、画像認識装置１００及びその画像認識方法によれば、入力画像Ｉ１～Ｉ８と復元画像Ｏ１～Ｏ８とが一致するか否かを判定することで、入力画像Ｉ１～Ｉ８と特定画像との一致ないし不一致（入力画像Ｉ１～Ｉ８が特定画像かそれ以外か）を高い確度で判定することができる。すなわち、特定画像を高い確度で認識することが可能となる。入力画像Ｉ１～Ｉ８について特定画像の画像特徴を満たせば特定画像であると判定するだけでは、上記（iii）の場合には誤認識してしまうが、画像認識装置１００及びその画像認識方法では、そのような誤認識を回避することができる。

画像認識装置１００及びその画像認識方法では、複数のパーツＰ１～Ｐ４のそれぞれにラベルとしてパーツラベルＬＰを付与し、パーツラベルＬＰをパーツＰ１～Ｐ４とともにメモリＭに記憶する。複数の画像特徴Ｇ１～Ｇ４のそれぞれにラベルとして選出用ラベルＬＳを付与し、選出用ラベルＬＳに一致するパーツラベルＬＰのパーツＰ１～Ｐ４を選出する。これにより、復元画像Ｏ１～Ｏ８の生成処理を効率よく実行することができる。

画像認識装置１００及びその画像認識方法では、距離画像としての撮像画像Ｋ１から入力画像Ｉ２を切り出す。具体的には、撮像画像Ｋ１における奥行距離が所定範囲内の点群をオブジェクトＯＢとし、撮像画像Ｋ１における当該オブジェクトＯＢの画像を入力画像Ｉ２として切り出す。これにより、撮像画像Ｋ１から入力画像Ｉ２を生成することができる。

画像認識装置１００及びその画像認識方法では、複数の画像特徴Ｇ１～Ｇ４のそれぞれの特徴強度を検出し、検出した複数の特徴強度を更に用いて復元画像Ｏ１～Ｏ８を生成する。これにより、復元画像Ｏ１～Ｏ８を精度よく生成することができる。

画像認識装置１００及びその画像認識方法では、特定画像は、走行車６の車体２の画像である。この場合、画像認識装置１００及びその画像認識方法を、走行車６の車体２の画像認識に適用することができる。なお、特定画像は、走行車６の車体２の全体であってもよいし、走行車６の車体２の少なくとも一部の画像であってもよい。

以上、一実施形態について説明したが、本発明の一態様は上記実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲で種々の変更が可能である。

上記実施形態では、画像認識装置１００を走行車システム１に適用し、走行車６の車体２を認識する場合を例示したが、その他の種々の装置ないしシステムに画像認識装置１００を適用してもよく、様々な対象物の画像を特定画像としてもよい。例えば、自動ワインダに画像認識装置１００を適用し、巻き取ったパッケージの画像を特定画像としてもよい。例えば、旋盤に画像認識装置１００を適用し、加工製品の良品の画像を特定画像とすることで、加工製品の良否判断に利用してもよい。例えば、スキャナで読み取った画像からの特定画像の領域の切出しに画像認識装置１００を利用してもよい。

上記実施形態では、距離画像としての撮像画像から入力画像を切り出したが、このような画像切出し工程及び画像切出し部６１は無くてもよい。撮像部８としては、例えば一般的な単眼カメラを用いてもよい。入力画像は、距離画像であってもよいし、二次元画像であってもよい。

上記実施形態及び変形例の走行車システム１では、走行車６の一例として天井走行車を挙げて説明したが、走行車６のその他の例には、地上又は架台に配設された軌道を走行する無人走行車及びスタッカークレーン等が含まれる。

２…車体、４…軌道（走行路）、６…走行車、６１…画像切出し部、６２…特徴検出部、６３…復元部、６４…判定部、１００…画像認識装置、Ｇ１～Ｇ４…画像特徴、Ｉ１～Ｉ８…入力画像、Ｋ１…撮像画像、ＬＳ…選出用ラベル、ＬＰ…パーツラベル、Ｍ…メモリ、Ｏ１～Ｏ８…復元画像、ＯＢ…オブジェクト、Ｐ１～Ｐ４…パーツ。

Claims (10)

1. 特定画像を認識する方法であって、
   前記特定画像から複数の画像特徴を検出し、検出した複数の当該画像特徴のそれぞれをパーツとしてメモリに記憶する第１工程と、
   入力画像から複数の画像特徴を検出し、検出した複数の当該画像特徴のそれぞれについて対応する前記パーツを前記メモリから選出する第２工程と、
   前記第２工程で選出した複数の前記パーツを用いて復元画像を生成する第３工程と、
   前記第３工程で生成した前記復元画像が前記入力画像と一致するか否かをマッチング処理により判定し、前記復元画像が前記入力画像と一致すると判定した場合に、前記入力画像が前記特定画像であると認識する第４工程と、を含む画像認識方法。
2. 前記第１工程では、複数の前記パーツのそれぞれにラベルとしてパーツラベルを付与し、前記パーツラベルを前記パーツとともに前記メモリに記憶し、
   前記第２工程では、複数の前記画像特徴のそれぞれにラベルとして選出用ラベルを付与し、前記選出用ラベルに一致する前記パーツラベルの前記パーツを選出する、請求項１に記載の画像認識方法。
3. 前記第２工程は、距離画像としての撮像画像から入力画像を切り出す画像切出し工程を含み、
   前記画像切出し工程では、前記撮像画像における奥行距離が所定範囲内の点群をオブジェクトとし、前記撮像画像における当該オブジェクトの画像を前記入力画像として切り出す、請求項１又は２に記載の画像認識方法。
4. 前記第２工程では、複数の前記画像特徴のそれぞれの特徴強度を検出し、
   前記第３工程では、前記第２工程で検出した複数の前記特徴強度を更に用いて前記復元画像を生成する、請求項１～３の何れか一項に記載の画像認識方法。
5. 前記特定画像は、予め定められた走行路に沿って走行する走行車における車体の少なくとも一部の画像である、請求項１～４の何れか一項に記載の画像認識方法。
6. 特定画像を認識する装置であって、
   前記特定画像から検出された複数の画像特徴のそれぞれをパーツとして予め記憶するメモリと、
   入力画像から複数の画像特徴を検出する特徴検出部と、
   前記特徴検出部で検出した複数の当該画像特徴のそれぞれについて対応する前記パーツを前記メモリから選出し、選出した複数の前記パーツを用いて復元画像を生成する復元部と、
   前記復元部で生成した前記復元画像が前記入力画像と一致するか否かをマッチング処理により判定し、前記復元画像が前記入力画像と一致すると判定した場合に、前記入力画像が前記特定画像であると認識する判定部と、を備える、画像認識装置。
7. 前記メモリは、複数の前記パーツのそれぞれに付与されたラベルを、パーツラベルとして前記パーツとともに予め記憶し、
   前記特徴検出部は、複数の前記画像特徴のそれぞれにラベルとして選出用ラベルを付与し、
   前記復元部は、前記選出用ラベルに一致する前記パーツラベルの前記パーツを選出する、請求項６に記載の画像認識装置。
8. 距離画像としての撮像画像から前記入力画像を切り出す画像切出し部を備え、
   前記画像切出し部は、前記撮像画像における奥行距離が所定範囲内の点群をオブジェクトとし、前記撮像画像における当該オブジェクトの画像を前記入力画像として切り出す、請求項６又は７に記載の画像認識装置。
9. 前記特徴検出部は、複数の前記画像特徴のそれぞれの特徴強度を検出し、
   前記復元部は、前記特徴検出部で検出した複数の前記特徴強度を更に用いて前記復元画像を生成する、請求項６～８の何れか一項に記載の画像認識装置。
10. 前記特定画像は、予め定められた走行路に沿って走行する走行車における車体の少なくとも一部の画像である、請求項６～９の何れか一項に記載の画像認識装置。

Images