JP7176771B2 - 画像処理装置、画像処理システム、方法、プログラム、移動体及び工場または倉庫 - Google Patents

Description

本発明は、画像処理装置、画像処理システム、方法、プログラム、移動体及び工場または倉庫に関する。

近年では、自動搬送車（無人搬送車）のような移動体を工場または倉庫等の屋内空間に配置し、運搬物（荷物）を当該移動体に運搬させることによって、業務の効率化を図ることが行われている。

ところで、効率的に移動体に運搬物を運搬させるためには、当該移動体の位置を適切に管理することが有用であるが、上記したように移動体が屋内空間を移動する場合には、例えばＧＰＳ（Global Positioning System）機能等では当該移動体の正確な位置を得ることができない場合がある。

なお、このような事情を鑑みて、屋内における位置情報を特定するための技術が開示されている（例えば、特許文献１を参照）。しかしながら、この技術によれば、撮影画像と対象画像とのマッチングを行うため、精度の高い位置を得ることができない場合がある。

特開２０１６－１６４５１８号公報

そこで、本発明の目的は、移動体の位置を得ることが可能な画像処理装置、画像処理システム、方法、プログラム、移動体及び工場または倉庫を提供することにある。

本発明の１つの態様によれば、第１取得手段と、第２取得手段と、計算手段とを具備する画像処理装置が提供される。前記第１取得手段は、移動体に設置された撮像装置によって撮像された光学式認識コードを含む画像を取得する。前記第２取得手段は、前記光学式認識コードに基づいて、前記光学式認識コードの実空間上の位置を取得する。前記計算手段は、前記光学式認識コードの前記画像上の位置及び前記光学式認識コードの実空間上の位置に基づいて、前記移動体の位置を計算する。前記光学式認識コードは、複数の色彩のうちの１の色彩が付されたエレメントが複数配列されたコードを含む。前記光学式認識コードの実空間上の位置は、前記複数のエレメントのうちの少なくとも２つのエレメントの実空間上の位置を含む。

本発明は、移動体の位置を得ることを可能とする。

本発明の実施形態に係る画像処理システムの構成の一例を示す図。 移動体の外観の一例を示す図。 カラービットコードについて詳細に説明するための図。 画像処理装置のハードウェア構成の一例を示す図。 画像処理装置の機能構成の一例を示す図。 コード位置情報のデータ構造の一例を示す図。 画像処理装置の処理手順の一例を示すフローチャート。

以下、図面を参照して、本発明の実施形態について説明する。
図１は、本実施形態に係る画像処理システム（ネットワークシステム）の構成の一例を示す。図１に示す画像処理システム１は、画像処理装置１０及びサーバ装置２０を備える。画像処理装置１０及びサーバ装置２０は、ネットワーク３０を介して互いに通信可能に接続されている。

本実施形態に係る画像処理システム１は、例えば工場または倉庫等の屋内空間を移動する自動搬送車のような移動体の位置を得るために使用される。

ここで、図２は、移動体の外観の一例を示す。図２に示すように、移動体２は、例えば車輪等を備えることによって移動可能に構成されている。また、移動体２には、当該移動体２の外部（例えば、進行方向等）を撮像可能な向きに撮像装置（以下、カメラと表記）２ａが設置されている。

本実施形態において、移動体２が移動する屋内空間には光学式認識コードが配置（貼付、描画、印刷または表示等）されている。なお、光学式認識コードは、屋内空間を形成する例えば壁面等に配置されるが、上記したカメラ２ａが撮像可能な位置であれば他の位置に配置されていてもよい。

図１に示す画像処理装置１０は、例えば上記した移動体２に設置されるカメラ２ａと接続されており、当該カメラ２ａによって撮像された光学式認識コードを含む画像に基づいて当該移動体２の位置を計算（取得）する機能を有する。

なお、画像処理装置１０によって計算された移動体２の位置は、ネットワーク３０を介して画像処理装置１０からサーバ装置２０に送信され、当該サーバ装置２０において管理される。サーバ装置２０において管理される移動体２の位置は、例えば当該移動体２の追跡（監視）または当該移動体２の位置の補正等に用いられる。

以下、本実施形態において移動体２の位置を計算するために用いられる光学式認識コードについて具体的に説明する。

本実施形態における光学式認識コードは、例えば複数のエレメントが線状（棒状）に形成されたコード（以下、カラービットコードと表記）を含む。このカラービットコードは、例えば３色以上の色彩のうちの１の色彩が付されたセル（エレメント）が複数配列された構成を有する。このカラービットコードによれば、複数配列された各セルに付されている色彩の遷移によって識別情報（例えば、ＩＤ等）のような特定のデータを表すことができる。

以下の説明においては、本実施形態において用いられる光学式認識コードがカラービットコードであるものとして説明する。

図３を参照して、上記したカラービットコードについて詳細に説明する。なお、図３においては、便宜的にカラービットコードの一部分のみが示されている。

図３に示すように、カラービットコード３は、例えば赤色、緑色及び青色のうちの１の色彩が付されたセル３ａが複数配列されて構成されている。図３において、赤色はＲ、緑色はＧ、青色はＢとして示されている。なお、図３においては、説明の便宜上、カラービットコード３に３色の色彩（赤色、緑色及び青色）が用いられている例が示されているが、各セル３ａには、赤色、緑色及び青色以外の色彩が付されていてもよい。また、各セル３ａに付されている色彩の遷移を識別することができるのであれば、４色以上の色彩を用いてカラービットコード３が作成されていてもよい。

カラービットコード３を構成するセル３ａは、１つの色彩が付される範囲または領域であり、種々の形状を有することができる。図３に示す例では、複数のセル３ａの各々は四角形状であるが、例えば丸形状または三角形状等であっても構わない。このような複数のセル３ａを線状（直線状または曲線状）に配列することによってカラービットコード３は作成される。

なお、カラービットコード３は上記したように色彩の遷移によって特定のデータを表すものであるから、当該カラービットコード３において、隣接するセル３ａ同士には同色は付されず、異なる色彩が付される。カラービットコード３は、このような条件等に従って作成される。

また、カラービットコード３を構成する複数のセル３ａには、端点セルが含まれる。端点セルは、線状に連なったセル３ａ群から構成されるカラービットコード３の端点（両端）に位置するセル３ａである。カラービットコード３内にあるセル３ａは、２つのセル３ａと隣接するが、端点セルは１つのセル３ａとしか隣接しない。このような端点セルはカラービットコード３内に２つ存在する。また、このような２つの端点セルに付される色彩は異なるものとする。これにより、端点セルの各々に付されている色彩によって、当該端点セルが始点となるセル３ａ（以下、始点セルと表記）であるか終点となるセル３ａ（以下、終点セルと表記）であるかを判定することが可能である。

上記したようなカラービットコード３によれば例えば３色の色彩の遷移（配列）によって特定のデータを表すことができるため、当該カラービットコード３における各色彩の占める領域の大きさ及び形状の制限は緩く、当該カラービットコード３が例えば凹凸のある表面や柔軟性のある素材上に付されている場合やデジタルサイネージ等の表示装置に表示されている場合であっても、高い読み取り精度を実現することができる。

以下、本実施形態に係る画像処理装置１０の構成について説明する。図４は、画像処理装置１０のハードウェア構成の一例を示す。図４に示すように、画像処理装置１０は、バス１１に接続された、不揮発性メモリ１２、ＣＰＵ１３、メインメモリ１４及び無線通信デバイス１５等を備え、例えば全体でエッジコンピュータとして機能する。

不揮発性メモリ１２は、各種プログラムを格納する。不揮発性メモリ１２に格納されている各種プログラムには、画像処理装置１０上で動作するソフトウェアが含まれる。

ＣＰＵ１３は、例えば不揮発性メモリ１２に格納されている各種プログラムを実行する。なお、ＣＰＵ１３は、画像処理装置１０全体の制御を司るものである。

メインメモリ１４は、例えばＣＰＵ１３が各種プログラムを実行する際に必要とされるワークエリア等として使用される。

無線通信デバイス１５は、例えば外部のサーバ装置２０等との通信を制御する機能を有する。

なお、図２においては、画像処理装置１０が不揮発性メモリ１２、ＣＰＵ１３、メインメモリ１４及び無線通信デバイス１５を備えるものとして説明したが、当該画像処理装置１０は、更に上記したカメラ２ａを備える構成であってもよい。この場合には、カメラ２ａを備える画像処理装置１０が上記した移動体２に搭載される（組み込まれる）構成であればよい。

図５は、画像処理装置１０の機能構成の一例を示す。図５に示すように、画像処理装置１０は、格納部１０１、画像取得部１０２、デコード処理部１０３、コード位置取得部１０４、移動体位置計算部１０５及び送信処理部１０６を含む。

なお、本実施形態において、格納部１０１は、例えば図４に示す不揮発性メモリ１２等によって実現される。

また、本実施形態において、画像取得部１０２、デコード処理部１０３、コード位置取得部１０４、移動体位置計算部１０５及び送信処理部１０６は、例えば図４に示すＣＰＵ１３（つまり、画像処理装置１０のコンピュータ）が不揮発性メモリ１２に格納されている所定のプログラムを実行すること、つまり、ソフトウェアによって実現されるものとする。なお、このＣＰＵ１３によって実行されるプログラムは、コンピュータ読み取り可能な記憶媒体に予め格納して頒布されてもよいし、ネットワーク３０を介して画像処理装置１０にダウンロードされても構わない。

格納部１０１には、移動体が移動する屋内空間に配置されているカラービットコード３の実空間上の位置を示す情報（以下、コード位置情報と表記）が予め格納されている。なお、コード位置情報においては、カラービットコード３によって表されるＩＤ等の識別情報と当該カラービットコード３の実空間上の位置とが対応づけられている。すなわち、本実施形態において、カラービットコード３によって表される識別情報（以下、コードＩＤと表記）は、当該カラービットコード３を識別するための識別子として用いられる。

画像取得部１０２は、移動体２に設置されているカメラ２ａによって撮像されたカラービットコード３を含む画像を当該カメラ２ａから取得する。画像取得部１０２によって取得された画像は、色情報の最小単位である複数の画素（ピクセル）から構成される。

デコード処理部１０３は、画像取得部１０２によって取得された画像に含まれるカラービットコード３を読み取る（デコードする）処理を実行する。なお、デコード処理部１０３によるデコードは、カラービットコード３における色彩の遷移（つまり、当該カラービットコード３を構成する複数のセル３ａの各々に付されている色彩の遷移）に基づいて行われる。これにより、デコード処理部１０３は、画像取得部１０２によって取得された画像に含まれるカラービットコード３によって表されるコードＩＤを取得する。

コード位置取得部１０４は、デコード処理部１０３によって取得されたコードＩＤに基づいて、格納部１０１に格納されているコード位置情報から、当該コードＩＤによって識別されるカラービットコード３（つまり、デコード処理部１０３によって読み取られたカラービットコード３）の実空間上の位置を取得する。

移動体位置計算部１０５は、画像取得部１０２によって取得された画像上におけるカラービットコード３の位置及びコード位置取得部１０４によって取得されたカラービットコード３の実空間上の位置に基づいて、移動体２の位置を計算する。

送信処理部１０６は、移動体位置計算部１０５によって計算された移動体２の位置を示す情報（以下、移動体位置情報と表記）を、ネットワーク３０を介してサーバ装置２０に送信する。

図６は、図５に示す格納部１０１に格納されているコード位置情報のデータ構造の一例を示す。

図６に示すように、コード位置情報には、カラービットコード３を識別するためのコードＩＤに対応づけて、当該カラービットコード３の実空間上の位置を表すＸ座標、Ｙ座標及びＺ座標が含まれている。本実施形態において、コード位置情報に含まれるカラービットコード３の実空間上の位置は、例えば当該カラービットコード３の中央に対応する位置であってもよいし、当該カラービットコード３の両端のうちのいずれか一方に対応する位置であってもよい。なお、このコード位置情報に含まれるＸ座標（値）、Ｙ座標（値）及びＺ座標（値）は、例えば移動体２が移動する屋内空間の予め定められた点を基準として規定された座標値であるが、当該屋内空間（実空間）上の特定の位置を表すものであれば他の値等であってもよい。

ここでは、移動体が移動する屋内空間に複数のカラービットコード３が配置されているものとし、格納部１０１には、コード位置情報１０１ａ～１０１ｃを含む複数のコード位置情報が格納されているものとする。

図６に示す例では、コード位置情報１０１ａには、コードＩＤ「００１」に対応づけてＸ座標「Ｘ座標値１」、Ｙ座標「Ｙ座標値１」及びＺ座標「Ｚ座標値１」が含まれている。このコード位置情報１０１ａによれば、コードＩＤ「００１」によって識別されるカラービットコード３がＸ座標値１、Ｙ座標値１及びＺ座標値１によって表される実空間上の位置に配置されていることが示されている。

コード位置情報１０１ｂには、コードＩＤ「００２」に対応づけてＸ座標「Ｘ座標値２」、Ｙ座標「Ｙ座標値２」及びＺ座標「Ｚ座標値２」が含まれている。このコード位置情報１０１ｂによれば、コードＩＤ「００２」によって識別されるカラービットコード３がＸ座標値２、Ｙ座標値２及びＺ座標値２によって表される実空間上の位置に配置されていることが示されている。

コード位置情報１０１ｃには、コードＩＤ「００３」に対応づけてＸ座標「Ｘ座標値３」、Ｙ座標「Ｙ座標値３」及びＺ座標「Ｚ座標値３」が含まれている。このコード位置情報１０１ｃによれば、コードＩＤ「００３」によって識別されるカラービットコード３がＸ座標値３、Ｙ座標値３及びＺ座標値３によって表される実空間上の位置に配置されていることが示されている。

ここではコード位置情報１０１ａ～１０１ｃについてのみ説明したが、格納部１０１には、移動体２が移動する屋内空間に配置されたカラービットコード３毎にコード位置情報が格納されている。また、コード位置情報１０１ａ～１０１ｃ以外のコード位置情報のデータ構造についても当該コード位置情報１０１ａ～１０１ｃのデータ構造と同様である。

更に、図６に示す例では１つのカラービットコード３（コードＩＤ）に対して１つの実空間上の位置を示すコード位置情報が示されているが、当該コード位置情報は、例えばカラービットコード３の両端の実空間上の位置（つまり、１つのカラービットコード３に対して複数の位置）を示すものであっても構わない。

以下、図７のフローチャートを参照して、本実施形態に係る画像処理装置１０の処理手順の一例について説明する。なお、図７に示す処理は、移動体２の位置を取得（管理）する必要があるタイミングで実行されればよいが、例えば画像処理システム１の管理者によって指定されたタイミングまたは予め定められた時間に到達したタイミング等で実行されてもよい。

図７に示す処理が実行される場合、例えば移動体２に設置されているカメラ２ａの電源がオンされ、当該カメラ２ａが起動される。このようにカメラ２ａが起動されることによって、当該カメラ２ａにおける画像の撮像が可能となる。

この場合、画像取得部１０２は、カメラ２ａにおいて撮像された画像を取得する（ステップＳ１）。

ここで、本実施形態において移動体２が移動する屋内空間には、複数のカラービットコード３が配置されているものとする。これによれば、画像取得部１０２は、複数のカラービットコード３のうち、屋内空間を移動している移動体２の近傍に配置されているカラービットコード３を含む画像を取得することができる。以下の説明においては、ステップＳ１において取得された画像を便宜的に対象画像と称する。

ステップＳ１の処理が実行されると、デコード処理部１０３は、対象画像に対する画像解析処理を実行する（ステップＳ２）。なお、このステップＳ２において実行される画像解析処理は、対象画像に含まれるカラービットコード３に対するデコード処理（読み取り処理）に相当する。以下、このデコード処理について具体的に説明する。

まず、デコード処理部１０３は、対象画像を各色領域に区分けする処理（以下、色領域区分け処理と表記）を実行する。ここで、一般的に対象画像は背景を含めて様々な色彩（を表示する画素）で構成されており、それらのパターンも様々なである。このため、色領域区分け処理においては、この対象画像中の色彩を色空間の中で赤色、緑色、青色及び無彩色に区分けし、各画素の色彩をいずれかの領域に当てはめる処理（均色化処理）が行われる。すなわち、色領域区分け処理においては、対象画像中の各画素に対するラベリング処理が実行される。

なお、上記した赤色、緑色及び青色はカラービットコードを構成する各セルに付される色彩として定義された色彩（以下、構成色と表記）であるが、色領域区分け処理においては、例えば照明、彩色、退色等を考慮して色空間上でこれらの構成色と認定することができる一定の範囲に包含される色彩であれば、当該色彩（の画素）を構成色として区分けするものとする。すなわち、例えば赤色の領域を区分けする場合には、当該赤色を中心とする一定の範囲の色彩を表示する画素の全てを赤色の領域として認定する。緑色及び青色の領域を区分けする場合についても同様である。

また、無彩色とは、色領域区分け処理において赤色、緑色及び青色として認定される色彩以外の色彩である。

更に、上記したように対象画像に対しては均色化処理が行われるが、一般的に当該対象画像にはノイズ成分が混入している場合が多い。このノイズに相当する微小部位の色彩異変に対しては例えばその周囲の色彩に合わせる、または、平均化する等のノイズ除去処理を行うことによって、当該ノイズを除去することが好ましい。

次に、デコード処理部１０３は、色領域区分け処理によって区分けされた各色領域に基づいて複数の構成色（赤色、緑色及び青色）の領域が配列されてなるカラービットコード３の領域（以下、コード領域と表記）を切り出す処理（以下、コード切り出し処理と表記）を実行する。このコード切り出し処理においては、各色領域の周囲の色彩（例えば、他の構成色の領域及び無彩色の領域の配置等）やカラービットコード３を構成するセル３ａの数等に基づいてコード領域が切り出される。コード切り出し処理によって切り出されるコード領域は、例えば画像上における座標値（ＸＹ座標値）によって表される。

なお、上記した色領域区分け処理及びコード切り出し処理については、例えば特開２００８－２８７４１４号公報等に開示されているため、ここではその詳細な説明については省略する。

次に、デコード処理部１０３は、コード切り出し処理によって対象画像から切り出されたコード領域において配列されている複数の色領域における色彩の遷移（つまり、当該複数の色領域の順番）に基づいてカラービットコード３をデコードする。これによれば、カラービットコード３における例えば始点セル（カラービットコード３の開始を表す端点セル）から終点セル（カラービットコード３の終了を表す端点セル）までの色の遷移によって表されるコードＩＤが取得される。

なお、移動体２の移動方向または当該移動体２に設置されているカメラ２ａの向き等によっては、対象画像にカラービットコード３が含まれていない場合があるが、この場合には、ステップＳ２の処理が実行されたとしてもコード領域が切り出されない（つまり、コードＩＤが取得されない）ため、図６に示す処理は終了される。

以下の説明においては、便宜的に、ステップＳ２の処理が実行されることによって取得されたコードＩＤを対象コードＩＤ、当該対象コードＩＤによって識別されるカラービットコード３（つまり、対象画像に含まれているカラービットコード３）を対象カラービットコード３と称する。

上記したステップＳ２の処理が実行されると、コード位置取得部１０４は、対象コードＩＤに基づいて、対象カラービットコード３の実空間上の位置を取得する（ステップＳ３）。

この場合、コード位置取得部１０４は、格納部１０１に格納されているコード位置情報の中から対象コードＩＤを含むコード位置情報を特定し、当該特定されたコード位置情報に含まれているＸ座標値、Ｙ座標値及びＺ座標値を対象カラービットコード３の実空間上の位置として取得する。

ステップＳ３の処理が実行されると、移動体位置計算部１０５は、移動体２の位置（移動体２の実空間上の位置）を計算する（ステップＳ４）。

ここで、本実施形態において、移動体２が移動する屋内空間には、当該移動体２に設置されているカメラ２ａの画角内に少なくとも２つのカラービットコード３が包含されるように複数のカラービットコード３が配置されているものとする。

この場合、ステップＳ１において取得される画像（対象画像）には２つのカラービットコード（対象カラービットコード）３が含まれており、ステップＳ２において実行されるコード切り出し処理においては、当該２つの対象カラービットコード３の各々のコード領域が切り出される。これによれば、ステップＳ２においては、切り出されたコード領域から、２つの対象カラービットコード３の各々の両端セル（始点セル及び終点セル）の対象画像上の位置（ＸＹ座標値）を抽出することができるものとする。

また、ステップＳ３においては、２つの対象カラービットコード３の各々の実空間上の位置が取得される。この場合、格納部１０１にはカラービットコード３の両端セル（始点セル及び終点セル）の実空間上の位置を示すコード位置情報がカラービットコード３毎に格納されているものとし、ステップＳ３においては、当該２つの対象カラービットコード３の各々の両端セルの実空間上の位置が取得されるものとする。

本実施形態においては、上記した２つの対象カラービットコードの各々の両端セルの対象画像上の位置（対象画像上の４点）及び当該２つの対象カラービットコード３の各々の両端セルの実空間上の位置（実空間上の４点）を透視投影モデルに適用することによって、移動体２の位置を計算するものとする。なお、移動体２に設置されているカメラ２ａの画角及び当該カメラ２ａにおいて撮像される画像の解像度は既知であり、当該画角及び解像度に関する情報は画像処理装置１０内において管理されているものとする。上記した移動体２の位置の計算処理においては、この画角及び解像度に関する情報も利用される。

すなわち、本実施形態においては、対象画像に含まれる２つの対象カラービットコード３の各々の両端セル（つまり、２つの対象カラービットコード３に基づいて抽出される４点）によって規定される空間を利用して移動体２の位置を計算する。この場合、カメラ２ａによって撮像される２つの対象カラービットコード３の各々の両端セルが同一平面状にないことが移動体２の位置を計算するための条件であり、移動体２が移動する屋内空間には、当該カメラ２ａとの位置関係において当該条件を満たす画像が撮像されるように複数のカラービットコード３が配置されているものとする。

なお、ここで説明した移動体２の位置の計算手法は一例であり、他の手法によって移動体２の位置が計算されても構わない。

また、本実施形態においては移動体２の位置として当該位置に対応するＸ座標値、Ｙ座標値及びＺ座標値が計算されればよいが、例えばカメラ２ａ（が設置されている移動体２）の上下方向の傾き角度、左右方向の傾き角度及び回転角度等が更に計算されても構わない。

ステップＳ４の処理が実行されると、当該ステップＳ４において計算された移動体２の位置を示す情報（以下、移動体位置情報と表記）は、送信処理部１０６によってサーバ装置２０に送信される。

上記したように本実施形態においては、移動体２に設置されたカメラ２ａ（撮像装置）によって撮像された画像に含まれるカラービットコード３（光学式認識コード）をデコードすることによって、当該カラービットコード３によって表されるコードＩＤ（識別情報）を取得し、当該コードＩＤに基づいて当該カラービットコード３の実空間上の位置を取得する。本実施形態においては、カラービットコード３の画像上の位置及び当該カラービットコード３の実空間上の位置に基づいて移動体２の位置を計算する。

本実施形態においては、このような構成により、画像処理装置１０において計算することによって得られた移動体２の位置（移動体位置情報）をサーバ装置２０において管理することが可能となり、当該サーバ装置２０において管理される移動体２の位置を例えば移動体２の追跡（監視）または当該移動体２の位置の補正等に利用することができる。

なお、上記した画像処理装置１０における移動体２の位置を計算する処理（つまり、図６に示す処理）は定期的に実行されるものとする。これによれば、移動体２の位置を定期的に得ることができるため、継続的な移動体２の追跡等を実現することができる。

また、屋内空間に複数の移動体が存在する場合、画像処理装置１０（送信処理部１０６）は、移動体２の位置を示す移動体位置情報とともに、当該移動体２を識別するための識別情報（以下、移動体ＩＤと表記）をサーバ装置２０に送信するものとする。これによれば、サーバ装置２０は、移動体２毎に位置を管理することが可能となる。なお、各移動体２を識別するための移動体ＩＤは、当該画像処理装置１０内で予め管理されていればよい。

ここで、一般的に移動体２の位置を計測（測位）する際にはＧＰＳ機能を利用する場合があるが、当該移動体２が工場のような屋内空間を移動する場合には、当該移動体２の位置を正確に計測することができない可能性がある。

また、例えば屋内空間に配置された各種送信機から送信されるビーコン、無線、電波または電磁波等を利用して移動体２の位置を計測することが考えられるが、このような構成であっても、電波干渉または金属反響等により位置の計測精度が低下する場合がある。

これに対して、本実施形態においては、上記したようにカメラ２ａにおいてカラービットコード３を撮像することによって移動体２の位置を計算（計測）する構成であるため、屋内空間を移動する移動体２の位置を高い精度で得ることが可能となる。

更に、画像解析（画像認識）によって移動体２の位置を計測する場合、一般的には移動体２側に目印（コード等）を付し、当該移動体２に付された目印を屋内空間に設置された撮像装置で撮像する手法を採用する場合が多いが、このような手法では、当該撮像装置の前を瞬時に通過する目印（移動体２）を撮像する必要があるため、当該目印を撮像する難易度が高く、移動体２の正確な位置を計測することができない場合がある。

また、移動体２側に目印を付す場合には、当該目印のサイズを、当該目印を認識することができる程度の大きさにする必要があるが、移動体２に付すことが可能な目印（タグ）の大きさには限界がある。

これに対して、本実施形態においては、移動体２に設置されたカメラ２ａにおいて屋内の例えば壁面等に配置されたカラービットコード３を撮像する構成を採用しているため、当該カメラ２ａがカラービットコード３を撮像する困難性を低減することができる。なお、カラービットコード３を移動体２が移動する向き等を考慮して配置することで、カラービットコード３をより容易に撮像することができるようにしてもよい。

更に、本実施形態においては、カラービットコード３が屋内の壁面等に配置されるため、当該カラービットコード３を移動体２側に付す場合と比較して、当該カラービットコード３のサイズ、形状及び配置に関する制限を緩和することができる。

また、本実施形態においては、カメラ２ａを移動体２毎に設置する構成により、例えば移動体２が移動する空間（以下、移動対象空間と表記）が拡大した場合であっても、当該拡大した空間にカラービットコード３を新たに配置する（貼り付ける）のみで、当該空間を移動する移動体２の位置を得ることが可能となる。すなわち、本実施形態においては、移動対象空間が拡大した場合であっても、コストが高額になりがちなカメラ２ａを増設する必要がないため、コストダウンを実現することができる。

ここで、本実施形態においては、上記したように少なくとも２つのカラービットコード３が同時にカメラ２ａの画角内に含まれるように屋内空間に複数のカラービットコード３が配置される。これによれば、カメラ２ａにおいて撮像された画像には２つのカラービットコード３が含まれ、当該画像に対してデコード処理が実行された場合には、当該２つのカラービットコード３の各々の両端セル（つまり、２つのカラービットコード３に基づいて抽出される４点）によって規定される空間を利用して移動体２の位置を計算することができる。

なお、このように計算される移動体２の位置の精度は、画像に含まれる２つのカラービットコード３の各々の両端セルによって規定される空間の体積に依存する。換言すれば、画像に含まれる２つのカラービットコード３の各々の両端セル間の距離が長いほど、正確な移動体２の位置を計算することができる。

このため、本実施形態において屋内空間に配置されるカラービットコード３は、当該カラービットコード３の両端セル間の距離が長くなるように形成されていることが好ましい。具体的には、カラービットコード３は、例えば直線状に形成されているものとする。なお、１つの画像に含まれる２つのカラービットコード３間の距離（間隔）も長くなるように配置されていることが好ましいが、各カラービットコード３が配置される位置についてはカメラ２ａの画角、移動体が配置される屋内空間の大きさまたは当該屋内空間において当該移動体が移動する経路等に基づいて決定されればよい。

なお、本実施形態においては光学式認識コードとしてカラービットコード３を利用するものとして説明したが、当該光学式認識コードとしては、例えばバーコードまたは２次元コード等の他の光学式認識コード（自動認識技術）が用いられても構わない。

このようにカラービットコード３以外の光学式認識コード（バーコードまたは２次元コード等）を利用する場合には、例えば１つの画像に当該光学式認識コードが４つ包含されるように当該光学式認識コードを配置しておくことにより、当該４つの光学式認識コードに基づいて抽出される４点によって規定される空間を利用して移動体２の位置を計算することができる。

また、ここでは光学式認識コードから抽出される４点によって規定される空間を利用して移動体２の位置を計算するものとして説明したが、当該移動体２の位置は、例えば光学式認識コードに基づいて抽出される３点（の画像上及び実空間上の位置）によって規定される平面を利用して計算することも可能である。具体的には、例えばカメラ２ａの画角及び当該カメラ２ａにおいて撮像される画像の解像度に関する情報、当該カメラ２ａの上下方向の傾きに関する情報（例えば、水平を向いているまたは上を向いている等）、当該カメラ２ａが設置されている高さに関する情報（例えば、プラス方向の高さにある等）が既知であれば、光学式認識コードに基づいて抽出される３点の画像上の位置及び実空間上の位置を透視投影モデルに適用することによって、移動体２の位置を計算することができる。

なお、光学式認識コードに基づいて抽出される３点（の画像上及び実空間上の位置）によって規定される平面を利用して移動体２の位置を計算する場合には、複数の移動体２の位置が計算されるが、上記した既知の情報を利用することによって、当該複数の移動体２の位置の中から最適な位置を絞り込むことができる。

更に、移動体２の位置は、例えば光学式認識コードに基づいて抽出される２点（の画像上及び実空間上の位置）によって規定された線を利用して計算することも可能である。具体的には、例えばカメラ２ａの画角及び当該カメラ２ａにおいて撮像される画像の解像度に関する情報、当該カメラ２ａの上下方向の傾きに関する情報、当該カメラ２ａが設置されている高さに関する情報が既知であれば、光学式認識コードに基づいて抽出される２点の画像上の位置及び実空間上の位置に基づいて、移動体２の位置を計算することができる。この場合には、光学式認識コードに基づいて抽出される２点が見える角度の交点を移動体２の位置として計算する。

なお、上記した光学式認識コードに基づいて抽出される３点によって規定された平面を利用して移動体２の位置を計算する場合には、カメラ２ａの上下方向及び当該カメラ２ａが設置されている高さはある程度大まかな情報であればよいが、光学式認識コードに基づいて抽出される２点によって規定された線を利用して移動体２の位置を計算する場合には、カメラ２ａの上下方向の傾き及び当該カメラ２ａが設置されている高さは正確な値であることが好ましい。

更に、移動体２の位置は、例えば光学式認識コードに基づいて抽出される１点（の画像上及び実空間上の位置）を利用して計算することも可能である。具体的には、例えばカメラ２ａの画角及び当該カメラ２ａにおいて撮像される画像の解像度に関する情報、当該カメラ２ａの上下方向の傾きに関する情報、当該カメラ２ａが設置されている高さに関する情報、当該カメラ２ａの向き（方角）に関する情報が既知であれば、三角測量によりカメラ２ａから光学式認識コードまでの距離を得ることができるため、当該距離に基づいて移動体２の位置を計算することができる。

本実施形態においては、光学式認識コードに基づいて抽出される１点～４点を利用して移動体２の位置を計算する手法について説明したが、当該移動体２の位置の計算に利用する点の数が多いほど当該位置の精度が高くなる一方で、光学式認識コードの配置等に関する制限が厳しくなる。したがって、上記した移動体２の位置を計算する手法（計算アルゴリズム）については、例えば移動体２が配置される屋内空間のレイアウト（つまり、光学式認識コードを適切に配置することができるか否か）等に基づいて適宜選択されればよい。

また、移動体２に設置されたカメラ２ａにおいて光学式認識コードを撮像し、当該光学式認識コードの画像上の位置及び実空間上の位置に基づいて当該移動体２の位置を計算する構成であれば、当該移動体２の位置を計算する方法としては本実施形態において説明した以外の手法が適用されてもよい。

なお、本実施形態においては、移動体２が自動搬送車であるものとして説明したが、当該移動体２は、例えばドローン等の無人航空機、自立型の移動ロボット等の他の移動体であってもよい。更に、移動体２は、人が乗車して運転することができるような車両等であっても構わない。

更に、本実施形態においては屋内空間を移動する移動体２の位置を計算するものとして説明したが、上記した移動体２に設置されたカメラ２ａにおいて周辺に配置された光学式認識コードを撮像することによって当該移動体２の位置を計算するような構成であれば、本実施形態は、当該屋外を移動する移動体に適用されても構わない。

また、本実施形態においては、図６に示す処理が画像処理装置１０によって実行されるものとして説明したが、当該画像処理装置１０の処理の一部は例えばサーバ装置２０等によって実行されてもよい。すなわち、本実施形態においては、図６に示す処理を画像処理装置１０及びサーバ装置２０を備える画像処理システム１全体で実行するようにしてもよい。

この場合、例えば図６に示すステップＳ１及びＳ２の処理を画像処理装置１０側で実行し、ステップＳ３及びＳ４の処理をサーバ装置２０側で実行するようにしてもよい。また、例えば図６に示すステップＳ１～Ｓ３の処理を画像処理装置１０側で実行し、ステップＳ４の処理をサーバ装置２０側で実行するようにしてもよい。

なお、例えば図６に示すステップＳ１の処理を画像処理装置１０側で実行し、ステップＳ２～Ｓ４の処理をサーバ装置２０側で実行する構成とすることも可能であるが、このような構成の場合には画像処理装置１０からサーバ装置２０に画像を送信しなければならず、通信容量が増大する。このため、画像処理装置１０からサーバ装置２０への通信容量を削減する観点からは、画像処理装置１０側で少なくともステップＳ２までの処理を実行することが好ましい。

また、上記したように図６に示す処理を画像処理システム１全体で実行する場合には、図４に示す各機能部１０１～１０６はそれぞれ画像処理装置１０またはサーバ装置２０に分散して配置されればよいが、例えば格納部１０１は当該画像処理システム１以外の外部装置に配置されていてもよい。この場合には、図６に示すステップＳ３の処理が実行される際に、画像処理システム１がコード位置情報を外部装置から取得（受信）する構成とすればよい。

なお、上記した実施形態に記載した手法は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスクなど）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤなど）光磁気ディスク（ＭＯ）、半導体メモリなどの記憶媒体に格納して頒布することもできる。

また、この記憶媒体としては、プログラムを記憶でき、かつコンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であってもよい。

また、記憶媒体からコンピュータにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワークソフト等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行してもよい。

更に、本発明における記憶媒体は、コンピュータと独立した媒体に限らず、ＬＡＮやインターネット等により伝送されたプログラムをダウンロードして記憶または一時記憶した記憶媒体も含まれる。

また、記憶媒体は１つに限らず、複数の媒体から本実施形態における処理が実行される場合も本発明における記憶媒体に含まれ、媒体構成は何れの構成であってもよい。

なお、本発明におけるコンピュータは、記憶媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するものであって、パソコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。

また、本発明におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本発明の機能を実現することが可能な機器、装置を総称している。

なお、本願発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組合せてもよい。

１…画像処理システム、２…移動体、２ａ…カメラ（撮像装置）、３…カラービットコード、３ａ…セル、１０…画像処理装置、１１…バス、１２…不揮発性メモリ、１３…ＣＰＵ、１４…メインメモリ、１５…無線通信デバイス、２０…サーバ装置、３０…ネットワーク、１０１…格納部、１０２…画像取得部、１０３…デコード処理部、１０４…コード位置取得部、１０５…移動体位置計算部、１０６…送信処理部。

Claims (6)

1. 移動体に設置された撮像装置によって撮像された光学式認識コードを含む画像を取得する第１取得手段と、
   前記光学式認識コードに基づいて、前記光学式認識コードの実空間上の位置を取得する第２取得手段と、
   前記光学式認識コードの前記画像上の位置及び前記光学式認識コードの実空間上の位置に基づいて、前記移動体の位置を計算する計算手段と
   を具備し、
   前記光学式認識コードは、複数の色彩のうちの１の色彩が付されたエレメントが複数配列されたコードを含み、
   前記光学式認識コードの実空間上の位置は、前記複数のエレメントのうちの少なくとも２つのエレメントの実空間上の位置を含む
   画像処理装置。
2. 画像処理装置及び当該画像処理装置と通信可能に接続されるサーバ装置とを備える画像処理システムにおいて、
   移動体に設置された撮像装置によって撮像された光学式認識コードを含む画像を取得する第１取得手段と、
   前記光学式認識コードに基づいて、前記光学式認識コードの実空間上の位置を取得する第２取得手段と、
   前記光学式認識コードの前記画像上の位置及び前記光学式認識コードの実空間上の位置に基づいて、前記移動体の位置を計算する計算手段と
   を具備し、
   前記光学式認識コードは、複数の色彩のうちの１の色彩が付されたエレメントが複数配列されたコードを含み、
   前記光学式認識コードの実空間上の位置は、前記複数のエレメントのうちの少なくとも２つのエレメントの実空間上の位置を含む
   画像処理システム。
3. 画像処理装置が実行する方法であって、
   移動体に設置された撮像装置によって撮像された光学式認識コードを含む画像を取得するステップと、
   前記光学式認識コードに基づいて、前記光学式認識コードの実空間上の位置を取得するステップと、
   前記光学式認識コードの前記画像上の位置及び前記光学式認識コードの実空間上の位置に基づいて、前記移動体の位置を計算するステップと
   を具備し、
   前記光学式認識コードは、複数の色彩のうちの１の色彩が付されたエレメントが複数配列されたコードを含み、
   前記光学式認識コードの実空間上の位置は、前記複数のエレメントのうちの少なくとも２つのエレメントの実空間上の位置を含む
   方法。
4. コンピュータによって実行されるプログラムであって、
   前記コンピュータに、
   移動体に設置された撮像装置によって撮像された光学式認識コードを含む画像を取得するステップと、
   前記光学式認識コードに基づいて、前記光学式認識コードの実空間上の位置を取得するステップと、
   前記光学式認識コードの前記画像上の位置及び前記光学式認識コードの実空間上の位置に基づいて、前記移動体の位置を計算するステップと
   を実行させ、
   前記光学式認識コードは、複数の色彩のうちの１の色彩が付されたエレメントが複数配列されたコードを含み、
   前記光学式認識コードの実空間上の位置は、前記複数のエレメントのうちの少なくとも２つのエレメントの実空間上の位置を含む
   プログラム。
5. 撮像装置が設置され、画像処理装置によって位置が計算される移動体であって、
   前記画像処理装置は、
   前記撮像装置によって撮像された光学式認識コードを含む画像を取得する第１取得手段と、
   前記光学式認識コードに基づいて、前記光学式認識コードの実空間上の位置を取得する第２取得手段と、
   前記光学式認識コードの前記画像上の位置及び前記光学式認識コードの実空間上の位置に基づいて、前記移動体の位置を計算する計算手段と
   を含み、
   前記光学式認識コードは、複数の色彩のうちの１の色彩が付されたエレメントが複数配列されたコードを含み、
   前記光学式認識コードの実空間上の位置は、前記複数のエレメントのうちの少なくとも２つのエレメントの実空間上の位置を含む
   移動体。
6. 画像処理装置によって位置が計算される移動体が移動する空間を形成する工場または倉庫であって、
   前記画像処理装置は、
   前記移動体に設置された撮像装置によって撮像された光学式認識コードを含む画像を取得する第１取得手段と、
   前記光学式認識コードに基づいて、前記光学式認識コードの実空間上の位置を取得する第２取得手段と、
   前記光学式認識コードの前記画像上の位置及び前記光学式認識コードの実空間上の位置に基づいて、前記移動体の位置を計算する計算手段と
   を有し、
   前記光学式認識コードが前記空間内で前記撮像装置によって撮像可能な位置に一以上配置されており、
   前記光学式認識コードは、複数の色彩のうちの１の色彩が付されたエレメントが複数配列されたコードを含み、
   前記光学式認識コードの実空間上の位置は、前記複数のエレメントのうちの少なくとも２つのエレメントの実空間上の位置を含む
   工場または倉庫。

Images