JP5783885B2

JP5783885B2 - 情報提示装置、その方法及びそのプログラム

Info

Publication number: JP5783885B2
Application number: JP2011247697A
Authority: JP
Inventors: 馨杉田; 正志西山; 関根　真弘; 真弘関根
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2011-11-11
Filing date: 2011-11-11
Publication date: 2015-09-24
Anticipated expiration: 2031-11-11
Also published as: US20130127906A1; JP2013105258A; US9324304B2

Description

本発明の実施形態は、情報提示装置、その方法及びそのプログラムに関する。

ケーブルが結線される配電盤に関して、ケーブルの結線状態をチェックするチェック装置が提案されている。このチェック装置は、識別情報を表すバーコードを付けたケーブルが、配電盤の端子台の結線端子に結線された状態をカメラで撮影し、撮影した画像からケーブル、端子台、結線端子の位置と、各識別情報を認識し、その認識結果に基づいてケーブルの結線の正誤状態を判定する。

特開２０１１−１３０６５２

しかし、ケーブルに付けたバーコードが、他の部品などにより遮蔽されることにより、バーコードの見逃しが発生する場合がある。この場合に、上記チェック装置により結線全体の正誤判定を行うためには、ケーブルを全て認識できるまで複数回撮影して、その認識結果を操作者がまとめる必要があり、結線確認作業の作業性が煩雑になるという問題点があった。

そこで、本実施形態は、上記問題点に鑑み、対象物の配列確認が容易に行える情報提示装置、その方法及びそのプログラムを提供することを目的とする。

本発明の実施形態は、一列に並ぶように配列された複数の第１の対象物が撮影された画像を取得する画像取得部と、（１）前記複数の第１の対象物の各識別番号と、（２）前記複数の第１の対象物の中の一つの前記第１の対象物と並んで配列される他の前記第１の対象物の前記識別情報と、前記一つの第１の対象物と前記他の第１の対象物との相対位置、相対方向、又は、方向ベクトルを含む位置関係とを表す第１のルールを、前記第１の対象物毎に予め格納する格納部と、前記配列が正しいか否かの判定対象となる前記第１の対象物である基準対象物の前記識別情報と位置、前記基準対象物と同じ列に並んで配列される前記第１の対象物である目標対象物の前記識別情報と位置とを前記画像から認識する認識部と、前記基準対象物の前記識別情報と前記目標対象物の前記識別情報とが、前記第１のルールにおける前記位置関係を満たすか否かを判定する判定部と、前記基準対象物が前記第１のルールを満たすことを表すか、又は、前記基準対象物が前記第１のルールを満たさないことを表す判定画像を生成し、前記判定画像を前記画像中の前記基準対象物の位置に重畳して提示用画像を生成する重畳部と、前記提示用画像を提示する提示部と、を有することを特徴とする情報提示装置である。

実施形態１の情報提示装置のブロック図。実施形態１の情報提示装置の利用形態の説明図。実施形態１のフローチャート。実施形態１の認識部による１フレーム中のバーコードの認識結果の例の説明図。実施形態１の格納部に格納されるルールの例の説明図。実施形態１の判定部のフローチャート。実施形態１の統合部のフローチャート。実施形態２の情報提示装置の利用形態の説明図。実施形態２の格納部に格納されるルールの例の説明図。実施形態２の判定部のフローチャート。

以下、本発明の実施形態の情報提示装置について図面を参照しながら説明する。

実施形態１

実施形態１の情報提示装置１について図１〜図７を参照して説明する。

本実施形態の情報提示装置１は、Ｊ本（但しＪ＞１である）のケーブル２０２を、配電盤（不図示）に有る端子台２０１のＪ個の結線端子２０５にそれぞれ結線した場合に、その結線が正しいか否かを判定する装置である。本実施形態の場合は、配列される対象物はケーブル２０２であり、第２の対象物が端子台２０１である。

情報提示装置１は、例えば、操作者に対して動画像を提示する液晶パネルなどの提示部１０６と、配電盤２００の端子台２０１、ケーブル２０２を撮影する撮像部１００とを、一つのケースに搭載した携帯型端末（例えば、タブレット型端末、スマートフォンなどである）の形態を有している。また、ケーブル２０２には、そのケーブル２０２の識別情報をバーコード２０３で示したタグが取り付けられている。さらに、端子台２０１には、その端子台２０１の識別情報を２次元バーコードで示したバーコード２０４のタグが取り付けられている。なお、結線されるケーブル２０２が多数の場合、一つのバーコード２０４だけでは位置関係が決定にし難いので、１台の端子台２０１に図２に示すように複数のバーコード２０４のタグが取り付けられている。

本実施形態の情報提示装置１の構成について図１に基づいて説明する。図１は、情報提示装置１のブロック図である。

情報提示装置１は、撮像部１００、画像取得部１０１、認識部１０２、判定部１０３、統合部１０４、重畳部１０５、提示部１０６、格納部１０７を有する。

撮像部１００は、ＣＣＤカメラなどよりなり、バーコード２０３が付けられたケーブル２０２と、バーコード２０４が付けられた端子台２０１と、そのケーブル２０２を端子台２０１の結線端子２０５に結線した状態とを動画像で撮像する。

画像取得部１０１は、撮像部１００で撮影した動画像の各フレームを取得する。

認識部１０２は、画像取得部１０１により取得された各フレームからバーコード２０３，２０４で示された識別情報と、そのバーコード２０３，２０４に関する位置をフレーム毎に認識する。

格納部１０７は、複数のバーコード２０３間の位置関係及びバーコード２０４の位置関係をルールとして格納している。

判定部１０３は、格納部１０７からルールを読み出して、認識部１０２で認識されたバーコード２０３，２０４の位置関係に基づいて、１つのフレームに写っているケーブル２０２に関してルールを満たすか否かをフレーム毎に判定する。

統合部１０４は、複数のフレームを用いて、端子台２０１に結線された全てのケーブル２０２に関してルールを満たすか否かを判定する。

重畳部１０５は、各フレームに写っているケーブル２０２に、判定画像を重畳して提示用画像を提示する。

提示部１０６は、重畳部１０５から出力された提示用画像を提示する。

情報提示装置１の利用形態を図２に基づいて説明する。図２は情報提示装置１の利用形態の説明図である。

図２に示すように、配電盤２００の端子台２０１の各結線端子２０５には、バーコード２０３ａ〜ｄが示されたタグを付けたケーブル２０２ａ〜ｄが結線されている。また、端子台２０１には、結線端子２０５の位置を示す２次元バーコード２０４ａ〜ｃを表すタグがそれぞれ取り付けられている。

操作者が、情報提示装置１のケースの裏面にある撮像部１００を端子台２０１の方向に向けると、情報提示装置１のケースの表面にある提示部１０６には、撮影された端子台２０１付近の動画像と共に、端子台２０１に結線されたケーブル２０２ａ〜２０２ｄが正しい位置に結線されているか否かの判定結果が各ケーブル２０２ａ〜２０２ｄの上に重ねて表示されると共に、誤った位置に結線され接続ミスがある場合には、その旨が言葉として表示される。図２の場合には、結線が正しい場合には白丸、誤っている場合には×でケーブル２０２と重ねて表示されていると共に、「接続ミス」と表示される。

情報提示装置１の処理内容について図３に基づいて説明する。図３は、情報提示装置１の処理を示すフローチャートである。

ステップＳ３０１において、撮像部１００が、配電盤２００の端子台２０１に結線されたケーブル２０２を撮影し、画像取得部１０１が、その動画像を取得して、ステップＳ３０２に進む。

ステップＳ３０２において、認識部１０２が、取得された動画像の各フレームからバーコード２０３，２０４の識別情報と、バーコード２０３，２０４に関する位置をフレーム毎に認識し、ステップＳ３０３に進む。

ステップＳ３０３において、判定部１０３が、格納部１０７に格納されたルールに基づいて、認識部１０２で認識されたバーコード２０３，２０４の位置関係がルールを満たすか否かをフレーム毎に判定する。

ステップＳ３０４において、統合部１０４は、取得した動画像の複数のフレームを用いて、端子台２０１に結線された全てのケーブル２０２に関してルールを満たすか否かを判定する。

ステップＳ３０５において、重畳部１０５は、各フレームに写っているケーブル２０２に、判定画像を重畳して提示用画像を提示する。

ステップＳ３０６において、提示部１０６が、提示用画像を提示する。

ここで、ステップＳ３０２、ステップＳ３０３、ステップＳ３０４と、ステップＳ３０５は一連の処理であるが、必ずしも全てが同期して動作する必要はない。例えば、ステップＳ３０２は一秒間に１回動作し、ステップＳ３０３、ステップＳ３０４、ステップＳ３０５は、ステップＳ３０２の結果を利用しながら一秒間に１０回動作してもよい。

以下、情報提示装置１の各部１００〜１０６の処理内容をさらに詳しく順番に説明する。

画像取得部１０１は、動画像を撮影できる撮像部１００を有し、この撮像部１００から動画像を取得する。撮像部１００は、情報提示装置１のケースの裏面に取り付けられ、端子台２０１を撮影できる。撮像部１００は、例えば３０フレーム／秒の動画像を撮影でき、また、水平方向６４０ピクセル、垂直方向４８０ピクセルの画素数で１フレームを撮影でき、さらに、焦点距離を自動的に合わせられる機構を有し、レンズなどの光学系によって撮影像にひずみが発生することを補正するひずみ補正処理を行う。

認識部１０２について図４を参照しながら説明する。

認識部１０２は、画像取得部１０１により取得されたフレームからバーコード２０３，２０４の識別情報、位置関係をフレーム毎に認識する。

認識部１０２が認識するバーコードは、ケーブル２０２に付けられた１次元のバーコード２０３と、端子台２０１に付けられた２次元のバーコード２０４の両方である。認識部１０２は、バーコード２０３，２０４の認識に関して、画像取得部１０１が取得した動画像のフレーム単位で行う。図４に示すように、認識結果は、認識を行ったフレームのフレーム番号、ケーブルバーコードに関する表と、端子台バーコードに関する表よりなる。

ケーブルバーコードの表は、ケーブル２０２のバーコード２０３の識別情報（ケーブルバーコードＩＤ）と、バーコード２０３の画像座標値（Ｘ，Ｙ）の組み合わせからなる。なお、ケーブル２０２の「認識情報」とは、バーコード２０３の識別情報と画像座標値が対になったものである。

端子台バーコードの表は、端子台２０１のバーコード２０４の識別情報（端子台バーコードＩＤ）と、バーコード２０４の画像座標値（Ｘ，Ｙ）の組み合わせからなる。なお、端子台２０１の「認識情報」とは、バーコード２０４の識別情報と画像座標値が対になったものである。

なお、画像座標値（Ｘ，Ｙ）は、画像取得部１０１で取得したフレームの画素数を基準とするものであり、例えばフレームの左上を原点（０，０）とし、右方向にＸ軸の正方向、鉛直下方向にＹ軸の正方向を配置した画像座標系上の位置であり、例えば認識できた各バーコード２０３，２０４のそれぞれの領域の重心位置を示す。

格納部１０７について図５を参照しながら説明する。

格納部１０７には、図５に示すように、端子台２０１の端子台番号（例えば、番号Ａ０１）毎に、ケーブルルールに関する表と、端子台ルールに関する表とが、一つのルールとしてまとめて格納されている。

「ケーブルルール」は、端子台番号Ａ０１の端子台２０１に結線しているケーブル２０２が正しい状態で結線されている場合の、隣接するケーブル２０２のバーコード２０３同士の正しい位置関係を示すルールである。「ケーブルルールＩＤ」とは、ケーブルルールを識別するＩＤである。「ケーブル基準バーコード」とは、判定の基準となるケーブル２０２のバーコード２０３の識別情報を意味し、「ケーブル目標バーコード」とは、ケーブル基準バーコード２０３とは異なる判定の対象となるケーブル２０２のバーコード２０３の識別情報を意味する。「検出座標系」とは、判定部１０３でバーコード２０３間の位置関係を判定するときに利用される座標系であり、バーコード２０４とバーコード２０３に基づき定義され、画像座標系とは異なる座標系である。詳しくは後から説明する。「検出座標系ＩＤ」とは、ケーブル２０２が結線されるバーコード２０４によって表される検出座標系のＩＤを意味する。「相対位置」とは、ケーブル基準バーコード２０３とケーブル目標バーコード２０３の位置関係を意味し、検出座標系ＩＤで示される検出座標系上で、ケーブル基準バーコード２０３を原点とした場合に、ケーブル目標バーコード２０３が検出されるべき正しい位置及び方向を２次元座標位置で示したものである。

「端子台ルール」は、例えば、端子台番号Ａ０１の端子台２０１に取り付けられたバーコード２０４であって、かつ、隣接するバーコード２０４，２０４の位置関係を示すルールである。「端子台基準バーコード」とは、判定の基準となるバーコード２０４の識別情報を意味し、端子台番号Ａ０１にバーコード２０４の識別番号（例えば、０１）を付加したものである。「端子台目標バーコード」とは、端子台基準バーコード２０４とは異なる判定の対象となるバーコード２０４の識別情報を意味し、端子台番号Ａ０１にバーコード２０４の識別番号（例えば、０２）を付加したものである。「方向ベクトル」とは、検出座標系上で、端子台基準バーコード２０４を原点とした場合に、端子台目標バーコード２０４が検出されるべき正しい位置及び方向を２次元座標位置（すなわち、位置関係）で示したものである。

また、格納部１０７は、バッファと画像バッファを別途有する。

判定部１０３について図６のフローチャートを参照しながら説明する。

ステップＳ６００において、判定部１０３は、まず、取得した動画像のフレーム毎に、端子台基準バーコード２０４を検出したか否かを判定する。判定部１０３は、端子台基準バーコード２０４を検出した場合にはステップＳ６０１に遷移し（Ｙの場合）、検出しない場合には処理を終了する（Ｎの場合）。

次に、ステップＳ６０１において、判定部１０３は、ケーブルルールを全てポイントするためのインデックスとしてｉ（但し、１＜＝ｉ＜＝Ｉ）を用い、ケーブルルールインデックスｉを初期値１で初期化する。なお、上限値Ｉは、判定しようとしているフレームに写っているケーブル２０２の総数を意味し、端子台２０１に結線される全てのケーブル２０２の本数Ｊと比べた場合に、１＜＝Ｉ＜＝Ｊとなる。すなわち、あるフレームにケーブル２０２が全て写っていない場合は、１＜＝Ｉ＜Ｊとなる。そして、この上限値Ｉは、あるフレームに写っているバーコード２０４の識別情報の中で最もコードＩＤの値が高い数に対応して決定する。

次に、ステップＳ６０２において、判定部１０３は、端子台基準バーコード２０４を使って、ケーブルルールｉを格納部１０７から読み出し、ケーブルルールｉに含まれているケーブル基準バーコード２０３とケーブル目標バーコード２０３を、現在のフレームで検出しているか否かを判定する。判定部１０３が、両バーコード２０３を検出していればステップＳ６０３に遷移し（Ｙの場合）、検出していなければステップＳ６０６に遷移する（Ｎの場合）。

次に、ステップＳ６０３において、判定部１０３は、ケーブル基準バーコード２０３とケーブル目標バーコード２０３の位置関係が、ケーブルルールｉを満たすか否かを判定する。この判定方法については後述する。判定部１０３が、ケーブルルールｉを満たすと判定した場合にはステップＳ６０４に遷移し（Ｙの場合）、満たさないと判定した場合にはステップＳ６０５に遷移する（Ｎの場合）。

次に、ステップＳ６０４において、判定部１０３は、ケーブルルールｉを満たすと判定したので、ケーブルルールｉの判定結果を「正常」として、フレーム番号を、格納部１０７の一時記憶部（例えば、バッファ）に格納し、ステップＳ６０６に遷移する。

次に、ステップＳ６０５において、判定部１０３は、ケーブルルールｉを満たさないと判定したので、ケーブルルールｉの判定結果を「異常」として、フレーム番号を、バッファに格納し、ステップＳ６０６に遷移する。

次に、ステップＳ６０６において、判定部１０３は、ｉが上限値Ｉであるか否かを判定する。上限値Ｉでない場合にはステップＳ６０７に遷移し（Ｎの場合）、ｉが上限値Ｉのときは全てのケーブルルールの判定が終わったものとして処理を終了する（Ｙの場合）。

次に、ステップＳ６０７において、判定部１０３は、ケーブルルールインデックスｉに１を加えて、ステップＳ６０２に戻る。

以上の処理により、入力された１枚のフレームに対して、バーコード２０３の認識を行った結果について、ケーブルルールを満たすか否かの判定が行われ、満足するケーブル基準バーコード２０３は「正常」とそのフレーム番号が、そのケーブル基準バーコード２０３の識別情報と共にバッファに格納され、満足しないケーブル基準バーコード２０３は「異常」とそのフレーム番号が、そのケーブル基準バーコード２０３の識別情報と共にバッファに判定結果として格納される。

なお、あるケーブルルールｉに関するバーコード２０３が認識されなかった場合には、そのケーブルルールｉに関するバッファの内容は更新されない。

次に、判定部１０３が行うステップＳ６０３の処理内容について具体的に説明する。

まず、判定部１０３に入力されるバーコード２０３の認識情報は、図４に示すようなバーコード２０３と画像座標値が対になったものである。なお、この画像座標値は画像座標系で示されている。

まず、判定部１０３は、画像座標系で表現された画像座標値を、検出座標系で表現される検出座標値に変換する。この座標変換処理は、端子台２０１毎のバーコード２０４の位置関係により処理される。

例えば、図５の端子台番号Ａ０１の端子台２０１のケーブルルール「１」で用いられる検出座標系ＩＤ「１」は、端子台ルールを参照すると次のようになる。検出座標系ＩＤ「１」は、端子台ルールでは、Ａ０１０１の端子台基準バーコード２０４の検出位置と、Ａ０１０２の端子台目標バーコード２０４の検出位置を用いて定義される座標系である。具体的には、Ａ０１０１の端子台基準バーコード２０４の検出位置を新たな原点とし、Ａ０１０２の端子台目標バーコード２０４の検出位置が座標（３，０）となるようにＸ軸を配置し、Ｘ軸から反時計回りに９０度回転させた方向にＹ軸を配置した座標系が、検出座標系ＩＤ「１」である。これにより、Ａ０１０１の端子台基準バーコード２０４の検出位置とＡ０１０２の端子台目標バーコード２０４の検出位置が、検出座標系ＩＤ「１」において、（０，０）及び（３，０）になる。この処理は、３行３列のアフィン変換行列で表現できる。この変換処理が、画像座標系から検出座標系への変換処理である。

図４のケーブルルール「１」では、この変換処理を用いて、ケーブルコードＩＤ「００１」のケーブル基準バーコード２０３とケーブルコードＩＤ「００２」のケーブル目標バーコード２０３を画像座標系から検出座標系に変換し、ケーブルコードＩＤ「００１」のケーブル基準バーコード２０３に対するケーブルコードＩＤ「００２」のケーブル目標バーコード２０３の相対位置が、Ｘ軸について０．９以上、かつ、１．１以下、Ｙ軸について−０．１以上、かつ、０．１以下の範囲に収まっていればケーブルルール１が満たされたと、判定部１０３は判定する。

判定部１０３は、以上の処理をケーブルルール毎に適用していく。

統合部１０４の処理内容を図７のフローチャートを参照しながら説明する。

まず、統合部１０４は、ケーブルルールを全てポイントするためのインデックスとしてｊ（但し、１＜＝ｊ＜＝Ｊ）を用い、ケーブルルールインデックスｊを初期値１で初期化する。ここで用いるインデックスｊは、判定部１０３で利用したインデックスｉとは独立であり、また、上限値Ｊは、端子台番号Ａ０１の端子台２０１に結線されるケーブル２０２の総数を意味する。

ステップＳ７０１において、統合部１０４は、端子台２０１全体に対して接続ミス又は接続不足であるという判定結果の一時格納に用いるための「接続ミスフラグ」と「接続不足フラグ」をＯＦＦに初期化する。

次に、ステップＳ７０２において、統合部１０４は、ケーブルルールインデックスｊに含まれるケーブル基準バーコード２０３とケーブル目標バーコード２０３を両方とも検出しているフレームがバッファに存在し、そのフレームの撮影時刻（検出時刻）が現在時刻を基準に一定時間以内であるか否かを判定する。統合部１０４は、そのフレームが存在していればステップＳ７０３に遷移し（Ｙの場合）、存在していなればステップＳ７０４に遷移する（Ｎの場合）。

次に、ステップＳ７０３において、統合部１０４は、前記存在しているフレームの判定結果をバッファから取り出し、ステップＳ７０５に遷移する。この判定結果とは、判定部１０３で判定した前記存在しているフレームに対応するフレーム番号、ケーブル基準バーコード２０３の識別情報、「正常」／「異常」である。

次に、ステップＳ７０４において、統合部１０４は、前記フレームが存在していないので、前記フレームに撮影されているはずのケーブル基準バーコード２０３に関して、接続不足フラグをＯＮにしてバッファに格納して、ステップＳ７０７に遷移する。

次に、ステップＳ７０５において、統合部１０４は、バッファから取り出した判定結果に基づいて、ケーブル基準バーコード２０３が「正常」又は「異常」であるかを判定する。統合部１０４は、「正常」である場合にはケーブルルールｊを満たしてるとしてステップＳ７０７に遷移し（Ｙの場合）、そのケーブル基準バーコード２０３が「異常」であればステップＳ７０６に遷移する（Ｎの場合）。

次に、ステップＳ７０６において、統合部１０４は、そのケーブル基準バーコード２０３がケーブルルールｊを満たしていないので、そのケーブル基準バーコード２０３に関して接続ミスフラグをＯＮにしてバッファに格納して、ステップＳ７０７に遷移する。

次に、ステップＳ７０７において、統合部１０４は、全てのケーブルルール（ケーブルルール１〜Ｊまで）について判定が完了しているか否かを判断する。全てのケーブルルールについて判定が完了している場合にはステップＳ７０９に遷移し（Ｙの場合）、完了していない場合にはステップＳ７０８に遷移する（Ｎの場合）。

次に、ステップＳ７０８において、統合部１０４は、ケーブルルールインデックスｊに１を加えてステップＳ７０２に戻る。

次に、ステップＳ７０９において、統合部１０４は、接続ミスフラグと接続不足フラグのＯＮ／ＯＦＦを元に、全てのケーブルルール（ケーブルルール１〜Ｊまで）に関する統合結果を出力する。

重畳部１０５と提示部１０６について説明する。

まず、重畳部１０５は、画像取得部１０１が取得したあるフレーム（例えば、フレーム番号ｍのフレーム）を、格納部１０４の画像一時格納部（例えば、画像バッファ）にコピーする。

次に、重畳部１０５は、フレーム番号ｍのフレームに関するバッファに格納されたケーブルルールについて、ケーブルルール毎に検出座標系で表現されたケーブル基準バーコード２０３の検出座標値と、そのケーブル基準バーコード２０３の統合結果（接続ミスフラグのＯＮ／ＯＦＦと接続不足フラグのＯＮ／ＯＦＦ）を読み出す。

次に、重畳部１０５は、フレーム番号ｍのフレームに関するケーブル基準バーコード２０３の検出座標値を、検出座標系から画像座標系に変換した位置を求める。

次に、重畳部１０５は、読み出した統合結果を用いて、「接続ミスフラグ」がＯＮ、「接続不足フラグ」がＯＮ、両フラグがＯＦＦか否かをケーブル基準バーコード２０３毎に判定する。重畳部１０５は、「接続ミスフラグ」がＯＮの場合は×と「接続ミス」を表示した判定画像を生成し、「接続不足フラグ」がＯＮの場合は×と「接続不足」を表示した判定画像を生成し、両フラグがＯＦＦの場合は白丸を表示した判定画像を生成する。

次に、重畳部１０５は、画像座標系に変換したケーブル基準バーコード２０３の位置に判定画像を重畳して提示用画像を生成する。また、ケーブル基準バーコード２０３の番号を文字列で表現した画像（００１，００２など）を重畳してもよい。

次に、重畳部１０５は、ｍフレーム目の提示用画像を提示部１０６に出力する。

提示部１０６は、ｍフレーム目の提示用画像を提示する。すなわち、上記処理をフレーム毎に行い、操作者には提示用画像が重畳された動画像を提示する。

本実施形態では、端子台２０１が写った動画像に、結線されたケーブル２０２の結線判定を示した提示用画像を重畳して提示するため、バーコード２０３の見逃しが発生しやすい環境でも結線の正誤判定ができる。また、結線の正誤判定結果を重畳表示することで目視での対応づけが可能となり、作業性が向上する。

また、ケーブル２０２が密集している場所など、タグの遮蔽によりバーコード２０３の見逃しが発生しやすい環境でも正誤判定を行えるようになり、作業性が向上する。

また、暗所などでセンサのノイズが発生しやすく、バーコード２０３の見逃しが発生しやすい環境での可用性も高まる。

実施形態２

実施形態２の情報提示装置２について図８〜図１０を参照して説明する。

本実施形態の情報提示装置２は、対象物として本や物などの物品を並べる場合など、位置の基準となるマーカーがなく物品にのみマーカーが付けられている場合の配列の正しさを確認する。例えば、本棚での本の配列、倉庫での物（例えば、商品が収納された段ボール箱など）の配列を確認する作業に利用できる。

情報提示装置２は、操作者に対して動画像を撮影する撮像部１００、提示用画像を提示する液晶パネルなどの提示部１０６を搭載した携帯型端末の形態を有する。

物品８０１ａ〜ｄには、識別情報をバーコード２０３ａ〜ｄで示したタグが付けられている。

なお、本実施形態の情報提示装置２の構成は、実施形態１の情報提示装置１と同様であるので説明は省略する（図１参照）。

本実施形態の情報提示装置２の利用形態について図８を参照して説明する。

操作者が情報提示装置２の撮像部１００を物品８０１ａ〜ｄの方向に向けると、情報提示装置１の提示部１０６には撮影された物品８０１ａ〜ｄの動画像と共に、物品８０１ａ〜ｄが正しい順序で配列されているかどうかの判定結果が各物品の上に重ねて表示されると共に、配列ミスがある場合には、その旨が言葉として表示される。

以下、実施形態１と異なる部分の構成及び機能について説明する。

格納部１０７には、物品が正しい状態で配列されている場合の物品同士の位置関係を表すルールが格納されている。格納されている内容の例を図９に示す。

「ルールＩＤ」とは、ルールのＩＤを示している。

「基準バーコード」とは、基準となるバーコード２０３の識別情報を示すものである。

「目標バーコード」とは、基準バーコード２０３とは異なるバーコード２０３の識別情報を示すものである。

「方向ベクトル」とは、基準バーコード２０３を基準位置とした場合に、目標バーコード２０３が検出される位置と方向を、画像座標系上で２次元座標値で示したものである。

判定部１０３の処理内容を図１０を参照しながら説明する。

まず、ステップＳ１００１において、判定部１０３は、ルールを全てポイントするためのインデックスとしてｋ（但し、１＜＝ｋ＜＝Ｋである）を用いる。ケーブルルールインデックスｋを初期値１で初期化する。

次に、ステップＳ１００２において、判定部１０３は、ルールｋを格納部１０７から読み出し、ルールｋに含まれている基準バーコード２０３と目標バーコード２０３を、現在のフレームで検出しているか否かを判定する。判定部１０３は、検出していればＳ１００３に遷移し（Ｙの場合）、検出していなければステップＳ１００６に遷移する（Ｎの場合）。

次に、ステップＳ１００３において、判定部１０３は、基準バーコード２０３と目標バーコード２０３の位置関係がルールｋを満たすか否かを判定する。この判定方法については後述する。判定部１０３は、ルールｋを満たすと判定した場合にはステップＳ１００４に遷移し（Ｙの場合）、ルールｋを満たさないと判定した場合にはステップＳ１００５に遷移する（Ｎの場合）。

次に、ステップＳ１００４において、判定部１０３は、ルールｋを満たすので、基準バーコード２０３に関する判定結果を「正常」としてフレーム番号と共に、基準バーコード２０３の識別情報をバッファに格納し、ステップＳ１００６に遷移する。

次に、ステップＳ１００５において、判定部１０３は、ルールｋを満たさないので、基準バーコード２０３に関する判定結果を「異常」としてフレーム番号と共に、基準バーコード２０３の識別情報をバッファに格納し、ステップＳ１００６に遷移する。

次に、ステップＳ１００６において、判定部１０３は、ｋはルールインデックスの上限値Ｋか否かを判定する。判定部１０３は、上限値Ｋでない場合にはステップＳ１００７に遷移し（Ｎの場合）、上限値Ｋである場合には（Ｙの場合）、全てのルールの判定が終わったものとして処理を終了する。

次に、ステップＳ１００７において、判定部１０３は、ルールインデックスｋに１を加えて、ステップＳ１００２に戻る。

以上の処理により、判定部１０３は、入力された１枚のフレームに対しバーコード２０３の認識を行った結果について、ルールを満足する場合は「正常」が、満足しない場合は「異常」がフレーム番号と共に、基準バーコード２０３の識別情報をバッファに格納する。

なお、あるルールに関するバーコード２０３が認識されなかった場合には、当該のバッファの内容は更新されない。

次に、ステップＳ１００３の処理内容について具体的に説明する。

判定部１０３に入力されるバーコード２０３の認識情報は、図９に示すようなバーコード２０３の識別情報と画像座標値が対になったものである。この画像座標値は画像座標系で示される。本実施形態では、画像座標系のまま処理を行う。

判定部１０３は、現在のフレームで検出している００１の基準バーコード２０３に対する００２の目標バーコード２０３の検出した方向ベクトルと、ルール「１」に格納された方向ベクトルの成す角が閾値以内であればルール１が満たされたと判定する。

以上の処理を各ルールについて適用していく。

本実施形態により、物品の配列が正しいか否かをチェックすることができ、バーコード２０３の見逃しが発生しやすい環境でも正誤判定ができる。

また、物品の配列の正誤判定結果を重畳表示することで目視での対応づけができ、作業性が向上する。

変更例

上記実施形態では、情報提示装置として携帯型端末で説明したが、これに限らず次世代のパーソナルコンピュータや携帯型情報端末へ搭載し、工業プラントや流通設備へに適用してもよい。

また、上記実施形態では、識別情報として１次元バーコードと２次元バーコードを用いたが、これに限らず、例えば、色、文字、数字で示してもよい。

また、上記実施形態では、取得した画像は動画像であって、フレーム毎に判定を行い、後から全てのケーブルについて結線状態の判定結果がでるように各フレームの結果を統合したが、これに代えて取得した画像が静止画像であって、この静止画像に写っているケーブルのみ結線状態を判定してもよい。

また、上記実施形態における位置関係は、相対位置又は方向ベクトルであったが、相対方向を用いてもよい。

なお、この情報提示装置１は、例えば、汎用のコンピュータを基本ハードウェアとして用いることでも実現することが可能である。すなわち、撮像部１００、画像取得部１０１、認識部１０２、判定部１０３、統合部１０４、重畳部１０５、提示部１０６、格納部１０７は、上記のコンピュータに搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、情報提示装置１は、上記のプログラムをコンピュータに予めインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、又はネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータに適宜インストールすることで実現してもよい。例えば、情報提示装置１が、スマートフォンであって、このスマートフォンに上記プログラムを配信してもよい。

上記では本発明の一実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の主旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１、２・・・情報提示装置、１０１・・・画像取得部、１０２・・・認識部、１０３・・・判定部、１０４・・・統合部、１０５・・・重畳部、１０６・・・提示部、１０７・・・格納部、２０１・・・端子台、２０２ａ〜ｄ・・・ケーブル、２０３ａ〜ｄ・・・バーコード、２０４ａ〜ｃ・・・バーコード、２０５ａ〜ｃ・・・結線端子

Claims

一列に並ぶように配列された複数の第１の対象物が撮影された画像を取得する画像取得部と、
（１）前記複数の第１の対象物の各識別番号と、（２）前記複数の第１の対象物の中の一つの前記第１の対象物と並んで配列される他の前記第１の対象物の前記識別情報と、前記一つの第１の対象物と前記他の第１の対象物との相対位置、相対方向、又は、方向ベクトルを含む位置関係とを表す第１のルールを、前記第１の対象物毎に予め格納する格納部と、
前記配列が正しいか否かの判定対象となる前記第１の対象物である基準対象物の前記識別情報と位置、前記基準対象物と同じ列に並んで配列される前記第１の対象物である目標対象物の前記識別情報と位置とを前記画像から認識する認識部と、
前記基準対象物の前記識別情報と前記目標対象物の前記識別情報とが、前記第１のルールにおける前記位置関係を満たすか否かを判定する判定部と、
前記基準対象物が前記第１のルールを満たすことを表すか、又は、前記基準対象物が前記第１のルールを満たさないことを表す判定画像を生成し、前記判定画像を前記画像中の前記基準対象物の位置に重畳して提示用画像を生成する重畳部と、
前記提示用画像を提示する提示部と、
を有することを特徴とする情報提示装置。
前記画像取得部が取得する前記画像が動画像であり、
前記判定部は、前記動画像のフレーム毎に前記判定を行い、
前記フレーム毎の前記判定を一つの判定に統合する統合部をさらに有する、
ことを特徴とする請求項１に記載の情報提示装置。
前記画像取得部が取得した画像には、前記第１の対象物の位置を特定する第２の対象物が撮像され、
前記認識部は、前記画像から前記第２の対象物の識別情報と位置を含む認識情報も認識し、
前記格納部は、前記第２の対象物の識別情報と、前記第１のルールの前記位置関係を前記第２の対象物の前記位置に基づいて特定するための第２のルールも格納し、
前記判定部は、前記第２の対象物の前記認識情報における前記位置、前記基準対象物の前記認識情報における前記位置、前記目標対象物の前記認識情報における前記位置が、前記第２のルールに基づいて特定された前記第１のルールの前記位置関係を用いて、前記基準対象物が前記位置関係を満たすか否かを判定する、
ことを特徴とする請求項１又は２に記載の情報提示装置。
前記第１の対象物が、ケーブルである、
ことを特徴とする請求項１乃至３のいずれか一項に記載の情報提示装置。
前記第２の対象物が、前記ケーブルが接続される端子台である、
ことを特徴とする請求項４に記載の情報提示装置。
画像取得部が、一列に並ぶように配列された複数の第１の対象物が撮影された画像を取得する画像取得ステップと、
格納部が、（１）前記複数の第１の対象物の各識別番号と、（２）前記複数の第１の対象物の中の一つの前記第１の対象物と並んで配列される他の前記第１の対象物の前記識別情報と、前記一つの第１の対象物と前記他の第１の対象物との相対位置、相対方向、又は、方向ベクトルを含む位置関係とを表す第１のルールを、前記第１の対象物毎に予め格納する格納ステップと、
認識部が、前記配列が正しいか否かの判定対象となる前記第１の対象物である基準対象物の前記識別情報と位置、前記基準対象物と同じ列に並んで配列される前記第１の対象物である目標対象物の前記識別情報と位置とを前記画像から認識する認識部と、
判定部が、前記基準対象物の前記識別情報と前記目標対象物の前記識別情報とが、前記第１のルールにおける前記位置関係を満たすか否かを判定する判定ステップと、
重畳部が、前記基準対象物が前記第１のルールを満たすことを表すか、又は、前記基準対象物が前記第１のルールを満たさないことを表す判定画像を生成し、前記判定画像を前記画像中の前記基準対象物の位置に重畳して提示用画像を生成する重畳ステップと、
提示部が、前記提示用画像を提示する提示ステップと、
を有することを特徴とする情報提示方法。
一列に並ぶように配列された複数の第１の対象物が撮影された画像を取得する画像取得機能と、
前記画像から前記各第１の対象物の識別情報と前記画像中の位置を認識する第１の認識機能と、
（１）前記複数の第１の対象物の各識別番号と、（２）前記複数の第１の対象物の中の一つの前記第１の対象物と並んで配列される他の前記第１の対象物の前記識別情報と、前記一つの第１の対象物と前記他の第１の対象物との相対位置、相対方向、又は、方向ベクトルを含む位置関係とを表す第１のルールを、前記第１の対象物毎に予め格納する格納機能と、
前記配列が正しいか否かの判定対象となる前記第１の対象物である基準対象物の前記識別情報と位置、前記基準対象物と同じ列に並んで配列される前記第１の対象物である目標対象物の前記識別情報と位置とを前記画像から認識する認識機能と、
認識した前記基準対象物の前記識別情報と前記目標対象物の前記識別情報とが、前記第１のルールにおける前記位置関係を満たすか否かを判定する判定機能と、
前記基準対象物が前記第１のルールを満たすことを表すか、又は、前記基準対象物が前記第１のルールを満たさないことを表す判定画像を生成し、前記判定画像を前記画像中の前記基準対象物の位置に重畳して提示用画像を生成する重畳機能と、
前記提示用画像を提示する提示機能と、
をコンピュータに実現させるための情報提示プログラム。