JP7131637B2 - 物体とｎ次元シンボルとを関連付けるシステム - Google Patents

Description

本発明は、物体とｎ次元シンボルとを関連付けるシステム、その方法、および記録媒体に関する。

出所表示や品質管理、流通管理のために、部品や製品などの物体とその物体に関する情報を表示するｎ次元シンボルとを関連付けることが行われている。特に、ｎ次元シンボルの一種であるＱＲコード（登録商標）は、一次元バーコードに比較して格納できるデータ量が多いことや、カメラで撮像した画像を処理することにより手軽に読み取りが行えるなどの多くのメリットがあるため、近年盛んに利用されている。

例えば特許文献１には、対象となる物体にその物体に関する情報を表示するｎ次元シンボルを貼付しておき、物体を撮像した画像からｎ次元シンボルと梨地紋様とを抽出し、抽出したｎ次元シンボルから当該物体に関する情報を取得し、抽出した梨地紋様から物体の個体を識別する技術が記載されている。

他方、部品や製品の個体を識別する他の技術として、対象となる物体にラメ入りペンなどの市販のインクペンで点（ドット）を描き、肉眼では確認が難しいインク内部の微細な紋様を画像認識し、個々の点を個別に識別する技術がある（例えば特許文献２、３参照）。

再特ＷＯ２０１４／１６３０１５号公報 ＷＯ／２０１７／００２４７５ ＷＯ／２０１８／１５０５１９

しかしながら、対象となる物体を撮像した画像からｎ次元シンボルを抽出し、この抽出したｎ次元シンボルから当該物体に関する情報を取得する特許文献１に記載する技術では、ｎ次元シンボルが物体に貼付されていなければならない。そのため、ｎ次元シンボルを貼付するスペースがない等の理由のためにｎ次元シンボルを貼付できない物体では、物体とｎ次元シンボルとを関連付けることができなかった。また、特許文献１に記載する梨地紋様の代わりに、特許文献２あるいは特許文献３に記載するインクペンで描いた点を使用するようにしても、同様の課題があった。

本発明の目的は、上述した課題、すなわち、ｎ次元シンボルを貼付できない物体では、物体とｎ次元シンボルとを関連付けることができない、という課題を解決する物体とｎ次元シンボルとを関連付けるシステムを提供することにある。

本発明の一形態に係る物体とｎ次元シンボルとを関連付けるシステムは、
ｎ次元シンボルの画像を取得する取得手段と、
物体の表面のランダムな紋様を撮像する第１の撮像手段と、
前記ｎ次元シンボルの画像と前記第１の撮像手段で撮像した前記紋様の画像である第１の画像とを関連付けて記憶する記憶手段と、
物体の表面のランダムな紋様を撮像する第２の撮像手段と、
前記第２の撮像手段で撮像した画像と前記記憶手段に記憶されている前記第１の画像とを照合する照合手段と、
前記照合の結果に基づき、前記記憶手段に記憶されている前記第１の画像に関連付けられた前記ｎ次元シンボルの画像を表示する表示手段と、
を備える。

また本発明の他の形態に係る物体とｎ次元シンボルとを関連付ける方法は、
ｎ次元シンボルの画像を取得し、
物体の表面に設けられたランダムな紋様を撮影した画像を取得し、
前記ｎ次元シンボルの画像と前記紋様の画像である第１の画像とを関連付けて登録し、
物体の表面に設けられたランダムな紋様を撮影した画像を第２の画像として取得し、
取得した前記第２の画像と前記登録した前記第１の画像とを照合し、
前記取得した前記第２の画像と合致した前記第１の画像に関連付けて前記登録されている前記ｎ次元シンボルの画像を表示手段に表示する。

また本発明の他の形態に係るコンピュータ読み取り可能な記録媒体は、
ｎ次元シンボルの画像を取得する処理と、
物体の表面に設けられたランダムな紋様を撮影した画像を取得する処理と、
前記ｎ次元シンボルの画像と前記紋様の画像である第１の画像とを関連付けて登録する処理と、
物体の表面に設けられたランダムな紋様を撮影した画像を第２の画像として取得する処理と、
取得した前記第２の画像と前記登録した前記第１の画像とを照合する処理と、
前記取得した前記第２の画像と合致した前記第１の画像に関連付けて前記登録されている前記ｎ次元シンボルの画像を表示手段に表示する処理と、
を、コンピュータに行わせるためのプログラムを記録する。

本発明は上述した構成を有することにより、ｎ次元シンボルを貼付できない物体であっても、物体とｎ次元シンボルとを関連付けることができる。

本発明の第１の実施形態に係るシステムのブロック図である。 本発明の第１の実施形態に係るガジェットを斜め上方から見た外観斜視図である。 本発明の第１の実施形態に係るガジェットを上下反転させて斜め上方から見た外観斜視図である。 本発明の第１の実施形態に係るガジェットのブロック図である。 本発明の第１の実施形態に係るサーバのブロック図である。 本発明の第１の実施形態に係るサーバのデータベースの内容例を示す図である。 本発明の第１の実施形態に係るガジェットの動作の一例を示すフローチャートである。 本発明の第１の実施形態に係るサーバの動作の一例を示すフローチャートである。 本発明の第１の実施形態に係るシステムの登録モードの動作の概要を示す図である。 本発明の第１の実施形態に係るシステムの照合モードの動作の概要を示す図である。 本発明の第２の実施形態に係るガジェットのブロック図である。 本発明の第２の実施形態に係るガジェットの動作の一例を示すフローチャートである。 本発明の第２の実施形態に係るガジェットの登録モードの動作の概要を示す図である。 本発明の第２の実施形態に係るガジェットの照合モードの動作の概要を示す図である。 本発明の第３の実施形態のブロック図である。 本発明の第４の実施形態に係るガジェットの外観斜視図である。

次に、本発明の実施の形態について図面を参照して詳細に説明する。

［第１の実施の形態］
図１は、本発明の第１の実施形態に係るシステムのブロック図である。図１に示すシステム１は、物体とｎ次元シンボルとを関連付けるシステムである。本実施形態では、ｎ次元シンボルとしてＱＲコードを例に挙げて説明する。但し、本発明はＱＲコードに限定されず、ｎ次元シンボル（ｎは１以上の正の整数）であれば如何なるものであっても適用可能である。

図１を参照すると、システム１は、ガジェット２とサーバ３とを含んで構成されている。また、ガジェット２とサーバ３とは、インターネットなどのネットワーク４を通じて相互に通信可能に接続されている。

ガジェット２は、物体とＱＲコードとを関連付けるために人が使用する携帯型の端末である。図２Ａは、ガジェット２を斜め上方から見た外観斜視図である。また図２Ｂは、ガジェット２を上下反転させて斜め上方から見た外観斜視図である。図２Ａおよび図２Ｂを参照すると、ガジェット２は、ハウジング２０と、ハウジング２０内に組み込まれた表示装置２１、カメラ２２、２３、登録ボタン２４－１、照合ボタン２４－２、ＯＫボタン２４－３とを含んで構成されている。

カメラ２２は、ＱＲコードの撮像に適した画像解像度を有する撮像手段（第１の撮像手段）である。またカメラ２３は、コンマ数ミリメートル以下のラメなどの微粒子によって形成されるランダムな紋様の撮像に適した画像解像度を有する撮像手段（第２の撮像手段）である。カメラ２２はガジェット２の互いに対向する一対の端部の一方に配置され、カメラ２３は他方の端部に配置されている。但し、カメラ２２、２３の配置は上記に限定されず、ハウジング２０の何れの面に配置されていてもよい。

表示装置２１は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）やＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）などの画面表示装置からなり、カメラ２２、２３で撮像されている画像および操作メニューなどの各種情報を画面表示するように構成されている。

登録ボタン２４－１は、ガジェット２の処理モードを登録モードに切り替えて起動するための制御ボタンである。照合ボタン２４－２は、ガジェット２の処理モードを照合モードに切り替えて起動するための制御ボタンである。ＯＫボタン２４－３は、確認のための制御ボタンである。

図３はガジェット２のブロック図である。図３を参照すると、ガジェット２は、表示装置２１、カメラ２２、２３、操作入力装置２４、通信Ｉ／Ｆ（インターフェース）装置２５、記憶装置２６、および演算処理装置２７から構成されている。ガジェット２内に収納された上記の各要素に電力を供給する電源および電源スイッチなどは図示を省略している。

表示装置２１、カメラ２２、２３は、図１に示したものと同じである。操作入力装置２４は、図１に示したボタン２４－１～２４－３からなり、オペレータの操作を検出して演算処理装置２７に出力するように構成されている。通信Ｉ／Ｆ装置２５は、専用のデータ通信回路からなり、有線または無線の通信回線を介して接続されたサーバ３などの各種装置との間でデータ通信を行うように構成されている。

記憶装置２６は、ハードディスクやメモリなどの記憶装置からなり、演算処理装置２７における各種処理に必要な処理情報およびプログラム２６Ａを記憶するように構成されている。プログラム２６Ａは、演算処理装置２７に読み込まれて実行されることにより各種処理部を実現するプログラムであり、通信Ｉ／Ｆ装置２５などのデータ入出力機能を介して外部装置（図示せず）や記憶媒体（図示せず）から予め読み込まれて記憶装置２６に保存される。

演算処理装置２７は、ＣＰＵなどのマイクロプロセッサとその周辺回路を有し、記憶装置２６からプログラム２６Ａを読み込んで実行することにより、上記ハードウェアとプログラム２６Ａとを協働させて各種処理部を実現するように構成されている。演算処理装置２７で実現される主な処理部として、登録部２７Ａと照合部２７Ｂとがある。登録部２７Ａおよび照合部２７Ｂは、端末側処理手段とも呼ぶ。

登録部２７Ａは、カメラ２２を使用してＱＲコードを撮像するように構成されている。また登録部２７Ａは、カメラ２２で撮像した画像からＱＲコードの画像を抽出するように構成されている。また登録部２７Ａは、カメラ２３を使用して物体上に記載されたランダムな紋様を有する点を撮像するように構成されている。また登録部２７Ａは、カメラ２３で撮像した画像から、ランダムな紋様を有する点の画像を抽出するように構成されている。また登録部２７Ａは、上記抽出したＱＲコードの画像と点の画像とを含む登録要求をサーバ３に送信するように構成されている。

照合部２７Ｂは、カメラ２３を使用して物体上に記載されたランダムな紋様を有する点を撮像するように構成されている。また照合部２７Ｂは、カメラ２３で撮像した画像から、ランダムな紋様を有する点の画像を抽出するように構成されている。また照合部２７Ｂは、上記抽出した点の画像を含む照合要求をサーバ３に送信するように構成されている。また照合部２７Ｂは、上記照合要求に対する応答である照合結果をサーバ３から受信すると、照合結果に含まれるＱＲコードの画像を表示装置２１に表示するように構成されている。

図４はサーバ３のブロック図である。図４を参照すると、サーバ３は、通信Ｉ／Ｆ装置３１、操作入力装置３２、表示装置３３、記憶装置３４、および演算処理装置３５を含んで構成されている。

通信Ｉ／Ｆ装置３１は、専用のデータ通信回路からなり、有線または無線の通信回線を介して接続されたガジェット２などの各種装置との間でデータ通信を行うように構成されている。操作入力装置３２は、キーボードやマウスなどの操作入力装置からなり、オペレータの操作を検出して演算処理装置３５に出力するように構成されている。表示装置３３は、ＬＣＤやＰＤＰなどの画面表示装置からなり、演算処理装置３５からの指示に応じて、操作メニューなどの各種情報を画面表示するように構成されている。

記憶装置３４は、ハードディスクやメモリなどの記憶装置からなり、演算処理装置３５における各種処理に必要な処理情報およびプログラム３４Ａを記憶するように構成されている。記憶装置３４は、クラウドコンピューティングサービスで利用可能なクラウド記憶装置であってよい。プログラム３４Ａは、演算処理装置３５に読み込まれて実行されることにより各種処理部を実現するプログラムであり、通信Ｉ／Ｆ装置３１などのデータ入出力機能を介して外部装置（図示せず）や記憶媒体（図示せず）から予め読み込まれて記憶装置３４に保存される。記憶装置３４に記憶される主な処理情報としてデータベース３４Ｂがある。

データベース３４Ｂは、ＱＲコードの画像とランダムな紋様を有する点の画像とを関連付けて記憶するように構成されている。図５は、データベース３４Ｂに記憶されている情報の例を示す。図５を参照すると、データベース３４Ｂは、複数のエントリを有し、各エントリにＱＲコードの画像とランダムな紋様を有する点の画像とを対応付けて記憶している。例えば、１行目のエントリには、ＱＲコードの画像ＡＡＡと点の画像ａａａとの組が記憶されている。

演算処理装置３５は、ＣＰＵなどのマイクロプロセッサとその周辺回路を有し、記憶装置３４からプログラム３４Ａを読み込んで実行することにより、上記ハードウェアとプログラム３４Ａとを協働させて各種処理部を実現するように構成されている。演算処理装置３５で実現される主な処理部として、登録部３５Ａと照合部３５Ｂとがある。登録部３５Ａおよび照合部３５Ｂは、サーバ側処理手段とも呼ぶ。

登録部３５Ａは、ガジェット２から受信した登録要求に含まれるＱＲコードの画像と点の画像とを関連付けてデータベース３４Ｂに登録するように構成されている。

照合部３５Ｂは、ガジェット２から受信した照合要求に含まれる点の画像とデータベース３４Ｂに記憶されている点の画像とを照合するように構成されている。また照合部３５Ｂは、照合一致した点の画像に関連付けてデータベース３４Ｂに記憶されているＱＲコードの画像を含む照合結果をガジェット２へ送信するように構成されている。

次に、本実施形態に係るシステム１の動作を説明する。システム１の動作は、登録動作と照合動作とに大別される。登録動作は、物体に関連付けるＱＲコードの画像とオペレータがインクペンを使用して上記物体に記載した点の画像とをガジェット２のカメラ２２、２３で撮像し、それらの画像を対応付けてサーバ３のデータベース３４Ｂに登録する動作である。照合動作は、物体に記載されたインクペンによる点の画像をガジェット２のカメラ２３で撮像し、その点の画像に関連するＱＲコードの画像をサーバ３のデータベース３４Ｂから取得してガジェット２の表示装置２１に表示する動作である。

図６はガジェット２で行われる動作の一例を示すフローチャートである。また図７はサーバ３で行われる動作の一例を示すフローチャートである。以下、図６および図７を参照して、本実施形態に係るシステム１の登録動作および照合動作を説明する。

最初に登録動作を説明する。オペレータが、ガジェット２の登録ボタン２４－１を押下すると（ステップＳ１０１でＹＥＳ）、登録部２７Ａにより以下のような処理が開始される。

先ず、登録部２７Ａは、インクペンを使用してＱＲコードに関連付ける物体に点を記載するよう促すメッセージを表示装置２１に表示し（ステップＳ１０２）、ＯＫボタン２４－３が押下されるのを待ち合わせる（ステップＳ１０３）。ガジェット２には、市販のラメ入りペンなどの所定のインクペンが付属している。オペレータは、図８に示すように、物体５の表面にインクペン６を使用して点（ドット）７を記載する。

次に、オペレータがＯＫボタン２４－３を押下すると、登録部２７Ａは、カメラ２２を起動し、カメラ２２で撮像されている画像を表示装置２１にモニタ表示するとともに撮像画像中からＱＲコードの画像を抽出する（ステップＳ１０４）。物体５に関連付けるＱＲコードは、例えば図８に示すように、パソコン８の画面に表示しているＱＲコード９を使用することができる。このようなＱＲコード９は、テキストなどをＱＲコードに変換するソフトウェアを使用することでパソコン８において容易に作成することが可能である。図８に示すように、オペレータがガジェット２のカメラ２２のカメラ視野をパソコン８の画面に向けると、パソコン画面に表示されているＱＲコード９がカメラ２２で撮像され、その撮像画像からパターンマッチングによってＱＲコード９の画像が抽出される。

登録部２７Ａは、ＱＲコードの画像を抽出し終えると、カメラ２２を停止すると共にカメラ２３を起動し、カメラ２３で撮像されている画像を表示装置２１にモニタ表示するとともに撮像画像中からインクペンによって記載されたドットの画像を抽出する（ステップＳ１０５）。図８に示すように、オペレータがガジェット２のカメラ２３のカメラ視野を物体５の表面に記載した点７に向けると、点７がカメラ２２で撮像され、その撮像画像からパターンマッチングによって点７の画像が抽出される。

登録部２７Ａは、点の画像の抽出を終えると、カメラ２３を停止し、図８に示すように、抽出したＱＲコードの画像と点の画像とを含む登録要求を通信Ｉ／Ｆ装置２５を通じてサーバ３へ送信する（ステップＳ１０６）。この後、ガジェット２の処理はステップＳ１０１へと戻る。

サーバ３は、ガジェット２から登録要求を受信すると（ステップＳ１２１でＹＥＳ）、登録部３５Ａにより以下のような処理が開始される。即ち、登録部３５Ａは、図８に示すように、登録要求に含まれるＱＲコードの画像と点の画像とを関連付けてデータベース３４Ｂに登録する（ステップＳ１２２）。

このように、登録モードでは、ＱＲコード９の画像と物体５の表面にインクペン６により記載した点７の画像とが関連付けてデータベース３４Ｂに登録される。

次に照合動作を説明する。オペレータが、ガジェット２の照合ボタン２４－２を押下すると（ステップＳ１０７でＹＥＳ）、照合部２７Ｂにより以下のような処理が開始される。

先ず、照合部２７Ｂは、カメラ２３を起動し、カメラ２３で撮像されている画像を表示装置２１にモニタ表示するとともに撮像画像中からインクペンによって記載された点の画像を抽出する（ステップＳ１０８）。図９に示すように、オペレータがガジェット２のカメラ２３のカメラ視野を物体５の表面に記載した点７に向けると、点７がカメラ２３で撮像され、その撮像画像からパターンマッチングによって点７の画像が抽出される。

照合部２７Ｂは、点７の画像の抽出を終えると、カメラ２３を停止し、図９に示すように、抽出した点７の画像を含む照合要求を通信Ｉ／Ｆ装置２５を通じてサーバ３へ送信する（ステップＳ１０９）。

サーバ３は、ガジェット２から照合要求を受信すると（ステップＳ１２３でＹＥＳ）、照合部３５Ｂにより以下のような処理が開始される。

先ず、照合部３５Ｂは、図９に示すように、照合要求に含まれる点７の画像とデータベース３４Ｂに記憶されている全ての点の画像とを照合する（ステップＳ１２４）。次に、照合部３５Ｂは、照合一致した点の画像に対応して記憶されているＱＲコード９の画像をデータベース３４Ｂから取り出し、図９に示すように、そのＱＲコード９の画像を含む照合結果を通信Ｉ／Ｆ装置３１を通じてガジェット２へ送信する（ステップＳ１２５）。なお、照合部３５Ｂは、照合一致した点の画像が存在しない場合、照合不一致を示す照合結果をガジェット２へ送信する。

ガジェット２の照合部２７Ｂは、通信Ｉ／Ｆ装置２５を通じて照合結果をサーバ３から受信する（ステップＳ１１０）。次に照合部２７Ｂは、図９に示すように、照合結果に含まれるＱＲコード９の画像を表示装置２１に表示する（ステップＳ１１１）。なお、照合部２７Ｂは、照合不一致を示す照合結果をサーバ３から受信したときは、例えば、該当するＱＲコードが存在しない旨のメッセージを表示装置２１に表示する。

このように、照合モードでは、物体５上の点７がＱＲコード９に変換されてガジェット２の表示装置２１に表示される。表示装置２１に表示されたＱＲコード９で表示された情報は、スマフォなどＱＲコードを読み取る機能を有する既存のツールで簡単に読み取ることができる。

以上説明したように、本実施形態によれば、ＱＲコード９を貼付できない物体５であっても、物体５とＱＲコード９とを関連付けることができる。その理由は、登録モードにより、ＱＲコード９の画像と物体５の表面にインクペン６により記載した点７の画像とを関連付けてデータベース３４Ｂに登録し、照合モードにより、物体５上の点７をＱＲコード９に変換して表示装置２１に表示するためである。

また本実施形態によれば、物体５上の点７の安定した紋様を撮像することができるため、物体５とＱＲコード９とを精度良く関連付けることができる。即ち、インクペン６を使用して物体５にインクによる点７を付与した直後は、点７のインクが充分に乾燥していないため、ラメ等の微小粒子による紋様が安定していない。そのような不安定な状態の点７の画像を登録モード時にデータベースに登録すると、安定した紋様の点７の画像が入力される照合モード時の同一の点の画像との間で照合不一致となり、点７の画像を通じて物体５とＱＲコード９とを関連付けることが困難になる。これに対して本実施形態では、ガジェット２の登録部２７Ａは、物体５にインクペン６を使用して点７を記載するよう促すメッセージを表示装置２１に表示し（ステップＳ１０２）、その後、カメラ２２を使用してＱＲコード９を撮像し（ステップＳ１０４）、その後に、カメラ２３を使用して点７を撮像する。その結果、オペレータが表示装置２１に表示された上記促進メッセージに従ってインクペン６を使用して物体５に点７を記載した時刻から、カメラ２３によって点７を撮像する時刻までに、カメラ２２を使用してＱＲコード９を撮像する処理が介在するため、点７のインクが充分に乾燥していないときに点７が撮像されるのを防止することができる。なお、インクが充分に乾燥してから点７を撮像することの重要性を認識しているオペレータを対象とする場合、上述したような対策は不要である。その場合、ステップＳ１０５をステップＳ１０４の前に移動させてもよい。

また、本実施形態によれば、ＱＲコード９の画像と点７の画像とを関連付けて記憶するデータベース３４Ｂを複数のガジェット２で共有することができる。

［第２の実施の形態］
次に、ガジェット単体で物体とｎ次元シンボルとを関連付けることができるようにした第２の実施形態について、図面を参照して説明する。

図１０は本実施形態に係るガジェットのブロック図である。図１０を参照すると、ガジェット１００は、表示装置１０１、カメラ１０２、１０３、操作入力装置１０４、通信Ｉ／Ｆ装置１０５、記憶装置１０６、および演算処理装置１０７から構成されている。

表示装置１０１、カメラ１０２、１０３、操作入力装置１０４、および通信Ｉ／Ｆ装置１０５は、図３に示した表示装置２１、カメラ２２、２３、操作入力装置２４、および通信Ｉ／Ｆ装置２５と同様の機能を有している。

記憶装置１０６は、ハードディスクやメモリなどの記憶装置からなり、演算処理装置１０７における各種処理に必要な処理情報およびプログラム１０６Ａを記憶するように構成されている。プログラム１０６Ａは、演算処理装置１０７に読み込まれて実行されることにより各種処理部を実現するプログラムであり、通信Ｉ／Ｆ装置１０５などのデータ入出力機能を介して外部装置（図示せず）や記憶媒体（図示せず）から予め読み込まれて記憶装置１０６に保存される。記憶装置１０６に記憶される主な処理情報としてデータベース１０６Ｂがある。

データベース１０６Ｂは、図４のデータベース３４Ｂと同様に、ＱＲコードの画像とランダムな紋様を有する点の画像とを関連付けて記憶するように構成されている。

演算処理装置１０７は、ＣＰＵなどのマイクロプロセッサとその周辺回路を有し、記憶装置１０６からプログラム１０６Ａを読み込んで実行することにより、上記ハードウェアとプログラム１０６Ａとを協働させて各種処理部を実現するように構成されている。演算処理装置１０７で実現される主な処理部として、登録部１０７Ａと照合部１０７Ｂとがある。

登録部１０７Ａは、カメラ１０２を使用してＱＲコードを撮像するように構成されている。また登録部１０７Ａは、カメラ１０２で撮像した画像からＱＲコードの画像を抽出するように構成されている。また登録部１０７Ａは、カメラ１０３を使用して物体上のランダムな紋様を有する点を撮像するように構成されている。また登録部１０７Ａは、カメラ１０３で撮像した画像から、ランダムな紋様を有する点の画像を抽出するように構成されている。また登録部１０７Ａは、上記抽出したＱＲコードの画像と点の画像とを対応付けてデータベース１０６Ｂに登録するように構成されている。

照合部１０７Ｂは、カメラ１０３を使用して物体上のランダムな紋様を有する点を撮像するように構成されている。また照合部２７Ｂは、カメラ１０３で撮像した画像から、ランダムな紋様を有する点の画像を抽出するように構成されている。また照合部２７Ｂは、上記抽出した点の画像とデータベース１０６Ｂに記憶されている点の画像とを照合するように構成されている。また照合部１０７Ｂは、照合一致した点の画像に関連付けてデータベース１０６Ｂに記憶されているＱＲコードの画像を表示装置１０１に表示するように構成されている。

ガジェット１００は、図２Ａおよび図２Ｂに示したガジェット２と同様の外観を有している。またガジェット１００は、ガジェット２と同様な登録ボタン２４－１、照合ボタン２４－２、ＯＫボタン２４－３を有している。

次に、本実施形態に係るガジェット１００の動作を説明する。ガジェット１００の動作は、登録動作と照合動作とに大別される。登録動作は、物体に関連付けるＱＲコードの画像とオペレータがインクペンを使用して上記物体に記載した点の画像とをガジェット１００のカメラ１０２、１０３で撮像し、それらの画像を対応付けてデータベース１０６Ｂに登録する動作である。照合動作は、物体に記載されたインクペンによる点の画像をガジェット１００のカメラ１０３で撮像し、その点の画像に関連するＱＲコードの画像をデータベース１０６Ｂから取得して表示装置１０１に表示する動作である。

図１１はガジェット１００で行われる動作の一例を示すフローチャートである。以下、図１１を参照して、本実施形態に係るガジェット１００の登録動作および照合動作を説明する。

最初に登録動作を説明する。オペレータが、ガジェット１００の登録ボタン２４－１を押下すると（ステップＳ２０１でＹＥＳ）、登録部１０７Ａにより以下のような処理が開始される。

先ず、登録部１０７Ａは、インクペンを使用してＱＲコードに関連付ける物体に点を記載するよう促すメッセージを表示装置１０１に表示し（ステップＳ２０２）、ＯＫボタン２４－３が押下されるのを待ち合わせる（ステップＳ２０３）。ガジェット１００には、市販のラメ入りペンなどの所定のインクペンが付属している。オペレータは、図１２に示すように、物体５の表面にインクペン６を使用して点（ドット）７を記載する。

次に、オペレータがＯＫボタン２４－３を押下すると、登録部１０７Ａは、カメラ１０２を起動し、カメラ１０２で撮像されている画像を表示装置１０１にモニタ表示するとともに撮像画像中からＱＲコードの画像を抽出する（ステップＳ２０４）。物体５に関連付けるＱＲコードは、例えば図１２に示すように、パソコン８の画面に表示しているＱＲコード９を使用することができる。図１２に示すように、オペレータがガジェット１００のカメラ１０２のカメラ視野をパソコン８の画面に向けると、パソコン画面に表示されているＱＲコード９がカメラ１０２で撮像され、その撮像画像からパターンマッチングによってＱＲコード９の画像が抽出される。

登録部１０７Ａは、ＱＲコードを抽出し終えると、カメラ１０２を停止すると共にカメラ１０３を起動し、カメラ１０３で撮像されている画像を表示装置１０１にモニタ表示するとともに撮像画像中からインクペンによって記載されたドットの画像を抽出する（ステップＳ２０５）。図１２に示すように、オペレータがガジェット１００のカメラ１０３のカメラ視野を物体５の表面に記載した点７に向けると、点７がカメラ１０３で撮像され、その撮像画像からパターンマッチングによって点７の画像が抽出される。

登録部１０７Ａは、点の画像の抽出を終えると、カメラ２３を停止し、図１２に示すように、抽出したＱＲコードの画像と点の画像とを関連付けてデータベース１０６Ｂに登録する（ステップＳ２０６）。

このように、登録モードでは、ＱＲコード９の画像と物体５の表面にインクペン６により記載した点７の画像とが関連付けてデータベース１０６Ｂに登録される。

次に照合動作を説明する。オペレータが、ガジェット１００の照合ボタン２４－２を押下すると（ステップＳ２０７でＹＥＳ）、照合部１０７Ｂにより以下のような処理が開始される。

先ず、照合部１０７Ｂは、カメラ１０３を起動し、カメラ１０３で撮像されている画像を表示装置１０１にモニタ表示するとともに撮像画像中からインクペンによって記載された点の画像を抽出する（ステップＳ２０８）。図１３に示すように、オペレータがガジェット１００のカメラ１０３のカメラ視野を物体５の表面に記載した点７に向けると、点７がカメラ１０３で撮像され、その撮像画像からパターンマッチングによって点７の画像が抽出される。

照合部１０７Ｂは、点７の画像の抽出を終えると、カメラ１０３を停止し、図１３に示すように、抽出した点７の画像とデータベース１０６Ｂに記憶されている全ての点の画像とを照合する（ステップＳ２０９）。次に、照合部１０７Ｂは、照合一致した点の画像に対応して記憶されているＱＲコード９の画像をデータベース１０６Ｂから取り出し、図１３に示すように、そのＱＲコード９の画像を表示装置２１に表示する（ステップＳ２１０）。なお、照合部１０７Ｂは、照合一致した点の画像がデータベース１０６Ｂに存在しないときは、例えば、該当するＱＲコードが存在しない旨のメッセージを表示装置１０１に表示する。

このように、照合モードでは、物体５上の点７がＱＲコード９に変換されてガジェット１００の表示装置１０１に表示される。

以上説明したように、本実施形態によれば、ＱＲコード９を貼付できない物体５であっても、物体５とＱＲコード９とを関連付けることができる。その理由は、登録モードにより、ＱＲコード９の画像と物体５の表面にインクペン６により記載した点７の画像とを関連付けてデータベース１０６Ｂに登録し、照合モードにより、物体５上の点７をＱＲコード９に変換して表示装置１０１に表示するためである。

また本実施形態によれば、第１の実施形態と同様の理由により物体５とＱＲコード９とを精度良く関連付けることができる。

また本実施形態によれば、ガジェット１００単体で物体５とＱＲコード９とを関連付けることができる。

［第３の実施の形態］
次に本発明の第３の実施形態について図面を参照して詳細に説明する。図１４は、本実施形態に係るシステムのブロック図である。図１４を参照すると、システム２００は、物体とｎ次元シンボルとを関連付けるシステムである。そのためにシステム２００は、取得手段２０１、第１の撮像手段２０２、記憶手段２０３、第２の撮像手段２０４、照合手段２０５、および、表示手段２０６を含んで構成されている。

取得手段２０１は、ｎ次元シンボルの画像を取得するように構成されている。第１の撮像手段２０２は、物体の表面のランダムな紋様を撮像するように構成されている。記憶手段２０３は、上記ｎ次元シンボルの画像と第１の撮像手段２０２で撮像した紋様の画像である第１の画像とを関連付けて記憶するように構成されている。また第２の撮像手段２０４は、物体の表面のランダムな紋様を撮像するように構成されている。照合手段２０５は、第２の撮像手段２０４で撮像した画像と記憶手段２０３に記憶されている第１の画像とを照合するように構成されている。表示手段２０６は、上記照合の結果に基づき、記憶手段２０３に記憶されている第１の画像に関連付けられたｎ次元シンボルの画像を表示するように構成されている。

このように構成された本実施形態に係るシステム２００は、以下のように動作する。即ち、取得手段２０１は、ｎ次元シンボルの画像を取得する。また第１の撮像手段２０２は、物体の表面のランダムな紋様を撮像する。そして、記憶手段２０３は、上記ｎ次元シンボルの画像と第１の撮像手段２０２で撮像した紋様の画像である第１の画像とを関連付けて記憶する。また第２の撮像手段２０４は、物体の表面のランダムな紋様を撮像する。また照合手段２０５は、第２の撮像手段２０４で撮像した画像と記憶手段２０３に記憶されている第１の画像とを照合する。そして、表示手段２０６は、上記照合の結果に基づき、記憶手段２０３に記憶されている第１の画像に関連付けられたｎ次元シンボルの画像を表示する。

このように本実施形態に係るシステム２００によれば、ｎ次元シンボルを貼付できない物体であっても、物体とｎ次元シンボルとを関連付けることができる。その理由は、ｎ次元シンボルの画像と物体の表面のランダムな紋様の画像とを関連付けて記憶手段２０３に登録し、照合により、物体上の紋様の画像をｎ次元シンボルに変換して表示手段２０６に表示するためである。

以上、上記各実施形態を参照して本発明を説明したが、本発明は、上述した実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。

例えば、図１５に示すように、物体上のインク点までの距離をカメラ焦点に等しく保てる治具３０１と、インクペン３０２を上下させる機構３０３とをガジェット２のハウジング２０に備え、以下の（１）～（３）の動作をハウジング２０に設けたボタン３０４の操作または治具を物体に押し当てるだけで、自動的に実行するようにガジェットを構成してもよい。
（１）インクペン３０２で物体の表面に点を書く。
（２）インク点が乾くまで所定時間だけ待機する（必要に応じてユーザにガジェットを動かさないように表示または音声で通知する）。
（３）待機後、カメラでインク点を撮影し、撮影が終了したらユーザにガジェットを動かしても良い旨を表示または音声で通知する。
なお、図１５はインクペン３０２のペン先がカメラの焦点近傍まで伸びている状態を示している。インク点を記載した後、インクペン３０２は機構３０３によってハウジング２０内に収容される。また、インクペン３０２は交換のために着脱自在になっている。

本発明は、部品や製品などの物体とその物体に関する情報を表示するｎ次元シンボルとを関連付ける分野全般に利用できる。例えば、小部品への製造管理・流通販売データの付与、外部管理システムの出力するＱＲコードなどの画像を点の画像を介して物体に付与、ＥＣ（電子商取引）サイト等で登録した商品情報を表示するＱＲコードなどの画像を点の画像を介して物体に付与して販売・送付することができる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
［付記１］
ｎ次元シンボルの画像を取得する取得手段と、
物体の表面のランダムな紋様を撮像する第１の撮像手段と、
前記ｎ次元シンボルの画像と前記第１の撮像手段で撮像した前記紋様の画像である第１の画像とを関連付けて記憶する記憶手段と、
物体の表面のランダムな紋様を撮像する第２の撮像手段と、
前記第２の撮像手段で撮像した画像と前記記憶手段に記憶されている前記第１の画像とを照合する照合手段と、
前記照合の結果に基づき、前記記憶手段に記憶されている前記第１の画像に関連付けられた前記ｎ次元シンボルの画像を表示する表示手段と、
を備えるシステム。
［付記２］
前記記憶手段は、クラウドに設けられている、
付記１に記載のシステム。
［付記３］
前記ｎ次元シンボルの画像と前記第１の撮像手段で撮像した前記紋様の画像とを含む登録要求を送信する処理手段をさらに備える
付記１または２に記載のシステム。
［付記４］
前記表示手段は、前記物体の表面のランダムな紋様として物体に筆記具を用いて点を描画するように促すメッセージを表示する、
付記１乃至３の何れか１項に記載のシステム。
［付記５］
前記取得手段は、前記ｎ次元シンボルの画像が表示されているディスプレイ画面の画像を取得し、前記取得したディスプレイ画面の画像から前記ｎ次元シンボルの画像を抽出する、
付記１乃至４の何れか１項に記載のシステム。
［付記６］
ｎ次元シンボルの画像を取得し、
物体の表面に設けられたランダムな紋様を撮影した画像を取得し、
前記ｎ次元シンボルの画像と前記紋様の画像である第１の画像とを関連付けて登録し、
物体の表面に設けられたランダムな紋様を撮影した画像を第２の画像として取得し、
取得した前記第２の画像と前記登録した前記第１の画像とを照合し、
前記取得した前記第２の画像と合致した前記第１の画像に関連付けて前記登録されている前記ｎ次元シンボルの画像を表示手段に表示する、
方法。
［付記７］
前記登録する処理をクラウドにて実行する、
付記６に記載の方法。
［付記８］
前記ｎ次元シンボルの画像と物体の表面に設けられたランダムな紋様を撮影した画像とを含む登録要求をサーバに送信し、
前記サーバにおいて、前記登録する処理を実行する、
付記６または７に記載の方法。
［付記９］
物体の表面に設けられたランダムな紋様を撮影した画像をサーバへ送信し、
前記サーバにおいて、前記照合する処理を実行する、
付記６乃至８の何れか１項に記載の方法。
［付記１０］
前記物体の表面に設けられたランダムな紋様は、前記物体にインクで描画された点である、
付記６乃至９の何れか１項に記載の方法。
［付記１１］
前記物体に前記紋様を記載するよう促すメッセージを表示する、
付記６乃至１０の何れか１項に記載の方法。
［付記１２］
前記ｎ次元シンボルの画像の取得では、前記ｎ次元シンボルの画像が表示されているディスプレイ画面を撮像し、前記撮像したディスプレイ画面の画像から前記ｎ次元シンボルの画像を抽出する、
付記６乃至１１の何れか１項に記載の方法。
［付記１３］
ｎ次元シンボルの画像を取得する処理と、
物体の表面に設けられたランダムな紋様を撮影した画像を取得する処理と、
前記ｎ次元シンボルの画像と前記紋様の画像である第１の画像とを関連付けて登録する処理と、
物体の表面に設けられたランダムな紋様を撮影した画像を第２の画像として取得する処理と、
取得した前記第２の画像と前記登録した前記第１の画像とを照合する処理と、
前記取得した前記第２の画像と合致した前記第１の画像に関連付けて前記登録されている前記ｎ次元シンボルの画像を表示手段に表示する処理と、
を、コンピュータに行わせるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

１…システム
２…ガジェット
３…サーバ
４…ネットワーク
５…物体
６…インクペン
７…点
８…パソコン
９…ＱＲコード
２０…ハウジング
２１…表示装置
２２…カメラ２２
２３…カメラ
２４…操作入力装置
２４－１…登録ボタン
２４－２…照合ボタン
２４－３…ＯＫボタン
２５…通信Ｉ／Ｆ装置
２６…記憶装置
２６Ａ…プログラム
２７…演算処理装置
２７Ａ…登録部
２７Ｂ…照合部
３１…通信Ｉ／Ｆ装置
３２…操作入力装置
３３…表示装置
３４…記憶装置
３４Ａ…プログラム
３４Ｂ…データベース
３５…演算処理装置
３５Ａ…登録部
３５Ｂ…照合部
１００…ガジェット
１０１…表示装置
１０２…カメラ
１０３…カメラ
１０４…操作入力装置
１０５…通信Ｉ／Ｆ装置
１０６…記憶装置
１０６Ａ…プログラム
１０６Ｂ…データベース
１０７…演算処理装置
１０７Ａ…登録部
１０７Ｂ…照合部
２００…システム
２０１…撮像手段
２０２…撮像手段
２０３…表示手段
２０４…記憶手段
２０５…処理手段

Claims (10)

1. ｎ次元シンボルの画像を取得する取得手段と、
   物体の表面のランダムな紋様を撮像する第１の撮像手段と、
   前記ｎ次元シンボルの画像と前記第１の撮像手段で撮像した前記紋様の画像である第１の画像とを関連付けて記憶する記憶手段と、
   物体の表面のランダムな紋様を撮像する第２の撮像手段と、
   前記第２の撮像手段で撮像した画像と前記記憶手段に記憶されている前記第１の画像とを照合する照合手段と、
   前記照合の結果に基づき、前記記憶手段に記憶されている前記第１の画像に関連付けられた前記ｎ次元シンボルの画像を表示する表示手段と、
   を備えるシステム。
2. 前記記憶手段は、クラウドに設けられている、
   請求項１に記載のシステム。
3. 前記ｎ次元シンボルの画像と前記第１の撮像手段で撮像した前記紋様の画像とを含む登録要求を送信する処理手段をさらに備える
   請求項１または２に記載のシステム。
4. 前記表示手段は、前記物体の表面のランダムな紋様として物体に筆記具を用いて点を描画するように促すメッセージを表示する、
   請求項１乃至３の何れか１項に記載のシステム。
5. 前記取得手段は、前記ｎ次元シンボルの画像が表示されているディスプレイ画面の画像を取得し、前記取得したディスプレイ画面の画像から前記ｎ次元シンボルの画像を抽出する、
   請求項１乃至４の何れか１項に記載のシステム。
6. ｎ次元シンボルの画像を取得し、
   物体の表面に設けられたランダムな紋様を撮影した画像を取得し、
   前記ｎ次元シンボルの画像と前記紋様の画像である第１の画像とを関連付けて登録し、
   物体の表面に設けられたランダムな紋様を撮影した画像を第２の画像として取得し、
   取得した前記第２の画像と前記登録した前記第１の画像とを照合し、
   前記取得した前記第２の画像と合致した前記第１の画像に関連付けて前記登録されている前記ｎ次元シンボルの画像を表示手段に表示する、
   方法。
7. 前記登録する処理をクラウドにて実行する、
   請求項６に記載の方法。
8. 前記ｎ次元シンボルの画像と物体の表面に設けられたランダムな紋様を撮影した画像とを含む登録要求をサーバに送信し、
   前記サーバにおいて、前記登録する処理を実行する、
   請求項６または７に記載の方法。
9. 物体の表面に設けられたランダムな紋様を撮影した画像をサーバへ送信し、
   前記サーバにおいて、前記照合する処理を実行する、
   請求項６乃至８の何れか１項に記載の方法。
10. ｎ次元シンボルの画像を取得する処理と、
    物体の表面に設けられたランダムな紋様を撮影した画像を取得する処理と、
    前記ｎ次元シンボルの画像と前記紋様の画像である第１の画像とを関連付けて登録する処理と、
    物体の表面に設けられたランダムな紋様を撮影した画像を第２の画像として取得する処理と、
    取得した前記第２の画像と前記登録した前記第１の画像とを照合する処理と、
    前記取得した前記第２の画像と合致した前記第１の画像に関連付けて前記登録されている前記ｎ次元シンボルの画像を表示手段に表示する処理と、
    を、コンピュータに行わせるためのプログラム。

Images