JP5724938B2

JP5724938B2 - パターン生成装置、パターン生成方法、印刷物

Info

Publication number: JP5724938B2
Application number: JP2012099143A
Authority: JP
Inventors: 祐人服部; 絢子安間; 訓成小堀; 学長井; 佐和奥野
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2012-04-24
Filing date: 2012-04-24
Publication date: 2015-05-27
Anticipated expiration: 2032-04-24
Also published as: JP2013228815A

Description

本発明は、パターン生成装置、パターン生成方法、印刷物に関する。

この種の技術として、特許文献１は、回転やスケール変化、照明変化に対してロバストな特徴量であるSIFT（Scale-Invariant Feature Transform）特徴量を利用して、入力画像中の特定の物体を検出する技術を開示している。

特開２０１１−２３０７２２号公報

ところで、本願発明者らは、認識したい物体を環境中から検出するために、その物体に予め特定のSIFT特徴量を有するパターンを配置することを検討している。

そこで、本願発明の目的は、特定のSIFT特徴量を有するパターンの生成技術を提供することにある。

本願発明の第1の観点によれば、特定のSIFT（Scale-Invariant Feature Transform）特徴量を有するパターンの生成装置であって、複数のスケールσと、各スケールσにおけるDoG（Difference-of-Gaussian）出力値DoG（σ）と、の対応情報を、前記複数のスケールσのうち何れかのスケールσにおいて前記DoG出力値DoG（σ）が最大となるように生成する対応情報生成手段と、前記複数のスケールσに対応する複数のDoG画像D（σ）を生成するDoG画像生成手段であって、前記DoG出力値DoG（σ）が最大となるスケールσに対応する前記DoG画像D（σ）中の特定の注目画素がキーポイントとなり、前記複数のDoG画像D（σ）中の前記特定の注目画素における前記DoG出力値DoG（σ）が前記対応情報と整合し、前記DoG出力値DoG（σ）が最大となるスケールσに対応する前記DoG画像D（σ）中の前記特定の注目画素に対応するSIFT特徴量が前記特定のSIFT特徴量となるように、前記複数のDoG画像D（σ）を生成する前記DoG画像生成手段と、前記複数のDoG画像D（σ）に基づいて前記パターンを生成するパターン生成手段と、を備えた、パターン生成装置が提供される。以上の構成によれば、前記パターン中のキーポイントとなる画素が一意に決定し、その画素のSIFT特徴量が前記特定のSIFT特徴量となるので、特定のSIFT特徴量を有するパターンを人工的に生成することができる。
好ましくは、前記対応情報生成手段は、可及的に小さな前記スケールσにおいて前記DoG出力値DoG（σ）が最大となるように、前記対応情報を生成する。以上の構成によれば、前記複数のDoG画像D（σ）に基づいて前記パターンを生成する際の計算コストを低く抑えることができる。
好ましくは、前記パターン生成装置は、前記パターンに、M系列で作成した符号パターンを重畳させる符号パターン重畳手段を更に備えている。以上の構成によれば、前記符号パターンを頼りに前記パターンを迅速に検出することが可能となる。
上記のパターン生成装置によって生成された前記パターンが印刷された印刷物が提供される。以上の構成によれば、前記印刷物を貼り付けた前記物体に、前記特定のSIFT特徴量を持たせることが可能となる。従って、環境中で特定の物体を認識したい場合、その物体に前記印刷物を貼り付ければよい。また、SIFT特徴量は、回転やスケール変化、照明変化に対してロバストであるから、その特定の物体が置かれた環境の良し悪しに影響され難い。
好ましくは、前記印刷物は光透過性材料より構成され、前記パターンは、赤外光に反応する材料によって印刷されている。以上の構成によれば、前記印刷物自体が目立たなくなるので、前記印刷物を貼り付けた物体の外観を損ねることがない。
本願発明の第2の観点によれば、特定のSIFT（Scale-Invariant Feature Transform）特徴量を有するパターンの生成方法であって、複数のスケールσと、各スケールσにおけるDoG（Difference-of-Gaussian）出力値DoG（σ）と、の対応情報を、前記複数のスケールσのうち何れかのスケールσにおいて前記DoG出力値DoG（σ）が最大となるように生成するステップと、前記複数のスケールσに対応する複数のDoG画像D（σ）を生成するステップであって、前記DoG出力値DoG（σ）が最大となるスケールσに対応する前記DoG画像D（σ）中の特定の注目画素がキーポイントとなり、前記複数のDoG画像D（σ）中の前記特定の注目画素における前記DoG出力値DoG（σ）が前記対応情報と整合し、前記DoG出力値DoG（σ）が最大となるスケールσに対応する前記DoG画像D（σ）中の前記特定の注目画素に対応するSIFT特徴量が前記特定のSIFT特徴量となるように、前記複数のDoG画像D（σ）を生成するステップと、前記複数のDoG画像D（σ）に基づいて前記パターンを生成するステップと、を含む、パターン生成方法が提供される。
好ましくは、前記対応情報は、可及的に小さな前記スケールσにおいて前記DoG出力値DoG（σ）が最大となるように生成する。
好ましくは、前記パターン生成方法は、前記パターンに、M系列で作成した符号パターンを重畳させるステップを更に含む。
好ましくは、上記のパターン生成方法によって生成された前記パターンが印刷された印刷物が提供される。
好ましくは、前記印刷物は光透過性材料より構成され、前記パターンは、赤外光に反応する材料によって印刷されている。

本願発明によれば、特定のSIFT特徴量を有するパターンを人工的に生成することができる。

図1は、パターン生成装置のブロック図である。図2は、パターン生成フローである。図3は、スケールσとDoG出力値DoG（σ）との対応情報を示すグラフである。図4（ａ）は、DoG画像D（ｋ^２σ_０）に相当するDoG画像IMGBである。図4（ｂ）は、DoG画像D（ｋ¹σ_０）に相当するDoG画像IMGAである。図4（c）は、DoG画像D（σ_０）に相当するDoG画像IMGZである。図5は、平滑化画像IMG1〜IMG4と、DoG画像IMGB及びDoG画像IMGA、DoG画像IMGZとの関係を示す図である。図6は、パターンが印刷されたシートである。図7は、物体認識システムである。図8は、物体認識フローである。

以下、図１〜８を参照して、本願発明の実施形態を説明する。

先ず、SIFT特徴量に関する代表的な数式である下記式（１）について説明する。下記式（１）において、I(x,y)は、入力画像である。G(x,y,σ)はガウス関数である。L(x,y,σ)は、平滑化画像である。D(x,y,σ)はDoG画像である。ｋは増加率である。σは、ガウシアンフィルタのスケールを意味する。

次に、図１を参照して、特定のSIFT（Scale-Invariant Feature Transform）特徴量を有するパターンの生成装置としてのパターン生成装置１について説明する。

パターン生成装置１は、CPU（Central Processing Unit）やROM（Read Only Memory）、RAM（Random Access Memory）を備えて構成されている。ROMには、パターン生成プログラムが記憶されている。このパターン生成プログラムは、CPUによって読み出され、CPU上で実行されることで、CPUなどのハードウェアを、対応情報生成部２（対応情報生成手段）、DoG画像生成部３（DoG画像生成手段）、パターン生成部４（パターン生成手段）、符号パターン重畳部５（符号パターン重畳手段）として機能させる。

対応情報生成部２は、複数のスケールσと、各スケールσにおけるDoG（Difference-of-Gaussian）出力値DoG（σ）と、の対応情報を生成する。詳しくは、対応情報生成部２は、前記複数のスケールσのうち何れかのスケールσにおいて前記DoG出力値DoG（σ）が最大となるように、対応情報を生成する。

DoG画像生成部３は、複数のスケールσに対応する複数のDoG画像D（σ）を生成する。詳しくは、DoG画像生成部３は、(1)DoG出力値DoG（σ）が最大となるスケールσに対応するDoG画像D（σ）中の特定の注目画素がキーポイントとなり、(2)複数のDoG画像D（σ）中の特定の注目画素におけるDoG出力値DoG（σ）が対応情報と整合し、(3)DoG出力値DoG（σ）が最大となるスケールσに対応するDoG画像D（σ）中の特定の注目画素に対応するSIFT特徴量が特定のSIFT特徴量となるように、複数のDoG画像D（σ）を生成する。

パターン生成部４は、複数のDoG画像D（σ）に基づいてパターンを生成する。

符号パターン重畳部５は、パターン生成部４が生成したパターンに、M系列で作成した符号パターンを重畳させる。

次に、図２を参照して、パターンの生成フローを説明する。

先ず、１２８次元のベクトル情報から構成される特定のSIFT特徴量を定義した上で（S100）、対応情報生成部２は、複数のスケールσと、各スケールσにおけるDoG出力値DoG（σ）と、の対応情報を、複数のスケールσのうち何れかのスケールσにおいてDoG出力値DoG（σ）が最大となるように生成する（S110）。即ち、対応情報生成部２は、図３に示すようなスケールσとDoG出力値DoG（σ）との対応関係（折れ線グラフ状）を例えばテーブル形式で生成する。このとき、図３におけるDoG出力値DoG（σ）は、スケールσが可及的に小さい領域で最大となることが好ましい。図３においてDoG出力値DoG（σ）が最大となるスケールσをスケールCと称する。

なお、図３においてスケールσの取り得る範囲の上限は、ダウンサンプリングを考慮すると、パターンを撮影することで生成された画像上でのパターンのサイズに左右される。また、画像上でのパターンのサイズは、パターンが印刷されたシート上におけるパターンそのもののサイズと、そのパターンを撮影する撮像装置とパターンとの間の距離によって決まる。なお、パターンが印刷されたシート上におけるパターンそのもののサイズと、そのパターンを撮影する撮像装置とパターンとの間の距離と、は要求仕様値となる。

次に、DoG画像生成部３は、図４(a)〜図4(c)に示すように、複数のスケールσに対応する複数のDoG画像D（σ）を生成する（S120）。図4(a)に示すDoG画像D（σ）は、図３のスケールσ１に対応しており、以降、DoG画像IMGBと称する。図４（ｂ）に示すDoG画像D（σ）は、図３のスケールσ２に対応しており、以降、DoG画像IMGAと称する。図４（ｃ）に示すDoG画像D（σ）は、図３のスケールσ３に対応しており、以降、DoG画像IMGZと称する。DoG画像IMGB、DoG画像IMGA、DoG画像IMGZは、例えば３×３ピクセルのサイズを有する画像である。DoG画像生成部３は、図３においてDoG出力値DoG（σ）が最大となるスケールσ２に対応するDoG画像IMGA中の中央（特定）の注目画素ａがキーポイントとなるように、DoG画像IMGB及びDoG画像IMGA、DoG画像IMGZを生成する。また、DoG画像生成部３は、DoG画像IMGB及びDoG画像IMGA、DoG画像IMGZ中の中央の注目画素ａにおけるDoG出力値DoG（σ）が図３に示す対応情報と整合するように、DoG画像IMGB及びDoG画像IMGA、DoG画像IMGZを生成する。また、DoG画像生成部３は、DoG出力値DoG（σ）が最大となるスケールσ２に対応するDoG画像IMGA中の中央の注目画素ａに対応するSIFT特徴量がS100で定義した特定のSIFT特徴量となるようにDoG画像IMGAを生成する。即ち、DoG画像生成部３は、DoG画像IMGAが特定のSIFT特徴量（１２８次元のベクトル情報）に相当する輝度勾配を有するように、DoG画像IMGAを生成する。DoG画像IMGAは、特定のSIFT特徴量を持てるよう、３×３の画像の外周域に描画可能領域ｂを有し、この結果、DoG画像IMGAのサイズは、（σ２）×（σ２）の大きさとなる。

次に、パターン生成部４は、DoG画像IMGB及びDoG画像IMGA、DoG画像IMGZに基づいて、パターンを生成する（S130）。求めたいパターンは、図５において平滑化画像IMG１に相当している。図５には、平滑化画像IMG１〜４と、DoG画像IMGB及びDoG画像IMGA、DoG画像IMGZと、の関係を示している。即ち、図５には、下記式（２）及び（３）の関係を示している。下記式（２）においてGは、ガウシアン関数である。

上記式（２）では、平滑化画像IMG1とガウシアン関数Gを用いることで他の平滑化画像IMG2〜4が作成されることを示している。上記式（３）では、DoG画像D（σ）が平滑化画像IMGの差分であることを示している。これらの式（２）及び（３）は何れもSIFT特徴量に関する基本的な数式である。

上記式（２）及び（３）から、下記式（４）が導かれる。

上記式（４）においてDoG画像IMGB及びDoG画像IMGA、DoG画像IMGZは既知である。上記式（４）の連立方程式を解くことで、特定のSIFT特徴量を有するパターンである平滑化画像IMG１（スケールσ＝１）が得られる。

次に、符号パターン重畳部５は、パターン生成部４が生成した平滑化画像IMG1に、M系列で作成した符号パターンを重畳させる(S140)。具体的には、平滑化画像IMG1は例えばグレースケールなどの濃淡で表現された画像であり、符号パターン重畳部５は、この平滑化画像IMG1に、M系列で作成した符号パターンに従った濃淡画像を重畳させる。このとき、M系列で作成した符号パターンは、自己相関はあるが、相互相関はないものとする。

以上のプロセスで、特定のSIFT特徴量を有するパターンが完成する（S150）。図６には、上記のパターンが印刷された印刷物としてのシート７を示している。図６に示すように、パターンｐは、光透過性材料を有するシート７に印刷されている。シート７は、縦横に９分割されており、各区画にパターンｐが印刷されている。シート７上に複数のパターンｐを印刷することによって、ノイズやオクルージョンにロバストといった効果が得られる。また、パターンｐは、赤外光に反応する材料によってシート７に印刷されている。詳しくは、パターンｐは、赤外光を吸収又は反射する材料によってシート７に印刷されている。

次に、図７及び図８を参照して、物体認識システム１００について説明する。

図７に示すように、物体認識システム１００は、情報処理機としてのパーソナルコンピュータ１０１と、パーソナルコンピュータ１０１に接続されたディスプレイ１０２と、赤外光照射器としての赤外光レーザ１０３と、認識したい物体Xに貼り付けられたシート７と、パーソナルコンピュータ１０１に接続された赤外光受光器１０８と、によって構成されている。

パーソナルコンピュータ１０１は、CPU（Central Processing Unit）やROM（Read Only Memory）、RAM（Random Access Memory）を備えて構成されている。ROMには、物体認識プログラムが記憶されている。この物体認識プログラムは、CPUによって読み出され、CPU上で実行されることで、CPUなどのハードウェアを、SIFT特徴量DB１０４、SIFT特徴量検出部１０５、SIFT特徴量照合部１０６、物体認識結果出力部１０７として機能させる。パーソナルコンピュータ１０１には、赤外光受光器１０８が接続されている。

シート７は、物体Xの例えば前面などに貼り付けられる。

赤外光レーザ１０３は、物体Xに対して赤外光を照射する。赤外光照射器としては、赤外光レーザ１０３に代えて赤外光LEDでもよい。

赤外光受光器１０８は、赤外光レーザ１０３によって照射され、物体Xで反射された赤外光を受光し、受光した赤外光に基づいて入力画像Iを生成する。

SIFT特徴量DB１０４は、SIFT特徴量と物体の種別との対応関係情報をテーブル形式で記憶している。SIFT特徴量DB１０４では、例えば「マグカップ」と「所定の１２８次元のベクトル情報」が一対一で関連付けられている。

SIFT特徴量検出部１０５は、赤外光受光器１０８が生成した入力画像IからSIFT特徴量を検出する。

SIFT特徴量照合部１０６は、SIFT特徴量検出部１０５が検出したSIFT特徴量をSIFT特徴量DB１０４内で検索し、SIFT特徴量検出部１０５が検出したSIFT特徴量に対応する物体の種別を取得する。

物体認識結果出力部１０７は、SIFT特徴量照合部１０６が取得した物体の種別をディスプレイ１０２上に表示させる。

次に、図８を参照して、物体認識システム１００を用いた物体認識方法を説明する。

先ず、SIFT特徴量を設計し（S210）、設計したSIFT特徴量を有するパターンをシート７に印刷する（S220）。次に、シート７を物体Xに貼り付ける（S230）。そして、赤外光レーザ１０３によって物体Xに向けて赤外光を照射させる（S240）。物体Xに向けて照射された赤外光のうち一部はパターンをシート７に印刷する際に使用したインク材料によって吸収されるが、それ以外の赤外光は物体Xで反射して赤外光受光器１０８に到達し、赤外光受光器１０８は、到達した赤外光に基づいて入力画像Iを生成する（S250）。SIFT特徴量検出部１０５は、入力画像I内で所定のM系列符号を探索して検出し（S260）、検出したM系列符号に基づいて入力画像I内でパターンが描かれている部分を大局的に絞り込む（S270）。そして、SIFT特徴量検出部１０５は、入力画像Iの絞られた画像エリア内でSIFT特徴量を検出する（S280）。そして、SIFT特徴量照合部１０６は、SIFT特徴量検出部１０５が検出したSIFT特徴量をSIFT特徴量DB１０４内で照合し（S290）、この結果、物体Xの種別を認識する（S300）。最後に、物体認識結果出力部１０７が認識結果をディスプレイ１０２に表示し（S310）、処理を終える（S320）。

以上に本願発明の実施形態を説明した。

ところで、認識したい物体を環境中から発見したい場合、一般には、その物体にQRコード（登録商標）などのマーカーを取り付け、そのQRコード（登録商標）を撮像装置等によって検出している。しかし、この方法では、QRコード（登録商標）を撮像装置で精確に認識するために、(1)大きなサイズのQRコード（登録商標）を使用するか、(2)撮像装置の解像度自体を高くする、必要がある。そして、(1)の対策では、その物体の見た目が悪くなったり、メガネ等の小さな物体が認識可能な対象から除外されてしまう。また、(2)の対策では、高価な撮像装置を用意する必要があるし、高解像度化に伴って画像処理の計算コストも高くなる。

これに対し、本実施形態では、SIFT特徴量を有するパターンを採用しているので、回転や照明変化、スケール変化にロバストであり、且つ、サイズが小さなパターン（マーカ）が実現されている。

１パターン生成装置
２対応情報生成部
３ DoG画像生成部
４パターン生成部
５符号パターン重畳部
７シート
１００物体認識システム
１０１パーソナルコンピュータ
１０２ディスプレイ
１０３赤外光レーザ
１０４ SIFT特徴量DB
１０５ SIFT特徴量検出部
１０６ SIFT特徴量照合部
１０７物体認識結果出力部

Claims

特定のSIFT（Scale-Invariant Feature Transform）特徴量を有するパターンの生成装置であって、
複数のスケールσと、各スケールσにおけるDoG（Difference-of-Gaussian）出力値DoG（σ）と、の対応情報を、前記複数のスケールσのうち何れかのスケールσにおいて前記DoG出力値DoG（σ）が最大となるように生成する対応情報生成手段と、
前記複数のスケールσに対応する複数のDoG画像D（σ）を生成するDoG画像生成手段であって、前記DoG出力値DoG（σ）が最大となるスケールσに対応する前記DoG画像D（σ）中の特定の注目画素がキーポイントとなり、前記複数のDoG画像D（σ）中の前記特定の注目画素における前記DoG出力値DoG（σ）が前記対応情報と整合し、前記DoG出力値DoG（σ）が最大となるスケールσに対応する前記DoG画像D（σ）中の前記特定の注目画素に対応するSIFT特徴量が前記特定のSIFT特徴量となるように、前記複数のDoG画像D（σ）を生成する前記DoG画像生成手段と、
前記複数のDoG画像D（σ）に基づいて前記パターンを生成するパターン生成手段と、
を備えた、パターン生成装置。
請求項１に記載のパターン生成装置であって、
前記対応情報生成手段は、可及的に小さな前記スケールσにおいて前記DoG出力値DoG（σ）が最大となるように、前記対応情報を生成する、
パターン生成装置。
請求項１又は２に記載のパターン生成装置であって、
前記パターンに、M系列で作成した符号パターンを重畳させる符号パターン重畳手段を更に備えた、
パターン生成装置。
請求項１〜３の何れかに記載のパターン生成装置によって生成された前記パターンが印刷された印刷物。
請求項４に記載の印刷物であって、
前記印刷物は光透過性材料より構成され、
前記パターンは、赤外光に反応する材料によって印刷された、
印刷物。
特定のSIFT（Scale-Invariant Feature Transform）特徴量を有するパターンの生成方法であって、
複数のスケールσと、各スケールσにおけるDoG（Difference-of-Gaussian）出力値DoG（σ）と、の対応情報を、前記複数のスケールσのうち何れかのスケールσにおいて前記DoG出力値DoG（σ）が最大となるように生成するステップと、
前記複数のスケールσに対応する複数のDoG画像D（σ）を生成するステップであって、前記DoG出力値DoG（σ）が最大となるスケールσに対応する前記DoG画像D（σ）中の特定の注目画素がキーポイントとなり、前記複数のDoG画像D（σ）中の前記特定の注目画素における前記DoG出力値DoG（σ）が前記対応情報と整合し、前記DoG出力値DoG（σ）が最大となるスケールσに対応する前記DoG画像D（σ）中の前記特定の注目画素に対応するSIFT特徴量が前記特定のSIFT特徴量となるように、前記複数のDoG画像D（σ）を生成するステップと、
前記複数のDoG画像D（σ）に基づいて前記パターンを生成するステップと、
を含む、パターン生成方法。
請求項６に記載のパターン生成方法であって、
前記対応情報は、可及的に小さな前記スケールσにおいて前記DoG出力値DoG（σ）が最大となるように生成する、
パターン生成方法。
請求項６又は７に記載のパターン生成方法であって、
前記パターンに、M系列で作成した符号パターンを重畳させるステップを更に含む、
パターン生成方法。
請求項６〜８の何れかに記載のパターン生成方法によって生成された前記パターンが印刷された印刷物。
請求項９に記載の印刷物であって、
前記印刷物は光透過性材料より構成され、
前記パターンは、赤外光に反応する材料によって印刷された、
印刷物。