JP7226854B2 - 処理システム、マーキング方法、当該方法において検出されるマーカー、及びマーキングプログラム - Google Patents

Description

関連出願の相互参照

本出願は、２０１９年７月２２日に出願された日本特許出願番号２０１９－１３４８５１号に基づくもので、ここにその記載内容を援用する。

本発明は、処理システム、マーキング方法、当該方法において検出されるマーカー、及びマーキングプログラムに関する。

従来、コンピュータビジョンを用いて物体の位置情報や姿勢情報を取得する、いわゆる物体トラッキングが様々な場面において活用されている。このような物体トラッキングにおける一般的な手法として、例えば、画像処理により対象物の特徴点を検出し、検出された特徴点を追跡することにより対象物の位置情報や姿勢情報を推定する方法がある（非特許文献１参照）。しかしながら、この方法によると、特徴点の検出において対象物の形状、テクスチャ又は動きなどの影響を受けるため、特徴点の検出精度が不十分となる恐れがある。
この問題に対処するため、特徴点となるマーカーをあらかじめ対象物に取り付ける方法がある。このようなマーカーの一例として、それ自体が発光することにより検出可能となるマーカー（アクティブマーカー）が知られている。例えば、下記特許文献１には、吊上げロープから吊下された荷の位置決めを行うために、荷上にマーカーとなる複数の発光ダイオードを配置し、当該複数の発光ダイオードの発光をビデオカメラにより撮影する方法が開示されている。また、下記特許文献２には、インクジェット記録装置における搬送ベルトの移動量を検知するため、搬送ベルトの表面に蓄光物質を塗布し、この塗布領域に所定のパターンの光を照射することにより、当該蓄光物質を発光させてマーカーとする構成が開示されている。

特表平５－５０５７８８号公報 特開２０１２－６６４６０号公報

Alper Yilmaz, Omar Javed, and Mubarak Shah,"Object Tracking: A Survey," ACM Computing Surveys, Vol.38, No.4, Article 13, (2006)

しかしながら、上記特許文献１及び特許文献２に開示される構成によると、対象物にマーカーとなり得る光源を設置したり、対象物に蓄光物質を塗布したりする手間が生じ、かつ対象物の見た目や形状に変化が生じてしまう。他方、マーカーを用いずに対象物の特徴点を検出しようとすると、上述のとおり特徴点の検出精度が不十分となり得る。

そこで、本発明は、マーカーを取り付けることなく対象物の所定の領域をマーカーとして検出可能な処理システム、マーキング方法、当該方法において検出されるマーカー、及びマーキングプログラムを提供する。

本発明の一態様に係る処理システムは、対象物に照射光を照射する照射部と、照射光の照射に応じて対象物自体から放出された放出光を撮像する撮像部と、撮像部で撮像された画像に基づいて、放出光を対象物のマーカーとして検出する検出部と、を備える。

この態様によれば、照射光の照射により対象物自体から放出光が放出されるため、対象物の見た目や形状を変化させることなく、かつ対象物の可動性を損なうことなく、対象物の所定の領域をマーカーとして検出することができる。また、マーカーを取り付ける手間が省けるため、作業効率が向上する。

上記態様において、照射部は、対象物に対して、放出光の発光持続時間より短いインターバルで照射光を間欠的に照射してもよい。

この態様によれば、前回の照射に対応する放出光が消える前に次の放出光を放出させることができるので、対象物の少なくとも一部を持続的にマーカーとして検出することができる。

上記態様において、処理システムは、検出部で検出されたマーカーに基づいて対象物をトラッキングするトラッキング部を含み、照射部は、トラッキング部でトラッキングされた対象物の位置に基づいて、対象物上の特定の領域に照射光を照射してもよい。

この態様によれば、前回の照射に対応する放出光が消える前に、当該放出光に重なるように次の照射光を照射することができるので、対象物の所定の領域に時間的に途切れないマーカーを付与することができる。

上記態様において、処理システムは、照射光を変調させる変調部をさらに備え、撮像部は、変調された照射光に基づく放出光を撮像することにより、検出部で検出されるマーカーを識別可能としてもよい。

この態様によれば、例えば複数の処理システムが共存する場合に、検出されたマーカーがどの処理システムによって付与されたマーカーであるかを識別することができる。あるいは、複数回にわたってマーカーが付与される場合に、検出されたマーカーがいつ付与されたマーカーであるかを識別することができる。

上記態様において、処理システムは、検出部で検出された各画像におけるマーカーのマッチングを行うマッチング部をさらに備え、照射光は、二次元平面上に広がるランダムパターン状のパターン光を含み、撮像部は、照射光に応じて対象物自体から放出されたランダムパターン状の放出光を複数のタイミングにわたって撮像し、マッチング部は、複数のタイミングにわたって撮像された複数の画像に基づいて、ランダムパターン状のマーカーのマッチングを行ってもよい。

この態様によれば、対象物にランダムパターン状のマーカーを比較的容易に付与することができるため、例えば対象物に人為的にマーカーを取り付ける方法に比べてマッチング処理の精度が向上する。

上記態様において、処理システムは、照射部から照射された照射光を対象物の任意の領域に導く光路制御部をさらに備えていてもよい。

この態様によれば、照射部に対して対象物が相対的に移動する場合であっても、対象物の特定の領域に照射光を照射し続けやすくなる。また、例えば対象物のサイズが小さい場合や、対象物の表面に照射の制約がある場合であっても、対象物にマーカーを付与しやすくなる。

上記態様において、撮像部は、放出光を１００ｆｐｓ以上のフレームレートで撮影する高速カメラを含んでいてもよい。

この態様によれば、放出光の発光持続時間が数十ミリ秒以上であれば、対象物から放出された放出光を複数の画像にわたって撮像することができる。従って、蓄光材料などを塗布することなく、多くの対象物について放出光をマーカーとして用いることができる。

上記態様において、撮像部は、対象物への照射光の照射を止めた後に対象物自体から放出された放出光を撮像してもよい。

この態様によれば、放出光の撮像に際し、照射光と放出光を区別することができるため、精度高く放出光をマーカーとして検出することができる。

上記態様において、放出光は、照射光の照射後に対象物自体から放出された遅延蛍光又は燐光を含んでいてもよい。

この態様によれば、対象物の外観や形状に依存せず、対象物における蓄光現象により放出光が放出されるため、対象物の外観や形状に対してロバストに放出光を検出することができる。

本発明の他の態様に係るマーキング方法は、対象物に照射光を照射することと、照射光の照射に応じて対象物自体から放出された放出光を撮像することと、撮像された画像に基づいて、放出光を対象物のマーカーとして検出することと、を含む。

この態様によれば、照射光の照射により対象物自体から放出光が放出されるため、対象物の見た目や形状を変化させることなく、かつ対象物の可動性を損なうことなく、対象物の所定の領域をマーカーとして検出することができる。また、マーカーを取り付ける手間が省けるため、作業効率が向上する。

本発明の他の態様に係るマーカーは、上記マーキング方法において検出される。

この態様によれば、照射光の照射により対象物自体から放出された放出光がマーカーとして機能する。

本発明の他の態様に係るマーキングプログラムは、コンピュータを、対象物に照射光を照射する照射部、照射光の照射に応じて対象物自体から放出された放出光を撮像する撮像部、及び撮像部で撮像された画像に基づいて、放出光を対象物のマーカーとして検出する検出部、として機能させる。

この態様によれば、照射光の照射により対象物自体から放出光が放出されるため、対象物の見た目や形状を変化させることなく、かつ対象物の可動性を損なうことなく、対象物の所定の領域をマーカーとして検出することができる。また、マーカーを取り付ける手間が省けるため、作業効率が向上する。

本発明によれば、マーカーを取り付けることなく対象物の所定の領域をマーカーとして検出可能な処理システム、マーキング方法、当該方法において検出されるマーカー、及びマーキングプログラムが提供される。

本発明の一実施形態に係る処理システムの構成例を示す図である。 図１に示される制御装置の物理的構成を示す図である。 本発明の一実施形態に係る処理システムの機能ブロックを示す図である。 本発明の一実施形態に係る処理システムにより取得された発光データを示す図である。 照射装置がパルス状の照射光を１回照射した場合において、撮像装置により撮像される画像のイメージを示す図である。 照射装置がパルス状の照射光を間欠的に複数回照射した場合において、撮像装置により撮像される画像のイメージを示す図である。 照射装置が持続的な照射光を照射した場合において、撮像装置により撮像される画像のイメージを示す図である。 回転する対象物に照射光を照射し、照射光の停止直後に撮像装置により撮像された画像を示す図である。 回転する対象物に照射光を照射し、照射光の停止から１００ミリ秒後に撮像装置により撮像された画像を示す図である。 本発明の一実施形態に係る処理システムにより実行されるトラッキング処理のフローチャートである。 本発明の一実施形態の第１変形例に係る処理システムの機能ブロックを示す図である。 空間変調させた照射光を牛乳パックに照射し、その照射中に撮像装置により撮像された画像を示す図である。 空間変調させた照射光を牛乳パックに照射し、その停止直後に撮像装置により撮像された画像を示す図である。 空間変調させた照射光をスケッチブックに照射し、その照射中に撮像装置により撮像された画像を示す図である。 空間変調させた照射光をスケッチブックに照射し、その停止直後に撮像装置により撮像された画像を示す図である。 照射光を強度変調させた場合における発光データを示す図である。 図１３の発光データＬ１に対応する条件において撮像された画像の一部を示す図である。 図１３の発光データＬ１に対応する条件において撮像された画像の一部を示す図である。 図１３の発光データＬ２に対応する条件において撮像された画像の一部を示す図である。 図１３の発光データＬ２に対応する条件において撮像された画像の一部を示す図である。 図１３の発光データＬ３に対応する条件において撮像された画像の一部を示す図である。 図１３の発光データＬ３に対応する条件において撮像された画像の一部を示す図である。 本発明の一実施形態の第２変形例に係る処理システムの機能ブロックを示す図である。 本発明の一実施形態の第３変形例に係る処理システムの構成例を示す図である。

以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する。）を、図面に基づいて説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。

図１は、本実施形態に係る処理システムの構成例を示す図である。処理システム１０は、対象物１００にマーカーを取り付けることなく、対象物１００自体から放出された放出光をマーカーとして検出することができるシステムである。

図１に示されるように、処理システム１０は、例えば、照射装置１１と、撮像装置１２と、制御装置１３と、を備える。

照射装置１１は、任意の照射条件で対象物１００に照射光を照射する。照射装置１１は、例えば、紫外線レーザや紫外ＬＥＤ（Light Emitting Diode）であってよい。照射装置１１により照射される照射光の波長は、１０ｎｍ以上であってよい。波長が１０ｎｍ以上の照射光を用いることで、対象物１００に照射光を照射する場合の管理を簡素化することができ、処理システム１０の運用コストを低く抑えることができる。また、照射装置１１は、複数の異なる波長の照射光を発生させる１又は複数の光源を含んでよい。照射装置１１は、波長可変のレーザやＬＥＤを光源として含んでもよいし、波長の異なる複数のレーザやＬＥＤを光源として含んでもよい。照射装置１１が照射する照射光は、コリメート光であってもよく、パルス光であってもよい。後述するように、照射装置１１は、例えば間欠的に照射光を照射してもよく、あるいは持続的に照射光を照射してもよい。

対象物１００に照射光が照射されると、対象物１００の照射光が照射された領域から放出光が放出される。本明細書において「放出光」とは、照射光の照射に応じて対象物自体から放出される光であって、対象物における反射光よりも遅延して放出される光のことを示す。放出光は、対象物１００への照射光の照射を止めた後においても観察可能であり、例えば、対象物における電子の励起により生じる遅延蛍光、燐光、残光又は蓄光を含む。あるいは、放出光は、対象物における熱励起により生じる赤外線を含む。なお、対象物１００への照射光の照射を止めることは、照射装置１１をオフにすることに限られず、例えば照射光の光路を変更することなど、照射光が対象物１００に当たらないようにする種々の構成を含む。

撮像装置１２は、照射光の照射に応じて対象物１００から放出された放出光を撮像する。撮像装置１２が放出光を撮像することにより、放出光の位置の時間変化や発光強度の時間変化を撮影することができるため、当該放出光をマーカーとして、例えば対象物１００の各種計測が可能となる。以下では、放出光が撮像装置１２により観察可能である時間を「発光持続時間」ともいう。

撮像装置１２は、例えば、放出光を１００ｆｐｓ以上のフレームレートで撮影する高速カメラであってよい。撮像装置１２として高速カメラを用いることにより、放出光の発光持続時間が数ミリ秒～数十ミリ秒であっても放出光を検知することができる。また、比較的短時間の露光で放出光を撮影することができるため、比較的長時間の露光を行う場合に比べて、撮像フレーム間における対象物１００の移動量を抑制したり、モーションブラーの発生を抑制したりすることができる。なお、高速カメラのフレームレートは、１０００ｆｐｓや１万ｆｐｓ以上であってもよい。

撮像装置１２の受光センサは、対象物１００から放出される放出光の波長スペクトルに応じて、任意のものが適用されてよい。対象物１００から放出される放出光の波長スペクトルは、例えば紫外領域～可視光領域であるが、対象物１００の種類や照射光の波長等によっては、近赤外領域に及ぶこともあるため、適宜受光センサが選択されることが望ましい。

撮像装置１２により撮像された放出光は、照射光を照射している間に生じた放出光及び対象物１００への照射光の照射を止めた後に生じた放出光を含む。照射光の照射を止めた後に生じた放出光を撮像することにより、照射光と放出光とを容易に区別することができる。なお、照射光と放出光を区別する方法はこれに限定されない。例えば、放出光が対象物１００における電子の励起により生じたものである場合、照射光と放出光の波長スペクトルは互いに異なるものとなる。従って、例えば撮像装置１２の光路上に照射光の波長の光を遮蔽するフィルタを設けることにより、照射光が撮像装置１２に直接入射することを防止してもよい。

なお、本実施形態では、放出光が対象物１００から照射装置１１側に放出される場面が想定され、照射装置１１側に撮像装置１２が設けられた例が示されている。他方、例えば対象物１００が光透過性を有する物質であり、放出光が対象物１００を透過することにより、照射装置１１側より透過光側の方が放出光の強度が大きくなる場合は、当該透過光側に撮像装置１２が配置されてもよい。なお、放出光強度の空間分布において特定の角度方向で最大放出光強度を発する対象物１００の場合（例えば、異方性材料の場合）は、対象物１００に対し、適宜、撮像装置１２、あるいは撮像装置１２の受光センサの角度を最大放出光の方向に設定してもよい。

制御装置１３は、照射装置１１と信号を送受信することにより、照射装置１１による照射を制御するとともに、撮像装置１２と信号を送受信することにより、撮像装置１２による撮像を制御する。また、制御装置１３は、撮像装置１２により撮像された画像に基づいて、放出光を検出する。制御装置１３が放出光を検出することにより、対象物１００自体から放出される放出光が対象物１００のマーカーとして機能する。このように、対象物に物理的なマーカー又はマーカーとしての機能を発揮する物質を取り付けたり塗布したりすることなく、対象物自体の所定の領域をマーカーとして機能させることを、本明細書では「マーキング」ともいう。

図２は、図１に示される制御装置の物理的構成を示す図である。制御装置１３は、演算部に相当するＣＰＵ（Central Processing Unit）２０と、記憶部に相当するＲＡＭ（Random Access Memory）２１及びＲＯＭ（Read Only Memory）２２と、通信部２３と、入力部２４と、表示部２５と、を有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、本例では制御装置１３が一台のコンピュータで構成される場合について説明するが、制御装置１３は、複数のコンピュータが組み合わされて実現されてもよい。図２に示される構成は一例であり、制御装置１３はこれら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。

ＣＰＵ２０は、ＲＡＭ２１又はＲＯＭ２２に記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。ＣＰＵ２０は、対象物に照射光を照射して対象物自体から放出された放出光を検出するプログラム（以下、「マーキングプログラム」ともいう。）を実行する演算部である。ＣＰＵ２０は、通信部２３や入力部２４から種々のデータを受け取り、データの演算結果を表示部２５に表示したり、ＲＡＭ２１やＲＯＭ２２に格納したりする。

ＲＡＭ２１は、記憶部のうちデータの書き換えが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＡＭ２１は、ＣＰＵ２０が実行するマーキングプログラム等を記憶してよい。なお、これらは例示であって、ＲＡＭ２１には、これら以外のデータが記憶されていてもよいし、これらの一部が記憶されていなくてもよい。

ＲＯＭ２２は、記憶部のうちデータの読み出しが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＯＭ２２は、例えばマーキングプログラムや、書き換えが行われないデータを記憶してよい。

通信部２３は、制御装置１３を他の機器に接続するインターフェースである。通信部２３は、インターネット等の通信ネットワークに接続されてよい。

入力部２４は、ユーザからデータの入力を受け付けるものであり、例えば、キーボード及びタッチパネルを含んでよい。

表示部２５は、ＣＰＵ２０による演算結果を視覚的に表示するものであり、例えば、ＬＣＤ（Liquid Crystal Display）により構成されてよい。表示部２５は、撮像装置１２により撮像された画像等を表示してよい。

マーキングプログラムは、ＲＡＭ２１やＲＯＭ２２等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部２３により接続される通信ネットワークを介して提供されてもよい。制御装置１３では、ＣＰＵ２０がマーキングプログラムを実行することにより、以下に説明する様々な動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、制御装置１３は、ＣＰＵ２０とＲＡＭ２１やＲＯＭ２２が一体化したＬＳＩ（Large-Scale Integration）を備えていてもよい。

図１に戻り、対象物１００は、任意の物体であってよいが、例えばその全体又は一部に任意の蓄光成分が含まれている物体を含む。すなわち、本実施形態における対象物１００は、対象物の表面に蓄光物質が人為的に塗布されたものではなく、対象物自体の電子構造に基づく蓄光現象により数ミリ秒～数百ミリ秒程度又はそれ以上発光する物体であり、例えば、牛乳パック、スケッチブック、オフィスペーパー、コンクリート、グラニュー糖、砂糖、チョコレート、布等を含むが、これらに限られない。蓄光現象による放出光をマーカーとして用いることにより、対象物１００の外観や形状に対してロバストに放出光を検出することができる。

対象物１００は、処理システム１０の少なくとも一部に対して相対的に移動していてもよい。例えば図１は、対象物１００が静止しており、照射装置１１、撮像装置１２及び制御装置１３が矢印の方向に一体的に移動している様子を示している。処理システム１０は、放出光をマーカーとして検出することにより、例えば対象物１００の形状、処理システム１０に対する対象物１００の相対位置、相対姿勢、及び相対速度等の計測を行うことができる。処理システム１０は、計測された相対位置、相対姿勢、及び相対速度に基づいて、実空間における対象物１００の位置、姿勢、及び速度を算出することができる。

図３は、本実施形態に係る処理システムの機能ブロックを示す図である。照射装置１１は、照射部１１０を備える。撮像装置１２は、撮像部１２０を備える。制御装置１３は、設定部１３０と、検出部１３１と、トラッキング部１３２と、を備える。

照射部１１０は、制御装置１３による制御に基づいて、対象物１００に照射光を照射する。撮像部１２０は、制御装置１３による制御に基づいて、対象物１００から放出された放出光を撮像する。なお、本実施形態では、照射装置１１が照射部１１０を備え、撮像装置１２が撮像部１２０を備える例が示されているが、これらの装置は必ずしも独立した構成でなくてもよい。例えば、制御装置１３が照射部及び撮像部の機能を備えていてもよい。

設定部１３０は、照射装置１１が照射する照射光の照射条件を設定するとともに、撮像装置１２における撮像条件を設定する。照射光の照射条件は、照射光の波長、照射光の強度、照射光の照射時間、及び照射光のインターバルの少なくともいずれかを含む。照射光の波長は、例えば紫外領域の２００ｎｍ～４００ｎｍであってよいが、遠紫外領域の２００ｎｍ以下であってもよいし、可視光領域の４００ｎｍ以上であってもよい。

照射光の波長は短いほど、照射光の強度は強いほど、照射光の照射時間は長いほど、放出光の発光持続時間が長くなる傾向にある。従って、対象物をトラッキングするために、照射光の波長は比較的短く、照射光の強度は比較的強く、照射光の照射時間は比較的長く設定してよい。ただし、照射光の照射時間は、一定時間以上長くしても放出光の発光持続時間が変化しなくなる場合があるため、照射光の照射時間は、放出光の発光持続時間が最大値に近くなる時間のうち最も短い時間に設定してよい。

撮像装置１２における撮像条件は、フレームレート、フレーム周期、露光時間、及び解像度の少なくともいずれかを含む。なお、例えば撮像装置１２のフレームレートや露光時間に応じて照射光の照射条件を適宜設計してもよい。

検出部１３１は、撮像装置１２により撮像された画像を取り込み、当該画像に基づいて、対象物１００から放出された放出光を検出する。放出光の検出方法は特に限定されないが、例えば撮像された画像を二値化処理すること、膨張処理又は収縮処理を施してＳ／Ｎ比を向上させること、抽出された複数の領域のうち輪郭が最も大きい領域を選択すること、及び選択された領域の重心の座標を求めることの少なくともいずれか一つを含んでよい。

トラッキング部１３２は、検出部１３１において検出された放出光の画像における位置座標に基づいて、対象物１００の形状、処理システム１０に対する対象物１００の相対位置、相対姿勢及び相対速度の少なくともいずれかを計測することにより、対象物１００をトラッキングする。トラッキング部１３２は、計測された相対位置、相対姿勢、及び相対速度に基づいて、実空間における対象物１００の位置、姿勢、及び速度を算出する。トラッキング部１３２によるトラッキングは、物理的なマーカーや対象物の特徴点をマーカーとして用いる構成と同様の手法を用いることができるため、詳細な説明を省略する。

上記構成により、処理システム１０は、例えば計測された対象物の実空間における位置に基づいて、対象物１００をトラッキングすることができる。対象物１００のトラッキングとは、ある画像内における対象物１００の移動を追跡すること、及び対象物１００が撮像装置の視野内に収まり続けるように対象物１００の移動に応じて撮像装置の視野方向を変動させることを含む。

図４は、本実施形態に係る処理システム１０により取得された発光データを示す図である。同図に示される発光データＬとは、対象物１００の一例であるスケッチブックに対して波長が３７５ｎｍであるレーザを照射光として５００ｍｓにわたって照射し、その停止後に撮像装置１２によって１２０ｆｐｓで画像を撮像して、撮像結果の画素から照射光が照射されていた領域における中心座標の画素の画素値を１０ビット（０～１０２３）で表したものである。図４において、横軸は画像フレーム数を示し、縦軸は照射光が照射された領域における画素値を示す。当該画素値は、放出光強度（発光強度）に対応するものである。

発光データＬによると、撮像を開始してから画素値が徐々に減衰していることが読み取れる。

発光データＬの照射光の照射の停止後は、指数減衰区間Ｂ１と緩やかな減衰区間Ｂ２とに分けられる。照射光の照射を終了すると、ただちに指数減衰区間Ｂ１が始まり、画素値が指数的に減衰する。本例の場合、指数減衰区間Ｂ１は、撮像を開始してから９フレーム（７５ｍｓ）程度にわたって続いており、その間に画素値は最大値から８０％ほど減衰している。指数減衰区間Ｂ１に続いて、緩やかな減衰区間Ｂ２は、２１フレーム（１７５ｍｓ）程度にわたって続いており、その間に画素値は最小値まで減衰している。

このように、ある対象物における放出光の画素値の減衰特性が既知である場合、ある時間に検出されたマーカーの画素値に基づいて、照射光の照射停止からの経過時間を推測することができる。すなわち、放出光によって構成されたマーカーは、その位置を示す空間情報と、その経過時間を示す時間情報とをいずれも含んでいると言える。

本例では、１台の撮像装置１２によって１２０ｆｐｓで照射光を照射した後の画像を撮像しているが、撮像装置１２は、対象物１００の放出光を１２０ｆｐｓより低いフレームレートで撮影するカメラ及び高速カメラを含んでよく、時間変化が比較的速い期間における放出光を高速カメラで撮影し、時間変化が比較的遅い期間における放出光をカメラで撮影してもよい。ここで、時間変化が比較的速い期間は、例えば指数減衰区間Ｂ１であり、時間変化が比較的遅い期間は、例えば減衰区間Ｂ２である。この場合、高速カメラは、１０ｎｓｅｃオーダーの明るさの変化を捉えられるもの、すなわち１０^８ｆｐｓ程度で画像を撮影するものであってよい。このように、高速カメラと比較的低速なカメラと２台のカメラを用いることで、放出光の時間変化が比較的速い期間及び遅い期間いずれにおいても、十分な時間分解能で連続画像を撮影できる。

なお、本例では、照射光の照射時間を５００ｍｓとしているが、照射時間はこれに限定されない。例えば対象物１００が普通紙の場合、照射光の照射時間を２００ｍｓ程度以上とすれば、放出光の寿命が飽和する傾向にある。このように、対象物１００に対する照射光の照射時間は、放出光の寿命が飽和する照射時間以上となるように設定されてもよい。

次に、図５から図７を参照して、様々な照射条件及び撮像条件において対象物をトラッキングする具体的な方法について説明する。なお、以下では便宜上、照射装置１１が点状の照射光を照射する場合を例として説明するが、照射光は点状に限られない。

図５は、照射装置がパルス状の照射光を１回照射した場合において、撮像装置により撮像される画像のイメージを示す図である。本態様（以下、「態様Ａ」ともいう。）では、放出光の発光持続時間が撮像装置の露光時間より長いものとする。言い換えると、ある撮像において撮像された放出光の発光持続時間内に、次の画像が撮像されるものとする。図５における（ａ）から（ｄ）に示す画像は、撮像装置１２により撮像された順に並べられているものとする。

照射装置１１がパルス状の照射光を１回照射すると、対象物１００における照射光が照射された領域から放出光が放出される。すなわち、対象物１００の所定の領域がマーキングされる。その後、対象物１００が撮像装置１２に対して相対的に移動しても、同領域から放出光が発光持続時間にわたって放出され続ける。

撮像装置１２は、対象物１００を複数のタイミングにわたって撮像する。検出部１３１は、撮像された各画像から放出光を検出する。このとき、対象物１００は撮像装置１２に対して相対的に移動しているため、図５に示されるように、各画像間で検出される放出光の位置が徐々に推移する。従って、トラッキング部１３２は、撮像された複数の画像における放出光の位置の推移に基づいて、対象物１００の相対速度を算出することができる。なお、図５は、対象物１００の相対速度に対して撮像装置１２の露光時間が極めて短いと仮定した場合のイメージ図である。実際には、撮像装置１２の露光時間中に対象物１００が移動すると、後述する図７のようにそれぞれの放出光が所定の長さを帯びることとなる。このことは、後述する図６においても同様である。

例えば、図５に示されるように、複数の画像間において検出された放出光の位置が互いにＸピクセル離れており、撮像装置１２のフレーム周期がｔ秒である場合、対象物１００のピクセル相対速度Ｖｐは、Ｖｐ＝Ｘ／ｔ（ピクセル／秒）により算出される。例えば、撮像装置１２と対向する対象物１００の面が平面であり、対象物１００が撮像装置１２に対して並進移動する場合、上述のピクセル相対速度Ｖｐから実空間における実相対速度へと変換することができる。

態様Ａでは、撮像装置１２のフレームレートが高いほど、各画像間において検出される放出光の間隔が狭くなるため、算出される対象物１００の相対速度の精度が向上する。また、態様Ａでは、ある照射に応じて放出された放出光の位置の推移に基づいて対象物１００をトラッキングすることができるため、照射装置１１と撮像装置１２との間の距離にかかわらず対象物１００の相対速度を算出することができる。なお、上記では照射装置１１が照射光を１回照射する場合を例として説明したが、照射装置１１が照射光を複数回照射する場合であっても同様の方法を適用することができる。

図６は、照射装置がパルス状の照射光を間欠的に複数回照射した場合において、撮像装置により撮像される画像のイメージを示す図である。本態様（以下、「態様Ｂ」ともいう。）では、放出光の発光持続時間が、照射光のインターバルより長いものとする。言い換えると、ある照射に応じて放出された放出光の発光持続時間内に、次の照射光が照射されるものとする。

対象物１００は、照射装置１１に対して相対的に移動しているため、照射装置１１がパルス状の照射光を間欠的に複数（図６では４回）のタイミングにわたって同じ方向に照射すると、対象物１００における複数の異なる領域から放出光が放出される。すなわち、対象物１００の複数（図６では４つ）の領域がマーキングされる。

撮像装置１２は、撮像装置１２に対して相対的に移動する対象物１００を少なくとも１回撮像する。検出部１３１は、撮像された画像から放出光を検出する。このとき、対象物１００は、複数の領域がマーキングされているため、１枚の画像から複数の放出光が検出される。また、放出光の強度は、対象物１００の材料に応じた発光特性において減衰するため、図６に示されるように、検出部１３１が検出する放出光の強度は、過去の照射に対応する放出光から最新の照射に対応する放出光にかけて徐々に強くなる。従って、トラッキング部１３２は、１枚の画像上において検出される複数の放出光を、その強度に基づいて時系列順に識別することができる。これにより、トラッキング部１３２は、強度の順序が隣り合う複数の放出光の間隔に基づいて、対象物１００の撮像装置１２に対する相対速度を算出することができる。

例えば、図６に示されるように、１枚の画像上において検出される、強度の順序が隣り合う２つの放出光の間隔がＸピクセルであり、照射装置１１による照射間隔がｚ秒である場合、対象物１００のピクセル相対速度Ｖｐは、Ｖｐ＝Ｘ／ｚ（ピクセル／秒）により算出される。この場合も上述の態様Ａと同様に、撮像装置１２と対向する対象物１００の面が平面であり、対象物１００が撮像装置１２に対して並進移動する場合、ピクセル相対速度Ｖｐから実空間における実相対速度へと変換することができる。

態様Ｂでは、照射装置１１のインターバルが短いほど、ある画像において検出される放出光の間隔が狭くなるため、算出される対象物１００の相対速度の精度が向上する。また、態様Ｂにおいても、態様Ａと同様に、照射装置１１と撮像装置１２との間の距離にかかわらず、対象物１００の相対速度を算出することができる。態様Ａ及び態様Ｂは、例えば対象物１００が変形しない場合、あるいは対象物１００のある１点の動きを追跡すれば足りる場合等に有効であり、このとき照射光の照射時間は短い方が好ましい。

図７は、照射装置が持続的な照射光を照射した場合において、撮像装置により撮像される画像のイメージを示す図である。なお、本態様（以下、「態様Ｃ」ともいう。）において、照射装置１１は、一度所定の長さにわたって照射し、その後停止した場合の例が示されているが、これに代えて、間欠的に複数のタイミングにわたって照射光を照射してもよく、あるいは停止することなく照射光を照射し続けてもよい。

対象物１００は、照射装置１１に対して相対的に移動しているため、照射装置１１が持続的な照射光を照射すると、対象物１００における所定の長さを帯びた領域から放出光が放出される。すなわち、態様Ｃでは、対象物１００が線状にマーキングされる。

撮像装置１２は、対象物１００を少なくとも１回撮像する。検出部１３１は、撮像された画像から放出光を検出する。検出された放出光の軌跡は、対象物１００が相対的に移動した軌跡を示す。ここで、放出光の強度は時間の経過とともに減衰するため、検出された放出光の強度が強いほど新たに照射された領域であり、放出光の強度が弱いほど過去に照射された領域であることが分かる。従って、トラッキング部１３２は、１枚の画像から検出される放出光の軌跡と、放出光の強度に基づいて、対象物１００の照射装置１１に対する移動軌跡を計測することができる。態様Ｃでは、照射光の照射時間が長時間であるほど、放出光が放出される軌跡の領域が拡大するため、対象物の軌跡から得られる画像１枚あたりの情報量が多くなる。

また、放出光は、対象物１００の材料に応じた発光特性において放出される。従って、制御装置１３は、対象物１００又は対象物１００と同一の材料における放出光の発光特性を予め記憶し、記憶された発光特性と検出された対象物１００の放出光の発光特性との比較に基づいて、対象物１００の相対速度を算出してもよい。放出光の発光特性は、例えば、照射光の照射からの経過時間と放出光の発光強度との関係を示す減衰データ、放出光の発光持続時間、及び放出光の光強度の変化率などを含む。

例えば、ある照射光の照射強度における放出光の発光持続時間τ（ｓ）が予め記憶され、検出された放出光の軌跡の長さをＸピクセルとすると、対象物のピクセル相対速度Ｖｐは、Ｖｐ＝Ｘ／τ（ピクセル／秒）により算出される。態様Ｃでは、上述の態様Ａ及び態様Ｂのようにパルス状の照射光を照射する態様に比べて、撮像装置１２のフレームレートや照射装置１１の照射レートの制約を受けずに、より精細かつ連続的な相対速度ベクトルを算出することができる。

図８Ａは、回転する対象物に照射光を照射し、照射光の停止直後に撮像装置により撮像された画像を示す図である。図８Ｂは、回転する対象物に照射光を照射し、照射光の停止から１００ミリ秒後に撮像装置により撮像された画像を示す図である。具体的に、図８Ａ及び図８Ｂに示される画像は、照射装置１１及び撮像装置１２が静止しており、撮像装置１２の撮像面と平行な平面上を角速度１７．５（ｒａｄ／秒）で回転する回転台に対象物の一例であるチョコレートが搭載された状況において撮像された画像を示している。本実験において、照射装置１１が照射する照射光の波長は３７５ｎｍであり、照射時間は５００ミリ秒である。撮像装置１２は、ゲインが５．０に設定されたイメージインテンシファイアを組み合わせたＣＭＯＳカメラである。撮像装置１２の解像度は６４０×４８０ピクセルであり、撮像のフレームレートは２４０ｆｐｓである。また、図８Ａ及び図８Ｂに示される画像は、撮像装置１２により撮像された元画像に、所定の閾値を用いて二値化処理を施した後の画像である。

図８Ａ及び図８Ｂに示されるように、チョコレートから放出される放出光２００の軌跡はそれぞれ円弧を描き、かつ反時計回りに強度が減衰している。後に示す図１８のように、本実験ではミラーを介してチョコレートが撮像されており、撮像画像の左右が反転している。従って、この放出光２００の軌跡から、チョコレートは時計回りに回転していることが分かる。チョコレートにおける放出光の発光持続時間をτ（秒）とし、放出光の軌跡の回転角をＹ（ｒａｄ）とすると、チョコレートの相対角速度ωは、ω＝Ｙ／τ（ｒａｄ／秒）により算出される。

このように、ある時刻において撮像された１枚の画像に基づいて放出光の軌跡を解析する手法は、例えばレーザ照射の開始時刻に照射されていた領域の放出光が、減衰してもなお十分に観測可能な程度に残っている、発光持続時間内の観測時に用いることができる。一方、レーザの照射時間が放出光の発光持続時間よりも長い場合は、異なる時刻において撮像された２枚の画像における放出光の軌跡のうち明るい側の端点、すなわち最も直近（レーザ照射の終了直前）にレーザが照射されていた領域と対応する点をそれぞれ検出し、検出された両点間における回転台の回転中心から見た角度の差分（ｒａｄ）をフレーム間時間（秒）で割ることで相対角速度ωを算出することができる。例えば本実験の場合、図８Ａと図８Ｂのフレーム間の時刻が１００ミリ秒であり、各画像における明るい側の端点の角度の差分が１．７７（ｒａｄ）であるため、相対角速度ωは、ω＝１．７７／０．１＝１７．７（ｒａｄ／秒）と算出される。ここから、チョコレートが搭載された回転台の角速度１７．５（ｒａｄ／秒）が概ね適切に算出されていることが分かる。

図９は、本実施形態に係る処理システムにより実行されるトラッキング処理のフローチャートである。

はじめに、設定部１３０は、照射装置１１の照射条件を設定するとともに（ステップＳ１０）、撮像装置１２の撮像条件を設定する（ステップＳ１１）。次に、照射装置１１は、設定された照射条件で対象物１００に照射光を照射する（ステップＳ１２）。

次に、撮像装置１２は、照射光の照射に応じて対象物１００自体から放出された放出光を、設定された撮像条件で撮影する（ステップＳ１３）。次に、検出部１３１は、撮影された画像に基づき、放出光を検出する（ステップＳ１４）。次に、トラッキング部１３２は、検出された放出光の推移又は軌跡に基づいて、対象物１００の相対速度を算出する（ステップＳ１５）。以上により、トラッキング処理が終了する。

なお、上述したとおり、ステップＳ１４において、撮像された画像に様々な画像処理が施されてもよい。例えば、放出光の検出に関して、撮像された画像に撮影時の固定ノイズ等が含まれる際、これらを除去した上で放出光を検出してもよい。例えば、放出光が減衰して十分な時間が経過した後の画像を別途撮像し、画素値の最大値を取ることにより固定ノイズの画素値の大きさを評価し、その評価値を閾値として二値画像を作成してもよい。作成された二値画像では、固定ノイズが除外されるため、放出光に由来する明領域の画像上の重心を放出光の中心とみなすことができる。

上述のとおり、本実施形態に係る処理システム１０では、対象物に物理的なマーカーを付与することなく、対象物自体の所定の領域から放出される放出光をマーカーをとして機能させることができる。かかるマーキング方法により、対象物に物理的なマーカーを取り付けたり蓄光物質を塗布したりする構成に比べて、対象物の見た目や形状を変化させることなく、かつ対象物の可動性を損なうことなく、対象物の計測をすることができる。また、マーカーを取り付ける手間が省けるため、作業効率が向上する。

本実施形態に係る処理システム１０では、対象物の色、素材、及び形状等に依らずマーカーが付与されるため、対象物１００の外観や形状に対してロバストにマーカーを付与することができる。これにより、例えば白色無地の対象物であっても高い精度で計測することができる。

本実施形態に係る処理システム１０では、対象物の全体又は一部に予め含まれる蓄光成分による数ミリ秒～数百ミリ秒程度の発光がマーカーに用いられている。従って、例えば比較的高い強度のレーザを用いる場合に比べて、対象物を破壊したり、光変質により対象物の照射領域に痕跡を残したりすることなく、マーキングを行うことができる。

例えばプロジェクタにより対象物にパターン光を投影する構成では、対象物が移動すると対象物に対するパターン光の位置がずれるため、当該パターン光を対象物のマーカーとして用いることはできない。他方、本実施形態に係る処理システム１０では、一度マーキングが完了すると、その後対象物１００が移動したとしても、同じ領域から放出光が発光持続時間にわたって放出し続けるため、対象物のトラッキング等に適用することができる。

上記特許文献２に記載された構成では、発光手段による発光のタイミングと、受光手段による受光のタイミングとの関係、及び発光手段と受光手段の間の距離に基づいて、搬送ベルトの速度が算出される。他方、本実施形態に係る処理システム１０では、照射装置と撮像装置との間の距離にかかわらず、放出光の位置の推移に基づいて対象物の撮像装置に対する相対速度を算出することができる。従って、処理システム１０では、上記特許文献２に記載された構成に比べて、測定可能な対象物の移動の自由度が向上し、例えば対象物の角速度を測定することができる。

なお、上述の実施形態においては、処理システム１０の適用例として対象物のトラッキングを行う場合を例に説明したが、本実施形態に係る処理システムは、他の様々な用途に用いられてもよい。

例えば、処理システム１０は、外部環境に対して高速に移動しつつ外部環境を検査する検査システムに適用されてもよい。移動体を起点とした外部環境のセンシングは、移動体が高速に移動するほど効率が良い。しかしながら、移動体が高速に移動すると、モーションブラーが発生するため、対象物の相対的移動を高精度に補償する必要がある。この点、本処理システムによると、対象物の角速度を算出することができるため、高精度かつ安定した外部環境のセンシングが可能となる。具体的には、例えば、道路や電車等のようなインフラの検査や、工場ラインのように移動を伴うライン検査に用いることができる。この場合、従来の検査システムに比べて、高い効率で検査を行うことができる。

図１０は、本実施形態の第１変形例に係る処理システムの機能ブロックを示す図である。なお、本変形例以降では、上述の実施形態と共通の事柄についての記述を省略し、異なる点についてのみ説明する。特に、同様の構成による同様の作用効果については実施形態毎には逐次言及しない。

本変形例に係る処理システム１０Ａは、上述の処理システム１０に比べて、制御装置１３Ａが変調部１３３をさらに備える点において相違する。例えば複数の処理システムが同時にマーキングを行う場合、各処理システムは、各照射光がどの処理システムに由来する照射光であるかを識別するために、照射光を変調させる変調部１３３を備える。

変調部１３３は、例えば二次元平面上に広がる照射光の図形パターンを変化させることにより、照射光を空間変調させてもよい。照射光を点以外の図形パターンとすると、照射光に応じて放出光もまた図形パターンを帯びるため、当該放出光の図形パターンに基づいてマーカーの種類を識別することができる。例えば、処理システム１０Ａは、照射装置１１の照射口に設けられた回折格子をさらに備え、様々な方向に傾いた直線状の照射光を生成してもよい。

図１１Ａ及び図１１Ｂは、空間変調させた照射光を牛乳パックに照射した場合に撮像装置により撮像された画像を示す図である。図１２Ａ及び図１２Ｂは、空間変調させた照射光をスケッチブックに照射した場合に撮像装置により撮像された画像を示す図である。図１１Ａ及び図１２Ａは、照射光の照射中に撮像された画像を示し、図１１Ｂ及び図１２Ｂは、照射光の停止直後に撮像された画像を示す。なお、撮像装置のフレームレートは１２０ｆｐｓであり、照射光の形状を直線状とした場合の画像である。

図１１Ｂ及び図１２Ｂに示されるように、直線状の照射光を照射すると、照射光の停止後においても直線状の放出光が撮像されていることが分かる。これらの放出光は異なる方向に沿って伸びており、放出光の伸びる方向を検出することにより、いずれの照射光に由来する放出光であるかを識別することができる。照射光の図形パターンが非対称性を有する場合、放出光の図形パターンの向きから、対象物の方向を区別してもよい。

また、変調部１３３は、照射光を静的に空間変調させる代わりに動的に空間変調させてもよい。例えば変調部１３３は、放出光の発光持続時間内において点状の照射光を図形状に移動させながら照射することにより、図形パターンの放出光を生成してもよい。図形パターンは、例えば直線状、矩形状、円形状、多角形状を含む。互いに異なる図形パターンの放出光を放出させることにより、各放出光が識別可能となる。

放出光は、時間の経過とともに徐々に弱まるため、図形パターンの放出光を生成するためには、最初の照射に対応する放出光の発光持続時間内に照射光の図形状の移動を完了させる必要がある。例えば、図７に示されるように照射装置１１が持続的な照射光を照射し、長さｑの直線状のパターンを生成する場合を考える。半径ｒの円形の照射光が時間ｔにわたって照射された場合における放出光の発光持続時間をｍｔとし、照射光の移動速度をｖとする。この直線状のパターンの任意の点が半径ｒの照射光で時間ｔ照らされるためには、照射光の移動速度ｖがｖ≦２ｒ／ｔ（式１）を満たす必要がある。また、移動速度ｖで発光持続時間ｍｔ以内に長さｑを照射するためには、移動速度ｖはｑ＋２ｒ≦ｖｍｔ（式２）を満たす必要がある。式１及び式２より、処理システム１０Ａは、ｑ≦２（ｍ－１）ｒを満たす長さｑの直線状のパターンを生成することができる。

あるいは変調部１３３は、光の照射強度を変化させることにより照射光を強度変調させてもよい。例えば、処理システム１０Ａは、照射装置１１の照射口に設けられたＮＤ（Neutral Density）フィルタをさらに備え、ＮＤフィルタにおける光の透過率に応じて光の照射強度を変化させてもよい。ＮＤフィルタには、回転させることにより光の透過率を変化させることができ、その回転角度が大きいほど光学濃度が線形に高くなる（すなわち、透過率が小さくなる）特性を持つものがある。従って、変調部１３３は、例えばこのようなＮＤフィルタの回転角を制御して光の透過率を変化させることにより、照射光の強度を変化させてもよい。

図１３は、照射光を強度変調させた場合における発光データを示す図である。同図に示される発光データＬ１～Ｌ３とは、牛乳パックに対して照射光を１００ｍｓにわたって照射し、撮像装置１２によって撮像された画像中、照射光が照射されていた領域における中心座標の画素の画素値を表したものである。発光データＬ１はＮＤフィルタを設けない場合の結果であり、発光データＬ２はＮＤフィルタを９０度回転させた場合（すなわち、透過率は３０％程度）の結果であり、発光データＬ３はＮＤフィルタを１８０度回転させた場合（すなわち、透過率は数％程度）の結果である。ここで、画像フレーム１３～２０の間で画素値は１０００程度で飽和する現象が認められるが、これは放出光の発光強度がＣＭＯＳイメージセンサのダイナミックレンジを超えてしまったことによる計測上の問題によるものであり、本質的な現象ではないことに留意されたい。なお、撮像装置１２は、ゲインが５．０に設定されたイメージインテンシファイアを組み合わせたＣＭＯＳカメラである。１０～１１フレーム目までは照射光を照射している時間に相当するため撮像を行わず、１１～１２フレーム目以降が放出光の画素値に相当する。

図１４Ａ及び図１４Ｂは、図１３の発光データＬ１に対応する条件において撮像された画像の一部を示す図である。図１５Ａ及び図１５Ｂは、図１３の発光データＬ２に対応する条件において撮像された画像の一部を示す図である。図１６Ａ及び図１６Ｂは、図１３の発光データＬ３に対応する条件において撮像された画像の一部を示す図である。図１４Ａ、図１５Ａ及び図１６Ａは、それぞれ照射光の停止直後に撮像された画像（図１３の１１フレーム目）を示し、図１４Ｂ、図１５Ｂ及び図１６Ｂは、それぞれ照射光の停止から１００ｍｓ後に撮像された画像（図１３の２２フレーム目）を示す。

図１３に示されるグラフから、照射光の強度が強いほど、同時刻における画素値が高くなっていることが分かる。ここから、照射光の強度の変調により放出光を識別可能であると言える。

上述の変調方式のほか、変調部１３３は、照射光の照射周期を変化させる時間変調、照射光のスペクトルを変化させる波長変調、又は照射光をパルス状に変調させるパルス符号変調などの変調方式により照射光を変調させてもよい。パルス符号変調の場合、撮像される放出光のコントラスト比を確保するため、放出光の減衰時間を考慮してパルスを打ち込むことが好ましい。例えば、予め得られた放出光の減衰曲線に基づいて、放出光のレベルが最大値から所定の割合まで低下した際に次の照射光の照射を行うなどの条件があることが好ましい。

これらのいずれの変調方式においても、互いに異なるように変調された照射光が照射され、変調された照射光に基づく放出光を撮像部が撮像することにより、検出部が検出したマーカーがどの処理システムによって付与されたマーカーであるかを識別することができる。なお、各処理システムは、撮像部の前段に、変調された照射光に基づく放出光を選択的に通すフィルタを備えていてもよい。また、例えば空間変調されるとともに時間変調された照射光のように、それぞれの変調方式が重複して適用されてもよい。

また、一つの処理システムにおける照射装置が複数回にわたってマーカーを付与する場合に、複数回にわたる照射光を互いに異なるように変調してもよい。この場合、撮像部が同時に複数のマーカーを撮像した場合であっても、検出されたマーカーがいつ付与されたマーカーであるかを識別することができる。

図１７は、本実施形態の第２変形例に係る処理システムの機能ブロックを示す図である。

本変形例に係る処理システム１０Ｂは、上述の処理システム１０に比べて、照射装置１１が二次元平面上に広がる照射光を対象物１００に照射し、制御装置１３Ｂがマッチング部１３４をさらに備える点において相違する。

照射装置１１が照射する照射光は、対象物１００に対向する二次元平面上に広がるランダムパターン状のパターン光である。このような照射光が照射されることにより、対象物１００ではランダムパターン状の領域から放出光が放出される。すなわち、処理システム１０Ａでは、対象物１００がランダムパターン状にマーキングされる。

撮像装置１２は、対象物１００自体から放出されたランダムパターン状の放出光を、複数のタイミングにわたって撮像する。なお、撮像装置１２は、ランダムパターン状の放出光の少なくとも一部を撮像可能な画角を有するものとする。

マッチング部１３４は、撮像装置１２により撮像された複数の画像を用いてパターンマッチングを行う。これにより、処理システム１０Ｂは、画像内における対象物の相対位置や相対姿勢等を計測することができる。

従来知られていたように、物理的なマーカーを対象物に取り付けたり蓄光物質を塗布したりするといった人為的な方法によっては、マーカーをランダムパターン状に付与することが困難であり得る。この点、処理システム１０Ｂでは、照射光のパターンどおりに放出光を放出させることができるため、ランダムパターン状のマーカーを容易に付与することができる。ランダムパターン状のマーカーを用いてパターンマッチングを行うことにより、例えば所定の規則を持ったパターン状のマーカーを用いる構成に比べて、高い精度でパターンマッチングを行うことができる。なお、照射光のパターンをランダムパターンに限定する意図ではなく、照射光は他の様々なパターンを有していてよい。

図１８は、本実施形態の第３変形例に係る処理システムの構成例を示す図である。

図１８に示されるように、処理システム１０Ｃは、処理システム１０に比べてミラー１４，１５をさらに備える。なお、図１８においては、制御装置１３の図示が省略されている。

ミラー１４は、対象物１００から放出される放出光を撮像装置１２へと導く、光路制御部の一具体例である。ミラー１５は、照射装置１１から照射された照射光を対象物１００の任意の領域に導く、光路制御部の一具体例である。

ミラー１４，１５は、例えば、固定されたミラーであってもよく、制御装置１３により動作が制御される１軸又は２軸等のガルバノミラーであってもよい。図１８では一例として、ミラー１４が固定されたミラーであり、ミラー１５がガルバノミラーである例が示されている。処理システム１０Ｃでは、ミラー１５としてガルバノミラーが用いられることにより、照射装置１１自体を動かすよりも高速に照射光の照射方向を制御することができる。従って、照射装置１１に対して対象物１００が相対的に移動する場合であっても、対象物１００の特定の領域に照射光を照射し続けやすくなる。また、例えば対象物のサイズが小さい場合や、対象物の表面に照射の制約がある場合であっても、対象物にマーカーを付与しやすくなる。

処理システム１０Ｃを用いて、例えば照射装置１１が放出光の発光持続時間より短いインターバルで間欠的に照射光を照射する場合に、前回の照射に対応する放出光が消失する前に、当該放出光に重なるように新たな照射光を照射してもよい。具体的には、制御装置１３におけるトラッキング部１３２が、対象物１００から放出される放出光の相対位置及び相対速度を算出し、算出された放出光の相対位置及び相対速度に基づいて、次の照射光を照射すべき位置を算出する。制御装置１３は、算出された位置に照射光が照射されるようにミラー１５を制御する。これにより、前回の照射に対応する放出光に新たな放出光が重畳され、対象物の所定の領域から時間的に途切れない放出光を放出させることができる。言い換えると、放出光の発光持続時間より長くマーカーを持続させることができる。

なお、次回の照射光を照射すべき位置の算出において、撮像装置１２による撮像工程、制御装置１３による画像処理工程、ミラー１５の制御工程、及び照射光の照射工程等の各工程における遅延により、照射位置が前回の照射位置からずれる場合、制御装置１３は、これらの遅延を考慮して照射すべき位置を算出してもよい。

ミラー１４，１５は、必ずしも両方備えられていなくてもよく、いずれか一方が備えられていてもよい。また、いずれか一方のミラーが、照射装置１１による照射光の光路の制御と、撮像装置１２による撮像の光路の制御とを兼ねていてもよい。

以上、本実施形態に係る処理システム１０，１０Ａ～１０Ｃについて説明したが、上述の実施形態及び各変形例は、本発明の一具体例であり、これに限定されない。例えば、上述の実施形態及び各変形例では、蓄光現象を利用して対象物から蛍光又は燐光が放出される例が示されているが、対象物から放出される放出光は蛍光及び燐光に限られず、例えば熱励起により生じる赤外線であってもよい。この場合、撮像装置は、赤外線を撮像可能なサーモグラフィであってもよい。この態様によっても、対象物の外観や形状に依存せず、対象物における温度上昇現象により放出光が放出されるため、上述の実施形態と同様に対象物の外観や形状に対してロバストにマーカーを付与することができる。

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

１０，１０Ａ～１０Ｃ…処理システム、１１…照射装置、１２…撮像装置、１３，１３Ａ，１３Ｂ…制御装置、１４，１５…ミラー、２０…ＣＰＵ、２１…ＲＡＭ、２２…ＲＯＭ、２３…通信部、２４…入力部、２５…表示部、１００…対象物、１１０…照射部、１２０…撮像部、１３０…設定部、１３１…検出部、１３２…トラッキング部、１３３…変調部、１３４…マッチング部、２００…放出光

Claims (11)

1. 対象物に照射光を照射する照射部と、
   前記照射光の照射に応じて前記対象物自体から放出された放出光を撮像する撮像部と、
   前記撮像部で撮像された画像に基づいて、前記放出光を前記対象物のマーカーとして検出する検出部と、
   前記検出部で検出された各画像におけるマーカーのマッチングを行うマッチング部と、を備え、
   前記照射光は、二次元平面上に広がるランダムパターン状のパターン光を含み、
   前記撮像部は、前記照射光に応じて前記対象物自体から放出されたランダムパターン状の放出光を複数のタイミングにわたって撮像し、
   前記マッチング部は、複数のタイミングにわたって撮像された複数の画像に基づいて、ランダムパターン状のマーカーのマッチングを行う、処理システム。
2. 前記照射部は、前記対象物に対して、前記放出光の発光持続時間より短いインターバルで前記照射光を間欠的に照射する、
   請求項１に記載の処理システム。
3. 前記処理システムは、前記検出部で検出されたマーカーに基づいて前記対象物をトラッキングするトラッキング部を含み、
   前記照射部は、前記トラッキング部でトラッキングされた前記対象物の位置に基づいて、前記対象物上の特定の領域に前記照射光を照射する、
   請求項２に記載の処理システム。
4. 前記処理システムは、前記照射光を変調させる変調部をさらに備え、
   前記撮像部は、前記変調された照射光に基づく放出光を撮像することにより、前記検出部で検出されるマーカーを識別可能とする、
   請求項１から３のいずれか一項に記載の処理システム。
5. 前記照射部から照射された照射光を前記対象物の任意の領域に導く光路制御部をさらに備える、
   請求項１から４のいずれか一項に記載の処理システム。
6. 前記撮像部は、前記放出光を１００ｆｐｓ以上のフレームレートで撮影する高速カメラを含む、
   請求項１から５のいずれか一項に記載の処理システム。
7. 前記撮像部は、前記対象物への前記照射光の照射を止めた後に前記対象物自体から放出された放出光を撮像する、
   請求項１から６のいずれか一項に記載の処理システム。
8. 前記放出光は、前記照射光の照射後に前記対象物自体から放出された遅延蛍光又は燐光を含む、
   請求項１から７のいずれか一項に記載の処理システム。
9. 対象物に照射光を照射することと、
   前記照射光の照射に応じて前記対象物自体から放出された放出光を撮像することと、
   撮像された画像に基づいて、前記放出光を前記対象物のマーカーとして検出することと、
   検出された各画像におけるマーカーのマッチングを行うことと、を含み、
   前記照射光は、二次元平面上に広がるランダムパターン状のパターン光を含み、
   前記撮像する際には、前記照射光に応じて前記対象物自体から放出されたランダムパターン状の放出光を複数のタイミングにわたって撮像し、
   前記マッチングを行う際には、複数のタイミングにわたって撮像された複数の画像に基づいて、ランダムパターン状のマーカーのマッチングを行う、マーキング方法。
10. 請求項９に記載のマーキング方法において検出されるマーカー。
11. コンピュータを、
    対象物に照射光を照射する照射部、
    前記照射光の照射に応じて前記対象物自体から放出された放出光を撮像する撮像部、
    前記撮像部で撮像された画像に基づいて、前記放出光を前記対象物のマーカーとして検出する検出部、及び
    前記検出部で検出された各画像におけるマーカーのマッチングを行うマッチング部として機能させるプログラムであって、
    前記照射光は、二次元平面上に広がるランダムパターン状のパターン光を含み、
    前記撮像部は、前記照射光に応じて前記対象物自体から放出されたランダムパターン状の放出光を複数のタイミングにわたって撮像し、
    前記マッチング部は、複数のタイミングにわたって撮像された複数の画像に基づいて、ランダムパターン状のマーカーのマッチングを行う、マーキングプログラム。

Images