WO2021181867A1 - 処理システム、処理方法、及び処理プログラム - Google Patents

Abstract

マーカーを取り付けることなく対象物の所定の領域をマーカーとして検出可能な処理システム、処理方法、及び処理プログラムを提供する。処理システムは、対象物に照射光を照射する照射部と、照射光の照射に応じて対象物自体から放出された放出光を撮像する撮像部と、撮像部で撮像された画像に基づいて、放出光を対象物のマーカーとして検出する検出部と、検出部で検出された放出光に基づいて、所定の処理を実行する処理部と、を備える。

Description

処理システム、処理方法、及び処理プログラム 関連出願の相互参照

　本出願は、２０２０年３月１０日に出願された日本出願番号２０２０－０４０４７９号に基づくもので、ここにその記載内容を援用する。

　本発明は、処理システム、処理方法、及び処理プログラムに関する。

　従来、コンピュータビジョンを用いて物体の位置情報や姿勢情報を取得する、いわゆる物体トラッキングが様々な場面において活用されている。このような物体トラッキングにおける一般的な手法として、例えば、画像処理により対象物の特徴点を検出し、検出された特徴点を追跡することにより対象物の位置情報や姿勢情報を推定する方法がある（非特許文献１参照）。しかしながら、この方法によると、特徴点の検出において対象物の形状、テクスチャ又は動きなどの影響を受けるため、特徴点の検出精度が不十分となる恐れがある。
　この問題に対処するため、特徴点となるマーカーをあらかじめ対象物に取り付ける方法がある。このようなマーカーの一例として、それ自体が発光することにより検出可能となるマーカー（アクティブマーカー）が知られている。例えば、下記特許文献１には、吊上げロープから吊下された荷の位置決めを行うために、荷上にマーカーとなる複数の発光ダイオードを配置し、当該複数の発光ダイオードの発光をビデオカメラにより撮影する方法が開示されている。また、下記特許文献２には、インクジェット記録装置における搬送ベルトの移動量を検知するため、搬送ベルトの表面に蓄光物質を事前に塗布しておき、この塗布領域に所定のパターンの光を照射することにより、当該照射した部分の蓄光物質を発光させてマーカーとして利用する構成が開示されている。

特表平５－５０５７８８号公報 特開２０１２－６６４６０号公報

Alper Yilmaz, Omar Javed, and Mubarak Shah,"Object Tracking: A Survey," ACM Computing Surveys, Vol.38, No.4, Article 13, (2006)

　しかしながら、上記特許文献１及び特許文献２に開示される構成によると、対象物にマーカーとなり得る光源や蓄光物質を設置したり塗布したりする手間が事前に生じ、かつ対象物の外観や形状に変化が生じてしまう。他方、マーカーを用いずに対象物の特徴点を検出しようとすると、上述のとおり特徴点の検出精度が不十分となり得る。

　そこで、本発明は、マーカーとして利用され得るものを対象物に対して設置や塗布等することなく、対象物の所定の領域をマーカーとして用いることの可能な処理システム、処理方法、及び処理プログラムを提供する。

　本発明の一態様に係る処理システムは、対象物に照射光を照射する照射部と、照射光の照射に応じて対象物自体から放出された放出光を撮像する撮像部と、撮像部で撮像された画像に基づいて、放出光を対象物のマーカーとして検出する検出部と、検出部で検出された放出光に基づいて、所定の処理を実行する処理部と、を備える。

　この態様によれば、照射光の照射により対象物自体から放出される放出光をマーカーとして用いることにより、対象物の外観や形状を変化させることなく、かつ対象物の可動性を損なうことなく、対象物の所定の領域をマーカーとして検出し、所定の処理を実行することができる。なお、本明細書において、対象物に対して照射光を照射することにより、当該照射された部分において対象物自体から放出される放出光をマーカーとして用いることを、「放出光マーカーを付与」するということもある。

　上記態様において、処理部は、撮像部に対する対象物の相対位置、相対姿勢及び相対速度の少なくともいずれかを計測し、対象物をトラッキングしてもよい。

　この態様によれば、マーカーとして利用され得るものを対象物に対して設置や塗布等することなく、対象物の相対位置、相対姿勢及び相対速度の少なくともいずれかを計測し、対象物をトラッキングすることができる。

　上記態様において、撮像部は、ある照射に応じて対象物自体から放出された放出光を複数のタイミングにわたって撮像し、検出部は、複数のタイミングにわたって撮像された複数の画像のそれぞれから放出光を検出し、処理部は、複数の画像間における放出光の位置の推移に基づいて、対象物の撮像部に対する相対速度を算出してもよい。

　この態様によれば、ある照射に応じて放出された放出光の位置の推移に基づいて対象物の撮像部に対する相対速度が算出されるため、照射部と撮像部との間の距離にかかわらず対象物をトラッキングすることができる。

　上記態様において、撮像部は、複数のタイミングにわたる照射に応じて対象物自体からそれぞれ放出された複数の放出光を含む画像を撮像し、検出部は、画像から複数の放出光を検出し、処理部は、複数の放出光の間隔に基づいて、対象物の撮像部に対する相対速度を算出してもよい。

　この態様によれば、複数のタイミングにわたる照射に応じて放出された複数の放出光の間隔に基づいて対象物の撮像部に対する相対速度が算出されるため、照射部と撮像部との間の距離にかかわらず対象物をトラッキングすることができる。

　上記態様において、照射部は、照射光を持続的に照射させ、撮像部は、持続的な照射に応じて対象物自体から放出された放出光を含む画像を撮像し、検出部は、放出光の軌跡を検出し、処理部は、検出された放出光の軌跡に基づいて、対象物の撮像部に対する相対速度を算出してもよい。

　この態様によれば、放出光の軌跡に基づいて対象物の撮像部に対する相対速度が算出されるため、撮像部のフレームレートより細かいレートで対象物をトラッキングすることができる。

　上記態様において、撮像部は、放出光を含む多視点画像を取得し、処理部は、取得された多視点画像に含まれる放出光に基づいて対象物の形状を計測してもよい。

　この態様によれば、対象物が未知かつランダムな動きをする場合であってもリアルタイムに新たな放出光マーカーを付与し続けることができるため、簡易な方法で、マーカーが計測に影響を与えることなく、対象物の形状を計測することができる。また、形状が変化する対象物であっても、形状を計測することができる。

　上記態様において、処理部は、検出された放出光により対象物の移動の軌跡を可視化させてもよい。

　この態様によれば、対象物が液体、気体又は粉体等であっても、これらの移動の軌跡を可視化させることができる。

　上記態様において、処理部は、検出された放出光に基づいて対象物の移動の軌跡を算出し、算出された軌跡に基づいて、対象物を含む画像におけるモーションブラーの補正を行ってもよい。

　この態様によれば、ブラーカーネルを用いないブラインドデコンボリューションを行う場合に比べて、計算コストが抑えられ、かつ高精度な結果を得ることができる。放出光の輝度から対象物の速度を算出可能であるため、撮像装置の露光時間中に対象物が加速又は減速しても補正を行うことができる。

　上記態様において、処理部は、検出された放出光に基づいてモーションキャプチャを行ってもよい。

　この態様によれば、外観を損なうことなく姿勢推定を行うことができる。より制約の少ない、ダイナミックな動きに対応することができる。放出光に時間情報が含まれるため、物理的なマーカーに比べてより高精度に姿勢推定を行うことができる。また、放出光マーカーを付与する位置とタイミングを選択することができる。

　上記態様において、処理部は、処理システムの周辺環境にある対象物から検出された放出光に基づいてＳＬＡＭ（Simultaneous Localization and Mapping）を行ってもよい。

　この態様によれば、周辺環境にある対象物自体からの放出光をマーカーとして用いることで、撮影の視点が異なっていてもマーカーとして用いられる放出光を正確に検出することができ、測定精度が向上する。

　上記態様において、処理部は、検出された放出光の軌跡に基づいて、対象物の力学特性を計測してもよい。

　この態様によれば、対象物に物理的なマーカーや歪みセンサ等を取り付ける必要がないため、対象物の力学特性に影響を与えることなく計測することができ、力学特性等の計測精度が向上する。

　上記態様において、照射部は、少なくとも２つの領域を隔てる境界面に沿って照射光を照射し、処理部は、照射光に触れることで対象物から放出される放出光に基づいて、対象物が境界面に触れたか否かを判定してもよい。

　この態様によれば、照射光を照射するという比較的簡易な構成で、所定の対象物に自動的に放出光マーカーを付与することができる。

　上記態様において、処理システムは、照射部から照射された照射光を対象物の任意の領域に導く光路制御部をさらに備えていてもよい。

　この態様によれば、照射部に対して対象物が相対的に移動する場合であっても、対象物の特定の領域に照射光を照射し続けやすくなる。また、例えば対象物のサイズが小さい場合や、対象物の表面に照射の制約がある場合であっても、対象物に放出光マーカーを付与しやすくなる。

　上記態様において、撮像部は、放出光を１００ｆｐｓ以上のフレームレートで撮影する高速カメラを含んでいてもよい。

　この態様によれば、放出光の発光持続時間が数十ミリ秒以上であれば、対象物から放出された放出光を複数の画像にわたって撮像することができる。従って、蓄光材料などを塗布することなく、多くの対象物について放出光をマーカーとして用いることができる。

　上記態様において、撮像部は、対象物への照射光の照射を止めた後に対象物自体から放出された放出光を撮像してもよい。

　この態様によれば、放出光の撮像に際し、照射光と放出光を区別することができるため、精度高く放出光をマーカーとして検出することができる。

　上記態様において、放出光は、照射光の照射後に対象物自体から放出された遅延蛍光、燐光、残光、蓄光、又は赤外線を含んでいてもよい。

　この態様によれば、対象物における電子の励起により放出光が放出されるため、対象物の外観や形状に対してロバストに放出光を検出することができる。

　本発明の他の態様に係る処理方法は、対象物に照射光を照射することと、照射光の照射に応じて対象物自体から放出された放出光を撮像することと、撮像された画像に基づいて、放出光を対象物のマーカーとして検出することと、検出された放出光に基づいて、所定の処理を実行することと、を含む。

　この態様によれば、照射光の照射により対象物自体から放出光が放出されるため、対象物の外観や形状を変化させることなく、かつ対象物の可動性を損なうことなく、対象物の所定の領域をマーカーとして検出し、所定の処理を実行することができる。

　本発明の他の態様に係る処理プログラムは、コンピュータを、対象物に照射光を照射する照射部、照射光の照射に応じて対象物自体から放出された放出光を撮像する撮像部、撮像部で撮像された画像に基づいて、放出光を対象物のマーカーとして検出する検出部、及び、検出部で検出された放出光に基づいて、所定の処理を実行する処理部、として機能させる。

　この態様によれば、照射光の照射により対象物自体から放出光が放出されるため、対象物の外観や形状を変化させることなく、かつ対象物の可動性を損なうことなく、対象物の所定の領域をマーカーとして検出し、所定の処理を実行することができる。

　本発明によれば、マーカーとして利用され得るものを対象物に対して設置や塗布等することなく、対象物の所定の領域をマーカーとして用いることの可能な処理システム、処理方法、及び処理プログラムが提供される。

本発明の第１実施形態に係る処理システムの構成例を示す図である。 図１に示される制御装置の物理的構成を示す図である。 本発明の第１実施形態に係る処理システムにより取得された発光データを示す図である。 本発明の第１実施形態に係る処理システムの機能ブロックを示す図である。 照射装置がパルス状の照射光を１回照射した場合において、撮像装置により撮像される画像のイメージを示す図である。 照射装置がパルス状の照射光を間欠的に複数回照射した場合において、撮像装置により撮像される画像のイメージを示す図である。 照射装置が持続的な照射光を照射した場合において、撮像装置により撮像される画像のイメージを示す図である。 回転する対象物に照射光を照射し、照射光の停止直後に撮像装置により撮像された画像を示す図である。 回転する対象物に照射光を照射し、照射光の停止から１００ミリ秒後に撮像装置により撮像された画像を示す図である。 本発明の第１実施形態に係る処理システムにより実行されるトラッキング処理のフローチャートである。 本発明の第１実施形態の第１変形例に係る処理システムの機能ブロックを示す図である。 空間変調させた照射光を牛乳パックに照射し、その照射中に撮像装置により撮像された画像を示す図である。 空間変調させた照射光を牛乳パックに照射し、その停止直後に撮像装置により撮像された画像を示す図である。 空間変調させた照射光をスケッチブックに照射し、その照射中に撮像装置により撮像された画像を示す図である。 空間変調させた照射光をスケッチブックに照射し、その停止直後に撮像装置により撮像された画像を示す図である。 照射光を強度変調させた場合における発光データを示す図である。 図１３の発光データＬ１に対応する条件において撮像された画像の一部を示す図である。 図１３の発光データＬ１に対応する条件において撮像された画像の一部を示す図である。 図１３の発光データＬ２に対応する条件において撮像された画像の一部を示す図である。 図１３の発光データＬ２に対応する条件において撮像された画像の一部を示す図である。 図１３の発光データＬ３に対応する条件において撮像された画像の一部を示す図である。 図１３の発光データＬ３に対応する条件において撮像された画像の一部を示す図である。 本発明の第１実施形態の第２変形例に係る処理システムの機能ブロックを示す図である。 本発明の第１実施形態の第３変形例に係る処理システムの構成例を示す図である。 本発明の第２実施形態に係る処理システムの全体構成を示す図である。 本発明の第３実施形態に係る処理システムの全体構成を示す図である。 図２０に示される処理システムの動作環境において、障害物より外側のグラニュー糖に照射光を照射し、その停止直後に撮像装置により撮像された画像を示す図である。 図２０に示される処理システムの動作環境において、障害物より外側のグラニュー糖に照射光を照射し、その停止から２００ミリ秒後に撮像装置により撮像された画像を示す図である。 図２０に示される処理システムの動作環境において、障害物より内側のグラニュー糖に照射光を照射し、その停止直後に撮像装置により撮像された画像を示す図である。 図２０に示される処理システムの動作環境において、障害物より内側のグラニュー糖に照射光を照射し、その停止から２００ミリ秒後に撮像装置により撮像された画像を示す図である。 スケッチブックに照射光が照射された状態において撮像された画像を示す図である。 スケッチブックが動いている状態において撮像された画像を示す図である。 スケッチブックから放出される放出光の軌跡を示す図である。 デコンボリューションにより再構成された画像を示す図である。 本発明の第７実施形態に係る処理システムの全体構成を示す図である。 本発明の第８実施形態に係る処理システムの全体構成を示す図である。 放出光の種類を説明するための説明図である。 本発明の第１０実施形態に係る処理システムの全体構成を示す図である。 図２７に示される処理システムの動作環境において、照射時間を変えて対象物にレーザを照射した場合の温度変化の様子を例示した図である。 放出光マーカーとして点群を描画した場合の実験結果を示す図である。 放出光マーカーとして漢字の「光」を描画した場合の実験結果を示す図である。

　以下、本発明の一側面に係る実施の形態を、図面に基づいて説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。

　＜１．第１実施形態＞
　図１は、第１実施形態に係る処理システムの構成例を示す図である。処理システム１０は、対象物１００にマーカーを取り付けることなく、対象物１００自体から放出された放出光をマーカーとして用いることができるシステムである。

　図１に示されるように、処理システム１０は、例えば、照射装置１１と、撮像装置１２と、制御装置１３と、を備える。

　照射装置１１は、任意の照射条件で対象物１００に照射光を照射する。照射装置１１は、例えば、紫外線レーザや紫外ＬＥＤ（Light Emitting Diode）であってよい。照射装置１１により照射される照射光の波長は、１０ｎｍ以上であってよい。波長が１０ｎｍ以上の照射光を用いることで、対象物１００に照射光を照射する場合の管理を簡素化することができ、処理システム１０の運用コストを低く抑えることができる。また、照射装置１１は、複数の異なる波長の照射光を発生させる１又は複数の光源を含んでよい。照射装置１１は、波長可変のレーザやＬＥＤを光源として含んでもよいし、波長の異なる複数のレーザやＬＥＤを光源として含んでもよい。照射装置１１が照射する照射光は、コリメート光であってよい。照射装置１１は、例えばパルス状の照射光を単発で又は間欠的に照射してもよく、あるいは持続的に照射光を照射してもよい。

　対象物１００に照射光が照射されると、照射光が照射された対象物１００の領域から放出光が放出される。本明細書において「放出光」とは、照射光の照射に応じて対象物自体から放出される光であって、対象物における反射光よりも遅延して放出される光のことを示す。放出光は、対象物１００への照射光の照射を止めた後においても観察可能である。例えば、対象物に照射光が照射されると、対象物における励起光の吸収により分子内の電子が励起され、様々な過程を経て電子が基底状態に戻るときにエネルギーが放出される。放出光は、このような対象物における電子の励起により生じる遅延蛍光、燐光、残光又は蓄光を含む。あるいは、放出光は、対象物への光照射（光エネルギー、光励起）により光吸収され、熱エネルギーに変換（波長変換）された放出光（赤外線）であってもよい。なお、対象物１００への照射光の照射を止めることは、照射装置１１をオフにすることに限られず、例えば照射光の光路を変更することなど、照射光が対象物１００に当たらないようにする種々の構成を含む。

　撮像装置１２は、照射光の照射に応じて対象物１００から放出された放出光を撮像する。撮像装置１２が放出光を撮像することにより、放出光の位置の時間変化や発光強度の時間変化を取得することができるため、当該放出光をマーカーとして用いることで、対象物１００の各種計測が可能となる。以下では、放出光が撮像装置１２により観察可能である時間を「発光持続時間」ともいう。

　撮像装置１２は、例えば、放出光を１００ｆｐｓ以上のフレームレートで撮影する高速カメラであってよい。撮像装置１２として高速カメラを用いることにより、放出光の発光持続時間が数ミリ秒～数十ミリ秒であっても放出光を検知することができる。また、比較的短時間の露光で放出光を撮影することができるため、比較的長時間の露光で撮影を行う場合に比べて、撮像フレーム間における対象物１００の移動量を抑制したり、モーションブラーの発生を抑制したりすることができる。なお、高速カメラのフレームレートは、１０００ｆｐｓや１万ｆｐｓ以上であってもよい。

　また、撮像装置１２には、対象物１００までの距離及び対象物１００の大きさに応じて、例えば広角レンズ、ズームレンズ、又は顕微鏡レンズ（例えば、対物レンズや接眼レンズ等）が装着されてもよい。例えば対象物１００が撮像装置１２の遠くに位置する大きなものであれば、広角レンズやズームレンズが装着されてもよい。例えば対象物１００が撮像装置１２の近くに位置するミクロンオーダのような微小なもの（例えば、微生物や細菌等）であれば、顕微鏡レンズ等が装着されてもよい。撮像装置１２のレンズを適宜選択することにより、対象物１００が小さい場合は拡大し、大きい場合は縮小して画角を広くとるなどの対応が可能となる。撮像装置１２から対象物１００までの距離は、長くても短くてもよい。

　撮像装置１２の受光センサは、対象物１００から放出される放出光の波長スペクトルに応じて、任意のものが適用されてよい。対象物１００から放出される放出光の波長スペクトルは、例えば紫外領域～可視光領域であるが、対象物１００の種類や照射光の波長等によっては、赤外領域に及ぶこともあるため、適宜受光センサが選択されることが望ましい。

　撮像装置１２により撮像された放出光は、照射光を照射している間に生じた放出光及び対象物１００への照射光の照射を止めた後に生じた放出光を含む。照射光の照射を止めた後に生じた放出光を撮像することにより、照射光と放出光とを容易に区別することができる。なお、照射光と放出光を区別する方法はこれに限定されない。例えば、放出光が対象物１００における電子の励起により生じたものである場合、照射光と放出光の波長スペクトルは互いに異なるものとなる。従って、例えば撮像装置１２の光路上に、照射光の波長の光を遮蔽し、放出光の波長の光を透過するフィルタを設けることにより、照射光が撮像装置１２に直接入射することを防止してもよい。

　なお、本実施形態では、放出光が対象物１００から照射装置１１側に放出される場面が想定され、照射装置１１側に撮像装置１２が設けられた例が示されている。他方、例えば対象物１００が光透過性を有する物質であり、放出光が対象物１００を透過することにより、照射装置１１側より透過光側の方が放出光の強度が大きくなる場合は、当該透過光側に撮像装置１２が配置されてもよい。

　制御装置１３は、照射装置１１に信号を送信することにより、照射装置１１による照射を制御するとともに、撮像装置１２と信号を送受信することにより、撮像装置１２による撮像を制御する。また、制御装置１３は、撮像装置１２により撮像された画像に基づいて、放出光を検出する。制御装置１３が放出光を検出することにより、対象物１００自体から放出される放出光が対象物１００のマーカーとして機能する。このように、対象物に物理的なマーカー又はマーカーとしての機能を発揮する物質を取り付けたり塗布したりすることなく、対象物自体の所定の領域をマーカーとして機能させることを、本明細書では「マーキング」ともいう。

　図２は、図１に示される制御装置の物理的構成を示す図である。制御装置１３は、演算部に相当するＣＰＵ（Central Processing Unit）２０と、記憶部に相当するＲＡＭ（Random Access Memory）２１及びＲＯＭ（Read Only Memory）２２と、通信部２３と、入力部２４と、表示部２５と、を有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、本例では制御装置１３が１台のコンピュータで構成される場合について説明するが、制御装置１３は、複数のコンピュータが組み合わされて実現されてもよい。図２に示される構成は一例であり、制御装置１３はこれら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。

　ＣＰＵ２０は、ＲＡＭ２１又はＲＯＭ２２に記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。ＣＰＵ２０は、対象物に照射光を照射して対象物自体から放出された放出光を検出するプログラム（以下、「マーキングプログラム」ともいう。）を実行する演算部である。ＣＰＵ２０は、通信部２３や入力部２４から種々のデータを受け取り、データの演算結果を表示部２５に表示したり、ＲＡＭ２１やＲＯＭ２２に格納したりする。

　ＲＡＭ２１は、記憶部のうちデータの書き換えが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＡＭ２１は、ＣＰＵ２０が実行するマーキングプログラム等を記憶してよい。なお、これらは例示であって、ＲＡＭ２１には、これら以外のデータが記憶されていてもよいし、これらの一部が記憶されていなくてもよい。

　ＲＯＭ２２は、記憶部のうちデータの読み出しが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＯＭ２２は、例えばマーキングプログラムや、書き換えが行われないデータを記憶してよい。

　通信部２３は、制御装置１３を他の機器に接続するインターフェースである。通信部２３は、インターネット等の通信ネットワークに接続されてよい。

　入力部２４は、ユーザからデータの入力を受け付けるものであり、例えば、キーボード及びタッチパネルを含んでよい。

　表示部２５は、ＣＰＵ２０による演算結果を視覚的に表示するものであり、例えば、ＬＣＤ（Liquid Crystal Display）により構成されてよい。表示部２５は、撮像装置１２により撮像された画像等を表示してよい。

　マーキングプログラムは、ＲＡＭ２１やＲＯＭ２２等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部２３により接続される通信ネットワークを介して提供されてもよい。制御装置１３では、ＣＰＵ２０がマーキングプログラムを実行することにより、以下に説明する様々な動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、制御装置１３は、ＣＰＵ２０とＲＡＭ２１やＲＯＭ２２が一体化したＬＳＩ（Large-Scale Integration）を備えていてもよい。

　図１に戻り、対象物１００は、任意の物体であってよいが、本実施形態における対象物１００は、対象物の表面に蓄光物質が人為的に塗布されたものではなく、対象物自体の電子構造に基づく蓄光現象により数ミリ秒～数百ミリ秒程度又はそれ以上発光する物体である。対象物１００は人工物と非人工物に大別でき、人工物としては例えば、牛乳パック、スケッチブック、オフィスペーパー等の紙類、コンクリート等の構造物、グラニュー糖、砂糖、チョコレート等の食品、布や織物等の生地等を含むが、これらに限られない。非人工物としては例えば、鉱石、木材、生体（動植物、微生物、細菌等）等を含むが、これらに限られない。蓄光現象による放出光をマーカーとして用いることにより、対象物１００の外観や形状に対してロバストに放出光を検出することができる。

　対象物１００は、処理システム１０の少なくとも一部に対して相対的に移動していてもよい。例えば図１は、対象物１００が静止しており、照射装置１１、撮像装置１２及び制御装置１３が矢印の方向に一体的に移動している様子を示している。処理システム１０は、放出光をマーカーとして検出することにより、例えば対象物１００の形状、処理システム１０に対する対象物１００の相対位置、相対姿勢、及び相対速度等の計測を行うことができる。処理システム１０は、計測された相対位置、相対姿勢、及び相対速度に基づいて、実空間における対象物１００の位置、姿勢、及び速度を算出することができる。

　図３は、本実施形態に係る処理システム１０により取得された発光データを示す図である。同図に示される発光データＬとは、対象物１００の一例であるスケッチブックに対して波長が３７５ｎｍであるレーザを照射光として５００ミリ秒にわたって照射し、その停止後に撮像装置１２によって１２０ｆｐｓで画像を撮像して、撮像結果の画素から照射光が照射されていた領域における中心座標の画素の画素値を１０ビット（０～１０２３）で表したものである。図３において、横軸は画像フレーム数を示し、縦軸は照射光が照射された領域における画素値を示す。当該画素値は、放出光強度（発光強度）に対応するものである。

　発光データＬによると、照射光の照射停止直後の画素値は比較的高く、すなわち強い発光が見られるが、そこから画素値が徐々に減衰していることが読み取れる。

　照射光の照射停止後の発光データＬは、指数減衰区間Ｂ１と緩やかな減衰区間Ｂ２とに分けられる。照射光の照射を終了すると、ただちに指数減衰区間Ｂ１が始まり、画素値が指数的に減衰する。本例の場合、指数減衰区間Ｂ１は、撮像を開始してから９フレーム（７５ミリ秒）程度にわたって続いており、その間に画素値は最大値から８０％ほど減衰している。指数減衰区間Ｂ１に続いて、緩やかな減衰区間Ｂ２は、２１フレーム（１７５ミリ秒）程度にわたって続いており、その間に画素値は最小値まで減衰している。

　このことから、ある対象物における放出光の画素値の減衰特性が既知である場合、ある時間に検出された放出光の画素値に基づいて、照射光の照射停止からの経過時間を推測することができる。すなわち、放出光によって構成されたマーカーは、その位置を示す空間情報と、その経過時間を示す時間情報とをいずれも含んでいると言える。

　本例では、１台の撮像装置１２によって１２０ｆｐｓで照射光を照射した後の画像を撮像しているが、撮像装置１２は、対象物１００の放出光を１２０ｆｐｓより低いフレームレートで撮影するカメラ及び高速カメラを含んでよく、時間変化が比較的速い期間における放出光を高速カメラで撮影し、時間変化が比較的遅い期間における放出光をカメラで撮影してもよい。ここで、時間変化が比較的速い期間は、例えば指数減衰区間Ｂ１であり、時間変化が比較的遅い期間は、例えば減衰区間Ｂ２である。この場合、高速カメラは、１０ナノ秒オーダーの明るさの変化を捉えられるもの、すなわち１０⁸ｆｐｓ程度で画像を撮影するものであってよい。このように、高速カメラと比較的低速なカメラと２台のカメラを用いることで、放出光の時間変化が比較的速い期間及び遅い期間いずれにおいても、十分な時間分解能で連続画像を撮影できる。

　なお、本例では、照射光の照射時間を５００ミリ秒としているが、照射時間はこれに限定されない。照射光の波長、照射強度、照射時間等の照射条件は、基本的には対象物１００の電子構造に依存するものである。例えば対象物１００がスケッチブックの場合、照射光の照射時間を７００ミリ秒程度以上とすれば、放出光の寿命が飽和する傾向にある。このように、対象物１００に対する照射光の照射時間は、放出光の寿命が飽和する照射時間以上となるように設定されてもよい。

　処理システム１０は、様々なアプリケーションに適用可能であるが、本実施形態では対象物のトラッキングに用いられる場合について説明する。図４は、本実施形態に係る処理システムの機能ブロックを示す図である。照射装置１１は、照射部１１０を備える。撮像装置１２は、撮像部１２０を備える。制御装置１３は、設定部１３０と、検出部１３１と、処理部１３２と、を備える。

　照射部１１０は、制御装置１３による制御に基づいて、対象物１００に照射光を照射する。撮像部１２０は、制御装置１３による制御に基づいて、対象物１００から放出された放出光を撮像する。撮像された画像は、制御装置１３に送信される。なお、本実施形態では、照射装置１１が照射部１１０を備え、撮像装置１２が撮像部１２０を備える例が示されているが、これらの装置は必ずしも独立した構成でなくてもよい。例えば、制御装置１３が照射部及び撮像部の機能を備えていてもよい。

　設定部１３０は、照射装置１１が照射する照射光の照射条件を設定するとともに、撮像装置１２における撮像条件を設定する。照射光の照射条件は、照射光の波長、照射光の強度、照射光の照射時間、及び照射光のインターバルの少なくともいずれかを含む。照射光の波長は、例えば紫外領域の２００ｎｍ～４００ｎｍであってよいが、遠紫外領域の２００ｎｍ以下であってもよいし、可視光領域の４００ｎｍ以上であってもよい。

　照射光の波長は短いほど、照射光の強度は強いほど、照射光の照射時間は長いほど、放出光の発光持続時間が長くなる傾向にある。従って、対象物をトラッキングするために、照射光の波長は比較的短く、照射光の強度は比較的強く、照射光の照射時間は比較的長く設定してよい。ただし、照射光の照射時間は、一定時間以上長くしても放出光の発光持続時間が変化しなくなる場合があるため、照射光の照射時間は、放出光の発光持続時間が最大値に近くなる時間のうち最も短い時間に設定してよい。

　撮像装置１２における撮像条件は、フレームレート、フレーム周期、露光時間、及び解像度の少なくともいずれかを含む。なお、例えば撮像装置１２のフレームレートや露光時間に応じて照射光の照射条件を適宜設計してもよい。

　検出部１３１は、撮像装置１２により撮像された画像を取り込み、当該画像に基づいて、対象物１００から放出された放出光を検出する。放出光の検出方法は特に限定されないが、例えば撮像された画像を二値化処理すること、膨張処理又は収縮処理を施してＳ／Ｎ比を向上させること、抽出された複数の領域のうち輪郭が最も大きい領域を選択すること、及び選択された領域の重心の座標を求めることの少なくともいずれか１つを含んでよい。

　処理部１３２は、検出部１３１において検出された放出光の画像における位置座標に基づいて、所定の処理を実行する。本実施形態において、処理部１３２は、例えば対象物１００の形状、処理システム１０に対する対象物１００の相対位置、相対姿勢及び相対速度の少なくともいずれかを計測することにより、対象物１００をトラッキングする。処理部１３２は、計測された相対位置、相対姿勢、及び相対速度に基づいて、実空間における対象物１００の位置、姿勢、及び速度を算出する。トラッキングの具体的な手法については、物理的なマーカーや対象物の特徴点をマーカーとして用いる構成と同様の手法を用いることができるため、詳細な説明を省略する。

　上記構成により、処理システム１０は、例えば計測された対象物の実空間における位置に基づいて、対象物１００をトラッキングすることができる。対象物１００のトラッキングとは、ある画像内における対象物１００の移動を追跡すること、及び対象物１００が撮像装置の視野内に収まり続けるように対象物１００の移動に応じて撮像装置の視野方向を変動させることを含む。

　次に、図５から図７を参照して、様々な照射条件及び撮像条件において対象物をトラッキングする具体的な方法について説明する。なお、以下では便宜上、照射装置１１が点状の照射光を照射する場合を例として説明するが、照射光は点状に限られない。

　図５は、照射装置がパルス状の照射光を１回照射した場合において、撮像装置により撮像される画像のイメージを示す図である。本態様（以下、「態様Ａ」ともいう。）では、放出光の発光持続時間が撮像装置の露光時間より長いものとする。言い換えると、ある撮像において撮像された放出光の発光持続時間内に、次の画像が撮像されるものとする。図５における（ａ）から（ｄ）に示す画像は、撮像装置１２により撮像された順に並べられているものとする。

　照射装置１１がパルス状の照射光を１回照射すると、対象物１００における照射光が照射された領域から放出光が放出される。すなわち、対象物１００の所定の領域がマーキングされる。その後、対象物１００が撮像装置１２に対して相対的に移動しても、同領域から放出光が発光持続時間にわたって放出され続ける。

　撮像装置１２は、対象物１００を複数のタイミングにわたって撮像する。検出部１３１は、撮像された各画像から放出光を検出する。このとき、対象物１００は撮像装置１２に対して相対的に移動しているため、図５に示されるように、各画像間で検出される放出光の位置が徐々に推移する。従って、処理部１３２は、撮像された複数の画像における放出光の位置の推移に基づいて、対象物１００の相対速度を算出することができる。なお、図５は、対象物１００の相対速度に対して撮像装置１２の露光時間が極めて短いと仮定した場合のイメージ図である。実際には、撮像装置１２の露光時間中に対象物１００が移動すると、後述する図７のようにそれぞれの放出光が所定の長さを帯びることとなる。このことは、後述する図６においても同様である。

　例えば、図５に示されるように、複数の画像間において検出された放出光の位置が互いにＸ（ピクセル）離れており、撮像装置１２のフレーム周期がｔ（秒）である場合、対象物１００のピクセル相対速度Ｖｐは、Ｖｐ＝Ｘ／ｔ（ピクセル／秒）により算出される。例えば、撮像装置１２と対向する対象物１００の面が平面であり、対象物１００が撮像装置１２に対して並進移動する場合、上述のピクセル相対速度Ｖｐから実空間における実相対速度へと変換することができる。

　態様Ａでは、撮像装置１２のフレームレートが高いほど、各画像間において検出される放出光のピクセル間隔が狭くなるため、算出される対象物１００の相対速度の精度が向上する。また、態様Ａでは、ある照射に応じて放出された放出光の位置の推移に基づいて対象物１００をトラッキングすることができるため、放出光の発光特性によらず、また照射装置１１と撮像装置１２との間の距離にかかわらず対象物１００の相対速度を算出することができる。なお、上記では照射装置１１が照射光を１回照射する場合を例として説明したが、照射装置１１が照射光を複数回照射する場合であっても同様の方法を適用することができる。

　図６は、照射装置がパルス状の照射光を間欠的に複数回照射した場合において、撮像装置により撮像される画像のイメージを示す図である。本態様（以下、「態様Ｂ」ともいう。）では、放出光の発光持続時間が、照射光のインターバルより長いものとする。言い換えると、ある照射に応じて放出された放出光の発光持続時間内に、次の照射光が照射されるものとする。

　対象物１００は、照射装置１１に対して相対的に移動しているため、照射装置１１がパルス状の照射光を間欠的に複数（図６では４回）のタイミングにわたって同じ方向に照射すると、対象物１００における複数の異なる領域から放出光が放出される。すなわち、対象物１００の複数（図６では４つ）の領域がマーキングされる。

　撮像装置１２は、撮像装置１２に対して相対的に移動する対象物１００を少なくとも１回撮像する。検出部１３１は、撮像された画像から放出光を検出する。このとき、対象物１００は、複数の領域がマーキングされているため、１枚の画像から複数の放出光が検出される。また、放出光の強度は、対象物１００の材料における発光特性に応じて減衰するため、図６に示されるように、検出部１３１が検出する放出光の強度は、過去の照射に対応する放出光から最新の照射に対応する放出光にかけて徐々に強くなる。従って、処理部１３２は、１枚の画像上において検出される複数の放出光を、その強度に基づいて時系列順に識別することができる。これにより、処理部１３２は、強度の順序が隣り合う複数の放出光のピクセル間隔に基づいて、対象物１００の撮像装置１２に対する相対速度を算出することができる。

　例えば、図６に示されるように、１枚の画像上において検出される、強度の順序が隣り合う２つの放出光のピクセル間隔がＸ（ピクセル）であり、照射装置１１による照射間隔がｚ（秒）である場合、対象物１００のピクセル相対速度Ｖｐは、Ｖｐ＝Ｘ／ｚ（ピクセル／秒）により算出される。この場合も上述の態様Ａと同様に、撮像装置１２と対向する対象物１００の面が平面であり、対象物１００が撮像装置１２に対して並進移動する場合、ピクセル相対速度Ｖｐから実空間における実相対速度へと変換することができる。

　態様Ｂでは、照射装置１１のインターバルが短いほど、ある画像において検出される放出光のピクセル間隔が狭くなるため、算出される対象物１００の相対速度の精度が向上する。また、態様Ｂにおいても、態様Ａと同様に、照射装置１１と撮像装置１２との間の距離にかかわらず、対象物１００の相対速度を算出することができる。態様Ａ及び態様Ｂは、例えば対象物１００が変形しない場合、あるいは対象物１００のある１点の動きを追跡すれば足りる場合等に有効であり、このとき照射光の照射時間は短い方が好ましい。なお、態様Ｂにおいて、例えば対象物１００が直線状に相対移動する場合など、その移動方向が既知である場合は、放出光の発光特性を用いずに、空間的に隣り合う複数の放出光に基づいて対象物１００の相対速度を算出してもよい。

　図７は、照射装置が持続的な照射光を照射した場合において、撮像装置により撮像される画像のイメージを示す図である。なお、本態様（以下、「態様Ｃ」ともいう。）において、照射装置１１は、一度所定の時間にわたって照射し、その後停止した場合の例が示されているが、これに代えて、所定の時間にわたる照射光を複数回照射してもよく、あるいは停止することなく照射光を照射し続けてもよい。

　対象物１００は、照射装置１１に対して相対的に移動しているため、照射装置１１が持続的な照射光を照射すると、対象物１００における所定の長さを帯びた領域から放出光が放出される。すなわち、態様Ｃでは、対象物１００が線状にマーキングされる。

　撮像装置１２は、対象物１００を少なくとも１回撮像する。検出部１３１は、撮像された画像から放出光を検出する。検出された放出光の軌跡は、対象物１００が相対的に移動した軌跡を示す。ここで、放出光の強度は時間の経過とともに減衰するため、検出された放出光の強度が強いほど新たに照射された領域であり、放出光の強度が弱いほど過去に照射された領域であることが分かる。従って、処理部１３２は、１枚の画像から検出される放出光の軌跡と、放出光の強度に基づいて、対象物１００の照射装置１１に対する移動軌跡を計測することができる。態様Ｃでは、照射光の照射時間が長時間であるほど、放出光が放出される軌跡の領域が拡大するため、対象物の軌跡から得られる画像１枚あたりの情報量が増加する。

　また、放出光は、対象物１００の材料に応じた発光特性において放出される。従って、制御装置１３は、対象物１００又は対象物１００と同一の材料における放出光の発光特性を予め記憶し、記憶された発光特性と検出された対象物１００の放出光の発光特性との比較に基づいて、対象物１００の相対速度を算出してもよい。放出光の発光特性は、例えば、照射光の照射からの経過時間と放出光の発光強度との関係を示す減衰データ、放出光の発光持続時間、及び放出光の光強度の変化率などを含む。

　例えば、ある照射光の照射強度における放出光の発光持続時間τ（秒）が予め記憶され、検出された放出光の軌跡の長さをＸ（ピクセル）とすると、対象物のピクセル相対速度Ｖｐは、Ｖｐ＝Ｘ／τ（ピクセル／秒）により算出される。態様Ｃでは、上述の態様Ａ及び態様Ｂのようにパルス状の照射光を照射する態様に比べて、撮像装置１２のフレームレートや照射装置１１の照射レートの制約を受けずに、より精細かつ連続的な相対速度ベクトルを算出することができる。なお、態様Ｃにおいて、対象物１００の移動方向が既知であり、かつ放出光の発光持続時間が撮像装置の露光時間より長い場合は、放出光の発光特性を用いずに、放出光の軌跡の長さに基づいて対象物１００の相対速度を算出してもよい。

　図８Ａは、回転する対象物に照射光を照射し、照射光の停止直後に撮像装置により撮像された画像を示す図である。図８Ｂは、回転する対象物に照射光を照射し、照射光の停止から１００ミリ秒後に撮像装置により撮像された画像を示す図である。具体的に、図８Ａ及び図８Ｂに示される画像は、照射装置１１及び撮像装置１２が静止しており、撮像装置１２の撮像面と平行な平面上を角速度１７．５ｒａｄ／秒で回転する回転台に対象物の一例であるチョコレートが搭載された状況において撮像された画像を示している。本実験において、照射装置１１が照射する照射光の波長は３７５ｎｍであり、照射時間は５００ミリ秒である。撮像装置１２は、ゲインが５．０に設定されたイメージインテンシファイアを組み合わせたＣＭＯＳカメラである。なお、これ以降、特段の記載がない限り、照射光の波長は３７５ｎｍとする。撮像装置１２の解像度は６４０×４８０ピクセルであり、撮像のフレームレートは２４０ｆｐｓである。また、図８Ａ及び図８Ｂに示される画像は、撮像装置１２により撮像された元画像に、処理装置１３が所定の閾値を用いて二値化処理を施した後の画像である。

　図８Ａ及び図８Ｂに示されるように、チョコレートから放出される放出光２００の軌跡はそれぞれ円弧を描き、かつ反時計回りに強度が減衰している。後に示す図１８のように、本実験ではミラーを介してチョコレートが撮像されており、撮像画像の左右が反転している。従って、この放出光２００の軌跡から、チョコレートは時計回りに回転していることが分かる。チョコレートにおける放出光の発光持続時間をτ（秒）とし、放出光の軌跡の回転角をＹ（ｒａｄ）とすると、チョコレートの相対角速度ωは、ω＝Ｙ／τ（ｒａｄ／秒）により算出される。

　このように、ある時刻において撮像された１枚の画像に基づいて放出光の軌跡を解析する手法は、例えばレーザ照射の開始時刻に照射されていた領域の放出光が、減衰してもなお十分に観測可能な程度に残っている、発光持続時間内の観測時に用いることができる。一方、レーザの照射時間が放出光の発光持続時間よりも長い場合は、異なる時刻において撮像された２枚の画像における放出光の軌跡のうち明るい側の端点、すなわち最も直近（レーザ照射の終了直前）にレーザが照射されていた領域と対応する点をそれぞれ検出し、検出された両点間における回転台の回転中心から見た角度の差分（ｒａｄ）をフレーム間時間（秒）で割ることで相対角速度ωを算出することができる。例えば本実験の場合、図８Ａと図８Ｂのフレーム間の時刻が１００ミリ秒であり、各画像における明るい側の端点の角度の差分が１．７７ｒａｄであるため、相対角速度ωは、ω＝１．７７／０．１＝１７．７ｒａｄ／秒と算出される。ここから、チョコレートが搭載された回転台の角速度１７．５ｒａｄ／秒が概ね適切に算出されていることが分かる。

　図９は、本実施形態に係る処理システムにより実行されるトラッキング処理のフローチャートである。

　はじめに、設定部１３０は、照射装置１１の照射条件を設定するとともに（ステップＳ１０）、撮像装置１２の撮像条件を設定する（ステップＳ１１）。次に、照射装置１１は、設定された照射条件で対象物１００に照射光を照射する（ステップＳ１２）。

　次に、撮像装置１２は、照射光の照射に応じて対象物１００自体から放出された放出光を、設定された撮像条件で撮影する（ステップＳ１３）。次に、検出部１３１は、撮影された画像に基づき、放出光を検出する（ステップＳ１４）。次に、処理部１３２は、検出された放出光の推移又は軌跡に基づいて、対象物１００の相対速度を算出する（ステップＳ１５）。以上により、トラッキング処理が終了する。

　なお、上述したとおり、ステップＳ１４において、撮像された画像に様々な画像処理が施されてもよい。例えば、放出光の検出に関して、撮像された画像に撮影時の固定ノイズ等が含まれる際、これらを除去した上で放出光を検出してもよい。例えば、放出光が減衰して十分な時間が経過した後の画像を別途撮像し、画素値の最大値を取ることにより固定ノイズの画素値の大きさを評価し、その評価値を閾値として二値画像を作成してもよい。作成された二値画像では、固定ノイズが除外されるため、放出光に由来する明領域の画像上の重心を放出光の中心とみなすことができる。

　上述のとおり、本実施形態に係る処理システム１０では、対象物に物理的なマーカーを付与することなく、対象物自体の所定の領域から放出される放出光をマーカーとして機能させることができる。かかるマーキング方法により、対象物に物理的なマーカーを取り付けたり蓄光物質を塗布したりする構成に比べて、対象物の外観や形状を変化させることなく、かつ対象物の可動性を損なうことなく、対象物の計測をすることができる。

　本実施形態に係る処理システム１０では、対象物１００が存在する環境が大気中、真空中、又は液体中であってもマーカーとしての機能を発揮することができる。また、対象物１００が電場や磁場下にあっても、これらの影響を受けない。

　本実施形態に係る処理システム１０では、対象物の色、素材、及び形状等に依らずロバストに放出光マーカーを付与することができる。これにより、例えば白色無地の対象物であっても高い精度で計測することができる。

　本実施形態に係る処理システム１０では、対象物を構成する物質自体の電子構造に基づいて数ミリ秒～数百ミリ秒程度発光する放出光がマーカーとして用いられている。従って、例えば比較的高い光強度のレーザを用いる場合に比べて、対象物を破壊したり、光変質により対象物の照射領域に痕跡を残したりすることなく、マーキングを行うことができる。

　例えばプロジェクタにより対象物にパターン光を投影する構成では、対象物が移動すると対象物に対するパターン光の位置がずれるため、当該パターン光を対象物のマーカーとして用いることはできない。他方、本実施形態に係る処理システム１０では、一度マーキングが完了すると、その後対象物１００が移動したとしても、同じ領域から放出光が発光持続時間にわたって放出し続けるため、対象物のトラッキング等に適用することができる。

　上記特許文献２に記載された構成では、発光手段による発光のタイミングと、受光手段による受光のタイミングとの関係、及び発光手段と受光手段の間の距離に基づいて、搬送ベルトの速度が算出される。他方、本実施形態に係る処理システム１０では、照射装置と撮像装置との間の距離にかかわらず、放出光の位置の推移に基づいて対象物の撮像装置に対する相対速度を算出することができる。従って、処理システム１０では、上記特許文献２に記載された構成に比べて、測定可能な対象物の移動の自由度が向上し、例えば対象物の角速度を測定することができる。

　なお、上述の実施形態においては、処理システム１０の適用例として処理部１３２が対象物のトラッキングを行う場合を例に説明したが、本実施形態に係る処理システムは、他の様々な用途に用いられてもよい。

　図１０は、本実施形態の第１変形例に係る処理システムの機能ブロックを示す図である。なお、本変形例以降では、上述の実施形態と共通の事柄についての記述を省略し、異なる点についてのみ説明する。特に、同様の構成による同様の作用効果については実施形態及び変形例毎には逐次言及しない。

　本変形例に係る処理システム１０Ａは、上述の処理システム１０に比べて、制御装置１３Ａが変調部１３３をさらに備える点において相違する。例えば複数の処理システムが同時にマーキングを行う場合、各処理システムは、各照射光がどの処理システムに由来する照射光であるかを識別するために、照射光を変調させる変調部１３３を備える。なお、図１０では、制御装置１３Ａが変調部１３３を構成する例が示されているが、変調部を構成する構成要素は制御装置１３Ａに限られず、例えば照射装置であってもよく、あるいは照射装置、撮像装置、及び制御装置とは別に設けられた構成要素であってもよい。

　変調部１３３は、例えば二次元平面上に広がる照射光の図形パターンを変化させることにより、照射光を空間変調させてもよい。照射光を点以外の図形パターンとすると、照射光に応じて放出光もまた図形パターンを帯びるため、当該放出光の図形パターンに基づいてマーカーとして用いられる放出光の種類を識別することができる。例えば、処理システム１０Ａは、照射装置１１の照射口に設けられた回折格子をさらに備え、様々な方向に傾いた直線状の照射光を生成してもよい。この場合、変調部は回折格子を含んでいてもよい。

　図１１Ａ及び図１１Ｂは、空間変調させた照射光を牛乳パックに照射した場合に撮像装置により撮像された画像を示す図である。図１２Ａ及び図１２Ｂは、空間変調させた照射光をスケッチブックに照射した場合に撮像装置により撮像された画像を示す図である。図１１Ａ及び図１２Ａは、照射光の照射中に撮像された画像を示し、図１１Ｂ及び図１２Ｂは、照射光の停止直後に撮像された画像を示す。なお、撮像装置のフレームレートは１２０ｆｐｓであり、照射光の形状を直線状とした場合の画像である。

　図１１Ｂ及び図１２Ｂに示されるように、直線状の照射光を照射すると、照射光の停止後においても直線状の放出光が撮像されていることが分かる。これらの放出光は異なる方向に沿って伸びており、放出光の伸びる方向、すなわち放出光の図形パターンの向きを検出することにより、いずれの照射光に由来する放出光であるかを識別することができる。さらに、照射光の図形パターンが非対称性を有する場合、放出光の図形パターンの向きから、対象物の方向を識別してもよい。

　また、変調部１３３は、照射光を静的に空間変調させる代わりに動的に空間変調させてもよい。例えば変調部１３３は、放出光の発光持続時間内において点状の照射光を図形状に移動させながら照射することにより、図形パターンの放出光を生成してもよい。照射光の移動は、例えば制御装置１３Ａにより動作が制御される１軸又は２軸等のガルバノミラーを用いて実現してもよい。図形パターンは、例えば直線状、矩形状、円形状、多角形状を含む。互いに異なる図形パターンの放出光を放出させることにより、各放出光が識別可能となる。なお、照射光の動的な空間変調は、例えばＤＭＤ（Digital Mirror Device）やＬＣｏＳ（Liquid Crystal on Silicon）等のデバイスを用いて実現してもよい。

　放出光は、時間の経過とともに徐々に弱まるため、図形パターンの放出光を生成するためには、最初の照射に対応する放出光の発光持続時間内に照射光の図形状の移動を完了させる必要がある。例えば、図７に示されるように照射装置１１が持続的な照射光を照射し、長さｑの直線状のパターンを生成する場合を考える。半径ｒの円形の照射光が時間ｔにわたって照射された場合における放出光の発光持続時間をｍｔとし、照射光の移動速度をｖとする。この直線状のパターンの任意の点が半径ｒの照射光で時間ｔ照らされるためには、照射光の移動速度ｖがｖ≦２ｒ／ｔ（式１）を満たす必要がある。また、移動速度ｖで発光持続時間ｍｔ以内に長さｑを照射するためには、移動速度ｖはｑ＋２ｒ≦ｖｍｔ（式２）を満たす必要がある。式１及び式２より、処理システム１０Ａは、ｑ≦２（ｍ－１）ｒを満たす長さｑの直線状のパターンを生成することができる。

　あるいは変調部１３３は、光の照射強度を変化させることにより照射光を強度変調させてもよい。例えば、処理システム１０Ａは、照射装置１１の照射口に設けられたＮＤ（Neutral Density）フィルタをさらに備え、ＮＤフィルタにおける光の透過率に応じて光の照射強度を変化させてもよい。ＮＤフィルタには、回転させることにより光の透過率を変化させることができ、その回転角度が大きいほど光学濃度が線形に高くなる（すなわち、透過率が小さくなる）特性を持つものがある。従って、変調部１３３は、例えばこのようなＮＤフィルタの回転角を制御して光の透過率を変化させることにより、照射光の強度を変化させてもよい。なお、ＮＤフィルタは吸収型、反射型いずれであっても構わない。

　図１３は、照射光を強度変調させた場合における発光データを示す図である。同図に示される発光データＬ１～Ｌ３とは、牛乳パックに対して照射光を１００ミリ秒にわたって照射し、撮像装置１２によって撮像された画像中、照射光が照射されていた領域における中心座標の画素の画素値を表したものである。発光データＬ１はＮＤフィルタを設けない場合の結果であり、発光データＬ２はＮＤフィルタを９０度回転させた場合（すなわち、透過率は３０％程度）の結果であり、発光データＬ３はＮＤフィルタを１８０度回転させた場合（すなわち、透過率は数％程度）の結果である。なお、撮像装置１２は、ゲインが５．０に設定されたイメージインテンシファイアを組み合わせたＣＭＯＳカメラである。１０～１１フレーム目までは照射光を照射している時間に相当するため撮像を行わず、１１～１２フレーム目以降が放出光の画素値に相当する。

　図１４Ａ及び図１４Ｂは、図１３の発光データＬ１に対応する条件において撮像された画像の一部を示す図である。図１５Ａ及び図１５Ｂは、図１３の発光データＬ２に対応する条件において撮像された画像の一部を示す図である。図１６Ａ及び図１６Ｂは、図１３の発光データＬ３に対応する条件において撮像された画像の一部を示す図である。図１４Ａ、図１５Ａ及び図１６Ａは、それぞれ照射光の停止直後に撮像された画像（図１３の１１フレーム目）を示し、図１４Ｂ、図１５Ｂ及び図１６Ｂは、それぞれ照射光の停止から１００ミリ秒後に撮像された画像（図１３の２２フレーム目）を示す。

　図１３に示されるグラフから、照射光の強度が強いほど、同時刻における画素値が高くなっていることが分かる。ここから、照射光の強度の変調により放出光を識別可能であると言える。

　上述の変調方式のほか、変調部１３３は、照射光の照射周期を変化させる時間変調、照射光のスペクトルを変化させる波長変調、又は照射光をパルス状に変調させるパルス符号変調などの変調方式により照射光を変調させてもよい。パルス符号変調の場合、撮像される放出光のコントラスト比を確保するため、放出光の減衰時間を考慮してパルスを打ち込むことが好ましい。例えば、予め得られた放出光の減衰曲線に基づいて、放出光のレベルが最大値から所定の割合まで低下した際に次の照射光の照射を行うなどの条件があることが好ましい。

　これらのいずれの変調方式においても、互いに異なるように変調された照射光が照射され、変調された照射光に基づく放出光を撮像部が撮像することにより、検出部が検出した放出光がどの処理システムによって照射された照射光に基づく放出光であるかを識別することができる。なお、各処理システムは、撮像部の前段に、変調された照射光に基づく放出光を選択的に通すフィルタを備えていてもよい。また、例えば空間変調されるとともに時間変調された照射光のように、それぞれの変調方式が重複して適用されてもよい。

　また、１つの処理システムにおける照射装置が複数回に放出光マーカーを付与する場合に、複数回にわたる照射光を互いに異なるように変調してもよい。この場合、撮像部が同時に複数の放出光を撮像した場合であっても、検出された放出光がいつ照射された照射光に基づく放出光であるかを識別することができる。

　図１７は、本実施形態の第２変形例に係る処理システムの機能ブロックを示す図である。

　本変形例に係る処理システム１０Ｂは、上述の処理システム１０に比べて、照射装置１１が二次元平面上に広がる照射光を対象物１００に照射し、制御装置１３Ｂがマッチング部１３４をさらに備える点において相違する。

　照射装置１１が照射する照射光は、対象物１００に対向する二次元平面上に広がるランダムパターン状のパターン光である。このような照射光が照射されることにより、対象物１００ではランダムパターン状の領域から放出光が放出される。すなわち、処理システム１０Ａでは、対象物１００がランダムパターン状にマーキングされる。

　撮像装置１２は、対象物１００自体から放出されたランダムパターン状の放出光を、複数のタイミングにわたって撮像する。なお、撮像装置１２は、ランダムパターン状の放出光の少なくとも一部を撮像可能な画角を有するものとする。

　マッチング部１３４は、撮像装置１２により撮像された複数の画像を用いてパターンマッチングを行う。これにより、処理システム１０Ｂは、画像内における対象物の相対位置や相対姿勢等を計測することができる。

　従来知られていたように、物理的なマーカーを対象物に取り付けたり蓄光物質を塗布したりするといった人為的な方法によっては、ランダムパターン状のマーカーを付与することが困難であり得る。この点、処理システム１０Ｂでは、照射光のパターンどおりに放出光を放出させることができるため、ランダムパターン状の照射光を照射することにより、放出光をランダムパターン状のマーカーとして用いることができる。ランダムパターン状のマーカーを用いてパターンマッチングを行うことにより、例えば所定の規則を持ったパターン状のマーカーを用いる構成に比べて、高い精度でパターンマッチングを行うことができる。なお、照射光のパターンをランダムパターンに限定する意図ではなく、照射光は他の様々なパターンを有していてよい。また、対象物１００において、パターン光が照射される領域の形状は、二次元平面であってもよく、あるいは三次元形状であってもよい。三次元形状の場合、その表面形状が既知であれば、パターン光と対象物１００の表面形状の組み合わせによって生じる放出光のパターンを検出することで、上記と同様の計測を行うことができる。

　図１８は、本実施形態の第３変形例に係る処理システムの構成例を示す図である。

　図１８に示されるように、処理システム１０Ｃは、処理システム１０に比べてミラー１４，１５をさらに備える。なお、図１８においては、制御装置１３の図示が省略されている。

　ミラー１４は、対象物１００から放出される放出光を撮像装置１２へと導く、光路制御部の一具体例である。ミラー１５は、照射装置１１から照射された照射光を対象物１００の任意の領域に導く、光路制御部の一具体例である。

　ミラー１４，１５は、例えば、固定されたミラーであってもよく、制御装置１３により動作が制御される１軸又は２軸等のガルバノミラーであってもよい。図１８では一例として、ミラー１４が固定されたミラーであり、ミラー１５がガルバノミラーである例が示されている。処理システム１０Ｃでは、ミラー１５としてガルバノミラーが用いられることにより、照射装置１１自体を動かすよりも高速に照射光の照射位置を制御することができる。従って、照射装置１１に対して対象物１００が相対的に移動する場合であっても、対象物１００の特定の領域に照射光を照射し続けやすくなる。また、例えば対象物のサイズが小さい場合や、対象物の表面に照射の制約がある場合であっても、対象物に放出光マーカーを付与しやすくなる。

　処理システム１０Ｃを用いて、例えば照射装置１１が放出光の発光持続時間より短いインターバルで間欠的に照射光を照射する場合に、前回の照射に対応する放出光が消失する前に、当該放出光に重なるように新たな照射光を照射してもよい。具体的には、制御装置１３における処理部１３２が、対象物１００から放出される放出光の相対位置及び相対速度を算出し、算出された放出光の相対位置及び相対速度に基づいて、次の照射光を照射すべき位置を算出する。制御装置１３は、算出された位置に照射光が照射されるようにミラー１５を制御する。これにより、前回の照射に対応する放出光に新たな放出光が重畳され、対象物の所定の領域から時間的に途切れない放出光を放出させることができる。言い換えると、マーカーとして用いられる放出光の発光持続時間をより長く、かつより明るく持続させることができる。

　なお、次回の照射光を照射すべき位置の算出において、撮像装置１２による撮像工程、制御装置１３による画像処理工程、ミラー１５の制御工程、及び照射光の照射工程等の各工程における遅延により、照射位置が前回の照射位置からずれる場合、制御装置１３は、これらの遅延を考慮して照射すべき位置を算出してもよい。

　ミラー１４，１５は、必ずしも両方備えられていなくてもよく、いずれか一方が備えられていてもよい。また、いずれか一方のミラーが、照射装置１１による照射光の光路の制御と、撮像装置１２による撮像の光路の制御とを兼ねていてもよい。

　次に、上述の処理システムの他の実施形態について説明する。なお、以下に説明する各実施形態は、上述の第１変形例から第３変形例とも組み合わせ可能である。

　＜２．第２実施形態＞
　第２実施形態では、処理システム１０が対象物の三次元計測に用いられる。

　図１９は、第２実施形態に係る処理システムの全体構成を示す図である。本実施形態では、照射装置１１により照射光を対象物１００に照射し、対象物１００を手に取って動かしながら、撮像装置１２により多視点画像を取得する。処理部１３２は、取得された多視点画像に含まれる放出光に基づいて、例えば既知のdepth from motion等の手法を用いて対象物１００の三次元形状を計測する。あるいは、照射光の照射面に二次元の位置検出素子（ＰＳＤ：Position Sensing Device）を配置して照射光の照射位置を検出し、検出された照射位置と既知の撮像装置１２の相対位置とに基づいて、対象物１００の三次元座標を算出してもよい。

　また、処理システム１０は、対象物１００全体の三次元形状に限らず、例えば対象物１００の表面粗さ（テクスチャ）を測定してもよい。対象物１００の表面の傾きに応じて照射光の照射効率が変化することで、放出光にも影響が及ぶと考えられる。従って、処理システム１０は、当該放出光を検出することで対象物１００の表面の傾きを算出してもよい。

　従来の物理的なマーカーを用いる場合、対象物の全体の形状を計測するには、複数のマーカーを対象物全体に付与する必要がある。また、例えば対象物の形状が複雑である場合など、撮像する角度によってはマーカー自体が計測の障害となることもある。この点、処理システム１０によると、対象物１００が未知かつランダムな動きをする場合であってもリアルタイムに新たな放出光マーカーを付与し続けることができるため、簡易な方法で、マーカーが計測に影響を与えることなく、対象物１００全体の三次元形状を計測することができる。また、例えば柔軟体など形状が変化する対象物であっても、放出光マーカーを付与し、その形状を計測することができる。対象物１００の形状計測の結果は、例えばアーカイビングに用いてもよい。

　なお、三次元計測を効率的に行うため、照射光は二次元パターンであってもよい。対象物１００が柔軟体である場合、放出光の二次元パターンが計測中に変化し得るため、照射光のパターンをフレーム毎に更新したり、二次元パターンを断続的に照射し続けたりしてもよい。

　撮像装置１２の画角が、対象物１００から放出される放出光に対して角度を有していても、対象物１００のうち放出光が放出される領域が平坦であれば、例えば円又は楕円に映る放出光の重心を求めることで放出光の中心を検出することができる。

　互いに独立した複数の照射光を照射してもよいが、単一の点状の照射光又は二次元パターンの照射光の方が、計算コストの低減や処理システムの煩雑化の回避のためには好ましい。

　上述の第１変形例のように、照射光に時間変調をかけて周期的に点滅させてもよい。複数の撮像装置で同一の放出光を撮像して周期を観測することで、複数の撮像装置間の時間同期を取ることができる。

　独立した複数の照射光を照射する場合、これらの照射光を区別するため、照射光に時間変調をかけて照射光を異なる周期で点滅させてもよい。この場合、区別すべき放出光の種類が増えるほど高速性が失われ得る。従って、高速性を担保するため、放出光を検出する際の閾値を比較的高く設定し、放出光の発光持続時間を意図的に短くすることで、照射光の周期を短くしてもよい。撮像フレームの増加に伴って区別できる点滅周期が増加し、識別の精度が向上する。照射光の点滅間隔を利用すると誤り検出が可能となるため、放出光と放出光以外の光との区別が可能となり、これによっても放出光の検出の精度が向上する。なお、時間変調に代えてパルス符号変調をかける場合、高速性はさらに劣化し得るが、放出光の検出の精度は向上する。これらのことは、後述する他の実施形態においても同様である。

　＜３．第３実施形態＞
　第３実施形態では、処理システム１０が対象物の移動の軌跡の可視化に用いられる。対象物が、例えば液体及び気体を含む流体や粉体等である場合、対象物そのものに影響を与えずに従来の物理的なマーカーを付与したり、対象物が存在する領域に正確にマーカーを付与したりすることは困難であり、流体や粉体の移動を追跡することは難しい。この点、処理システム１０によると、流体や粉体に照射光を照射することにより、流体や粉体自体から放出光が放出されるため、流体や粉体に影響を与えずに、かつ計測したい対象物自体に正確に放出光マーカーを付与することができ、これらの移動の軌跡を可視化させることができる。

　図２０は、第３実施形態に係る処理システムの全体構成を示す図である。図２０に示される動作環境では、シャーレ３０内に対象物の一例である粉末状のグラニュー糖１００Ａが盛られ、障害物３１が固定具３２により空間に対して固定されている。シャーレ３０は、回転台（不図示）の上に設けられ、図２０に示される矢印の方向に回転することにより、シャーレ３０内のグラニュー糖１００Ａが障害物３１により攪拌される。

　照射装置１１は、グラニュー糖１００Ａに照射光を照射する。撮像装置１２は、グラニュー糖１００Ａから放出される放出光を撮像する。ミラー１６は、１軸のガルバノミラーにより構成され、照射装置１１による照射光の光路の制御と、撮像装置１２による撮像の光路の制御とを兼ねる。このような動作環境において取得された画像を図２１Ａから図２２Ｂに示す。なお、照射装置１１における照射光の照射時間は１０ミリ秒である。その他の条件については、図８Ａ及び図８Ｂを用いて説明した実験と同様であるため、詳細な説明を省略する。

　図２１Ａ及び図２１Ｂは、図２０に示される処理システムの動作環境において、障害物より外側のグラニュー糖に照射光が照射された場合において撮像装置により撮像された画像を示す図である。具体的に、図２１Ａは、照射光の照射を停止した直後に撮像された画像であり、図２１Ｂは、図２１Ａに示される画像が撮像されてから２００ミリ秒後に撮像された画像である。なお、グラニュー糖は照射光を透過することもあり、照射光が拡散することにより、図２１Ａ及び図２１Ｂでは光がある程度の広がりを持って映っている。後述する図２２Ａ及び図２２Ｂにおいても同様である。

　図２１Ａ及び図２１Ｂに表されるグラニュー糖１００Ａの放出光２１０の推移から、グラニュー糖１００Ａは障害物３１より外側に軌跡を描いて広がっていることが分かる。

　図２２Ａ及び図２２Ｂは、図２０に示される処理システムの動作環境において、障害物より内側のグラニュー糖に照射光が照射された場合において撮像装置により撮像された画像を示す図である。具体的に、図２２Ａは、照射光の照射を停止した直後に撮像された画像であり、図２２Ｂは、図２２Ａに示される画像が撮像されてから２００ミリ秒後に撮像された画像である。

　図２２Ａ及び図２２Ｂに表されるグラニュー糖１００Ａの放出光２２０の推移から、グラニュー糖１００Ａは障害物３１によりシャーレ３０の内側に押し出され、内側に向かって拡散されていることが分かる。すなわち、処理システムによりグラニュー糖の移動の軌跡が可視化されたと言える。

　この他、例えば工場の生産ラインにおいてゲル状の対象物の流れを可視化させたり、可視化されたデータに基づいて流れを最適化させたり、対象物の粘性抵抗を算出したりすることができる。例えばチョコレートの場合、固体でも流体でも色の差異がなく、温度差が小さければサーモグラフィでもチョコレートの流れを可視化することは難しい。処理システム１０によれば、チョコレートの色や温度にかかわらず流れが可視化され、流れが悪い箇所を検出することができる。

　なお、複数の位置の流れを同時に可視化するため、照射光は二次元パターンであってもよく、又は計算コストの低減のため、互いに独立した複数の照射光であってもよい。あるいは、ガルバノミラーを用いて１つの照射光を複数の照射位置に振り分けてもよい。

　また、放出光の強度分布を流体の動きの可視化に利用してもよい。例えば対象物における放出光の減衰特性が既知であれば、撮像された画像と減衰特性とを照合することで、対象物の速度や加速度を算出することができる。放出光の軌跡が撮像された少なくとも１枚の画像から対象物の速度が算出可能となり、複数の画像から対象物の加速度が算出可能となる。

　＜４．第４実施形態＞
　第４実施形態では、処理システム１０は、モーションブラーの補正に用いられる。なお、本実施形態における全体構成については、例えば図１９から類推することができるため、図示を省略する。

　画像を撮像する際には、手ぶれや対象物の移動などに伴ってモーションブラーが生じ、画質が劣化することがある。この劣化に対し、例えばブラーカーネルを補助的に用いて、撮影後に逆畳み込み演算を行う、デコンボリューションの手法が知られている。このブラーカーネルの取得に際し、例えば撮像装置に加速度センサを搭載し、撮像装置の移動の軌跡を検出する手法が知られているが、この手法では対象物の移動を反映することができない。また、二重積分を要するため、精度が劣化するおそれがある。

　この点、処理システム１０を用いれば、対象物１００に放出光マーカーを付与することにより、対象物１００の撮像とともに対象物の移動の軌跡を取得することができ、当該対象物の移動の軌跡から、相対的なブラーカーネルが算出される。すなわち、放出光の軌跡をＰＳＦ（point spread function）とし、モーションブラーが生じていない画像に当該ＰＳＦが畳み込まれたものがブラー画像であるとすると、例えば逆畳み込み演算によりブラーを除去することができる。なお、ブラーを除去するためのアルゴリズムは、単純な逆畳み込み演算に限定されず、例えばＰＳＦが既知であることにより精度が向上するそのほかのアルゴリズム（例えば、ルーシー・リチャードソン アルゴリズム等）を組み合わせてもよい。

　本実施形態によると、放出光の軌跡からブラーカーネルを取得可能であるため、ブラーカーネルを用いないブラインドデコンボリューションを行う場合に比べて、計算コストが抑えられ、かつ高精度な結果を得ることができる。また、本実施形態では、放出光の輝度から対象物の速度を算出可能であるため、撮像装置の露光時間中に対象物が加速又は減速してもよい。

　図２３Ａは、スケッチブックに照射光が照射された状態において撮像された画像を示す図である。図２３Ｂは、スケッチブックが動いている状態において撮像された画像を示す図である。図２３Ｃは、スケッチブックから放出される放出光の軌跡を示す図である。図２３Ｄは、デコンボリューションにより再構成された画像を示す図である。

　図２３Ｂから、スケッチブックの移動によりブラーがかかり、スケッチブックのエッジがぼやけていることが分かる（図２３Ｂ丸枠内参照）。図２３Ｃは、スケッチブックを撮像するための撮像装置とは別に、放出光を撮像するための撮像装置（処理システム１０の撮像装置１２に相当）によって撮像された放出光の軌跡を示している。図２３Ｄは、当該軌跡を用いて、図２３Ｂの画像に逆畳み込み演算を施して再構成した図である。図２３Ｄの画像から、スケッチブックのエッジが図２３Ｂの画像に比べて鮮明になっていることが分かる（図２３Ｄ丸枠内参照）。なお、放出光を撮像する画像の空間解像度が高いほど、ブラーカーネルの精度が向上し、ひいてはブラーの除去の精度が向上する。

　＜５．第５実施形態＞
　第５実施形態では、処理システム１０がモーションキャプチャに用いられる。モーションキャプチャの対象としては、人物やランダムウォークを行う微生物等を含めた生物が想定されるが、これらに限られない。例えばモーションキャプチャにより人物の姿勢を推定する際に、当該人物に照射光を照射し、その放出光をマーカーとして用いればよい。互いに独立した複数の放出光マーカーを付与する場合は、上述の変調方式を用いて複数の放出光を区別してもよい。なお、放出光検出後の処理は、既存のモーションキャプチャと同様の手法を用いることができるため、図を用いた説明を省略する。

　処理システム１０によれば、物理的なマーカーには不向きな微小な領域や、マーカー間の距離が十分に確保できない領域であっても、放出光マーカーを付与することができ、高いスケーラビリティを実現することができる。

　従来モーションキャプチャに用いられるマーカーは、マーカー自体が三次元形状を有していることが一般的であり、人物が動いている最中にマーカーとマーカーが擦れるなど、動きに制約が生じ得る。この点、処理システムによれば、動きの制約がなくなる。マーカーとして用いられる放出光が人物から離れることなく、動きに対して遅れなく追従するため、よりダイナミックな動きに対応することができる。また、処理システム１０によれば、放出光に時間情報が含まれるため、物理的なマーカーに比べてより高精度に姿勢推定を行える可能性がある。

　さらに、物理的なマーカーでは外観が損なわれ得るが、処理システム１０によると、放出光マーカーを付与する位置とタイミングが選択可能となる。従って、例えば推定対象となる人物と観客が同一空間にいる状況において、観客から目立たない位置及びタイミングで放出光マーカーを付与することにより、外観を損なわずに姿勢推定を行うことができる。例えば、対象人物と観客の位置関係をリアルタイムに計測し、観客から見えない位置に放出光マーカーを付与してもよい。

　＜６．第６実施形態＞
　第６実施形態では、処理システム１０がＳＬＡＭ（Simultaneous Localization and Mapping）に用いられる。なお、本実施形態における全体構成については、例えば図１から類推することができるため、図示を省略する。

　本実施形態では、例えば処理システム１０が周辺環境に対して相対的に移動しながら、照射装置１１が照射光を周辺環境にある対象物に向かって照射する。撮像装置１２が当該照射により生じる放出光をマーカーとして用いることで、処理部１３２が得られた情報に基づいて環境マップを作成したり、自己位置を推定したりすることができる。

　従来のＳＬＡＭでは、周辺環境に予め配置されたランドマークやＱＲコード（登録商標）などをマーカーとして用いるため、ランドマークやＱＲコードが所定の大きさを有する場合など、撮影する角度によって算出される三次元位置に誤差が生じ得る。この点、処理システム１０を用いると、例えば点状の照射光を照射することにより、撮影の視点が異なっていても放出光を正確に検出することができ、測定精度が向上する。

　処理システム１０によると、放出光をマーカーとして用いることができるため、マーキング可能な領域が広がる。周辺環境のうち動いているものと静止しているものを区別することができるため、環境マップの作成において、例えば規則的に運動するものに放出光マーカーを付与することができる。

　＜７．第７実施形態＞
　第７実施形態では、処理システム１０が対象物の力学特性の計測に用いられる。

　図２４は、第７実施形態に係る処理システムの全体構成を示す図である。本実施形態では、処理システム１０が対象物１００の所定の位置に放出光マーカーを付与する。放出光マーカーが付与された対象物１００は、図２４に示される矢印の方向に振動する振動台３３の上に搭載され、振動台３３とともに振動する。この間の放出光の動きを撮像装置１２により検出することで、対象物の所定の位置における振動に対する局所的な応答性（例えば、外場に対する応力分布や応力印加時の高速な過渡現象等）を計測することができる。これを対象物の様々な位置で繰り返すことで、対象物１００の力学特性を取得したり、撮像装置１２に対する対象物１００の相対姿勢を推定したり、対象物１００の特徴量マップを作成したりすることができる。

　従来、対象物の力学特性を解析する場合、対象物に物理的なマーカーや歪みセンサ等を取り付ける必要があったが、このような物体を対象物に取り付けると、対象物の力学特性が物体の影響を受けるおそれがある。この点、処理システム１０によると、対象物の力学特性に影響を与えることなく放出光マーカーを付与することができるため、力学特性等の計測精度が向上する。なお、振動による応答性のほか、並進運動や回転運動を伴う測定により、様々な力学特性を得ることができる。

　＜８．第８実施形態＞
　第８実施形態では、処理システム１０が対象物の境界線通過の判定に用いられる。

　図２５は、第８実施形態に係る処理システムの全体構成を示す図である。なお、図２５では、処理システム１０のうち制御装置１３の図示が省略されている。照射装置１１は、ある直線又は平面に沿って照射光を線状又は面状に照射することで、少なくとも２つの領域を隔てる照射光による境界線又は境界面を作成することができる。図２５に示されるように、本実施形態では、箱４０の出入口に照射光による境界線が張られている。箱４０から対象物の一例である部品１００Ｂが出て、当該境界線に触れると、触れた箇所から放出光が放出されるようになる。すなわち、部品１００Ｂが自動的にマーキングされる。

　撮像装置１２が当該放出光を検出することで、処理部１３２は、部品１００Ｂが境界線に触れたか否かを判定したり、部品１００Ｂのどの部分が境界線を越えたかを判別したりすることができる。また、部品１００Ｂが箱４０から出た後であっても、部品１００Ｂが箱４０に入っていたという情報を得ることができるため、例えば組み立て工場において、外観が類似しつつ異なる部品を区別することができる。箱４０の外から箱４０に入った部品をマーキングすることもできる。

　例えば工場のレーンで、本来あるべき領域からはみ出した物体を検出したり、ある汚染された領域にはみ出した物体の部分を判別し、当該部分を切断して残りの部分を再利用したりするために用いることができる。あるいは、例えば照射光の境界面内に入った指やペンをマーキングすることで、タッチディスプレイの機能を当該境界面に持たせることができる。指やペンに放出光マーカーが付与されるため、タッチした指の動き、タッチした時間の長さ、又は何指でタッチしたかなどの判別を行うことができる。

　従来の物理的なマーカーでは、所定の対象物に自動的にマーカーを付与することが困難である。この点、処理システム１０によれば、照射光を照射するという比較的簡易な構成で、所定の対象物に自動的に放出光マーカーを付与することができる。

　なお、照射光の波長、強度又は周期等が異なる複数の境界線又は境界面を形成することで、対象物がどこから来たかという情報を付与することが可能となる。照射光の波長、強度又は周期等は空間軸上で連続的に変化してもよい。

　＜９．第９実施形態＞
　第９実施形態では、処理システム１０が目標点の提示に用いられる。なお、本実施形態における全体構成は、例えば図１から類推することができるため、図示を省略する。

　例えばロボットが部品同士を繋ぎ合わせるシーリング作業のように、ターゲット位置（例えば部品の接続位置）が不安定に動く場面では、ターゲット位置を正確に認識することが難しい。処理システム１０を用いれば、放出光を目標点とすることで、目標点を高速に付与することができ、目標点の付与後に対象物がランダムに動いたり、対象物が変形したりしても、目標点がずれることなく追従し、ターゲット位置を提示することができる。物理的なマーカーの場合、シーリング作業中にマーカーそのものが邪魔になる可能性があるのに対し、処理システム１０によると、その恐れがなく、また、様々な形状の部品に対し、目標点の痕跡を残すことなく目標点を付与することができる。

　以上で説明した実施形態及び変形例では、対象物１００から蛍光や燐光などの放出光が放出される態様を例示したが（図２６の「フォトルミネッセンス」参照）、これらに限る趣旨ではない。例えば、対象物１００への光照射（光エネルギー、光励起）により光吸収され、熱エネルギーに変換（波長変換）された放出光（赤外線）が放出される態様であってもよい（図２６の「サーモルミネッセンス」参照）。
　かかる態様によれば、対象物１００の温度上昇現象により放出光（赤外線）が放出されるため、上述した実施形態及び変形例と同様に、対象物１００の外観や形状に対してロバストに放出光マーカーを付与することができる。以下、放出光として赤外線が放出される態様について詳細に説明する。

　＜１０．第１０実施形態＞
　第１０実施形態では、レーザ加熱を利用して対象物（ここでは黒い紙を想定）１００の表面を瞬時に加熱し、サーモカメラにより対象物１００の表面を撮像することで貼付不要な放出光マーカーを生成する。

　図２７は、第１０実施形態に係る処理システム１０の要部構成を示す図である。なお、図２７では、処理システム１０のうち制御装置１３の図示が省略されている。
　照射装置１１は、例えば波長が６４０ｎｍのレーザ光を照射する半導体可視光レーザである。ミラー１７は、例えば２軸のガルバノミラーであり、制御装置１３により動作が制御される。制御装置１３は、ミラー１７を制御することで、対象物１００の表面に任意形状・パターンの放出光マーカーを生成する。撮像装置１２は、例えば高温度分解能・高空間解像度のサーモカメラによって構成され、対象物１００の表面に生成される放出光マーカー（別言すれば、対象物１００の表面から放出される放出光）を撮像する。

　図２８は、図２７に示される処理システム１０の動作環境において、照射時間を変えて対象物１００にレーザを照射した場合の温度変化の様子を例示した図であり、縦軸に温度、横軸に経過時間を示す。
　図２８に示すように、照射時間が長いほど、放熱時間は長くなり、放出光マーカーとして検出可能な時間は長くなる。なお、照射時間が長いほど、温度も高くなるため、例えば５０ｍｓの照射時間では図中の左軸を超えた温度となっているが、省略した範囲で表示している。本実験では、加熱と放熱の温度変化に基づき、放出光マーカーとして検出可能なしきい値Ｔｔｈを設定し、対象物１００の所定箇所にレーザを照射することで放出光マーカーを生成する。その後、所定箇所の温度がマーカー検出しきい値Ｔｔｈに達する（低下する）まで別の箇所にレーザを照射する。そして、所定箇所の温度がマーカー検出しきい値Ｔｔｈに達すると、所定箇所に戻って再度照射し直すことで、放出光マーカーの検出に必要な温度の維持を可能とした。

　表１は、本実験でのレーザの照射時間ｔｉと放熱時間ｔｄとの関係を示している。
　表１に示すように、照射時間ｔｉ＝１０ｍｓに設定した場合には、ｔｄ／ｔｉの整数値として、放熱中に最大３３箇所加熱することが可能である。言い換えれば、照射時間ｔｉ＝１０ｍｓに設定した場合には、ほぼ同時に、最大３３個の放出光マーカーを生成することが可能となる。

　図２９は、照射時間ｔｉ＝１０ｍｓに設定し、対象物１００に様々なパターン（描画パターン）の放出光マーカーを生成したときの実験結果をした図である。具体的には、図２９Ａは、放出光マーカーとして点群（ドット列）を描画した場合の実験結果を示し、図２９Ｂは、放出光マーカーとして漢字の「光」を描画した場合の実験結果を示す。なお、図２９に示す各画像は、撮像装置１２等によって生成される。

　図２９Ａに示すように、ドット列を描画した場合には、水平方向のドットの判別はできるものの、水平方向のドットよりも間隔が狭い垂直方向のドットの判別はできない。これは、加熱後に周囲に温度が伝搬したためと推測される。

　一方、図２９Ｂに示すように、漢字の「光」を描画した場合には、熱画像、二値化画像のいずれにおいても、描画した文字（すなわち「光」）として読み取り可能な結果を得ることができた。なお、二値化画像にみられるように、描画した文字を構成する左下のドット（すなわち、描画順の早いドット）がかすれていることから、今回の実験条件下では、描画範囲を３０ドット（＝横６個×縦５個）程度以下に設定するのが望ましいと考えられる。また、今回の実験では、ドットを組み合わせることで漢字という複雑な形状を描画したが、例えば線や円等の連続描画にも適用可能である。

　また、対象物１００は、照射光の光を吸収しそのエネルギーを例えば、熱エネルギーに変換するものであればよく、何ら限定されるものではない。具体的には、本実施形態（第１０実施形態）で例示した黒い紙に限らず、たとえばアクリル板や黒い吸収材、様々な色（有彩色、無彩色）の紙などにも適用可能であることは言うまでもない。さらに、半導体可視光レーザの波長やレーザの照射時間などは、所望する描画パターンや対象物１００の種類などに応じて任意に設定変更可能である。

　＜他の適用例＞
　処理システム１０は、上記実施形態のほか、他の様々な用途に用いられてもよい。

　処理システム１０は、例えば外部環境に対して高速に移動しつつ外部環境を検査する検査システムに適用されてもよい。移動体を起点とした外部環境のセンシングは、移動体が高速に移動するほど効率が良い。しかしながら、移動体が高速に移動すると、モーションブラーが発生するため、対象物の相対的移動を高精度に補償する必要がある。この点、本処理システムによると、対象物の角速度を算出することができるため、高精度かつ安定した外部環境のセンシングが可能となる。具体的には、例えば、道路や電車等のようなインフラの検査や、工場ラインのように移動を伴うライン検査に用いることができる。この場合、従来の検査システムに比べて、高い効率で検査を行うことができる。

　処理システム１０は、例えば悪条件な照明下における物体検出に用いられてもよい。例えば強いスポットライトが当たり、通常の撮像装置では白とびして撮影できない環境であっても、照射光として紫外光を対象物に照射し、その放出光の波長を通すフィルタを用いて撮像を行うと、対象物を検出することができる。照射光を時間変調させ、所定のフレームを間引くことにより、特定の対象物を選択的に可視化し得る。なお、上記第１０実施形態で説示したように、レーザ加熱を利用して対象物の表面を瞬時に加熱し、サーモカメラにより対象物の表面を撮像することで選択的に可視化してもよい。

　処理システム１０において、互いに異なる波長特性のフィルタを通して複数の撮像装置で撮像を行うことにより、各撮像装置において選択的に情報を取得し、提示することもでき、例えばエンターテインメントや情報通信にも利用可能となる。

　処理システム１０は、例えば複数の対象物の追跡に用いられてもよい。例えば数百人規模の人が歩いている道路において歩行者のトラッキングを行ってもよい。床面を網羅するように照射光を照射し、それぞれの人の足に放出光マーカーを付与すれば、歩行中も放出光を追い続けることができる。

　以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

１０，１０Ａ～１０Ｃ…処理システム、１１…照射装置、１２…撮像装置、１３，１３Ａ，１３Ｂ…制御装置、１４～１６…ミラー、２０…ＣＰＵ、２１…ＲＡＭ、２２…ＲＯＭ、２３…通信部、２４…入力部、２５…表示部、３０…シャーレ、３１…障害物、３２…固定具、３３…振動台、４０…箱、１００…対象物、１００Ａ…グラニュー糖、１００Ｂ…部品、１１０…照射部、１２０…撮像部、１３０…設定部、１３１…検出部、１３２…処理部、１３３…変調部、１３４…マッチング部、２００，２１０，２２０…放出光

Claims (18)

1. 　対象物に照射光を照射する照射部と、
   　前記照射光の照射に応じて前記対象物自体から放出された放出光を撮像する撮像部と、
   　前記撮像部で撮像された画像に基づいて、前記放出光を前記対象物のマーカーとして検出する検出部と、
   　前記検出部で検出された放出光に基づいて、所定の処理を実行する処理部と、
   　を備える、処理システム。
2. 　前記処理部は、前記撮像部に対する前記対象物の相対位置、相対姿勢及び相対速度の少なくともいずれかを計測し、前記対象物をトラッキングする、
   　請求項１に記載の処理システム。
3. 　前記撮像部は、ある照射に応じて前記対象物自体から放出された放出光を複数のタイミングにわたって撮像し、
   　前記検出部は、前記複数のタイミングにわたって撮像された複数の画像のそれぞれから前記放出光を検出し、
   　前記処理部は、前記複数の画像間における前記放出光の位置の推移に基づいて、前記対象物の前記撮像部に対する相対速度を算出する、
   　請求項２に記載の処理システム。
4. 　前記撮像部は、複数のタイミングにわたる照射に応じて前記対象物自体からそれぞれ放出された複数の放出光を含む画像を撮像し、
   　前記検出部は、前記画像から前記複数の放出光を検出し、
   　前記処理部は、前記複数の放出光の間隔に基づいて、前記対象物の前記撮像部に対する相対速度を算出する、
   　請求項２に記載の処理システム。
5. 　前記照射部は、前記照射光を持続的に照射させ、
   　前記撮像部は、持続的な照射に応じて前記対象物自体から放出された放出光を含む画像を撮像し、
   　前記検出部は、前記放出光の軌跡を検出し、
   　前記処理部は、前記検出された放出光の軌跡に基づいて、前記対象物の前記撮像部に対する相対速度を算出する、
   　請求項２に記載の処理システム。
6. 　前記撮像部は、前記放出光を含む多視点画像を取得し、
   　前記処理部は、取得された多視点画像に含まれる放出光に基づいて前記対象物の形状を計測する、
   　請求項１に記載の処理システム。
7. 　前記処理部は、検出された放出光により前記対象物の移動の軌跡を可視化させる、
   　請求項１に記載の処理システム。
8. 　前記処理部は、検出された放出光に基づいて前記対象物の移動の軌跡を算出し、算出された軌跡に基づいて前記対象物を含む画像におけるモーションブラーの補正を行う、
   　請求項１に記載の処理システム。
9. 　前記処理部は、検出された放出光に基づいてモーションキャプチャを行う、
   　請求項１に記載の処理システム。
10. 　前記処理部は、前記処理システムの周辺環境にある前記対象物から検出された放出光に基づいてＳＬＡＭ（Simultaneous Localization and Mapping）を行う、
    　請求項１に記載の処理システム。
11. 　前記処理部は、検出された放出光の軌跡に基づいて、前記対象物の力学特性を計測する、
    　請求項１に記載の処理システム。
12. 　前記照射部は、少なくとも２つの領域を隔てる境界面に沿って前記照射光を照射し、
    　前記処理部は、前記照射光に触れることで前記対象物から放出される前記放出光に基づいて、前記対象物が前記境界面に触れたか否かを判定する、
    　請求項１に記載の処理システム。
13. 　前記照射部から照射された照射光を前記対象物の任意の領域に導く光路制御部をさらに備える、
    　請求項１から１２のいずれか一項に記載の処理システム。
14. 　前記撮像部は、前記放出光を１００ｆｐｓ以上のフレームレートで撮影する高速カメラを含む、
    　請求項１から１３のいずれか一項に記載の処理システム。
15. 　前記撮像部は、前記対象物への前記照射光の照射を止めた後に前記対象物自体から放出された放出光を撮像する、
    　請求項１から１４のいずれか一項に記載の処理システム。
16. 　前記放出光は、前記照射光の照射後に前記対象物自体から放出された遅延蛍光、燐光、残光、蓄光、又は赤外線を含む、
    　請求項１から１５のいずれか一項に記載の処理システム。
17. 　対象物に照射光を照射することと、
    　前記照射光の照射に応じて前記対象物自体から放出された放出光を撮像することと、
    　撮像された画像に基づいて、前記放出光を前記対象物のマーカーとして検出することと、
    　検出された放出光に基づいて、所定の処理を実行することと、を含む、処理方法。
18. 　コンピュータを、
    　対象物に照射光を照射する照射部、
    　前記照射光の照射に応じて前記対象物自体から放出された放出光を撮像する撮像部、
    　前記撮像部で撮像された画像に基づいて、前記放出光を前記対象物のマーカーとして検出する検出部、及び、
    　前記検出部で検出された放出光に基づいて、所定の処理を実行する処理部、
    　として機能させる、処理プログラム。

Images