JP7021596B2 - 情報処理装置、処理方法、及びプログラム - Google Patents

Description

本発明は、情報処理装置、処理方法、及びプログラムに関する。

例えば、役所、銀行では、高齢者等のユーザビリティも鑑み、しばしば紙の申請書が使用されている。こうした申請書の記入は難解なことも多く、例えば申請台の前に記入例を表示したり、記入に関する説明を行うサポートのための人員を配置したりなど、対応工数の増大が生じている。一方で、ユーザの作業を支援するための情報を提示する技術が知られている。

特開２００８－２２５９１３号公報 特開２０１３－２５０８７９号公報 特開２０１７－０１０３５３号公報

例えば、こうした記入などのユーザの作業を支援するために、撮像装置で撮像した画像から申請書や記入用紙などの媒体を検出し、検出した媒体の位置に合わせてプロジェクションマッピングを行って、媒体に関連する情報を表示することが考えられる。なお、以下、撮像装置で撮像した撮像画像から検出する対象となる申請書や記入用紙などの媒体を検出対象物と呼ぶことがある。また、検出した検出対象物の位置に合わせて表示装置で表示する情報を表示情報と呼ぶことがある。

しかしながら、撮像装置で撮像した画像を解析して検出対象物の位置を取得する場合、例えば、撮像装置の撮像素子の熱雑音や、撮像環境の光の揺らぎなどのさまざま要因で発生する誤差により、検出対象物の検出位置が揺れてしまうことがある。その結果、検出位置に合わせて表示する表示情報の表示位置も揺れてしまい、ユーザビリティが低下することがある。こうした誤差の影響は、例えば、検出対象物の検出位置を時間軸で平滑化するパラメータを、時定数が大きくなるように変更することで抑制することが可能である。しかし、一方で、時定数を大きくすると、ユーザが対象物を実際に動かした場合に、その移動に対する表示情報の追従のレスポンスが遅くなり、この場合もユーザビリティにつながることがある。

１つの側面では、本発明は、検出対象物に合わせて表示する表示情報の表示位置の精度を向上させることを目的とする。

本発明の一つの態様の情報処理装置は、タッチセンサを含む領域を撮像する撮像装置で撮像された撮像画像から検出した検出対象物の配置に合わせて、タッチセンサを含む領域上にある検出対象物に対する所定の相対位置に表示情報を投影するように表示装置を制御する表示制御部と、検出対象物の動きに対して表示情報を追従させる反応速度を、タッチセンサで検出された接触位置が撮像画像から検出された検出対象物の配置と重ならない場合よりも、タッチセンサで検出された接触位置が撮像画像から検出された検出対象物の配置と重なる場合に、より早くなるように調節する調節部と、を含む。

検出対象物に合わせて表示する表示情報の表示位置の精度を向上させる。

例示的な作業支援システムを示す図である。 例示的な検出対象物への表示情報の表示を例示する図である。 実施形態に係る作業支援システムを示す図である。 実施形態に係る情報処理装置のブロック構成を例示する図である。 実施形態に係る平滑化パラメータ情報を例示する図である。 第１の実施形態に係る平滑化パラメータ調整処理の動作フローを例示する図である。 実施形態に係る平滑化パラメータ情報を例示する図である。 第１の変形例に係る平滑化パラメータ調整処理の動作フローを例示する図である。 第２の変形例に係る平滑化パラメータ調整処理の動作フローを例示する図である。 実施形態に係る検出対象物の移動と回転を説明する図である。 第３の変形例に係る平滑化パラメータ調整処理の動作フローを例示する図である。 実施形態に係る検出対象物の移動方向の特定について説明する図である。 第４の変形例に係る平滑化パラメータ調整処理の動作フローを例示する図である。 第２の実施形態に係る作業支援システムを例示する図である。 第２の実施形態に係る平滑化パラメータ情報を例示する図である。 第２の実施形態に係る平滑化パラメータ調整処理の動作フローを例示する図である。 第３の実施形態に係る状況判定処理を例示する図である。 第３の実施形態に係る種別情報を例示する図である。 別の実施形態に係る更新頻度情報を例示する図である。 実施形態に係る表示制御処理を例示する図である。 実施形態に係る情報処理装置，を実現するためのコンピュータのハードウェア構成を例示する図である。

以下、図面を参照しながら、本発明のいくつかの実施形態について詳細に説明する。なお、複数の図面において対応する要素には同一の符号を付す。

図１は、例示的な作業支援システム１００を示す図である。作業支援システム１００は、情報処理装置１０１、表示装置１０２、及び撮像装置１０３を含む。情報処理装置１０１は、表示装置１０２、及び撮像装置１０３とそれぞれ接続されており、それぞれの動作を制御する。表示装置１０２は、例えば、作業台１０５の作業面上にユーザ１１０に対するガイドの情報を含む画像などの表示情報を投影するプロジェクタなどの装置である。撮像装置１０３は、作業台１０５の作業面が画角に収まるように画像を撮像するカメラなどの装置である。

図２は、例示的な検出対象物２０１への表示情報２１０の表示を例示する図である。例えば、情報処理装置１０１は、撮像装置１０３で撮像された画像データから検出対象物２０１に含まれるマーカ２０２を検出する。そして、情報処理装置１０１は、検出したマーカの種類から検出対象物２０１の種類を特定する。また、情報処理装置１０１は、検出したマーカに含まれる基準点の位置と、マーカに含まれる他の特徴点との配置から検出した傾きとに基づいて、画像内での検出対象物２０１のサイズ、位置、及び向きなどの画像内での検出対象物２０１の配置を特定する。一例では、情報処理装置１０１は、マーカの種類、マーカ内の複数の特徴点間の距離、及び複数の特徴点の配置などの情報から、検出対象物２０１の種類と、検出対象物２０１が置かれた位置、向き、及びサイズなどの検出対象物２０１の配置とを特定してよい。

そして、情報処理装置１０１は、特定した検出対象物２０１の配置に基づいて、検出対象物２０１に対する所定の相対位置に（例えば、所定の領域に合わせて）、その所定の領域と対応する表示情報２１０を表示装置１０２に投影させる。例えば、図２（ａ）では、電話番号の携帯の記入欄を示す枠と、英語で携帯電話を示す「Mobile phone」が、表示情報２１０として表示されている。そのため、例えば、日本語表記を読めない外国人などのユーザであっても、表示情報２１０により記入欄の位置と内容を把握して検出対象物２０１に記入を行うことが可能である。

しかしながら、例えば、撮像装置１０３で撮像した画像を解析して検出対象物２０１の配置を特定する場合、撮像装置１０３の撮像素子の熱雑音や、撮像環境の光の揺らぎなど、さまざま要因に起因して検出対象物２０１の配置に誤差が発生することがある。その結果、例えば、検出対象物２０１が静止しており動いていないにも関わらず、撮像装置１０３で順次撮像されるそれぞれの画像に写るマーカ２０２から検出対象物２０１の配置を推定すると、異なる配置で検出されることがある。そして、情報処理装置１０１が、検出した異なる配置に合わせて表示情報２１０を表示すると、図２（ｂ）に示す様に、検出対象物２０１の記入対象の欄からズレた場所に、表示情報２１０を表示してしまうことがある。さらに、こうした検出対象物２０１の配置の誤差が繰り返し発生すると、表示情報２１０の揺れとなって現れ、ユーザに不快感を与えることがある。

このような時系列の誤差の影響を緩和する手法として、時間軸でデータを平滑化することがあげられる。例えば、マーカの実際の検出位置や傾きの時系列のデータを入力とし、それに対して表示情報２１０の表示に用いるマーカの位置や傾きを出力とした場合に、入力に対する出力の時定数を小さくなるように調節することで、揺れを減らすことができる。しかしながら、この場合、実際にユーザが検出対象物２０１を移動させた際のレスポンスが遅くなり、ユーザの操作に対する表示の追従性が悪くなる。この様に、揺れの低減と、検出対象物２０１の移動への追従性はトレードオフの関係にあり、両方を解決することのできる技術の提供が望まれている。

ここで、検出対象物２０１に移動や向きの変化などの動きが発生するのは、人為的な操作が行われる時であること多い。すなわち、人が検出対象物２０１に触れている時は、検出対象物２０１に移動や向きの変化などの動きが発生する可能性が高く、人が検出対象物２０１に触れていなければ、検出対象物２０１に移動や向きの変化などの動きが発生する可能性は低いと考えられる。なお、検出対象物２０１が、風や振動などその他の要因で動くことも起こり得るが、そうした事象が起こるのはマレであると考えられるため、無視しても影響はでにくい。

そこで、以下で述べる実施形態では、情報処理装置１０１は、人の動きを検出するセンサでユーザが、検出対象物２０１に触れているか否かを判定する。そして、例えば、検出対象物２０１に人が触れていると推定される状況では、検出対象物２０１が動かされる可能性があるため、時定数が小さくなるように平滑化のパラメータを調節する。それにより、追従性が高くなり、ユーザが検出対象物２０１を動かした場合にも表示情報２１０を直ぐに追従させることができる。即ち、追従の際の反応速度が速くすることができる。一方、例えば、検出対象物２０１に人が触れていないと推定される状況では、検出対象物２０１が動かされる可能性は低いと考えられるため、情報処理装置１０１は、平滑化のパラメータを高くし、揺れ等を抑えるようにする。

以上で述べた様に、実施形態によればユーザが検出対象物２０１に触れているか否かに応じて、平滑化のパラメータを調整する。そのため、例えば、検出対象物２０１が動かされた場合には、表示情報２１０を検出対象物２０１に素早く追従させつつも、検出対象物２０１が静止している状況では、表示情報２１０の揺れを抑えることができる。以下、実施形態をさらに詳細に説明する。

図３は、実施形態に係る作業支援システム３００を示す図である。作業支援システム３００は、例えば、情報処理装置３０１、表示装置３０２、撮像装置３０３、及びタッチセンサ３０４を含む。情報処理装置３０１は、表示装置３０２、撮像装置３０３、及びタッチセンサ３０４とそれぞれ接続されており、それぞれの動作を制御する。表示装置３０２は、作業台３０５の作業面上にユーザ３１０に対するガイドの情報を含む画像などの表示情報を投影する例えばプロジェクタなどの装置である。撮像装置３０３は、作業台３０５の作業面が画角に収まるように画像を撮像するカメラなどの装置である。タッチセンサ３０４は、例えば、ユーザ３１０が申請書や書類などの検出対象物２０１に記入などの作業を行う作業台３０５の作業面に設置されていてよい。

図４は、実施形態に係る情報処理装置３０１のブロック構成を例示する図である。情報処理装置３０１は、例えば、制御部４０１、記憶部４０２、及び入出力部４０３を含んでいる。制御部４０１は、例えば、表示制御部４１１、調節部４１２、特定部４１３、及び検出部４１４などを含む。記憶部４０２は、例えば、後述する平滑化パラメータ情報５００，７００，１５００、種別情報１８００、更新頻度情報１９００などの情報を記憶していてよい。入出力部４０３は、例えば、表示装置３０２、撮像装置３０３、及びタッチセンサ３０４と接続されてよく、制御部４０１の指示に従って表示装置３０２、撮像装置３０３、及びタッチセンサ３０４と情報をやり取りする。これらの各部の詳細及び記憶部４０２に格納されている情報の詳細については後述する。

続いて、実施形態に係る検出対象物２０１の動きに対して表示情報２１０を追従させる反応速度の調整について述べる。反応速度の調整の仕方には複数の方法が考えられ、例えば、入力の変化に対する出力の応答時間の目安を与える時定数を利用することが考えられる。検出対象物２０１の動きに対する表示情報２１０を追従させる時定数の調整の仕方について述べる。例えば、撮像画像から検出された検出対象物２０１の配置（例えば、マーカの基準点の位置や傾き）を入力とし、表示装置３０２から表示情報２１０を投影する場所の決定に用いる検出対象物２０１の配置を出力とする。この場合に、その入力と出力の時定数を調整するために、様々手法を用いることが可能である。以下では、例として、ＩＩＲ（無限インパルス応答）フィルタを用いる場合を説明する。しかしながら、実施形態はこれに限定されるものではない。例えば、別の実施形態では、ＦＩＲ（有限インパルス応答）フィルタなどを用いたり、或いは、表示装置３０２による撮像画像の描画の更新頻度を調節したりすることで、反応速度が調節されてもよい。

ＩＩＲフィルタを用いて平滑化を行い、時定数を調節する場合、制御部４０１は、以下の数式により平滑化を行ってよい。

出力=前出力×Ｒ＋入力×（１－Ｒ） ・・・式１
なお、ここでは、例えば、撮像装置３０３による撮像画像を取得するインターバルは、１／６０秒であるものとする。また、Ｒは、調整対象のパラメータであり、前回の出力に対して今回の入力データをどれくらい寄与させるかを表すパラメータである。なお、フィルタの数式は、上述のように数１に限定されるものでは無く、ＦＩＲフィルタなどその他のフィルタが用いられてもよく、用いるフィルタに応じてパラメータの設定値は異なってよい。

そして、実施形態では、ユーザが、検出対象物２０１に触れているか否かや、検出対象物２０１を動かしているか否かなどの状態に応じて、パラメータを設定する。状態の種類としては、以下の状態を例示する。

（１）非接触：ユーザが検出対象物２０１に触れていない状態
（２）接触後の動き小：ユーザが検出対象物２０１に触れているが、動かしていないか又は動きが小さい状態
（３）判定困難：例えば、ユーザが検出対象物２０１に触れたばかりの状態など、検出対象物２０１を動かしているか否かの判定がつかない状態
（４）接触後の動き大：ユーザが検出対象物２０１に触れて大きく動かしている状態
なお、状態はこれに限られるものでは無く、さらに多くの状態を含んでもよいし、或いは、より少ない数の状態を含んでもよい。また、以下では、反応速度を調整するための時定数を表す表現として、入力された移動量の～％を移動するのに～秒かかるという表現を用いる。

（１）非接触：ユーザが検出対象物２０１に触れていない状態では、９０％移動するのに０．３秒～かかるように時定数が調整されてよい。この時定数は、例えば、ユーザが検出対象物２０１に触れていない場合には、検出対象物２０１が動く可能性がほとんどないと推定されるため、撮像画像から検出された検出対象物２０１の位置の誤差に起因する揺れ等を十分に抑制できるように値が設定されている。例えば、上述の式１では、Ｒの値を０．８９～に調節すると、９０％移動するのに０．３秒～かかるようにフィルタが調節される。そのため、（１）非接触：ユーザが検出対象物２０１に触れていない状態のパラメータＲの値として、０．８９を用いることができる。

同様に、（２）接触後の動き小：ユーザが検出対象物２０１に触れているが、動かしていないか又は動きが小さい状態では、９０％移動するのに０．２秒～０．１５秒かかるように時定数が調整されてよい。この場合、例えば、ユーザが検出対象物２０１に触れていているが、検出対象物２０１をほぼ動かしていないことが推定される。そのため、時定数は、非接触時よりは追従性を高めるが、それでも、撮像画像から検出された検出対象物２０１の位置の誤差に起因する揺れ等をある程度抑制できるように値が設定されている。例えば、上述の式１では、Ｒの値を０．８４～０．９７５に調節すると、９０％移動するのに０．２秒～０．１５秒かかるようにフィルタが調節される。そのため、（２）接触後の動き小：ユーザが検出対象物２０１に触れているが、動かしていないか又は動きが小さい状態のパラメータＲの値として、０．８４～０．９７５を用いることができる。

（３）判定困難：ユーザが検出対象物２０１に触れたばかりの状態など、検出対象物２０１を動かしているか否かの判定がまだできない状態にある場合、９０％移動するのに０．１秒～０．０８秒かかるように時定数が調整されてよい。この場合、例えば、ユーザが検出対象物２０１に触れたばかりであり、ユーザが検出対象物２０１を動かしているか否かの判定がまだできない。そのため、ユーザが検出対象物２０１を動かしても追従できるように、ある程度の時定数が小さい値に設定されるが、それでも、揺れ等によるユーザに与える不快感が許容範囲に収まるような値に設定されていてよい。例えば、上述の式１では、Ｒの値を０．７２～０．９５５に調節すると、９０％移動するのに０．１秒～０．０８秒かかるようにフィルタが調節される。そのため、（３）判定困難：検出対象物２０１を動かしているか否かの判定ができない状態のパラメータＲの値として、０．７２～０．９５５を用いることができる。

（４）接触後の動き大：ユーザが検出対象物２０１に触れて大きく動かしている状態にある場合、９０％移動するのに～０．０６秒かかるように時定数が調整されてよい。この場合、例えば、ユーザは、検出対象物２０１を大きく動かしているため、ユーザによる検出対象物２０１の大きな動きを追従できるように、時定数が小さい値に設定されてよい。時定数を小さい値にすることで、時定数が大きい値である場合と比較して、検出対象物２０１に対する追従性が良くなる。即ち、反応速度を早くできる。例えば、上述の式１では、Ｒの値を～０．９４に調節すると、９０％移動するのに～０．０６秒かかるようにフィルタが調節される。そのため、（４）接触後の動き大：ユーザが検出対象物２０１に触れて大きく動かしている状態のパラメータＲの値として、～０．９４を用いることができる。

なお、以上で述べた状態（１）から状態（４）の４つの状態の時定数は、状態（１）＞状態（２）＞状態（３）＞状態（４）となるように値が設定されていてよい。

図５は、実施形態に係る平滑化パラメータ情報５００を例示する図である。図５の例では、平滑化パラメータ情報５００は、上記のＩＩＲフィルタを用いた場合における各状態と、その状態毎のパラメータの設定値が示されている。平滑化パラメータ情報５００には、設定値が範囲で示されているが、実際にはエントリに示される範囲内で他のエントリの値と重ならない所定の値が登録されていてよい。

なお、上記の例では、１／６０秒のタイミングで式１により出力を調整しており、そのインターバルに合わせてパラメータＲの値を設定している。例えば、１／３０秒のタイミングでというように別のタイミングで式１により出力を調整する場合には、そのインターバルに合わせて別のパラメータＲの値が設定されてよい。以下、ＩＩＲフィルタを用いる場合を例に、平滑化パラメータ情報５００を用いた時定数の調整の例を説明する。

図６は、第１の実施形態に係る平滑化パラメータ調整処理の動作フローを例示する図である。制御部４０１は、例えば、ユーザへの支援の開始指示が入力されると、図６の平滑化パラメータ調整処理を開始してよい。

ステップ６０１（以降、ステップを“Ｓ”と記載し、例えば、Ｓ６０１と表記する）において制御部４０１は、ユーザが検出対象物２０１に触れているか否かを判定する。一実施形態においては、制御部４０１は、まず、撮像装置３０３で撮像された画像から、検出対象物２０１に含まれるマーカ２０２を検出し、検出したマーカ２０２の位置、サイズ、向きから、作業台３０５上での検出対象物２０１の配置を特定する。続いて、制御部４０１は、ユーザの手等が作業台３０５に触れた位置をタッチセンサ３０４で検出する。そして、制御部４０１は、撮像画像から検出された検出対象物２０１の配置と、タッチセンサ３０４で検出した接触位置とが重なるか否かにより、検出対象物２０１にユーザが触れているか否かを判定してよい。

なお、撮像装置３０３が撮像した画像中の作業台３０５における位置と、表示装置３０２が作業台に表示する位置と、タッチセンサ３０４で検出された作業台３０５上の位置とは、例えば、キャリブレーション処理により予め対応付けられていてよい。キャリブレーション処理では、例えば、制御部４０１は、作業台３０５上にキャリブレーションに用いるためのポイントを数個、表示装置３０２で表示する。そして、制御部４０１は、例えば、ユーザに表示したポイントをタッチさせて、その際にタッチセンサ３０４で検出された座標を取得する。また、制御部４０１は、撮像装置３０３で撮像した画像から、表示装置３０２で表示したポイントを検出する。そして、制御部４０１は、表示装置３０２で表示したポイントと、撮像装置３０３で撮像した撮像画像におけるポイントの位置と、ユーザのタッチが検出されたタッチセンサ３０４の検出位置とを対応付ける。制御部４０１は、これらの対応付けられたポイントを用いて、表示装置３０２の表示位置、撮像装置３０３で撮像された画像内での位置、タッチセンサ３０４の検出位置を互いに変換してよい。

そして、Ｓ６０１においてユーザが検出対象物２０１に触れていない場合（Ｓ６０１がＮｏ）、フローはＳ６０２に進む。Ｓ６０２において制御部４０１は、平滑化パラメータ情報５００を参照し、非接触と対応する０．８９～の範囲の値に、上述の式１の平滑化のパラメータＲを設定し、フローはＳ６０１に戻る。

一方、Ｓ６０１でユーザが検出対象物２０１に触れている場合（Ｓ６０１がＹｅｓ）、フローはＳ６０３に進む。Ｓ６０３において制御部４０１は、直前（例えば、所定のＴ１秒前）にも検出対象物２０１にユーザが接触していたか否かを判定する。なお、Ｔ１としては、例えば、０．２～０．８秒の範囲の値、一例として０．５秒などを用いることができる。

Ｓ６０３において直前（例えば、所定のＴ１秒前）に検出対象物２０１にユーザが接触していなかった場合（Ｓ６０３がＮｏ）、フローはＳ６０４に進む。この場合、ユーザ３１０が検出対象物２０１に触れはじめた直後の状態であり、まだユーザが検出対象物２０１を動かすつもりなのか否かが判定が難しい状況にある。そのため、制御部４０１は、平滑化パラメータ情報５００を参照し、判定困難と対応する０．７２～０．９５５の範囲の値に、上述の式１の平滑化のパラメータＲを設定し、フローはＳ６０１に戻る。

一方、Ｓ６０３において直前（例えば、所定のＴ１秒前）にも検出対象物２０１にユーザが接触していた場合（Ｓ６０３がＹｅｓ）、フローはＳ６０５に進む。Ｓ６０５において制御部４０１は、直前のタッチの接触位置からの位置変化があるか否かを判定する。例えば、制御部４０１は、直前のタッチの接触位置からの接触位置の変化量が第１の距離（例えば、１．０ｍｍ～５．０ｍｍ、一例では２ｍｍなど）を超えた場合に直前のタッチの接触位置からの位置変化があると判定してよい。なお、以下では、タッチの接触位置を、タッチ位置と呼ぶことがある。

Ｓ６０５において直前のタッチ位置からの位置変化がない場合（Ｓ６０５がＮｏ）、フローはＳ６０６に進む。この場合、タッチ位置の位置変化が小さいため、検出対象物２０１はほぼ静止している状況にあると考えられる。そのため、制御部４０１は、平滑化パラメータ情報５００を参照し、接触後の動き小と対応する０．８４～０．９７５の範囲の値に、上述の式１の平滑化のパラメータＲを設定し、フローはＳ６０１に戻る。

一方、Ｓ６０５において直前のタッチ位置からの位置変化がある場合（Ｓ６０５がＹｅｓ）、フローはＳ６０７に進む。この場合、検出対象物２０１の動きが大きいため、ユーザが検出対象物２０１を意図的に動かしていることが推定される状況にある。そのため、制御部４０１は、平滑化パラメータ情報５００を参照し、接触後の動き大と対応する～０．９４の範囲の値に、上述の式１の平滑化のパラメータＲを設定し、フローはＳ６０１に戻る。

以上で述べた様に、制御部４０１は、ユーザが検出対象物２０１に触れていないと推定される状況よりも、触れていると推定される状況において、検出対象物２０１の移動に対して表示情報２１０の表示位置を追従させる時定数を小さくするように調整する。そのため、ユーザが検出対象物２０１に触れておらず検出対象物２０１が静止している状況では、制御部４０１は、時定数を大きな値に設定して、撮像画像からの検出対象物２０１の位置検出の誤差に起因する表示情報２１０の揺れを抑制することができる。一方で、ユーザが検出対象物２０１に触れている状況では、制御部４０１は、時定数を小さな値に設定して、ユーザが検出対象物２０１を動かした際の反応速度を速めることができる。

なお、以上においては、時定数（平滑化のパラメータ）を４段階で調節する例を述べているが、実施形態はこれに限定されるものではなく、さらに多段階で時定数を制御しても、より少ない段階で時定数を制御してもよい。

（第１の変形例）
上述の実施形態に加えて、第１の変形例では更に、タッチ位置の変化量が、第１の距離よりも長い第２の距離以上動いたか否かにより、時定数（平滑化のパラメータ）を調節する。

図７は、実施形態に係る平滑化パラメータ情報７００を例示する図である。図７の平滑化パラメータ情報７００の例では、平滑化パラメータ情報５００の場合よりも接触後の動き大の状態が２つに分かれており、５段階の状態で調節する場合を例示している。平滑化パラメータ情報７００には、設定値が範囲で示されているが、実際にはエントリに示される範囲内の所定の値が登録されていてよい。接触後の動き大の小さめで設定される設定値よりも、接触後の動き大の大きめで設定される設定の方が小さい値であってよい。

図８は、第１の変形例に係る平滑化パラメータ調整処理の動作フローを例示する図である。制御部４０１は、例えば、ユーザへの支援の開始指示が入力されると、図８の平滑化パラメータ調整処理を開始してよい。

なお、図８のＳ８０１からＳ８０６までの処理は、例えば、図６のＳ６０１からＳ６０６までの処理と対応しており、制御部４０１は、図６のＳ６０１からＳ６０６までの処理と同様の処理を実行してよい。

そして、Ｓ８０５において直前のタッチ位置からの位置変化がある場合（Ｓ８０５がＹｅｓ）、フローはＳ８０７に進む。Ｓ８０７において制御部４０１は、例えば、直前のタッチ位置から大きな位置変化があったか否かを判定する。例えば、制御部４０１は、直前（例えば、所定のＴ１秒前）のタッチ位置からの変化量が第２の距離を超えているか否かを判定してよい。なお、第２の距離は、例えば、０．７ｍｍ～２０ｍｍなどのユーザが指などの接触物を大きく動かしたか否かを推定できる値に設定されてよく、一例では、１０ｍｍである。

Ｓ８０７において直前のタッチ位置から大きな位置変化がない場合（Ｓ８０７がＮｏ）、フローはＳ８０８に進む。Ｓ８０８において制御部４０１は、平滑化パラメータ情報５００を参照し、接触後の動き大の小さめと対応する値に、上述の式１の平滑化のパラメータＲを設定し、フローはＳ８０１に戻る。

一方、Ｓ８０７において直前のタッチ位置から大きな位置変化がある場合（Ｓ８０７がＹｅｓ）、フローはＳ８０９に進む。Ｓ８０９において制御部４０１は、平滑化パラメータ情報５００を参照し、接触後の動き大の大きめと対応する値に、上述の式１の平滑化のパラメータＲを設定し、フローはＳ８０１に戻る。なお、Ｓ８０８で設定される小さめの値よりも、Ｓ８０９で設定される大きめの値は、小さな値であってよい。従って、Ｓ８０８で調整される入力に対する出力の時定数よりも、Ｓ８０９で設定される入力に対する出力の時定数は小さくなる。

以上で述べた様に、第１の変形例では、制御部４０１は、Ｓ８０５においてユーザがタッチ位置を動かしていると判定された場合に（Ｓ８０５がＹＥＳ）、その移動量が大きいほど、時定数が小さくなるように平滑化のパラメータを設定している。そのため、例えば、ユーザがタッチ位置を大きな距離で動かした場合に、より追従性の高いパラメータを設定することができる。

（第２の変形例）
第２の変形例では、タッチ位置の移動速度が、所定の速度よりも速いか否かにより、時定数（平滑化のパラメータ）を調節する。図９は、第２の変形例に係る平滑化パラメータ調整処理の動作フローを例示する図である。制御部４０１は、例えば、ユーザへの支援の開始指示が入力されると、図９の平滑化パラメータ調整処理を開始してよい。

なお、図９のＳ９０１からＳ９０６までの処理は、例えば、図６のＳ６０１からＳ６０６までの処理と対応しており、制御部４０１は、図６のＳ６０１からＳ６０６までの処理と同様の処理を実行してよい。

Ｓ９０５において直前のタッチ位置からの位置変化がある場合（Ｓ９０５がＹｅｓ）、フローはＳ９０７に進む。Ｓ９０７において制御部４０１は、速い速度の位置変化があるか否かを判定する。例えば、制御部４０１は、直前（例えば、所定のＴ１秒前）から現在までタッチ位置の移動速度が、所定の速度よりも速いか否かを判定してよい。一例では、制御部４０１は、直前（例えば、所定のＴ１秒前）から現在までの時間区間を所定の単位時間で区切り、各区間でのタッチ位置の移動量が所定の距離を越えているかを判定することで、速度が所定の速度よりも速いか否かを判定してよい。なお、所定の単位時間としては、例えば、０．０５秒～０．２秒などの微小時間が用いられてよく、一例では、０．１秒である。

Ｓ９０７において速い速度の位置変化がない場合（Ｓ９０７がＮｏ）、フローはＳ９０８に進む。Ｓ９０８において制御部４０１は、平滑化パラメータ情報５００を参照し、接触後の動き大の小さめと対応する値に、上述の式１の平滑化のパラメータＲを設定し、フローはＳ９０１に戻る。

一方、速い速度の位置変化がある場合（Ｓ９０７がＹｅｓ）、フローはＳ９０９に進む。Ｓ９０９において制御部４０１は、平滑化パラメータ情報５００を参照し、接触後の動き大の大きめと対応する値に、上述の式１の平滑化のパラメータＲを設定し、フローはＳ９０１に戻る。なお、Ｓ９０８で設定される接触後の動き大の小さめの値よりも、Ｓ９０９で設定される接触後の動き大の大きめの値は、小さな値であってよい。従って、Ｓ９０８で調整される入力に対する出力の時定数よりも、Ｓ９０９で設定される入力に対する出力の時定数は小さくなる。

以上で述べた様に、第２の変形例では、制御部４０１は、Ｓ９０５においてユーザがタッチ位置を動かしていると判定された場合に（Ｓ９０５がＹＥＳ）、その移動速度が速いほど、時定数が小さくなるように平滑化のパラメータを設定している。そのため、例えば、ユーザがタッチ位置を速い速度で動かした場合に、より追従性の高いパラメータを設定することができる。

（第３の変形例）
上述の実施形態では、タッチセンサ３０４でタッチ位置の動きを検出した場合に、検出対象物２０１が移動したものと推定し判定を行っている。第３の変形例では、タッチ位置の動きを検出した場合に、撮像装置３０３で撮像された撮像画像中の検出対象物２０１に含まれるマーカの位置の移動を検出することで、検出対象物２０１が本当に動いているのか検証する。なお、タッチ位置の動きは、例えば、タッチ位置の移動量や移動速度で表されてよい。

図１０は、実施形態に係る検出対象物２０１の移動と回転を説明する図である。例えば、ユーザが指１００１で検出対象物２０１に触れ、矢印１００２に示す方向に動かしたとする。この場合に、検出対象物２０１には矢印１００３に示す併進成分と、矢印１００４で示す回転成分の動きが生じ得る。この検出対象物２０１の動きは、撮像装置３０３で撮像された撮像画像中の検出対象物２０１に含まれるマーカ２０２の位置と向き変化から特定することができる。そこで、第３の変形例では、制御部４０１は、タッチセンサ３０４でタッチ位置の動きが検出された場合に、撮像画像から検出対象物２０１の併進成分と、回転成分とを取得し、検出対象物２０１が実際に動いているかを検証する。

図１１は、第３の変形例に係る平滑化パラメータ調整処理の動作フローを例示する図である。制御部４０１は、例えば、ユーザへの支援の開始指示が入力されると、図１１の平滑化パラメータ調整処理を開始してよい。

なお、図１１のＳ１１０１からＳ１１０６までの処理は、例えば、図６のＳ６０１からＳ６０６までの処理と対応しており、制御部４０１は、図６のＳ６０１からＳ６０６までの処理と同様の処理を実行してよい。

Ｓ１１０５において直前のタッチ位置からの位置変化がある場合（Ｓ１１０５がＹｅｓ）、フローはＳ１１０７に進む。Ｓ１１０７において制御部４０１は、撮像画像において検出対象物２０１に動きがあるか否かを判定する。例えば、制御部４０１は、直前（例えば、所定のＴ１秒前）と、現在の撮像画像におけるマーカの位置の移動から、検出対象物２０１が所定の閾値以上の大きさで動いているか否かを判定してよい。例えば、制御部４０１は、直前の検出対象物２０１のマーカの位置と、現在の検出対象物２０１のマーカの位置とから、検出対象物２０１の移動の併進成分と、回転成分を特定する。そして、制御部４０１は、特定した併進成分が所定の閾値以上の大きさであるか、または回転成分が所定の角度以上の大きさである場合に、検出対象物２０１が所定の閾値以上の大きさで動いていると判定してよい。なお、併進成分に対して設定される所定の閾値は、例えば、５ｍｍから３０ｍｍなどの範囲の値であってよく、一例では、１０ｍｍが用いられてよい。また、回転成分に対する閾値である所定の角度は、例えば、１度～１０度などの範囲の角度であってよく、一例では、３度が用いられてよい。

撮像画像において検出対象物２０１に動きがない場合（Ｓ１１０７がＮｏ）、フローはＳ１１０８に進む。この場合、タッチセンサ３０４で検出されたタッチ位置の移動量に対して、マーカで検出された検出対象物２０１の移動量や回転角が小さく、タッチ位置の移動量に対して、マーカで検出された検出対象物２０１の移動量や回転角が整合していない。そのため、検出ミスの可能性もあり、ユーザが検出対象物２０１を本当に動かしているのか判断が難しい状況にある。そのため、Ｓ１１０８では制御部４０１は、平滑化パラメータ情報５００を参照し、例えば、判定困難と対応する０．７２～０．９５５の範囲の値に、上述の式１の平滑化のパラメータＲを設定し、フローはＳ１１０１に戻る。なお、Ｓ１１０８ではＳ１１０４と同じ平滑化のパラメータＲの設定値を流用しているが、別の実施形態では、Ｓ１１０８でＳ１１０４と異なる平滑化のパラメータＲを設定値に設定してもよい。

また、Ｓ１１０７で、撮像画像において検出対象物２０１に動きがある場合（Ｓ１１０７がＮｏ）、フローはＳ１１０９に進む。この場合、タッチセンサ３０４で検出されたタッチ位置の移動量に対して、マーカで検出された検出対象物２０１の移動量や回転角も十分に大きい。従って、タッチ位置の移動量に対して、マーカで検出された検出対象物２０１の移動量や回転角の変化が整合していると考えられる。そのため、Ｓ１１０９において制御部４０１は、平滑化パラメータ情報５００を参照し、接触後の動き大と対応する～０．９４の範囲の値に、上述の式１の平滑化のパラメータＲを設定し、フローはＳ１１０１に戻る。

以上で述べた様に、第３の変形例では、制御部４０１は、タッチセンサ３０４でタッチ位置の動きが検出された場合に、撮像画像で検出対象物２０１が本当に動いているかを検証している。そのため、例えば、ユーザが検出対象物２０１を移動させずに、検出対象物２０１上で指を動かしたような場合に、時定数を小さくし過ぎてしまい、表示する表示情報２１０に揺れ等が発生してしまうことを抑制できる。

（第４の変形例）
上述の第３の変形例では、タッチセンサ３０４でタッチ位置の動きが検出された場合に、撮像画像で検出対象物２０１が本当に動いているかを検証したが、第４の変形例では、撮像画像で検出した検出対象物２０１の移動方向が一致しているかを検証する。

図１２は、実施形態に係る検出対象物２０１の移動方向の特定について説明する図である。図１２（ａ）に示す様に、例えば、ユーザが指１２０１で検出対象物２０１に触れ、矢印１２０２に示す方向に動かしたとする。この場合に、検出対象物２０１には矢印１２０３に示す併進成分（ｘｓ，ｙｓ）と、矢印１２０４で示す回転成分ｔ度の動きが生じる。この検出対象物２０１の動きは、撮像装置３０３で撮像された撮像画像中の検出対象物２０１に含まれるマーカの位置と向き変化から特定することができる。

図１２（ｂ）は、マーカの動きの回転成分を、ユーザのタッチ位置における併進成分に変換する処理を説明する図である。例えば、マーカ内に設定されている基準点を原点とし、検出対象物２０１の表面を含む平面上に２次元座標系を設定する。例えば、図１２（ｂ）の例では、移動前の検出対象物２０１の横辺を横軸とし、縦辺を縦軸とする直交座標系が設定されてよい。そして、設定した直交座標系において、移動前の原点（マーカ内に設定されている基準点）からのユーザのタッチ位置の座標が（ｘｄ，ｙｄ）であったとする。

この場合に、以下の式２及び式３により、回転成分ｔを、座標（ｘｄ，ｙｄ）における併進成分に変換した成分１２０４を、移動の併進成分（ｘｓ，ｙｓ）に加算して、タッチ位置における検出対象物２０１の移動成分１２０５（ｘ，ｙ）を計算することができる。

まず、式２によりｘ成分が計算できる。

x=xs+xd*cos(t)-yd*sin(t) ・・・式２
また、式３によりｙ成分が計算できる。

y=ys+yd*sin(t)+xd*cos(t) ・・・式３
続いて、図１２（ｃ）に示す様に、以上で求めた移動成分１２０５（ｘ，ｙ）を、タッチセンサ３０４に入力されたユーザの指の移動成分と比較する。それより、タッチセンサ３０４で検出されたタッチ位置の移動と、マーカを用いて求めた検出対象物２０１の移動との、移動方向の一致及び移動量の一致を検証することが可能である。

図１３は、第４の変形例に係る平滑化パラメータ調整処理の動作フローを例示する図である。制御部４０１は、例えば、ユーザへの支援の開始指示が入力されると、図１３の平滑化パラメータ調整処理を開始してよい。

なお、図１３のＳ１３０１からＳ１３０６までの処理は、例えば、図６のＳ６０１からＳ６０６までの処理と対応しており、制御部４０１は、図６のＳ６０１からＳ６０６までの処理と同様の処理を実行してよい。

Ｓ１３０５において直前のタッチ位置からの位置変化がある場合（Ｓ１３０５がＹｅｓ）、フローはＳ１３０７に進む。Ｓ１３０７において制御部４０１は、検出対象物２０１の動きを併進成分で表す。例えば、制御部４０１は、上述の図１２を参照して述べた様に、直前（例えば、所定のＴ１秒前）からの現在までのマーカの位置の移動から、検出対象物２０１の動きの併進成分と回転成分を取得する。そして、制御部４０１は、上述の式２及び式３を用いて、回転成分をタッチ位置における併進成分に変換して、検出対象物２０１の動きを併進成分で表す。

Ｓ１３０８において制御部４０１は、タッチセンサ３０４で検出したタッチ位置の動きと、Ｓ１３０７で求めた併進成分で表した検出対象物２０１の動きとを比較し、動きの差が所定の閾値以内か否かを判定する。なお、動きの差としては、例えば、タッチセンサ３０４で検出したタッチ位置の移動と、Ｓ１３０７で求めた併進成分で表した検出対象物２０１の動きとの２つのベクトルの差のベクトルの大きさを用いることができる。また、所定の閾値としては、例えば、０．５ｃｍ～３．０ｃｍの範囲の値を用いてよく、一例では１．０ｃｍ以内であってよい。

Ｓ１３０８において動きの差が所定の閾値以内でない場合（Ｓ１３０８がＮＯ）、フローはＳ１３０９に進む。この場合、タッチセンサ３０４で検出されたタッチ位置の移動量と、併進成分で表した検出対象物２０１の動きとの差が大きく整合していないと考えられる。そのため、検出ミスの可能性もあり、ユーザが検出対象物２０１を本当に動かしているのか判断が難しい状況にある。この場合、Ｓ１３０９では制御部４０１は、平滑化パラメータ情報５００を参照し、例えば、判定困難と対応する０．７２～０．９５５の範囲の値に、上述の式１の平滑化のパラメータＲを設定し、フローはＳ１３０１に戻る。なお、Ｓ１３０９では、Ｓ１３０４で用いる平滑化のパラメータＲの設定値を流用している。しかしながら、別の実施形態では、Ｓ１３０９でＳ１３０４と異なる設定値に平滑化のパラメータＲを設定してもよい。

Ｓ１３０８において動きの差が所定の閾値以内である場合（Ｓ１３０８がＹＥＳ）、フローはＳ１３１０に進む。この場合、タッチセンサ３０４で検出されたタッチ位置の移動量と、併進成分で表した検出対象物２０１の動きとの差が整合していると考えられる。そのため、Ｓ１３１０において制御部４０１は、平滑化パラメータ情報５００を参照し、接触後の動き大と対応する～０．９４の範囲の値に、上述の式１の平滑化のパラメータＲを設定し、フローはＳ１３０１に戻る。

以上の第４の変形例では、制御部４０１は、タッチセンサ３０４でタッチ位置の移動が検出された場合に、撮像画像を用いて検出対象物２０１の移動の方向と大きさが合致しているかを検証しているため、第３の変形例よりも正確に整合を判定することができる。

（第２の実施形態）
上述の実施形態では、ユーザ３１０が検出対象物２０１に触れているか否かの判定にタッチセンサ３０４を用いる例を述べたが、実施形態はこれに限定されるものではない。例えば、別の実施形態では、タッチセンサ３０４を用いずに判定が行われてもよい。第２の実施形態では、制御部４０１は、撮像装置３０３の撮像画像に基づいて、ユーザが検出対象物２０１に触れているか否かを推定する場合を例示する。

例えば、検出対象物２０１に記載された説明欄の位置を大まかに示す場合など、表示情報２１０の表示位置に精密な精度が要求されない状況がある。例えば、こうした状況で、タッチセンサ３０４を用いずに、撮像装置３０３で撮像した画像中で、検出対象物２０１上にユーザの手などが重なった場合に、ユーザ３１０が検出対象物２０１に触れているものと推定し、平滑化のパラメータを調整してもよい。

図１４は、第２の実施形態に係る作業支援システム１４００を例示する図である。作業支援システム１４００は、情報処理装置１４０１、表示装置１４０２、及び撮像装置１４０３を含む。情報処理装置１４０１は、表示装置１４０２、及び撮像装置１４０３とそれぞれ接続されており、それぞれの動作を制御する。表示装置１４０２は、例えば、作業台１４０５の作業面上にユーザ１４１０に対するガイドの情報を含む画像などの表示情報２１０を投影するプロジェクタなどの装置である。撮像装置１４０３は、作業台１４０５の作業面が画角に収まるように画像を撮像するカメラなどの装置である。

図１５は、第２の実施形態に係る平滑化パラメータ情報１５００を例示する図である。図１５の例では、平滑化パラメータ情報１５００は、上記のＩＩＲフィルタを用いた場合における各状態と、その状態毎のパラメータの設定値が示されている。図１５の例では、ユーザが検出対象物２０１に触れていない非接触の状態に対する設定値を示すエントリと、ユーザが検出対象物２０１に触れていることが推定される接触状態に対する設定値を示すエントリとが登録されている。なお、平滑化パラメータ情報１５００には、設定値が範囲で示されているが、実際にはエントリに示される範囲内の所定の値が登録されていてよい。また、図１５の例では、１／６０秒のタイミングで式１により出力を調整しており、そのインターバルに合わせたパラメータＲの値が設定されている。例えば、１／３０秒のタイミングでというように別のタイミングで式１により出力を調整する場合には、そのインターバルに合わせて別のパラメータＲの値が設定されてよい。

図１６は、第２の実施形態に係る平滑化パラメータ調整処理の動作フローを例示する図である。制御部４０１は、例えば、ユーザへの支援の開始指示が入力されると、図１６の平滑化パラメータ調整処理を開始してよい。

Ｓ１６０１において制御部４０１は、撮像装置１４０３で撮像された撮像画像から状態を検出する。例えば、制御部４０１は、撮像装置１４０３で撮像された画像から、検出対象物２０１に含まれるマーカ２０２を検出し、検出したマーカ２０２の位置、サイズ、向きから、作業台１４０５上での検出対象物２０１の配置を特定する。また、制御部４０１は、撮像装置１４０３で撮像された画像からユーザの手などの身体の一部を検出する。一実施形態においては、制御部４０１は、例えば、撮像画像の肌色成分から手の輪郭を抽出して指先を検出するなどの既存技術を適用することで、撮像画像から身体の一部の位置を検出してよい。

Ｓ１６０２において制御部４０１は、ユーザが検出対象物２０１に接触しているか否かを判定する。例えば、制御部４０１は、Ｓ１６０１で検出した検出対象物２０１の配置に、手などのユーザの身体の一部が重なっているか否かを判定し、重なっている場合に接触していると判定してよい。

Ｓ１６０２においてユーザが、検出対象物２０１に接触していると判定された場合（Ｓ１６０２がＹｅｓ）、フローはＳ１６０３に進む。この場合、ユーザが検出対象物２０１に触れており、検出対象物２０１を動かす可能性がある。そのため、平滑化パラメータ情報１５００を参照し、接触している状態と対応する０．７２～０．９５５の範囲の値に上述の式１の平滑化のパラメータＲを設定し、フローはＳ１６０１に戻る。

一方、Ｓ１６０２においてユーザが、検出対象物２０１に接触していないと判定された場合（Ｓ１６０２がＮｏ）、フローはＳ１６０４に進む。この場合、ユーザが検出対象物２０１に接触していないことが推定されるため、平滑化パラメータ情報１５００を参照し、非接触の状態と対応する０．８９～の範囲の値に上述の式１の平滑化のパラメータＲを設定し、フローはＳ１６０１に戻る。

以上で述べた様に、第２の実施形態によれば、タッチセンサ３０４を用いなくても、実施形態を実装することができる。なお、撮像装置１４０３に、３次元センサを用いることで、撮像装置１４０３で取得した画像データから距離の情報も取得可能になる。その場合、画像から推定した距離に基づいて、ユーザの手が検出対象物２０１から浮いているか、検出対象物２０１に接触しているかも判定することが可能である。この様な場合には、第２の実施形態において、第１の実施形態の例えば、図６で例示する４段階で状態を検出して調節する処理のように、２段階よりも多い段階で時定数を調整する処理も実行することが可能である。

（第３の実施形態）
第１の実施形態及びその変形例と、第２の実施形態とは組み合わせられて実行されてもよい。例えば、第３の実施形態では、或る状況では、第１の実施形態及びその変形例の平滑化パラメータ調整処理を実行し、別の状況では、第２の実施形態の平滑化パラメータ調整処理を実行するというように状況に応じて異なる処理を実行する。

図１７は、第３の実施形態に係る状況判定処理を例示する図である。制御部４０１は、例えば、ユーザへの支援の開始指示が入力されると、図１７の状況判定処理を開始してよい。

Ｓ１７０１において制御部４０１は、状況を判定する。一実施形態においてはこの判定は、ユーザがタッチセンサ３０４に触れている状態（ケース１）と、触れていない状態（ケース２）であってよい。この場合、ユーザがタッチセンサ３０４に触れている状態（ケース１）では、フローはＳ１７０２に進み、制御部４０１は、図６、図８、図９、図１１、図１３のいずれかの第１の実施形態に係る平滑化パラメータ調整処理を第１の調整処理として実行してよい。一方、Ｓ１７０１においてユーザがタッチセンサ３０４に触れておらず、ユーザの手や指が空中にある状態（ケース２）の場合、フローはＳ１７０３に進む。Ｓ１７０３において、制御部４０１は、図１６で例示した第２の実施形態に係る平滑化パラメータ調整処理９０００を第２の調整処理として実行してよい。

また、別の実施形態では、Ｓ１７０１の判定は、検出対象物２０１の種別を判定する処理であってよい。例えば、制御部４０１は、検出対象物２０１に含まれるマーカから種別の情報を読み取り、種別と対応するケースの処理を実行してよい。

図１８は、第３の実施形態に係る種別情報１８００を例示する図である。種別情報１８００には、検出対象物２０１の種別と、実行するケースとが対応付けられている。例えば、検出対象物２０１の種別が、Ａ，Ｂ，Ｃのいずれかであれば、制御部４０１は、Ｓ１７０１でケース１と判定し、フローをＳ１７０２に進めてよい。また、例えば、検出対象物２０１の種別が、Ｄ，Ｅのいずれかであれば、制御部４０１は、Ｓ１７０１でケース２と判定し、フローをＳ１７０３に進めてよい。

例えば、検出対象物２０１の種別によっては、表示情報２１０を精密に位置合わせしなくても、大まかに場所が示せればよい場合もある。一例として、何らかの説明を記載する幅の広い領域を、表示情報２１０で示す場合、表示情報２１０の位置を精密に検出対象物２０１に合わせなくても、ユーザにとって十分であることがある。例えば、こうした精密な位置合わせをしなくてもよい情報のみを含む検出対象物２０１の種別を、種別情報１８００においてケース２に登録しておくことで、細かな時定数の調節を行わなくても簡易的な処理で済ませることができる。

なお、例えば、表示装置１４０２で選択項目の表示情報２１０を表示し、ユーザ１４１０に検出対象物２０１のどの欄に入力するかを選択させて、撮像装置１４０３でユーザの選択を検出することで、制御部４０１は、入力が行われる欄を特定することができる。そのため、別の実施形態では、図１８の例において、検出対象物２０１の欄と対応する表示情報２１０の種類ごとに、第１の調整処理と第２の調整処理にケースを分けてもよい。

以上において、実施形態を例示したが、実施形態はこれに限定されるものではない。例えば、上述の動作フローは例示であり、実施形態はこれに限定されるものではない。可能な場合には、動作フローは、処理の順番を変更して実行されてもよく、別に更なる処理を含んでもよく、又は、一部の処理が省略されてもよい。例えば、上述の実施形態及び変形例の処理は、組み合わせられて実行されてよい。例えば、第１の変形例の図８のＳ８０７の移動量を用いた判定において、第２の変形例の図９のＳ９０７の速度を用いた判定も実行されてもよい。

また、上述の実施形態では、時定数の調節するために平滑化のパラメータを調節する場合の例を述べたが実施形態は、これに限定されるものではない。例えば、別の実施形態では、制御部４０１は、表示情報２１０の表示を更新する更新頻度を高くすることで、時定数が小さくなるように調節してもよい。また、同様に、制御部４０１は、表示情報２１０の表示を更新する更新頻度を低くすることで、時定数が大きくなるように調節してもよい。

図１９は、別の実施形態に係る更新頻度情報１９００を例示しており、例えば、制御部４０１は、上述の実施形態において、平滑化パラメータ情報５００の代わりに、更新頻度情報１９００を用いて処理を実行してもよい。例えば、Ｒ＝０．７２とした場合、表示情報２１０の表示内容を更新する更新頻度を、図１９に示すように設定してよい。例えば、非接触の状態では、Ｒ＝０．７２において更新間隔は、概ね１／２０秒～に設定されてよい。接触後の動き小の状態では、Ｒ＝０．７２において更新間隔は、概ね１／３０秒～１／４秒に設定されてよい。判定困難の状態では、Ｒ＝０．７２において更新間隔は、概ね１／６０秒～２／１５秒に設定されてよい。接触後の動き大の状態では、Ｒ＝０．７２において更新間隔は、概ね～１／１０秒に設定されてよい。なお、更新頻度情報１９００では、範囲で設定値を示しているが、実際には他のエントリと値が重ならない所定の値に設定されていてよい。また、図１９の例では、上段よりも下段のエントリの更新の間隔が短くなるように値が設定されていてよい。

なお、Ｒの値を調節することで、更新間隔を変更することも可能である。例えば、１／６０秒での画像入出力に対して、Ｒ＝０．９としたとする。この場合に、１／３０秒での画像更新に合わせる場合は時間が２倍なので、Ｒを０．９＾２＝０．８１とすればよく、１／２０の秒での画像更新に合わせる場合は時間が３倍なので、Ｒを０．９＾３＝０．７２９とすればよい。つまり、時間の倍数を、指数にして換算すればＲを変更することで更新間隔を調節することが可能である。

また、図２０は、実施形態に係る表示制御処理を例示する図である。制御部４０１は、例えば、ユーザへの支援の開始指示が入力されると、図２０の表示制御処理を開始してよい。

Ｓ２００１において制御部４０１は、撮像装置３０３，１４０３が撮像した撮像画像から、検出対象物２０１の位置を検出する。そして、Ｓ２００２において制御部４０１は、例えば、上述の図６、図８、図９、図１１、図１３、図１６のいずれかで設定されたパラメータに従って、検出対象物２０１の配置に対する所定の相対位置に表示情報２１０を表示し、フローはＳ２００１に戻る。

図２０の動作フローによれば、制御部４０１は、検出対象物２０１が静止している際の表示情報２１０の揺れを抑制しつつ、検出対象物２０１が動いた際に高い追従性で表示情報２１０を表示させることができる。従って、表示情報２１０の表示位置の精度を向上させることができる。

なお、上述の実施形態において、Ｓ２００１からＳ２００２の処理では、制御部４０１は、表示制御部４１１として動作する。また、図６、図８、図９、図１１、図１３、図１６のＳ１６０２～Ｓ１６０４の処理では、制御部４０１は、調節部４１２として動作する。Ｓ１７０１において、制御部４０１は、特定部４１３として動作する。Ｓ１６０１の処理では、制御部４０１は、検出部４１４として動作する。

図２１は、実施形態に係る情報処理装置３０１，１４０１を実現するためのコンピュータ２１００のハードウェア構成を例示する図である。図２１のコンピュータ２１００のハードウェア構成は、例えば、プロセッサ２１０１、メモリ２１０２、記憶装置２１０３、読取装置２１０４、及び入出力インタフェース２１０７を備える。なお、プロセッサ２１０１、メモリ２１０２、記憶装置２１０３、読取装置２１０４、入出力インタフェース２１０７は、例えば、バス２１０８を介して互いに接続されている。

プロセッサ２１０１は、例えば、シングルプロセッサであっても、マルチプロセッサやマルチコアであってもよい。プロセッサ２１０１は、メモリ２１０２を利用して例えば上述の動作フローの手順を記述したプログラムを実行することにより、上述した制御部４０１の一部または全部の機能を提供する。例えば、プロセッサ２１０１は、記憶装置２１０３に格納されているプログラムを読み出して実行することで、表示制御部４１１、調節部４１２、特定部４１３、及び検出部４１４として動作してよい。

メモリ２１０２は、例えば半導体メモリであり、ＲＡＭ領域及びＲＯＭ領域を含んでいてよい。記憶装置２１０３は、例えばハードディスク、フラッシュメモリ等の半導体メモリ、又は外部記憶装置である。なお、ＲＡＭは、Random Access Memoryの略称である。また、ＲＯＭは、Read Only Memoryの略称である。

読取装置２１０４は、プロセッサ２１０１の指示に従って着脱可能記憶媒体２１０５にアクセスする。着脱可能記憶媒体２１０５は、例えば、半導体デバイス（ＵＳＢメモリ等）、磁気的作用により情報が入出力される媒体（磁気ディスク等）、光学的作用により情報が入出力される媒体（ＣＤ－ＲＯＭ、ＤＶＤ等）などにより実現される。なお、ＵＳＢは、Universal Serial Busの略称である。ＣＤは、Compact Discの略称である。ＤＶＤは、Digital Versatile Diskの略称である。

上述の記憶部４０２は、例えばメモリ２１０２、記憶装置２１０３、及び着脱可能記憶媒体２１０５を含んでよい。記憶装置２１０３には、例えば、平滑化パラメータ情報５００，７００，１５００、種別情報１８００、及び更新頻度情報１９００などの情報が格納されていてよい。

入出力インタフェース２１０７は、例えば、入力装置及び出力装置との間のインタフェースであってよい。上述の入出力部４０３は、例えば、入出力インタフェース２１０７を含む。例えば、入出力インタフェース２１０７は、表示装置３０２，１４０２、撮像装置３０３，１４０３、及びタッチセンサ３０４などと接続されている。入出力インタフェース２１０７は、プロセッサ２１０１の指示に従って、表示装置３０２，１４０２、撮像装置３０３，１４０３、タッチセンサ３０４と情報を通信してよい。また、入出力インタフェース２１０７は、例えば、ユーザからの指示を受け付けるキーボードやマウスなどの入力デバイス及びディスプレーやスピーカなどの出力装置と接続されていてもよい。

実施形態に係る各プログラムは、例えば、記憶装置２１０３に予めインストールされている、着脱可能記憶媒体２１０５により提供される、または、プログラムサーバなどのサーバから提供されるなどの形態でコンピュータ２１００に提供されてよい。なお、プログラムが、プログラムサーバなどのサーバから提供される場合、コンピュータ２１００は通信装置を備えていてよい。

また、図２１を参照して述べたコンピュータ２１００のハードウェア構成は、例示であり、実施形態はこれに限定されるものではない。例えば、上述の機能部の一部または全部の機能がＦＰＧＡ及びＳｏＣなどによるハードウェアとして実装されてもよい。なお、ＦＰＧＡは、Field Programmable Gate Arrayの略称である。ＳｏＣは、System-on-a-chipの略称である。

以上において、いくつかの実施形態が説明される。しかしながら、実施形態は上記の実施形態に限定されるものではなく、上述の実施形態の各種変形形態及び代替形態を包含するものとして理解されるべきである。例えば、各種実施形態は、その趣旨及び範囲を逸脱しない範囲で構成要素を変形して具体化できることが理解されよう。また、前述した実施形態に開示されている複数の構成要素を適宜組み合わせることにより、種々の実施形態が実施され得ることが理解されよう。更には、実施形態に示される全構成要素からいくつかの構成要素を削除して又は置換して、或いは実施形態に示される構成要素にいくつかの構成要素を追加して種々の実施形態が実施され得ることが当業者には理解されよう。

以上の実施形態１～３を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
タッチセンサを含む領域を撮像する撮像装置で撮像された撮像画像から検出した検出対象物の配置に合わせて、前記タッチセンサを含む領域上にある前記検出対象物に対する所定の相対位置に表示情報を投影するように表示装置を制御する表示制御部と、
前記検出対象物の動きに対する前記表示情報を追従させる反応速度を、前記タッチセンサで検出された接触位置が前記撮像画像から検出された前記検出対象物の配置と重ならない場合よりも、前記タッチセンサで検出された接触位置が前記撮像画像から検出された前記検出対象物の配置と重なる場合に、より早くなるように調節する調節部と、
を含む、情報処理装置。
（付記２）
前記調節部は、更に、前記タッチセンサで検出された接触位置が、前記撮像画像から検出された前記検出対象物の配置と重なっている状態において、前記検出対象物の動きに対する前記表示情報を追従させる反応速度を、前記接触位置が所定の速度未満で動いた場合よりも、前記タッチセンサで検出された接触位置が所定の速度以上で動いた場合に、より早くなるように調節する、ことを特徴とする付記１に記載の情報処理装置。
（付記３）
前記調節部は、更に、前記タッチセンサで検出された接触位置が、前記撮像画像から検出された前記検出対象物の配置と重なっている状態において、前記検出対象物の動きに対する前記表示情報を追従させる反応速度を、前記接触位置が所定の移動量未満で動いた場合よりも、前記タッチセンサで検出された接触位置が所定の移動量以上で動いた場合に、より早くなるように調節する、ことを特徴とする付記１に記載の情報処理装置。
（付記４）
前記調節部は、前記タッチセンサで検出された前記接触位置が前記撮像画像から検出された前記検出対象物の配置と重ならない場合よりも、前記タッチセンサで検出された前記接触位置が前記撮像画像から検出された前記検出対象物の配置と重なる場合における前記表示装置で投影する前記表示情報の更新頻度を高くすることで、前記検出対象物の動きに対する前記表示情報を追従させる反応速度を、より早くなるように調節する、ことを特徴とする付記１から３のいずれかに記載の情報処理装置。
（付記５）
前記調節部は、更に、前記タッチセンサで検出された前記接触位置が動いた場合に、前記撮像装置で撮像した撮像画像から検出した前記検出対象物の動きが所定の閾値以上であれば、前記撮像装置で撮像した撮像画像から検出した前記検出対象物の動きが所定の閾値未満である場合よりも、前記検出対象物の動きに対する前記表示情報を追従させる反応速度を、より早くなるように調節する、ことを特徴とする付記１に記載の情報処理装置。
（付記６）
前記調節部は、更に、前記タッチセンサで検出された前記接触位置が動いた場合に、前記撮像装置で撮像した撮像画像から検出した前記検出対象物の動きと、前記タッチセンサで検出された前記接触位置の動きとが、所定の閾値以下で一致していれば、前記所定の閾値以上で異なる場合よりも、前記検出対象物の動きに対する前記表示情報を追従させる反応速度を、より早くなるように調節する、ことを特徴とする付記１に記載の情報処理装置。
（付記７）
前記撮像画像に写る前記検出対象物の画像から前記検出対象物の種別を特定する特定部と、
前記撮像画像に写るユーザの身体の一部を検出する検出部と、を更に含み、
前記調節部は、前記検出対象物の種別が所定の種別である場合、前記撮像画像から検出した前記検出対象物に前記身体の一部が重なれば、前記撮像画像に写る前記検出対象物に前記身体の一部が重ならない場合よりも、前記検出対象物の動きに対する前記表示情報を追従させる反応速度を、より早くなるように調節する、付記１に記載の情報処理装置。
（付記８）
タッチセンサを含む領域を撮像する撮像装置で撮像された撮像画像から検出した検出対象物の配置に合わせて、前記タッチセンサを含む領域上にある前記検出対象物に対する所定の相対位置に表示情報を投影するように表示装置を制御し、
前記検出対象物の動きに対する前記表示情報を追従させる反応速度を、前記タッチセンサで検出された接触位置が前記撮像画像から検出された前記検出対象物の配置と重ならない場合よりも、前記タッチセンサで検出された接触位置が前記撮像画像から検出された前記検出対象物の配置と重なる場合に、より早くなるように調節する、
処理を情報処理装置に実行させるためのプログラム。
（付記９）
タッチセンサを含む領域を撮像する撮像装置で撮像された撮像画像から検出した検出対象物の配置に合わせて、前記タッチセンサを含む領域上にある前記検出対象物に対する所定の相対位置に表示情報を投影するように表示装置を制御し、
前記検出対象物の動きに対する前記表示情報を追従させる反応速度を、前記タッチセンサで検出された接触位置が前記撮像画像から検出された前記検出対象物の配置と重ならない場合よりも、前記タッチセンサで検出された接触位置が前記撮像画像から検出された前記検出対象物の配置と重なる場合に、より早くなるように調節する、
ことを含む、情報処理装置に実行させる処理方法。
（付記１０）
作業領域を画角内に含む撮像装置で撮像された撮像画像から検出した検出対象物の配置に合わせて、前記作業領域上にある前記検出対象物に対する所定の相対位置に表示情報を投影するように表示装置を制御する表示制御部と、
前記撮像画像に写るユーザの身体の一部を検出する検出部と、
前記検出対象物の動きに対する前記表示情報を追従させる反応速度を、前記撮像画像から検出した前記検出対象物に前記身体の一部が重ならない場合よりも、前記撮像画像から検出した前記検出対象物に前記身体の一部が重なる場合に、前記検出対象物の動きに対する前記表示情報を追従させる反応速度を、より早くなるように調節する調節部と、
を含む、情報処理装置。

１００ 作業支援システム
１０１ 情報処理装置
１０２ 表示装置
１０３ 撮像装置
１０５ 作業台
１１０ ユーザ
２０１ 検出対象物
２０２ マーカ
２１０ 表示情報
３００ 作業支援システム
３０１ 情報処理装置
３０２ 表示装置
３０３ 撮像装置
３０４ タッチセンサ
３０５ 作業台
３１０ ユーザ
４０１ 制御部
４０２ 記憶部
４０３ 入出力部
４１１ 表示制御部
４１２ 調節部
４１３ 特定部
４１４ 検出部
１４００ 作業支援システム
１４０１ 情報処理装置
１４０２ 表示装置
１４０３ 撮像装置
１４０５ 作業台
１４１０ ユーザ
２１００ コンピュータ
２１０１ プロセッサ
２１０２ メモリ
２１０３ 記憶装置
２１０４ 読取装置
２１０５ 着脱可能記憶媒体
２１０７ 入出力インタフェース
２１０８ バス

Claims (9)

1. タッチセンサを含む領域を撮像する撮像装置で撮像された撮像画像から検出した検出対象物の配置に合わせて、前記タッチセンサを含む領域上にある前記検出対象物に対する所定の相対位置に表示情報を投影するように表示装置を制御する表示制御部と、
   前記検出対象物の動きに対する前記表示情報を追従させる反応速度を、前記タッチセンサで検出された接触位置が前記撮像画像から検出された前記検出対象物の配置と重ならない場合よりも、前記タッチセンサで検出された接触位置が前記撮像画像から検出された前記検出対象物の配置と重なる場合に、より早くなるように調節する調節部と、
   を含む、情報処理装置。
2. 前記調節部は、更に、前記タッチセンサで検出された接触位置が、前記撮像画像から検出された前記検出対象物の配置と重なっている状態において、前記検出対象物の動きに対する前記表示情報を追従させる反応速度を、前記接触位置が所定の速度未満で動いた場合よりも、前記タッチセンサで検出された接触位置が所定の速度以上で動いた場合に、より早くなるように調節する、ことを特徴とする請求項１に記載の情報処理装置。
3. 前記調節部は、更に、前記タッチセンサで検出された接触位置が、前記撮像画像から検出された前記検出対象物の配置と重なっている状態において、前記検出対象物の動きに対する前記表示情報を追従させる反応速度を、前記接触位置が所定の移動量未満で動いた場合よりも、前記タッチセンサで検出された接触位置が所定の移動量以上で動いた場合に、より早くなるように調節する、ことを特徴とする請求項１に記載の情報処理装置。
4. 前記調節部は、前記タッチセンサで検出された前記接触位置が前記撮像画像から検出された前記検出対象物の配置と重ならない場合よりも、前記タッチセンサで検出された前記接触位置が前記撮像画像から検出された前記検出対象物の配置と重なる場合における前記表示装置で投影する前記表示情報の更新頻度を高くすることで、前記検出対象物の動きに対する前記表示情報を追従させる反応速度を、より早くなるように調節する、ことを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
5. 前記調節部は、更に、前記タッチセンサで検出された前記接触位置が動いた場合に、前記撮像装置で撮像した撮像画像から検出した前記検出対象物の動きが所定の閾値以上であれば、前記撮像装置で撮像した撮像画像から検出した前記検出対象物の動きが所定の閾値未満である場合よりも、前記検出対象物の動きに対する前記表示情報を追従させる反応速度を、より早くなるように調節する、ことを特徴とする請求項１に記載の情報処理装置。
6. 前記調節部は、更に、前記タッチセンサで検出された前記接触位置が動いた場合に、前記撮像装置で撮像した撮像画像から検出した前記検出対象物の動きと、前記タッチセンサで検出された前記接触位置の動きとが、所定の閾値以下で一致していれば、前記所定の閾値以上で異なる場合よりも、前記検出対象物の動きに対する前記表示情報を追従させる反応速度を、より早くなるように調節する、ことを特徴とする請求項１に記載の情報処理装置。
7. 前記撮像画像に写る前記検出対象物の画像から前記検出対象物の種別を特定する特定部と、
   前記撮像画像に写るユーザの身体の一部を検出する検出部と、を更に含み、
   前記調節部は、前記検出対象物の種別が所定の種別である場合、前記撮像画像から検出した前記検出対象物に前記身体の一部が重なれば、前記撮像画像に写る前記検出対象物に前記身体の一部が重ならない場合よりも、前記検出対象物の動きに対する前記表示情報を追従させる反応速度を、より早くなるように調節する、請求項１に記載の情報処理装置。
8. タッチセンサを含む領域を撮像する撮像装置で撮像された撮像画像から検出した検出対象物の配置に合わせて、前記タッチセンサを含む領域上にある前記検出対象物に対する所定の相対位置に表示情報を投影するように表示装置を制御し、
   前記検出対象物の動きに対する前記表示情報を追従させる反応速度を、前記タッチセンサで検出された接触位置が前記撮像画像から検出された前記検出対象物の配置と重ならない場合よりも、前記タッチセンサで検出された接触位置が前記撮像画像から検出された前記検出対象物の配置と重なる場合に、より早くなるように調節する、
   処理を情報処理装置に実行させるためのプログラム。
9. タッチセンサを含む領域を撮像する撮像装置で撮像された撮像画像から検出した検出対象物の配置に合わせて、前記タッチセンサを含む領域上にある前記検出対象物に対する所定の相対位置に表示情報を投影するように表示装置を制御し、
   前記検出対象物の動きに対する前記表示情報を追従させる反応速度を、前記タッチセンサで検出された接触位置が前記撮像画像から検出された前記検出対象物の配置と重ならない場合よりも、前記タッチセンサで検出された接触位置が前記撮像画像から検出された前記検出対象物の配置と重なる場合に、より早くなるように調節する、
   ことを含む、情報処理装置に実行させる処理方法。

Images