JP6179227B2 - 情報処理装置、携帯端末および情報入力装置 - Google Patents

Description

本発明は、情報処理装置、携帯端末および情報入力装置に関するものである。

近年、情報入力装置に対する情報の入力形式が多様化している。例えば、ハードウェアボタン、キーボードなどが様々な場面において用いられている。また、タッチパネルも普及してきている。また、入力映像から物体を認識して認識結果を取得し、認識結果に応じた映像を出力する技術も開示されている（例えば、特許文献１参照）。かかる技術においては、入力映像の撮像範囲における物体の状態を決定するという入力形式が用いられる。

特開２０１３−０５８０９４号公報

しかしながら、情報の入力形式は多様化してきている中で、ユーザの利用可能な入力形式は情報入力装置のためにあらかじめ用意されている入力形式に限定されてしまうことがある。一方で、ユーザは、情報入力装置のためにあらかじめ用意されている入力形式よりも、自分の携帯端末を用いて情報入力装置に対する情報の入力を行いたいと考える可能性もある。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、携帯端末を用いて情報入力装置に対する情報の入力を行うための技術を提供することにある。

上記問題を解決するために、本発明のある観点によれば、情報入力装置の出力部によって表示された画面の一部または全部が携帯端末の撮像部によって撮像された撮像画像を取得する画像取得部と、前記撮像画像に基づいて前記情報入力装置の入力領域を検出した場合、前記入力領域と前記携帯端末との間のペアリングを制御するペアリング制御部と、を備え、前記ペアリング制御部は、前記出力部への前記撮像部の載置位置に関連付けられた入力領域を検出した場合、前記入力領域と前記携帯端末との間のペアリングを行わせる、情報処理装置が提供される。

前記ペアリング制御部は、前記携帯端末から前記情報入力装置に送信される操作情報の種類が前記入力領域に応じて選択されるように制御してもよい。

前記ペアリング制御部は、前記携帯端末によって表示される入力画面が前記入力領域に応じて選択されるように制御してもよい。

前記ペアリング制御部は、前記撮像画像とマッチするマーカに関連付けられた入力領域を検出した場合、前記入力領域と前記携帯端末との間のペアリングを行わせてもよい。

前記ペアリング制御部は、前記撮像画像の撮像時刻が前記マーカの表示時刻と一致する場合、前記ペアリングを行わせてもよい。

前記ペアリング制御部は、前記撮像画像に映る光学パターンに対応する位置を前記載置位置として検出してもよい。

前記ペアリング制御部は、前記画面内の位置と前記画面内を移動する走査線が当該位置を通過する時刻との対応関係に基づいて、前記画面内を移動する走査線が前記撮像画像から検出された時刻に対応する位置を前記載置位置として検出してもよい。

前記ペアリング制御部は、１つの情報入力装置に設けられた複数の入力領域から検出された入力領域と前記携帯端末との間のペアリングを制御してもよい。

前記ペアリング制御部は、複数の情報入力装置それぞれに設けられた入力領域から検出された入力領域と前記携帯端末との間のペアリングを制御してもよい。

また、本発明の他の観点によれば、情報入力装置の出力部によって表示された画面の一部または全部を撮像して撮像画像を得る撮像部と、前記撮像画像に基づいて前記情報入力装置の入力領域が検出された場合、前記入力領域との間のペアリングを行うペアリング処理部と、を備える、携帯端末において、前記ペアリング処理部は、前記携帯端末の姿勢が所定の条件を満たした場合に、前記情報入力装置に光学パターンの出力を開始させる、携帯端末が提供される。

また、本発明の他の観点によれば、画面を表示させる出力制御部と、ユーザの操作が入力される入力領域を有する入力部と、携帯端末に備えられた撮像部によって撮像された撮像画像に基づいて前記入力領域が検出された場合、前記入力領域と前記携帯端末との間のペアリングを行うペアリング処理部と、を備え、前記ペアリング処理部は、前記画面を表示する出力部への前記撮像部の載置位置に関連付けられた入力領域が検出された場合、前記入力領域と前記携帯端末との間のペアリングを行う、情報入力装置が提供される。

前記情報入力装置は、前記携帯端末から送信された操作情報を受信するように制御する通信制御部と、前記操作情報を処理する操作処理部と、を備えてもよい。

前記ペアリング処理部は、前記ペアリングが行われた後、前記携帯端末以外からの前記入力領域に対する入力を制限してもよい。

以上説明したように本発明によれば、携帯端末を用いて情報入力装置に対する情報の入力を行うことが可能である。

本発明の実施形態に係る情報処理システムの概要を説明するための図である。 情報処理システムの構成例を示す図である。 携帯端末の機能構成例を示す図である。 情報入力装置の機能構成例を示す図である。 情報処理装置の機能構成例を示す図である。 情報入力装置によって表示される画面の第一の例を示す図である。 情報処理装置の動作の例を示すフローチャートである。 情報処理装置の動作の他の例を示すフローチャートである。 情報入力装置によって表示される画面の第二の例を示す図である。 情報入力装置によって表示される画面の第三の例を示す図である。 情報処理装置の動作の例を示すフローチャートである。 携帯端末によって表示される画面の例を示す図である。 携帯端末の動作の例を示すフローチャートである。 情報入力装置の動作の例を示すフローチャートである。 情報処理システムの構成の変形例を示す図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットまたは数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

［実施形態の説明］
まず、本発明の実施形態に係る情報処理システム１の概要について説明する。図１は、本発明の実施形態に係る情報処理システム１の概要を説明するための図である。図１に示すように、情報処理システム１は、少なくとも携帯端末１０と情報入力装置２０とを備えている。携帯端末１０はユーザが所持する端末であり、携帯端末１０の種類は特に限定されず、例えば、携帯電話であってもよいし、スマートフォンであってもよいし、タブレット端末であってもよい。

情報入力装置２０は、少なくとも入力部２２０と出力部２５０とを備えている。入力部２２０は、ユーザからの情報の入力を受け付ける機能を有する。本明細書においては、入力部２２０がタッチパネルによって構成される場合を主に説明するが、入力部２２０の入力形式は特に限定されない。入力部２２０によって入力が受け付けられた情報は情報入力装置２０に出力され、情報入力装置２０による演算に用いられる。また、情報入力装置２０による演算結果は、出力部２５０によって出力される。

ここで、ユーザの利用可能な入力形式は情報入力装置２０のためにあらかじめ用意されている入力部２２０の入力形式に限定されてしまう。一方で、ユーザは、情報入力装置２０のためにあらかじめ用意されている入力形式よりも、自分の携帯端末１０を用いて情報入力装置２０に対する情報の入力を行いたいと考える可能性もある。そこで、本明細書においては、携帯端末１０を用いて情報入力装置２０に対する情報の入力を行うための技術を提案する。

以上、情報処理システム１の概要について説明した。

続いて、情報処理システム１の構成例について説明する。図２は、情報処理システム１の構成例を示す図である。図２に示すように、情報処理システム１は、携帯端末１０と情報入力装置２０と情報処理装置３０とを備える。携帯端末１０と情報入力装置２０と情報処理装置３０とは、ネットワーク４０に接続されている。情報入力装置２０の入力部２２０は、入力領域２２１Ａ、２２１Ｂ、２２１Ｃを有している。本明細書においては、入力部２２０が３つの入力領域２２１を有している例を主に説明するが、入力部２２０が有する入力領域２２１の数は限定されない。

以上、情報処理システム１の構成例について説明した。

続いて、携帯端末１０の機能構成例について説明する。図３は、携帯端末１０の機能構成例を示す図である。図３に示すように、携帯端末１０は、制御部１１０と、検出部１２０と、撮像部１３０と、センサ部１４０と、通信部１５０と、記憶部１６０と、表示部１７０とを備える。

制御部１１０は、携帯端末１０の動作全体を制御する機能を有する。検出部１２０は、ユーザの操作を検出して制御部１１０に提供する機能を有する。撮像部１３０は、撮像範囲を撮像して撮像画像を取得する機能を有する。センサ部１４０は、携帯端末１０の姿勢を検出する機能を有する。通信部１５０は、制御部１１０による制御に従って有線または無線により他の装置と通信を行う機能を有する。例えば、通信部１５０は、ネットワーク４０に接続された他の装置と通信を行う機能を有する。

記憶部１６０は、制御部１１０を動作させるためのプログラムやデータを記憶することができる。また、記憶部１６０は、制御部１１０の動作の過程で必要となる各種データを一時的に記憶することもできる。表示部１７０は、制御部１１０による制御に従って各種情報を表示する機能を有する。

なお、図３に示した例では、検出部１２０、撮像部１３０、センサ部１４０、通信部１５０、記憶部１６０および表示部１７０は、携帯端末１０の内部に存在するが、携帯端末１０の外部に備えられていてもよい。また、制御部１１０は、ペアリング処理部１１１と、操作検出部１１２と、通信制御部１１３と、表示制御部１１４とを備える。制御部１１０が備えるこれらの各機能部の詳細については、後に説明する。

以上、携帯端末１０の機能構成例について説明した。

続いて、情報入力装置２０の機能構成例について説明する。図４は、情報入力装置２０の機能構成例を示す図である。図４に示すように、情報入力装置２０は、制御部２１０と、入力部２２０と、通信部２３０と、記憶部２４０と、出力部２５０とを備える。

制御部２１０は、情報入力装置２０の動作全体を制御する機能を有する。入力部２２０は、入力領域２２１Ａ、２２１Ｂ、２２１Ｃに対する情報の入力を受け付けて制御部２１０に提供する機能を有する。通信部２３０は、制御部２１０による制御に従って他の装置と通信を行う機能を有する。例えば、通信部２３０は、ネットワーク４０に接続された他の装置と通信を行う機能を有する。

記憶部２４０は、制御部２１０を動作させるためのプログラムやデータを記憶することができる。また、記憶部２４０は、制御部２１０の動作の過程で必要となる各種データを一時的に記憶することもできる。出力部２５０は、制御部２１０による制御に従って各種情報を表示する機能を有する。

なお、図４に示した例では、入力部２２０、通信部２３０、記憶部２４０および出力部２５０は、情報入力装置２０の内部に存在するが、情報入力装置２０の外部に備えられていてもよい。また、制御部２１０は、ペアリング処理部２１１と、通信制御部２１２と、操作処理部２１３と、出力制御部２１４とを備える。制御部２１０が備えるこれらの各機能部の詳細については、後に説明する。

以上、情報入力装置２０の機能構成例について説明した。

続いて、情報処理装置３０の機能構成例について説明する。図５は、情報処理装置３０の機能構成例を示す図である。図５に示すように、情報処理装置３０は、制御部３１０、記憶部３２０および通信部３３０を備える。

制御部３１０は、情報処理装置３０の動作全体を制御する機能を有する。記憶部３２０は、制御部３１０を動作させるためのプログラムやデータを記憶することができる。また、記憶部３２０は、制御部３１０の動作の過程で必要となる各種データを一時的に記憶することもできる。通信部３３０は、ネットワーク４０に接続された他の装置と通信を行う機能を有する。

なお、図５に示した例では、記憶部３２０および通信部３３０は、情報処理装置３０の内部に存在するが、記憶部３２０および通信部３３０は、情報処理装置３０の外部に備えられていてもよい。また、制御部３１０は、画像取得部３１１と、ペアリング制御部３１２とを備える。制御部３１０が備えるこれらの各機能部の詳細については、後に説明する。

以上、情報処理装置３０の機能構成例について説明した。

続いて、情報処理システム１の機能詳細について説明する。図６は、情報入力装置２０によって表示される画面の第一の例を示す図である。図６を参照すると、情報入力装置２０の出力制御部２１４は、入力領域２２１Ａ、２２１Ｂ、２２１Ｃそれぞれに対応する入力画面を表示させている。ユーザは、入力領域２２１Ａ、２２１Ｂ、２２１Ｃに対して操作を入力することにより、情報入力装置２０に対して情報を入力することが可能であるが、ここでは、携帯端末１０を用いた情報入力装置２０に対する情報の入力を可能にする技術を提案する。

かかる技術を実現するため、情報処理装置３０は、携帯端末１０と情報入力装置２０との間のペアリングを行う。ペアリングの具体的な手法としては様々な手法が想定されるが、最初に第一の手法について説明する。第一の手法は、マーカの認識結果を用いてペアリングを行わせる技術である。

まず、図６に示したように、出力制御部２１４は、入力領域２２１Ａに対応するマーカＭ−Ａ、入力領域２２１Ｂに対応するマーカＭ−Ｂ、入力領域２２１Ｃに対応するマーカＭ−Ｃを出力部２５０に表示させる。また、図６に示したように、出力制御部２１４は、入力部２２０に対応するマーカＭを出力部２５０に表示させてもよい。

ユーザは、入力領域２２１Ａ、２２１Ｂ、２２１Ｃのいずれに対して操作を入力するかを決定した後、決定した入力領域に対応するマーカを携帯端末１０の撮像部１３０の撮像範囲に収めて撮像部１３０に撮像を行わせる。撮像範囲にはマーカが収まっていればよく、出力部２５０によって出力されている画面の一部が撮像範囲に収まっていてもよいし、全部が撮像範囲に収まっていてもよい。

図７は、情報処理装置３０の動作の例を示すフローチャートである。まず、情報処理装置３０の画像取得部３１１は、携帯端末１０の撮像部１３０によって撮像された撮像画像を取得する。ペアリング制御部３１２は、撮像画像に基づいて情報入力装置２０の入力領域２２１を検出した場合、検出した入力領域２２１と携帯端末１０との間のペアリングを制御する。

具体的には、ペアリング制御部３１２は、撮像画像とマッチするマーカに関連付けられた入力領域を検出しない場合には（ステップＳ１１において「Ｎｏ」）、ペアリングの制御を行わないが、撮像画像とマッチするマーカに関連付けられた入力領域を検出した場合には（ステップＳ１１において「Ｙｅｓ」）、検出した入力領域２２１と携帯端末１０との間のペアリングを行わせる（ステップＳ１３）。

なお、撮像部１３０による撮像回数は限定されない。例えば、撮像部１３０による撮像は１回のみなされてもよいが、手ぶれなどが原因で撮像画像が不鮮明になってしまう可能性もあるため、複数回なされてもよい。そうすれば、複数の撮像画像とマーカとのマッチングによりマーカの認識精度が高まることが期待される。

図８は、情報処理装置３０の動作の他の例を示すフローチャートである。この例においては、あらかじめマーカに表示時刻が関連付けられており、出力制御部２１４は、現在時刻と一致する表示時刻が見つかったときに、その表示時刻に関連付けられているマーカを表示させる。

まず、情報処理装置３０の画像取得部３１１は、携帯端末１０の撮像部１３０によって撮像された撮像画像を取得する。ペアリング制御部３１２は、撮像画像に基づいて情報入力装置２０の入力領域２２１を検出した場合、検出した入力領域２２１と携帯端末１０との間のペアリングを制御する。

具体的には、ペアリング制御部３１２は、撮像画像とマッチするマーカに関連付けられた入力領域を検出しない場合には（ステップＳ１１において「Ｎｏ」）、ペアリングの制御を行わないが、撮像画像とマッチするマーカに関連付けられた入力領域を検出した場合には（ステップＳ１１において「Ｙｅｓ」）、撮像画像を撮像した撮像時刻とマーカに関連付けられた表示時刻とが一致する場合に（ステップＳ１２において「Ｙｅｓ」）、検出した入力領域２２１と携帯端末１０との間のペアリングを行わせる（ステップＳ１３）。

このようにして撮像時刻と表示時刻とが一致するか否かを追加的に判定することにより、ユーザの意図する通りのペアリングをより確実に行わせることが可能となる。なお、ペアリングは所定の条件が満たされた場合に、解除されてもよい。例えば、ペアリング制御部３１２は、ペアリングを行わせた後、撮像画像とマッチするマーカが所定時間を超えて検出されなくなった場合に、ペアリングを解除させてもよい。

続いて、第二の手法について説明する。情報入力装置２０の出力部２５０に撮像部１３０が載置されている場合においては、撮像部１３０は、出力部２５０から発せられる光を取得することが可能である。撮像部１３０によって撮像された撮像画像からは、出力部２５０から発せられた光の変化（例えば、光の明暗の変化や色調の変化）も把握され得る。第二の手法では、このようにして情報入力装置２０によって制御される周期的な光の変化のパターン（以下、「光学パターン」とも言う。）を利用する。

光学パターンが出力されるタイミングは特に限定されないが、ペアリング処理部１１１は、携帯端末１０の姿勢が所定の条件を満たした場合に、情報入力装置２０に光学パターンの出力を開始させてもよい。所定の条件は、例えば、センサ部１４０として加速度センサが備わっている場合には、情報入力装置２０における携帯端末１０の載置面の傾斜に応じた重力加速度がセンサ部１４０によって検出されている状態が所定時間継続したという条件であってもよい。

図９は、情報入力装置２０によって表示される画面の第二の例を示す図である。まず、出力制御部２１４は、出力部２５０への撮像部１３０の載置位置を示す載置情報を表示させる。具体的には、図９に示したように、入力領域２２１Ａに対応する載置情報Ｎ−Ａ、入力領域２２１Ｂに対応する載置情報Ｎ−Ｂ、入力領域２２１Ｃに対応する載置情報Ｎ−Ｃを出力部２５０に表示させる。入力領域２２１Ａ、２２１Ｂ、２２１Ｃにおける光学パターンは異なっていればよいため、出力制御部２１４は、入力領域２２１Ａ、２２１Ｂ、２２１Ｃそれぞれに対応する光学パターンによって発光させてもよいし、入力部２２０の全体に渡って光学パターンを変化させてもよい。

ユーザは、入力領域２２１Ａ、２２１Ｂ、２２１Ｃのいずれに対して操作を入力するかを決定した後、決定した入力領域に対応する載置位置に携帯端末１０の撮像部１３０を載置する。ペアリング制御部３１２は、出力部２５０への撮像部１３０の載置位置に関連付けられた入力領域２２１を検出した場合、入力領域２２１と携帯端末１０との間のペアリングを行わせる。この例では、ペアリング制御部３１２は、撮像画像に映る光学パターンに対応する位置を載置位置として検出する。

図１０は、情報入力装置２０によって表示される画面の第三の例を示す図である。図９に示した例では、載置情報Ｎ−Ａ、Ｎ−Ｂ、Ｎ−Ｃが表示されたが、図１０に示したように、出力制御部２１４は、画面内を移動する走査線Ｐ−Ａ１、Ｐ−Ａ２、Ｐ−Ｂ１、Ｐ−Ｂ２を表示させてもよい。そして、ペアリング制御部３１２は、撮像画像から走査線が検出された時刻（あるいは、複数の走査線の検出時刻の差）に対応する位置を載置位置として検出してもよい。

ペアリング制御部３１２は、出力部２５０への撮像部１３０の載置位置に関連付けられた入力領域２２１を検出した場合、入力領域２２１と携帯端末１０との間のペアリングを行わせる。なお、ペアリング制御部３１２は、光学パターンの検出結果から、携帯端末１０の載置方向を把握した場合には、携帯端末１０に表示させる入力画面の方向を載置方向に応じて制御することも可能である。

図１１は、情報処理装置３０の動作の例を示すフローチャートである。まず、情報処理装置３０の画像取得部３１１は、携帯端末１０の撮像部１３０によって撮像された撮像画像を取得する。ペアリング制御部３１２は、撮像画像に基づいて情報入力装置２０の入力領域２２１を検出した場合、検出した入力領域２２１と携帯端末１０との間のペアリングを制御する。

具体的には、ペアリング制御部３１２は、撮像画像に基づいて撮像部１３０の載置位置を検出する（ステップＳ２１）。ペアリング制御部３１２は、載置位置に応じた入力領域２２１を検出した場合には（ステップＳ２２において「Ｙｅｓ」）、検出した入力領域２２１と携帯端末１０との間のペアリングを行わせる（ステップＳ２３）。

なお、出力制御部２１４は、出力させる光学パターンを時刻に対応させて変化させてもよい。かかる場合、撮像画像を撮像した撮像時刻と検出された光学パターンに関連付けられた出力時刻とが一致する場合に、検出した入力領域２２１と携帯端末１０との間のペアリングを行わせてよい。このようにして撮像時刻と出力時刻とが一致するか否かを追加的に判定することにより、ユーザの意図する通りのペアリングをより確実に行わせることが可能となる。

なお、ペアリングは所定の条件が満たされた場合に、解除されてもよい。例えば、ペアリング制御部３１２は、ペアリングを行わせた後、載置位置が所定時間を超えて検出されなくなった場合に、ペアリングを解除させてもよい。

以上、ペアリングの第一の手法および第二の手法について説明した。

ペアリング処理部２１１は、検出される前後において入力領域２２１を変更しなくてもよいが、検出される前後において変更してもよい。例えば、ペアリング処理部２１１は、検出された入力領域２２１のサイズを拡大または縮小してもよい。また、ペアリング処理部２１１は、検出された入力領域２２１を変更してもよい。検出された入力領域２２１が変更されれば、操作の入力が可能になった入力領域２２１をユーザに容易に把握させることが可能となる。

ペアリング制御部３１２によってペアリングの制御がなされると、携帯端末１０のペアリング処理部１１１は、検出された入力領域２２１との間のペアリングを行い、情報入力装置２０のペアリング処理部２１１は、検出された入力領域２２１と携帯端末１０との間のペアリングを行う。携帯端末１０と検出された入力領域２２１との間においてペアリングがなされた後は、検出された入力領域２２１に携帯端末１０を用いて入力を行うことが可能となる。

しかし、入力領域２２１Ａ、２２１Ｂ、２２１Ｃそれぞれの入出力モードは、同一である可能性もあるが、異なっている可能性もある。図６に示した例では、入力領域２２１Ａ、２２１Ｂ、２２１Ｃそれぞれの入出力モードが異なっている。かかる場合、携帯端末１０から送信される操作情報の種類は、それぞれの入出力モードに対応しているのがよい。また、携帯端末１０に表示される入力画面も、それぞれの入出力モードに対応しているのがよい。

したがって、ペアリングの制御において、例えば、ペアリング制御部３１２は、検出された入力領域２２１に応じて携帯端末１０によって表示される入力画面が選択されるように制御すればよい。図１２は、携帯端末１０によって表示される画面の例を示す図である。例えば、携帯端末１０のペアリング処理部１１１は、撮像画像に基づいて入力領域２２１Ｂが検出された場合、図１２に示すように、ユーザの操作の入力画面を入力領域２２１Ｂに応じて選択すればよい。

入力領域２２１Ａ、２２１Ｂ、２２１Ｃそれぞれには入力画面があらかじめ関連付けられており、ペアリング制御部３１２は、検出された入力領域２２１に関連付けられた入力画面が選択されるように制御すればよい。そして、携帯端末１０のペアリング処理部１１１は、検出された入力領域２２１に関連付けられた入力画面を選択すればよい。

ペアリング処理部１１１によって選択される入力画面は、あらかじめ携帯端末１０の記憶部１６０に登録されていてもよい。例えば、ペアリング処理部１１１は、携帯端末１０の記憶部１６０に入力画面のフォーマットが登録されている場合には、検出された入力領域２２１に存在する入力対象を入力画面のフォーマットに割り振ってもよい。また、ペアリング処理部１１１は、検出された入力領域２２１に存在する入力対象に合わせて入力画面に存在する入力対象を絞り込んでもよい。

また、ペアリング処理部１１１によって選択される入力画面は、必要に応じて所定のサーバ（例えば、情報処理装置３０など）から取得されてもよい。

また、ペアリング制御部３１２は、携帯端末１０から情報入力装置２０に送信される操作情報の種類が、検出された入力領域２２１に応じて選択されるように制御すればよい。例えば、携帯端末１０のペアリング処理部１１１は、撮像画像に基づいて入力領域２２１Ｂが検出された場合、携帯端末１０から情報入力装置２０に送信される操作情報の種類を入力領域２２１Ｂに応じて選択すればよい。

入力領域２２１Ａ、２２１Ｂ、２２１Ｃそれぞれには操作情報の種類があらかじめ関連付けられており、ペアリング制御部３１２は、検出された入力領域２２１に関連付けられた操作情報の種類が選択されるように制御すればよい。そして、携帯端末１０のペアリング処理部１１１は、検出された入力領域２２１に関連付けられた操作情報の種類を選択すればよい。

ペアリング処理部１１１によって選択される操作情報の種類は、あらかじめ携帯端末１０の記憶部１６０に登録されていてもよいし、必要に応じて所定のサーバ（例えば、情報処理装置３０など）から取得されてもよい。例えば、ペアリング処理部１１１は、携帯端末１０の記憶部１６０に操作情報の種類のフォーマットが登録されている場合には、検出された入力領域２２１に存在する入力対象を操作情報の種類のフォーマットに割り振ってもよい。また、ペアリング処理部１１１は、検出された入力領域２２１に存在する入力対象に合わせて操作情報の種類に存在する操作情報を絞り込んでもよい。

また、ペアリング処理部１１１によって選択される操作情報の種類は、必要に応じて所定のサーバ（例えば、情報処理装置３０など）から取得されてもよい。

ペアリングがなされるタイミングは、ユーザが情報入力装置２０に操作を入力し始めるときでもよいし、ユーザが既に情報入力装置２０に操作を入力し始めた後であってもよい。例えば、情報入力装置２０から個人情報（例えば、暗証番号、パスワードなど）の入力が要求された場合に、ペアリングがなされるようにしてもよい。かかる場合、ペアリングは時限的に可能にされてもよい。例えば、マーカの表示、光学パターンの出力が時限的に行われてもよい。

続いて、携帯端末１０の動作について説明する。図１３は、携帯端末１０の動作の例を示すフローチャートである。携帯端末１０のペアリング処理部１１１は、検出された入力領域２２１に応じた操作情報の種類を選択する（ステップＳ３１）。また、ペアリング処理部１１１は、検出された入力領域２２１に応じた入力画面を選択し、表示制御部１１４は、選択された入力画面を表示させる（ステップＳ３２）。

検出部１２０によってユーザの操作が検出されると（ステップＳ３３において「Ｙｅｓ」）、通信制御部１１３は、ユーザの操作に基づく操作情報を情報入力装置２０に送信するように制御する（ステップＳ３４）。ペアリング処理部１１１は、情報入力装置２０から切り替え指示があった場合には（ステップＳ３５において「Ｙｅｓ」）、操作情報の種類を情報入力装置２０からの切り替え指示に基づいて切り替えるとともに（ステップＳ３６）、ユーザの操作の入力画面を情報入力装置２０からの切り替え指示に基づいて切り替える（ステップＳ３７）。

なお、検出部１２０によってユーザの操作が検出されない場合（ステップＳ３３において「Ｎｏ）、情報入力装置２０から切り替え指示がない場合（ステップＳ３５において「Ｎｏ」）および入力画面を切り替えた後においては、ステップＳ３３に動作を移行させてよい。

続いて、情報入力装置２０の動作について説明する。ペアリング処理部２１１は、携帯端末１０と検出された入力領域２２１との間のペアリングが行われた後は、検出された入力領域２２１に対する携帯端末１０以外からのアクセスを制限してよい。かかる場合、ペアリング処理部２１１は、検出された入力領域２２１に対応するマークを消してもよい。また、検出された入力領域２２１に対する携帯端末１０以外からのアクセスが制限されている旨が何らかの手法によってユーザに通知されてもよい。

例えば、ペアリング処理部２１１は、ペアリングが行われた後、検出された入力領域２２１に対する携帯端末１０以外からの入力が制限されている旨を表示させてもよい。また、ペアリング処理部２１１は、検出された入力領域２２１に対して携帯端末１０以外からの入力を行うためにはペアリングを解除するための所定の操作が必要である旨を表示させてもよい。

あるいは、ペアリング処理部２１１は、ペアリングが行われた後、検出された入力領域２２１に対する携帯端末１０以外からのアクセスを許容してもよい。図１４は、情報入力装置２０の動作の例を示すフローチャートである。図１４には、検出された入力領域２２１に対して携帯端末１０からのアクセスがある場合および携帯端末１０からのアクセスがない場合について示されている。

まず、情報入力装置２０の通信制御部２１２は、携帯端末１０から送信された操作情報を受信するように通信部２３０を制御し、携帯端末１０から送信された操作情報が通信部２３０によって受信された場合には（ステップＳ４１において「Ｙｅｓ」）、操作処理部２１３は、操作情報を処理する（ステップＳ４２）。なお、出力制御部２１４は、操作情報を画面に反映させてもよいが、他人から画面が閲覧されてしまうことが好ましくない状況においては、操作情報を画面に反映させることを制限してもよい。

操作情報が処理された結果、処理対象の操作情報の種類が切り替わった場合（ステップＳ４３において「Ｙｅｓ」）、ペアリング処理部２１１は、携帯端末１０に切り替え指示を行う（ステップＳ４４）。

より詳細には、ペアリング処理部２１１は、操作情報が処理された結果、処理対象の操作情報の種類が切り替わった場合、携帯端末１０から送信される操作情報の種類が切り替えられるように制御すればよい。また、ペアリング処理部２１１は、操作情報が処理された結果、処理対象の操作情報の種類が切り替わった場合、携帯端末１０によって表示される入力画面が切り替えられるように制御すればよい。

なお、携帯端末１０から送信された操作情報が通信部２３０によって受信されない場合（ステップＳ４１において「Ｎｏ）および処理対象の操作情報の種類が切り替わらなかった場合には（ステップＳ４３において「Ｎｏ」）、ステップＳ４１に動作を移行させてもよい。

続いて、情報処理システム１の構成の変形例について説明する。図１５は、情報処理システム１の構成の変形例を示す図である。上記においては、１つの情報入力装置２０に入力領域２２１Ａ、２２１Ｂ、２２１Ｃが設けられる例を説明した。かかる例においては、ペアリング制御部３１２は、１つの情報入力装置２０に設けられた複数の入力領域２２１から検出された入力領域２２１と携帯端末１０との間のペアリングを制御すればよい。

しかし、情報処理システム１の構成はかかる例に限定されない。例えば、図１５に示したように、第１の情報入力装置２０に入力領域２２１Ａが設けられ、第２の情報入力装置２０に入力領域２２１Ｂが設けられ、第３の情報入力装置２０に入力領域２２１Ｃが設けられてもよい。すなわち、ペアリング制御部３１２は、複数の情報入力装置２０それぞれに設けられた入力領域２２１から検出された入力領域２２１と携帯端末１０との間のペアリングを制御してもよい。

［効果の説明］
以上に説明したように、本発明の実施形態によれば、情報入力装置２０の出力部２５０によって表示された画面の一部または全部が携帯端末１０の撮像部１３０によって撮像された撮像画像を取得する画像取得部３１１と、撮像画像に基づいて情報入力装置２０の入力領域２２１を検出した場合、検出した入力領域２２１と携帯端末１０との間のペアリングを制御するペアリング制御部３１２と、を備える、情報処理装置３０が提供される。かかる構成によれば、携帯端末１０を用いて情報入力装置２０に対する情報の入力を行うことが可能となる。

［変形例の説明］
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、携帯端末１０と入力領域２２１との間のペアリングは、ユーザの認識結果にさらに基づいて制御されてもよい。例えば、携帯端末１０において撮像部１３０とは反対側の面にカメラが設けられている場合、このカメラによって撮像されたユーザの顔（または身分証明書に付されたユーザに固有のマーク）を用いた認証に失敗した場合に、ペアリングを実行させず、認証に成功した場合に、ペアリングを実行させてもよい。

例えば、上記した例では、情報処理装置３０が他の装置からは独立した装置として存在したが、情報処理装置３０は、他の装置に組み込まれていてもよい。例えば、情報処理装置３０は、情報入力装置２０のいずれかに組み込まれていてもよい。

制御部１１０を構成する各ブロックは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などから構成され、記憶部１６０により記憶されているプログラムがＣＰＵによりＲＡＭに展開されて実行されることにより、その機能が実現され得る。あるいは、制御部１１０を構成する各ブロックは、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。

制御部２１０を構成する各ブロックは、例えば、ＣＰＵ、ＲＡＭなどから構成され、記憶部２４０により記憶されているプログラムがＣＰＵによりＲＡＭに展開されて実行されることにより、その機能が実現され得る。あるいは、制御部２１０を構成する各ブロックは、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。

制御部３１０を構成する各ブロックは、例えば、ＣＰＵ、ＲＡＭなどから構成され、記憶部３２０により記憶されているプログラムがＣＰＵによりＲＡＭに展開されて実行されることにより、その機能が実現され得る。あるいは、記憶部３２０を構成する各ブロックは、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。

尚、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。

１ 情報処理システム
１０ 携帯端末
２０ 情報入力装置
３０ 情報処理装置
４０ ネットワーク
１１０ 制御部
１１１ ペアリング処理部
１１２ 操作検出部
１１３ 通信制御部
１１４ 表示制御部
１２０ 検出部
１３０ 撮像部
１４０ センサ部
１５０ 通信部
１６０ 記憶部
１７０ 表示部
２１０ 制御部
２１１ ペアリング処理部
２１２ 通信制御部
２１３ 操作処理部
２１４ 出力制御部
２２０ 入力部
２２１、２２１Ａ、２２１Ｂ、２２１Ｃ 入力領域
２３０ 通信部
２４０ 記憶部
２５０ 出力部
３１０ 制御部
３１１ 画像取得部
３１２ ペアリング制御部
３２０ 記憶部
３３０ 通信部
Ｍ マーカ
Ｎ 載置情報
Ｐ 走査線

Claims (13)

1. 情報入力装置の出力部によって表示された画面の一部または全部が携帯端末の撮像部によって撮像された撮像画像を取得する画像取得部と、
   前記撮像画像に基づいて前記情報入力装置の入力領域を検出した場合、前記入力領域と前記携帯端末との間のペアリングを制御するペアリング制御部と、
   を備え、
   前記ペアリング制御部は、前記出力部への前記撮像部の載置位置に関連付けられた入力領域を検出した場合、前記入力領域と前記携帯端末との間のペアリングを行わせる、
   情報処理装置。
2. 前記ペアリング制御部は、前記携帯端末から前記情報入力装置に送信される操作情報の種類が前記入力領域に応じて選択されるように制御する、
   請求項１に記載の情報処理装置。
3. 前記ペアリング制御部は、前記携帯端末によって表示される入力画面が前記入力領域に応じて選択されるように制御する、
   請求項１に記載の情報処理装置。
4. 前記ペアリング制御部は、前記撮像画像とマッチするマーカに関連付けられた入力領域を検出した場合、前記入力領域と前記携帯端末との間のペアリングを行わせる、
   請求項１に記載の情報処理装置。
5. 前記ペアリング制御部は、前記撮像画像の撮像時刻が前記マーカの表示時刻と一致する場合、前記ペアリングを行わせる、
   請求項４に記載の情報処理装置。
6. 前記ペアリング制御部は、前記撮像画像に映る光学パターンに対応する位置を前記載置位置として検出する、
   請求項１に記載の情報処理装置。
7. 前記ペアリング制御部は、前記画面内の位置と前記画面内を移動する走査線が当該位置を通過する時刻との対応関係に基づいて、前記画面内を移動する前記走査線が前記撮像画像から検出された時刻に対応する位置を前記載置位置として検出する、
   請求項１に記載の情報処理装置。
8. 前記ペアリング制御部は、１つの情報入力装置に設けられた複数の入力領域から検出された入力領域と前記携帯端末との間のペアリングを制御する、
   請求項１に記載の情報処理装置。
9. 前記ペアリング制御部は、複数の情報入力装置それぞれに設けられた入力領域から検出された入力領域と前記携帯端末との間のペアリングを制御する、
   請求項１に記載の情報処理装置。
10. 情報入力装置の出力部によって表示された画面の一部または全部を撮像して撮像画像を得る撮像部と、
    前記撮像画像に基づいて前記情報入力装置の入力領域が検出された場合、前記入力領域との間のペアリングを行うペアリング処理部と、
    を備える、携帯端末において、
    前記ペアリング処理部は、前記携帯端末の姿勢が所定の条件を満たした場合に、前記情報入力装置に光学パターンの出力を開始させる、
    携帯端末。
11. 画面を表示させる出力制御部と、
    ユーザの操作が入力される入力領域を有する入力部と、
    携帯端末に備えられた撮像部によって撮像された撮像画像に基づいて前記入力領域が検出された場合、前記入力領域と前記携帯端末との間のペアリングを行うペアリング処理部と、
    を備え、
    前記ペアリング処理部は、前記画面を表示する出力部への前記撮像部の載置位置に関連付けられた入力領域が検出された場合、前記入力領域と前記携帯端末との間のペアリングを行う、
    情報入力装置。
12. 前記情報入力装置は、
    前記携帯端末から送信された操作情報を受信するように制御する通信制御部と、
    前記操作情報を処理する操作処理部と、
    を備える、請求項１１に記載の情報入力装置。
13. 前記ペアリング処理部は、前記ペアリングが行われた後、前記携帯端末以外からの前記入力領域に対する入力を制限する、
    請求項１１に記載の情報入力装置。
    

Images