JP7087364B2 - 情報処理装置、情報処理システムおよびプログラム - Google Patents

Description

本発明は、情報処理装置、表示装置、情報処理システム、プログラムに関する。

従来より、紙媒体を利用して文書の作成等をする作業が一般的に行われている。またこの作業を支援または代替するために、仮想空間を利用する試みや、紙への電子手書きデータを電子的に取り込み可能とする電子ペンを利用する試みなどがなされている。

特許文献１には、仮想現実の分野において、仮想道具操作システム及び関連方法並びにソフトウェアを本開示において説明することが記載されている。ここで、仮想道具操作システムの一実施態様は、中でも、ユーザの身体の一部分の位置に関連する動き情報を生成するように構成される動き追跡システムを備える。そして仮想道具操作システムは、動き情報、仮想道具の位置、及び仮想道具の特性に基づいてユーザに触感を提供するように構成される触覚フィードバックシステムも備える。
また特許文献２には、文書上に筆記可能なペン先を備え、筆記動作に伴う自らの動きを電気信号に変換し生成するペン装置を設けることが記載されている。そして、このペン装置で生成された電気信号を通信チャンネルを介して親機処理ユニットに送信し、親機処理ユニットでペン装置の筆記内容を認識し記憶する。

特表２０１１－５０９４８８号公報 特開２００４－３０３２５４号公報

また昨今は、形のない情報を直接触れることができる（触知可能、タンジブル）ようにしたタンジブルユーザインタフェースが提唱されている。
しかしながら紙媒体の操作性と触知性（タンジビリティ）を電子的に再現することは、従来は困難であった。また紙媒体を利用すると、他の機器との連携が困難であるなど、紙媒体ではできない処理も存在する。
本発明は、紙媒体の操作性と触知性（タンジビリティ）を電子的に再現しつつ、紙媒体では困難であった処理についても実現可能な情報処理装置等を提供する。

請求項１に記載の発明は、情報の入力を行なう入力手段を撮影する撮影装置から当該入力手段の画像情報を取得する画像情報取得手段と、前記画像情報を基に前記入力手段の画像を表示する表示装置に対する表示情報を作成する作成手段と、を備え、前記作成手段は、前記表示装置で表示された前記入力手段を使用して入力した情報に応じて、当該表示装置に対する表示情報を更新し、前記入力手段を表示するとともに、ユーザが当該入力手段を使用して触知可能に作業が行なえるデスク領域としての触知領域と、当該入力手段を使用しないものを表示するとともに当該入力手段を使用できない非触知領域と、を分けて表示情報を作成する情報処理装置である。
請求項２に記載の発明は、前記入力手段は、当該入力手段の位置および姿勢を決定するためのマーカーを備え、前記撮影装置により撮影された前記マーカーの画像情報を基に、前記入力手段の位置および姿勢を決定する決定手段をさらに備えることを特徴とする請求項１に記載の情報処理装置である。
請求項３に記載の発明は、前記作成手段は、前記決定手段が決定した前記入力手段の位置および姿勢に基づき、実際の当該入力手段の大きさおよび形状に合わせ当該入力手段の画像を表示する表示情報を作成することを特徴とする請求項２に記載の情報処理装置である。
請求項４に記載の発明は、前記決定手段は、ユーザの手の位置および姿勢をさらに決定し、前記作成手段は、前記決定手段が決定した前記ユーザの手の位置および姿勢に基づき、実際の当該ユーザの手の大きさおよび形状に合わせ当該ユーザの手の画像を表示する表示情報を作成することを特徴とする請求項３に記載の情報処理装置である。
請求項５に記載の発明は、複数の前記入力手段同士または当該入力手段とユーザの手とが互いに接触したことを検知する接触検知手段をさらに備えることを特徴とする請求項１に記載の情報処理装置である。
請求項６に記載の発明は、前記作成手段は、複数の前記入力手段が互いに接触することで入力される情報を追記情報として表示する表示情報を作成することを特徴とする請求項５に記載の情報処理装置である。
請求項７に記載の発明は、前記追記情報を保存する保存手段をさらに備えることを特徴とする請求項６に記載の情報処理装置である。
請求項８に記載の発明は、前記作成手段は、実空間中で存在する前記入力手段を、仮想空間中で仮想的に表示する表示情報を作成することを特徴とする請求項１に記載の情報処理装置である。
請求項９に記載の発明は、前記作成手段は、前記触知領域に、前記入力手段を表示することを特徴とする請求項１に記載の情報処理装置である。
請求項１０に記載の発明は、前記作成手段は、前記非触知領域に、仮想空間中で常時表示する文書を表示する表示情報を作成することを特徴とする請求項１に記載の情報処理装置である。
請求項１１に記載の発明は、前記表示装置は、ヘッドマウントディスプレイであることを特徴とする請求項１に記載の情報処理装置である。
請求項１２に記載の発明は、前記作成手段は、仮想空間中で前記入力手段を実際の当該入力手段に合わせ仮想的に表示することを特徴とする請求項１０に記載の情報処理装置である。
請求項１３に記載の発明は、情報の入力を行なう入力手段を撮影する撮影装置と、表示情報を基に画像を表示する表示装置と、前記表示情報を作成する情報処理装置と、を備え、前記情報処理装置は、前記撮影装置から前記入力手段の画像情報を取得する画像情報取得手段と、前記画像情報を基に前記入力手段の画像を表示する表示装置に対する表示情報を作成する作成手段と、を備え、前記作成手段は、前記表示装置で表示された前記入力手段を使用して入力した情報に応じて、当該表示装置に対する表示情報を更新し、前記入力手段を表示するとともに、ユーザが当該入力手段を使用して触知可能に作業が行なえるデスク領域としての触知領域と、当該入力手段を使用しないものを表示するとともに当該入力手段を使用できない非触知領域と、を分けて表示情報を作成する情報処理システムである。
請求項１４に記載の発明は、前記入力手段は、形状として、シート型およびペン型のものを含むことを特徴とする請求項１３に記載の情報処理システムである。
請求項１５に記載の発明は、コンピュータに、情報の入力を行なう入力手段を撮影する撮影装置から当該入力手段の画像情報を取得する画像情報取得機能と、前記画像情報を基に前記入力手段の画像を表示する表示装置に対する表示情報を作成する作成機能と、前記入力手段を表示するとともに、ユーザが当該入力手段を使用して触知可能に作業が行なえる領域設定シートの領域を触知領域として決定する機能と、を実現させ、前記作成機能は、前記表示装置で表示された前記入力手段を使用して入力した情報に応じて、当該表示装置に対する表示情報を更新し、前記入力手段を表示するとともに、ユーザが当該入力手段を使用して触知可能に作業が行なえるデスク領域としての触知領域と、当該入力手段を使用しないものを表示するとともに当該入力手段を使用できない非触知領域と、を分けて表示情報を作成するプログラムである。

請求項１の発明によれば、紙媒体の操作性と触知性（タンジビリティ）を電子的に再現しつつ、紙媒体では困難であった処理についても実現可能な情報処理装置を提供することができる。また、擬似的に広い作業スペースを得ることができる。さらに、入力手段を使用して作業を行なう領域を規定することができる。
請求項２の発明によれば、入力手段の位置や姿勢を再現して表示を行なうことができる。
請求項３の発明によれば、ユーザが視覚と触覚の間に感覚的な矛盾を感じにくくなる。
請求項４の発明によれば、ユーザが視覚と触覚の間に感覚的な矛盾を感じにくくなる。
請求項５の発明によれば、ユーザが文字や図形等を入力することができる。
請求項６の発明によれば、ユーザが入力を行なった文字や図形等を表示することができる。
請求項７の発明によれば、ユーザが入力を行なった状態を再現することができる。
請求項８の発明によれば、ユーザに作業しやすい環境を提供することができる。
請求項９の発明によれば、触知可能（タンジブル）なユーザインタフェースが実現できる。
請求項１０の発明によれば、使用頻度の高い情報を常時表示させることができる。
請求項１１の発明によれば、入力手段の位置、姿勢にかかわらず、情報を重畳的に表示することができる。
請求項１２の発明によれば、ユーザが視覚と触覚の間に感覚的な矛盾を感じにくくなる。
請求項１３の発明によれば、紙媒体の操作性と触知性（タンジビリティ）を電子的に再現しつつ、紙媒体では困難であった処理についても実現可能な情報処理システムを提供することができる。また、擬似的に広い作業スペースを得ることができる。さらに、入力手段を使用して作業を行なう領域を規定することができる。
請求項１４の発明によれば、紙とペンの操作性を再現できる。
請求項１５の発明によれば、紙媒体の操作性と触知性（タンジビリティ）を電子的に再現しつつ、紙媒体では困難であった処理についても実現可能とする機能をコンピュータにより実現できる。また、擬似的に広い作業スペースを得ることができる。さらに、入力手段を使用して作業を行なう領域を規定することができる。

本実施の形態における情報処理システムの構成例を示す図である。 本実施の形態における情報処理装置および表示装置の機能構成例を表すブロック図である。 （ａ）～（ｂ）は、マーカーの画像情報を基に、入力手段の位置および姿勢を決定する方法について示した図である。 （ａ）は、シートとペンのペン先３とが接触した場合を示す図である。（ｂ）は、シートとユーザの手とが接触した場合を示す図である。 （ａ）～（ｂ）は、追記情報について示した図である。 情報処理システムの動作について説明したフローチャートである。 決定手段が、マーカーの位置により入力手段等の位置および姿勢を決定する処理について説明したフローチャートである。 複数の入力手段同士として、シートとペンとが接触したことを検知する処理について説明したフローチャートである。 入力手段とユーザの手とが接触したことを検知する処理について説明したフローチャートである。 ペン先に接触判定用のセンサを設け、シートとペンとが接触したことを検知する処理について説明したフローチャートである。 シートに接触判定用のセンサを設け、シートとペンとが接触したことを検知する処理について説明したフローチャートである。 （ａ）～（ｂ）は、本実施の形態で、実空間においてユーザが視認する机上の状態と、仮想空間でユーザが視認する机上の状態とを比較した図である。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。

＜情報処理システム全体の説明＞
図１は、本実施の形態における情報処理システム１の構成例を示す図である。
図示するように本実施の形態の情報処理システム１は、表示情報を作成する情報処理装置１０と、表示情報を基に画像を表示する表示装置２０と、情報の入力を行なう入力手段３０と、入力手段３０を撮影するカメラ４０と、入力手段３０を使用してユーザが作業を行なう範囲を示す領域設定シート５０とを備える。

情報処理装置１０は、例えば、所謂汎用のパーソナルコンピュータ（ＰＣ）である。そして、情報処理装置１０は、ＯＳ（Operating System）による管理下において、各種アプリケーションソフトウェアを動作させることで、本実施の形態の情報の処理等が行われるようになっている。

情報処理装置１０は、演算手段であるＣＰＵ（Central Processing Unit）と、記憶手段であるメインメモリ及びＨＤＤ（Hard Disk Drive）とを備える。ここで、ＣＰＵは、ＯＳ（Operating System、基本ソフトウェア）やアプリケーションプログラム（応用ソフトウェア）等の各種ソフトウェアを実行する。また、メインメモリは、各種ソフトウェアやその実行に用いるデータ等を記憶する記憶領域であり、ＨＤＤは、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶する記憶領域である。
また情報処理装置１０は、外部との通信を行なうための通信インタフェースを備える。

表示装置２０は、例えば、ヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）である。つまりユーザは、頭部にこのヘッドマウントディスプレイを装着し、そしてヘッドマウントディスプレイ内部においてユーザの目前に配される表示画面２０ａにて表示される画像を見る。表示画面２０ａは、例えば液晶ディスプレイ、有機ＥＬディスプレイ（ＯＥＬＤ：organic electroluminescence display）など、画像を表示する機能を備えたもので構成される。

入力手段３０は、詳しくは後述するが、情報の入力を行なえるものであれば、特に限られるものではない。本実施の形態では、入力手段３０は、形状として、シート型およびペン型のものを含む。

シート型の入力手段３０は、ユーザが手に持ち、紙のように操作する入力装置である。形状はシート状であり、矩形形状である。またサイズは、特に限られるものではなく、一般的に流通している各種用紙サイズと同じであってもよく、異なっていてもよい。また可撓性がなく、変形しにくい板状のものが好ましい。シート型の入力手段３０は、表面と裏面が定義される。そして机等の平面に安定的に置くことができ、その状態で表面または裏面を見ることができる。シート型の入力手段３０は、例えば、樹脂等からなる長方形の板である。なお以後、シート型の入力手段３０を、「シート３１」と言うことがある。

ペン型の入力手段３０は、ユーザが手に持ち、ペンのように操作し、書き込みを行なうための入力装置である。形状は、ペン状であり、先端にシート型の入力手段３０と接触を行なうペン先３２ａを有している。つまりペン型の入力手段３０のペン先３２ａをシート型の入力手段３０に接触させ、文字や図形を書くなどの情報の入力を行なうことができる。ペン型の入力手段３０は、スタイラスペンなどであってもよく、ボールペン、鉛筆、万年筆など実際に筆記可能なペンであってもよい。なお以後、ペン型の入力手段３０を、「ペン３２」と言うことがある。

また入力手段３０は、シート型およびペン型に限られるものではない。例えば、キーボード型、マウス型、マグカップ型、ペットボトル型のものであってもよい。キーボード型の入力手段３０は、押下することで情報の入力を行なう複数のキーを有する。よってキーボード型の入力手段３０は、実際のキーボードであってもよい。マウス型の入力手段３０は、移動することで、カーソルの移動やボタンの選択などを行なう。よってマウス型の入力手段３０は、実際のマウスであってもよい。マグカップ型の入力手段３０は、飲料を入れることができ、ユーザが実際に飲料を飲むことができる。よってマグカップ型の入力手段３０は、実際のマグカップであってもよい。ペットボトル型の入力手段３０は、飲料が充填され、ユーザが実際に飲料を飲むことができる。よってペットボトル型の入力手段３０は、実際のペットボトルであってもよい。

本実施の形態では、これらの入力手段３０は、入力手段３０の位置および姿勢を決定するためのマーカーを備える。「マーカー」は、何からの標識である。本実施の形態では、「マーカー」は、入力手段３０等に配され、カメラ４０により撮影された画像から入力手段３０等の位置および姿勢を決定することができる標識である。さらに具体的には、「マーカー」は、例えば、１次元バーコードや２次元バーコードのように平面に印刷されたものである。またＬＥＤ等の発光装置を規定の３次元形状に配置したものであってもよい。マーカーの取り付け位置は予め定められており、情報処理装置１０が保持している。マーカーは、固有のＩＤ番号の情報を持ち、各入力手段３０のそれぞれを区別することができる。

カメラ４０は、撮影装置の一例であり、例えば、入射した光を収束する光学系と、光学系により収束された光を検出する撮像手段であるイメージセンサとを備える。
光学系は、単一のレンズまたは複数のレンズを組み合わせて構成される。光学系は、レンズの組み合わせおよびレンズ表面に施されたコーティング等により、各種の収差が除去されている。イメージセンサは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を配列して構成される。

領域設定シート５０は、領域設定手段の一例であり、入力手段３０を使用して作業が行なえる領域を決定するためのシートである。領域設定シート５０は、例えば、ユーザが作業を行なう机上に置かれ、さらに入力手段３０が、領域設定シート５０上に置かれる。また詳しくは後述するが、領域設定シート５０が置かれる領域は、入力手段３０を実際に触知しつつ使用して作業が行なえる触知領域となる。

情報処理装置１０および表示装置２０は、例えば、ＤＶＩ（Digital Visual Interface）を介して接続されている。なお、ＤＶＩに代えて、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）やDisplayPort等を介して接続するようにしてもかまわない。
また情報処理装置１０と入力手段３０とは、例えば、ＵＳＢ（Universal Serial Bus）を介して接続されている。なお、ＵＳＢに代えて、ＩＥＥＥ１３９４やＲＳ－２３２Ｃ等を介して接続されていてもよい。ただしこれに限られるものではなく、無線ＬＡＮ（Local Area Network）、ブルートゥース（Bluetooth）（登録商標）等の無線接続であってもよい。
さらに情報処理装置１０およびカメラ４０とは、図示する例では、有線で接続されており、例えば、ＵＳＢ、ＩＥＥＥ１３９４、ＲＳ－２３２Ｃを介して接続されている。これによりカメラ４０で撮影された画像の画像情報が、有線により情報処理装置１０に送られる。ただしこれに限られるものではなく、上述した無線接続であってもよい。

このような情報処理システム１の概略動作を説明する。
まずユーザが、領域設定シート５０上に置かれた入力手段３０を使用して、情報の入力を行なう。このときユーザは、入力手段３０を実際にユーザの手を用いて操作する。そして入力手段３０は、カメラ４０により撮影され、撮影された画像情報は、情報処理装置１０に送られる。情報処理装置１０では、表示装置２０で表示する画面の表示情報を作成する。そして表示装置２０では、実空間と同様の画像が仮想空間中に表示される。つまり仮想空間中で、入力手段３０が仮想的に表示される。また入力手段が配される机面が仮想的に表示される。さらに入力手段３０を操作するユーザの手についても仮想的に表示される。また詳しくは後述するが、実空間には存在しないものについても仮想空間中に表示されるようにしてもよい。そしてユーザが入力手段３０を使用して入力した情報は、この仮想空間中に表示され、逐次更新される。

なおここで、「実空間」とは、現実の世界における空間であり、「仮想空間」とは、コンピュータ上に構築された実世界を模した世界を表した空間である。

＜情報処理装置１０および表示装置２０の説明＞

図２は、本実施の形態における情報処理装置１０および表示装置２０の機能構成例を表すブロック図である。なお図２では、情報処理装置１０および表示装置２０が有する種々の機能のうち本実施の形態に関係するものを選択して図示している。
図示するように本実施の形態の情報処理装置１０は、カメラ４０から画像情報を取得する画像情報取得手段１１０と、入力手段３０やユーザの手の位置および姿勢を決定する決定手段１２０と、入力手段３０の大きさ・形状等を保持する保持手段１３０と、入力手段３０同士またはユーザの手と入力手段３０との接触を検知する接触検知手段１４０と、入力手段３０により入力された情報を保存する保存手段１５０と、表示装置２０で表示する表示情報を作成する作成手段１６０とを備える。

画像情報取得手段１１０は、入力手段３０を撮影するカメラ４０から入力手段３０の画像情報を取得する。また画像情報取得手段１１０は、表示装置２０、領域設定シート５０、ユーザの手についても、カメラ４０が撮影した画像の画像情報を取得する。
この場合、カメラ４０は、図１に示すように実空間に存在する入力手段３０を撮影する。そして、撮影した画像情報は、カメラ４０から情報処理装置１０に送られ、画像情報取得手段１１０が取得する。この場合、画像情報は、動画の画像情報であるが、例えば、１ｓ毎など予め定められた短い時間間隔で撮影された複数の静止画の画像情報であってもよい。

決定手段１２０は、入力手段３０の位置および姿勢を決定する。このとき決定手段１２０は、カメラ４０により撮影されたマーカーの画像情報を基に、入力手段３０の位置および姿勢を決定する。なおペン３２については、決定手段１２０は、ペン先３２ａの位置をさらに決定する。

図３（ａ）～（ｂ）は、マーカーの画像情報を基に、入力手段３０の位置および姿勢を決定する方法について示した図である。ここで図３（ａ）は、実際のマーカーＭａ１を示す。さらに図３（ｂ）は、カメラ４０により撮影された画像Ｇ０中のマーカーＭａ２を示す。ここでは、マーカーＭａ１、Ｍａ２が２次元バーコードである場合について示している。
決定手段１２０は、図３（ａ）に示すマーカーＭａ１の実際の大きさと、図３（ｂ）に示すカメラ４０により撮影された画像Ｇ０中のマーカーＭａ２の大きさや変形状態を比較し、カメラ４０からマーカーＭａ２までの距離とマーカーＭａ２の姿勢とを算出する。これにより決定手段１２０は、入力手段３０の位置および姿勢を決定する。

また決定手段１２０は、表示装置２０や領域設定シート５０についても、位置および姿勢を決定する。この場合、表示装置２０や領域設定シート５０についてもマーカーが備えられ、決定手段は、カメラ４０により撮影されたマーカーの画像情報を基に、表示装置２０や領域設定シート５０の位置および姿勢を決定する。またこのマーカーは、固有のＩＤ番号の情報を持ち、表示装置２０や領域設定シート５０であることを認識することができる。

さらに決定手段１２０は、ユーザの手の位置および姿勢をさらに決定する。この場合、入力手段３０と同様に、ユーザの手にもマーカーを取り付けてもよいが、実際には困難であるときがある。よってここでは、３次元測定装置などを用いて手の形状をセンシングし、これにより決定手段１２０が、ユーザの手の位置および姿勢を算出するようにすることが好ましい。またこの場合、例えば、右手または左手の判別結果、指の関節角度等を併せて決定することが好ましい。そしてユーザの手についてもＩＤ番号を付与し、認識できるようにする。３次元測定装置としては、特に限られるものではなく、市販のものを使用することができる。例えば、Leap Motion社のLeap Motion、Intel社のRealSense、Microsoft社のKinect等を使用することができる。

保持手段１３０は、入力手段３０のＩＤ番号やマーカーの取り付け位置の他に入力手段３０の大きさ・形状等を保持する。また表示装置２０や領域設定シート５０についても同様に、これらのＩＤ番号、マーカーの取り付け位置、および大きさ・形状等を保持する。さらに保持手段１３０は、ユーザの手のＩＤ番号、大きさ・形状等を保持する。なお大きさ・形状については、保持手段１３０は、３Ｄモデルとして保持している。またペン３２については、保持手段１３０は、ペン先３２ａの範囲情報を３Ｄモデル内に保持している。

接触検知手段１４０は、複数の入力手段３０同士または入力手段３０とユーザの手とが互いに接触したことを検知する。

接触検知手段１４０は、例えば、図４（ａ）のように、シート３１とペン３２のペン先３２ａとが接触したことを検知する。この場合、接触検知手段１４０は、決定手段１２０により決定されたシート３１およびペン３２の位置および姿勢と、保持手段１３０に保持されているシート３１およびペン３２の大きさ・形状からペン先３２ａの位置とシート３１の範囲を決定する。そして接触検知手段１４０は、ペン先３２ａの位置と、シート３１の範囲とが、予め定められた距離以下の場合に、双方が接触したと判断する。なおシート３１およびペン３２の何れかが複数存在する場合は、これらの全ての組み合わせについて同様の処理を行なう。

また接触検知手段１４０は、例えば、図４（ｂ）のように、シート３１とユーザの手Ｈｄとが接触したことを検知する。この場合、接触検知手段１４０は、決定手段１２０により決定されたユーザの手Ｈｄの位置および姿勢と、保持手段１３０に保持されているユーザの手Ｈｄの大きさ・形状とから、指による入力範囲を決定する。また接触検知手段１４０は、決定手段１２０により決定されたシート３１の位置および姿勢と、保持手段１３０に保持されているシート３１の大きさ・形状とからシート３１の範囲を決定する。そして接触検知手段１４０は、指による入力範囲と、シート３１の範囲とが、予め定められた距離以下の場合に、双方が接触したと判断する。なおシート３１が複数存在する場合は、ユーザの手Ｈｄとこれらの全ての組み合わせについて同様の処理を行なう。なおこの指による入力範囲は、ユーザの人差し指の先端部分など予め定めた範囲として規定される。

なおユーザが手による入力をするかどうかを、選択することもできる。つまりユーザが手による入力モードのＯＮ／ＯＦＦの切り換えを行なうようにする。そして入力モードがＯＮのときは、接触検知手段１４０は、上述したようにシート３１とユーザの手Ｈｄとが接触したことを検知する。一方、入力モードがＯＦＦのときは、シート３１とユーザの手Ｈｄとが接触したことを検知しないようにする。

保存手段１５０は、接触検知手段１４０で接触を検知したときに、入力手段３０やユーザの手Ｈｄにより入力された情報を追記情報として保存する。これは、例えば、ユーザにより入力された筆跡の情報である。この「追記情報」は、複数の入力手段３０が互いに接触することで入力される情報である。また「追記情報」には、シート３１とユーザの手Ｈｄとが接触することで入力される情報を含む。この追記情報は、画像情報取得手段１１０で取得した画像情報のメタ情報として紐付けが行われる。

図５（ａ）～（ｂ）は、追記情報について示した図である。
追記情報は、図５（ａ）に示すように、使用されたシート３１のＩＤ番号、位置の情報、姿勢の情報が含まれる。また使用されたペン３２またはユーザの手のＩＤ番号、位置の情報、姿勢の情報が含まれる。さらに接触した位置の情報である接触位置情報および接触の時刻の情報が含まれる。このうち接触位置情報は、図５（ｂ）に示すように、ｘ、ｙからなる座標データであり、シート３１の中心位置を基準とし、シート３１の面上での座標を表す。このような追記情報により、ユーザがペン３２により入力を行なった状態を再現することもできる。

図２に戻り、作成手段１６０は、画像情報取得手段１１０で取得した画像情報を基に入力手段３０の画像を表示する表示装置２０に対する表示情報を作成する。またこのとき作成手段１６０は、表示装置２０で表示された入力手段３０を使用して入力した情報に応じて、表示装置２０に対する表示情報を更新する。このとき作成手段１６０は、入力手段３０を、仮想空間中で仮想的に表示する表示情報を作成する。

また作成手段１６０は、表示装置２０やユーザの手についても仮想空間中で仮想的に表示する表示情報を作成する。つまり作成手段１６０は、実空間中に存在するものを、仮想空間中でも同様に表示するための表示情報を作成する。そのために、作成手段１６０は、決定手段１２０が決定した入力手段３０の位置および姿勢に基づき、実際の入力手段３０の大きさおよび形状に合わせ入力手段３０の画像を表示する表示情報を作成する。さらに作成手段１６０は、決定手段１２０が決定したユーザの手の位置および姿勢に基づき、実際のユーザの手の大きさおよび形状に合わせユーザの手の画像を表示する表示情報を作成する。つまり入力手段３０やユーザの手は、実空間と同様の大きさ・形状で仮想空間中で表示される。

つまり作成手段１６０は、仮想空間において、上記入力手段３０、ユーザの手、および表示装置２０の３Ｄモデルを配置する。このとき仮想空間において、実空間中と同様の位置および姿勢で配置する。さらに実空間と同様の大きさおよび形状で配置する。ただし色については、仮想空間と実空間で必ずしも一致させる必要はない。また追記情報があれば、これについてもシート３１上に表示する。これによりユーザが入力した筆記情報がシート３１上に表示される。

また図２に示すように、表示装置２０は、表示情報を取得する表示情報取得手段２１０と、表示情報を基に画像を表示する画像表示手段２２０とを備える。

表示情報取得手段２１０は、作成手段１６０が作成した画像情報を取得する。また画像表示手段２２０は、作成手段１６０が作成した画像情報を基に画像を表示する。画像表示手段２２０は、例えば、上述した表示画面２０ａである。

よって表示装置２０で表示される画面は、上述した仮想空間であり、画像表示手段２２０は、仮想空間中で入力手段３０を実際の入力手段３０に合わせ仮想的に表示する。またユーザの手についても同様であり、画像表示手段２２０は、仮想空間中でユーザの手を実際のユーザの手に合わせ仮想的に表示する。

＜情報処理システム１の動作の説明＞

次に情報処理システム１の動作について説明する。
図６は、情報処理システム１の動作について説明したフローチャートである。
まずカメラ４０が、表示装置２０、入力手段３０、領域設定シート５０、ユーザの手を撮影する（ステップ１０１）。撮影した画像の画像情報は、情報処理装置１０に送られる。
この画像情報は、情報処理装置１０の画像情報取得手段１１０が取得する（ステップ１０２）。

次に決定手段１２０が、入力手段３０に配されたマーカーの位置等を基に、入力手段３０の位置および姿勢を決定する。同様に、決定手段１２０は、表示装置２０、領域設定シート５０およびユーザの手についても、位置および姿勢を決定する（ステップ１０３）。

図７は、決定手段１２０が、マーカーの位置により入力手段３０等の位置および姿勢を決定する処理について説明したフローチャートである。図７は、ステップ１０３の処理についてより詳しく説明した図である。
ここでは、まず画像からマーカーを抽出する（ステップ２０１）。このときマーカーが複数ある場合は、各マーカーの画像を抽出する。
そして抽出したマーカーからＩＤ番号を取得する（ステップ２０２）。
さらに撮影した画像中のマーカーの大きさや変形状態を基に、入力手段３０等の位置および姿勢を決定する（ステップ２０３）。
そしてＩＤ番号に対応する入力手段３０等の位置および姿勢の情報を更新する（ステップ２０４）。

図６に戻り、接触検知手段１４０は、ＩＤ番号から撮影した画像中に入力手段３０が含まれるか否かを判断する（ステップ１０４）。
そして含まれない場合（ステップ１０４でＮｏ）、ステップ１０７に移行する。
対して含まれる場合（ステップ１０４でＹｅｓ）、接触検知手段１４０は、複数の入力手段３０同士または入力手段３０とユーザの手とが互いに接触したことを検知する（ステップ１０５）。

以下、図８～図１１を使用して、接触検知手段１４０が行なう接触検知処理について説明する。この図８～図１１は、ステップ１０４の処理についてより詳しく説明した図である。

図８は、複数の入力手段３０同士として、シート３１とペン３２とが接触したことを検知する処理について説明したフローチャートである。
接触検知手段１４０は、ペン３２の位置および姿勢と、保持手段１３０に保持されているペン３２の大きさ・形状とから、ペン先３２ａの位置を算出する（ステップ３０１）。
次に接触検知手段１４０は、決定手段１２０により決定されたシート３１の位置および姿勢と、保持手段１３０に保持されているシート３１の大きさ・形状とから、シート３１の範囲を算出する（ステップ３０２）。

そして接触検知手段１４０は、ペン先３２ａの位置と、シート３１の範囲とが、予め定められた距離以下であるか否かを判断する（ステップ３０３）。
その結果、予め定められた距離以下でない場合（ステップ３０３でＮｏ）、接触検知手段１４０は、シート３１とペン３２とは、接触していないと判断する（ステップ３０４）。
対して、予め定められた距離以下である場合（ステップ３０３でＹｅｓ）、接触検知手段１４０は、シート３１とペン３２とは、接触したと判断する（ステップ３０５）。

また図９は、入力手段３０とユーザの手とが接触したことを検知する処理について説明したフローチャートである。
接触検知手段１４０は、ユーザの手の位置および姿勢と、保持手段１３０に保持されているユーザの手の大きさ・形状とから、指による入力範囲を算出する（ステップ４０１）。
次に接触検知手段１４０は、シート３１の位置および姿勢と、保持手段１３０に保持されているシート３１の大きさ・形状からシート３１の範囲を算出する（ステップ４０２）。

そして接触検知手段１４０は、指による入力範囲と、シート３１の範囲とが、予め定められた距離以下であるか否かを判断する（ステップ４０３）。
その結果、予め定められた距離以下でない場合（ステップ４０３でＮｏ）、接触検知手段１４０は、シート３１とユーザの手とは、接触していないと判断する（ステップ４０４）。
対して、予め定められた距離以下である場合（ステップ４０３でＹｅｓ）、接触検知手段１４０は、シート３１とユーザの手とは、接触したと判断する（ステップ４０５）。

また他にもペン３２のペン先３２ａに、圧力センサや光センサなどの接触判定用のセンサを設け、これを利用することで、接触を検知する方法もある。

図１０は、ペン先３２ａに接触判定用のセンサを設け、シート３１とペン３２とが接触したことを検知する処理について説明したフローチャートである。
接触検知手段１４０は、ペン３２の位置および姿勢と、保持手段１３０に保持されているペン３２の大きさ・形状とから、ペン先３２ａの位置を算出する（ステップ５０１）。
次に接触検知手段１４０は、決定手段１２０により決定されたシート３１の位置および姿勢と、保持手段１３０に保持されているシート３１の大きさ・形状とから、シート３１の範囲を算出し、対象となるシート３１を特定する（ステップ５０２）。

そして接触検知手段１４０は、ペン先３２ａに設けられた接触判定用のセンサが反応しているか否かを判断する（ステップ５０３）。
その結果、反応していない場合（ステップ５０３でＮｏ）、接触検知手段１４０は、シート３１とペン３２とは、接触していないと判断する（ステップ５０４）。
対して、反応している場合（ステップ５０３でＹｅｓ）、接触検知手段１４０は、シート３１とペン３２とは、接触したと判断する（ステップ５０５）。

なおこの方法では、接触検知手段１４０は、シート３１とユーザの手とが接触したことを検知することはできない。

また他にもシート３１に、圧力センサや光センサなどの接触判定用のセンサを設け、これを利用することで、接触を検知する方法もある。

図１１は、シート３１に接触判定用のセンサを設け、シート３１とペン３２とが接触したことを検知する処理について説明したフローチャートである。
接触検知手段１４０は、ペン３２や手の位置および姿勢と、保持手段１３０に保持されているペン３２や手の大きさ・形状とから、ペン先３２ａの位置や指による入力範囲を算出する（ステップ６０１）。
次に接触検知手段１４０は、シート３１の位置および姿勢と、保持手段１３０に保持されているシート３１の大きさ・形状からシート３１の範囲を算出する（ステップ６０２）。

そして接触検知手段１４０は、シート３１に設けられた接触判定用のセンサが反応しているか否かを判断する（ステップ６０３）。
その結果、反応していない場合（ステップ６０３でＮｏ）、接触検知手段１４０は、シート３１と、ペン３２または手とは、接触していないと判断する（ステップ６０４）。
対して、反応している場合（ステップ６０３でＹｅｓ）、接触検知手段１４０は、シート３１と、ペン３２または手とは、接触したと判断し、双方のＩＤ番号を保持する（ステップ６０５）。

再び図６に戻り、接触検知手段１４０が、接触していないと判断した場合（ステップ１０５でＮｏ）、ステップ１０７に移行する。
対して、接触検知手段１４０が、接触したと判断した場合（ステップ１０５でＹｅｓ）、保存手段１５０は、入力手段３０やユーザの手により入力された情報を追記情報として保存する（ステップ１０６）。

次に、作成手段１６０が、空間計算を行ない、仮想空間中において、表示装置２０、入力手段３０、ユーザの手、デスク領域、シート３１上の画像、追記情報を、３Ｄモデルとして配置する（ステップ１０７）。このうちデスク領域は、領域設定シート５０により設定される領域である。またシート３１上の画像は、例えば、ユーザが入力を行なうためのフォーマットであり、シート３１上に重畳して配置される。さらに追記情報は、この場合、フォーマットにユーザが入力した情報であり、シート３１上の画像に対しさらに重畳して配置される。つまりシート３１上には、予め用意された画像、およびそれに加え追記情報の画像が配置される。

さらに作成手段１６０は、表示装置２０の位置および姿勢に応じ、表示装置２０にて表示し、ユーザに提示する画像の表示情報を作成する（ステップ１０８）。

作成手段１６０で作成された表示情報は、表示装置２０に送られ、表示装置２０の表示情報取得手段２１０が取得する(ステップ１０９)。
そして画像表示手段２２０が、表示情報を基に表示画面２０ａに画像を表示する(ステップ１１０)。

図１２（ａ）～（ｂ）は、本実施の形態で、実空間においてユーザが視認する机上の状態と、仮想空間でユーザが視認する机上の状態とを比較した図である。

ここで、図１２（ａ）は、実空間で、入力手段３０、ユーザの手Ｈｄ、領域設定シート５０を見た図である。
図１２（ａ）では、入力手段３０として、上述したシート３１およびペン３２の他に、キーボード３３およびマウス３４を使用している。そして実空間では、シート３１上には、情報が何も記載されていないことを示している。そしてカメラ４０により、これらを撮影する。

また図１２（ｂ）は、表示装置２０で表示される画像を示した図である。ここでは仮想空間中に、入力手段３０、ユーザの手Ｈｄ、デスク領域Ｄｒが表示された場合を示している。
図１２（ｂ）では、入力手段３０として、シート３１、ペン３２、キーボード３３およびマウス３４が表示される。また領域設定シート５０により設定されるデスク領域Ｄｒとユーザの手Ｈｄとが表示される。入力手段３０は、実空間では、領域設定シート５０に置かれ、そのため仮想空間では、デスク領域Ｄｒ中に表示される。この場合、デスク領域Ｄｒは、ユーザが入力手段３０を使用できる触知領域として機能する。さらにこの場合、シート３１上に、ユーザが入力を行なうためのフォーマットの画像Ｇ１に加え、追記情報の画像Ｇ２が重畳して表示されることを示している。

また図１２（ｂ）では、デスク領域Ｄｒの周囲に、入力手段３０を使用できない非触知領域Ｈｒが配される。ここでは、デスク領域Ｄｒの左右に、仮想空間中で常時表示する文書６１を表示する。この常時表示する文書６１は、例えば、カレンダー、スケジュール表等である。またデスク領域Ｄｒの正面には、仮想的なディスプレイ６２が表示される。このディスプレイ６２には、キーボード３３およびマウス３４を使用してユーザが入力した情報が追記情報として表示される。実世界では、狭い作業スペースしかない場合でも、非触知領域Ｈｒを設けることで、擬似的に広い作業スペースを得ることができる。

＜効果の説明＞
文書の整理、書き込み、校正等の作業を行なう上で、紙媒体を利用する利点は、その扱いやすい操作性にある。一方、形のない情報を直接触れることができる（触知可能、タンジブル）ようにしたタンジブルユーザインタフェースでは、従来は、この紙媒体の操作性、および触知性（タンジビリティ）を再現することは、困難である。またＰＣで文書の作業を行なう場合、特に外出先での作業効率や作業の質が低下しやすい問題がある。つまり文書間の移動に時間を要したり、必要な文書のシミュレーションが必要になったりすることで、作業効率や作業の質が低下しやすい。

一方、紙媒体の場合、ＰＣ等では可能な、コピー＆ペースト・検索など他の機器との連携、作業状況の把握、表示を可変とする、等が困難であるなど、ユーザの知性の発揮を妨げる面もある。

ここで本実施の形態によれば、実空間に存在する入力手段３０を、仮想空間でも表示し、そして実際に存在する入力手段３０を使用することで、文書作業等を行なう。これにより、仮想空間においても物理的なフィードバックを得ることができることで触知可能（タンジブル）なユーザインタフェースが実現できる。その結果、ユーザにとっては、より自然に作業を行なうことができる。また仮想空間で表示される入力手段３０は、その大きさ、形状が実空間のものとほぼ同様に再現される。そのため、ユーザにとって、仮想空間で表示される入力手段３０を操作するときの触覚と、実際に存在する入力手段３０を操作するときの触覚とは、感覚的に矛盾がほとんどない状態となり得る。よってユーザは、違和感なく入力手段３０を扱うことができる。さらに従来からある入力手段３０を選択できるため、新たな操作方法を習得する必要がない。

またユーザの手を表示する場合は、これが視覚として追加されるため、触覚と視覚とがより一致しやすくなる。またこのとき指の関節角度等を併せて再現することにより、手の形状の表示がより正確になり、ユーザが見たときの視覚と入力手段３０を操作するときの触覚とがさらに矛盾しにくくなる。

そしてユーザが自らの体を使用して操作を行なうため、より柔軟で迅速な作業が可能となり、入力手段３０に対する位置記憶なども活用しやすくなる。

また本実施の形態では、シート型の入力手段３０であるシート３１と、ペン型の入力手段３０であるペン３２とを使用し、ユーザが情報の入力を行なう。この組み合わせにより、現実での紙とペンの操作性を再現できる。これにより、机の上に紙を広げて使う、ペンで紙にすばやく追記ができる等の操作性が再現できる。また従来技術にある振動等により疑似的に触覚を提示する入力装置に比較して、本実施の形態では、実際に存在する入力手段３０を使用することで、反力も含めより正確な触覚を提示可能であり、そのため文字を書くなどの作業に必要な細かな操作も行ないやすくなる。さらに本実施の形態では、情報の更新、変更がすばやく行えるなど、電子的情報を扱う利点も享受できる。

そして表示装置２０をヘッドマウントディスプレイとすることで、入力手段３０の位置、姿勢にかかわらず、シート３１等に情報を重畳的に表示することができる。さらにこの場合、視覚的外乱や雑音が少なくなる等の効果も得られ、ユーザが作業に集中しやすくなる。

さらに本実施の形態では、外出先でも自席と変らないパフォーマンスで、作業を行ないやすく、狭いスペースでも作業を行なうことができる。

また仮想空間中で、シート３１やディスプレイ６２に表示される情報は、実空間では表示されないため、よりセキュアである。

さらにペーパーレス化を実現できるため、業務のログを完全にとることができる、在宅勤務が可能である、コピー＆ペースト等の他の機器との連携ができる、等が容易になる。

またさらにオフィスレス化もより容易であるため、会社資産の軽減、企業のスタートアップ、新規プロジェクトの立ち上げがより容易になる、遠隔地の人材の雇用など多様な人材の活用見込めるなどの利点も生じる。

なお以上説明した形態では、領域設定シート５０を用意し、これによりデスク領域Ｄｒを設定したが、これに限られるものでなく、例えば、デスク領域Ｄｒの四隅を規定するＬＥＤ等を配するなどの方法でもよい。
また以上説明した形態では、表示装置２０により仮想空間の表示、即ち、ＶＲ（Virtual Reality、仮想現実）を利用した表示を行なったが、これに限られるものではなく、ＡＲ（Augmented Reality、拡張現実）やＭＲ（Mixed Reality、複合現実）を利用してもよい。

さらに以上説明した形態では、文書作業について例示したが、これに限られるものではなく、例えば、シミュレーションやゲーム等に適用してもよい。
さらに入力手段３０は、上述したものに限られるものではなく、例えば、入力手段３０として、文書を立てる譜面台、暦を表示するカレンダー、時間を表示する時計、文書を束ねるクリップやバインダ、定規、コンパス、マグカップの下に敷くコースター、タブレット端末、スマートフォン端末等を用意してもよい。

＜プログラムの説明＞
ここで以上説明を行った本実施の形態における情報処理装置１０が行なう処理は、例えば、アプリケーションソフトウェア等のプログラムとして用意される。

よって本実施の形態で情報処理装置１０が行なう処理は、コンピュータに、情報の入力を行なう入力手段３０を撮影するカメラ４０から入力手段３０の画像情報を取得する画像情報取得機能と、画像情報を基に入力手段３０の画像を表示する表示装置２０に対する表示情報を作成する作成機能と、を実現させ、作成機能は、表示装置２０で表示された入力手段３０を使用して入力した情報に応じて、表示装置２０に対する表示情報を更新するプログラムとして捉えることができる。

なお、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ－ＲＯＭ等の記録媒体に格納して提供することも可能である。

以上、本実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。

１…情報処理システム、１０…情報処理装置、２０…表示装置、２０ａ…表示画面、３０…入力手段、３１…シート、３２…ペン、４０…カメラ、１１０…画像情報取得手段、１２０…決定手段、１３０…保持手段、１４０…接触検知手段、１５０…保存手段、１６０…作成手段、２１０…表示情報取得手段、２２０…画像表示手段、Ｈｄ…ユーザの手、Ｄｒ…デスク領域、Ｈｒ…非触知領域

Claims (15)

1. 情報の入力を行なう入力手段を撮影する撮影装置から当該入力手段の画像情報を取得する画像情報取得手段と、
   前記画像情報を基に前記入力手段の画像を表示する表示装置に対する表示情報を作成する作成手段と、
   を備え、
   前記作成手段は、
   前記表示装置で表示された前記入力手段を使用して入力した情報に応じて、当該表示装置に対する表示情報を更新し、
   前記入力手段を表示するとともに、ユーザが当該入力手段を使用して触知可能に作業が行なえるデスク領域としての触知領域と、当該入力手段を使用しないものを表示するとともに当該入力手段を使用できない非触知領域と、を分けて表示情報を作成する情報処理装置。
2. 前記入力手段は、当該入力手段の位置および姿勢を決定するためのマーカーを備え、
   前記撮影装置により撮影された前記マーカーの画像情報を基に、前記入力手段の位置および姿勢を決定する決定手段をさらに備えることを特徴とする請求項１に記載の情報処理装置。
3. 前記作成手段は、前記決定手段が決定した前記入力手段の位置および姿勢に基づき、実際の当該入力手段の大きさおよび形状に合わせ当該入力手段の画像を表示する表示情報を作成することを特徴とする請求項２に記載の情報処理装置。
4. 前記決定手段は、ユーザの手の位置および姿勢をさらに決定し、
   前記作成手段は、前記決定手段が決定した前記ユーザの手の位置および姿勢に基づき、実際の当該ユーザの手の大きさおよび形状に合わせ当該ユーザの手の画像を表示する表示情報を作成することを特徴とする請求項３に記載の情報処理装置。
5. 複数の前記入力手段同士または当該入力手段とユーザの手とが互いに接触したことを検知する接触検知手段をさらに備えることを特徴とする請求項１に記載の情報処理装置。
6. 前記作成手段は、複数の前記入力手段が互いに接触することで入力される情報を追記情報として表示する表示情報を作成することを特徴とする請求項５に記載の情報処理装置。
7. 前記追記情報を保存する保存手段をさらに備えることを特徴とする請求項６に記載の情報処理装置。
8. 前記作成手段は、実空間中で存在する前記入力手段を、仮想空間中で仮想的に表示する表示情報を作成することを特徴とする請求項１に記載の情報処理装置。
9. 前記作成手段は、前記触知領域に、前記入力手段を表示することを特徴とする請求項１に記載の情報処理装置。
10. 前記作成手段は、前記非触知領域に、仮想空間中で常時表示する文書を表示する表示情報を作成することを特徴とする請求項１に記載の情報処理装置。
11. 前記表示装置は、ヘッドマウントディスプレイであることを特徴とする請求項１に記載の情報処理装置。
12. 前記作成手段は、仮想空間中で前記入力手段を実際の当該入力手段に合わせ仮想的に表示することを特徴とする請求項１０に記載の情報処理装置。
13. 情報の入力を行なう入力手段を撮影する撮影装置と、
    表示情報を基に画像を表示する表示装置と、
    前記表示情報を作成する情報処理装置と、
    を備え、
    前記情報処理装置は、
    前記撮影装置から前記入力手段の画像情報を取得する画像情報取得手段と、
    前記画像情報を基に前記入力手段の画像を表示する表示装置に対する表示情報を作成する作成手段と、
    を備え、
    前記作成手段は、
    前記表示装置で表示された前記入力手段を使用して入力した情報に応じて、当該表示装置に対する表示情報を更新し、
    前記入力手段を表示するとともに、ユーザが当該入力手段を使用して触知可能に作業が行なえるデスク領域としての触知領域と、当該入力手段を使用しないものを表示するとともに当該入力手段を使用できない非触知領域と、を分けて表示情報を作成する情報処理システム。
14. 前記入力手段は、形状として、シート型およびペン型のものを含むことを特徴とする請求項１３に記載の情報処理システム。
15. コンピュータに、
    情報の入力を行なう入力手段を撮影する撮影装置から当該入力手段の画像情報を取得する画像情報取得機能と、
    前記画像情報を基に前記入力手段の画像を表示する表示装置に対する表示情報を作成する作成機能と、
    前記入力手段を表示するとともに、ユーザが当該入力手段を使用して触知可能に作業が行なえる領域設定シートの領域を触知領域として決定する機能と、
    を実現させ、
    前記作成機能は、
    前記表示装置で表示された前記入力手段を使用して入力した情報に応じて、当該表示装置に対する表示情報を更新し、
    前記入力手段を表示するとともに、ユーザが当該入力手段を使用して触知可能に作業が行なえるデスク領域としての触知領域と、当該入力手段を使用しないものを表示するとともに当該入力手段を使用できない非触知領域と、を分けて表示情報を作成するプログラム。

Images