図1に示すように、この実施例のマルチメディア付箋装置(以下、単に「付箋装置」という。)10は、ユーザ1の手に持って使用される。この実施例においては、付箋装置10は手持ち可能な携帯情報端末であり、一例として、アップル社製の携帯電話機iphone3G(商品名)を用いる。ただし、この具体的な商品名の携帯端末だけでなく、同等の機能を有する携帯電話機、さらにはPDAなど任意の携帯情報端末が利用可能である。
たとえば、付箋装置10をユーザ1が実空間内で操作することによって、その実空間内の位置や方向に対応する仮想空間の位置や方向に、音声データ、映像または画像データ、もしくはテキストデータさらにはストロークデータなどのマルチメディアコンテンツを付箋(必要事項を書いて貼り付け、不要になればはがせる、たとえば「ポストイット」(商品名)のようなもの)として配置したり、一旦配置した付箋を削除したり、または配置している付箋を構成するコンテンツを再生するものである。
図2には、携帯電話機iphone3G(商品名)である実施例の場合の付箋装置10が、図解される。付箋装置10はほぼ矩形の扁平なハウジング12を含み、ハウジング12の前面には、たとえばLCD(液晶表示器)のような表示器14が設けられ、表示器14の上にはタッチパネル16が配置される。タッチパネル16は、抵抗膜式または静電容量式のいずれでもよく、あるいはもし存在するなら別の方式のタッチパネルであってよい。
表示器14の右側のハウジング前面には、「ホームボタン」と呼ばれる押しボタンスイッチ18が設けられ、このスイッチ18は、メニューを選択したり、カメラのシャッタとして用いられたり、様々に利用されるハードスイッチである。このスイッチ18の上の右側面には、図2において点線で示すマイク20が設けられる。マイク20は音声入力手段またはその一部を構成する。
表示器14の左側のハウジングの後面には、図2において点線で示すカメラ22が設けられる。このカメラ22は、映像または画像の入力手段またはそれの一部を構成する。カメラ22の下方のハウジング12の前面には、音声出力手段の一例であるスピーカ24が配置される。
表示器14には仮想空間が表示され、その仮想空間内には、付箋データ(音声データ、映像または画像データ、テキストデータ、ストロークデータなど)の存在を示す付箋オブジェクト26や付箋アイコンオブジェクト26a1,26a2,26a3,…が表示される。これらの付箋オブジェクト26や付箋アイコンオブジェクト26a1,26a2,26a3,…によって、ユーザ1は、その位置および/または方向に付箋データが配置されていることを視覚的に知ることができる。ただし、付箋オブジェクト26と付箋アイコンオブジェクト26a1,26a2,26a3,…の違いは、付箋オブジェクト26は付箋装置10のそのときの位置または方向が、その付箋オブジェクト26の付箋データを貼り付けるための貼付ジェスチャをした実空間内での位置または方向に一致したかまたはほぼ一致したことを示すのに対し、付箋アイコンオブジェクト26a1,26a2,26a3,…は付箋オブジェクト26の位置または方向とは異なる位置または方向に付箋データが貼り付けられていることを示す。
ここで、付箋装置10のそのときの位置または方向を示す場所情報が、その付箋オブジェクト26の付箋データを貼り付けるための貼付ジェスチャをした実空間内での位置または方向を示す場所情報に一致したかまたはほぼ一致したことを検出するためには、2つの付箋データの位置または方向が完全に一致するかを判断してもよく、あるいは2つの付箋データの位置または方向がおよそ一致するかを判断してもよい。前者の場合、実施例においては電子コンパスで検出した方位データが一致するかどうか判断すればよいし、後者の場合、方位データが所定範囲(たとえば、5°)内で重なるかどうか判断することができる。
詳しくいうと、実施例の付箋装置10を利用するとき、ユーザ1はこの付箋装置10にマルチメディアコンテンツデータ(付箋データ)を入力し、付箋装置10を手に持って、図3に示すように、実空間内のユーザ1を囲む周囲ARの適宜の位置および/または方向において貼付ジェスチャ(後述)を実行することによって、その位置および/または方向にその付箋データを配置(貼付)する。そして、このようにして貼り付けた付箋を再生するときには、その付箋データの存在を示す付箋アイコンオブジェクト26aが図2において付箋オブジェクト26で示す位置および/または方向になるように、付箋装置10をその周囲ARにおいて動かす。実施例では、付箋アイコンオブジェクト26a1,26a2,26a3,…は付箋より薄い色で表示され、付箋として認識される位置および/または方向に付箋装置10がもたらされたとき、より濃い色の付箋オブジェクト26として認識できるように表示色が変更される。
そして、付箋装置10を周囲ARの所定の位置または方向にもたらしたとき、すなわち付箋オブジェクト26が認識できた状態において、その付箋オブジェクト26を形成する付箋データ(マルチメディアコンテンツ)が実施例では自動的に再生される。たとえば、付箋データが音声データであれば、スピーカ24から、または図示しないヘッドフォンから音声が出力される。付箋データが映像または画像データであれば、表示器14(図2)にその映像または画像が表示される。同様に、付箋データがテキストデータであるときには、そのテキストデータで示されるテキストが表示器14に表示される。付箋データがストロークデータであるときには、そのストロークデータで示される線画や文字が表示器14に表示される。なお、ストロークデータとは、タッチパネル16に直接描いた線画や文字を表すタッチパネル上の順次の座標のデータである。このストロークデータによって手書きメモを付箋として記憶し再生することができる。
なお、映像または画像は、動画像であってもよく、1枚または複数枚の静止画像の組であってもよい。たとえば、黒板や白板あるいは紙などに手書きしたメモを付箋装置10のカメラ22で撮影することによって、手書きメモの静止画像を付箋データとして生成することもできる。つまり、映像または画像によっても手書きメモを付箋として残して、それを再生することができる。
図4を参照して、付箋装置10は、上で説明した表示器14、タッチパネル16、スイッチ18、マイク20、カメラ22およびスピーカ24の他、図4に示すように、3軸地磁気センサ28、3軸加速度センサ30、CPU32、ROM34、RAM36、フラッシュメモリ38および時計回路40を含む。
表示器14にキーボード画像を表示し、そのキーボード画像に示すキー位置でのユーザのタッチをタッチパネル16で検出することによって、キー入力ができる。いわゆるソフトキーボードである。実施例の付箋装置10のCPU(コンピュータ)32は、このようなソフトキーボードを用いて、テキストデータを入力したり、付箋モードを選択または指定したり、付箋データの種類を決定したり、適宜の必要な操作をコンピュータ(CPU)32に指示することができる。
また、スイッチ18の操作がCPU32によって検出でき、CPU32はスイッチ18の操作を検出したとき、そのときのモードやタイミングに応じて予め設定されている機能を達成する。たとえば、カメラモードが設定されているときスイッチ18が操作されると、それをいわゆるシャッタ操作とみなして、CPU32はそのタイミングでカメラ22からの画像をRAM36のデータ領域に取り込む。音声や動画像を入力する際には、CPU32は、スイッチ18の最初の操作を開始指示、次の操作を終了指示としてその間の音声データや映像データを取り込むようにしてもよい。
ただし、音声入力の場合、スイッチ18の操作によって開始、終了を指示するのではなく、音声入力の有無を判断して自動的に取り込むこともできる。CPU32は、たとえば、マイク20から入力される音声信号から音声の信号(有音)である区間(音声区間)の切り出しを試み、音声区間が切り出せた場合に音声の入力があると判断する。そして、音声区間の切り出しでは、音声信号のレベルが閾値を上回る時間がたとえば0.3秒を超えた位置を発話開始(音声区間開始)とみなし、その後音声信号のレベルが閾値を下回る時間がたとえば1.0秒を超えたときに閾値を下回り始めた位置を発話停止(音声区間終了)とみなすことにより音声区間を決定する。
3軸地磁気センサ28は、直交3軸方向の地磁気の強さを検知するもので、この実施例では、CPU32とともに電子コンパスまたはディジタルコンパスを構成するために利用される。電子コンパスは、よく知られているように、2つの地磁気センサを直角に組み合わせて、前後方向と左右方向の地磁気を検出し、その強さからどちらが北の方向なのかを計算する。ただし、実施例のような3軸タイプでは、前後方向と左右方向の2つの地磁気センサに加えて上下方向の地磁気を検出する第3の地磁気センサを持っているため、たとえば、付箋装置10を傾けて持っても、1つの地磁気センサで何度傾けて持っているかがわかるので、その傾き分を差し引いて水平方向の地磁気を計算することによって、正しい方位を検出できる。したがって、もし付箋装置10を図2に示すように常に垂直に立てて使用するものと決めれば、傾きを検出する必要がないので、2軸の地磁気センサで十分である。
この3軸または2軸地磁気センサ28は、後に説明するように、ユーザが貼付ジェスチャおよび剥しジェスチャなどを入力するために利用される。貼付ジェスチャおよび剥しジェスチャでは、位置または方向の指示と、貼付けおよび剥し動作の指示とを入力する必要があり、この地磁気センサ28は位置または方向指示手段として機能する。
3軸加速度センサ30は、この実施例では、後に説明するように、ユーザが貼付ジェスチャおよび/または剥しジェスチャなどを入力するために利用される。ただし、上記のジェスチャを決まった方向でのみ行なうものと決めれば、加速度センサも2軸のものでよい。上述のように貼付ジェスチャおよび剥しジェスチャでは、位置または方向の指示と、貼付けおよび剥し動作の指示とを入力する必要があり、この加速度センサ30は貼付けおよび剥し動作指示手段として機能する。
先に説明したように、付箋装置10はスピーカ24を備えるが、このスピーカ24に代えて、またはスピーカ24と併用するために、ヘッドフォン(図示せず)を設けてもよい。ステレオヘッドフォンを用いれば、音源定位可能に音声メモ(音声付箋)を再生することができる。
付箋装置10に含まれるRAM36には図5に示すように、プログラム領域42およびデータ領域44が設けられる。プログラム領域42にはROM34に予め設定されている種々のプログラムが使用に際して展開される。たとえばOS領域421にはOS(Operating System)が記憶される。付箋データ生成プログラム領域422には、上で説明した付箋データ、たとえば音声データ、映像または画像データ、テキストデータ、ストロークデータなどを生成して保存するためのプログラムが設定される。音声付箋データを取得する場合、CPU32は、この領域422に設定されている音声付箋データ生成プログラムに従って、マイク20からの音声入力を取り込む。映像または画像付箋データを取得する場合、CPU32は、この領域422に設定されている映像または画像付箋生成プログラムに従って、カメラ22からの映像または画像入力を取り込む。テキスト付箋データを取得する場合、CPU32は、この領域422に設定されているテキスト付箋生成プログラムに従って、前述のソフトキーボードを設定するとともに、タッチパネル16からのタッチ信号に応じて、操作キーを特定してキー入力を得る。ストロークデータを取得する場合、CPU32は領域422に設定されているストロークデータ付箋生成プログラムに従って、タッチパネル16(または別のポインティングデバイス)が示す順次の座標位置データを入力する。
付箋操作プログラム領域423には、付箋を貼り付けたり、剥がしたり、さらには付箋データを再生したりするための付箋操作プログラムが設定される。付箋操作プログラムによって付箋データを再生するとき、音声はスピーカ24やヘッドフォン(図示せず)から出力され、映像または画像は表示器14に出力され、テキストやストロークデータが示す線画や文字も同様に表示器14に出力される。
付属プログラム領域424には、CPU32によって電子コンパスを機能させたり、貼付ジェスチャや剥しジェスチャ、さらには正面校正ジェスチャなどを検出したりするための付属プログラムが設定される。
RAM36のデータ記憶領域44には、表示オブジェクト画像データ記憶領域441、センサデータ記憶領域442、付箋データバッファ443などが形成される。
表示オブジェクト画像データ記憶領域441には、図2に示すような付箋オブジェクト26や付箋アイコンオブジェクト26a、ソフトキーボードのためのキーボード画像、その他の画像を表示するためのオブジェクト画像データが予め設定される。
センサデータ記憶領域442には、3軸(または2軸)地磁気センサ28や3軸(または2軸)加速度センサ30で検知した地磁気の大きさを示す地磁気データや加速度の大きさを示す加速度データが記憶される。CPU32は、前述の付属プログラムに従って、この地磁気データを利用して電子コンパスを機能させ、あるいは加速度データを利用して貼付ジェスチャや剥しジェスチャなどのジェスチャが行なわれたかどうかを判断する。
付箋データバッファ443は、付箋データとして入力された音声データ、映像または画像データ、テキストデータ、ストロークデータなどを一時的に蓄積するための領域であり、第1記憶手段として機能する。貼付ジェスチャに応じて、このバッファ443から、第2記憶手段として機能するフラッシュメモリ38に付箋データが転送されて記憶される。また、剥しジェスチャに応じて、フラッシュメモリ38に登録してあった付箋データがこのバッファ443に転送されて記憶される。
ただし、フラッシュメモリ38は不揮発メモリの一例であり、第2記憶手段としては、他の任意の形式の不揮発メモリをフラッシュメモリ38に代えて、あるいはフラッシュメモリ38とともに利用することができる。
図6を参照して、付箋装置10のCPU(コンピュータ)32は、図5のプログラム領域42の付箋データ生成プログラム421に従って、ステップS1で、上で説明したようなスイッチ18の操作を検出したり、あるいは音声区間の切り出しを実行したりして、マイク20から音声信号入力があるかどうか判断する。音声信号入力があるときには、CPU32は、ステップS1で“YES”を判断し、入力された音声信号を音声データに変換して、続くステップS3において、図5に示す付箋データバッファ443に保存する。ストロークデータの場合は、ストロークデータ入力モードにおいて、ポインティングデバイス、実施例ではタッチパネル16が示す順次の座標位置データをバッファ443に書き込む。
CPU32は、ステップS1で“NO”を判断したときには、ステップS5において、スイッチ18の操作を検出するなどして、カメラ22から映像信号または画像信号が入力されたかどうか判断する。映像信号または画像信号が入力されたたとき、CPU32は、その映像信号または画像信号を映像または画像データに変換して、ステップS7において映像または画像データを付箋データバッファ443に保存する。
ステップS5で“NO”を判断したときには、ステップS9において、CPU32は、テキストデータが入力されたかどうか判断する。テキストデータの入力があると、CPU32はステップS9で“YES”を判断し、ステップS11においてテキストデータを付箋データバッファ443に保存する。なお、このテキストデータ入力に際しては、CPU32は、テキスト入力をするときのユーザの操作に従って、オブジェクト画像データ記憶領域441からキーボード画像データを読み出して、表示器14にキーボード画像を表示すると共に、タッチパネル16からのタッチ入力を検出するとこによって、そのキーボード上のどのキーが操作(タッチ)されたか判断し、テキストデータをバッファ443に書き込む。したがって、ステップS9でテキスト入力かどうか判断するためには、そのようなユーザからの指示があったかどうか判断すればよい。
また、音声と映像または画像、あるいは映像または画像とテキスト、音声とテキストなどのように、任意の組み合わせの2以上のデータを1つの付箋データとしてバッファ443に保存することも可能である。たとえば、ナレーション付の写真を、音声データと映像または画像データを含む1つの付箋として処理することができる。つまり、付箋データは単一メディアのデータだけでなく、ミックスメディアのデータであってよい。
このようにして、付箋データ生成プログラムに従って付箋データが生成され、付箋データバッファ443(図5)に保存される。
そして、図7のステップS21においてCPU32が貼付ジェスチャが行なわれたと判断したとき、そのとき付箋データバッファ443に保存されている付箋データを仮想空間内に貼り付ける。具体的には、フラッシュメモリ38に記憶する。
この実施例では、貼付ジェスチャおよび剥しジェスチャを共に、付箋装置10自体の動きで実行できるようにしている。具体的には、貼付ジェスチャを図8に、剥しジェスチャを図9にそれぞれ示す。
図8に示す貼付ジェスチャでは、ユーザは右手で付箋装置10の右端を、表示器14が手前側(自分側)になるように持って、その状態で付箋装置10の左側が矢印Aのように自分から遠ざかるように、付箋装置10を振る。一方、図9に示す剥しジェスチャでは、ユーザは右手で付箋装置10の右端を図8と同じように持って、その状態で付箋装置10の左側が矢印Bのように自分に近づくように、付箋装置10を振る。この貼付ジェスチャおよび剥しジェスチャは、図10に示す3軸加速度センサ30(図4)からの出力信号を監視することによって検出することができる。
図10(A)は3軸加速度センサ30の各軸出力信号を示し、一点鎖線がX軸加速度を、点線がY軸加速度を、実線がZ軸加速度をそれぞれ示す。このような加速度センサの各軸出力信号が、A/D変換されたセンサデータとして、センサデータ領域442(図5)に取り込まれる。CPU32は、その後、付属プログラム424に従って、このセンサデータをハイパスフィルタ処理して、画面に垂直なZ軸の加速度データだけに基づいて、最大値および最小値がどのような順番で検出できたかを判別する。図8または図9のようなスナップ動作をするとき、X軸およびY軸のそれぞれの加速度はZ軸のそれより小さいので、付属プログラムは、CPU32は、ハイパスフィルタ処理後のZ軸加速度データだけでどちらのスナップ動作が行なわれたかを判定するようにしている。
図10(B)の点P1におけるように、Z軸加速度の最大値が最小値より先に入力されたということは、付箋装置10の表示器14の手前側、つまり自分側への力が加わったことを意味する。よって、ユーザが付箋装置10に対して図8のようなスナップ運動をさせた場合には、CPU32は、貼付ジェスチャが行なわれたと判断する。これに対して、図10(B)の点P2におけるように、Z軸加速度の最小値が最大値より先に入力されたことを検出した場合、この場合には、付箋装置10の裏面側への力が加わったことを意味する。したがって、ユーザが付箋装置10に対して図9のようなスナップ運動をさせた場合には、CPU32は、剥しジェスチャが行なわれたと判断する。
ただし、このようにして貼付ジェスチャか剥しジェスチャを一旦検出した後は、CPU32は一定時間(たとえば、2秒程度)はジェスチャを検出しないように、付属プログラムが設定されている。その理由は、予期していない連続入力の検出を防止するとともに、あたかも団扇を使うようにパタパタするだけの動作は貼付ジェスチャや剥しジェスチャとしては検出しないようにするためである。
さらに、貼付ジェスチャや剥しジェスチャは、付箋装置10のこのようなスナップ動作だけでなく、付箋装置10に別の動きを生じさせることによって入力することもできるし、付属装置10自体の運動(動き)ではなく、たとえばユーザの頭部の動きで入力することもできるし、さらには、音声によって貼付ジェスチャまたは剥しジェスチャを入力することもできる。この発明における貼付ジェスチャや剥しジェスチャなどのジェスチャは実施例で説明した具体例に限るものではなく、任意のジェスチャを貼付ジェスチャおよび剥しジェスチャとして利用可能である。
上述のようにして貼付ジェスチャを検出すると、付箋操作プログラム423に従って、CPU32は図7のステップS21において“YES”と判断し、次のステップS23で、CPU32は、そのとき付箋データバッファ443(図5)に保存されている付箋データを、仮想空間内に貼り付ける。具体的には、CPU32は、付箋データをバッファ443からフラッシュメモリ38へ転送して、図11に示すように記憶させる。
図11では、フラッシュメモリ38の1つの記憶場所に、付箋データの種類(音声、映像または画像、テキストなど)を示す種類データ46、付箋データ48および方位データ50が一緒に記憶される。
種類データは、付箋データが音声データなのか、映像(画像)データなのか、テキストデータなのかを表す数値(コード)である。たとえば、次の表1の通り。ただし、ストロークデータについては省略した。
このようなメディア種類の違いに応じて、図2に示す付箋オブジェクト26や付箋アイコンオブジェクトの26の形状や模様(テクスチャ)を変更するようにしてもよい。その場合には、表示用オブジェクト画像データとして各メディア種類に固有の形状や模様(テクスチャ)のオブジェクト画像を準備しておく必要がある。そして、CPU32は図2のように付箋オブジェクト26や付箋アイコンオブジェクト26aを表示する際、付箋データの種類に応じた形状や模様(テクスチャ)の付箋オブジェクト26や付箋アイコンオブジェクト26aを選択的に表示する。
付箋データ48は、図6で示す付箋データ生成プログラムに従って生成したデータである。そして、方位データ50は、貼付ジェスチャが実行された「方位」を示すデータである。
先に説明したように、この実施例の付箋装置10は付属プログラムに従って電子コンパスの機能を実行することができる。付箋データ48とともに記憶される方位データ50は、この電子コンパスで検出した方位であり、「北」を0°としたときの、実空間で貼付ジェスチャが行なわれたときの付箋装置10の方位を示すデータである。仮に、図3の「10」の位置で貼付ジェスチャを行なったものとし、そのときの方位が「北東」であるとすると、方位データ50としては、45°が書き込まれる。
付箋データ48と共に実空間の方位データ50を紐付けて記憶させるのは、実空間の方位に相当する仮想空間内の位置または方向に、図2のような付箋オブジェクト26や付箋アイコンオブジェクト26aを表示する必要があるからである。ただし、図2では便宜上、ユーザ1の前面180°の範囲が貼付け可能範囲として設定しているが、この範囲は当然360°(厳密には359°)まで拡大することができる。
なお、ステップS21で貼付ジェスチャを検知するとステップS23で貼付け動作(フラッシュメモリ38への転送記憶)を行なうようにしたが、もし、今回の付箋データの貼り付けるべき位置または方向(実施例では、電子コンパスが検知した方位)が先に貼り付けた付箋データの位置または方向(方位)が同じであれば、図2に示す付箋オブジェクト26または付箋アイコンオブジェクトオブジェクト26aの表示位置が重なってしまうので、そのための対応(処理)をしなければならないかもしれない。
たとえば、ステップS23の前で、CPU32によって、既に貼り付けている付箋データと今回貼り付けるべき付箋データとがそれらの位置または方向で重なるかどうか判断する。「重なる」かどうかの判断においては、2つの付箋データの位置または方向が完全に一致するかを判断してもよく、あるいは2つの付箋データの位置または方向がおよそ一致するかを判断してもよい。前者の場合、実施例においては電子コンパスで検出した方位データが一致するかどうか判断すればよいし、後者の場合、方位データが所定範囲(たとえば、5°)内で重なるかどうか判断することができる。
そして、位置または方向が重なった場合、今回の付箋データの貼付けを拒否して、ユーザにその旨を知らせるメッセージ(たとえば「既に貼り付けている付箋の方位と同じなので貼付けできません。」)を表示器14で表示し、他方その拒否した付箋データを付箋データバッファ443(図5)から削除する方法が考えられる。しかしながら、他の処理方法が採用されてもよい。
たとえば「既に貼り付けている付箋の方位と同じなので貼付けできません。貼付方位を変更してください。」というメッセージを表示して、異なる方位でユーザが再度貼付ジェスチャを実行するように促す方法も可能である。ただし、この場合にはメッセージを表示した段階では自動的に付箋データをバッファから消去するのではなく、再度の貼付ジェスチャを促したにも拘らず所定時間内に貼付ジェスチャが検知されなかったときにだけ付箋データをバッファから消去すればよい。
今回の付箋データの貼付け位置または方向が既に貼り付けている付箋データの位置または方向と初めから重なっていないとき、あるいは再度貼付ジェスチャをユーザに行なわせた結果2つの付箋データの貼付け位置または方向が重ならなくなったとき、ステップS23を実行するようにすればよい。
このようにして仮想空間に貼り付けた付箋データを再生するとき、付箋操作プログラム422(図5)に基づいて、図12に示すフロー図に従って動作する。ユーザが、図示しない適宜の操作部を操作して付箋データ再生モードを設定したとき、最初のステップS31で、CPU32は、フラッシュメモリ38の記憶内容を参照して、図2に示すように、付箋オブジェクト26や付箋アイコンオブジェクト26aを表示器14によって、仮想空間内の該当する場所に表示する。上で述べたように、フラッシュメモリ38には付箋データの実空間内の貼付場所が方位データで示されているので、CPU32は、付箋オブジェクト26や付箋アイコンオブジェクト26aを表示する際、実空間の方位データで示す方位を表示器14上の位置すなわち仮想空間内の方位に変換する必要がある。
たとえば、表示器14におい、その全幅を使って図2に示すような180°の仮想空間が表示できるように設定したとすると、このとき表示器14には、幅方向のちょうど中央が実空間での「北」となり、そこから左右それぞれ90°の範囲、つまり北を通る実空間での「東」から「西」までを、仮想空間として表示可能である。したがって、たとえば、図11の方位データ50として「45°」が記憶されているとすると、付箋データは「北東」の場所に配置されていなければならない。つまり、付箋装置10の裏面を実空間の「北」に向けた状態で、表示器14の左端を「西」とし右端を「東」とした場合の「北東」の位置、たとえば表示器14の幅が8cmだとすると、右端から4cmの場所がその付箋オブジェクトの表示されるべき場所である。
ただし、表示器14の全幅を360°に設定した場合は、付箋オブジェクトは右端から6cmの位置に表示されなければならない。
このような、実空間方位と仮想空間方位(表示位置と)の相関関係をたとえばテーブルとして保有させておき、フラッシュメモリ38から読み出した方位データを表示器14の幅方向位置に変換することによって、付箋オブジェクト26や付箋アイコンオブジェクト26aを正しい表示位置に表示することができる。
その後ステップS33において、CPU32は、方位が一致したかどうか判断する。先に述べたように、ユーザは付箋データを再生しようとするときは、付箋アイコンオブジェクトが図2の付箋オブジェクト26の位置になるように実空間内での付箋装置10の方位を変化させる。ステップS33は、付箋アイコンオブジェクトが付箋オブジェクト26として認識できるようになったかどうか、判断する。ユーザは、ステップS33で“YES”が判断されるまで、付箋装置10を実空間で移動させる。この移動操作に伴って、実空間内の位置または方向(実施例では方位)が場所情報として入力される。実施例では付箋装置10が3軸地磁気センサ28を内蔵していて、他方、CPU32が電子コンパス機能を実現するので、付箋装置10の移動操作が方位すなわち場所情報の入力操作となる。
さらに、実施例では、上述のステップS33において、ユーザの入力操作によって入力した方位が第2記憶手段であるフラッシュメモリ38に図11のように登録している付箋データに紐付けされている方位と一致したかどうか判断するようにしている。そして、このとき付箋アイコンオブジェクトオブジェクトが付箋オブジェクトに変化することによって、ユーザが入力した方位が付箋データの登録されている方位と一致したことを示す。
しかしながら、入力した方位と記憶している方位とが完全に一致する必要はなく、或る程度の許容度を持って「一致」していればよく、つまり、ステップS33では、入力した方位(すなわち、位置または方向を示す場所情報)と記憶している方位(すなわち、位置または方向を示す場所情報)とが所定関係にあるかどうか判断すればよく、所定関係があるとき、ステップS33で“YES”と判断される。
ステップS33で“YES”が判断されると、CPU32は、次のステップS35において、第2記憶手段すなわちフラッシュメモリ38から、そのとき付箋オブジェクト26として認識された付箋データを読み出して、第1記憶手段すなわちRAM36の付箋データバッファ443に読み出す。そして、CPU32はバッファ443に読み出された付箋データを再生する。つまり、付箋データが音声データであれば、スピーカ24やヘッドフォン(図示せず)から音声が出力される。付箋データが映像または画像データであれば、表示器14にその映像または画像が表示される。付箋データがテキストデータであるときには、テキストが表示器14に表示される。ストロークデータの場合、それが示す線画、文字などが表示器14に表示される。
このようにして、ユーザは、表示器14に表示された仮想空間内の付箋および/または付箋アイコンオブジェクト(図2)を目印にして実空間内で図3に示すユーザの周囲ARにおいて付箋装置10を移動(変位)させることによって、所望の付箋データを選択して再生することができる。
一旦貼り付けた付箋データを消去する場合、付箋操作プログラム422に基づいて、CPU32は図13の動作を実行する。まずステップS41で、先に説明した方法で、ユーザが剥しジェスチャを行なったかどうか、加速度センサ30からの出力信号(図10)を監視することによって判断する。ステップS41で“YES”が判断されると、CPU32はステップS43で、仮想空間内に貼り付けられている付箋データがあるかどうか、たとえばフラッシュメモリ38のデータを参照することによって、判断する。つまり、そのときの付箋装置10の実空間での方位に相当する仮想空間内の位置または方向に図2に示す付箋オブジェクト26として認識できる付箋データが存在しているかどうか判断する。“NO”ならそのまま終了する。ただし、実際には、“NO”の場合、ユーザは付箋オブジェクト26とCPU認識できる実空間内の位置または方向に付箋装置10を移動させるので、フラッシュメモリ38内に付箋データが記憶されていれば、やがてこのステップS43で“YES”が判断されることになる。
ステップS43で“YES”が判断されたとき、CPU32は、次のステップS45において、フラッシュメモリ38の該当する(位置または方向が一致した)付箋データを読み出して一旦バッファ443(図5)に移動(転送)する。
その状態で、表示器14で確認アイコン(図示せず)を表示したり、スピーカ24からの音声出力によって、ユーザに、その付箋データを本当に削除してもよいかどうか確認を求める。ユーザが削除容認の操作入力や音声入力を与えることによって、ステップS47でCPU32は“YES”を判断する。ステップS47で“YES”が判断されれば、つまり、ユーザの削除OKの最終確認が取れたとき、ステップS49において、CPU32はバッファ443に転送していた該当の付箋データを消去する。
このように、一旦貼り付けた付箋データを剥しジェスチャに応答して剥がすことができる。つまり、仮想空間内の位置または方向が変化するように付箋装置10を実空間内において変位させ、削除対象の付箋データが該当の位置または方向になる、そのような位置または方向に付箋装置10がもたらされた状態で剥しジェスチャを実行するだけで、簡単に付箋データを削除することができる。
なお、上述の実施例では、付箋装置10が3軸(2軸)地磁気センサ28および3軸(2軸)加速度センサ30を内蔵するものとして説明した。しかしながら、図14に示すようなヘッドセット46を用い、その中にこれらの3軸(2軸)地磁気センサ28および3軸(2軸)加速度センサ30を内蔵するようにしてもよい。ヘッドセット46は、マイク48とステレオヘッドフォン50を備え、これらが図4のマイク20およびスピーカ24の代替物として利用され得る。ステレオヘッドフォン50を音声出力手段として用いれば、音源定位可能に音声付箋データを再生することができる。
ヘッドセット46に3軸(2軸)地磁気センサ28を内蔵した場合、上述の実施例においては付箋装置10自体を移動させることによって所望の貼り付け位置または方向を設定するようにしていたものを、ヘッドセット46を装着したユーザ1の頭部の向きによって設定することができる。たとえば、ユーザ1は対象となっている付箋データを貼り付けたい方位に顔(頭部)を向けるだけで、貼り付けるべき仮想空間内の位置または方向を実空間内で指定することができる。頭部が向いている方位を、地磁気センサ28の出力データを用いたCPU32の電子コンパス機能で特定できる。
また、ヘッドセット46に3軸(2軸)加速度センサ30を内蔵した場合、上述の実施例においては付箋装置10自体にスナップ運動をさせることによって貼付ジェスチャまたは剥しジェスチャを行なうようにしていたものを、ヘッドセット46を装着したユーザ1の頭部の動きによって入力することができる。たとえば、ヘッドセット46を装着した状態でユーザ1が顎を引く動作をしたとき、加速度センサ30からの加速度データの独特の変化が生じ、CPU32がその独特の変化を検出することによって、貼付ジェスチャが行なわれたと判断することができる。また、たとえば、ヘッドセット46を装着した状態でユーザ1が顎を上げる動作をしたとき、加速度センサ30からの加速度データの別の独特の変化が生じ、CPU32がその別の独特の変化を検出することによって、剥しジェスチャが行なわれたと判断することができる。
また、実施例では、付箋装置10自体を移動させることによって付箋データを再生するときの場所情報(位置または方向。実施例では方位。)あるいは付箋データを削除するときの場所情報(位置または方向。実施例では方位。)の入力するようにしていたが、図13のヘッドセット46に3軸(または2軸)地磁気センサを内蔵した場合には、当然、ヘッドセット46を場所情報入力手段として利用することができる。
さらに、上述の実施例では、電子コンパスを用いた絶対方位によって、付箋を貼り付けるべき位置または方向を指定するようにした。しかしながら、付箋の位置または方向は、ユーザの正面を基準とする相対的な位置または方向であってよい。たとえば、顔の正面を0°とし、そこを基準として貼り付け位置を特定するようにしてもよい。ただし、このような相対的位置または方向を採用する場合、付箋装置10を操作する都度、顔の正面を0°(または特定の角度)とする校正(キャリブレーション)を実行することが望ましい。さもなければ、相対的な位置または方向に毎回微差が生じ、付箋データを高密度に貼り付けようとすると、付箋データの混同を生じる可能性があるからである。
正面校正動作としては、一例として、付箋装置10をユーザの顔の正面に配置した状態で付箋装置10を上下に変位させるなどの方法が考えられる。つまり、付箋装置10に内蔵した加速度センサ30によってそのような上下方向の変位を検出し、その検出に応答して相対的角度を0°に校正すればよい。ただし、図14に示すヘッドセット46に加速度センサを内蔵した場合、ユーザ1の顔を上下に変位させることによって、同様に、正面校正を実行することかできる。
さらにまた、上述のいずれの実施例でも、ジェスチャ(貼付ジェスチャ、剥しジェスチャ、正面校正ジェスチャ)を付箋装置10自体またはユーザの頭部に独特の動きを与えて、加速度センサからの加速度信号に独特の変化を生じさせ、他方で、CPU(コンピュータ)32でその独特の加速度変化を検出することによってジェスチャが行なわれたことを検出し、ジェスチャの種類を識別するようにした。
このようなジェスチャは、音声ジェスチャに代えてもよく、さらには付箋装置10の動作またはユーザの頭部の動作と音声との組み合わせであっても構わない。
音声ジェスチャだけの場合、たとえば、2秒以上の発声が貼付ジェスチャであると定義し、「スー」という発音の音声が剥しジェスチャであると定義し、CPU32がマイク20(48:図14)からの音声入力を識別するとこによって、これらのジェスチャを検出することができる。
また、上述の実施例における剥しジェスチャを取消(undo)ジェスチャとして利用することも可能である。したがって、たとえば貼付ジェスチャを入力して直後に剥しジェスチャを入力した場合、直後の剥しジェスチャが取消ジェスチャとして作用し、貼り付け動作を取り消すことができる。
実施例では、表示器14で仮想空間を表示する際、特に背景画像を表示するかどうか言及しなかったが、図15に示すように背景画像52を表示し、その背景画像に重ねて図2に示す付箋オブジェクト26および付箋アイコンオブジェクト26a1,26a2,26a3,…を表示するようにしてもよい。ただしこの場合には、以下の点に注意する必要がある。
上で説明したように、付箋データの再生や消去のためには付箋装置10をユーザの周囲ARにおいて回転(移動)させてその付箋データの仮想空間での貼り付け位置または方向を実空間の位置または方向に一致させる必要がある。付箋装置を回転(移動)させたときに、背景画像と付箋または付箋アイコンオブジェクトの位置が図16に示すようにずれることが考えられるが、それはいかにも不自然である。本来はカメラ22のレンズの焦点距離などのキャリブレーションを行っておくべきだが、手間がかかるだけでなく、付箋装置10に対する様々な対応を考えると、予めキャリブレーションを行っておくのは困難である。そこで、付箋装置10でその都度簡単に行えるキャリブレーション方法が必要である。
そこで、別の実施例では、図17(A)に示すように、表示器14に数点(実施例では2点)のマーク54および56を表示し、それらのマーク54および56が順に所定の位置になるように付箋装置10を順にその方向に配置し、その都度タッチパネル16(図15)をタッチすることで、付箋装置10において、個別にキャリブレーションを行うことができる。図17(B)から図17(C)へのX軸角度変化がdαであり、2点間の距離をdxとしたとき、両者の対応関係はdx=k1×dαとなる。したがって、k1=dx/dαと計算できる。仮にY軸についてもキャリブレーションが必要なら、2点間の距離dyおよび角度変化dβとするとdy=k2×dβとなり、k2=dy/dβと計算できる。これらの係数k1およびk2が、付箋装置10を移動させたとき、表示器14において付箋オブジェクト26および付箋アイコンオブジェクトオブジェクト26aを移動させる際の補正係数となる。
さらに、上述の第1の実施例では、貼付ジェスチャおよび剥しジェスチャを入力するために、付箋装置10に内蔵している3軸地磁気センサ28および3軸加速度センサ30を用いた。第2の実施例では、同じくヘッドセット46(図13)に内蔵した3軸地磁気センサおよび3軸加速度センサを用いた。つまり、貼付ジェスチャおよび剥しジェスチャを入力するために、いずれの実施例でも1つの装置に内蔵した2つのセンサを使うように説明した。しかしながら、たとえば付箋装置10に内蔵している地磁気センサとヘッドセット46に内蔵している加速度センサを組み合わせて用いてもよいし、付箋装置10に内蔵している加速度センサとヘッドセット46に内蔵している地磁気センサを組み合わせて用いてもよい。
つまり、張付ジェスチャまたは剥しジェスチャのための位置または方向の指示手段として付箋装置10に内蔵した地磁気センサおよびヘッドセットに内蔵した地磁気センサのどちらを用いてもよく、張付ジェスチャまたは剥しジェスチャのための貼付け動作または剥し動作の指示手段として付箋装置10に内蔵した加速度センサおよびヘッドセットに内蔵した加速度センサのどちらを用いてもよい。
さらには、位置または方向指示手段としては、もし付箋装置10にGPSユニットを内蔵していれば、そのGPSユニットによる位置検出を利用するようにしてもよい。その場合、たとえば所定距離移動したとき、あるいは所定の交差点で付箋データを貼り付けたり剥したりすることができる。また、位置または方向指示手段としては、無線LANの位置推定機能(たとえば、PlaceEngine:商品名)が利用可能である。
そして、貼付け動作または剥し動作指示手段としては、実施例で説明した加速度センサ以外に、タッチパネル16を利用してもよく、あるいは操作ボタン(図示せず)を利用するようにしてもよい。この場合、上で述べた位置または方向指示手段によって所要の位置または方向が指示されたときに、これらタッチパネルや操作ボタンで動作指示を入力するようにすればよい。さらに、この動作指示の入力手段としてマイクのような音声入力手段が用いられてもよい。その場合、位置または方向指示手段によってジェスチャの位置または方向を指示する前後において、あるいはそれと同時に、音声入力手段から独特の声(音声)を入力することによって、貼付動作指示または剥し動作指示を入力するようにすればよよい。