JP7275885B2 - 表示装置、方向特定方法、プログラム - Google Patents

Description

本発明は、表示装置、方向特定方法、及びプログラムに関する。

手書きにより入力された文字列の向きに応じて、当該文字列に含まれる文字を認識する表示装置に係る技術が各種提案されている（例えば、特許文献１参照）。

しかしながら、従来の技術は、文字を手書きする方向を利用しなければ装置に対してユーザーが存在する方向を決定できないという問題がある。すなわち、従来の方法では、ユーザーが少なくとも２文字手書きしなければ、文字の向きを決定できないし、ユーザーが文字を左から右に書くという前提がなければ文字の向きを決定できない。このためユーザーが１文字だけ記述した場合や、上から下に向かって文字列を手書きした場合、又はアラビア語のように右から左に手書きした場合には、文字の向きを決定できない。

本発明は、上記課題に鑑み、装置に対してユーザーが存在する方向を決定できる表示装置を提供することを目的とする。

上記課題に鑑み、本発明は、三次元座標を推定する電子ペンを用いて手書きされたデータをディスプレイに表示する表示装置であって、前記電子ペンがディスプレイから離れる前記データの入力の終了時における前記電子ペンの、平置きされた表示装置の前記ディスプレイの面に平行な平面における座標から、前記ディスプレイに対する前記電子ペンの高さが閾値以上又は超過になった場合における前記電子ペンの前記ディスプレイに平行な平面における座標へのベクトル、に基づいて、前記電子ペンで手書きしている文字の向きを特定する方向特定部、を有することを特徴とする。

装置に対してユーザーが存在する方向を決定できる表示装置を提供することができる。

表示装置の置き方の一例を示す図である。 平置きされた表示装置に手書きされた文字の一例を示す図である。 平置きされた表示装置に手書きされた文字の一例を示す図である。 電子ペンの斜視図の一例を示す図である。 表示装置の全体構成例を示す図である。 電子ペンのハードウェア構成図の一例である。 表示装置のハードウェア構成図の一例である。 電子ペンと表示装置の機能をブロック状に示す機能ブロック図の一例である。 電子ペンの軸方向、及び、加速度センサーの軸方向が重力加速度の方向を向くように回転する座標変換を説明する図である。 電子ペンの三次元座標に基づくユーザーの方向の推定方法を説明する図である。 いくつかのベクトルと表示装置に対するユーザーの向きの一例を示す図である。 電子ペンが行う処理の手順を示すフローチャート図の一例である。 表示装置が行う処理の手順を示すフローチャート図の一例である。 表示装置の他の構成例を示す図である（その１）。 表示装置の他の構成例を示す図である（その２）。 表示装置の他の構成例を示す図である（その３）。 表示装置の他の構成例を示す図である（その４）。

以下、本発明を実施するための形態の一例として、表示装置と表示装置が行う方向特定方法について図面を参照しながら説明する。

＜装置に対するユーザーの方向＞
まず、図１を用いて表示装置に対するユーザーの方向が異なる状況の一例を説明する。図１は、表示装置２の置き方の一例を示す。この表示装置２は、手書き入力が可能なコンピュータ制御のホワイトボード装置又はアプリケーションソフトであり、手書き入力装置と呼ばれる場合がある。

図１（ａ）では表示装置２が縦置きされており、図１（ｂ）では表示装置２が平置きされている。図１（ａ）のように縦置きされた表示装置２では、ユーザーは表示装置２に対し下側に存在することが一般的である。このため、表示装置２は縦置き状態の上下方向が文字の天地方向であるという前提で文字認識を行う。

一方、図１（ｂ）のように、平置きされた表示装置２では縦置きの場合と異なり手書きするユーザーの方向が限定されない。各ユーザーは自分から見た上下方向を文字の天地方向にして手書きするために各ユーザーが手書きする文字の向きも異なる。

図２は平置きされた表示装置２に手書きされた文字の一例を示す。説明の便宜上、図１（ｂ）の矢印４０１の方向を文字認識の基準方向とする。ユーザーＡ，Ｂのいずれも「て」という文字を手書きした。図２（ａ）に示すように、ユーザーＡは基準方向に手書きしたため、正しく「て」と認識されている。しかし、図２（ｂ）に示すように、ユーザーＢは基準方向とは逆向きに手書きしたため、「２」と誤認識されている。

このように、文字認識を正しく行うためには、表示装置２に対するユーザーの方向、すなわち、文字の向きを特定することが必要である。

＜本実施形態の表示装置の動作の概略＞
そこで、本実施形態の表示装置２は、手書きに使用する電子ペン２５０の位置を利用して表示装置２に対するユーザーの方向を特定する。

図３は、本実施形態の表示装置２が表示装置２に対するユーザーの方向を特定する方法の概略を説明する図である。図３では表示装置２のディスプレイに水平な平面をＸＹ平面とし、ＸＹ平面に垂直な方向をＺ方向とする三次元座標が設定されている。

電子ペン２５０は三次元空間における三次元座標を推定するために少なくとも加速度センサーを内蔵しており、電子ペン２５０は三次元座標を推定することができる。ただし、電子ペン２５０が推定する三次元座標は電子ペン２５０ごとに推定される、電子ペンに個別の座標系の座標でよい（表示装置２が電子ペン２５０の絶対位置を特定する必要はない）。

本実施形態では、ユーザーが手書きを終えた後の肘の動きに着目した。手書きを終えた後ユーザーはペンアップするので、肘はユーザーのいる方向に向かって折り曲げられることが一般的である。ペンアップとはディスプレイに尖端を接していた電子ペン２５０が座標の入力の終了時にディスプレイから離れることをいう。図３ではＺ座標が閾値ｈ以上又は閾値ｈを超過して変化することでペンアップを検出している。

ペンアップ後の肘の動きにより、電子ペン２５０のＺ座標が変化し、ＸＹ座標（ＸＹ平面に投影した三次元座標）はユーザーに近づくように変化する。したがって、手書きを終えた直後の電子ペン２５０のＸＹ平面の座標（図３のｘ_０，ｙ_０）と、Ｚ座標がある程度変化した（ある程度ひじが曲げられた）後の電子ペン２５０のＸＹ平面の座標（図３のｘ_１，ｙ_１）の差から、表示装置２はユーザーのいる方向を特定することができる。

このようにして表示装置２に対しユーザーのいる方向を特定できれば、表示装置２は手書きされた文字を回転させて、文字認識することで正しく文字を認識できる。

したがって、本実施形態の表示装置２は、ユーザーが１文字だけ手書きした場合でも、表示装置２に対するユーザーの方向を特定できる。また、ユーザーが文字を書く方向に前提がなくても、表示装置２に対するユーザーの方向を特定できる。

＜用語について＞
表示装置２は、専用の表示装置でもよいし、ＰＣ、スマートフォン、又は、タブレット端末などの情報処理装置がアプリケーションソフトを実行することで表示装置２として使用されてもよい。

表示装置２に対するユーザーの方向は、表示装置２が平置きされた場合に、表示装置２に対しユーザーが存在する位置である。すなわちユーザーの方向は位置に関する情報ということができる。ただし、本実施形態は表示装置２が縦置きされた場合も適用できる。

手書きされたデータとは、ディスプレイ上でユーザーが入力手段を連続的に移動させた座標点列を軌跡として表示したデータである。また、ユーザーがディスプレイに入力手段を押しつけてから連続的に移動させた後、ディスプレイから離すという一連の操作をストロークといい、ストロークにより手書きされたデータをストロークデータという。ストロークデータは１つ以上の座標点を有し、手書きデータは１つ以上のストロークデータを有する。

手書きされたデータには、手書きデータそのものだけでなく、手書きデータが文字認識して変換されたテキストデータ、「済」などの決まった文字やマークとして表示されるスタンプ、円や星などの図形、直線等、ユーザーの操作に基づいて表示されたデータも含まれてよい。

手書きデータそのものだけでなく、手書きデータが文字認識して変換されたテキストデータ、「済」などの決まった文字やマークとして表示されるスタンプ、円や星などの図形、直線等、ユーザーの操作に基づいて表示されたデータも含まれる。

また、文字という場合、数字、アルファベット、及び、！、＃、＄、％、＆、＋、×、＝、－等の記号を含む。

＜電子ペンの外観の一例＞
図４は、電子ペン２５０の斜視図の一例を示す。電源を内蔵して表示装置２に命令を送信できる電子ペン２５０をアクティブペンという（電源を内蔵しない電子ペン２５０をパッシブ電子ペンという）。図４の電子ペン２５０は、物理的なスイッチがペン先に一つ、ペン尻に一つ、ペン側面に二つあり、ペン先が筆記用、ペン尻が消去用、ペン側面はユーザー機能割り当て用である。本実施形態の電子ペン２５０は不揮発性のメモリーを有しており、他の電子ペン２５０と重複しないペンＩＤを記憶している。

なお、スイッチ付きの電子ペンであれば、ユーザーの表示装置２の操作手順を減らすことも可能である。スイッチ付きの電子ペン２５０とは主にアクティブペンを言うが、電磁誘導方式では電源を内蔵しないパッシブペンでもＬＣ回路だけで電力を発生できるため、アクティブペンだけでなく電磁誘導方式のパッシブペンを含む。電磁誘導方式以外の光学方式、赤外線方式、及び、静電容量方式のスイッチのある電子ペン２５０はアクティブペンである。

ユーザーはペン側面スイッチのうちの一つをペン機能メニュー（電子ペンの色、太さ、線種などの動作モードなどを選択するメニュー）、もう一つを編集機能メニュー（手書きされたオブジェクトの消去、選択、切り取り、コピー、貼り付けなどを行うメニュー）に割り当てることができる。ユーザーが手に持った電子ペン２５０の側面ボタンを押すことによってペン機能メニュー又は編集機能メニューを表示させることができるので、画面のメニュー操作時に必要な操作数を低減できる。

また、消去用のペン尻のスイッチを使用すると、メニュー画面から消去ボタンを押下する操作を省略して、任意の手書きオブジェクトを消去できる。

＜装置の全体構成＞
図５を用いて、本実施形態に係る表示装置２の全体構成を説明する。図５は、表示装置２の全体構成図を示した図である。図５（ａ）では、表示装置２の一例として、壁につり下げられた横長の電子黒板として使用される表示装置２を示している。

図５（ａ）に示されているように、表示装置２の上部にはディスプレイ２２０が設置されている。ユーザーＵは、電子ペン２５０を用いて、ディスプレイ２２０に文字等を手書きする（入力、描画ともいう）ことができる。

図５（ｂ）は壁につり下げられた縦長の電子黒板として使用される表示装置２を示している。

図５（ｃ）は机２３０に平置きされた表示装置２を示す。表示装置２は厚みが１ｃｍ程度なので、一般の机に平置きしても机の高さを調整する必要がない。また、容易に移動できる。

図５（ａ）～（ｃ）のどの態様で表示装置２が使用されているかは、表示装置２が内蔵するチルトセンサーで検出される。あるいは、ユーザーが設定してもよい。

＜ハードウェア構成例＞
＜＜電子ペンのハードウェア構成＞＞
図６は、電子ペン２５０のハードウェア構成図の一例である。図６に示されているように、電子ペン２５０は、ＣＰＵ(Central Processing Unit)１０１、ＲＯＭ(Read Only Memory)１０２、ＲＡＭ(Static Random Access Memory)１０３、ＳＳＤ（Solid State Drive）１０４、近距離通信装置１０５、加速度センサー１０６、ジャイロセンサー１０７、及びバッテリー１０８等を有している。

これらのうち、ＣＰＵ１０１は、電子ペン２５０全体の動作を制御する。本実施形態では電子ペン２５０の三次元座標を推定して表示装置２に送信する。ＲＯＭ１０３は、ＩＰＬ(Initial Program Loader)等のＣＰＵ１０１の駆動に用いられるプログラムを記憶する。ＲＡＭ１０２は、ＣＰＵ１０１のワークエリアとして使用される。ＳＳＤ１０４は、電子ペン２５０用のプログラム等の各種データを記憶する。

近距離通信装置１０５は、表示装置２と通信し、電子ペン２５０のペンＩＤ、三次元座標、各種スイッチの押下状態などを送信する。また、加速度センサー１０６とジャイロセンサー１０７の信号を表示装置２に送信してもよい。この場合、電子ペン２５０の三次元座標を表示装置２が推定できる。近距離通信装置１０５が使用する通信規格は例えばZigBee（登録商標）やBluetooth（登録商標）などで通信するが、表示装置２と通信できればよく通信規格は問われない。

加速度センサー１０６は、直交する３軸の加速度を所定のサンプリング周期で検出する。また、ジャイロセンサー１０７は直交する３軸の角速度を所定のサンプリング周期で検出する。バッテリー１０８は電子ペン２５０の電源である。

なお、電子ペン２５０の座標の入力方式には、電磁誘導方式、アクティブ静電結合方式などがある。また、電子ペン２５０は、筆圧検知、傾き検知、ホバー機能（電子ペンが触れる前にカーソルを表示）、などの機能を有していてよい。

＜＜表示装置のハードウェア構成＞＞
図７は、表示装置２のハードウェア構成図の一例である。図７に示されているように、表示装置２は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、及び、ＳＳＤ２０４を備えている。

これらのうち、ＣＰＵ２０１は、表示装置２全体の動作を制御する。ＲＯＭ２０２は、ＣＰＵ２０１やＩＰＬ等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。ＳＳＤ２０４は、表示装置２用のプログラム等の各種データを記憶する。

また、表示装置２は、ディスプレーコントローラー２１３、タッチセンサーコントローラー２１５、タッチセンサー２１６、チルトセンサー２１７、シリアルインタフェース２１８、スピーカー２１９、ディスプレイ２２０、マイク２２１、無線通信装置２２２、赤外線Ｉ／Ｆ２２３、電源制御回路２２４、ＡＣアダプター２２５、バッテリー２２６、及び、電源スイッチ２２７を備えている。

ディスプレーコントローラー２１３は、出力画像をディスプレイ２２０等へ出力するために画面表示の制御及び管理を行う。タッチセンサー２１６は、ディスプレイ２２０上に電子ペン２５０やユーザーの手等（電子ペン２５０やユーザーの手は入力手段となる）が接触したことを検知する。また、タッチセンサー２１６は電子ペン２５０と通信し、三次元座標やペンＩＤ等を受信する。

タッチセンサーコントローラー２１５は、タッチセンサー２１６の処理を制御する。タッチセンサー２１６は、座標の入力及び座標の検出を行う。この座標の入力及び座標を検出する方法は、例えば、光学式の場合、ディスプレイ２２０の上側両端部に設置された２つ受発光装置が、ディスプレイ２２０に平行して複数の赤外線を放射し、ディスプレイ２２０の周囲に設けられた反射部材によって反射されて、放射した光の光路と同一の光路上を戻って来る光を受光素子が受光する方法である。タッチセンサー２１６は、物体によって遮断された２つの受発光装置が放射した赤外線の位置情報をタッチセンサーコントローラー２１５に出力し、タッチセンサーコントローラー２１５が、物体の接触位置である座標位置を特定する。また、タッチセンサーコントローラー２１５は通信ユニット２１５ａを有しており、この通信ユニット２１５ａが電子ペン２５０と無線で通信してもよい。この場合、例えば、Bluetooth（登録商標）やZigBee（登録商標）などの通信規格で通信してよい。汎用的な通信規格で通信する場合、電子ペン２５０として市販されている電子ペンを使用することができる。また、表示装置２の出荷時に予め１つ以上の電子ペン２５０を通信ユニット２１５ａに登録しておくと、ユーザーは電子ペン２５０を表示装置２と通信させる接続設定を行わなくても通信できる。

チルトセンサー２１７は、表示装置２の傾き角度を検出するセンサーである。主に、表示装置２が図５（ａ）、図５（ｂ）、又は、図５（ｃ）のいずれかの設置状態で使用されているかを検出するために使用され、設置状態に応じて文字等の太さを自動で変更することができる。

シリアルインタフェース２１８はＵＳＢなどの外部との通信インタフェースである。外部からの情報の入力などに使用される。スピーカー２１９は音声の出力に使用され、マイク２２１は音声の入力に使用される。無線通信装置２２２は、ユーザーが携帯する端末と通信し、例えばインターネットへの接続を中継する。無線通信装置２２２はWi－FiやBluetooth（登録商標）などで通信するが、通信規格は問われない。無線通信装置２２２はアクセスポイントを形成しており、ユーザーが入手したＳＳＩＤ（Service Set Identifier）とパスワードをユーザーが携帯する端末に設定すると、アクセスポイントに接続できる。

なお、無線通信装置２２２には２つのアクセスポイントが用意されているとよい。
a. アクセスポイント→インターネット
b. アクセスポイント→社内ネットワーク→インターネット
ａのアクセスポイントは社外のユーザー用で、ユーザーは社内ネットワークにはアクセスできないが、インターネットを利用できる。ｂのアクセスポイントは社内のユーザー用で、ユーザーは社内ネットワーク及びインターネットを利用できる。

赤外線Ｉ／Ｆ２２３は隣に配置された表示装置２を検出する。赤外線の直進性を利用して、隣に配置された表示装置２のみを検出できる。赤外線Ｉ／Ｆ２２３は各辺に１つずつ設けられることが好ましく、表示装置２のどの方向に他の表示装置２が配置されたのかを検出できる。これにより画面が広がり、隣の表示装置２に過去に手書きされた手書き情報（１つのディスプレイ２２０の広さを１ページとして別のページの手書き情報）等を表示できる。

電源制御回路２２４は表示装置２の電源であるＡＣアダプター２２５とバッテリー２２６を制御する。ＡＣアダプター２２５は商用電源が共有する交流を直流に変換する。電源スイッチ２２７は、表示装置２の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。

ディスプレイ２２０がいわゆる電子ペーパーの場合、画像の表示を維持するためにほとんど又は一切電力を消費しないので、バッテリー２２６による駆動も可能である。これにより、屋外など電源を接続しにくい場所でもデジタルサイネージなどの用途で表示装置２を使用することが可能になる。

更に、表示装置２は、バスライン２１０を備えている。バスライン２１０は、図７に示されているＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

なお、タッチセンサー２１６は、光学式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。タッチセンサー２１６は、電子ペン２５０先のタッチの有無を検知するのに電子ペン２５０が必要ない方式であってよい。この場合はタッチ操作をするのに指先や電子ペン２５０型の棒を使用できる。ただし、三次元座標を算出して送信する機能は必要である。なお、電子ペン２５０は、細長い電子ペン２５０型である必要はない。

＜機能について＞
図８は、電子ペン２５０と表示装置２の機能をブロック状に示す機能ブロック図の一例である。まず、電子ペン２５０は、三次元座標推定部１１、データ送信部１２、データ処理部１３、加速度検出部１４、及び、角速度検出部１５を有している。電子ペン２５０が有するこれらの各機能は、図６に示したＳＳＤ１０４からＲＡＭ１０２に展開されたプログラムをＣＰＵ１０１が実行することにより実現されている機能又は手段である。

加速度検出部１４は、周期的に加速度センサー１０６から３軸の加速度を取得する。角速度検出部１５は周期的に角速度センサーから３軸の角速度を取得する。常にこれらが検出されることで、電子ペン２５０は電子ペン２５０の三次元座標をリアルタイムに推定できる。周期的にとは完全に定期的であることは必要なく、不定期でも繰り返し行われていると見なすことができればよい。以下の周期的という表現についても同様である。

データ処理部１３は、加速度検出部１４と角速度検出部１５に信号の要求を行い、加速度情報と角速度情報を取得する。データ処理部１３は周期的に取得した加速度を累積して後述するＡ_ｘ２軸、Ａ_ｙ２軸，Ａ_ｚ２軸方向の移動量を算出し、周期的に取得した角速度を累積してＡ_ｚ２軸，Ａ_ｙ２軸，Ａ_ｚ２軸の回りの回転角度を算出する。

三次元座標推定部１１はＡ_ｚ２，Ａ_ｙ２，Ａ_ｚ２軸方向の移動量とＡ_ｘ２軸，Ａ_ｙ２軸，Ａ_ｚ２軸の回りの回転角度を用いて電子ペン２５０の三次元座標を推定する。詳細は後述される。

データ送信部１２は、電子ペン２５０の三次元座標を表示装置２に送信する。電子ペン２５０から一方的に送信してもよいし、表示装置２からの要求に応じて送信してもよい。

表示装置２は、データ受信部２１、方向特定部２２、文字認識部２３、表示制御部２４、座標検出部２６、及び、表示部２７を有している。表示装置２が有する各機能は、図７に示されている各構成要素のいずれかが、ＳＳＤ２０４からＲＡＭ２０３上に展開されたプログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能又は手段である。

データ受信部２１は電子ペン２５０から周期的に三次元座標を受信する。なお、データ受信部２１は並行して複数の電子ペン２５０から三次元座標を受信でき、この場合は各電子ペン２５０からペンＩＤも共に受信することが好ましい。これにより、三次元座標を電子ペン２５０ごとに判別できる。

方向特定部２２は、座標検出部２６がタッチセンサー２１６から検出した、ペンアップした旨の信号を取得して、ペンアップした時の三次元座標を検出する。方向特定部２２は、ペンアップした時の三次元座標からＺ軸方向に所定量（閾値ｈ）、変化した三次元座標をデータ受信部２１から受け取ると、表示装置２に対するユーザーの方向を特定する。詳細は後述される。

文字認識部２３には座標検出部２６から座標点列が入力されている。座標点列とはディスプレイ２２０における電子ペン２５０の尖端の座標を時系列に取り込んだ情報である。また、座標点と座標点の間を表示制御部２４が補間して表示するため、座標点列は１本のストローク（自由曲線）として表示される。ペンダウンからペンアップまでが１つの座標点列である。手書きされる文字は１つ以上の手書きデータの集まりである。

複数の電子ペン２５０を識別するためには座標点列と共にペンＩＤが入力されるとよい。したがって、表示装置２は電子ペン２５０の三次元座標と対応付けているペンＩＤにより、座標点列を特定できる。ユーザーによって表示装置２に対するユーザーの方向が異なっても、電子ペン２５０の三次元座標で各ユーザーの方向が分かるので、各ユーザーが手書きした座標点列を表示装置２に対するユーザーの方向に応じて回転できる。

文字認識部２３は方向特定部２２から入力された表示装置２に対するユーザーの方向に応じて座標点列を回転させてから文字認識を行う。

表示制御部２４は座標点と座標点の間を補間して表示部２７に表示すると共に、文字認識後は手書きされた座標点列を消去して文字認識部２３から受け取った変換文字列をディスプレイ２２０に表示する。表示部２７はディスプレイ２２０により実現されている。座標点列のまま表示するか、文字認識後の変換文字列に置き換えて表示するか、又は、両方を表示するかを、ユーザーが選択できてよい。

また、表示装置２は、図７に示したＳＳＤ２０４やＲＡＭ２０３により実現される記憶部２５を有している。記憶部２５には、座標点列及び電子ペン２５０の三次元座標等が記憶される。

＜三次元座標を推定について＞
図９を用いて三次元座標の推定方法を説明する。図９（ａ）は、電子ペン２５０の軸方向を説明する図である。図９に示すように、電子ペン２５０の中心から下向きをＡ_ｚ１軸とし、Ａ_ｚ１軸と直交する軸をＡ_ｘ１軸，Ａ_ｙ１軸とした。座標系Ａ_ｘ１，Ａ_ｙ１，Ａ_ｚ１は電子ペン２５０と共に回転する。

データ処理部１３はＡ_ｘ１、Ａ_ｙ１，Ａ_ｚ１方向の加速度情報を２回積分することで電子ペン２５０の移動量を算出する。しかし、電子ペン２５０に取り付けられた加速度センサー１０６のＡ_ｚ１軸とディスプレイ２２０の平面が直交すると限らない。このため、重力加速度の方向をＡ_ｚ１軸が向くように、座標変換を行う。

図９（ｂ）は加速度センサー１０６の軸方向が重力加速度の方向を向くように回転する座標変換を説明する図である。図示するようにＡ_ｘ１軸、Ａ_ｙ１軸，Ａ_ｚ１軸をＡ_ｘ２軸、Ａ_ｙ２軸，Ａ_ｚ２軸に座標変換することで、電子ペン２５０の姿勢に関わらず電子ペン２５０の三次元座標（ｘ_ｐ、ｙ_ｐ、ｚ_ｐ）のうちｚ_ｐはディスプレイ２２０に垂直な方向の距離を表し、ｘ_ｐ、ｙ_ｐはディスプレイ２２０に平行な平面の座標を表す。

数１は、Ａ_ｘ１軸、Ａ_ｙ１軸，Ａ_ｚ１軸からＡ_ｘ２軸、Ａ_ｙ２軸，Ａ_ｚ２軸へ座標変換する回転行列を示す。θは基準方向を示す直線とユーザーの方向を示す直線とのなす角に相当する。θはＡ_ｚ１Ａ_ｙ１平面におけるＡ_ｚ１と重力加速度のなす角であり、φはＡ_ｚ１Ａ_ｘ１平面におけるＡ_ｚ１と重力加速度のなす角である。

なお、データ処理部１３はジャイロセンサー１０７から得た角速度情報を積分して角度情報を得ることができるので、電子ペン２５０の回転を打ち消す回転行列を加速度情報に適用するとよい。これにより、電子ペン２５０の傾きが変化しても座標変換した加速度情報を得ることができる。

＜表示装置に対するユーザーの方向の推定＞
図１０は、電子ペン２５０の三次元座標（ｘ_ｐ、ｙ_ｐ、ｚ_ｐ）に基づくユーザーの方向の推定方法を説明する図である。図１０においてＸ，Ｙ，Ｚ軸は表示装置２が有する三次元の座標系である。この三次元の座標系はどのように設定されてもよく、例えば、ディスプレイ２２０のコーナーなどを基準に設定されている。表示装置２の座標系における電子ペン２５０の三次元座標を（ｘ、ｙ、ｚ）で表す。

電子ペン２５０は表示装置２の座標系とは関係なく三次元座標（ｘ_ｐ、ｙ_ｐ、ｚ_ｐ）を算出するので、電子ペン２５０の三次元座標（ｘ_ｐ、ｙ_ｐ、ｚ_ｐ）を表示装置２の座標系における電子ペン２５０の三次元座標（ｘ、ｙ、ｚ）に変換する規則は存在しない。しかし、電子ペン２５０の座標のうちｘ_ｐ、ｙ_ｐは表示装置２の座標系のＸＹ平面の座標であり、電子ペン２５０の座標のうちｚ_ｐは表示装置２の座標系のＺ軸方向の座標である。また、表示装置２に対するユーザーの方向を特定するためには表示装置２から見た電子ペン２５０の三次元座標（ｘ、ｙ、ｚ）の絶対値は必要ない。

以上から本実施形態では
ｘ_ｐ→ｘ
ｙ_ｐ→ｙ
ｚ_ｐ→ｚ
として、電子ペン２５０の三次元座標（ｘ_ｐ、ｙ_ｐ、ｚ_ｐ）をそのまま表示装置２の座標系における電子ペン２５０の三次元座標を（ｘ、ｙ、ｚ）として表しても差し支えない。ｚｐについてはＡｚ軸とＺ軸の＋方向の違いを考慮して符号を反転してもよい。また、電子ペン２５０の三次元座標（ｘ_ｐ、ｙ_ｐ、ｚ_ｐ）を定数倍しても差し支えない。したがって、図１０に示すように、電子ペン２５０の三次元座標（ｘ_ｐ、ｙ_ｐ、ｚ_ｐ）をそのまま表示装置２の三次元座標に配置できる。

ペンアップ時の電子ペン２５０の三次元座標を（ｘ_ｐ０、ｙ_ｐ０、ｚ_ｐ０）、ペンアップ時のｚｐｏが閾値ｈ変化した時の電子ペン２５０の三次元座標を（ｘ_ｐ１、ｙ_ｐ１、ｚ_ｐ１）とする。これをディスプレイ２２０に平行なＸＹ平面に投影すると電子ペン２５０のＸ座標、Ｙ座標はそれぞれ（ｘ_０、ｙ_０）、（ｘ_１、ｙ_１）である。（ｘ_０、ｙ_０）から（ｘ_１、ｙ_１）へのベクトル３０１は、手書きされた文字を起点にユーザー（例えば利き腕）の方向を示すと考えられる。したがって、方向特定部２２はこのベクトル３０１の方向に基づいて表示装置２に対するユーザーの向きを推定できる。

図１１は、いくつかのベクトル３０１と表示装置２に対するユーザーの向きを示す図である。図１１ではＹ軸方向を基準方向としてベクトル３０１の角度を算出するが、基準方向はどの方向でもよい。しかし、文字認識部２３が文字認識を行う方向を基準方向にするとよい。図１１ではＹ軸の＋方向を天地方向（文字の下向き）にして文字認識するものとする。

図１１（ａ）と図１１（ｂ）は「Ａ」という１文字が手書きされている。図１１（ａ）の「Ａ」を書き終えてペンアップした時の電子ペン２５０の座標とユーザーが肘を曲げて電子ペン２５０の高さをｈ変化させた時の電子ペン２５０の座標の差に基づくベクトル３０１の角度Ｄは０度である。図１１（ｂ）の「Ａ」を書き終えてペンアップした時の電子ペン２５０の座標とユーザーが肘を曲げて電子ペン２５０の高さをｈ変化させた時の電子ペン２５０の座標の差に基づくベクトル３０１の角度Ｄは１００度である。

Ｙ軸方向を基準方向とするベクトル３０１の角度Ｄは以下により算出できる。
Ｄ＝arctan{(x₁－x₀)/(y₁－y₀）｝
文字の認識処理の単位で角度Ｄを算出する必要があるため、図１１（ｃ）に示すように文字列に対して角度Ｄが決定される場合がある。この場合も同様に角度Ｄを算出できる。

角度Ｄが文字認識部２３に通知されると、文字認識部２３は文字の認識処理の単位の座標点列を角度Ｄだけ時計回りに回転させる。このように表示装置２に対するユーザーの方向の角度だけ座標点列を回転させてから文字認識することで、文字を正しく認識できる。

＜動作手順＞
図１２，図１３を用いて電子ペン２５０と表示装置２が行う処理を説明する。まず、電子ペン２５０の処理について説明する。図１２は電子ペン２５０が行う処理の手順を示すフローチャート図の一例である。

まず、データ処理部１３はペンダウンしたか否かを判断する（Ｓ１）。これは、ペンダウンしていなければ文字認識も必要なく電子ペン２５０の三次元座標の送信も不要だからである。これにより、バッテリー残量の低下を抑制できる。ただし、ペンダウンの有無に関係なく電子ペン２５０の三次元座標を送信してもよい。

ペンダウンの検知の方法としては電子ペン２５０先の圧力を圧力センサーで検出する方法がある。すなわち、一定以上の圧力を検知した場合にデータ処理部１３はペンダウンを検知する。

ペンダウンが検知された場合（Ｓ１のＹｅｓ）、三次元座標推定部１１は電子ペン２５０の三次元座標（ｘ_ｐ、ｙ_ｐ、ｚ_ｐ）を推定する（Ｓ２）。

データ送信部１２は電子ペン２５０の三次元座標（ｘ_ｐ、ｙ_ｐ、ｚ_ｐ）を表示装置２に送信する（Ｓ３）。少なくともペンダウン中とペンアップから一定時間、三次元座標が繰り返し送信される。

データ処理部１３は常にペンアップの有無を検知しており（Ｓ４）、ペンアップを検知した場合は一定時間以上、ペンダウンがないかどうかを判断する（Ｓ５）。一定時間以上、ペンダウンがない場合、認識できる１文字以上をユーザーが手書きし終わったと判断してよい。

しかし、ユーザーがペンアップしてから電子ペン２５０の高さをｈ変化させるまでは三次元座標の送信を継続すべきなので、三次元座標推定部１１は引き続き三次元座標を推定し、データ送信部１２は、一定時間、三次元座標を送信してから三次元座標の送信を停止する（Ｓ６）。この一定時間は、ペンアップしたユーザーが肘を曲げるまでの時間を想定して決定されている。なお、一定時間が経過しなくても、電子ペン２５０の高さが閾値ｈ以上変化した場合には三次元座標の送信を停止してもよい。

次に、表示装置２の処理について説明する。図１３は、表示装置２が行う処理の手順を示すフローチャート図の一例である。

まず、文字認識部２３はペンダウンを検知したか否かを判断する（Ｓ１１）。表示装置２の場合は、物体によって赤外線が遮断され座標検出部２６が座標を検出した場合（タッチセンサー２１６が電子ペン２５０を検出した場合）にペンダウンを検知する。

ペンダウンを検知した場合（Ｓ１１のＹｅｓ）、文字認識部２３は座標点列を取得する（Ｓ１２）。座標点列はペンＩＤに対応付けて記憶部２５に記憶される。

また、ペンダウン後は電子ペン２５０が三次元座標を繰り返し送信するので、データ受信部２１が三次元座標を受信する（Ｓ１３）。データ受信部２１は三次元座標をペンＩＤに対応付けて記憶部２５に記憶しておく。

方向特定部２２はペンアップを検知したか否かを判断する（Ｓ１４）。ペンアップも同様に、物体によって赤外線が遮断されなくなり座標検出部２６が座標を検出しない場合（タッチセンサー２１６で電子ペン２５０を検出しない場合）にペンアップを検知する。

ペンアップが検知されない場合（Ｓ１４のＮｏ）、ステップＳ１２，Ｓ１３が繰り返し実行される。

ペンアップが検知された場合（Ｓ１４のＹｅｓ）、方向特定部２２はペンアップ時の三次元座標をペンＩＤに対応付けて記憶部２５に記憶しておく（Ｓ１５）。

データ受信部２１はペンアップ後も三次元座標を受信するので（Ｓ１６）、方向特定部２２は三次元座標に基づいて閾値ｈ以上又は閾値ｈを超過して、電子ペン２５０のＺ座標が変化したか否かを判断する（Ｓ１７）。Ｚ座標が閾値ｈ以上、変化しない場合（Ｓ１７のＮｏ）、データ受信部２１は三次元座標の受信を継続する（Ｓ１６）。

Ｚ座標が閾値ｈ以上、変化した場合（Ｓ１７のＹｅｓ）、方向特定部２２はＺ座標が閾値ｈ以上、変化した時の三次元座標をペンＩＤに対応付けて記憶部２５に記憶する（Ｓ１８）。すでに電子ペン２５０のＺ座標が閾値ｈ以上、変化しているので、この時点で表示装置に対するユーザーの方向を推定してもよい。

次に、方向特定部２２は一定時間以上、ペンダウンがないかどうかを判断する（Ｓ１９）。一定時間が経過するまで、待機する。一定時間が経過するまえにペンダウンがあった場合は（ユーザーが再度手書きを始めた）、ステップＳ１１からの処理を実行する。この場合、記憶部２５に記憶されている、ペンアップ時の三次元座標とＺ座標が閾値ｈ以上、変化した時の三次元座標は破棄してもよいし、蓄積しておき、角度Ｄの平均の算出に使用してもよい。

一定時間が経過すると、方向特定部２２は、ペンアップ時の三次元座標とＺ座標が閾値ｈ以上、変化した時の三次元座標の差を表すベクトル３０１に基づいて、表示装置２に対するユーザーの角度Ｄを算出する（Ｓ２０）。

文字認識部２３は座標点列を角度Ｄだけ時計回りに回転させ、座標点列に対し文字認識を行う（Ｓ２１）。

なお、本実施形態では電子ペン２５０が電子ペン２５０の三次元座標を推定しているが、表示装置２が三次元座標を算出してもよい。この場合、電子ペン２５０は加速度情報と角速度情報を表示装置２に送信する。表示装置２は電子ペン２５０と同様に三次元座標を推定できる。

＜まとめ＞
以上説明したように、本実施形態の表示装置２は、電子ペン２５０が有する加速度センサー１０６やジャイロセンサー１０７により推定した三次元座標の変化により表示装置２に対するユーザーの方向を特定するので、ユーザーが１文字だけ手書きした場合でも、表示装置２に対するユーザーの方向を特定できる。また、ユーザーが文字を書く方向に前提がなくても、表示装置２に対するユーザーの方向を特定できる。

以下の実施例では表示装置２の別の構成例について説明する。

＜＜表示装置の構成の別の例１＞＞
本実施形態の表示装置２は大型のタッチパネルを有するものとして説明されているが、表示装置２はタッチパネルを有するものに限られない。

図１４は、表示装置２の他の構成例を示す図である。図１４では、通常のホワイトボード４１３の上辺にプロジェクター４１１が設置されている。このプロジェクター４１１が表示装置２に相当する。通常のホワイトボード４１３とは、タッチパネルと一体のフラットパネルディスプレーではなく、ユーザーがマーカーで直接、手書きするホワイトボードである。なお、ホワイトボードは黒板でもよく、映像を投影するだけの広さの平面であればよい。

プロジェクター４１１は超短焦点の光学系を有しており、１０ｃｍ程度から歪みの少ない映像をホワイトボード４１３に投影できる。この映像は、無線又は有線で接続されたＰＣ４００－１から送信されてもよいし、プロジェクター４１１が記憶していてもよい。

ユーザーは専用の電子ペン２５０１を使ってホワイトボード４１３に手書きする。電子ペン２５０１は、ユーザーが手書きのためにホワイトボード４１３に押しつけるとスイッチがＯＮになり発光する発光部を例えば先端部に有している。光の波長は近赤外や赤外なのでユーザーの目には見えない。プロジェクター４１１はカメラを有しており、発光部を撮像して画像を解析し電子ペン２５０１の方向を特定する。また、電子ペン２５０１は発光と共に音波を発信しており、プロジェクター４１１は音波の到達時間により距離を算出する。方向と距離により電子ペン２５０１の位置を特定できる。電子ペン２５０１の位置には手書きされたデータが描画（投影）される。

プロジェクター４１１はメニュー４３０を投影するので、ユーザーが電子ペン２５０１でボタンを押下すると、プロジェクター４１１が電子ペン２５０１の位置とスイッチのＯＮ信号により押下されたボタンを特定する。例えば、保存ボタン４３１が押下されると、ユーザーが手書きした手書きされたデータ（座標点列）がプロジェクター４１１で保存される。プロジェクター４１１は、予め定められたサーバー４１２又はＵＳＢメモリー２６００等に手書き情報を保存する。手書き情報はページごとに保存されている。画像データではなく座標のまま保存されるので、ユーザーが再編集することができる。ただし、本実施形態では操作コマンドを手書きで呼び出せるのでメニュー４３０は表示されなくてもよい。

＜＜表示装置の構成の別の例２＞＞
図１５は、表示装置２の他の構成例を示す図である。図１５の例では、表示装置２として、端末装置６００、画像投影装置７００Ａ、及び、ペン動作検出装置８１０を有する。

端末装置６００は、画像投影装置７００Ａ及びペン動作検出装置８１０と有線で接続されている。画像投影装置７００Ａは、端末装置６００により入力された画像データをスクリーン８００に投影させる。

ペン動作検出装置８１０は、電子ペン８２０と通信を行っており、スクリーン８００の近傍における電子ペン８２０の動作を検出する。具体的には、電子ペン８２０は、スクリーン８００上において、電子ペン８２０が示している点を示す座標情報を検出し（検出方法は図１４と同様でよい）、端末装置６００へ送信する。

端末装置６００は、ペン動作検出装置８１０から受信した座標情報に基づき、電子ペン８２０によって入力される手書きデータの画像データを生成し、画像投影装置７００Ａによって手書きデータの画像をスクリーン８００に描画させる。

また、端末装置６００は、画像投影装置７００Ａに投影させている背景画像と、電子ペン８２０によって入力された手書データの画像とを合成した重畳画像を示す重畳画像データを生成する。

＜＜表示装置の構成の別の例３＞＞
図１６は、表示装置２の構成例を示す図である。図１６の例では、表示装置２として、端末装置６００と、ディスプレイ８００Ａと、ペン動作検出装置８１０とを有する。

ペン動作検出装置８１０は、ディスプレイ８００Ａの近傍に配置され、ディスプレイ８００Ａ上に、電子ペン８２０Ａが示している点を示す座標情報を検出し（検出方法は図１４と同様でよい）、端末装置６００へ送信する。なお、図１６の例では、電子ペン８２０Ａは、端末装置６００によってＵＳＢコネクタを介して充電されても良い。

端末装置６００は、ペン動作検出装置８１０から受信した座標情報に基づき、電子ペン８２０Ａによって入力される手書データの画像の画像データを生成し、ディスプレイ８００Ａに表示させる。

＜＜表示装置の構成の別の例４＞＞
図１７は、表示装置２の構成例を示す図である。図１７の例では、表示装置２として、端末装置６００と、画像投影装置７００Ａとを有する。

端末装置６００は、電子ペン８２０Ｂと無線通信（Ｂｌｕｅｔｏｏｔｈ等）を行って、スクリーン８００上において電子ペン８２０Ｂが示す点の座標情報を受信する。座標情報は、スクリーン８００に形成された微小な位置情報を電子ペン８２０Ｂが読み取ってもよいし、スクリーン８００から座標情報を受信してもよい。

そして、端末装置６００は、受信した座標情報に基づき、電子ペン８２０Ｂにより入力される手書データの画像の画像データを生成し、画像投影装置７００Ａに手書データの画像を投影させる。

また、端末装置６００は、画像投影装置７００Ａに投影させている背景画像と、電子ペン８２０によって入力された手書データの画像とを合成した重畳画像を示す重畳画像データを生成する。

以上のように、上記した各実施形態は、様々なシステム構成において適用することができる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、本実施形態では表示装置２に対するユーザーの方向を文字認識に適用したが、絵の手書きに適用してもよい。ユーザーが手書きで絵を描いた場合に、これを清書するソフトウェアがあり、この場合もユーザーの方向が認識されていないと正しく絵を清書できない。したがって、本実施形態の表示装置２により絵の清書も正しく行える。

また、文字認識は必ずしも必要なく、手書データは手書きされたままでもよい。

また、表示装置２に対するユーザーの方向にカメラの画角を向けたり、広角カメラからユーザーの顔画像をトリミングしたりしてもよい。全天球カメラが普及しており、全天球カメラは画角が広い分、ユーザーが写っていない部分が多くなる。そこで、表示装置２に対するユーザーの方向を特定できた場合は、ユーザーの顔画像をトリミングして画像を圧縮するなどが可能になる。

また、本実施形態で説明した表示装置２が行う処理の一部をサーバーが行ってもよい。例えば、表示装置２に対するユーザーの方向をサーバーが特定したり、文字認識をサーバーが行ったりすることができる。

また、表示装置２は、通信機能を備えて手書きが可能な装置であればよい。表示装置２はＰＪ（Projector：プロジェクター）、ＩＷＢ（Interactive White Board：相互通信が可能な電子式の黒板機能を有する白板、電子ホワイトボード、電子黒板装置、電子情報ボード、手書き入力装置、タブレット端末）、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置等と呼ばれていてもよい。また、スマートフォンやタブレット端末（情報処理装置）がアプリケーションソフトを実行して表示装置２を実現してもよい。

また、図８などの構成例は、表示装置２による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。表示装置２の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。各データベース類は各装置内にある必要はなく通信ネットワークにおいてアクセス可能な場所にあればよい。

また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

２ 表示装置
２１ データ受信部
２２ 方向特定部
２３ 文字認識部
２４ 表示制御部
１０５ 近距離通信装置
１０６ 加速度センサー
１０７ ジャイロセンサー

特開2014－149612号公報

Claims (8)

1. 三次元座標を推定する電子ペンを用いて手書きされたデータをディスプレイに表示する表示装置であって、
   前記電子ペンがディスプレイから離れる前記データの入力の終了時における前記電子ペンの、平置きされた表示装置の前記ディスプレイの面に平行な平面における座標から、
   前記ディスプレイに対する前記電子ペンの高さが閾値以上又は超過になった場合における前記電子ペンの前記ディスプレイに平行な平面における座標へのベクトル、に基づいて、
   前記電子ペンで手書きしている文字の向きを特定する方向特定部、
   を有することを特徴とする表示装置。
2. 前記方向特定部は、基準方向を示す前記平面内の直線とユーザーの方向を示す前記平面内の直線とのなす角を特定し、
   前記なす角で前記データを回転させてから前記データに対し文字認識を行う文字認識部を有することを特徴とする請求項１に記載の表示装置。
3. 前記電子ペンから前記電子ペンの三次元座標を受信するデータ受信部を有し、
   前記方向特定部は、前記データ受信部が受信した前記電子ペンの三次元座標を前記ディスプレイに平行な平面に投影して、前記電子ペンの前記ディスプレイに平行な平面における座標を決定することを特徴とする請求項１又は２に記載の表示装置。
4. 前記方向特定部は、前記ディスプレイに対する前記電子ペンの高さが閾値以上又は超過になった場合であって、更に、一定時間以上、前記データの入力が検知されない場合に、
   前記データの入力の終了時における前記電子ペンの前記ディスプレイに平行な平面における座標から、前記ディスプレイに対する前記電子ペンの高さが閾値以上又は超過になった場合における前記電子ペンの前記ディスプレイに平行な平面における座標へのベクトルに基づいて、 前記電子ペンで手書きしているユーザーの前記表示装置に対する方向を特定することを特徴とする請求項１～３のいずれか１項に記載の表示装置。
5. 前記方向特定部は、前記データの入力の終了時における前記電子ペンの前記ディスプレイに平行な平面における座標と、前記ディスプレイに対する前記電子ペンの高さが閾値以上又は超過になった場合における前記電子ペンの前記ディスプレイに平行な平面における座標の差を表す前記ベクトルを求め、
   前記ベクトルが示す方向を、前記電子ペンで手書きしているユーザーの前記表示装置に対する方向として決定することを特徴とする請求項１～４のいずれか１項に記載の表示装置。
6. 前記データの入力の終了時とは前記電子ペンがディスプレイから離れた直後であることを特徴とする請求項１～５のいずれか１項に記載の表示装置。
7. 三次元座標を推定する電子ペンを用いて手書きされたデータをディスプレイに表示する表示装置が行う方向特定方法であって、
   前記電子ペンがディスプレイから離れる前記データの入力の終了時における前記電子ペンの、平置きされた表示装置の前記ディスプレイの面に平行な平面における座標から、前記ディスプレイに対する前記電子ペンの高さが閾値以上又は超過になった場合における前記電子ペンの前記ディスプレイに平行な平面における座標へのベクトルに基づいて、前記電子ペンで手書きしている文字の向きを特定する、
   ことを特徴とする方向特定方法。
8. 三次元座標を推定する電子ペンを用いて手書きされたデータをディスプレイに表示する情報処理装置を、
   前記電子ペンがディスプレイから離れる前記データの入力の終了時における前記電子ペンの、平置きされた表示装置の前記ディスプレイの面に平行な平面における座標から、
   前記ディスプレイに対する前記電子ペンの高さが閾値以上又は超過になった場合における前記電子ペンの前記ディスプレイに平行な平面における座標へのベクトル、に基づいて、前記電子ペンで手書きしている文字の向きを特定する方向特定部、として機能させるためのプログラム。

Images