JP5848946B2 - 入出力システム、入出力システムの制御方法、制御プログラム、および記録媒体 - Google Patents

Description

本発明は、入力された情報を外部の被制御装置に送出する入力装置等に関するものである。

タッチパネルを備えた表示画面を有する電子機器が広く普及するなか、ユーザが当該電子機器に手書き入力を行う機会が増えている。例えば、いわゆるスマートフォンをはじめとする情報端末や一部の家庭用ゲーム機においては、ユーザが指やスタイラスなどの指示具（以下、単に「指示具」と称する）で手書き操作を行うことにより、文字や図形などを入力する形態が一般的である。また、近年では、主に教育目的で使用可能な電子黒板が教育機関等に導入されつつある。

図１４に基づいて、ユーザが手書き操作で情報を入力可能な電子機器の例として、電子黒板について説明する。図１４は、一般的な電子黒板の使用例を表した模式図である。このように、発表者が資料を表示させてプレゼンテーションを行う場合などに、電子黒板は使用される。こうした電子黒板では、発表者はプレゼンテーションの最中に電子黒板に手書き操作を行うことにより、表示させた資料に対して文字等を書き加えることができる。

ここで、従来の電子黒板には、入力領域に対して指示具で手書きした軌跡がそのまま表示領域に表示されることにより、ユーザは直感的な手書き感覚を得ることができるという利点がある一方で、次のような問題がある。すなわち、例えば小さい文字等を書き加えたい場合に、ユーザは太すぎる筆記具で細かい文字等を書き込むような不便を感じることがある。反対に、大きな文字等を書き加えたい場合に、電子黒板のように物理的な入力領域が大きいほど手間がかかる。

この問題を解決するために、例えば下記の特許文献１には、すでに表示された手書き情報を縮小し、新たな手書き情報が入力可能な領域を確保できる手書き入力装置が記載されている。また、下記の特許文献２には、表示画面上の手書き表示範囲に情報を直接手書きするのではなく、手書き表示範囲より拡大された枠内に情報を手書きできる手書き入力装置が記載されている。さらに、下記の特許文献３には、手書き文字の入力時に、その入力領域の大きさをユーザが所望する大きさに設定変更できる手書き文字入力領域設定装置が記載されている。

特開２００９−１１６４７６号公報（平成２１年５月２８日公開） 特開平９−１２４１６４号公報（平成６年５月６日公開） 特開平５−１４３７７０号公報（平成５年６月１１日公開）

上記の特許文献に記載された従来技術は、いずれも入力領域と表示領域とを異ならせることにより、上記の問題を解決しようとするものである。すなわち、入力領域に対して指示具で手書きした軌跡をそのまま表示領域に表示するのではなく、当該手書きした軌跡に所定の変更を加えて、表示領域に表示するアプローチを採用している。

しかし、上記特許文献に記載された従来技術は、いずれも煩雑な操作を必要とする。すなわち、入力された文字等に所定の処理を加えて表示させるまでに、ユーザは数ステップを要する複雑な操作（アイコンモード切り替え、縮小率の設定、拡大操作など）を行う必要がある。また、必要となる操作は、所定のメニューを選択するなど「手書き操作」という利点を生かした直感的な操作ではない。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、簡単な手書き操作で外部の被制御装置にコマンドを送出するよう指示することを可能にすることにより、ユーザの利便性を向上させることができる入力装置、入力装置の制御方法、被制御装置、電子黒板システム、制御プログラム、および記録媒体を提供することである。

上記の課題を解決するために、本発明の入力装置は、
（１）ユーザによる手書き操作の軌跡を取得できる入力面を備え、前記軌跡に基づいて情報を入力可能であり、入力された当該情報を外部の被制御装置に送出する入力装置であって、
（２）コマンドと所定のパターンとが対応付けられて予め格納された記憶装置を参照し、前記軌跡と前記パターンとが一致するか否かを判定する照合手段と、
（３）前記照合手段によって前記軌跡と前記パターンとが一致しないと判定された場合は前記軌跡を送出し、一致すると判定された場合は一致した当該パターンに対応付けられた前記コマンドを送出する送出手段とを備えたことを特徴としている。

また、上記の課題を解決するために、本発明の入力装置の制御方法は、
（１）ユーザによる手書き操作の軌跡を取得できる入力面を備え、前記軌跡に基づいて情報を入力可能であり、入力された当該情報を外部の被制御装置に送出する入力装置の制御方法であって、
（２）コマンドと所定のパターンとが対応付けられて予め格納された記憶装置を参照し、前記軌跡と前記パターンとが一致するか否かを判定する照合ステップと、
（３）前記照合ステップにおいて前記軌跡と前記パターンとが一致しないと判定された場合は前記手書き操作の軌跡を送出し、一致すると判定された場合は一致した当該パターンに対応付けられた前記コマンドを送出する送出ステップとを含むことを特徴としている。

上記の構成によれば、本発明の入力装置および当該入力装置の制御方法は、ユーザによる手書き操作で入力された軌跡と、予め与えられたパターンとが一致するか否かを判定できる。そして、一致すると判定する場合は、当該パターンと対応付けられた所定のコマンドを被制御装置に送出し、一致しないと判定する場合は、当該軌跡を手書き情報として被制御装置に送出する。

すなわち、前述したように、従来は所定の処理（例えば、入力された文字等に所定の変更を加えて表示させる等）を被制御装置に行わせるために、ユーザは数ステップを要する複雑な操作が必要であった。これに対して、本発明の入力装置等によれば、ユーザが手書き操作で文字入力を行っている途中であっても、被制御装置に所定の処理を行わせるコマンドを、ユーザは簡単な手書き操作で入力できる。これにより、ユーザの利便性を向上させることが可能となる。

また、本発明の入力装置は、
（１）前記照合手段によって前記軌跡と前記パターンとが一致すると判定された場合、前記軌跡の特徴量を抽出する抽出手段をさらに備え、
（２）前記送出手段は、前記抽出手段によって抽出された特徴量をさらに前記被制御装置に送出することを特徴としている。

上記の構成によれば、本発明の入力装置は、ユーザによる手書き操作で入力された軌跡の特徴量を抽出し、上記コマンドとともに被制御装置に送出する。すなわち、ユーザは、軌跡の特徴量として上記コマンドにパラメータを付与し、被制御装置に送出できる。

ここで、被制御装置が手書き情報に所定の変更を加える上記の例を考える。上記の特許文献に記載された従来技術は、いずれも入力した文字等をユーザが所望の形態で表示させることを可能にするものではない。これに対して、本発明の入力装置は、手書き文字等を表示させる位置、サイズ、回転角度などを、簡単な手書き操作によって指示できる。

これにより、本発明の入力装置は、例えばユーザが自身で入力した手書き情報を所望する形態で表示させることができるなど、ユーザの利便性を向上させることができる。

また、本発明の入力装置では、
（１）前記照合手段は、ユーザが前記手書き操作を開始した前記入力面における開始位置とユーザが前記手書き操作を終了した前記入力面における終了位置とが略同一であって、前記開始位置から前記開始位置とは異なる折り返し位置を経由して前記終了位置までを略直線で往復する操作により描かれる軌跡が入力された場合、前記パターンと一致すると判定することを特徴としている。

上記の構成によれば、ユーザが本発明の入力装置にコマンドを送出させるためには、入力面上で往復操作を行うだけでよい。したがって、ユーザは、直感的で簡単な操作により被制御装置にコマンドを送出できる。

また、本発明の入力装置では、
（１）前記抽出手段は、前記開始位置、前記終了位置、または前記折り返し位置のうち少なくとも１つを前記特徴量の１つとして抽出することを特徴としている。

上記の構成によれば、本発明の入力装置は、往復操作の開始位置、終了位置、または折り返し位置のうち少なくとも１つを特徴量の１つとして抽出し、これをコマンドとともに被制御装置へ送出する。したがって、被制御装置は、例えばユーザから入力された往復操作の開始位置等に入力情報を表示させることができる。

また、本発明の入力装置では、
（１）前記抽出手段は、前記開始位置または前記終了位置から、前記折り返し位置までの距離を特徴量の１つとして抽出することを特徴としている。

上記の構成によれば、本発明の入力装置は、往復操作の開始位置または終了位置から、折り返し位置までの距離を特徴量の１つとして抽出し、これをコマンドとともに被制御装置へ送出する。したがって、被制御装置は、例えばユーザから入力された往復操作の往復距離に応じて入力情報を拡縮して表示させることができる。

また、本発明の入力装置では、
（１）前記抽出手段は、前記入力面に設定された所定の基準線に対して、前記開始位置または前記終了位置と、前記折り返し位置とを結ぶ直線がなす角を特徴量の１つとして抽出することを特徴としている。

上記の構成によれば、本発明の入力装置は、往復操作の傾き（角度）を特徴量の１つとして抽出し、これをコマンドとともに被制御装置へ送出する。したがって、被制御装置は、例えばユーザから入力された往復操作の傾きに応じて入力情報を回転して表示させることができる。

また、本発明の被制御装置は、
（１）上記入力装置から送出された前記コマンドを実行する実行手段を備えたことを特徴としている。

上記の構成によれば、本発明の被制御装置は、上記入力装置から送出されたコマンドを受信し、当該コマンドに規定される所定の処理を実行する。したがって、当該コマンドにおいて、例えば手書き情報に所定の変更を加えることが規定されている場合であれば、上記入力装置から送出された手書き情報にユーザの意図する変更を加えることができる。

また、本発明の被制御装置は、
（１）前記入力装置から送出された軌跡を出力する出力手段を備えたことを特徴としている。

上記の構成によれば、本発明の被制御装置は、上記入力装置から送出された軌跡を受信し、当該軌跡を出力する。したがって、ユーザは、上記入力装置を介して入力した情報を、被制御装置からの出力として得ることができる。

また、本発明の被制御装置では、
（１）前記コマンドは、前記軌跡に対して変更を適用することを指示するコマンドであり、
（２）前記実行手段は、特徴量が前記コマンドとともに前記入力装置から送出された場合、当該特徴量に応じて前記変更を適用することを特徴としている。

上記の構成によれば、本発明の被制御装置は、上記入力装置から送出された軌跡の特徴量に応じて軌跡に変更を加える。これにより、ユーザは自身が入力した手書き情報を所望する形態で表示させることができる。

また、本発明の電子黒板システムは、
（１）上記入力装置と、
（２）上記被制御装置とを含むことを特徴としている。

上記の構成によれば、ユーザは自身が入力した手書き情報を所望する形態で表示させることができる。

なお、前記入力装置および前記被制御装置は、コンピュータによって実現してもよい。この場合には、コンピュータを前記入力装置および前記被制御装置の各手段として動作させることにより、前記入力装置および前記被制御装置をコンピュータで実現させる制御プログラム、およびこれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。

以上のように、本発明の入力装置は、コマンドと所定のパターンとが対応付けられて予め格納された記憶装置を参照し、前記軌跡と前記パターンとが一致するか否かを判定する照合手段と、前記照合手段によって前記軌跡と前記パターンとが一致しないと判定された場合は前記軌跡を手書き情報として送出し、一致すると判定された場合は一致した当該パターンに対応付けられた前記コマンドを送出する送出手段とを備えた構成である。

また、本発明の入力装置の制御方法は、コマンドと所定のパターンとが対応付けられて予め格納された記憶装置を参照し、前記軌跡と前記パターンとが一致するか否かを判定する照合ステップと、前記照合ステップにおいて前記軌跡と前記パターンとが一致しないと判定された場合は前記手書き操作の軌跡を手書き情報として送出し、一致すると判定された場合は一致した当該パターンに対応付けられた前記コマンドを送出する送出ステップとを含む構成である。

したがって、ユーザが手書き操作で文字入力を行っている途中であっても、被制御装置に所定の処理を行わせるコマンドを、ユーザは簡単な手書き操作で入力できる。これにより、ユーザの利便性を向上させることが可能となるという効果を奏する。

本発明の一実施形態に係る入力装置および表示装置を内蔵した電子黒板の一部構成を示すブロック図である。 上記入力装置の入力面に対して行う手書き操作の例と、上記表示装置が表示部に表示する手書き文字の例を示した模式図であり、（ａ）は手書き操作と当該操作によって描かれる軌跡の例、（ｂ）は手書き文字の例を示している。 上記入力装置の入力面に対して行うジェスチャーの例を示した模式図である。 ユーザが文字入力操作によって入力する、手書き文字の例を示した模式図である。 図３に示した上記ジェスチャーに応じて、図４に示した上記手書き文字が変更手書き文字に変更される例を示した模式図である。 上記入力装置の入力面に対して行うジェスチャーの例を示した模式図である。 図６に示した上記ジェスチャーに応じて、図４に示した上記手書き文字が変更手書き文字に変更される例を示した模式図である。 上記入力装置の入力面に対して行うジェスチャーの例を示した模式図である。 図８に示した上記ジェスチャーに応じて、図４に示した上記手書き文字が変更手書き文字に変更される例を示した模式図である。 上記入力装置がジェスチャーとして認識するパターンを例示した模式図であり、（ａ）は手書き文字の表示形態を表示領域の対角線で指定するジェスチャーの例、（ｂ）は上記表示装置にアプリケーションを終了させる処理を実行させるコマンドに対応付けられたジェスチャーの例、（ｃ）は往復操作を２回繰り返すジェスチャーの例を示す。 開始位置、終了位置、および折り返し位置と手書き文字の表示位置との関係を示した模式図であり、（ａ）は折り返し位置が、開始位置および終了位置より右に位置する場合、（ｂ）は折り返し位置が、開始位置および終了位置より左に位置する場合を示す。 ジェスチャーの一例である往復操作において、開始位置または終了位置と、折り返し位置とを曲線で結ぶ往復操作の軌跡と、これにより表示される変更手書き文字の一例を示す模式図である。 上記入力装置および上記表示装置が実行する処理の一例を示すフローチャートである。 従来の一般的な電子黒板の使用例を表した模式図である。

以下、本発明の実施の形態について、図１〜図１３に基づいて詳細に説明する。

なお、入力装置１１および表示装置１２が扱う情報の関連性を明示するために、関連する情報には同一の符号にａ、ｂ、またはｃを付し、それぞれ異なる部材名を用いることがある。すなわち、手書き操作３は、文字入力操作３ａとジェスチャー３ｂとを含む。入力情報４は、手書き文字４ａ、コマンド４ｂ、および変更手書き文字４ｃを含む。特徴量５は、距離５ａ、角度（なす角）５ｂ、位置（開始位置または終了位置）５ｃを含む。

さらに、手書き操作３の位置に関して、手書き操作３を開始する位置を開始位置８ａ、終了する位置を終了位置８ｂ、および折り返す位置を折り返し位置８ｃという。角度５ｂを形成する線に関して、水平線（入力面に設定された所定の基準線）９ａおよび斜め線（開始位置と折り返し位置とを結ぶ直線）９ｂという。

〔入力装置１１、表示装置１２、および電子黒板１００の概要〕
図１に基づいて、本実施の形態に係る入力装置１１および表示装置１２を備えた電子黒板１００の概要について説明する。図１は、電子黒板１００の一部構成を示すブロック図である。

入力装置１１は、ユーザの手書き操作３による入力を受け付ける入力面を備え、当該入力面から入力された入力情報４を表示装置１２に送出可能な装置である。ここで、ユーザが指やスタイラスなどの指示具（以下、単に「指示具」と称する）を入力面に接触させて手書き操作３を行うため、入力装置１１は指示具の接触位置の当該入力面上における２次元の座標情報６を取得できるものとする。

表示装置（被制御装置）１２は、入力装置１１から送出された入力情報４（手書き文字４ａ、コマンド４ｂ）と特徴量５とを受信し、所定の処理を施して表示部７０に手書き文字４ａまたは変更手書き文字４ｃを表示する装置である。所定の処理とは、後述するように、入力装置１１から受信したコマンド４ｂにしたがって、手書き文字４ａに特徴量５に応じた変更を加える処理をいう。なお、コマンド４ｂの詳細については、後で説明する。

電子黒板（電子黒板システム）１００は、上記の入力装置１１と表示装置１２とを含む入出力システムである。例えば、ユーザは、表示装置１２に資料を表示させてプレゼンテーションを行うことができる。また、ユーザは、手書き操作３により入力装置１１に入力情報４を与えることで、表示している当該資料に対して文字や図形等を書き加えることができる。

図２に基づいて、入力装置１１および表示装置１２の動作の概要について説明する。図２は、入力装置１１の入力面に対して行う手書き操作３の例と、表示装置１２が表示部７０に表示する手書き文字４ａの例を示した模式図であり、（ａ）は手書き操作３と当該操作によって描かれる軌跡１の例、（ｂ）は手書き文字４ａの例を示している。なお、軌跡１の集合として表現される文字を、手書き文字４ａと称している。説明の便宜のために文字に限定するが、手書き操作３で入力される軌跡１の集合は任意の図形であってよい。

図２（ａ）に示すように、ユーザが入力装置１１の入力面に指示具（同図では指）を接触させたまま手書き操作３を行うと、手書き操作３の開始位置８ａ（ユーザが入力面に指示具を接触させた位置）から終了位置８ｂ（入力面から指示具を離した位置）までの指示具の軌跡１が、入力装置１１に入力情報４として入力される。なお、同図では、開始位置８ａを白丸で、終了位置８ｂを黒丸で表現しているが、これは開始位置８ａおよび終了位置８ｂを明示するためであり、実際にこれらが丸印として表示されるわけではない。後述する折り返し位置８ｃについても同様である。

図２（ｂ）に示すように、ユーザは手書き操作３を繰り返すことにより、手書き文字４ａを入力装置１１に入力できる。なお、手書き操作３のうち、手書き文字４ａを入力する操作を、特に「文字入力操作３ａ」と称する。そして、本実施の形態における入力装置１１は、手書き文字４ａを表示装置１２に送出する。これにより、表示装置１２が備える表示部７０に、手書き文字４ａが表示される。

図３〜図９に基づいて、入力装置１１および表示装置１２の動作の概要についてさらに説明する。図３、図６、図８は、いずれも入力装置１１の入力面に対して行うジェスチャー３ｂの例を示した模式図である。また、図４は、ユーザが文字入力操作３ａによって入力する、手書き文字４ａの例を示した模式図である。さらに、図５、図７、図９は、それぞれ図３、図６、図８に示したジェスチャー３ｂに応じて、図４に示した手書き文字４ａが、変更手書き文字４ｃに変更される例を示した模式図である。

図３、図６、図８に示すように、入力装置１１は、ユーザにより入力されたジェスチャー３ｂを認識する。ここで、ジェスチャー３ｂとは、例えば同図に示されるような往復操作、すなわち開始位置８ａと終了位置８ｂとが略同一であって、開始位置８ａから開始位置８ａとは異なる折り返し位置８ｃを経由し、終了位置８ｂまでを略直線で往復する操作をいう。

入力装置１１は、軌跡１と所定のパターン２とを照合し、これらが互いに一致するか否かを判定する。ここで、照合するパターン２は複数であってもよい。その場合、入力装置１１は、すべてのパターンに対して順番に照合を試みる。本実施の形態では、パターン２は、ユーザが往復操作をした場合に描かれる軌跡のパターンであるとする。ここで、パターン２は、文字入力操作３ａとジェスチャー３ｂとを混同しない程度に誤差を許容するように定義されているため、軌跡１とパターン２とは厳密に同一でなくともよい。

軌跡１とパターン２とが一致しないと判定する場合、入力装置１１は、軌跡１を手書き文字４ａとして、その他の処理を経ることなく表示装置１２に送出する。一方、一致すると判定する場合、入力装置１１は、軌跡１の特徴量５を抽出する。そして、入力装置１１は、一致したパターン２に対応付けられたコマンド４ｂと特徴量５とを表示装置１２に送出する。

ここで、特徴量５とは、図３、図６、図８に示すように、例えば往復操作であるジェスチャー３ｂの、開始位置８ａ、終了位置８ｂ、または折り返し位置８ｃであり、あるいは開始位置８ａまたは終了位置８ｂから、折り返し位置８ｃまでの距離５ａである。または、図８に示すように、例えば水平線９ａと斜め線９ｂとが作る角度５ｂである。

図４に示すように、入力装置１１は、特徴量５を抽出した後で、ユーザから文字入力操作３ａを受け付ける。そして、入力装置１１は、特徴量５に応じて当該文字入力操作によって入力された手書き文字４ａに変更を加え、変更手書き文字４ｃを表示装置１２に表示させる。

例えば、図５、図７、図９に例示するように、表示装置１２の表示部７０において、ジェスチャー３ｂの開始位置８ａまたは終了位置８ｂに対応する位置に手書き文字４ａを表示する。または、同図に例示するように、ジェスチャー３ｂの距離５ａに応じて、手書き文字４ａを文字の高さおよび幅について拡縮して表示する。または、図９に例示するように、ジェスチャー３ｂの角度５ｂに応じて、手書き文字４ａを回転させて表示する。

以上、図２〜５を参照して説明した概要をまとめる。入力装置１１は、ユーザから受け付けた手書き操作３が文字入力操作３ａに該当する場合は、軌跡１を手書き文字４ａとして表示装置１２に送出し、ジェスチャー３ｂに該当する場合は、コマンド４ｂと特徴量５とを表示装置１２に送出する。

表示装置１２は、入力装置１１から手書き文字４ａが送出された場合は、当該手書き文字を表示部７０に表示させ、入力装置１１からコマンド４ｂと特徴量５とが送出された場合は、続いて送出される手書き文字４ａに対して、コマンド４ｂおよび特徴量５に応じて変更を加えた変更手書き文字４ｃを表示部７０に表示させる。

これにより、ユーザは、ジェスチャー３ｂによりパターン２と同じ軌跡１を与えることで、表示装置１２にコマンド４ｂを与えることができる。具体的には、例えば当該コマンドが手書き文字４ａに所定の変更を加えることを指示するものであれば、入力装置１１は表示装置１２に当該変更の処理を行わせることができる。

ここで、当該コマンドを与えるためのジェスチャー３ｂは、入力面上で往復操作を行うだけでよい。すなわち、前述した従来技術のように、手書き文字４ａに変更を加えるにあたり、数ステップを要する複雑な操作を必要としない。これにより、ユーザは簡単で直感的な操作を行うだけで、入力装置１１に手書き文字４ａを所望する形態で表示させることができるため、ユーザの利便性を向上させることができる。

また、当該変更を加えるためのユーザインターフェース（User Interface；ＵＩ）も必要とならないため、ＵＩを開発するためのコストも削減できる。

〔電子黒板１００の構成〕
図１に基づいて、本実施の形態に係る入力装置１１および表示装置１２を備えた電子黒板１００の各構成の詳細について説明する。図示のように、電子黒板１００は、入力装置１１、表示装置１２、および記憶装置３０を含む。

入力装置１１は、入力部（軌跡を入力できる入力面）４０、入力制御部５０、照合部（照合手段）１５、抽出部（抽出手段）１７、および送出部（送出手段）１６を含む。表示装置１２は、変更適用部（実行手段）１８、表示制御部（出力手段）６０、および表示部（出力手段）７０を含む。また、上記抽出部１７は、距離抽出部１７１、角度抽出部１７２、および位置抽出部１７３を含む。上記変更適用部１８は、拡縮部１８１、回転部１８２、および位置調整部１８３を含む。

なお、本実施の形態に直接関係のない部分（例えば、外部機器との接続やプリンター機能などを実現する部分）は、記載の簡潔性を担保する観点から、構成の説明およびブロック図から省略した。ただし、実施の実情に則して、本実施の形態に係る電子黒板１００は当該省略した構成を含んでもよい。

以下、入力装置１１（入力部４０、入力制御部５０、照合部１５、抽出部１７、送出部１６）、表示装置１２（変更適用部１８、表示制御部６０、表示部７０）、記憶装置３０の順序で各構成が担う機能を説明する。

（入力装置１１）
入力装置１１は、ユーザによる手書き操作で軌跡を入力できる入力面（入力部４０）から情報を入力可能であり、入力された当該情報を表示装置１２に送出する装置である。

入力部４０は、ユーザによる手書き操作３を受け付ける。本実施の形態では主にタッチパネルを想定している。ただし、ユーザによる手書き操作３で表示装置１２に対して情報の入力が可能な入力面を備えてさえいれば（すなわち、当該入力面は入力部４０に含まれる）、ハードウェアの種類は限定されない。入力部４０は、その入力面に接触した指示具の当該入力面上における２次元の座標情報６を、入力制御部５０に出力する。

入力制御部５０は、入力部４０の入力面に対するユーザからの手書き操作３の軌跡１を検出する。例えば、入力部４０から座標情報６を所定の時間間隔で取得し、その一連の座標データを軌跡１として照合部１５へ出力する。

照合部１５は、軌跡１とパターン２とが同一であるか否かを判定する。記憶装置３０には、表示装置１２に対するコマンド４ｂと所定のパターン２とが対応付けられて予め格納されている。照合部１５は、入力制御部５０から入力された手書き操作３による軌跡１と、記憶装置３０から読み出したパターン２とが一致するか否かを照合する。

軌跡１とパターン２とが一致しない（当該軌跡が文字入力操作３ａによる手書き文字４ａである）と判定した場合、照合部１５は、手書き文字４ａを送出部１６へ出力する。

一方、軌跡１とパターン２とが一致する（当該軌跡がジェスチャー３ｂによるコマンド４ｂの入力操作である）と判定した場合、照合部１５は、パターン２に対応付けられたコマンド４ｂおよび軌跡１を、それぞれ送出部１６および抽出部１７へ出力する。

この場合、照合部１５は、入力制御部５０から続けて入力された軌跡１を、手書き文字４ａとして送出部１６へ出力する。ここで、照合部１５は、当該手書き文字の入力操作（文字入力操作３ａ）が終了したか否かを検知する。この検知方法としては、例えば当該入力操作がなされてからの経過時間を測定し、その経過時間が所定の制限時間を超えた場合、照合部１５は当該終了を検知して手書き文字４ａを送出部１６へ出力する。または、照合部１５は、ユーザによる所定のジェスチャーを検出した場合に、当該終了を検知してもよい。例えば、入力制御部５０から照合部１５に続けて入力される軌跡１が、パターン２と一致する場合であってよい。あるいは、他のパターン（例えば、後述する図１０（ｂ）のようなパターン）と一致する場合であってもよい。

抽出部１７は、照合部１５から入力された軌跡１の特徴量５を抽出する。具体的には、距離抽出部１７１が軌跡１の距離５ａを抽出する。角度抽出部１７２が角度５ｂを抽出する。そして、位置抽出部１７３が位置５ｃを抽出する。抽出部１７は、各構成で抽出した軌跡１の特徴量５を、送出部１６へ出力する。

送出部１６は、照合部１５から入力された入力情報４（手書き文字４ａ、コマンド４ｂ）、および抽出部１７から入力された特徴量５（距離５ａ、角度５ｂ、位置５ｃ）を、表示装置１２の変更適用部１８へ送出する。

（表示装置１２）
表示装置１２は、入力装置１１から送出された入力情報４（手書き文字４ａ、コマンド４ｂ）と特徴量５（距離５ａ、角度５ｂ、位置５ｃ）とを受信し、所定の処理を施して表示部７０に表示する装置である。

変更適用部１８は、入力装置１１の送出部１６から特徴量５が入力されると、当該特徴量に応じて送出部１６から入力された手書き文字４ａに変更を加える。具体的には、拡縮部１８１が距離５ａに応じて手書き文字４ａを拡縮する。回転部１８２が角度５ｂに応じて手書き文字４ａを回転させる。そして、位置調整部１８３が位置５ｃに応じて手書き文字４ａの表示部７０における表示位置を決定する。

ここで、位置調整部１８３は、例えば変更手書き文字４ｃの全体がおさまる外接矩形の文字列先頭側の辺上における任意の１点が開始位置８ａと一致する位置に、変更手書き文字４ｃを表示させる。また、拡縮部１８１は、手書き文字４ａの上記外接矩形のアスペクト比を保って拡縮を行う。

変更適用部１８における手書き文字４ａの変更は、開始位置８ａまたは終了位置８ｂが上記外接矩形の文字列先頭側の辺上にあるとき、折り返し位置８ｃが当該文字列先頭側の辺と相対する文字列末尾側の辺上にあるように、手書き文字４ａを変更することと言える。ただし、必ずしも上記のように矩形の両端をジェスチャー３ｂで規定される各位置に揃える必要はない。例えば、拡縮部１８１は、長さ５ａの実数倍として（すなわち、長さ５ａと手書き文字４ａの拡縮率が比例するように）手書き文字４ａを変更してもよい。

変更適用部１８は、各構成で変更を加えた手書き文字４ａを、変更手書き文字４ｃとして表示制御部６０へ出力する。ただし、送出部１６から手書き文字４ａだけが入力され、コマンド４ｂおよび特徴量５が入力されなかった場合、変更適用部１８は、手書き文字４ａに変更を加えることなく表示制御部６０へ出力する。

表示制御部６０は、入力装置１１が出力する情報（例えば手書き文字４ａ）を、表示部７０で表示可能な形式にしたがう表示用データ７に変換する。ここで、表示用データ７としては、例えばビットマップ（bitmap）形式の画像であってよいし、他の形式に従う画像、またはその他表示に適したデータ形式であってもよい。なお、表示制御部６０は、当該情報を表示用データ７へ形式変換できるものであればよく、例えば一般的なディスプレイアダプタでよい。

表示部７０は、映像等を表示する装置である。本実施の形態では主に液晶ディスプレイ（Liquid Crystal Display；ＬＣＤ）を想定しているが、表示機能を有する装置（特に、フラットパネルディスプレイ）でありさえすればハードウェアの種類は限定されない。例えば、プラズマディスプレイ（Plasma Display Panel；ＰＤＰ）やＥＬ（Electroluminescence）ディスプレイなどの表示素子と、表示制御部６０から入力を受けた表示用データ７に基づいて表示素子を駆動するドライバ回路とを備える装置等で構成できる。

図１では、各構成が有する機能を明示するために、入力部４０と表示部７０とを分離して示している。しかし、例えば入力部４０がタッチパネルであり、表示部７０が液晶ディスプレイである場合、両者は一体として構成されることが望ましい。すなわち、入力部４０は、矩形板状に形成されたガラス等の透明な透過部材からなるデータ入力面を含んで構成され、表示部７０が有するデータ表示面を覆うように一体的に形成されてよい。これにより、入力部４０の入力面に対する指示具の接触位置と、表示部７０が当該接触に応じて表示面に表示する図形の位置とが一致するため、ユーザは自然な手書き感覚を得ることができる。

（記憶装置３０）
記憶装置３０は、パターン２を記憶した不揮発性の記憶機器である。記憶装置３０は、例えばハードディスク、半導体メモリ、ＤＶＤ（Digital Versatile Disk）等で構成できる。なお、本実施の形態では、記憶装置３０は、入力装置１１および表示装置１２とは別体に電子黒板１００に内蔵される装置として図１に示しているが、入力装置１１または表示装置１２に内蔵された内部記憶装置であってもよいし、電子黒板１００の外部に通信可能に接続された外部記憶装置であってもよい。

〔ジェスチャー３ｂおよびコマンド４ｂの種類〕
図１０に基づいて、ジェスチャー３ｂの種類について説明する。図１０は、入力装置１１がジェスチャー３ｂとして認識するパターン２を例示した模式図であり、（ａ）は手書き文字４ａの表示形態（位置、大きさ）を表示領域の対角線で指定するジェスチャーの例、（ｂ）は表示装置１２にアプリケーションを終了させる処理を実行させるコマンド４ｂに対応付けられたジェスチャーの例、（ｃ）は往復操作を２回繰り返すジェスチャーの例を示す。

図１０（ａ）で例示されるように、ユーザは手書き文字４ａの表示形態を、矩形の表示領域の対角線で指定することもできる。この場合、入力装置１１は、当該対角線で張られる矩形の表示領域に手書き文字４ａがおさまるように、その大きさおよび表示位置を決定し、変更手書き文字４ｃとして表示する。

図１０（ｂ）で例示されるようなジェスチャー３ｂを、コマンド４ｂを送出する入力として入力装置１１は認識してもよい。このとき、入力装置１１が表示装置１２に送出するコマンド４ｂは、例えば文字入力用のアプリケーションを終了させることを指示するものであってよいし、電子黒板１００の電源を切ることを指示するものであってもよい。

すなわち、パターン２として定義されるジェスチャー３ｂ、およびパターン２に対応付けられて記憶装置３０に格納されるコマンド４ｂは、任意に定義できる。したがって、ジェスチャー３ｂとコマンド４ｂとの組み合わせを工夫することにより、さまざまな機器に対して手書き操作３による直感的な操作を与えることが可能になる。

ただし、ジェスチャー３ｂは、文字入力操作３ａとジェスチャー３ｂとを入力装置１１が明確に区別できるように定義されていることが望ましい。文字入力操作３ａにジェスチャー３ｂに相当する軌跡が含まれると、入力装置１１が両者を混同してしまい、ユーザが予期せずコマンド４ｂを実行してしまうからである。したがって、上述した往復操作（開始位置８ａと終了位置８ｂとが略同一であって、開始位置８ａから開始位置８ａとは異なる折り返し位置８ｃを経由し、終了位置８ｂまでを略直線で往復する操作）は、文字や図形等の通常の入力では行われない操作であるため、ジェスチャー３ｂとして好適である。また、上記往復操作は、開始位置８ａ、終了位置８ｂ、折り返し位置８ｃ、距離５ａ、角度５ｂ等の特徴量５を１回の手書き操作で入力できるため、手書き文字を変更するためのコマンド４ｂに対応付けられるジェスチャー３ｂとして最適である。

さらに、例えば図１０（ｃ）で例示されるような、往復操作を２回繰り返すジェスチャー３ｂであれば、文字入力操作３ａと混同が生じるおそれがより小さく、入力が煩雑となるほど複雑な操作でもないため、例えば文字入力用のアプリケーションの終了や電子黒板１００の電源を切るための指示に適している。

本実施の形態では、入力装置１１および表示装置１２を含む電子黒板１００について説明したが、入力装置１１と組み合わせる装置は表示装置１２でなくともよいし、これにより構成されるシステムは電子黒板１００でなくともよい。

例えば、より汎用的な処理が可能なパーソナルコンピュータや携帯電話が、入力装置１１と組み合わされることによりコマンド４ｂの入力を受けることを考える。このとき、適当なジェスチャー３ｂにメールの送信やインターネットブラウザの起動等を指示するコマンド４ｂを対応させておくことにより、従来はマウスやキーボード等を介した煩雑な操作が必要であったところを、手書き操作３による簡単かつ直感的な操作で上記処理を実行させることができる。

〔変更手書き文字４ｃの表示態様〕
図１１に基づいて、変更手書き文字４ｃの表示態様について説明する。図１１は、開始位置８ａ、終了位置８ｂ、および折り返し位置８ｃと手書き文字４ａの表示位置との関係を示した模式図であり、（ａ）は折り返し位置８ｃが、開始位置８ａおよび終了位置８ｂの右に位置する場合、（ｂ）は折り返し位置８ｃが、開始位置８ａおよび終了位置８ｂの左に位置する場合を示す。

前述したように、変更適用部１８は、変更手書き文字４ｃの全体がおさまる外接矩形の文字列先頭側の辺上の任意の１点が開始位置８ａと一致する位置に、変更手書き文字４ｃを表示させる。これにより、開始位置８ａまたは終了位置８ｂと、折り返し位置８ｃとの位置関係によっては、図１１（ｂ）に例示されるように、手書き文字４ａが逆さまに表示される。

〔往復操作の変形例〕
図１２に基づいて、ジェスチャー３ｂに含まれる往復操作（図３、図６、図８を参照）の変形例について説明する。図１２は、ジェスチャー３ｂの例として前述した往復操作において、開始位置８ａおよび終了位置８ｂと、折り返し位置８ｃとを曲線で結ぶ往復操作の軌跡１と、これにより表示される変更手書き文字４ｃの一例を示す模式図である。

同図に例示されるような曲線の往復操作を行うと、手書き文字４ａは当該曲線に沿って弯曲して表示される。これにより、簡単なジェスチャー３ｂで、ユーザはより豊かに文字を表現できる。

〔表示装置１２が実行する処理〕
図１３に基づいて、表示装置１２が実行する処理の流れを説明する。図１３は、入力装置１１および表示装置１２が実行する処理の一例を示すフローチャートである。

まず、入力部４０はユーザによる手書き操作３を受け付け、座標情報６を入力制御部５０に出力する（ステップ１ａ：以下、Ｓ１ａのように略記する）。次に、入力制御部５０は、入力部４０の入力面に対するユーザからの手書き操作３の軌跡１を取得し、照合部１５に出力する（Ｓ２ａ）。

照合部１５は、入力制御部５０から入力された軌跡１と記憶装置３０に格納された所定のパターン２とが一致するか否かを判定する（Ｓ３、照合ステップ）。一致しないと判定する場合（Ｓ３においてＮＯ）、照合部１５は軌跡１を手書き文字４ａとして送出部１６に出力する。送出部１６は、照合部１５から入力された手書き文字４ａを表示装置１２へ送出する（Ｓ４ａ、送出ステップ）。

一方、軌跡１とパターン２とが一致すると判定する場合（Ｓ３においてＹＥＳ）、照合部１５は、パターン２に対応付けられたコマンド４ｂを送出部１６へ出力する。同時に、照合部１５は軌跡１を抽出部１７へ出力する。抽出部１７は、照合部１５から入力された軌跡１から特徴量５を抽出し、特徴量５を送出部１６へ出力する（Ｓ５）。送出部１６は、照合部１５から入力されたコマンド４ｂと、抽出部１７から入力された特徴量５とを、表示装置１２へ送出する（Ｓ６、送出ステップ）。

表示装置１２の変更適用部１８は、入力装置１１から手書き文字４ａの入力を受けた場合（Ｓ３においてＮＯとなる経路）、当該手書き文字をそのまま（変更を加えずに）、表示制御部６０へ出力する。表示制御部６０は、変更適用部１８から入力された手書き文字４ａを表示用データ７に変換することで、当該手書き文字を表示部７０に表示させる（Ｓ９）。一方、入力装置１１からコマンド４ｂおよび特徴量５の入力を受けた場合は（Ｓ３においてＹＥＳとなる経路）、入力装置１１からさらに手書き文字４ａが入力されるのを待ち受ける。

上記Ｓ１およびＳ２と同様の処理を経て、照合部１５に軌跡１が入力される（Ｓ１ｂ、Ｓ２ｂ）。照合部１５は、予め設定された時間が経過した場合（Ｓ７においてＹＥＳ）、軌跡１を手書き文字４ａとして送出部１６に出力し、送出部１６は手書き文字４ａを表示装置１２へ送出する（Ｓ４ｂ）。変更適用部１８は、コマンド４ｂにしたがって、入力装置１１から入力された手書き文字４ａに、特徴量５に応じた変更を加える（Ｓ８）。

変更適用部１８は、変更を適用した後の変更手書き文字４ｃを表示制御部６０に出力する。表示制御部６０は、変更適用部１８から入力された変更手書き文字４ｃを表示用データ７に変換することで、当該手書き文字を表示部７０に表示させる（Ｓ９）。

〔入力装置１１、表示装置１２、および電子黒板１００により奏される効果〕
ユーザはジェスチャー３ｂにより表示装置１２にコマンド４ｂを与えることで、表示装置１２に所定の処理（例えば、手書き文字４ａに所定の変更を加えて、変更手書き文字４ｃとして表示させる）を行わせることができる。ここで、当該コマンドを与えるためのジェスチャー３ｂは、入力面上で往復操作を行うなどの簡単な手書き操作３である。すなわち、ユーザは簡単で直感的な操作を行うだけで、表示装置１２に上記所定の処理を行わせることができるため、ユーザの利便性を向上させることができる。

〔各実施の形態に含まれる構成（技術的手段）の組み合わせについて〕
上述した実施の形態に含まれる構成は、適宜組み合わせられることに注意する。すなわち、上記の実施の形態で説明したすべての構成は、当該説明に係る実施の形態のみならず、他の実施の形態においても当該構成の全部または一部を組み合わせて利用でき、それによって得られる実施の形態についても本発明の技術的範囲に含まれる。

さらに換言すれば、本発明は上述した実施の形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施の形態についても本発明の技術的範囲に含まれる。

〔ソフトウェアによる実現例〕
最後に、入力装置１１および表示装置１２の各ブロック（電子黒板１００の各ブロック）は、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。

後者の場合、入力装置１１および表示装置１２（電子黒板１００）は、各機能を実現するプログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである入力装置１１および表示装置１２（電子黒板１００）の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、入力装置１１および表示装置１２（電子黒板１００）に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable logic device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。

また、入力装置１１および表示装置１２（電子黒板１００）を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は、電子黒板、携帯電話、タブレット端末、パーソナルコンピュータ、その他手書き操作による入力で駆動可能な電子機器に適用できる。

１ 軌跡
２ パターン
３ 手書き操作
３ａ 文字入力操作
３ｂ ジェスチャー（往復する操作）
４ 入力情報（手書き操作で入力された情報）
４ａ 手書き文字
４ｂ コマンド
４ｃ 変更手書き文字
５ 特徴量
５ａ 距離
５ｂ 角度（なす角）
５ｃ 位置（開始位置または終了位置）
８ａ 開始位置
８ｂ 終了位置
８ｃ 折り返し位置
９ａ 水平線（入力面に設定された所定の基準線）
９ｂ 斜め線（開始位置と折り返し位置とを結ぶ直線）
１１ 入力装置
１２ 表示装置（被制御装置）
１５ 照合部（照合手段）
１６ 送出部（送出手段）
１７ 抽出部（抽出手段）
１８ 変更適用部（実行手段）
３０ 記憶装置
４０ 入力部（軌跡を入力できる入力面）
６０ 表示制御部（出力手段）
７０ 表示部（出力手段）
１００ 電子黒板（電子黒板システム）

Claims (13)

1. ユーザによる手書き操作の軌跡を取得できる入力面を備え、前記入力面に入力された軌跡を表示部に表示させる入出力システムであって、
   コマンドと所定のパターンとが対応付けられて予め格納された記憶装置を参照し、前記軌跡と前記パターンとが一致するか否かを判定する照合手段と、
   前記照合手段によって前記軌跡と前記パターンとが一致しないと判定された場合は前記軌跡を送出し、一致すると判定された場合は一致した当該パターンに対応付けられた前記コマンドを送出する送出手段と、
   送出された前記コマンドを実行する実行手段と、を備え、
   前記コマンドは、送出された前記軌跡に対して変更を適用することを指示するコマンドであり、
   前記実行手段は、前記コマンドが送出された場合、前記軌跡の入力を待ち受け、その後当該軌跡が入力された場合、送出された前記コマンドに応じた前記変更を適用することを特徴とする入出力システム。
2. 前記照合手段によって前記軌跡と前記パターンとが一致すると判定された場合、前記軌跡の特徴量を抽出する抽出手段をさらに備え、
   前記送出手段は、前記抽出手段によって抽出された特徴量をさらに前記実行手段に送出することを特徴とする請求項１に記載の入出力システム。
3. 前記照合手段は、開始位置と終了位置とが略同一であって、前記開始位置から前記開始位置とは異なる折り返し位置を経由して前記終了位置までを略直線で往復するパターンと、前記軌跡との一致を判定することを特徴とする請求項２に記載の入出力システム。
4. 前記抽出手段は、前記開始位置、前記終了位置、または前記折り返し位置のうち少なくとも１つを前記特徴量の１つとして抽出することを特徴とする請求項３に記載の入出力システム。
5. 前記抽出手段は、前記開始位置または前記終了位置から、前記折り返し位置までの距離を特徴量の１つとして抽出することを特徴とする請求項３または４に記載の入出力システム。
6. 前記抽出手段は、前記入力面に設定された所定の基準線に対して、前記開始位置または前記終了位置と、前記折り返し位置とを結ぶ直線がなす角を特徴量の１つとして抽出することを特徴とする請求項３から５のいずれか１項に記載の入出力システム。
7. 前記照合手段は、開始位置と終了位置とが略同一であって、前記開始位置から前記開始位置とは異なる折り返し位置を経由して前記終了位置までを略直線で往復するパターンと、前記軌跡との一致を判定することを特徴とする請求項１に記載の入出力システム。
8. 前記実行手段は、前記軌跡を拡大または縮小することを特徴とする請求項１から７のいずれか１項に記載の入出力システム。
9. 前記実行手段は、前記軌跡を回転させることを特徴とする請求項１から８のいずれか１項に記載の入出力システム。
10. 前記実行手段は、前記コマンドの後に送出された軌跡を表示する上記表示部上の位置を、前記照合手段によって前記パターンと一致すると判定された軌跡が上記入力面上において入力された位置に対応する上記表示部上の位置に合わせることを特徴とする請求項１から９のいずれか１項に記載の入出力システム。
11. ユーザによる手書き操作の軌跡を取得できる入力面を備え、前記入力面に入力された軌跡を表示部に表示させる入出力システムの制御方法であって、
    コマンドと所定のパターンとが対応付けられて予め格納された記憶装置を参照し、前記軌跡と前記パターンとが一致するか否かを判定する照合ステップと、
    前記照合ステップにおいて前記軌跡と前記パターンとが一致しないと判定された場合は前記手書き操作の軌跡を送出し、一致すると判定された場合は一致した当該パターンに対応付けられた前記コマンドを送出する送出ステップと、
    送出された前記コマンドを実行するステップと、を含み、
    前記コマンドは、送出された前記軌跡に対して変更を適用することを指示するコマンドであり、
    送出された前記コマンドを実行する前記ステップは、前記コマンドが送出された場合、前記軌跡の入力を待ち受け、その後当該軌跡が入力された場合、送出された前記コマンドに応じた前記変更を適用することを特徴とする入出力システムの制御方法。
12. 請求項１から１０のいずれか１項に記載の入出力システムを動作させるための制御プログラムであって、コンピュータを前記各手段として機能させるための制御プログラム。
13. 請求項１２に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
    

Images