JP6255731B2 - 表示システム、表示方法および表示端末 - Google Patents

Description

本発明は、表示システム、表示方法および表示端末に関する。

タブレットなどの表示端末の表示部に表示される情報は、例えば、当事者（表示端末ユーザー）以外の第三者であっても表示部をのぞき込むことによって視認することが可能であり、第三者の閲覧を許容しない情報（秘匿情報）を入力して表示部に表示させる場合に問題を生じる。

そのような問題に対し、例えば、特許文献１では、秘匿情報の画像とその他の画像とを、時分割で交互に表示することにより、時分割のタイミングに同期してシャッターの開閉を行うシャッターメガネを装着した当事者のみが、秘匿情報を視認することを可能としている。

また、秘匿情報の画像と、当該画像を打ち消す反対色の画像とを、異なる偏光を与えて、時分割で交互に表示することにより、時分割のタイミングに同期している偏光切替部および偏光フィルタを有するメガネを装着した当事者のみが、秘匿情報を視認することを可能としているものもある（例えば、特許文献２参照。）。

特開２０１１−１００５５号公報 特開２００９−２０４９４８号公報

しかし、第三者の閲覧を許容する情報（非秘匿情報）が存在し、第三者との間でその非秘匿情報を共有したい場合に問題を有する。例えば、特許文献１および２に記載の技術においては、時分割で異なる画像が表示部に交互に表示されるため、専用のメガネを装着していない第三者がいた場合には、その第三者は、残像効果によって秘匿情報と非秘匿情報とが交互に表示された画像を見ることになり、非秘匿情報を正確に把握することが難しいという問題を有する。

本発明は、上記従来技術に伴う課題を解決するためになされたものであり、入力された秘匿情報を当事者が占有する一方、非秘匿情報を当事者と第三者との間で共有することができる表示システム、表示方法および表示端末を提供することを目的とする。

本発明の上記目的は、下記の手段によって達成される。

（１）第１および第２表示端末を有する表示システムであって、
前記第１表示端末は、第１のユーザーの閲覧を許容しない秘匿情報を表示せずに、前記第１のユーザーの閲覧を許容する非秘匿情報を表示する第１の表示部と、表示モードを切り替える切換部と、前記第１の表示部に表示される非秘匿情報および前記非秘匿情報と関連付けられた秘匿情報を入力するための入力装置と、入力された前記秘匿情報を、前記第２表示端末に送信する送信部と、を有し、
前記第２表示端末は、前記第１のユーザーの閲覧を許容せず、前記第１のユーザーとは異なる第２のユーザーの閲覧を許容する第２の表示部と、入力された前記秘匿情報を受信する受信部と、を有し、
前記表示モードは、前記入力装置による入力情報を非秘匿情報であると判断する共有モードと、前記入力情報を秘匿情報であると判断する非共有モードとを含み、
前記第１の表示部は、前記非共有モードにおいて、入力された前記秘匿情報を表示せず、前記共有モードで入力された前記非秘匿情報を表示し、
前記第２の表示部は、前記非共有モードにおいて、受信された前記秘匿情報を表示する
ことを特徴とする表示システム。

（２）前記第２表示端末は、前記第１の表示部に表示される非秘匿情報を撮像するための撮像部を、さらに有し、
前記第２の表示部は、撮像された前記非秘匿情報に基づき、受信された前記秘匿情報が、前記第１の表示部に表示されている前記非秘匿情報と位置合わせされた状態で前記第２のユーザーに視認されるように、受信された前記秘匿情報を表示する
ことを特徴とする上記（１）に記載の表示システム。

（３）前記第２の表示部は、光学透過型であり、前記秘匿情報を、前記第２の表示部を透過して視認される前記非秘匿情報に位置合わせして表示することを特徴とする上記（２）に記載の表示システム。

（４）前記第２の表示部は、ビデオ透過型であり、撮像された前記非秘匿情報と前記秘匿情報とを位置合わせして合成した画像を表示することを特徴とする上記（２）に記載の表示システム。

（５）前記入力情報は、前記第１の表示部に手書きで描かれる軌跡によって入力される手書き入力情報に基づいていることを特徴とする上記（１）〜（４）のいずれか１項に記載の表示システム。

（６）前記第１表示端末の前記入力装置は、ペン型ポインティングデバイスを有し、
前記軌跡は、前記ペン型ポインティングデバイスを利用して描かれる
ことを特徴とする上記（５）に記載の表示システム。

（７）前記第２表示端末は、ヘッドマウントディスプレイ装置であることを特徴とする上記（１）〜（６）のいずれか１項に記載の表示システム。

（８）第１および第２表示端末を有する表示システムに適用される表示方法であって、
前記第１表示端末における、第１のユーザーの閲覧を許容しない秘匿情報を表示せずに、前記第１のユーザーの閲覧を許容する非秘匿情報を表示する第１の表示部に、非秘匿情報を表示させるステップ（Ａ）、
前記第１表示端末の入力装置によって、前記第１の表示部に表示される前記非秘匿情報および前記非秘匿情報と関連付けられた秘匿情報が入力されるステップ（Ｂ）、
入力された前記秘匿情報を、前記第１の表示部に表示することなく、前記第１表示端末の送信部によって、前記第２表示端末に送信するステップ（Ｃ）、
前記第２表示端末の受信部によって、前記第１表示端末からの前記秘匿情報を受信するステップ（Ｄ）、
前記第２表示端末における、前記第１のユーザーの閲覧を許容せず、前記第１のユーザーとは異なる第２のユーザーの閲覧を許容する第２の表示部に、受信した前記秘匿情報を表示するステップ（Ｅ）、および、
前記第１表示端末の切換部によって、前記入力装置による入力情報を非秘匿情報であると判断する共有モードと、前記入力情報を秘匿情報であると判断する非共有モードとの間で、表示モードを切り替えるステップ（Ｆ）を有し、
前記非共有モードにおいて、入力された前記秘匿情報は前記第１の表示部に表示されず、前記共有モードで入力された前記非秘匿情報が第１の表示部に表示され、かつ、受信された前記秘匿情報が前記第２の表示部に表示されることを特徴とする表示方法。
（９）前記ステップ（Ｅ）において、前記第２表示端末の撮像部によって記第１の表示部に表示される非秘匿情報を撮像し、そして、撮像された前記非秘匿情報に基づき、受信された前記秘匿情報が、前記第１の表示部に表示されている前記非秘匿情報と位置合わせされた状態で前記第２のユーザーに視認されるように、前記第２の表示部に、受信された前記秘匿情報を表示することを特徴とする上記（８）に記載の表示方法。
（１０）前記第２の表示部は、光学透過型であり、
前記秘匿情報を、前記第２の表示部を透過して視認される前記非秘匿情報に位置合わせして表示することを特徴とする上記（９）に記載の表示方法。
（１１）前記第２の表示部は、ビデオ透過型であり、
撮像された前記非秘匿情報と前記秘匿情報とを位置合わせして合成した画像を表示することを特徴とする上記（９）に記載の表示方法。
（１２）前記入力情報は、前記第１の表示部に手書きで描かれる軌跡によって入力される手書き入力情報に基づいていることを特徴とする上記（８）〜（１１）のいずれか１項に記載の表示方法。
（１３）前記第１表示端末の前記入力装置は、ペン型ポインティングデバイスを有し、
前記軌跡は、前記ペン型ポインティングデバイスを利用して描かれることを特徴とする上記（１２）に記載の表示方法。
（１４）前記第２表示端末は、ヘッドマウントディスプレイ装置であることを特徴とする上記（８）〜（１３）のいずれか１項に記載の表示方法。

（１５）表示システムに適用される表示端末であって、
第１のユーザーの閲覧を許容しない秘匿情報を表示せずに、前記第１のユーザーの閲覧を許容する非秘匿情報を表示する第１の表示部と、
表示モードを切り替える切換部と、
前記第１の表示部に表示される非秘匿情報および前記非秘匿情報と関連付けられた秘匿情報を入力するための入力装置と、
入力された前記秘匿情報を、第２の表示端末である端末装置に送信する送信部と、を有し、
前記表示モードは、前記入力装置による入力情報を非秘匿情報であると判断する共有モードと、前記入力情報を秘匿情報であると判断する非共有モードとを含み、
前記第１の表示部は、前記非共有モードにおいて、入力された前記秘匿情報を表示せず、前記共有モードで入力された前記非秘匿情報を表示し、
前記端末装置は、前記第１のユーザーの閲覧を許容せず、前記第１のユーザーとは異なる第２のユーザーの閲覧を許容する第２の表示部と、
前記送信部からの前記秘匿情報を受信する受信部と、を有し、
前記第２の表示部は、前記非共有モードにおいて、受信された秘匿情報を表示する
ことを特徴とする表示端末。

（１６）前記入力情報は、前記第１の表示部に手書きで描かれる軌跡によって入力される手書き入力情報に基づいていることを特徴とする上記（１５）に記載の表示端末。

（１７）前記入力装置は、ペン型ポインティングデバイスを有し、
前記軌跡は、前記ペン型ポインティングデバイスを利用して描かれる
ことを特徴とする上記（１６）に記載の表示端末。

本発明に係る画像表示システム、画像表示方法および画像表示端末においては、第三者（第１のユーザー）の閲覧を許容する表示部と、第三者の閲覧を許容しない表示部とが独立して設けられ、かつ表示内容が区別されており、非秘匿情報は、第三者の閲覧を許容する表示部に表示されるため、当事者（第２のユーザー）と同様に第三者にとっても明瞭に視認することができ、また、入力された秘匿情報は、第三者の閲覧を許容しない表示部に表示されるため、入力された秘匿情報は、第三者に対して秘密にされる。つまり、入力された秘匿情報を当事者が占有する一方、非秘匿情報を当事者と第三者との間で共有することができる画像表示システム、画像表示方法および画像表示端末を提供することが可能である。

本発明の実施の形態に係る表示システムを説明するための概略図である。 図１に示されるタブレット端末を説明するための外観図である。 図１に示されるタブレット端末を説明するためのブロック図である。 図３に示されるデータ記録部に記憶されている共有画像を説明するための概念図である。 タブレット端末の共有モードを説明するための平面図である。 タブレット端末の非共有モードを説明するための平面図である。 共有モードにおいて送信される秘匿情報を説明するための概念図である。 タブレット端末のツールバーを説明するための外観図である。 図８に示される操作メニューの拡大図である。 図１に示されるヘッドマウントディスプレイ装置を説明するための正面図である。 図１に示されるヘッドマウントディスプレイ装置を説明するためのブロック図である。 図１０および図１１に示されるビデオカメラによる映像を説明するための概念図である。 図１０および図１１に示されるメガネ型表示部を透過する映像を説明するための概念図である。 本体部の通信部によって受信される秘匿情報の仮想オブジェクト処理を説明するための概念図である。 ヘッドマウントディスプレイ装置ユーザーによって視認される映像を説明するための概念図である。 本発明の実施の形態に係る表示方法におけるタブレット端末の表示制御を説明するためのフローチャートである。 本発明の実施の形態に係る表示方法におけるヘッドマウントディスプレイ装置の表示制御を説明するためのフローチャートである。 本発明の実施の形態に係る表示方法における表示モード切替制御を説明するためのフローチャートである。

以下、本発明の実施の形態を、図面を参照しつつ説明する。

図１は、本発明の実施の形態に係る表示システムを説明するための概略図である。

本発明の実施の形態に係る表示システムは、第三者の閲覧を許容する非秘匿情報および第三者の閲覧を許容しない秘匿情報を表示するために適用され、図１に示されるように、第１表示端末であるタブレット端末１０、第２表示端末であるヘッドマウントディスプレイ装置（ＨＭＤ）２０およびネットワーク３０を有する。本実施の形態においては、当事者は、ヘッドマウントディスプレイ装置２０を利用しているユーザー（ヘッドマウントディスプレイ装置ユーザーと称することがある）であり、タブレット端末を利用しているユーザー（タブレット端末ユーザーと称することがある）を兼ねている。なお、当事者は、タブレット端末ユーザーを兼ねている形態に限定されず、ヘッドマウントディスプレイ装置２０を装着しているが、タブレット端末１０を操作しないユーザーも含まれる。また、符号１８Ａは、非秘匿情報と関連付けられた秘匿情報を入力するためのスタイラスペン（ペン型ポインティングデバイス）である。

ネットワーク３０は、イーサネット（登録商標）、トークンリング、およびＦＤＤＩ（Ｆｉｂｅｒ−Ｄｉｓｔｒｉｂｕｔｅｄ Ｄａｔａ Ｉｎｔｅｒｆａｃｅ）等の規格によりコンピューターやネットワーク機器同士を接続する構内情報通信網（ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ同士を専用線で接続した広域情報通信網（ＷＡＮ：Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネット、これらの組み合わせ等の各種のネットワークからなる。ネットワークプロトコルは、例えば、ＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）である。

タブレット端末１０およびヘッドマウントディスプレイ装置２０は、無線ＬＡＮのインフラストラクチャモードを利用し、ネットワーク３０に存在するアクセスポイントを経由して、通信可能に接続されている。タブレット端末１０およびヘッドマウントディスプレイ装置２０のネットワーク３０への接続は、有線ＬＡＮを利用することも可能である。

また、無線ＬＡＮのアドホックモードを利用し、タブレット端末１０とヘッドマウントディスプレイ装置２０とを、直接接続することも可能である。さらに、直接接続は、２．４ＧＨｚ帯の電波を利用するＢｌｕｅｔｏｏｔｈ（登録商標）等による無線通信や、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のシリアルインタフェースやＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ）１２８４等のパラレルインタフェース等による有線接続を、適用することも可能である。

次に、タブレット端末１０の構成を詳述する。

図２および図３は、図１に示されるタブレット端末を説明するための外観図およびブロック図、図４は、図３に示されるデータ記録部に記憶されている共有画像を説明するための概念図、図５および図６は、タブレット端末の共有モードおよび非共有モードを説明するための平面図、図７は、共有モードにおいて送信される秘匿情報を説明するための概念図、図８は、タブレット端末のツールバーを説明するための外観図、図９は、図８に示される操作メニューの拡大図である。

タブレット端末１０は、図３に示されるように、システム制御部１１、データ記録部１２、操作部１３、表示処理部１４、表示装置１５、通信部１６、入力情報処理部１７および入力装置１８を有する。

システム制御部１１は、プログラムにしたがって上記各部の制御や各種の演算処理を実行するマイクロプロセッサ等から構成される制御回路である。

データ記録部１２は、各種プログラムおよび各種データを記憶（格納）するために使用され、ＲＯＭ（リードオンリーメモリー）、ＲＡＭ（ランダムアクセスメモリー）、書き換え可能な不揮発性半導体メモリー（例えば、フラッシュメモリー）等が適宜組み合されて構成されている。例えば、ＲＯＭに記憶されているプログラムは、システム制御部１１（マイクロプロセッサ）により必要に応じて読み出され、実行処理される。そのときに、ＲＡＭは、プログラムおよびプログラムの実行に必要なデータを一時記憶する作業領域として使用される。

プログラムは、例えば、システム制御部１１によって実行される表示プログラム１２Ａ、モード切替プログラム（切換部）１２Ｂ、ペン属性設定プログラム（ペン属性設定部）１２Ｃおよび描画処理プログラム１２Ｄを含む。

表示プログラム１２Ａは、非秘匿情報を表示装置１５に表示する一方、入力された秘匿情報を表示装置１５に表示することなく、ヘッドマウントディスプレイ装置２０に送信するために使用される。

モード切替プログラムは、表示モードを切り替えるために使用される。表示モードは、スタイラスペン１８Ａによる入力情報を非秘匿情報であると判断する共有モードと、秘匿情報であると判断する非共有モードとを含んでいる。入力情報は、スタイラスペン１８Ａに利用して描かれる（手書きで描かれる）軌跡によって入力される手書き入力情報に基づいている。ペン属性設定プログラム１２Ｃは、非共有モードにおけるスタイラスペン１８Ａのペン属性を指定するために使用される。

描画処理プログラム１２Ｄは、例えば、ＲＩＰ処理（ラスタライズ処理：Ｒａｓｔｅｒ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ）によって、文書データ（情報）をビットマップデータ（画像データ）に変換するために使用される。図３の例では、表示プログラム１２Ａ、モード切替プログラム１２Ｂ、ペン属性設定プログラム１２Ｃおよび描画処理プログラム１２Ｄを、それぞれ個別のプログラムとして記載しているが、それら４つのプログラムに対応する全ての機能を実現する１つのプログラムであってもよい。例えば、表示プログラム１２Ａが、上記４つのプログラムに対応する全ての機能を実現しても良い。

データは、表示プログラム１２Ａの実行に必要な画像データ等を含んでいる文書データや、ペン属性設定プログラム１２Ｃを利用して指定されたペン属性設定である。

データ記録部１２に記録される文書データは、本実施の形態において、ネットワーク３０を経由して取得され、例えば、ＰｏｓｔＳｃｒｉｐｔ（登録商標）やＰＣＬ（Ｐｒｉｎｔｅｒ Ｃｏｎｔｒｏｌ Ｌａｎｇｕａｇｅ）等のＰＤＬ（ページ記述言語：Ｐａｇｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ｌａｎｇｕａｇｅ）の形式で作成されたデータである。文書データは、プレーンテキストやＰＤＦ（Ｐｏｒｔａｂｌｅ Ｄｏｃｕｍｅｎｔ Ｆｏｒｍａｔ）等の文書フォーマットや、ＥＰＵＢ（ｅｌｅｃｔｒｏｎｉｃ ｐｕｂｌｉｃａｔｉｏｎ）等の電子書籍専用フォーマットを利用して作成されるデータを適用することも可能である。

文書データは、ネットワーク３０を経由して取得する形態に限定されず、タブレット端末１０において作成することも可能である。また、タブレット端末１０にメモリーカードインターフェースを組み込むことで、メモリーカードに記憶された文書データをタブレット端末１０で利用することも可能である。メモリーカードは、例えば、ＳＤメモリーカード、ｍｉｃｒｏＳＤカード、ＵＳＢメモリー（ＵＳＢフラッシュメモリー）、メモリースティック（登録商標）、コンパクトフラッシュである。

画像データには、図４に示される共有画像４０および図５に示される手書き入力情報４２，４４，４６が含まれる。共有画像４０は、データ記録部１２に記録された文書データ、またはタブレット端末１０において作成および／又は編集された文書データに基づいた画像（第三者の閲覧を許容する非秘匿情報からなる画像）であり、白紙（ブランク）の画像も含んでいる。手書き入力情報４２，４４，４６は、非秘匿情報および／又は秘匿情報を含んでいる。非秘匿情報は、第三者と共有される情報であり、第三者の閲覧が許容される。秘匿情報は、非秘匿情報と関連付けられかつ第三者の閲覧が許容されない情報であり、ヘッドマウントディスプレイ装置を装着するユーザー（以降、ヘッドマウントディスプレイ装置ユーザーまたはＨＭＤユーザーと称することがある）にのみ閲覧が許容される情報である。

操作部１３は、キースイッチ１９Ａ〜１９Ｂ（図２参照）および表示装置１５と一体化されたタッチパネルによって構成される。キースイッチ１９Ａ〜１９Ｂおよびタッチパネルは、例えば、表示内容の切り替え、操作メニューの表示、領域属性の設定を実行するため、タブレット端末ユーザーによって操作される。タッチパネルの方式は特に限定されず、静電容量方式や、抵抗膜方式を適用することが可能である。

表示処理部１４は、システム制御部１１からの指令により、描画処理プログラムを実行し、文書データをビットマップデータに変換し、表示装置１５に入力して表示させるために使用される。

表示装置１５は、電気泳動方式の電子ペーパーからなる表示部であり、表示更新時に電力を消費するが、表示内容を電力を消費せずに保持することが可能である。表示装置１５は、液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等によって構成することも可能である。

表示装置１５には、図４に示される共有画像４０、図５に示される手書き入力情報４２，４４，４６およびツールバー５０が表示される。

手書き入力情報４２，４４，４６は、表示モードに応じて、非秘匿情報あるいは秘匿情報と判断される。例えば、共有モードにおいて手書き入力情報４２，４４，４６が入力された場合、手書き入力情報４２，４４，４６は非秘匿情報と判断され、図５に示されるように、共有画像４０として表示される。一方で、共有モードにおいて手書き入力情報４２が入力された後で、非共有モードとなり、手書き入力情報４４，４６が入力される場合には、手書き入力情報４４，４６（図７参照）は、秘匿情報と判断され、図６に示されるように、手書き入力情報４４，４６は表示されずに、手書き入力情報４２のみが共有画像４０として表示される。手書き入力情報は、画像としてそのまま利用する形態に限定されず、例えば、文字データを表している場合は、ＯＣＲ技術を利用してテキスト化したり、図形データを表している場合は、ベクタ形式に変換したりして、利用することも可能である。

ツールバー５０は、多数のアイコンボタンを並べて構成されている。アイコンボタンは、機能を呼び出すために使用され、図８に示されるように、ＵＮＤＯボタン５０Ａ、ＲＥＤＯボタン５０Ｂ、ＺＯＯＭボタン５０Ｃおよび表示モード切替ボタン５０Ｄ等を含んでいる。ＵＮＤＯボタン５０Ａは、直前の操作を取り消してもとに戻す（アンドゥする）ために使用される。ＲＥＤＯボタン５０Ｂは、アンドゥで取り消した操作を再実行する（リドゥーする）ために使用される。ＺＯＯＭボタン５０Ｃは、拡大表示するために使用される。

表示モード切替ボタン５０Ｄは、共有モードから非共有モードへの切り替えあるいは非共有モードから共有モードへの切り替えのために使用され、秘匿情報と非秘匿情報とが混在する入力時に利便性を向上させることが可能である。なお、表示モード切替ボタン５０Ｄは、スタイラスペン１８Ａによってタッチされることによって、モード切替プログラム１２Ｂおよびペン属性設定プログラム１２Ｃが起動され、操作メニュー５２が表示されるように設定されている。

操作メニュー５２は、共有モードおよび非共有モードにおけるスタイラスペン１８Ａのペン属性を設定するために使用されるペン属性設定画面であり、図９に示されるように、設定可能なペン属性の項目およびその詳細に対応する多数のアイコンボタンを並べて構成されている。ペン属性の項目は、ペン種別、色、太さ等である。ペン種別は、通常ペン、マーカーペン等である。通常ペンは、予め設定されているデフォルトの色および太さを有するペンである。マーカーペンは、半透明かつ蛍光色のラインを描くためのペンである。操作メニュー５２を利用するペン属性の設定は、データ記録部１２に、ペン属性設定プログラム１２Ｃとして記憶されており、システム制御部１１によって実行される。

なお、共有モードおよび非共有モードのそれぞれに対応するペン属性が決められており、スタイラスペン１８Ａの軌跡は、共有モードおよび非共有モードにおいて、そのモードに対応するペン属性によって描かれることとなるため（例えば、共有モードにおいては青色、非共有モードにおいては赤色）、タブレット端末ユーザーは、スタイラスペン１８Ａの軌跡を視認することにより、表示モードが共有モードであるか否かが容易に識別することが可能である。

通信部１６は、ネットワーク３０を経由してヘッドマウントディスプレイ装置２０に接続し、データの送受信を実行するための無線通信機能を有する送信および受信部である。ヘッドマウントディスプレイ装置２０に送信される秘匿情報は、例えば、図７に示される非共有モードにおける手書き入力情報４４，４６である。

入力情報処理部１７は、入力装置１８が接続されており、入力装置１８からの入力情報（データ）を処理する。

入力装置１８は、操作部１３と兼用されるタッチパネルおよび上述のスタイラスペン１８Ａを有しており、タブレット端末ユーザーによる入力に利用される。入力装置１８は、物理キーボードや、表示装置１５に表示されるソフトウェアキーボードを利用することも可能である。物理キーボードは、例えば、表示装置１５の下方に配置される指令ボタン、テンキー、方向キー（カーソルキー）によって構成される。また、スタイラスペン１８Ａの代わりに、タブレット端末ユーザーの指や別のポインティングデバイスを適用することも可能である。

次に、ヘッドマウントディスプレイ装置２０の構成を詳述する。

図１０および図１１は、図１に示されるヘッドマウントディスプレイ装置を説明するための正面図およびブロック図、図１２は、図１０および図１１に示されるビデオカメラによる映像を説明するための概念図、図１３は、図１０および図１１に示されるメガネ型表示部を透過する映像を説明するための概念図、図１４は、本体部の通信部によって受信される秘匿情報の仮想オブジェクト処理を説明するための概念図、図１５は、ヘッドマウントディスプレイ装置ユーザーによって視認される映像を説明するための概念図である。なお、以下において、共有画像４０および手書き入力情報４２が非秘匿情報であり、手書き入力情報４４，４６が秘匿情報であると仮定する。

ヘッドマウントディスプレイ装置２０は、光学透過型（光学シースルー、Ｏｐｔｉｃａｌ Ｓｅｅ−Ｔｈｒｏｕｇｈ）であり、図１０に示されるように、ビデオカメラ２１、本体部２２およびメガネ型表示部２７を有し、秘匿情報（手書き入力情報４４，４６）を、ＨＭＤユーザー（装着者）に視認させるために使用される。

ビデオカメラ２１は、メガネ型表示部２７に隣接して配置されており、ＨＭＤユーザーが実際に見ている現実空間（外の様子）を撮像するための撮像部であり、図１２に示されるように、タブレット端末１０の表示装置１５に表示されている非秘匿情報（共有画像４０および手書き入力情報４２）を取得するために使用される。なお、ヘッドマウントディスプレイ装置２０は、ＨＭＤユーザーの視点を検知するセンサー（不図示）を有しており、ビデオカメラ２１は、前記センサーからＨＭＤユーザーの視点情報を取得し、ＨＭＤユーザーの視点に対応する映像を撮影することにより、ＨＭＤユーザーが実際に見ている現実空間の映像を取得する。

本体部２２は、図１１に示されるように、システム制御部２３、データ記録部２４、通信部２５および画像処理部２６を有する。

システム制御部２３は、プログラムにしたがって上記各部の制御や各種の演算処理を実行するマイクロプロセッサ等から構成される制御回路である。

データ記録部２４は、各種プログラムおよび各種データを記憶するために使用され、ＲＯＭ（リードオンリーメモリー）、ＲＡＭ（ランダムアクセスメモリー）、書き換え可能な不揮発性半導体メモリー（例えば、フラッシュメモリー）等が適宜組み合されて構成されている。例えば、ＲＯＭに記憶されているプログラムは、システム制御部２３（マイクロプロセッサ）により必要に応じて読み出され、実行処理される。そのときに、ＲＡＭは、プログラムおよびプログラムの実行に必要なデータを一時記憶する作業領域として使用される。プログラムは、例えば、システム制御部２３によって実行される表示プログラム２４Ａである。

表示プログラム２４Ａは、ＨＭＤユーザーに、タブレット端末１０から送信される秘匿情報（手書き入力情報４４，４６）と、現実空間（非秘匿情報（共有画像４０および手書き入力情報４２））とを重ね合わせて見せるためのプログラムである。具体的には、表示プログラム２４Ａは、後述する画像処理部２６と協働して、ビデオカメラ２１によって撮像された現実空間の映像（タブレット端末１０の表示装置１５の映像）に基づいて、メガネ型表示部２７における秘匿情報（手書き入力情報４４，４６）の表示位置等を算出し、ＨＭＤユーザーに秘匿情報（手書き入力情報４４，４６）と現実空間（非秘匿情報（共有画像４０および手書き入力情報４２））とを重ね合わせて、ＨＭＤユーザーに見せる。

通信部２５は、ネットワーク３０を経由してタブレット端末１０に接続し、データの送受信を実行するための無線通信機能を有する送信および受信部である。受信データは、タブレット端末１０から送信される秘匿情報（手書き入力情報４４，４６）（図７参照）である。

画像処理部２６は、受信した秘匿情報（手書き入力情報４４，４６）に対して仮想オブジェクト処理を実行するために使用される。

仮想オブジェクト処理は、虚画像を生成するＡＲ（拡張現実）技術を利用し、ビデオカメラ２１によって撮像されたタブレット端末１０の表示装置１５の映像（図１２参照）に重畳した場合に、秘匿情報（手書き入力情報４４，４６）と、映像に含まれる非秘匿情報（共有画像４０および手書き入力情報４２）とが、正しく関連付けられるように、秘匿情報（手書き入力情報４４，４６）を変換する処理である。

例えば、映像における非秘匿情報（共有画像４０および手書き入力情報４２）の形状およびサイズに応じて、秘匿情報（手書き入力情報４４，４６）の形状およびサイズを調整したり、映像における非秘匿情報（共有画像４０および手書き入力情報４２）の位置（座標）に応じて、秘匿情報（手書き入力情報４４，４６）の位置を調整したりすることにより、秘匿情報（手書き入力情報４４，４６）が位置合わせされる。

メガネ型表示部２７は、例えば、光学多層膜のハーフミラーやプリズムを有しており、画像処理部２６によって仮想オブジェクト処理された秘匿情報（手書き入力情報４４，４６）（図１４参照）を表示すると共に、現実空間をシースルーで見ることが可能に構成されている。

メガネ型表示部２７を透過して視認される現実空間（図１３参照）は、ビデオカメラ２１による映像（図１２参照）に対応しており、かつ、メガネ型表示部２７に表示される秘匿情報（手書き入力情報４４，４６）は、仮想オブジェクト処理が実行されている（図１４参照）。

したがって、メガネ型表示部２７を透過して視認される非秘匿情報（共有画像４０および手書き入力情報４２）に、秘匿情報（手書き入力情報４４，４６）が位置合わされて合成されたように、メガネ型表示部２７に表示される。つまり、図１５に示されるように、ＨＭＤユーザーは、非秘匿情報（共有画像４０および手書き入力情報４２）に関連付けられた秘匿情報（手書き入力情報４４，４６）が、正しい位置関係で、タブレット端末１０の表示装置１５に表示されている画像を、視認することが可能である。

ヘッドマウントディスプレイ装置２０は、光学透過型に限定されず、ビデオ透過型（ビデオシースルー型）を適用することも可能であり、この場合、メガネ型表示部２７は、現実空間の映像を透過しないため、メガネ型表示部２７には、ビデオカメラ２１による映像に仮想オブジェクト処理された秘匿情報（手書き入力情報４４，４６）が位置合わせして合成された画像が表示される。

次に、本発明の実施の形態に係る表示方法を説明する。なお、表示装置１５には、非秘匿情報（共有画像４０および以前に入力された共有モードにおける手書き入力情報）が表示されており、また、タブレット端末ユーザーを兼ねているＨＭＤユーザーは、非秘匿情報に加えて秘匿情報（以前に入力された非共有モードにおける手書き入力情報）も視認している状況を想定している。

図１６は、本発明の実施の形態に係る表示方法におけるタブレット端末の表示制御を説明するためのフローチャートである。なお、図１６に示されるフローチャートにより示されるアルゴリズムは、データ記録部１２に、表示プログラム１２Ａとして記憶されており、システム制御部１１によって実行される。

まず、タブレット端末１０において、スタイラスペン１８Ａが表示装置１５にタッチすることにより、スタイラスペン１８Ａによる入力を受け付けると（ステップＳ０１）、新規の手書き入力情報の有無が判断される（ステップＳ０２）。新規の手書き入力情報は、スタイラスペン１８Ａを利用して描かれる（手書きで描かれる）軌跡によって入力される。

新規の手書き入力情報が存在しないと判断される場合（ステップＳ０２：ＮＯ）、その他の処理が実行され（ステップＳ０３）、プロセスは、終了する。その他の処理は、例えば、スタイラスペン１８ＡによってＵＮＤＯボタン５０Ａがタッチされた場合は、直前の操作を取り消してもとに戻す処理が実行され、ＲＥＤＯボタン５０Ｂがタッチされた場合は、アンドゥで取り消した操作を再実行する処理が実行され、ＺＯＯＭボタン５０Ｃがタッチされた場合は、拡大表示する処理が実行される。

新規の手書き入力情報が存在すると判断される場合（ステップＳ０２：ＹＥＳ）、表示モードが非共有モードであるか否かが判断される（ステップＳ０４）。

表示モードが非共有モードであると判断される場合（ステップＳ０４：ＹＥＳ）、新規の手書き入力情報は、秘匿情報に設定され（ステップＳ０５）、表示装置１５に表示されることなく、通信部１６によって、ネットワーク３０を経由してヘッドマウントディスプレイ装置２０に送信され（ステップＳ０６）、そして、プロセスは、終了する。

表示モードが非共有モードでない（共有モードである）と判断される場合（ステップＳ０４：ＮＯ）、新規の手書き入力情報は、非秘匿情報に設定され（ステップＳ０７）、新規の手書き入力情報は、非秘匿情報（共有画像４０および以前に入力された共有モードにおける手書き入力情報）と重畳されて表示装置１５に表示され（ステップＳ０８）、プロセスは、終了する。

タブレット端末１０においては、上記のように、非秘匿情報（共有画像４０および共有モードにおける手書き入力情報）は、第三者の閲覧を許容する表示装置１５に表示されるため、当事者（タブレット端末ユーザーを兼ねているＨＭＤユーザー）と同様に、第三者にとっても明瞭に視認することができる。したがって、非秘匿情報を当事者と第三者との間で共有することが可能である。

なお、秘匿情報（手書き入力情報）は、必要に応じ、テキスト化したり、ベクタ形式に変換したりして、ヘッドマウントディスプレイ装置２０に送信することも可能である。

次に、ヘッドマウントディスプレイ装置の動作を説明する。

図１７は、本発明の実施の形態に係る表示方法におけるヘッドマウントディスプレイ装置の表示制御を説明するためのフローチャートである。なお、図１７に示されるフローチャートにより示されるアルゴリズムは、データ記録部２４に表示プログラム２４Ａとして記憶されており、システム制御部２３によって実行される。

まず、ネットワーク３０を経由し、タブレット端末１０から送信された新規の秘匿情報（非共有モードにおける新規の手書き入力情報）が、本体部２２の通信部によって受信され（ステップＳ１１）、また、タブレット端末ユーザーを兼ねているＨＭＤユーザーの視点の位置姿勢に応じて見える現実空間の映像が、ビデオカメラ２１によって取得される（ステップＳ１２）。現実空間の映像には、タブレット端末１０の表示装置１５の画像が含まれている。

そして、新規の秘匿情報および以前に受信された秘匿情報に対する仮想オブジェクト処理が実行される（ステップＳ１３）。これにより、新規の秘匿情報および以前に受信された秘匿情報は、メガネ型表示部２７を透過した現実空間の映像に含まれる非秘匿情報（タブレット端末１０の表示装置１５に表示されている共有画像４０および非共有モードにおける手書き入力情報）に重畳した際に、整合性が確保されるように変換される。

仮想オブジェクト処理によって変換された秘匿情報は、メガネ型表示部２７に表示され（ステップＳ１４）、プロセスは、終了する。この際、タブレット端末ユーザーを兼ねているＨＭＤユーザーは、メガネ型表示部２７を透過した現実空間の映像と、仮想オブジェクト処理によって変換された秘匿情報とが重畳した画像を視認することとなる。つまり、タブレット端末ユーザーを兼ねているＨＭＤユーザーは、非秘匿情報（共有画像４０および共有モードにおける手書き入力情報）および秘匿情報（非共有モードにおける手書き入力情報）がタブレット端末１０の表示装置１５に表示されている映像を視認することが可能である。

ヘッドマウントディスプレイ装置２０においては、上記のように、タブレット端末１０においてスタイラスペン１８Ａを利用して入力された秘匿情報は、タブレット端末１０の表示装置１５に表示されることなく、第三者の閲覧を許容しないメガネ型表示部２７に表示されるため、当事者（タブレット端末ユーザーを兼ねているＨＭＤユーザー）にとって明瞭に視認することができる一方、第三者に対して秘密にされる。したがって、入力された秘匿情報を当事者が占有することが可能である。

次に、入力に関する表示モードの設定動作を説明する。

図１８は、本発明の実施の形態に係る表示方法における表示モード切替制御を説明するためのフローチャートである。なお、図１８に示されるフローチャートにより示されるアルゴリズムは、データ記録部１２にモード切替プログラム１２Ｂとして記憶されており、システム制御部１１によって実行される。

まず、タブレット端末１０の表示装置１５に表示されるツールバー５０の表示モード切替ボタン５０Ｄが、スタイラスペン１８Ａによってタッチされると（ステップＳ２１）、表示モードとして、非共有モードが指定されているか否かが判断される（ステップＳ２２）。

表示モードとして、非共有モードが指定されている（例えば、スタイラスペン１８Ａのタッチ前における表示モードが共有モードであり、スタイラスペン１８Ａによる入力によって共有モードから非共有モードへ切り替えられた）と判断される場合（ステップＳ２２：ＹＥＳ）、表示モードとして、非共有モードが設定され（ステップＳ２３）、プロセスは、終了する。これにより、以後、スタイラスペン１８Ａを利用した手書き入力情報は、秘匿情報に設定され、表示装置１５に表示されることなく、通信部１６によって、ネットワーク３０を経由してヘッドマウントディスプレイ装置２０に送信されることとなる。

例えば、モード切替前の共有モードにおいて手書き入力情報４２が入力されると、手書き入力情報４２は非秘匿情報と判断され、表示装置１５には手書き入力情報４２が表示され（図６参照）、その後、非共有モードとなり、手書き入力情報４４，４６（図７参照）が入力されると、手書き入力情報４４，４６は秘匿情報と判断され、表示装置１５には、手書き入力情報４４，４６が表示されずに、手書き入力情報４２のみが表示された状態が維持される（図６参照）。

表示モードとして、共有モードが指定されている（例えば、スタイラスペン１８Ａのタッチ前における表示モードが非共有モードであり、スタイラスペン１８Ａによる入力によって非共有モードから共有モードへ切り替えられた）と判断される場合（ステップＳ２２：ＮＯ）、表示モードとして、共有モードが設定され（ステップＳ２４）、プロセスは、終了する。

これにより、以後、スタイラスペン１８Ａを利用した手書き入力情報は、非秘匿情報に設定され、表示装置１５に表示されることとなり、ヘッドマウントディスプレイ装置２０に送信されない。

例えば、モード切替前の非共有モードにおいて手書き入力情報４４，４６（図７参照）が入力されると、手書き入力情報４４，４６は秘匿情報と判断され、表示装置１５には、手書き入力情報４４，４６が表示されず、その後、共有モードとなり、手書き入力情報４２が入力されると、手書き入力情報４２は非秘匿情報と判断され、表示装置１５には、手書き入力情報４２のみが表示される（図６参照）。

以上のように、本実施の形態においては、第三者の閲覧を許容する表示部と、第三者の閲覧を許容しない表示部とが独立して設けられ、かつ表示内容が区別されており、非秘匿情報は、第三者の閲覧を許容する表示部に表示されるため、当事者と同様に第三者にとっても明瞭に視認することができ、また、入力された秘匿情報は、第三者の閲覧を許容しない表示部のみに表示されるため、入力された秘匿情報は、第三者に対して秘密にされる。つまり、入力された秘匿情報を当事者が占有する一方、非秘匿情報を当事者と第三者との間で共有することが可能である。

本発明は、上述した実施の形態に限定されるものではなく、特許請求の範囲で種々改変することができる。例えば、第１表示端末は、タブレット端末に限定されず、ノートブックコンピューターを適用したり、デスクトップコンピューターを適用したりすることも可能である。また、第２表示端末は、ヘッドマウントディスプレイ装置に限定されず、カメラ付きタブレット端末やカメラ付き携帯端末を適用することも可能である。

本発明に係る手段、方法およびプログラムは、専用のハードウェア回路によっても実現することも可能である。また、プログラムされた表示端末によって本発明を実現する場合、表示端末を動作させるプログラムは、ＵＳＢメモリーやＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のコンピューター読み取り可能な記録媒体によって提供したり、記録媒体によらず、インターネット等のネットワークを介してオンラインで提供したりすることも可能である。この場合、プログラムは、通常、表示端末のデータ記録部に送信されて記憶される。また、プログラムは、単独のアプリケーションソフトウェアとして提供されてもよいし、表示端末の一機能として、表示端末のソフトウェアに組み込むことも可能である。

１０ タブレット端末、
１１ システム制御部（マイクロプロセッサ）、
１２ データ記録部、
１２Ａ 表示プログラム、
１２Ｂ モード切替プログラム（切換部）、
１２Ｃ ペン属性設定プログラム（ペン属性設定部）、
１２Ｄ 描画処理プログラム、
１３ 操作部、
１４ 表示処理部、
１５ 表示装置、
１６ 通信部（送信および受信部）、
１７ 入力情報処理部、
１８ 入力装置、
１８Ａ スタイラスペン（ペン型ポインティングデバイス）、
１９Ａ，１９Ｂ，１９Ｃ キースイッチ、
２０ ヘッドマウントディスプレイ装置、
２１ ビデオカメラ、
２２ 本体部、
２３ システム制御部（マイクロプロセッサ）、
２４ データ記録部、
２４Ａ 表示プログラム、
２５ 通信部（送信および受信部）、
２６ 画像処理部、
２７ メガネ型表示部、
３０ ネットワーク、
４０ 元画像、
４２，４４，４６ 手書き入力情報、
５０ ツールバー、
５０Ａ ＵＮＤＯボタン、
５０Ｂ ＲＥＤＯボタン、
５０Ｃ ＺＯＯＭボタン、
５０Ｄ 表示モード切替ボタン、
５２ 操作メニュー（ペン属性設定画面）。

Claims (17)

1. 第１および第２表示端末を有する表示システムであって、
   前記第１表示端末は、第１のユーザーの閲覧を許容しない秘匿情報を表示せずに、前記第１のユーザーの閲覧を許容する非秘匿情報を表示する第１の表示部と、表示モードを切り替える切換部と、前記第１の表示部に表示される非秘匿情報および前記非秘匿情報と関連付けられた秘匿情報を入力するための入力装置と、入力された前記秘匿情報を、前記第２表示端末に送信する送信部と、を有し、
   前記第２表示端末は、前記第１のユーザーの閲覧を許容せず、前記第１のユーザーとは異なる第２のユーザーの閲覧を許容する第２の表示部と、入力された前記秘匿情報を受信する受信部と、を有し、
   前記表示モードは、前記入力装置による入力情報を非秘匿情報であると判断する共有モードと、前記入力情報を秘匿情報であると判断する非共有モードとを含み、
   前記第１の表示部は、前記非共有モードにおいて、入力された前記秘匿情報を表示せず、前記共有モードで入力された前記非秘匿情報を表示し、
   前記第２の表示部は、前記非共有モードにおいて、受信された前記秘匿情報を表示する
   ことを特徴とする表示システム。
2. 前記第２表示端末は、前記第１の表示部に表示される非秘匿情報を撮像するための撮像部を、さらに有し、
   前記第２の表示部は、撮像された前記非秘匿情報に基づき、受信された前記秘匿情報が、前記第１の表示部に表示されている前記非秘匿情報と位置合わせされた状態で前記第２のユーザーに視認されるように、受信された前記秘匿情報を表示する
   ことを特徴とする請求項１に記載の表示システム。
3. 前記第２の表示部は、光学透過型であり、前記秘匿情報を、前記第２の表示部を透過して視認される前記非秘匿情報に位置合わせして表示することを特徴とする請求項２に記載の表示システム。
4. 前記第２の表示部は、ビデオ透過型であり、撮像された前記非秘匿情報と前記秘匿情報とを位置合わせして合成した画像を表示することを特徴とする請求項２に記載の表示システム。
5. 前記入力情報は、前記第１の表示部に手書きで描かれる軌跡によって入力される手書き入力情報に基づいていることを特徴とする請求項１〜４のいずれか１項に記載の表示システム。
6. 前記第１表示端末の前記入力装置は、ペン型ポインティングデバイスを有し、
   前記軌跡は、前記ペン型ポインティングデバイスを利用して描かれる
   ことを特徴とする請求項５に記載の表示システム。
7. 前記第２表示端末は、ヘッドマウントディスプレイ装置であることを特徴とする請求項１〜６のいずれか１項に記載の表示システム。
8. 第１および第２表示端末を有する表示システムに適用される表示方法であって、
   前記第１表示端末における、第１のユーザーの閲覧を許容しない秘匿情報を表示せずに、前記第１のユーザーの閲覧を許容する非秘匿情報を表示する第１の表示部に、非秘匿情報を表示させるステップ（Ａ）、
   前記第１表示端末の入力装置によって、前記第１の表示部に表示される前記非秘匿情報および前記非秘匿情報と関連付けられた秘匿情報が入力されるステップ（Ｂ）、
   入力された前記秘匿情報を、前記第１の表示部に表示することなく、前記第１表示端末の送信部によって、前記第２表示端末に送信するステップ（Ｃ）、
   前記第２表示端末の受信部によって、前記第１表示端末からの前記秘匿情報を受信するステップ（Ｄ）、
   前記第２表示端末における、前記第１のユーザーの閲覧を許容せず、前記第１のユーザーとは異なる第２のユーザーの閲覧を許容する第２の表示部に、受信した前記秘匿情報を表示するステップ（Ｅ）、および、
   前記第１表示端末の切換部によって、前記入力装置による入力情報を非秘匿情報であると判断する共有モードと、前記入力情報を秘匿情報であると判断する非共有モードとの間で、表示モードを切り替えるステップ（Ｆ）を有し、
   前記非共有モードにおいて、入力された前記秘匿情報は前記第１の表示部に表示されず、前記共有モードで入力された前記非秘匿情報が第１の表示部に表示され、かつ、受信された前記秘匿情報が前記第２の表示部に表示されることを特徴とする表示方法。
9. 前記ステップ（Ｅ）において、前記第２表示端末の撮像部によって記第１の表示部に表示される非秘匿情報を撮像し、そして、撮像された前記非秘匿情報に基づき、受信された前記秘匿情報が、前記第１の表示部に表示されている前記非秘匿情報と位置合わせされた状態で前記第２のユーザーに視認されるように、前記第２の表示部に、受信された前記秘匿情報を表示することを特徴とする請求項８に記載の表示方法。
10. 前記第２の表示部は、光学透過型であり、
    前記秘匿情報を、前記第２の表示部を透過して視認される前記非秘匿情報に位置合わせして表示することを特徴とする請求項９に記載の表示方法。
11. 前記第２の表示部は、ビデオ透過型であり、
    撮像された前記非秘匿情報と前記秘匿情報とを位置合わせして合成した画像を表示することを特徴とする請求項９に記載の表示方法。
12. 前記入力情報は、前記第１の表示部に手書きで描かれる軌跡によって入力される手書き入力情報に基づいていることを特徴とする請求項８〜１１のいずれか１項に記載の表示方法。
13. 前記第１表示端末の前記入力装置は、ペン型ポインティングデバイスを有し、
    前記軌跡は、前記ペン型ポインティングデバイスを利用して描かれることを特徴とする請求項１２に記載の表示方法。
14. 前記第２表示端末は、ヘッドマウントディスプレイ装置であることを特徴とする請求項８〜１３のいずれか１項に記載の表示方法。
15. 表示システムに適用される表示端末であって、
    第１のユーザーの閲覧を許容しない秘匿情報を表示せずに、前記第１のユーザーの閲覧を許容する非秘匿情報を表示する第１の表示部と、
    表示モードを切り替える切換部と、
    前記第１の表示部に表示される非秘匿情報および前記非秘匿情報と関連付けられた秘匿情報を入力するための入力装置と、
    入力された前記秘匿情報を、第２の表示端末である端末装置に送信する送信部と、を有し、
    前記表示モードは、前記入力装置による入力情報を非秘匿情報であると判断する共有モードと、前記入力情報を秘匿情報であると判断する非共有モードとを含み、
    前記第１の表示部は、前記非共有モードにおいて、入力された前記秘匿情報を表示せず、前記共有モードで入力された前記非秘匿情報を表示し、
    前記端末装置は、前記第１のユーザーの閲覧を許容せず、前記第１のユーザーとは異なる第２のユーザーの閲覧を許容する第２の表示部と、
    前記送信部からの前記秘匿情報を受信する受信部と、を有し、
    前記第２の表示部は、前記非共有モードにおいて、受信された前記秘匿情報を表示する
    ことを特徴とする表示端末。
16. 前記入力情報は、前記第１の表示部に手書きで描かれる軌跡によって入力される手書き入力情報に基づいていることを特徴とする請求項１５に記載の表示端末。
17. 前記入力装置は、ペン型ポインティングデバイスを有し、
    前記軌跡は、前記ペン型ポインティングデバイスを利用して描かれる
    ことを特徴とする請求項１６に記載の表示端末。