JP7608874B2 - 表示装置、表示方法、プログラム - Google Patents

Description

本発明は、表示装置、表示方法、及び、プログラムに関する。

手書き認識技術を利用し、手書きデータを文字に変換して、ディスプレーに表示する表示装置が知られている。比較的大型のタッチパネルを備えた表示装置は会議室や公共施設などに配置され、複数のユーザーにより電子黒板などとして利用される。

表示装置は手書きデータに基づいて、表の入力を受け付けることができる（例えば特許文献１参照。）。特許文献１には、操作メニューを操作することで表の行や列を削除する方法が開示されている。

しかしながら、従来の技術は、手書きデータで行や列を選択することができないという問題がある。例えば、特許文献１にはユーザーが手書きデータで表を作成する方法が開示されているが、行や列を手書きデータで選択する方法については開示されていない。

本発明は、上記課題に鑑み、手書きデータで行や列を選択することができる表示装置を提供することを目的とする。

上記課題に鑑み、本発明は、手書きで作成された表を表示する表示装置であって、入力手段により手書きデータの入力を受け付ける受付手段と、前記表の行又は列の選択を前記手書きデータにより受け付ける選択受付手段と、前記選択受付手段により前記表の行又は列が選択された場合、ユーザー操作に応じて、選択された前記表の行又は列に関する前記表の編集を行う制御手段と、を有し、前記制御手段は、前記選択受付手段が選択を受け付けた行又は列の付近に行又は列を追加するためのボタンを表示し、前記受付手段が前記ボタンの押下を受け付けた場合、前記選択受付手段が選択を受け付けた行又は列の前又は後に、行又は列を追加する。

本発明は、手書きデータで行や列を選択することができる表示装置を提供できる。

表示装置が表の入力を受け付ける操作例を示す図である。 行の選択方法を説明する図である。 表示装置の概略斜視図の一例である。 表示装置のハードウェア構成図の一例である。 表示装置が有する機能をブロック状に分けて説明する機能ブロック図の一例である。 描画オブジェクト管理部が保持する描画オブジェクト情報を模式的に示す図の一例である。 行オブジェクト情報を模式的に示す図の一例である。 表が有する行の選択方法を説明する図の一例である。 表オブジェクトの任意の行の選択を受け付ける手順を示す一例のフローチャート図である。 ユーザーが矢印で行を選択する方法を説明する図の一例である。 表オブジェクトの任意の行の選択を受け付ける手順を示す一例のフローチャート図である。 ボタンが表示された表の一例を示す図である。 行の追加前と追加後の一例の表オブジェクト情報を示す図である。 表示装置が行の追加を受け付ける処理を説明するフローチャート図の一例である。 手書きデータで表に行を追加する方法を説明する図の一例である。 表示装置が行の追加を受け付ける処理を説明するフローチャート図の一例である。 行の追加前と追加後の一例の描画オブジェクト情報を示す図である。 挿入記号の手書きデータで行を追加する方法を説明する図の一例である。 表示装置が行の追加を受け付ける処理を説明するフローチャート図の一例である。 行の追加前と追加後の一例の描画オブジェクト情報を示す図である。 行の削除方法を説明する図の一例である。 表示装置が行の削除を受け付ける処理を説明するフローチャート図の一例である。 削除前と削除後の表オブジェクト情報を説明する図の一例である。 手書きデータで行を削除する方法を説明する図の一例である。 表示装置が行の削除を受け付ける処理を説明するフローチャート図の一例である。 削除前と削除後の一例の表オブジェクト情報を説明する図である。 手書きデータで行を削除する方法を説明する図の一例である。 表示装置が行の削除を受け付ける処理を説明するフローチャート図の一例である。 削除前と削除後の一例の描画オブジェクト情報を説明する図である。 行のコピー又は移動方法を説明する図の一例である。 表示装置が行の移動を受け付ける手順を示すフローチャート図の一例である。 移動前と移動後の一例の描画オブジェクト情報を示す図である。 手書きデータで行を移動する方法を説明する図の一例である。 表示装置が行の移動を受け付ける処理を説明するフローチャート図の一例である。 移動前と移動後の一例の描画オブジェクト情報を示す図である。 手書きデータで行を移動する方法を説明する図の一例である。 表示装置が行の移動を受け付ける処理を説明するフローチャート図の一例である。 行の移動前と移動後の一例の描画オブジェクト情報を示す図である。 表の分割方法を説明する図の一例である。 表示装置が表の分割を受け付け、表を分割する手順を示すフローチャート図である。 表の分割前と分割後の描画オブジェクト情報を説明する図の一例である。 表示装置の他の構成例を示す図である。 表示装置の他の構成例を示す図である。 表示装置の他の構成例を示す図である。 表示装置の他の構成例を示す図である。

以下、本発明を実施するための形態の一例として表示装置２と、表示装置２が行う表示方法について図面を参照しながら説明する。

＜表の編集方法の比較例＞
本実施形態の表の編集方法を説明するに当たり、表の編集方法の比較例を説明する。なお、比較例は従来技術とは限らないことに注意されたい。

ユーザーが電子ペンなどで表を編集する場合、何らかのメニューを操作する方法が検討される。この場合、例えば、以下のような操作が必要となる。
・行の挿入の場合、ユーザーは挿入したい行を選択し、長押しで編集メニューを表示させる。ユーザーは編集メニューから「挿入」を選択する。
・行の削除の場合、ユーザーは削除したい行を選択し、長押しで編集メニューを表示させる。ユーザーは編集メニューから「削除」を選択する。
・行の移動の場合、ユーザーは移動したい行を選択し、長押しで編集メニューを表示させる。ユーザーは編集メニューから「切り取り」を選択する。次に、ユーザーは移動先の行を選択し、長押しで編集メニューを表示させる。ユーザーは編集メニューから「切り取った行の挿入」を選択する。

このように、編集のためにユーザーがメニューを繰り返し選択するので、メニューの操作が煩雑になり、操作性が低下するおそれがある。

＜表の作成方法＞
続いて、本実施形態の表示装置２における表の選択方法を説明する。まず、図１を参照して、表の作成手順を説明する。図１は、表示装置２が表の入力を受け付ける操作例を示す。
(1) ユーザーは表を入力するためのアイコン３０１を押下する（図１（ａ））。
(2) ユーザーは、フリーハンドで表３０２を手書きする。すなわち、ユーザーは手書きデータで表を作成する。
(3) 表示装置２は手書きデータを認識し、表３０３に変換する（図１（ｂ））。すなわち、表示装置２は、縦と横、複数の平行な直線で形成される表３０３を表示する。

このような表３０３に対し、本実施形態の表示装置２は、ユーザーが手書きデータで表を編集することができる。以下は、編集操作の流れである。
(1) ユーザーが手書きデータで表の一部を選択する。
(2) ユーザーが表の任意の行（列）を選択すると、ユーザーは簡単な操作で該行（列）の上（左）又は下（右）に行(列)を追加できる。
(3) 同様に、表の任意の行（列）を選択すると、ユーザーは簡単な操作で該行（列）を削除できる。
(4) 同様に、表の任意のＸ行（列）を選択すると、ユーザーは簡単な操作で任意のＹ行（列）目に移動できる。
(5) 同様に、表の任意のＸ行（列）を選択すると、ユーザーは簡単な操作で表の外の任意の位置にＸ行（列）を抜き出して表示できる。

図２は、行の選択方法を説明する図である。一例として、図２（ａ）に示すように、ユーザーは任意の行を手書きデータの枠３０４で囲むことで選択できる。表示装置２は、囲まれた枠３０４内の領域に行オブジェクトがあるか否かを判断する。領域内のオブジェクトが行であった場合、図２（ｂ）に示すように、表示装置２は大阪の行を選択状態にする。

選択状態は、表示装置２が選択された行を強調して、ユーザーに認識させる状態である。また、表示装置２は選択された行に対する操作を待ち受ける状態となる。後述するように、ユーザーはメニューを経由しないか最小限のメニュー操作で、電子ペンなどの入力手段を用いた手書きデータの入力で、表を編集できる。例えば、ユーザーは選択状態の行の前後に行を追加したり、選択状態の行を削除したり、移動したりすることができる。列についても同様である。なお、ユーザーが行又は列を選択状態にすることは必須でない。

このように、本実施形態の表示装置２は、選択された行又は列について、ユーザー操作に応じて、行や列の追加、移動、又は、削除などの編集を手書きデータで実行することができるので、操作性を向上させることができる。

＜用語について＞
入力手段とはタッチパネルに座標を指定して手書きが可能な手段であればよい。例えば、ペン、人の指や手、棒状部材などがある。

ユーザーがディスプレーに入力手段を押しつけてから連続的に移動させた後、ディスプレーから離すという一連の操作をストロークという。ストロークデータとは、入力手段により入力される座標の軌跡に基づいてディスプレーに表示される情報である。ストロークデータは適宜、補間されてよい。手書きデータとは、１つ以上のストロークデータを有するデータである。手書き入力とは、ユーザーによって、手書きデータが入力されることを示している。

ストロークデータに基づいてディスプレーに表示される表示物をオブジェクトという。オブジェクトとは対象という意味であるが、本実施形態では表示対象などの意味である。
手書きデータが文字認識して変換された文字列には、テキストデータの他、「済」などの決まった文字やマークとして表示されるスタンプ、円や星などの図形、直線等、ユーザーの操作に基づいて表示されたデータも含まれてよい。

文字列とは手書きデータから文字認識により変換された１つ以上の文字コード（フォント）である。文字列は、コンピュータで扱われる1つ以上の文字でよい。文字には、数字、アルファベット、及び、記号等が含まれる。文字列はテキストデータとも言われる。

表示部品とは、画面を形成する色や形などの表示である。部品として表示装置２から分解できるものではなく、人間が視覚的に他と区別して認識できればよい。例えば、操作のためのメニューは表示部品である。

表とは情報を配列により書き表したものをいう。表は、テーブルとも呼ばれる。表は、横方向と縦方向のセルを有する。横方向に並んでいるセルを「行」と呼び、縦方向に並んでいるセルを「列」と呼ぶ。

編集とは、著作物の修正、追加、又は、削除などをいう。本実施形態では、主に表に関する操作をいう。例えば、行（列）の追加、削除、移動、コピー、表の分割などがある。

＜構成例＞
図３は、表示装置２の概略斜視図の一例を示す。表示装置２をユーザー（利用者）が利用している。本実施形態の表示装置２は、ユーザーが手又は電子ペン２５００などの入力手段でディスプレー上に手書きを行うことができる。
図３の表示装置２は横置きされているが、縦置きすることも可能である。ユーザーは表示装置２をディスプレーの中心を軸に回転させて、横置きと縦置きを切り替えることができる。

＜ハードウェア構成例＞
図４は、表示装置２のハードウェア構成の一例を示す図である。本実施形態の表示装置２は、ＣＰＵ(Central Processing Unit)２０１、ＲＯＭ(Read Only Memory)２０２、ＲＡＭ(Random Access Memory)２０３、ＳＳＤ(Solid State Drive)２０４、ネットワークコントローラ２０５、及び、外部機器接続Ｉ／Ｆ２０６(Interface)を備えており、複数の利用者により情報を共有するための共有端末である。

これらのうち、ＣＰＵ２０１は、表示装置２全体の動作を制御する。ＲＯＭ２０２は、ＣＰＵ２０１やＩＰＬ(Initial Program Loader)等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。

ＳＳＤ２０４は、表示装置２用のプログラム等の各種データを記憶する。このプログラムは汎用的なＯＳ(Windows（登録商標）、Mac OS（登録商標）、Android（登録商標）、iOS（登録商標）等)を搭載した情報処理装置で動作するアプリケーションプログラムでもよい。この場合、表示装置２は、普段は汎用的な情報処理端末として利用されるが、ユーザーがインストールされアプリケーションプログラムを実行すると、表示装置としての専用機と同様、ユーザーが手書き等することができる。

ネットワークコントローラ２０５は、ネットワークとの通信を制御する。外部機器接続Ｉ／Ｆ２０６は、ＵＳＢ(Universal Serial Bus)メモリ２６００、外付け機器（カメラ２９００、スピーカ２８００、マイク２７００）との通信を制御する。

また、表示装置２は、キャプチャデバイス２１１、ＧＰＵ２１２、ディスプレイコントローラ２１３、接触センサ２１４、センサコントローラ２１５、電子ペンコントローラ２１６、近距離通信部２１９、及び近距離通信部２１９のアンテナ２１９ａを備えている。

これらのうち、キャプチャデバイス２１１は、ＰＣ１０のディスプレーに対して映像情報を静止画又は動画として表示させる。ＧＰＵ(Graphics Processing Unit)２１２は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ２１３は、ＧＰＵ２１２からの出力画像をディスプレー２２０等へ出力するために画面表示の制御及び管理を行う。

接触センサ２１４は、ディスプレー２２０上に電子ペン２５００やユーザーの手Ｈ等が接触したことを検知する。電子ペン２５００と手Ｈを区別しない場合、入力手段２９１という。

センサコントローラ２１５は、接触センサ２１４の処理を制御する。接触センサ２１４は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレー２２０の上側両端部に設置された２つ受発光装置が、ディスプレー２２０に平行して複数の赤外線を放射し、ディスプレー２２０の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法であっても良い。

接触センサ２１４は、物体によって遮断された２つの受発光装置が放射した赤外線のＩＤをセンサコントローラ２１５に出力し、センサコントローラ２１５が、物体の接触位置である座標位置を特定する。電子ペンコントローラ２１６は、電子ペン２５００と通信することで、ディスプレー２２０へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信部２１９は、ＮＦＣ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。

更に、表示装置２は、バスライン２１０を備えている。バスライン２１０は、ＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

なお、接触センサ２１４は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いても良い。また、電子ペンコントローラ２１６が、電子ペン２５００のペン先及びペン尻だけでなく、電子ペン２５００のユーザーが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしても良い。

＜機能について＞
次に、図５を用いて表示装置２の機能について説明する。図５は、表示装置２が有する機能をブロック状に分けて説明する機能ブロック図の一例である。表示装置２は、接触位置検出部４０、描画データ生成部４１、描画オブジェクト管理部４２、表オブジェクト管理部４３、オブジェクト選択部４４、表示制御部４５、会議データ記憶部４６、ネットワーク通信部４７、記号認識部４８、及び プレビュー画像生成部４９を有している。表示装置２が有する各機能は、図４に示されている各構成要素のいずれかが、ＳＳＤ２０４からＲＡＭ２０３上に展開されたプログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能又は手段である。

接触位置検出部４０は、入力手段２９１の先端がディスプレーに接触したため接触センサ２１４が検出した座標を検出する。描画データ生成部４１は入力手段２９１の先端が接触した座標を接触位置検出部４０から取得する。描画データ生成部４１はこの座標点列を補間することで接続して、ストロークデータを生成する。また、描画データ生成部４１は、手書きデータに基づいて記号認識部４８が認識した円や矩形等の図形を生成する。

描画オブジェクト管理部４２は、描画データ生成部４１が生成した手書きデータの領域、円や矩形等の図形の領域、及び、表など領域を描画オブジェクトとして、描画オブジェクトＩＤを付与するなどにより、これらの領域を管理する。また、描画オブジェクト管理部４２は、各描画オブジェクトの表示位置（座標）も管理する。表オブジェクトは、描画オブジェクト管理部４２により描画オブジェクトＩＤや表示位置を管理されるが、表オブジェクト管理部４３は表内に記載される行や列のオブジェクトを管理する。表オブジェクト管理部４３は表内の手書きデータや文字列を管理したり、行や列の順番を入れ替えたり等、表に特有の処理を行う。

オブジェクト選択部４４は手書きデータで形成された領域、又は、矢印など所定の形状の手書きデータで選択される行又は列の選択を受け付ける。オブジェクト選択部４４はセルの選択を受け付けてもよい。オブジェクト選択部４４は、オブジェクトを選択状態にする。

表示制御部４５は、手書きデータ、文字列、表、及び、操作メニュー等をディスプレーに表示する。ネットワーク通信部４７はＬＡＮやインターネット等のネットワークに接続して、他の機器とネットワークを介したデータの送受信を行う。

会議データ記憶部４６は会議で使用された資料（ファイル）、手書きデータ、画像データ、及び、文字列等をハードディスク等の記憶装置に記憶させる。

プレビュー画像生成部４９は、行の移動結果や表の分割結果などを、表オブジェクト管理部４３が実際に移動又は分割する前に、プレビューデータ画像として表示する。

＜描画オブジェクト情報、行オブジェクト情報＞
図６は描画オブジェクト管理部４２が保持する描画オブジェクト情報を模式的に示す。描画オブジェクト情報は、表示装置２が表示する描画オブジェクトを管理する情報である。

・描画オブジェクトＩＤは描画オブジェクトを識別する識別情報である。描画オブジェクトは画面に表示されている各種の表示物の全てをいう。図６の描画オブジェクトＩＤ＝００１の描画オブジェクトは、１つの表の各行である。図６の最下行の描画オブジェクトＩＤが００２になっているのは、表に手描きされた囲み線や矢印の手書きデータを表している。

・行オブジェクトＩＤは描画オブジェクトが表であり、その中の行オブジェクトに設定されるものであり、行オブジェクトを識別する識別情報である。行オブジェクトは１つの表の中の１行である。列オブジェクトについても同様に列オブジェクトＩＤが付与される。

・起点座標は、表示装置２の画面の所定の原点を基準として描画オブジェクトの起点の位置を示す。描画オブジェクトの起点は例えば描画オブジェクトの外接矩形の左上の角である。座標は例えば、ディスプレーの画素単位で表される。

・終点座標は、表示装置２の画面の所定の原点を基準として描画オブジェクトの終点の位置を示す。描画オブジェクトの終点は例えば描画オブジェクトの外接矩形の右下の角である。

・オブジェクトのタイプは描画オブジェクトの種類である。例えば、表（行又は列）、手書き、文字列、図形、画像、等がある。表（行）は行オブジェクトを示す。手書きはストロークデータ（座標点列）である。文字は手書きデータから変換された文字列（文字コード）である。文字列をテキストデータという場合もある。図形は、三角や四角など手書きデータから変換された幾何学的な形状である。画像は、ＰＣやインターネットなどから取り込まれたＪｐｅｇ、Ｐｎｇ、Ｔｉｆｆなどの画像データである。

図７は、行オブジェクト情報を模式的に示す。行オブジェクト情報は描画オブジェクトから行オブジェクトのみを取り出した情報である。

・行オブジェクトＩＤは表の中の行（又は列）を識別する識別情報である。

・起点座標は１行の起点の座標である。

・終点座標は１行の終点の座標である。

＜表の行又は列の選択＞
図８は、表が有する行の選択方法を説明する図である。まず、図８を参照して、描画オブジェクト管理部４２が管理する行オブジェクトの表示位置について説明する。ディスプレーの表示画素の位置は、表示領域の左上の角にある画素位置を原点として、右方向をＸ軸の正の方向、下方向をＹ軸の正の方向とした表示座標で表現する。

すなわち、
座標＝（原点位置の画素からのＸ軸方向の画素数，原点位置の画素からのＹ軸方向の画素数）
である。

また、描画オブジェクト管理部４２は描画オブジェクトの領域を描画オブジェクトに外接する矩形で管理し、この矩形領域の左上の角にある画素位置を起点座標、矩形領域の右下の角にある画素位置を終点座標とする。行オブジェクトの場合、行の外接矩形の左上の角を起点座標（Sxk，Syk）、外接矩形の右下の角を終点座標（Exk，Eyk）とする。ここでｋは１行目から順番に付与される行番号である。例えば、選択された行をｍ行とすれば、起点座標が（Sxm，Sym）、終点座標が（Exm，Eym）である。

タッチパネルの接触座標の間隔はディスプレーの表示座標の間隔と同じであり、両者の座標は一致しているものとする。

図８（ａ）に示すように、表示装置２が表を表示している。ユーザーがオブジェクト選択アイコンを選択すると、接触位置検出部４０が検出する座標により、描画オブジェクト管理部４２がオブジェクト選択モードであると判断する。オブジェクト選択アイコンの押下は必ずしも必要ない。

ユーザーは手書きで支店の項目が大阪の行を枠３０４で囲む。オブジェクト選択部４４は接触位置検出部４０が検出した枠３０４の座標から最下端３１１、最左端３１２、最上端３１３、最右端３１４の座標を算出し、手書きで描いた枠３０４が大阪の行を囲んだと判断する（詳細はフローチャート図で説明する）。そして、オブジェクト選択部４４は大阪の行を選択状態にする。なお、図８（ａ）では１行のみが選択されているが、ユーザーは複数行を選択することができる。

選択の詳細を図９のフローチャートで説明する。図９は、表オブジェクトの任意の行の選択を受け付ける手順を示すフローチャート図である。図８（ａ）の札幌から順に行オブジェクトＩＤを1、２、…nとする。ユーザーが手書きデータで囲んだm行目の行の外接矩形における左上の角の座標を起点座標(Sxm, Sym)とし、右下の座標を終点座標(Exm, Eym)とする。

まず、図９の処理の概略は以下のとおりである。ユーザーがオブジェクト選択モードで行を囲むと、オブジェクト選択部４４は接触位置検出部４０が検出した座標から、ストロークデータで囲んだ領域がｋ行目よりd小さい領域を包括するか判断する。ｄはストロークデータが１つの行を完全に囲んでいない場合でも行の選択を可能にするためのマージンである。ストロークデータで囲まれた領域がｋ行目よりd小さい領域を包括するとオブジェクト選択部４４が判断した場合、その行を選択状態にする。オブジェクト選択部４４は、この処理をk=1からn行目まで繰り返す。

図８（ａ）では大阪の行が選択されているので、図８（ｂ）では大阪の行が選択状態である。オブジェクト選択部４４は大阪の行の色を変えたり、線３０５で囲んだりすることで強調する。

図９について説明する。オブジェクト選択部４４は変数ｋに１を設定する（Ｓ１）。ｋは行番号を表す。オブジェクト選択部４４は終了条件（ｋ≦ｎがNo）を満たすか否かを判断する（Ｓ２）。ｎは表が有する行数である。終了条件により、最後の行まで手書きデータで囲まれたか否かの判断が終了したことが判断される。

終了条件を満たさない場合、オブジェクト選択部４４は最上端３１３の座標がSyk+dより大きいか否かを判断する（Ｓ３）。

同様に、オブジェクト選択部４４は最下端３１１の座標がEyk－dより小さいか否かを判断する（Ｓ４）。

オブジェクト選択部４４は最右端３１４の座標がExk－dより大きいか否かを判断する（Ｓ５）。

オブジェクト選択部４４は最左端３１２の座標がSxk+dより小さいか否かを判断する（Ｓ６）。

ステップＳ３～Ｓ６が全てＹｅｓの場合（Ｓ７のＹｅｓ）、オブジェクト選択部４４はｋ行目を選択状態にする（Ｓ８）。

ステップＳ７において、ステップＳ３～Ｓ６のうち１つでもＮｏの場合、オブジェクト選択部４４はｋを１つ大きくする（Ｓ９）。すなわち、オブジェクト選択部４４は、次の行が選択されたかどうかを判断する。

なお、図９のように全ての行について選択されたかどうかをオブジェクト選択部４４が判断するのでなく、ストロークデータの外接矩形が重なっている行のみを判断してもよい。

このように、ユーザーは行をストロークデータで囲むという簡単な方法で行を選択できる。

＜行の選択方法の別の例＞
行を選択する方法としては、ユーザーが行をストロークデータで囲む方法以外にも、行の隣に矢印を書く方法でもよい。

図１０は、ユーザーが矢印で行を選択する方法を説明する図である。図１０（ａ）に示すようにユーザーは支店の項目が大阪の行の隣に、大阪に向かって矢印３２０を手書きする。矢印３２０の外接矩形における左上の角の座標を起点座標(Sxp, Syp)とし、右下の角の座標を終点座標(Exp, Eyp)とする。

また、枠から距離Ｌの範囲が、ユーザーが行を選択する記号を手書きする範囲（記号の検出範囲）として予め定められている。ユーザーが選択された行とは関係なく手書きしたい場合があるためである。また、図１０（ａ）では表の左隣に矢印が手書きされているが、表の右隣から距離Ｌの範囲も記号の検出範囲でよい。

オブジェクト選択部４４は描画オブジェクト情報に基づいて、手書きデータが矢印であり、かつ、大阪の行の隣であると判断すると、大阪の行を選択状態にする（図１０（ｂ））。

図１１は、表オブジェクトの任意の行の選択を受け付ける手順を示すフローチャート図である。

ユーザーが大阪の行隣に矢印３２０を手書きすると、オブジェクト選択部４４はオブジェクト情報記憶部から描画オブジェクトの座標と大きさを取得し、表から距離Ｌ以内に手書きデータがあるか否かを判断する（Ｓ１１）。図６を例にすると、描画オブジェクトとして描画オブジェクトＩＤ＝００２の矢印が、表だけの描画オブジェクトに追加された状態となる。

次に、表オブジェクト管理部４３は手書き線が矢印３２０かどうかの判断を行う（Ｓ１２）。すなわち、表オブジェクト管理部４３は、選択された行の付近の手書きデータが予め定められている記号に認識されたかどうかを判断する。

矢印３２０の場合、オブジェクト選択部４４は変数ｋに１を設定する（Ｓ１３）。ｋは行番号を表す。なお、手書きデータの認識は記号認識部４８が行う。矢印は一例であって、チェックマークなど各種の記号が選択用の記号として設定されていてよい。

オブジェクト選択部４４は終了条件（ｋ≦ｎでＮｏ）を満たすか否かを判断する（Ｓ１４）。ｎは表が有する行数である。

終了条件を満たさない場合、オブジェクト選択部４４は、矢印の中心y座標(Syp+Eyp)/2が、選択されている行の高さに相当するSymとEymの間にあるか否かを判断する（Ｓ１５）。

ステップＳ１５の判断がＹｅｓである場合、オブジェクト選択部４４はk行目を選択状態にする（Ｓ１７）。

ステップＳ１５の判断がＮｏである場合、オブジェクト選択部４４はkを１つ大きくし、ステップＳ１４に戻る（Ｓ１６）。

このように、ユーザーは行の横に記号を手書きすることで、任意の行を選択状態にできる。

なお、図１１のように全ての行について選択されたかどうかをオブジェクト選択部４４が判断するのでなく、ストロークデータのＹ座標が重なっている行のみを判断してもよい。

＜行の追加方法 その１＞
ユーザーが行を選択状態にすると、大阪の行の前後に、表示制御部４５が行を追加するためのボタンや削除するためのボタンを表示する。

図１２（ａ）は、ボタン３２１～３２３が表示された表の一例を示す。選択された大阪の行の右側に３つのボタン３２１～３２３が表示される。ボタン３２１～３２３の位置は図示する位置に限られない。ボタン３２１～３２３は選択されている行の付近にあればよい。

ボタン３２１は選択されている行の上にユーザーが行を追加するためのボタンである。ボタン３２３は選択されている行の下にユーザーが行を追加するためのボタンである。ボタン３２２は選択されている行をユーザーが削除するためのボタンである。

ユーザーがボタン３２１を押下すると、表オブジェクト管理部４３は大阪の行の上に行を追加して表示する(図１２（ｂ）))。表オブジェクト管理部４３は追加された行に新しい行オブジェクトＩＤを、１行目から連番で設定する。したがって、追加された行がｍ行目となり、選択された行以下の行オブジェクトＩＤは１つずつ増える。

図１３は、行の追加前と追加後の表オブジェクト情報を示す。図１３（ａ）は行の追加前の表オブジェクト情報であり、図１３（ｂ）は行の追加後の表オブジェクト情報である。ｍ行目が追加された行に相当する。行が追加されたため、行数がｎからｎ＋１に１つ増えている。

図１４は、表示装置２が行の追加を受け付ける処理を説明するフローチャート図の一例である。

まず、図９，図１１で説明したように、オブジェクト選択部４４がｍ行目を選択状態にする（Ｓ２１）。

これにより、表示制御部４５がｍ行目に行を追加するボタン３２１とｍ行目の後（ｍ＋１行目）に行を追加するボタン３２３を表示する（Ｓ２２）。ボタン３２２も表示されるが、詳細は後述する。

表オブジェクト管理部４３は、接触位置検出部４０が検出する入力手段２９１の接触位置に応じて、行を追加するボタン３２１が押下されたと判断する（Ｓ２３）。

表オブジェクト管理部４３は表の最後に空白の１行を追加する（Ｓ２４）。

また、押下されたボタン３２１がｍ行目に行を追加するためのボタン３２１であった場合（Ｓ２５のＹｅｓ）、表オブジェクト管理部４３は最終行を設定するため、変数ｋにｎを設定する（Ｓ２６）。ｋは行番号を表す。

押下されたボタン３２３がｍ＋１行目に行を追加するためのボタン３２３であった場合（Ｓ２５のＮｏ）、表オブジェクト管理部４３はｍを１つ大きくする（Ｓ２７）。これは、１行早くコピー処理を終了するためである。

表オブジェクト管理部４３は終了条件（ｍ≦ｋでＮｏ）を満たすか否かを判断する（Ｓ２８）。この終了条件は、コピー処理の対象行（変数ｋ）が選択行ｍより大きいかどうかを判断している。

終了条件を満たさない場合、表オブジェクト管理部４３は、ｋ行目の描画オブジェクトをｋ＋１行目にコピーする（Ｓ２９）。ｋ行目の描画オブジェクトは消去される。

そして、表オブジェクト管理部４３はｋを１つ小さくして（Ｓ３０）、ステップＳ２８から処理を繰り返す。

したがって、ｋ＝n, n－1, n－2, …, m（又はm+1）になるまで、１つ上の行の描画オブジェクトが１つ下の行にコピーされる。

このように、ユーザーは行を手書きデータで囲んでボタン３２１，３２３を押下することで行を追加できる。

＜行の追加方法 その２＞
次に、図１５を参照して、行の追加方法（その２）を説明する。図１５は手書きデータで表に行を追加する方法を説明する図である。

図１５（ａ）に示すように、大阪の行が選択状態であるとする。次に、ユーザーが所定のマーク（ここでは＋マーク３２５）を大阪の行の高さの半分より上に手書きする（図１５（ｂ））。＋マーク３２５の外接矩形における左上の角の座標を（Sxp,Syp）とし、右下の角の座標を（Exp,Eyp）とする。

表オブジェクト管理部４３は手書きデータが＋マーク３２５であるか否かを判断する。＋マーク３２５の場合、表オブジェクト管理部４３は、書き込まれた位置が選択されている大阪の行の半分より上か又は下か判断する。大阪の行の半分より上に書き込まれたと判断された場合、表オブジェクト管理部４３は大阪の行の上に行を追加して表示する（図１５（ｃ））。大阪の行の半分より下に書き込まれたと判断された場合、表オブジェクト管理部４３は大阪の行の下に行を追加して表示する。

図１６は、表示装置２が行の追加を受け付ける処理を説明するフローチャート図の一例である。図１６の説明では主に図１４との相違を説明する。図１６ではボタン３２１、３２３でなく＋マーク３２５の手書きデータで行が追加される。

オブジェクト選択部４４がｍ行目を選択状態にする（Ｓ３１）。

ユーザーが大阪の行と名古屋の行の境界に＋マーク３２５を手書きすると、オブジェクト選択部４４はオブジェクト情報記憶部から描画オブジェクトの座標と大きさを取得し、表から距離Ｌ以内に手書きデータがあるかを判断する（Ｓ３２）。

次に、表オブジェクト管理部４３は、記号認識部４８が＋マーク３２５を認識したかどうかの判断を行う（Ｓ３３）。＋マーク３２５は一例であって、他の記号が行の追加用に設定されていてよい。

＋マーク３２５が手書きされると、表オブジェクト管理部４３は表の最後に空白の１行を追加する（Ｓ３４）。

次に、表オブジェクト管理部４３は、＋マークの中心y座標(Syp+Eyp)/2がm行目の高さの中心(Sym+Eym)/2より大きいか判断する（Ｓ３５）。表オブジェクト管理部４３は、単に大きいか小さいかだけでなく、選択行の高さ方向に対し上限と下限を設けて＋マーク３２５がある場所を判断してよい。

ステップＳ３５の判断がＮｏの場合、表オブジェクト管理部４３はｍを１つ大きくする（Ｓ３６）。

ステップＳ３７～Ｓ４０の処理は図１４のステップＳ２７～Ｓ３０と同様でよい。すなわち、ステップＳ３５の判断がＹｅｓの場合、選択された行の上に新しい行が追加されるように、表オブジェクト管理部４３は、k行目のテキストをk+1行目へコピーすることをk=nからk=mになるまで繰り返す。

ステップＳ３５の判断がＮｏの場合、選択された行の下に新しい行が追加されるように、k行目のテキストをk+1行目へコピーすることをk=nからk=m+1になるまで繰り返す。

このように、ユーザーは行を手書きデータで囲んで、更に、＋マークの手書きデータで行を追加できる。

図１７は、行の追加前と追加後の描画オブジェクト情報を示す。図１７（ａ）は行の追加前の描画オブジェクト情報であり、図１７（ｂ）は行の追加後の描画オブジェクト情報である。図１７（ａ）のｍ行目が選択された行である。＋マーク３２５の中心y座標がm行目の高さの中心より大きい場合、ｍ行目が追加される。また、図１７（ａ）では描画オブジェクトＩＤ＝００２に＋マーク３２５の手書きデータが登録されている。

図１７（ｂ）では、行が追加されたため、行数がｎからｎ＋１に１つ増えている。また、描画オブジェクトＩＤ＝００２の＋マーク３２５は消去されるので、描画オブジェクト情報からも消去される。

＜行の追加方法 その３＞
次に、図１８を参照して、行の追加方法（その３）を説明する。図１８は、挿入記号の手書きデータで行を追加する方法を説明する図である。

図１８（ａ）に示すように、大阪の行が選択状態であるとする。次に、ユーザーが所定のマーク（ここでは＜マーク３２６）を名古屋と大阪の間に手書きする。表オブジェクト管理部４３は手書きデータが＜マーク３２６であると判断する。＜マーク３２６の場合、表オブジェクト管理部４３は、＜マーク３２６の先端の位置がどの行間であるか判断する。名古屋と大阪の間であると判断された場合、表オブジェクト管理部４３は大阪の上に行を追加して表示する（図１８（ｂ））。

図１９は、表示装置２が行の追加を受け付ける処理を説明するフローチャート図の一例である。図１９の説明では主に図１６との相違を説明する。図１９では＋マーク３２５でなく＜マーク３２６の手書きデータで行が追加される。まず、ステップＳ４１，Ｓ４２は図１６のステップＳ３１，３２と同様でよい。

ステップＳ４３で、表オブジェクト管理部４３は、記号認識部４８が＜マーク３２６を検出したか否かを判断する（Ｓ４３）。

ステップＳ４４は図１６のステップＳ３４と同様でよい。

そして、表オブジェクト管理部４３は、＜マーク３２６の先端が選択された行の上端から±h（Sym±hの範囲）内にあるか判断する（Ｓ４５）。ｈはマージンである。

ステップＳ４５の判断がＮｏの場合、表オブジェクト管理部４３は、＜マーク３２６の先端が選択された行の下端から±h（Eym±hの範囲）内にあるか判断する（Ｓ４６）。ｈはマージンである。

以降の処理のステップＳ４７～Ｓ５１は図１６のステップＳ３６～Ｓ４０と同様でよい。すなわち、ステップＳ４５の判断がＹｅｓの場合、選択された行の上に新しい行が追加されるように、表オブジェクト管理部４３は、k行目のテキストをk+1行目へコピーすることをk=nからk=mになるまで繰り返す。

ステップＳ４６の判断がＹｅｓの場合、選択された行の下に新しい行が追加されるように、k行目のテキストをk+1行目へコピーすることをk=nからk=m+1になるまで繰り返す。

このように、ユーザーは行を手書きデータで囲んで、更に、＜マークの手書きデータで行を追加できる。

図２０は、行の追加前と追加後の描画オブジェクト情報を示す。図２０の説明では主に図１７との相違を説明する。図２０は図１７と形式は同じであるが、図２０（ａ）では描画オブジェクトＩＤ＝００２に＜マーク３２６の手書きデータが登録されている。図２０（ｂ）については図１７（ｂ）と同じでよい。

＜行の削除方法 その１＞
続いて、図２１等を参照して行の削除方法について説明する。図２１は、行の削除方法を説明する図である。行が選択状態となることでボタン３２１～３２３が表示されるまでは、図１２と同じでよい。

図２１（ａ）に示すように、大阪の行が選択状態になると、表示制御部４５が行を削除するためのボタン３２２を選択された行の右隣に表示する。ユーザーが大阪の行を削除するためのボタン３２２を押下すると、表オブジェクト管理部４３は大阪の行を削除し、名古屋の行の下に福岡の行を続けて表示する（図２１（ｂ））。

図２２は、表示装置２が行の削除を受け付ける処理を説明するフローチャート図の一例である。

まず、オブジェクト選択部４４がｍ行目を選択状態にする（Ｓ６１）。

これにより、表示制御部４５がｍ行目を削除するボタン３２２を表示する（Ｓ６２）。

表オブジェクト管理部４３は、接触位置検出部４０が検出する入力手段２９１の接触位置に応じて、行を削除するボタン３２２が押下されたか否かを判断する（Ｓ６３）。

削除するボタン３２２が押下された場合、表オブジェクト管理部４３は変数ｋにｍを設定する（Ｓ６４）。これは、ｍ＋１行目以降の描画オブジェクトを１行ずつ繰り上げるためである（列の操作の場合は、ｍ＋１列目以降の描画オブジェクトが１列ずつ繰り上がる）。

表オブジェクト管理部４３は終了条件（ｋ≦ｎでＮｏ）を満たすか否かを判断する（Ｓ６５）。

終了条件を満たさない場合、表オブジェクト管理部４３は、ｋ＋１行目のテキストをｋ行目にコピーする（Ｓ６６）。

そして、表オブジェクト管理部４３はｋを１つ大きくして（Ｓ６７）、ステップＳ６５から処理を繰り返す。したがって、表オブジェクト管理部４３はk+1行目のテキストをk行目にコピーすることをk=mからk=nまで繰り返す。

終了条件を満たす場合、表オブジェクト管理部４３は、ｎ行目を削除する（Ｓ６８）。すなわち、表オブジェクト管理部４３は最下行を削除する。

このように、ユーザーは行を手書きデータで囲んでボタンを押下することで行を削除できる。

図２３は、削除前と削除後の表オブジェクト情報を説明する図である。図２３（ａ）が削除前の表オブジェクト情報を、図２３（ｂ）が削除後の表オブジェクト情報を示す。ｎ行あった表オブジェクト情報がｎ－１行になっている。図２３（ａ）のｍ行目が削除されたので、図２３（ｂ）のｍ行目の描画オブジェクトは図２３（ａ）のｍ＋１行目の行の内容に置き換わっている。

＜行の削除方法 その２＞
次に、図２４を参照して、行の削除方法（その２）を説明する。図２４は、手書きデータで行を削除する方法を説明する図である。

図２４（ａ）に示すように、大阪の行が選択状態であるとする。次に、ユーザーが所定のマーク（ここでは×マーク３２７）を大阪の行の隣に手書きする。表オブジェクト管理部４３は手書きデータが×マーク３２７であると判断する。×マーク３２７の場合、表オブジェクト管理部４３は、書き込まれた位置がどの行であるかを判断する。大阪の行の隣と判断された場合、表オブジェクト管理部４３は大阪の行を削除して、名古屋の行に続けて福岡の行を表示する（図２４（ｂ））。

図２５は、表示装置２が行の削除を受け付ける処理を説明するフローチャート図の一例である。図２５の説明では主に図１９又は図２２との相違を説明する。図２５ではボタンでなく×マークの手書きデータで行が削除される。

まず、ステップＳ７１，Ｓ７２は図１９のステップＳ４１，Ｓ４２と同様でよい。

次に、描画オブジェクト管理部４２は、×マーク３２７が手書きされたか否かを判断する（Ｓ７３）。×マーク３２７の認識は記号認識部４８が行う。

ステップＳ７４～Ｓ７８は図２２のステップＳ６４～Ｓ６８と同様でよい。

すなわち、×マークが手書きされた場合、表オブジェクト管理部４３は、k+1行目のテキストをk行目にコピーすることをk=mからk=nまで繰り返す。繰り返し処理が終わると表オブジェクト管理部４３は、n行目を削除する。

このように、ユーザーは行を手書きデータで囲んで、更に、×マークの手書きデータで行を削除できる。

図２６は、削除前と削除後の表オブジェクト情報を説明する図である。図２６（ａ）が削除前の描画オブジェクト情報を、図２６（ｂ）が削除後の描画オブジェクト情報を示す。図２６の説明では、主に図２３との相違を説明する。

図２６（ａ）の描画オブジェクト情報は、×マークに相当する描画オブジェクトＩＤ＝００２の手書きデータを有している。図２６（ｂ）に示すように、ｎ行あった行オブジェクトがｎ－１行になっている。図２６（ａ）のｍ行目が削除されたので、図２６（ｂ）のｍ行目の描画オブジェクトは図２６（ａ）のｍ＋１行目の行の内容に置き換わっている。また、描画オブジェクトＩＤ＝００２の×マーク３２７が消去されるので、描画オブジェクト情報からも消去される。

＜行の削除方法 その３＞
次に、図２７を参照して、行の削除方法（その３）を説明する。図２７は、手書きデータで行を削除する方法を説明する図である。

図２７（ａ）に示すように、大阪の行が選択状態であるとする。次に、ユーザーが大阪の行に斜線３２８を手書きする。表オブジェクト管理部４３は選択された行に重畳して斜線３２８が手書きされたかを判断する。選択された行に重畳して斜線３２８が手書きされた場合、表オブジェクト管理部４３は、書き込まれた位置がどの行であるかを判断する。書き込まれた行が選択されている大阪の行と判断された場合、表オブジェクト管理部４３は大阪の行を削除して、名古屋の行に続けて福岡の行を表示する（図２７（ｂ））。

図２８は、表示装置２が行の削除を受け付ける処理を説明するフローチャート図の一例である。図２８の説明では主に図２５との相違を説明する。図２８では×マーク３２５でなく斜線３２８の手書きデータで行が削除される。

まず、ステップＳ８１は図２５のステップＳ７１と同様でよい。

表オブジェクト管理部４３は手書きデータが手書きされたか否かを判断する（Ｓ８２）。すなわち、表オブジェクト管理部４３は単に手書きされたかどうかを判断すればよい。

次に、表オブジェクト管理部４３は斜線３２８がｍ行目に手書きされたか否かを判断する（Ｓ８３）。すなわち、表オブジェクト管理部４３は、手書きデータの始点（Sxp,Syp)が、ｍ行目の左上座標(Sxm,Sym)の半径ｄ以内、かつ、終点(Exp,Eyp)がｍ行目の右下座標(Exm,Eym)の半径ｄ以内かどうかを判断する。ｄはマージンである。

ステップＳ８４～Ｓ８８は図２５のステップＳ７４～Ｓ７８と同様でよい。すなわち、ｍ行目に斜線が手書きされた場合、表オブジェクト管理部４３は、k+1行目のテキストをk行目にコピーすることをk=mからk=nまで繰り返す。繰り返し処理が終わるとn行目を削除する。

このように、ユーザーは行を手書きデータで囲んで、更に、斜線３２８を手書きすることで行を削除できる。

図２９は、削除前と削除後の描画オブジェクト情報を説明する図である。図２９（ａ）が削除前の描画オブジェクト情報を、図２９（ｂ）が削除後の描画オブジェクト情報を示す。図２９の説明では、主に図２６との相違を説明する。

図２９の描画オブジェクト情報は形式的には図２６と同様である。ただし、図２９（ａ）において、描画オブジェクトＩＤ＝００２の手書きデータは斜線３２８である。図２９（ｂ）は図２６（ｂ）と同様でよい。

＜行のコピー又は移動 その１＞
続いて、図３０を参照して行のコピー又は移動方法について説明する。図３０は、行のコピー又は移動方法を説明する図である。

図３０（ａ）に示すように、大阪の行が選択状態であるとする。ユーザーが入力手段２９１を操作して、大阪の行を表の札幌の位置にドラッグする。表オブジェクト管理部４３は入力手段２９１の先端のタッチ座標が札幌の行に重なっていることを検出する。これにより、プレビューデータ生成部が札幌の位置に大阪が移動した表の画像を作成して表示する（図３０（ｂ））。プレビューとはコンピュータなどにおいて、実際になんらかの出力を行う前に、出力の結果をシミュレートし、画面上で確認することをいう。

図３０（ｂ）のプレビュー画像が表示されている状態から、ユーザーが入力手段２９１をディスプレーから離さずに所定の時間t秒経過すると、表オブジェクト管理部４３は札幌の行に大阪の行の文字列がコピーされた表を作成して表示する（図３０（ｃ））。したがって、札幌の行は上書きにより削除される。

一方、図３０（ｂ）のプレビュー画像が表示されている状態で、所定の時間t秒経過する前にユーザーがドロップすると（入力手段２９１をディスプレーから離すと）、表オブジェクト管理部４３は札幌の位置に大阪が移動した表を表示する。札幌の行から名古屋の行は、１行ずつ繰り下がる。また、プレビュー画像生成部４９はプレビュー画像を非表示にする（図３０（ｄ））。

図３１は、表示装置２が行の移動を受け付ける手順を示すフローチャート図の一例である。

表オブジェクト管理部４３はm行目（第一の行の一例）を選択状態にする（Ｓ９１）。

表オブジェクト管理部４３は、接触位置検出部４０が検出する入力手段２９１の接触座標に基づいて、m行目が入力手段２９１で押下されたか否かを判断する（Ｓ９２）。ユーザーが入力手段２９１を離さず入力手段２９１の位置を移動すると、接触位置検出部４０が検出する入力手段２９１の接触座標に基づいて、表オブジェクト管理部４３がそれを検出する（Ｓ９３）。

入力手段２９１が選択されたｍ行からｍ'行（第二の行の一例）にドラッグされると、表オブジェクト管理部４３がタッチ座標m'をメモリに書き込み、プレビュー画像生成部４９がプレビュー画像を表示する（Ｓ９４）。プレビュー画像は、図３１の後述する処理と同じ処理により生成される。列の場合、ｍ列とｍ'列がそれぞれ第一の列と第二の列の一例である。

入力手段２９１がディスプレーから離れた場合、表オブジェクト管理部４３はタッチ座標m'が選択状態の行mより小さいか否かを判断する（Ｓ９５）。

タッチ座標m'が選択状態の行mより小さい場合（上に移動した場合）、表オブジェクト管理部４３はm行目のテキストを変数にコピーする（Ｓ９６）。変数とはデータの入れ物という意味である。ｍ行目は上書きされるためである。

そして、表オブジェクト管理部４３は変数ｋにｍを設定する（Ｓ９７）。

表オブジェクト管理部４３は終了条件（ｋ＝ｍ'でＮｏ）を満たすか否かを判断する（Ｓ９８）。この終了条件はｍ行からｍ'行までコピーが終了したかを判断する。

終了条件を満たさない場合、表オブジェクト管理部４３はk－1行目のテキストをk行目にコピーする（Ｓ９９）。

表オブジェクト管理部４３はｋを１つ小さくして、ステップＳ９８からの処理を繰り返す（Ｓ１００）。

終了条件を満たす場合、表オブジェクト管理部４３は変数に入れておいたm行目のテキストをm'行目にコピーする（Ｓ１０１）。

タッチ座標m'が選択状態の行mより大きい場合（下に移動した場合）、表オブジェクト管理部４３はm行目のテキストを変数にコピーする（Ｓ１０２）。変数とはデータの入れ物という意味である。ｍ行目は上書きされるためである。

そして、表オブジェクト管理部４３は変数ｋにｍを設定する（Ｓ１０３）。

表オブジェクト管理部４３は終了条件（ｋ＝ｍ'でＮｏ）を満たすか否かを判断する（Ｓ１０４）。

終了条件を満たさない場合、表オブジェクト管理部４３はk＋1行目のテキストをk行目にコピーする（Ｓ１０５）。

表オブジェクト管理部４３はｋを１つ大きくして、ステップＳ１０４からの処理を繰り返す（Ｓ１０６）。

終了条件を満たす場合、表オブジェクト管理部４３は変数に入れておいたm行目のテキストをm'行目にコピーする（Ｓ１０７）。

このように、ユーザーは行を選択して、入力手段２９１でドラッグすることで行を移動できる。

図３２は、移動前と移動後の描画オブジェクト情報を示す。図３２（ａ）は行の移動前の描画オブジェクト情報であり、図３２（ｂ）は行の移動後の描画オブジェクト情報である。図３２の描画オブジェクト情報は新たにテキストの列を有している。

図３２（ａ）のテキストの列のＴ１～Ｔｎはそれぞれの行に格納されていた描画オブジェクトである。図３２（ａ）のテキストＴｍが、図３２（ｂ）の１行目に移動し、テキストＴ１～Ｔｍ－１が1行ずつ繰り下がっている。

＜行の移動 その２＞
次に、図３３を参照して、手書きデータによる行の移動方法（その２）を説明する。図３３は、手書きデータで行を移動する方法を説明する図である。

図３３（ａ）に示すように、大阪の行が選択状態であるとする。ユーザーが大阪の行から札幌の行に向かう矢印３２９を手書きする（図３３（ｂ））。表オブジェクト管理部４３は手書きデータ（矢印３２９）の始点が選択行であると判断すると、手書きデータ（矢印３２９）の終点が表のどの行に書かれたかを判断する。例えば、始点が大阪、終点が札幌と判断された場合、表オブジェクト管理部４３は大阪の行を札幌の位置に移動した表を作成し表示する（図３３（ｃ））。

図３４は、表示装置２が行の移動を受け付ける処理を説明するフローチャート図の一例である。図３４の説明では主に図３１との相違を説明する。図３４ではドラッグでなく矢印３２９の手書きデータで行が移動される。

このため、表オブジェクト管理部４３は手書きデータ（矢印３２９）の始点がｍ行目に手書きされたか否かを判断する（Ｓ１１２）。表オブジェクト管理部４３は矢印という形状かどうかを判断してもよい。

ｍ行目に手書きされた場合、表オブジェクト管理部４３は、矢印の終点が手書きされた行ｍ'をメモリに書き込む（Ｓ１１３）。表オブジェクト管理部４３は、終点が表の内部かどうかを判断してもよい。

以降のステップＳ１１５～Ｓ１２７は、図３１のステップＳ９５～Ｓ１０７と同様でよい。

このように、ユーザーは行を選択して、矢印３２９を手書きすることで行を移動できる。

図３５は、移動前と移動後の描画オブジェクト情報を示す。図３５（ａ）は行の移動前の描画オブジェクト情報であり、図３５（ｂ）は行の移動後の描画オブジェクト情報である。図３５の説明では図３２との相違を主に説明する。

図３５（ａ）の描画オブジェクト情報は、矢印３２９に相当する描画オブジェクトＩＤ＝００２の手書きデータを有している。図３５（ｂ）に示すように、図３５（ａ）のテキストＴｍが、図３５（ｂ）の１行目に移動し、テキストＴ１～Ｔｍ－１が1行ずつ繰り下がっている。

また、描画オブジェクトＩＤ＝００２の矢印３２９が消去されるので、描画オブジェクト情報からも消去される。

＜行の移動 その３＞
次に、図３６を参照して、手書きデータによる行の移動方法（その３）を説明する。図３６は、手書きデータで行を移動する方法を説明する図である。

図３６（ａ）に示すように、大阪の行が選択状態であるとする。ユーザーが大阪の行の隣から札幌の行に向かう矢印３３０を手書きする（図３６（ｂ））。表オブジェクト管理部４３は手書きデータ（矢印３３０）の始点が選択行であると判断すると、手書きデータ（矢印３３０）の終点が表のどの行に書かれたかを判断する。例えば、始点が大阪、終点が札幌と判断された場合、表オブジェクト管理部４３は大阪の行を札幌の位置に移動した表を作成し表示する（図３６（ｃ））。

図３７は、表示装置２が行の移動を受け付ける処理を説明するフローチャート図の一例である。図３７の説明では主に図３４との相違を説明する。図３７では表の外の矢印３３０の手書きデータで行が移動される。

このため、表オブジェクト管理部４３は手書きデータ（矢印３３０）の始点がｍ行目であって表から距離Ｌ以内（所定の距離以内）に手書きされたか否かを判断する（Ｓ１３２）。表オブジェクト管理部４３は矢印という形状かどうかを判断してもよい。

ｍ行目であって表から距離Ｌ以内に手書きされた場合、表オブジェクト管理部４３は、矢印の終点が手書きされた行ｍ'をメモリに書き込む（Ｓ１３３）。表オブジェクト管理部４３は矢印の終点が表から距離Ｌ以内に手書きされたか否かを判断するとよい。

以降のステップＳ１３５～Ｓ１４７は、図３４のステップＳ１１５～Ｓ１２７と同様でよい。

このように、ユーザーは行を選択して、矢印を手書きすることで行を移動できる。

図３８は、行の移動前と移動後の描画オブジェクト情報を示す。図３８の説明では主に図３５との相違を説明する。図３８は図３５と形式は同じであるが、図３８（ａ）では描画オブジェクトＩＤ＝００２に表の外に手書きされた矢印３２９の手書きデータが登録されている。図３８（ｂ）については図３５（ｂ）と同じでよい。

＜表の分割＞
続いて、図３９を参照して、ユーザーが表の一部を分割する方法について説明する。図３９は、表の分割方法を説明する図である。

図３９（ａ）に示すように、大阪の行が選択状態である。ユーザーが入力手段２９１で大阪の行を表の外へドラッグアンドドロップする(図３９（ｂ）)。表オブジェクト管理部４３は、大阪の行に、タイトル行を継承した第二表３４０をドロップした座標に作成する。タイトル行は少なくとも１行目の「2020年上半期」を含み、更に一般行とは異なる色が設定されている行をいう。表オブジェクト管理部４３は元の表から大阪の行を削除する（図３９（ｃ））。

図４０は、表示装置２が表の分割を受け付け、表を分割する手順を示すフローチャート図である。

まず、オブジェクト選択部４４がｍ行目を選択状態にする（Ｓ１５１）。

次に、表オブジェクト管理部４３は、m行目がタッチされたか否かを判断する（Ｓ１５２）。ユーザーが入力手段２９１をディスプレーから離さず移動すると（Ｓ１５３）、表オブジェクト管理部４３はタッチしている座標が表の内部か否かを判断する（Ｓ１５４）。

表の内部であった場合は、移動又はコピー操作なので、表オブジェクト管理部４３はm'行を変数に保持しておき、プレビュー画像生成部４９がプレビュー画像を表示する（Ｓ１５６）。このプレビュー画像は図３１のステップＳ９４と同じである。

表の外部でユーザーが入力手段２９１をドラッグした場合、プレビュー画像生成部４９は入力手段２９１の先端がタッチしている座標に、表のタイトル行とm行目を結合した表のプレビュー画像を表示する（Ｓ１５５）。タイトル行は例えば１行目など予め定まっている。あるいは、色が付されている行がタイトル行と判断されてもよい。本実施形態では、「２０２０上半期」と「支店 ４月 ５月 ６月」がタイトル行である。

そして、ユーザーが入力手段２９１をディスプレーから離すと、表オブジェクト管理部４３はｍ'＝nullかどうかを判断する（Ｓ１５７）。nullは表の外を表す。

ユーザーが入力手段２９１で表の外部をタッチしてディスプレーから離した場合、元の表については、第二表３４０に分割される行の削除処理が実行される。このため、ステップＳ１５８～Ｓ１６２の処理は、図２２のステップＳ６４～Ｓ６８と同様になる。

そして、表オブジェクト管理部４３は入力手段２９１が最後にタッチしていた座標に元の表のタイトル行とm行目を結合した第二表３４０を表示する（Ｓ１６３）。

ユーザーが表の内部をタッチしていた場合、ユーザーが行の移動処理を行ったと判断される。したがって、ステップＳ１６４～Ｓ１７６の処理は、図３７のステップＳ１３５～Ｓ１４７と同様でよい。

このように、ユーザーは行を選択して、表の外にドラッグすることで表を分割できる。

図４１は、表の分割前と分割後の描画オブジェクト情報を説明する図である。図４１（ａ）が分割前のオブジェクト情報を、図４１（ｂ）が分割後のオブジェクト情報を示す。分割により、新たに第二表３４０が生成されたので、図４０（ｂ）では最後の描画オブジェクトＩＤが００１から００２に変わっている。

図４１（ａ）の行オブジェクトＩＤ＝００１～００ｎの行は、ｍ行目が分割されたので、行オブジェクトＩＤ＝００ｍの行が、描画オブジェクトＩＤが００２の描画オブジェクトに対応する。また、ｍ＋１行目以降の行は１行ずつ繰り上がる。

また、描画オブジェクトＩＤ＝００２の行オブジェクトＩＤが００１になる。分割後の第二表３４０では１行目から行オブジェクトＩＤが採番されるためである。なお、分割後の表では起点座標と終点座標も新しくなる。

＜主な効果＞
以上説明したように、本実施形態の表示装置２は、行や列の追加、移動、削除、又は、分割などの編集を手書きデータで実行することができるので、操作性を向上させることができる。

以下の実施例では表示装置２の別の構成例について説明する。

＜＜表示装置の別の構成例１＞＞
本実施形態の表示装置２は大型のタッチパネルを有するものとして説明されているが、表示装置２はタッチパネルを有するものに限られない。

図４２は、表示装置２の他の構成例を示す図である。図４２では、通常のホワイトボード４１３の上辺にプロジェクター４１１が設置されている。このプロジェクター４１１が表示装置２に相当する。通常のホワイトボード４１３とは、タッチパネルと一体のフラットパネルディスプレーではなく、ユーザーがマーカーで直接、手書きするホワイトボードである。なお、ホワイトボードは黒板でもよく、映像を投影するだけの広さの平面であればよい。

プロジェクター４１１は超短焦点の光学系を有しており、１０ｃｍ程度から歪みの少ない映像をホワイトボード４１３に投影できる。この映像は、無線又は有線で接続されたＰＣから送信されてもよいし、プロジェクター４１１が記憶していてもよい。

ユーザーは専用の電子ペン２５０１を使ってホワイトボード４１３に手書きする。電子ペン２５０１は、ユーザーが手書きのためにホワイトボード４１３に押しつけるとスイッチがＯＮになり発光する発光部を例えば先端部に有している。光の波長は近赤外や赤外なのでユーザーの目には見えない。プロジェクター４１１はカメラを有しており、発光部を撮像して画像を解析し電子ペン２５０１の方向を特定する。また、電子ペン２５０１は発光と共に音波を発信しており、プロジェクター４１１は音波の到達時間により距離を算出する。プロジェクター４１１は、方向と距離により電子ペン２５０１の位置を特定できる。電子ペン２５０１の位置には手書きされたデータが描画（投影）される。

プロジェクター４１１はメニュー４３０を投影するので、ユーザーが電子ペン２５０１でボタンを押下すると、プロジェクター４１１が電子ペン２５０１の位置とスイッチのＯＮ信号により押下されたボタンを特定する。例えば、保存ボタン４３１が押下されると、ユーザーが手書きした手書きされたデータ（座標点列）がプロジェクター４１１で保存される。プロジェクター４１１は、予め定められたサーバー４１２又はＵＳＢメモリ２６００等に手書き情報を保存する。手書き情報はページごとに保存されている。画像データではなく座標のまま保存されるので、ユーザーが再編集することができる。ただし、本実施形態では操作コマンドを手書きで呼び出せるのでメニュー４３０は表示されなくてもよい。

＜＜表示装置の別の構成例２＞＞
図４３は、表示装置２の他の構成例を示す図である。図４３の例では、表示装置２は、端末装置６００、画像投影装置７００Ａ、及び、ペン動作検出装置８１０を有する。

端末装置６００は、画像投影装置７００Ａ及びペン動作検出装置８１０と有線で接続されている。画像投影装置７００Ａは、端末装置６００により入力された画像データをスクリーン８００に投影させる。

ペン動作検出装置８１０は、電子ペン８２０と通信を行っており、スクリーン８００の近傍における電子ペン８２０の動作を検出する。具体的には、電子ペン８２０は、スクリーン８００上において、電子ペン８２０が示している点を示す座標情報を検出し（検出方法は図４２と同様でよい）、端末装置６００へ送信する。

端末装置６００は、ペン動作検出装置８１０から受信した座標情報に基づき、電子ペン８２０によって入力される手書きデータの画像データを生成し、画像投影装置７００Ａによって手書きデータの画像をスクリーン８００に描画させる。

また、端末装置６００は、画像投影装置７００Ａに投影させている背景画像と、電子ペン８２０によって入力された手書データの画像とを合成した重畳画像を示す重畳画像データを生成する。

＜＜表示装置の別の構成例３＞＞
図４４は、表示装置２の構成例を示す図である。図４４の例では、表示装置２は、端末装置６００と、ディスプレー８００Ａと、ペン動作検出装置８１０Ａとを有する。

ペン動作検出装置８１０Ａは、ディスプレー８００Ａの近傍に配置され、ディスプレー８００Ａ上に、電子ペン８２０Ａが示している点を示す座標情報を検出し（検出方法は図４２と同様でよい）、端末装置６００へ送信する。なお、図４４の例では、電子ペン８２０Ａは、端末装置６００によってＵＳＢコネクタを介して充電されても良い。

端末装置６００は、ペン動作検出装置８１０Ａから受信した座標情報に基づき、電子ペン８２０Ａによって入力される手書データの画像の画像データを生成し、ディスプレー８００Ａに表示させる。

＜＜表示装置の別の構成例４＞＞
図４５は、表示装置２の構成例を示す図である。図４５の例では、表示装置２は、端末装置６００と、画像投影装置７００Ａとを有する。

端末装置６００は、電子ペン８２０Ｂと無線通信（Ｂｌｕｅｔｏｏｔｈ（登録商標）等）を行って、スクリーン８００上において電子ペン８２０Ｂが示す点の座標情報を受信する。座標情報は、スクリーン８００に形成された微小な位置情報を電子ペン８２０Ｂが読み取ってもよいし、スクリーン８００から座標情報を受信してもよい。

そして、端末装置６００は、受信した座標情報に基づき、電子ペン８２０Ｂにより入力される手書データの画像の画像データを生成し、画像投影装置７００Ａに手書データの画像を投影させる。

また、端末装置６００は、画像投影装置７００Ａに投影させている背景画像と、電子ペン８２０Ｂによって入力された手書データの画像とを合成した重畳画像を示す重畳画像データを生成する。

以上のように、上記した各実施形態は、様々なシステム構成において適用することができる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、本実施形態では、行に関する編集を主に説明したが、ユーザーは列についても同様に編集できる。列についてはタイトル列が左端にある。

また、本実施形態では、手書きデータの入力を主に説明したが、表示装置は手書きデータを文字認識することができる。表内の描画オブジェクトは手書きデータでも文字列でもよい。

また、本実施形態では、電子黒板として使用できる表示装置を説明したが、表示装置は画像を表示できればよく、例えばデジタルサイネージなどでもよい。また、ディスプレーでなくプロジェクターが表示データを表示してもよい。この場合、本実施形態ではペン先の座標をタッチパネルで検知する方法でペンの座標を検出したが、表示装置２は、ペン先の座標を超音波により検出してもよい。ペンは発光と共に超音波を発信しており、表示装置２は超音波の到達時間により距離を算出する。表示装置２は、方向と距離によりペンの位置を特定できる。ペンの軌跡をストロークとしてプロジェクターが描画（投影）する。

また、本実施形態では電子黒板を一例として説明したが、タッチパネルを有する情報処理装置であれば好適に適用できる。電子黒板と同様の機能を有する装置を、電子ホワイトボード、電子情報ボード、インタラクティブボードなどともいう。タッチパネルを搭載した情報処理装置としては、例えば、ＰＪ（Projector：プロジェクター）、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、ノートＰＣ（Personal Computer）、携帯電話、スマートフォン、タブレット端末、ゲーム機、ＰＤＡ、デジタルカメラ、ウェアラブルＰＣ又はデスクトップＰＣ等であってもよい。

また、図５などの構成例は、表示装置２による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。表示装置２の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

また、表示装置２が単体で本実施形態の機能を有する場合を説明したが、表示装置２の機能をサーバーが提供してもよい。この場合、表示装置２とサーバーがネットワークを介して通信する。表示装置２は手書きデータを表示すると共にサーバーに送信し、サーバーが文字認識や表機能などを提供する。

また、本実施形態において、比較の対象として閾値が例示されていたとしても閾値は例示された値には限定されない。このため、本実施形態では、全ての閾値に関し、閾値未満と閾値以下という記載は同等の意味を持ち、閾値超過と閾値以上という記載は同等の意味を持つ。例えば、閾値を１１とした場合の閾値未満という記載は閾値が１０である場合の閾値以下と同等の意味を持つ。また、閾値を１０とした場合の閾値超過という記載は閾値が１１である場合の閾値以上と同等の意味を持つ。

また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

接触位置検出部４０は受付手段の一例である。オブジェクト選択部４４は選択受付手段の一例である。表オブジェクト管理部４３は制御手段の一例である。記号認識部４８は認識手段の一例である。

２ 表示装置

特開２０１５‐２１９６２８号公報

Claims (9)

1. 手書きで作成された表を表示する表示装置であって、
   入力手段により手書きデータの入力を受け付ける受付手段と、
   前記表の行又は列の選択を前記手書きデータにより受け付ける選択受付手段と、
   前記選択受付手段により前記表の行又は列が選択された場合、ユーザー操作に応じて、選択された前記表の行又は列に関する前記表の編集を行う制御手段と、を有し、
   前記制御手段は、前記選択受付手段が選択を受け付けた行又は列の付近に行又は列を追加するためのボタンを表示し、
   前記受付手段が前記ボタンの押下を受け付けた場合、前記選択受付手段が選択を受け付けた行又は列の前又は後に、行又は列を追加する、
   表示装置。
2. 前記選択受付手段は、前記受付手段が受け付けた前記手書きデータで囲まれた行又は列の選択を受け付ける請求項１に記載の表示装置。
3. 前記受付手段が受け付けた前記手書きデータを認識する認識手段を有し、
   前記選択受付手段が選択を受け付けた行又は列の隣に手書きされた前記手書きデータを、予め定められている記号に前記認識手段が認識した場合、前記制御手段は、前記選択受付手段が選択を受け付けた行又は列の前又は後に、行又は列を追加する請求項１又は２に記載の表示装置。
4. 前記受付手段が受け付けた前記手書きデータを認識する認識手段を有し、
   前記選択受付手段が選択を受け付けた行又は列の境界に手書きされた前記手書きデータを、予め定められている記号に前記認識手段が認識した場合、前記制御手段は、前記境界に行又は列を追加する請求項１又は２に記載の表示装置。
5. 前記制御手段は、前記選択受付手段が選択を受け付けた行又は列の付近に行又は列を削除するためのボタンを表示し、
   前記受付手段が前記ボタンの押下を受け付けた場合、前記選択受付手段が選択を受け付けた行又は列を削除する請求項１～４のいずれか１項に記載の表示装置。
6. 前記受付手段が受け付けた前記手書きデータを認識する認識手段を有し、
   前記選択受付手段が選択を受け付けた行又は列の隣に手書きされた前記手書きデータを、予め定められている記号に前記認識手段が認識した場合、前記制御手段は、前記選択受付手段が選択を受け付けた行又は列を削除する請求項１～４のいずれか１項に記載の表示装置。
7. 前記選択受付手段が選択を受け付けた行又は列に重畳し、前記行又は列を削除するための前記手書きデータを前記受付手段が受け付けた場合、
   前記選択受付手段が選択を受け付けた行又は列を削除する請求項１～４のいずれか１項に記載の表示装置。
8. 手書きで作成された表を表示する表示装置が行う表示方法であって、
   受付手段が、入力手段により手書きデータの入力を受け付けるステップと、
   選択受付手段が、前記表の行又は列の選択を前記手書きデータにより受け付けるステップと、
   前記選択受付手段により前記表の行又は列が選択された場合、制御手段が、ユーザー操作に応じて、選択された前記表の行又は列に関する前記表の編集を行うステップと、
   前記制御手段が、前記選択受付手段が選択を受け付けた行又は列の付近に行又は列を追加するためのボタンを表示するステップと、
   前記受付手段が前記ボタンの押下を受け付けた場合、前記選択受付手段が選択を受け付けた行又は列の前又は後に、行又は列を追加するステップと、
   を有する表示方法。
9. 手書きで作成された表を表示する表示装置を、
   入力手段により手書きデータの入力を受け付ける受付手段と、
   前記表の行又は列の選択を前記手書きデータにより受け付ける選択受付手段と、
   前記選択受付手段により前記表の行又は列が選択された場合、ユーザー操作に応じて、選択された前記表の行又は列に関する前記表の編集を行う制御手段、として機能させ、
   前記制御手段は、前記選択受付手段が選択を受け付けた行又は列の付近に行又は列を追加するためのボタンを表示し、
   前記受付手段が前記ボタンの押下を受け付けた場合、前記選択受付手段が選択を受け付けた行又は列の前又は後に、行又は列を追加する、
   プログラム。

Images