JP6003566B2 - オブジェクト操作装置及びオブジェクト操作制御プログラム - Google Patents

Description

本発明は、オブジェクト操作装置及びオブジェクト操作制御プログラムに関し、特に、２種類の指示手段を識別可能なタッチセンサを表示面に有するタッチパネルを備えるオブジェクト操作装置及び手書き入力中のオブジェクトに対する操作を制御するオブジェクト操作制御プログラムに関する。

近年、タッチパネルを備えたタブレット端末や携帯型のコンピュータ装置などの携帯端末の普及に伴い、文字や図形などのオブジェクトを手書き入力する機会が増えている。また、各々のユーザが自身の携帯端末を用いてオブジェクトを手書き入力し、そのオブジェクトを共有画面に表示させ、共有画面に表示されたオブジェクトを見ながら会議を進行する電子会議も行われるようになってきている。このようなシステムでは、手書き入力したオブジェクトに対して、分割、結合、範囲指定、部分消去、拡大／縮小、色／太さ／線種の変更などが必要な場合があることから、オブジェクトの操作に関する様々な方法が提案されている。

例えば、下記特許文献１には、タッチ・センシティブ入力デバイスのためのモード・ベースのグラフィカル・ユーザ・インタフェースに関して、タッチの特性によりユーザインタフェースモードを判定し、ＧＵＩ（Graphical User Interface）要素を表示したり、スクロールジェスチャに対して仮想スクロールホイールを表示したりすることなどが記載されている。

また、下記特許文献２には、表示画面に設けられ、指・手によりタッチされた座標を検出して第１検出信号を出力する手指検出手段と、前記表示画面に設けられ、ペンによりタッチされた座標を検出して第２検出信号を出力するペン検出手段と、前記ペンが使用されている場合は、前記第２検出信号からポインティングを抽出して、ポインティング指示を発行し、かつ、前記第１検出信号から所定のジェスチャのみを抽出して対応するコマンドを発行する信号処理手段と、を備えた座標入力装置が開示されている。

特表２００８−５０８６００号公報 特開２０１１−１８６５５０号公報

通常、指によるタッチパネルの操作に対して、画面のスクロールやオブジェクトの移動などの機能が予め割り当てられているため、手書き入力中のオブジェクトに特有の機能（オブジェクトの分割、結合、範囲指定、部分消去、拡大／縮小、色／太さ／線種の変更など）を割り当てることができない。そのため、特許文献１のように、メニュー画面を表示し、そのメニュー画面で機能を選択することにより、手書き入力のオブジェクトに対して実行する機能を切り換えるようなＵＩになってしまう。

しかしながら、手書き入力中のオブジェクトに対する操作は頻繁になされるため、手書き入力中にメニュー選択のような煩雑な操作を行うと思考が中断されてしまい、アイデア出しなどの場面でスムーズに手書き入力を行うことができなくなってしまう。また、メニュー選択のような煩雑な操作は、手書き入力と並行して行うことは困難であるため、他者の話の内容を書き残すなどの場面で、筆記が追いつかなくなってしまう。

例えば、文字や図形等のオブジェクトを手書き入力し、手書き入力したオブジェクトを自由に動かすことができるアプリケーションにおいて、手書きしたオブジェクトがユーザの意図通りの単位に分割されることは重要である。既存の技術では、ストローク間の時間的もしくは空間的距離や文字認識などにより、ある程度の精度でオブジェクトを自動的に分割することはできる。しかしながら、既存の技術では、必ずしもユーザの意図通りにオブジェクトは分割されないため、手書き入力後に自動的に分割されたオブジェクトに対して補正が必要となる。そして、この補正の際に、メニュー選択のような煩雑な操作を行わなければならないため、思考が細切れになり、筆記が追いつかなくなるなどの問題が生じる。

このような問題に対して、特許文献２では、ペンデバイスによる手書き入力と指・手による操作とを識別できるようにし、指・手による第１検出信号から所定のジェスチャのみを抽出して対応するコマンドを発行する構成を開示している。しかしながら、特許文献２では、手書き入力中かどうかで指・手による操作に対応する機能を切り替えることができない。そのため、手書き入力中のオブジェクトに対して、指・手による操作を新たに定義しなければならず、操作の種類が増えることによって操作が難しくなってしまう。

本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、ペンデバイスなどによる手書き入力中か否かに応じて、指などによる操作に対応する機能を切り替え、適切なオブジェクト形成を行うことができるオブジェクト操作装置及びオブジェクト操作制御プログラムを提供することにある。

本発明の一側面に係る装置は、２種類の指示手段によるタッチを識別可能なタッチセンサと、前記タッチセンサを表示面に備え、一方の指示手段によって手書き入力されたオブジェクトを表示する表示部と、前記一方の指示手段による手書き入力時及び手書き入力が途切れてから所定時間が経過するまでの期間の場合に、他方の指示手段による操作を、前記手書き入力中のオブジェクトに対する特定の操作として認識し、当該特定の操作に対応付けられた機能を実行する制御部と、を備えることを特徴とする。

また、本発明の一側面に係るプログラムは、２種類の指示手段によるタッチを識別可能なタッチセンサと、前記タッチセンサを表示面に備え、一方の指示手段によって手書き入力されたオブジェクトを表示する表示部と、を制御する装置で動作するオブジェクト操作制御プログラムであって、前記装置に、前記一方の指示手段による手書き入力時及び手書き入力が途切れてから所定時間が経過するまでの期間の場合に、他方の指示手段による操作を、前記手書き入力中のオブジェクトに対する特定の操作として認識し、当該特定の操作に対応付けられた機能を実行する第２処理、を実行させることを特徴とする。

本発明のオブジェクト操作装置及びオブジェクト操作制御プログラムによれば、ペンデバイスなどによる手書き入力中に、指などによる操作に対応する機能を切り替え、適切なオブジェクト形成を行うことができる。

その理由は、２種類の指示手段（例えば、ペンデバイスと指）によるタッチを識別可能なタッチパネルを備えるオブジェクト操作装置において、制御部では、一方の指示手段（例えば、ペンデバイス）による手書き入力中の場合は、他方の指示手段（例えば、指）による操作を、手書き入力中のオブジェクトに対する特定の操作として認識し、当該特定の操作に対応付けられた機能を実行する制御を行うからである。

このように、本発明では、指操作に対して、手書き入力中と手書き入力後とで異なる機能が対応付けられるため、簡単な指操作で手書き入力中のオブジェクトに対して所望の機能を実行することができる。これにより、煩雑な操作によって思考が中断されてしまうことがなく、また、手書き入力と並行して（もしくは十分短時間で）操作可能となるため、筆記が遅れることがなく、適切なオブジェクト形成を行うことができる。

従来のオブジェクトの操作方法を説明する図である。 本発明の一実施形態に係るオブジェクトの操作方法の一例を説明する図である。 本発明の一実施例に係るオブジェクト操作装置の構成例を模式的に示す図である。 本発明の一実施例に係るオブジェクト操作装置の構成を示すブロック図である。 本発明の一実施例に係るオブジェクト操作装置が参照する機能対応付け情報の一例である。 本発明の一実施例に係るオブジェクト操作装置の処理（オブジェクトの新規作成処理）を示すフローチャート図である。 本発明の一実施例に係るオブジェクト操作装置の処理（手書き入力中の判断処理）を示すフローチャート図である。 本発明の一実施例に係るオブジェクト操作装置の全体処理を示すフローチャート図である。

背景技術で示したように、通常、指によるタッチパネルの操作には、画面のスクロールやオブジェクトの移動などの所定の機能が割り当てられているため、手書き入力中のオブジェクトに特有の機能（オブジェクトの分割、結合、範囲指定、部分消去、拡大／縮小、色／太さ／線種の変更など）を割り当てることができない。例えば、図１（ａ）に示すように、ドラッグ操作は移動、タップ操作は選択、長押し操作はメニュー表示、ピンチ操作は拡大／縮小のように機能が予め割り当てられているため、手書き入力のオブジェクトに特有の機能を割り当てることができない。

そのため、手書き入力のオブジェクトに特有の機能（例えば、手書き入力中のオブジェクトの結合）を実行する場合は、図１（ｂ）に示すように、手書き入力中のオブジェクトを長押ししてメニュー画面を呼び出し、そのメニュー画面の中の所望の機能（ここでは結合）をタップして選択し、ドラッグによって結合するオブジェクトの範囲指定を行うようにしている。しかしながら、このような煩雑な操作を行うと思考が中断されてしまい、また、このような煩雑な操作は手書き入力と並行して行うことは困難であるため、筆記が追いつかなくなってしまう。

また、ペンデバイスによる手書き入力と指による操作とを識別できるようにしたとしても、手書き入力中かどうかで指操作に対応する機能を切り替えることができないと、通常の指操作とは別に、手書き入力中のオブジェクトに特有の機能を指示する指操作を新たに定義しなければならない。その結果、指操作の種類が増えて複雑化し、手書き入力中のオブジェクトに対して簡便に所望の機能を実行することができない。特に、一般的な指操作に対して機能は既に割り当てられているため、新たに定義する指操作は複雑なジェスチャになってしまい、ユーザの使い勝手が悪くなり、指操作を判別する装置側の処理も複雑になってしまう。

そこで、本発明の一実施の形態では、ユーザがペンデバイスにより手書き入力を行い、指のタッチ入力により手書き入力したオブジェクトに対する操作を行う際に、指操作に対して、手書き入力中と手書き入力中以外とで異なる機能を対応付けておく。そして、ペンデバイスによる手書き入力中か否かを判断し、手書き入力中と判断した場合は、指操作を、手書き入力中のオブジェクトに対する特定の操作として認識し、当該特定の操作に対応付けられた機能（オブジェクトの分割、結合、範囲指定、部分消去、拡大／縮小、色／太さ／線種の変更など）を実行するようにする。

以下、図２を参照していつくかの具体例について説明する。

まず、手書き入力中のオブジェクトには、オブジェクトの周囲に矩形の枠が表示されるようにしておく。そして、図２（ａ）に示すように、手書き入力中のオブジェクトを起点として、手書き入力済みのオブジェクトに向かって指を移動させる。この指操作は、手書き入力中でない場合はオブジェクトを移動させる操作となるが、手書き入力中はオブジェクトの結合を指示する操作として認識し、手書き入力中のオブジェクトと手書き入力済みのオブジェクトとを結合する機能を実行する。そして、ユーザの意図通りに結合が行われたことを確認できるように、２つのオブジェクトを囲む矩形の枠を表示し、操作を随時視覚的にフィードバックする。また、２つのオブジェクトを２本の指でタッチした場合も、同様に、オブジェクトの結合を指示する操作として認識する。

また、図２（ｂ）に示すように、手書き入力中のオブジェクトに対してオブジェクトを横切るように指を移動させる。この操作は、手書き入力中でない場合は上記と同様にオブジェクトを移動させる操作となるが、手書き入力中はオブジェクトの分割を指示する操作として認識し、指を移動させた線を境にして２つのオブジェクトに分割する機能を実行する。そして、ユーザの意図通りに分割が行われたことを確認できるように、後で手書き入力したオブジェクトを囲む矩形の枠を表示し、操作を随時視覚的にフィードバックする。

また、図２（ｃ）に示すように、手書き入力中のオブジェクトに対してオブジェクト上で細かく指を往復させる。この操作は、手書き入力中でない場合は上記と同様にオブジェクトを移動させる操作となるが、手書き入力中はオブジェクトの部分消去を指示する操作として認識し、指を移動させた領域のオブジェクトを消去する機能を実行する。そして、ユーザの意図通りに部分消去が行われたことを確認できるように、消去されなかったオブジェクトを囲む矩形の枠を表示し、操作を随時視覚的にフィードバックする。

このように、ペンデバイスによる手書き入力中であるかを判定し、手書き入力中では、ドラッグやタップなどの一般的な指操作を、手書き入力中のオブジェクトに対する特有な操作として認識することにより、指操作の複雑化を回避して、簡便に手書き入力中のオブジェクトを操作することが可能となる。

なお、ペンデバイスによる手書き入力中及び手書き入力が途切れてから所定時間が経過するまでは、手書き入力中であると判断する。そして、手書き入力中の上記指操作は結合／分割、部分消去などを指示操作として処理し、所定時間経過後の指操作は通常の操作（ドラッグ操作やタップ操作）として処理する。このように、ペンデバイスによる手書き入力中のみならず所定時間が経過するまで、手書き入力中と判断することにより、手書き入力したオブジェクトに対する操作を考える余裕ができ、適切なオブジェクト形成を行うことができる。また、所定時間が経過したら、手書き入力中でないと判断することにより、通常の操作に戻す作業を省略することができ、ユーザの利便性を向上させることができる。

その際、図２（ｄ）に示すように、手書き入力後の経過時間をオブジェクトに対応付けて（図ではオブジェクトの下部に）表示することができる。このように手書き入力後の経過時間を表示することにより、手書き入力中のオブジェクトに対する指操作が、所定時間の経過によって通常の操作と判断される不都合を未然に回避することができる。また、上記所定時間は固定時間としてもよいが、図２（ｄ）に示すように、指操作で手書き入力中状態を変更できるようにすることもできる。このように手書き入力中状態を変更可能にすることにより、手書き入力中状態を延長した場合は、手書き入力したオブジェクトに対してどのような操作を行うかを十分に考えることができ、また、手書き入力中状態を短縮した場合は、通常の指操作に速やかに戻すことができ、適切なオブジェクト形成を行うことができる。

上記した本発明の実施の形態についてさらに詳細に説明すべく、本発明の一実施例に係るオブジェクト操作装置及びオブジェクト操作制御プログラムについて、図３乃至図８を参照して説明する。図３は、本実施例のオブジェクト操作装置の構成例を模式的に示す図であり、図４は、オブジェクト操作装置の構成を示すブロック図である。また、図５は、本実施例の機能対応付け情報の一例であり、図６乃至図８は、本実施例のオブジェクト操作装置の処理を示すフローチャート図である。

図３（ａ）に示すように、本実施例のオブジェクト操作装置１０は、タッチパネルを備えた携帯型のコンピュータ装置やタブレット端末、ＰＤＡ（Personal Digital Assistants）、スマートフォンなどである。なお、オブジェクト操作装置１０は、タッチパネルを有する表示画面とオブジェクト操作を行うコントローラとが一体的に構成されていてもよいし、図３（ｂ）に示すように、タッチパネルを有する表示画面とオブジェクト操作を行うコントローラとが別々に構成されていてもよい。また、図３（ａ）に示すオブジェクト操作装置１０が通信ネットワークで複数台接続されたシステムとしてもよいし、更に、図３（ｂ）に示すオブジェクト操作装置１０が通信ネットワークで接続されたシステムとしてもよい。

図４は、図３（ａ）のオブジェクト操作装置１０の構成を示すブロック図であり、オブジェクト操作装置１０は、制御部１１（図３（ｂ）におけるコントローラ）と、表示部１２及び操作部１３（図３（ｂ）における表示画面）などで構成される。

制御部１１は、ＣＰＵ（Central Processing Unit）１１ａと、ＲＯＭ（Read Only Memory）１１ｂやＲＡＭ（Random Access Memory）１１ｃなどのメモリと、必要に応じてＨＤＤ（Hard Disk Drive）１１ｄや通信Ｉ／Ｆ部１１ｅなどで構成される。ＣＰＵ１１ａは、オブジェクト操作装置１０の動作を制御するプログラムをＲＯＭ１１ｂやＨＤＤ１１ｄから読み出し、ＲＡＭ１１ｃ上に展開して実行する。通信Ｉ／Ｆ部１１ｅは、ＮＩＣ（Network Interface Card）やモデムなどで構成され、必要に応じて、他のオブジェクト操作装置１０との接続を確立し、オブジェクトの送受信を行う。

また、ＲＯＭ１１ｂやＨＤＤ１１ｄは、手書き入力中と手書き入力中以外とで指操作に対して異なる機能を対応付ける機能対応付け情報を記憶する。この機能対応付け情報は、例えば、図５のように構成され、各々の指操作（ジェスチャ）に対して、手書き入力中及び手書き入力中以外（非手書き入力中と表記）に各々、機能が対応付けられている。なお、全ての指操作（ジェスチャ）に対して、手書き入力中と非手書き入力中とで機能を変える必要はない。また、全ての指操作（ジェスチャ）に対して、手書き入力中と非手書き入力中の双方に機能を対応付ける必要はなく、一方のみに機能を対応付けてもよい。この機能の対応付けに関しては後述する。

また、上記制御部１１は、オブジェクト操作制御部として機能する。このオブジェクト操作制御部は、スタイラスペンなどのペンデバイス（以下、単にペンと呼ぶ。）による入力と指や手（以下、指とする。）による入力とを識別し、指による入力を検知した場合、制御部１１に備えるタイマが計測する時間に基づいて、ペンによるオブジェクトの手書き入力中であるか否かを判断する。そして、上記機能対応付け情報を参照し、オブジェクトが手書き入力中であるか否かに応じて、指入力に対応する機能を特定し、特定した機能を実行させる。なお、このオブジェクト操作制御部はハードウェアとして構成してもよいし、制御部１１をオブジェクト操作制御部として機能させるオブジェクト操作制御プログラムとして構成してもよい。

表示部１２は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（electroluminescence）ディスプレイなどで構成され、ペンで手書き入力されたオブジェクトを表示する。また、指入力に応じて、分割、結合、範囲指定、部分消去、拡大／縮小、色／太さ／線種の変更などの機能が実行されたオブジェクトを表示する。

操作部１３は、表示部１２上に配置された格子状の透明電極を備えるタッチセンサであり、電磁気や静電容量、圧力、接触面積などに基づいて、ペンによる接触と指による接触とを識別して検知する。例えば、電磁気の変化を検知する機能と静電容量の変化を検知する機能とを兼ね備える構成とし、ペンの先端に埋め込まれた磁性材料による電磁気の変化に基づいてペンの接触を検知し、静電容量の変化に基づいて指の接触を検知することができる。また、圧力の変化を検知する機能と静電容量の変化を検知する機能とを兼ね備える構成とし、圧力の変化に基づいてペンの接触を検知し、静電容量の変化に基づいて指の接触を検知することができる。また、静電容量や圧力の変化を検知する機能を備える構成とし、静電容量や圧力が変化した面積や形状に基づいてペンの接触と指の接触とを識別して検知することができる。

以下、上記構成のオブジェクト操作装置１０で実行される処理について、図６乃至図８のフローチャート図を参照して説明する。

まず、手書き入力オブジェクトを新規に作成する際の処理について、図６のフローチャート図を参照して説明する。このフローは後述する図８のフローチャートのＳ３１４にて呼び出される。

まず、制御部１１は、オブジェクトのタッチセンサ上の位置座標などの変数を初期化して、手書き入力オブジェクトを新規に作成する（Ｓ１０１）。次に、制御部１１は、オブジェクトが手書き入力中であるか否かを判定するために使用するタイマを所定時間に設定し（Ｓ１０２）、タイマをスタートさせる（Ｓ１０３）。この所定時間は任意に設定可能であり、タイマをスタートさせると、タイマ値は経過時間に応じて減少する。

次に、オブジェクトが手書き入力中であるか否かを判断するための処理について、図７のフローチャート図を参照して説明する。このフローは、タッチセンサへの入力の有無に関わらず、オブジェクト毎に一定時間周期で実行される。

まず、制御部１１は、手書き入力オブジェクトに対するタイマが動作中であるか（タイマ値が正の値を持つか）を判断する（Ｓ２０１）。タイマが動作中でない場合は、手書き入力中でないため、処理を終了する。

タイマが動作中の場合は、制御部１１は、前サイクルから今までの間に、このオブジェクトへの指操作入力があったかどうかを判断する（Ｓ２０２）。このオブジェクトへの指操作入力があった場合、制御部１１は、その指操作の中に、手書き入力の終了を指示する操作があったかどうかを判断する（Ｓ２０３）。

手書き入力の終了を指示する操作があった場合、制御部１１は、そのオブジェクトのタイマを停止し、タイマ値に負の整数を設定する（Ｓ２０４）。一方、手書き入力の終了を指示する操作がなかった場合、そのオブジェクトのタイマ値を所定時間に設定し直し、タイマを再スタートさせる（Ｓ２０６）。

また、上記Ｓ２０２で、前サイクルから今までの間に、このオブジェクトへの指操作入力がなかった場合は、制御部１１は、タイマ値を一定時間（１サイクル時間）減らす（Ｓ２０７）。そして、制御部１１は、タイマ値が負であるかを判断し（Ｓ２０８）、タイマ値が負になった場合はタイマを停止する（Ｓ２０９）。

その後、制御部１１は、手書き入力オブジェクトに手書き入力中の状態を表示する（Ｓ２０５）。例えば、前述した図２（ｄ）に示すように、手書き入力オブジェクトの下部にタイマ値を棒グラフなどで表示する。

次に、手書きオブジェクトの操作制御処理について、図８のフローチャート図を参照して説明する。

まず、制御部１１は、操作部１３（タッチセンサ）に対するタッチ入力が指（もしくは手）によるものか、ペンによるものかを判断する（Ｓ３０１）。

タッチ入力が指（もしくは手）によるものであった場合、制御部１１は、操作対象が手書き入力オブジェクトであるか、ページ領域であるかを判断する（Ｓ３０２）。

操作対象が手書き入力オブジェクトであった場合、制御部１１は、そのタッチ入力を解析して、指操作（ジェスチャ）を特定し（Ｓ３０３）、機能対応付け情報を参照して、その指操作が手書き入力中か否かで機能が切り替わる操作であるか（そのジェスチャに対応付けられた機能が手書き入力中と非手書き入力中とで異なるか）を判断する（Ｓ３０４）。

指操作が手書き入力中か否かで機能が切り替わる操作であった場合には、制御部１１は、そのオブジェクト対するタイマが動作中であるかを判断し（Ｓ３０５）、タイマが動作中の場合は、手書き入力中の機能として予め対応付けられた機能を実行してオブジェクトを操作し（Ｓ３０６）、タイマが動作中でない場合は、非手書き入力の機能として予め対応付けられた機能を実行してオブジェクトを操作する（Ｓ３０８）。

図５の機能対応付け情報と、図１及び図２のジェスチャを参照して具体的に説明する。例えば、一方のオブジェクトを基点として他方のオブジェクトに向かって指を移動させるジェスチャを行った場合、非手書き入力中では、図１（ａ）に示すようにドラッグ操作と判断してオブジェクトを移動させる機能を実行するが、手書き入力中では、図２（ａ）に示すように結合操作と判断してオブジェクトを結合する機能を実行する。また、オブジェクトを横切るように指を移動させるジェスチャを行った場合、非手書き入力中では、同様にドラッグ操作と判断してオブジェクトを移動させる機能を実行するが、手書き入力中では、図２（ｂ）に示すように分割操作と判断してオブジェクトを２つに分割する機能を実行する。また、オブジェクト上で指を往復させるジェスチャを行った場合、非手書き入力中では、同様にドラッグ操作と判断してオブジェクトを移動させる機能を実行するが、手書き入力中では、図２（ｃ）に示すように部分消去操作と判断してオブジェクトの一部を消去する機能を実行する。また、オブジェクトに指をタッチするジェスチャを行った場合、非手書き入力中では、図１（ａ）に示すようにタップ操作と判断してオブジェクトを選択する機能を実行するが、手書き入力中では、色／太さ／線種の変更操作と判断してオブジェクトを構成する線の色／太さ／線種を変更する機能を実行する。

また、上記Ｓ３０４で、指操作が手書き入力中か否かで機能が切り替わる操作でない場合は、制御部１１は、機能対応付け情報を参照して、その指操作に対応する機能を実行してオブジェクトを操作する（Ｓ３０９）。

例えば、オブジェクトの対角上に２本の指をタッチし、２本の指の間隔を広げる／狭めるジェスチャを行った場合、非手書き入力中でも手書き入力中でもピンチ操作と判断してオブジェクトを拡大／縮小する機能を実行する。

また、上記Ｓ３０２で、操作対象がオブジェクトでなくページ領域であった場合には、制御部１１は、そのタッチ入力を解析して、指操作（ジェスチャ）を特定し（Ｓ３１０）、その指操作に対応する機能を実行する（Ｓ３１１）。

また、上記Ｓ３０１で、タッチ入力がペンによるものであった場合、制御部１１は、そのタッチ入力が手書き入力中（タイマ動作中）のオブジェクトを対象とする入力であるか否かを判断する（Ｓ３１２）。

そして、制御部１１は、タッチ入力が手書き入力中のオブジェクトを対象とする入力であった場合、ペンの軌跡に応じて、手書きストロークの状態を更新し（Ｓ３１３）、タッチ入力が手書き入力中のオブジェクトを対象とする入力でなかった場合には、前記した図６のフローチャート図に従って手書きオブジェクトを新規に作成する（Ｓ３１４）。

その後、制御部１１は、オブジェクトの状態変更に応じてオブジェクトの表示を更新する（Ｓ３０７）。例えば、Ｓ３０６、Ｓ３０８、Ｓ３０９でオブジェクト操作を行った場合は、操作に対応付けられた機能を実行した後のオブジェクトを表示し、Ｓ３１３で手書き状態を更新した場合は、更新後の手書き入力オブジェクトを表示し、Ｓ３１４で手書きオブジェクトの新規作成を行った場合は、新規のオブジェクトを表示する。その際、手書き入力中は、オブジェクトを囲む枠を表示することで、手書き入力中であることを容易に確認することができ、また、タイマの状態を表示することで、手書き入力中と判断される残り時間を容易に確認することができる。

以上説明したように、本実施例では、各々の指操作（ジェスチャ）に対して、手書き入力中と非手書き入力中とで各々機能を対応付けておき、オブジェクト操作装置１０では、ペンによる手書き入力中に指操作が行われた場合は、その指操作を、手書き入力中のオブジェクトに対する操作として認識し、当該操作に対応付けられた機能を実行するため、メニュー画面を表示して機能を選択するといった操作が不要となり、簡便に適切なオブジェクト形成を行うことができる。

なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、その構成及び制御は適宜変更可能である。

例えば、上記実施例では、手書き入力中のオブジェクトに対する特定の操作に対応付けられた機能として、オブジェクトの分割、結合、範囲指定、部分消去、拡大／縮小、色／太さ／線種の変更を記載したが、これらの機能は例示であり、手書き入力中のオブジェクトに対して適用可能な任意の機能を対応付けることができる。また、図５の機能対応付け情報におけるジェスチャと機能の対応関係も例示であり、任意のジェスチャと任意の機能とを対応付けることができる。

また、上記実施例では、ペンで手書き入力したオブジェクトを指で操作する場合について説明したが、２種類の指示手段によるタッチを識別可能な構成において、一方の指示手段で手書き入力したオブジェクトを他方の指示手段で操作する任意の場合に対しても同様に適用することができる。例えば、太さが異なる２種類のペンを用い、一方のペンで手書き入力したオブジェクトを他方のペンで操作したり、異なる２本の指を用い、一方の指で手書き入力したオブジェクトを他方の指で操作したりする場合に対しても、本発明の制御を同様に適用することができる。

本発明は、タッチパネルを備えた装置、特に、２種類の指示手段によるタッチを識別可能なタッチセンサを表示面に有するタッチパネルを備えた装置及び当該装置で動作するプログラムに利用可能である。

１０ オブジェクト操作装置
１１ 制御部
１１ａ ＣＰＵ
１１ｂ ＲＯＭ
１１ｃ ＲＡＭ
１１ｄ ＨＤＤ
１１ｅ 通信Ｉ／Ｆ部
１２ 表示部
１３ 操作部

Claims (10)

1. ２種類の指示手段によるタッチを識別可能なタッチセンサと、
   前記タッチセンサを表示面に備え、一方の指示手段によって手書き入力されたオブジェクトを表示する表示部と、
   前記一方の指示手段による手書き入力時及び手書き入力が途切れてから所定時間が経過するまでの期間の場合に、他方の指示手段による操作を、前記手書き入力中のオブジェクトに対する特定の操作として認識し、当該特定の操作に対応付けられた機能を実行する制御部と、を備える、
   ことを特徴とするオブジェクト操作装置。
2. 前記制御部は、前記手書き入力が途切れてからの経過時間を、前記手書き入力中のオブジェクトに対応付けて表示する、
   ことを特徴とする請求項１に記載のオブジェクト操作装置。
3. 前記制御部は、前記他方の指示手段による操作により、前記所定時間を変更可能にする、
   ことを特徴とする請求項１又は２に記載のオブジェクト操作装置。
4. 前記特定の操作に対応付けられた機能は、オブジェクトの分割、オブジェクトの結合、オブジェクトの範囲指定、オブジェクトの部分消去、オブジェクトの拡大／縮小、オブジェクトの色、太さ及び線種の少なくとも１つの変更の中から選択される１以上の機能を含む、
   ことを特徴とする請求項１乃至３のいずれか一に記載のオブジェクト操作装置。
5. 前記他方の指示手段は指であり、
   前記制御部は、少なくとも、指の本数、指の移動方向のいずれかにより、前記特定の操作を区別する、
   ことを特徴とする請求項４に記載のオブジェクト操作装置。
6. ２種類の指示手段によるタッチを識別可能なタッチセンサと、前記タッチセンサを表示面に備え、一方の指示手段によって手書き入力されたオブジェクトを表示する表示部と、を制御する装置で動作するオブジェクト操作制御プログラムであって、
   前記装置に、
   前記一方の指示手段による手書き入力時及び手書き入力が途切れてから所定時間が経過するまでの期間の場合に、他方の指示手段による操作を、前記手書き入力中のオブジェクトに対する特定の操作として認識し、当該特定の操作に対応付けられた機能を実行する処理、を実行させる、
   ことを特徴とするオブジェクト操作制御プログラム。
7. 前記処理では、前記手書き入力が途切れてからの経過時間を、前記手書き入力中のオブジェクトに対応付けて表示する、
   ことを特徴とする請求項６に記載のオブジェクト操作制御プログラム。
8. 前記処理では、前記他方の指示手段による操作により、前記所定時間を変更可能にする、
   ことを特徴とする請求項６又は７に記載のオブジェクト操作制御プログラム。
9. 前記特定の操作に対応付けられた機能は、オブジェクトの分割、オブジェクトの結合、オブジェクトの範囲指定、オブジェクトの部分消去、オブジェクトの拡大／縮小、オブジェクトの色、太さ及び線種の少なくとも１つの変更の中から選択される１以上の機能を含む、
   ことを特徴とする請求項６乃至８のいずれか一に記載のオブジェクト操作制御プログラム。
10. 前記他方の指示手段は指であり、
    前記処理では、少なくとも、指の本数、指の移動方向のいずれかにより、前記特定の操作を区別する、
    ことを特徴とする請求項９に記載のオブジェクト操作制御プログラム。

Images