JPWO2014162604A1 - 電子機器および手書きデータ処理方法 - Google Patents

電子機器および手書きデータ処理方法 Download PDF

Info

Publication number
JPWO2014162604A1
JPWO2014162604A1 JP2015509848A JP2015509848A JPWO2014162604A1 JP WO2014162604 A1 JPWO2014162604 A1 JP WO2014162604A1 JP 2015509848 A JP2015509848 A JP 2015509848A JP 2015509848 A JP2015509848 A JP 2015509848A JP WO2014162604 A1 JPWO2014162604 A1 JP WO2014162604A1
Authority
JP
Japan
Prior art keywords
color
stroke
screen
handwritten
handwriting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015509848A
Other languages
English (en)
Other versions
JP5925957B2 (ja
Inventor
康公 大河原
康公 大河原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Application granted granted Critical
Publication of JP5925957B2 publication Critical patent/JP5925957B2/ja
Publication of JPWO2014162604A1 publication Critical patent/JPWO2014162604A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/142Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

実施形態によれば、電子機器は、設定手段と、描画手段とを具備する。前記設定手段は、ユーザインタフェースの操作に応じて、ストロークの描画のための色を設定する。前記描画手段は、前記設定手段により設定される第1色と画面上の背景の色が同色である場合、手書きによって入力される第1のストロークを前記第1色と異なる第2色で画面上に描画する。前記描画手段は、前記第1のストロークを前記第2色で描画してから第1の期間が経過した後に、前記画面上に前記第1のストロークを前記第1色で描画する。

Description

本発明の実施形態は、手書きデータを処理する技術に関する。
近年、タブレット、PDA、スマートフォンといった種々の電子機器が開発されている。この種の電子機器の多くは、ユーザによる入力操作を容易にするために、タッチスクリーンディスプレイを備えている。
ユーザは、タッチスクリーンディスプレイ上に表示されるメニューまたはオブジェクトを指などでタッチすることにより、これらメニューまたはオブジェクトに関連づけられた機能の実行を電子機器に指示することができる。
しかし、タッチスクリーンディスプレイを備える既存の電子機器の多くは、画像、音楽、他の各種メディアデータに対する操作性を追求したコンシューマ向け製品であり、会議、商談、商品開発などのビジネスシーンにおける利用については必ずしも適していない場合がある。このため、ビジネスシーンにおいては、いまなお、紙の手帳が広く利用されている。
最近では、会議用の電子黒板システムも開発されている。
特開平11−327789号公報
ところで、手帳のような紙のページでは、ユーザが、手書きする内容に応じて、ペンの色等を使い分けることがある。そのため、電子機器において手書きデータを容易に扱うことができるようにするためには、手書き文書の作成に様々な描画形態を利用できるようにすることが必要とされる。
本発明の一形態の目的は、手書きデータを容易に扱うことができる電子機器および手書きデータ処理方法を提供することである。
実施形態によれば、電子機器は、設定手段と、描画手段とを具備する。前記設定手段は、ユーザインタフェースの操作に応じて、ストロークの描画のための色を設定する。前記描画手段は、前記設定手段により設定される第1色と画面上の背景の色が同色である場合、手書きによって入力される第1のストロークを前記第1色と異なる第2色で画面上に描画する。前記描画手段は、前記第1のストロークを前記第2色で描画してから第1の期間が経過した後に、前記画面上に前記第1のストロークを前記第1色で描画する。
図1は、実施形態に係る電子機器の外観を示す斜視図である。 図2は、同実施形態の電子機器と外部装置との連携動作を示す図である。 図3は、同実施形態の電子機器のタッチスクリーンディスプレイ上に手書きされる手書き文書の例を示す図である。 図4は、同実施形態の電子機器によって記憶媒体に保存される、図3の手書き文書に対応する時系列情報を説明するための図である。 図5は、同実施形態の電子機器のシステム構成を示すブロック図である。 図6は、同実施形態の電子機器によって実行されるデジタルノートブックアプリケーションプログラムの機能構成を示すブロック図である。 図7は、同実施形態の電子機器によって実行される、ユーザの操作に応じて設定された色と異なる色でストロークを描画する動作を説明するための図である。 図8は、同実施形態の電子機器によって実行される、描画されたストロークの色を元の色に戻す動作の第1の例を説明するための図である。 図9は、同実施形態の電子機器によって実行される、描画されたストロークの色を元の色に戻す動作の第2の例を説明するための図である。 図10は、同実施形態の電子機器によって実行される描画処理の手順を示すフローチャートである。 図11は、同実施形態の電子機器によって実行される、描画されたストロークの色を連続的に遷移させる動作を説明するための図である。
以下、実施の形態について図面を参照して説明する。
図1は、一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、例えば、ペンまたは指によって手書き入力可能なペン・ベースの携帯型電子機器である。この電子機器は、タブレットコンピュータ、ノートブック型パーソナルコンピュータ、スマートフォン、PDA等として実現され得る。以下では、この電子機器がタブレットコンピュータ10として実現されている場合を想定する。タブレットコンピュータ10は、タブレットまたはストレートコンピュータとも称される携帯型電子機器であり、図1に示すように、本体11とタッチスクリーンディスプレイ17とを備える。タッチスクリーンディスプレイ17は、本体11の上面に重ね合わせるように取り付けられている。
本体11は、薄い箱形の筐体を有している。タッチスクリーンディスプレイ17には、フラットパネルディスプレイと、フラットパネルディスプレイの画面上のペンまたは指の接触位置を検出するように構成されたセンサとが組み込まれている。フラットパネルディスプレイは、例えば、液晶表示装置(LCD)であってもよい。センサとしては、例えば、静電容量方式のタッチパネル、電磁誘導方式のデジタイザなどを使用することができる。以下では、デジタイザとタッチパネルの2種類のセンサの双方がタッチスクリーンディスプレイ17に組み込まれている場合を想定する。
デジタイザおよびタッチパネルタッチの各々は、フラットパネルディスプレイの画面を覆うように設けられる。このタッチスクリーンディスプレイ17は、指を使用した画面に対するタッチ操作のみならず、ペン100を使用した画面に対するタッチ操作も検出することができる。ペン100は例えば電磁誘導ペンであってもよい。ユーザは、外部オブジェクト(ペン100又は指)を使用してタッチスクリーンディスプレイ17上で手書き入力操作を行うことができる。手書き入力操作中においては、画面上の外部オブジェクト(ペン100又は指)の動きの軌跡、つまり手書き入力操作によって手書きされるストローク(手書きストロークの軌跡)がリアルタイムに描画され、これによって手書きにより入力された複数の手書きストローク(各手書きストロークの軌跡)が画面上に表示される。外部オブジェクトが画面に接触されている間の外部オブジェクトの動きの軌跡が1つの手書きストロークに相当する。手書きされた文字、マーク、図形、表などに対応する多数の手書きストロークの集合、つまり多数の軌跡(筆跡)の集合が手書きデータを構成する。以下では、手書きストロークは単にストロークとも称する。
本実施形態では、この手書き文書は、イメージデータではなく、各ストロークの軌跡の座標列とストローク間の順序関係を示す時系列情報として記憶媒体に保存される。この時系列情報の詳細は図4を参照して後述するが、この時系列情報は、複数のストロークが手書きされた順を示し、且つ複数のストロークにそれぞれ対応する複数のストロークデータを含む。換言すれば、この時系列情報は、複数のストロークにそれぞれ対応する時系列のストロークデータの集合を意味する。各ストロークデータは、ある一つのストロークに対応し、このストロークの軌跡上の点それぞれに対応する座標データ系列(時系列座標)を含む。これらストロークデータの並びの順序は、ストロークそれぞれが手書きされた順序つまり筆順に相当する。
タブレットコンピュータ10は、記憶媒体から既存の任意の時系列情報を読み出し、この時系列情報に対応する手書き文書、つまりこの時系列情報によって示される複数のストロークを画面上に表示することができる。時系列情報によって示される複数のストロークも、手書きによって入力される複数のストロークである。
さらに、タブレットコンピュータ10は編集機能を有している。この編集機能は、「消しゴム」ツール、範囲選択ツール、および他の各種ツール等を用いたユーザによる編集操作に応じて、表示中の手書き文書内の任意のストロークまたは任意の手書きオブジェクト部分(手書き文字、手書きマーク、手書き図形、手書き表、等)を削除または移動することができる。またさらに、範囲選択ツールによって選択される手書き文書内の任意の部分を、手書き文書を検索するための検索キーとして指定することもできる。
本実施形態では、時系列情報(手書き文書)は、1つまたは複数のページとして管理されうる。この場合、時系列情報(手書き文書)を1つの画面に収まる面積単位で区切ることによって、1つの画面に収まる時系列情報のまとまりを1つのページとして記録してもよい。あるいは、ページのサイズを可変できるようにしてもよい。この場合、ページのサイズは1つの画面のサイズよりも大きい面積に広げることができるので、画面のサイズよりも大きな面積の手書き文書を一つのページとして扱うことができる。1つのページ全体をディスプレイに同時に表示できない場合は、そのページを縮小してするようにしてもよいし、縦横スクロールによってページ内の表示対象部分を移動するようにしてもよい。
ページには、手書き文書(手書きデータ)のみならず、手書きデータ以外の他の各種コンテンツデータ、例えば、画像データ(静止画、動画)、テキストデータ、音声データ、ドロー系アプリケーションによって作成されたデータ、等を含むことができる。換言すれば、本実施形態で扱われる手書き文書(手書きページデータ)は、複数種のメディアデータ(手書きデータ、画像データ、テキストデータ、音声データ、ドロー系アプリケーションによって作成されたデータ、等)を含むことができる。この場合、手書きページデータに含まれるこれらメディアデータには互いに異なるレイヤがそれぞれ割り当てられてもよい。ユーザは、あるメディアデータ(コンテンツデータとも云う)上にストローク(手書き文字、手書きマーク、手書き図形、手書き表、等)を手書きすることもできる。
図2は、タブレットコンピュータ10と外部装置との連携動作の例を示している。タブレットコンピュータ10は、パーソナルコンピュータ1やクラウドと連携することができる。すなわち、タブレットコンピュータ10は、無線LANなどの無線通信デバイスを備えており、パーソナルコンピュータ1との無線通信を実行することができる。さらに、タブレットコンピュータ10は、インターネット上のサーバ2との通信を実行することもできる。サーバ2はオンラインストレージサービス、他の各種クラウドコンピューティングサービスを実行するサーバであってもよい。
パーソナルコンピュータ1はハードディスクドライブ(HDD)のようなストレージデバイスを備えている。タブレットコンピュータ10は、手書きページデータをネットワーク越しにパーソナルコンピュータ1に送信して、パーソナルコンピュータ1のHDDに記録することができる(アップロード)。タブレットコンピュータ10とパーソナルコンピュータ1との間のセキュアな通信を確保するために、通信開始時には、パーソナルコンピュータ1がタブレットコンピュータ10を認証するようにしてもよい。この場合、タブレットコンピュータ10の画面上にユーザに対してIDまたはパスワードの入力を促すダイアログを表示してもよいし、タブレットコンピュータ10のIDなどを自動的にタブレットコンピュータ10からパーソナルコンピュータ1に送信してもよい。
これにより、タブレットコンピュータ10内のストレージの容量が少ない場合でも、タブレットコンピュータ10が多数の手書きページデータあるいは大容量の手書きページデータを扱うことが可能となる。
さらに、タブレットコンピュータ10は、パーソナルコンピュータ1のHDDに記録されている任意の1以上の手書きページデータを読み出し(ダウンロード)、その手書きページデータの内容(手書きデータ、他の各種コンテンツデータ)をタブレットコンピュータ10のディスプレイ17の画面に表示することができる。この場合、複数の手書きページデータそれぞれを縮小することによって得られるサムネイルの一覧をディスプレイ17の画面上に表示してもよいし、これらサムネイルから選ばれた1ページをディスプレイ17の画面上に通常サイズで表示してもよい。
さらに、タブレットコンピュータ10が通信する先はパーソナルコンピュータ1ではなく、上述したように、ストレージサービスなどを提供するクラウド上のサーバ2であってよい。タブレットコンピュータ10は、手書きページデータをネットワーク越しにサーバ2に送信して、サーバ2のストレージデバイス2Aに記録することができる(アップロード)。さらに、タブレットコンピュータ10は、サーバ2のストレージデバイス2Aに記録されている任意の手書きページデータを読み出して(ダウンロード)、その手書きページデータの内容(手書きデータ、他の各種コンテンツデータ)をタブレットコンピュータ10のディスプレイ17の画面に表示することができる。
このように、本実施形態では、手書きページデータが格納される記憶媒体は、タブレットコンピュータ10内のストレージデバイス、パーソナルコンピュータ1内のストレージデバイス、サーバ2のストレージデバイスのいずれであってもよい。
次に、図3および図4を参照して、ユーザによって手書きされたストローク(文字、マーク、図形、表など)と時系列情報との関係について説明する。図3は、ペン100などを使用してタッチスクリーンディスプレイ17上に手書きされる手書き文書(手書き文字列)の例を示している。
手書き文書では、一旦手書きによって入力される文字や図形などの上に、さらに別の文字や図形などが手書きによって入力されるというケースが多い。図3においては、「ABC」の手書き文字列が「A」、「B」、「C」の順番で手書きによって入力され、この後に、手書きの矢印が、手書き文字「A」のすぐ近くに手書きによって入力された場合が想定されている。
手書き文字「A」は、ペン100などを使用して手書きされる2つのストローク(「∧」形状の軌跡、「−」形状の軌跡)によって、つまり2つの軌跡によって表現される。最初に手書きされる「∧」形状のペン100の軌跡は例えば等時間間隔でリアルタイムにサンプリングされ、これによって「∧」形状のストロークの時系列座標SD11、SD12、…SD1nが得られる。同様に、次に手書きされる「−」形状のペン100の軌跡も等時間間隔でリアルタイムにサンプリングされ、これによって「−」形状のストロークの時系列座標SD21、SD22、…SD2nが得られる。
手書き文字「B」は、ペン100などを使用して手書きされた2つのストローク、つまり2つの軌跡によって表現される。手書き文字「C」は、ペン100などを使用して手書きされた手書きされた1つのストローク、つまり1つの軌跡によって表現される。手書きの「矢印」は、ペン100などを使用して手書きされた手書きされた2つのストローク、つまり2つの軌跡によって表現される。
図4は、図3の手書き文書に対応する時系列情報(手書きデータ)200を示している。時系列情報は、複数のストロークデータSD1、SD2、…、SD7を含む。時系列情報200内においては、これらストロークデータSD1、SD2、…、SD7は、筆跡順に、つまり複数のストロークが手書きされた順に時系列に並べている。
時系列情報200において、先頭の2つのストロークデータSD1、SD2は、手書き文字「A」の2つのストロークをそれぞれ示している。3番目と4番目のストロークデータSD3、SD4は、手書き文字「B」を構成する2つのストロークをそれぞれ示している。5番目のストロークデータSD5は、手書き文字「C」を構成する1つのストロークを示している。6番目と7番目のストロークデータSD6、SD7は、手書き「矢印」を構成する2つのストロークをそれぞれ示している。
各ストロークデータは、一つのストロークに対応する座標データ系列(時系列座標)、つまり一つのストロークの軌跡上の複数の点それぞれに対応する複数の座標を含む。各ストロークデータにおいては、複数の座標はストロークが書かれた順に時系列に並べられている。例えば、手書き文字「A」に関しては、ストロークデータSD1は、手書き文字「A」の「∧」形状のストロークの軌跡上の点それぞれに対応する座標データ系列(時系列座標)、つまりn個の座標データSD11、SD12、…SD1nを含む。ストロークデータSD2は、手書き文字「A」の「−」形状のストロークの軌跡上の点それぞれに対応する座標データ系列、つまりn個の座標データSD21、SD22、…SD2nを含む。なお、座標データの数はストロークデータ毎に異なっていてもよい。
各座標データは、対応する軌跡内のある1点に対応するX座標およびY座標を示す。例えば、座標データSD11は、「∧」形状のストロークの始点のX座標(X11)およびY座標(Y11)を示す。SD1nは、「∧」形状のストロークの終点のX座標(X1n)およびY座標(Y1n)を示す。
さらに、各座標データは、その座標に対応する点が手書きされた時点に対応するタイムスタンプ情報Tを含んでいてもよい。手書きされた時点は、絶対時間(例えば、年月日時分秒)またはある時点を基準とした相対時間のいずれであってもよい。例えば、各ストロークデータに、ストロークが書き始められた絶対時間(例えば、年月日時分秒)をタイムスタンプ情報として付加し、さらに、ストロークデータ内の各座標データに、絶対時間との差分を示す相対時間をタイムスタンプ情報Tとして付加してもよい。
このように、各座標データにタイムスタンプ情報Tが追加された時系列情報を使用することにより、ストローク間の時間的関係をより精度よく表すことができる。
さらに、各座標データには、筆圧を示す情報(Z)を追加してもよい。またさらに、各ストロークデータには、ペンスタイル(描画形態)を追加しても良い。ペンスタイルは、手書きストロークの描画の形態、例えば、線(描画される軌跡)の色、線種(実線、破線)、線の太さ、等を表す。ユーザは使用すべきペンスタイルを変更しながら手書き入力操作を行うことができる。
図4で説明したような構造を有する時系列情報200は、個々のストロークの筆跡だけでなく、ストローク間の時間的関係も表すことができる。したがって、この時系列情報200を使用することにより、図3に示すようにたとえ手書き「矢印」の先端部が手書き文字「A」上に重ねてまたは手書き文字「A」に近接して書かれたとしても、手書き文字「A」と手書き「矢印」の先端部とを異なる文字または図形として扱うことが可能となる。
さらに、本実施形態の時系列情報200においては、上述したように、ストロークデータSD1、SD2、…、SD7の並びは手書き文字の筆順を示す。例えば、ストロークデータSD1およびSD2の並びは、最初に「∧」形状のストロークが手書きされ、次に「−」形状のストロークが手書きされたことを表す。したがって、たとえ2つの手書き文字の筆跡同士が互いに類似していても、それら2つの手書き文字の筆順が互いに異なる場合には、それら2つの手書き文字を異なる文字として区別することができる。
さらに、本実施形態では、上述したように、手書きデータは、イメージまたは文字認識結果ではなく、時系列のストロークデータの集合から構成される時系列情報200として記憶されるので、手書き文字の言語に依存せずに手書き文字を扱うことができる。よって、本実施形態の時系列情報200の構造は、使用言語の異なる世界中の様々な国で共通に使用できる。
図5は、タブレットコンピュータ10のシステム構成を示す図である。
タブレットコンピュータ10は、図5に示されるように、CPU101、システムコントローラ102、主メモリ103、グラフィクスコントローラ105、BIOS−ROM105、不揮発性メモリ106、無線通信デバイス107、エンベデッドコントローラ(EC)108等を備える。
CPU101は、タブレットコンピュータ10内の各種モジュールの動作を制御するプロセッサである。CPU101は、ストレージデバイスである不揮発性メモリ106から主メモリ103にロードされる各種ソフトウェアを実行する。これらソフトウェアには、オペレーティングシステム(OS)201、および各種アプリケーションプログラムが含まれている。アプリケーションプログラムには、デジタルノートブックアプリケーションプログラム202が含まれている。このデジタルノートブックアプリケーションプログラム202は、上述の手書きページデータを作成および表示する機能、手書きページデータを編集する機能、手書きページデータ内の手書きオブジェクト(手書き文字、手書きマーク、手書き図形等)を認識する機能、所望の手書き部分を含む手書き文書情報や、ある手書き文書情報内の所望の手書き部分を検索するための手書き文書検索機能を有している。手書き文書検索機能は、筆跡検索およびテキスト検索(文字列検索)の双方を実行することができる。筆跡検索は、検索キーである手書きストローク群の筆跡特徴量と類似する筆跡特徴量を有するストロークデータ群を検索するための検索方式である。テキスト検索(文字列検索)は、検索キーであるテキスト(文字コード)に対応する手書き文字(ストロークデータ群)を検索するための検索方式である。
また、CPU101は、BIOS−ROM105に格納された基本入出力システム(BIOS)も実行する。BIOSは、ハードウェア制御のためのプログラムである。
システムコントローラ102は、CPU101のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ102には、主メモリ103をアクセス制御するメモリコントローラも内蔵されている。また、システムコントローラ102は、PCI EXPRESS規格のシリアルバスなどを介してグラフィクスコントローラ104との通信を実行する機能も有している。
グラフィクスコントローラ104は、本タブレットコンピュータ10のディスプレイモニタとして使用されるLCD17Aを制御する表示コントローラである。このグラフィクスコントローラ104によって生成される表示信号はLCD17Aに送られる。LCD17Aは、表示信号に基づいて画面イメージを表示する。このLCD17A上にはタッチパネル17Bおよびデジタイザ17Cが配置されている。タッチパネル17Bは、LCD17Aの画面上で入力を行うための静電容量式のポインティングデバイスである。指が接触される画面上の接触位置および接触位置の動き等はタッチパネル17Bによって検出される。デジタイザ17CはLCD17Aの画面上で入力を行うための電磁誘導式のポインティングデバイスである。ペン100が接触される画面上の接触位置および接触位置の動き等はデジタイザ17Cによって検出される。
無線通信デバイス107は、無線LANまたは3G移動通信などの無線通信を実行するように構成されたデバイスである。EC108は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータである。EC108は、ユーザによるパワーボタンの操作に応じて本タブレットコンピュータ10を電源オンまたは電源オフする機能を有している。
次に、図6を参照して、デジタルノートブックアプリケーションプログラム202の機能構成について説明する。
デジタルノートブックアプリケーションプログラム202は、手書きデータを扱うことが可能なWYSIWYGアプリケーションである。このデジタルノートブックアプリケーションプログラム202は、タッチスクリーンディスプレイ17を用いた手書き入力操作によって入力される座標データ系列(時系列座標)を使用することによって、手書き文書の作成、表示、編集等を行う。また、デジタルノートブックアプリケーション202は、上述の筆跡検索およびテキスト検索を実行することもできる。さらに、デジタルノートブックアプリケーションプログラム202は、手書き文書上に手書きされた文字を文字コードに変換する筆跡認識を行うこともできる。
デジタルノートブックアプリケーション202は、例えば、ペン設定部300A、背景設定部300B、表示処理部301、時系列情報生成部302、検索/認識部303、ページ保存処理部306、ページ取得処理部307、およびインポート部308を備える。
上述したタッチスクリーンディスプレイ17は、「タッチ」、「移動(スライド)」、「リリース」等のイベントの発生を検出するように構成されている。「タッチ」は、画面上に外部オブジェクトが接触したことを示すイベントである。「移動(スライド)」は、画面上に外部オブジェクトが接触されている間に接触位置が移動されたことを示すイベントである。「リリース」は、画面から外部オブジェクトが離されたことを示すイベントである。
デジタルノートブックアプリケーションプログラム202は手書きページデータの作成、閲覧、編集を行うためのノートビュー画面をタッチスクリーンディスプレイ17上に表示する。このノートビュー画面は手書き可能な画面であり、このノートビュー画面上には、例えば、複数のペンアイコン、「範囲選択」アイコン、「消しゴム」アイコンが表示され得る。複数のペンアイコンには、複数種のペンスタイル(描画形態)が割り当てられている。ペンスタイルは、上述したように、線(描画される軌跡)の色、線の種類(実線、破線等)、線の太さ、ペン先の種類(ボールペン、マーカ、万年筆等)等の組み合わせによって定められる。
ペン設定部300Aは、ユーザインタフェース(例えば、上述の複数のペンアイコン、またはペンスタイルの詳細を設定するためのメニュー画面、等)を表示し、ユーザによって行われるこのユーザインタフェースの操作に応じてストロークの描画の形態を設定する。本実施形態では、代表的な幾つかのペンスタイルが割り当てられた幾つかのペンアイコンがノートビュー画面上に表示される。これらペンアイコンには、黒ペンアイコン、赤ペンアイコン、緑色ペンアイコン、透明ペンアイコン等が含まれる。黒ペンアイコンは黒色の実線を描画するためのペンアイコンである。赤ペンアイコンは赤色の実線を描画するためのペンアイコンである。緑色ペンアイコンは緑色の実線を描画するためのペンアイコンである。透明ペンアイコンは、透明属性を有する描画形態が割り当てられたペンアイコンである。この透明ペンアイコンは、例えば、画面上に表示されない属性(透明属性)を有する手書き文字または手書きマークなどを手書きページに埋め込むために使用される。ユーザは、上述の筆跡検索を利用することによって、透明ペンアイコンで手書きされた文字またはマーク等を含む手書きページデータを容易に見つけることができる。
ペン設定部300Aは、いずれかのペンアイコン上での「タッチ(タップ)」イベントが受信されたことに応じて、タッチされたペンアイコンに関連付けられた描画形態を、現在の描画形態として設定する。
背景設定部300Bは、ユーザによって行われる背景色設定操作に応じて、ノートビュー画面上に表示される手書き可能なページ(手書きページ)の背景の形態(ページスタイル)を設定する。手書き可能なページの背景の形態としては、この手書き可能なページの背景色、手書き可能なページの背景に表示すべき罫線の有無、手書き可能なページの背景に表示すべき罫線の間隔、等がある。
表示処理部301および時系列情報生成部302は、タッチスクリーンディスプレイ17によって発生される「タッチ」、「移動(スライド)」または「リリース」のイベントを受信し、これによって手書き入力操作を検出する。「タッチ」イベントには、接触位置の座標が含まれている。「移動(スライド)」イベントには、移動先の接触位置の座標が含まれている。したがって、表示処理部301および時系列情報生成部302は、タッチスクリーンディスプレイ17から、接触位置の動きの軌跡に対応する座標列を受信することができる。
表示処理部301は、背景設定部300Bによって設定された背景の形態(ページスタイル)でノートビュー画面を表示する。また、表示処理部301は、手書きによって入力されるストローク(ストロークの軌跡)をペン設定部300Aによって設定された描画形態(色、線種、等)でノートビュー画面上に描画するように構成された描画部として機能する。
すなわち、表示処理部301は、タッチスクリーンディスプレイ17から座標列を受信する。そして、表示処理部301は、この座標列に基づいて、手書き入力操作によって手書きされる各ストロークの軌跡を、ペン設定部300Aによって設定された描画形態(ペンスタイル)でノートビュー画面上に描画する。この表示処理部301により、画面にペン100が接触している間のペン100の軌跡、つまり各ストロークの軌跡がノートビュー画面上に表示される。
ユーザは、任意のペンスタイル(任意の色、任意の線種、等)を使用して文字、マーク、図形等をノートビュー画面上に手書きすることができる。しかし、手書きページの背景色と設定されたペンの色が同色である場合、手書きされたストロークが見えなくなってしまう。
例えば、画面上に表示されない透明属性を有する手書き文字または手書きマークなどを手書きページに埋め込むために、ユーザが意図的に背景色と同じペンの色を設定する場合がある。また、上述の透明ペンアイコンが選択された場合も、ペンの色は背景色と同じ色に自動的に設定される。
しかし、ペンの色と背景色とが同じ場合には、ユーザは手書きされたストロークを視認することができないので、手書きしたストロークを確認することができない。また、ストロークが見えないため、このストロークを消しゴムツールで消すことも難しい。
そこで、表示処理部301は、ある設定された色(第1色)と画面上の背景の色が同色である場合には、手書きによって入力されるストロークを設定される色(第1色)と異なる第2色で画面上に描画するように構成されている。画面上の背景の色は、例えば、背景設定部300Bによって設定された手書きページの背景色である。なお、手書きページには、図形データ、画像データといった他のオブジェクトを配置することができ、このオブジェクト上に手書きストロークを描画することができる。したがって、上述の画面上の背景の色は、ストロークの背面側に位置する画面上のオブジェクトの色、例えば、このオブジェクトの背景色、であってもよい。
第2色としては、例えば、背景の色の補色が使用される。また、設定される色(任意の第1色)と画面上の背景の色が同色である場合には、このようにストロークの描画の色を自動的に変更するのみならず、線種、線の太さ、等も自動的に変更しても良い。
換言すれば、表示処理部301は、設定される色(任意の第1色)と画面上の背景の色が同色である場合には、手書きによって入力されるストロークを、予め設定されているペンスタイルで描画することができる。予め設定されているペンスタイルとしては、線種=破線、線の太さ=太線、色=背景色の補色、の組み合わせを使用しえる。
さらに、表示処理部301は、ストロークが上述の予め設定されたスタイルで第1の期間表示された後に、画面上のこのストロークのスタイルを、上述の予め設定されたスタイルから、元の設定されたスタイルに自動的に変更するように構成されている。換言すれば、表示処理部301は、ストロークを設定される色(任意の第1色)と異なる第2色で画面上に描画してから第1の期間が経過した後に、このストロークを上述の第1色で画面上に描画(再描画)する。第1の期間の詳細は図8、図9で詳述するが、第1の期間は、一定時間である必要は無く、ユーザによる手書き操作の状況等に応じて自動的に変化し得る可変時間であってよい。
これにより、少なくとも手書き操作中においては、手書きによって入力されるストロークの軌跡を視認可能にユーザに提示することができるので、ユーザは画面を見ながら手書き入力操作を行うことができる。また、ストロークが上述の予め設定されたスタイルで描画されてから第1の期間が経過した後には、このストロークの色は設定された元の色(第1色)に自動的に戻される。したがって、ユーザが透明属性を有する手書き文字または手書きマークを手書きし終えた後は、これら透明属性を有する手書き文字または手書きマークを見えなくすることができる。よって、透明属性を有する手書き文字または手書きマーク等の本来の性質を、ユーザの操作無しで、自動的に回復することができる。
さらに、表示処理部301は、インポート部308によって外部アプリケーション/外部ファイルからインポートされる様々なコンテンツデータ(画像データ、音声データ、テキストデータ、ドロー系アプリケーションによって作成されたデータ)に対応するオブジェクトをノートビュー画面上に表示することができる。この場合、各コンテンツデータに対応するオブジェクトは、作成中のページ上の任意の位置に配置することができる。
時系列情報生成部302は、タッチスクリーンディスプレイ17から出力される上述の座標列を受信し、この座標列に基づいて、図4で詳述したような構造を有する時系列情報(座標データ系列)と、ペン設定部300によって設定されているペンスタイルを示すペンスタイル情報と、背景設定部300Bによって設定されているページスタイルを示すページスタイル情報とを含む、手書きデータを生成する。時系列情報生成部302は、生成された手書きデータを作業メモリ401に一時保存する。
上述したように、本実施形態では、画面上に描画されるストロークの色は視認可能な色(第2色)に一時的に変更されるが、生成される手書きデータ内に含まれるストロークデータに付加されているペンスタイル情報(例えば、ストロークの色を示す情報)については必ずしも変更しなくても良い。
検索/認識処理部303は、手書きページデータ中の手書き文字列をテキスト(文字コード列)に変換する筆跡認識処理、手書きページデータ中の画像内に含まれる文字列をテキスト(文字コード列)に変換する文字認識処理(OCR)を実行する。さらに、検索/認識処理部303は、上述の筆跡検索およびテキスト検索を実行することができる。
ページ保存処理部306は、作成中のページ上に配置される複数種のコンテンツデータ(手書きデータ、他の各種コンテンツデータ等)を含む手書きページデータを生成し、この手書きページデータを記憶媒体402に保存する。記憶媒体402は、例えば、タブレットコンピュータ10内のストレージデバイスであってもよいし、サーバコンピュータ2のストレージデバイスであってもよい。
ページ取得処理部307は、記憶媒体402から任意の手書きページデータを取得する。この取得された手書きページデータは表示処理部301に送られる。表示処理部301は、手書きページデータに含まれる複数種のデータ(手書きデータ、他のコンテンツデータ)が配置されるページを画面上に表示する。
図7は、本実施形態の描画処理動作の例を示す。
タッチスクリーンディスプレイ17の画面上には手書き可能なページ600が表示される。ここでは、このページ600の背景色が緑色に設定されており、且つ緑色のペンがユーザによって選択された場合を想定する。
表示処理部301は、ストロークの描画のための色(ここでは、緑)と手書き可能なページ600の背景色(ここでは、緑)とが同色であると判定する。この判定のための処理では、表示処理部301は、描画のための色と背景色との間の差分を算出し、この差分が閾値が以下であることを条件に、描画のための色と背景色とが同色であると判定しても良い。
表示処理部301は、手書きによって入力されるストロークを予め設定されたペンスタイルでページ600上に描画する。この場合、描画の色は、緑の補色である赤に設定される。また、線種は破線、線の太さは太線、に設定される。したがって、例えば文字列“stroke”が手書きされた場合には、この手書き文字列“stroke”に対応する複数のストロークの軌跡が、赤色、太線、破線という描画形態で、画面上の緑の背景上に描画される。補色はユーザが視認しやすい色である。また、通常の手書き入力操作で描画されるストロークの形態としては、規定の線種(実線)および規定の太さ(ある決まったポイント)が用いられることが多い。したがって、破線のような線種の線または太線でストロークの軌跡を描画することにより、たとえ既にページ600上に多くのストロークが様々な色で表示されている場合であっても、このストロークを通常の他のストロークと区別してユーザに提示することが可能となる。
手書き文字列“stroke”が赤色、太線、破線という形態である期間表示された後、表示処理部301は、手書き文字列“stroke”の色を元の色(緑)に自動的に戻す。すなわち、表示処理部301は、手書き文字列“stroke”に対応するストローク群を赤色、太線、破線という形態で画面上に描画してから第1期間が経過した後に、手書き文字列“stroke”に対応するストローク群を元の色(緑)で画面上に描画(再描画)する。これにより、手書き文字列“stroke”の色は元の色(緑)に自動的に戻される。
図8は、背景の色と異なる色で描画されたストロークの色を元の色に戻す動作の第1の例を示す。
ここでは、ストロークの描画の色(現在のペンの色)が背景色と同じ色に設定されている状態で、複数のストロークがユーザによって連続的に手書きされる場合を想定する。この場合、ストロークが連続的に手書きされている期間中は、これらストロークは現在のペンの色(背景色)と異なる色で表示され続ける。一連の手書き入力操作が終わってからある一定時間が経過すると、画面上のこれらストロークの色が設定された元の色に変更される。換言すれば、これらストロークは元の色で画面上に再び描画される。
すなわち、ストロークの描画の色が背景色と同じ色に設定されている状態で、手書きによって入力されるストロークが、設定されている色(背景色)と異なる色で表示される上述の第1の期間は、このストロークの第2色での描画の開始に対応する時点から、手書きによる入力が第1の基準時間(例えば2秒)以上途絶えることが検出されるまでの期間である。
いま、図8に示すように、ストロークの描画の色が背景色と同じ色に設定されている状態で、ストロークST1〜ST3がユーザによって連続的に手書きされ、その後、手書きによる入力が2秒以上途絶えたことが検出された場合を想定する。
タイミングT1で、手書きによって入力されるストロークST1の描画が開始される。ストロークST1は、設定された色(第1色)と異なる上述の第2色で描画される。タイミングT2でストロークST1の描画が完了される。タイミングT2から2秒経過する前のタイミングT3で、手書きによって入力されるストロークST2の描画が開始される。ストロークST2は、設定された色(第1色)と異なる上述の第2色で描画される。タイミングT4でストロークST2の描画が完了される。タイミングT4から2秒経過する前のタイミングT5で、手書きによって入力されるストロークST3の描画が開始される。ストロークST3は、設定された色(第1色)と異なる上述の第2色で描画される。タイミングT6でストロークST3の描画が完了される。
タイミングT6の後、タイミングT7で、手書きによる入力が2秒以上途絶えたことが表示処理部301によって検出される。この時、画面上のストロークST1〜ST3の色は、設定された元の色(第1色)に変更される。すなわち、ストロークST1〜ST3は元の色(第1色)で画面上に再び描画される。これにより、画面上のストロークST1〜ST3の色は、ペン設定部300Aによって設定された元の色(第1色)に戻される。この場合、表示処理部301は、画面上のストロークST1〜ST3の色を元の色(第1色)に戻すために、作業メモリ401に格納されているストロークST1〜ST3に対応するストロークデータに基づいて、これらストロークST1〜ST3を、設定された元の色(第1色)で画面上に再描画し得る。
図8の例においては、上述の第1の期間の最小値は2秒である。また、上述第1の期間は、各ストロークが現在のペンの色(第1色)と異なる色(第2色)で表示される期間として定義することもできる。
この場合、ストロークST1に関していえば、このストロークST1が現在のペンの色(第1色)と異なる色(第2色)で表示される第1の期間は、タイミングT1からタイミングT7までの期間Tに相当する。ストロークST2が第2色で表示される第1の期間は、タイミングT3からタイミングT7までの期間に相当する。またストロークST3が第2色で表示される第1の期間は、タイミングT5からタイミングT7までの期間に相当する。
図8で説明した動作を使用することにより、手書き入力操作が連続的に実行されている間は、背景色と同じペン色を有する各ストロークを視認可能に表示することができるので、操作性の向上を図ることができる。
なお、各ストロークの色を第2色から元の色(第1色)に即座に変更する代わりに、各ストロークの色を第2色から元の色(第1色)に向けて連続的に遷移させても良い。これにより、各ストロークは時間をかけて徐々に消えるので、ユーザに各ストロークがまもなく見えなくなることを事前に通知することができる。各ストロークを第2色から元の色(第1色)に向けて連続的に遷移させるために、第2色と第1色との範囲内に含まれる複数の異なる色を使用して各ストロークを連続的に再描画してもよい。
例えば、タイミングT6の後、手書きによる入力が1秒途絶えたことが検出された時に、表示処理部301は、図11の実線601または実線602、に示すように、ストロークST1〜ST3の色を第2色(補色)から元の色(背景色)に向けて連続的に遷移させ得る。
もしユーザが図8のタイミングT7の前に手書き入力操作を再開したならば、つまり手書きによる入力が第1の基準時間以上途絶えることが検出される前に次のストロークが手書き入力されたならば、ストロークST1〜ST3が視認可能な色で表示される期間は自動的に延長される。さらに、表示処理部301は、図11の点線で示すように、既に背景色に比較的近い色に変更されているストロークST1〜ST3の現在の色を、第2色(補色)に即座に戻す。これにより、ユーザに各ストロークが視認可能な色で表示される期間が延長されたことを分かり易く認識させることができる。
一方、もしユーザが図8のタイミングT7の前に手書き入力操作を再開しなかったならば、つまり手書きによる入力が第1の基準時間以上途絶えることが検出されたならば、図8のタイミングT7の時点で、ストロークST1〜ST3の色は背景色と同じ色となる。
図9は、背景の色と異なる第2色で描画されたストロークの色を元の色(背景色と同じ第1色)に戻す動作の第2の例を示す。
ここでは、ストロークの描画の色(現在のペンの色)が背景色と同じ色に設定されている状態で、複数のストロークがユーザによって連続的に手書きされる場合を想定する。この場合、各ストロークは、このストロークの描画が完了してから第1時間(例えば2秒)するまでは、第2色で表示され続ける。ストロークの描画の完了後の経過時間が第1時間(例えば2秒)に達すると、このストロークの色は元の色に戻される。すなわち、図9の例では、上述の第1の期間は、ストロークが第2色で描画されてから第1時間(例えば2秒)が経過するまでの期間である。また、上述したように、上述第1の期間は、各ストロークが現在のペンの色(第1色)と異なる色(第2色)で表示される期間として定義することもできる。
この場合、上述第1の期間は、ストロークの第2色描画の開始に対応する時点から、このストロークの描画の完了後の経過時間が第1時間(例えば2秒)に達するまでの期間である。
いま、図9に示すように、ストロークの描画の色が背景色と同じ色に設定されている状態で、ストロークST1〜ST4がユーザによって連続的に手書きされた場合を想定する。
タイミングT1で、手書きによって入力されるストロークST1の描画が開始される。ストロークST1は、設定された色(第1色)と異なる上述の第2色で描画される。タイミングT2でストロークST1の描画が完了される。タイミングT2から2秒経過する前のタイミングT3で、手書きによって入力されるストロークST2の描画が開始される。ストロークST2は、設定された色(第1色)と異なる上述の第2色で描画される。タイミングT2から2秒経過したタイミングTaで、ストロークST1は第1色で再び描画され、これによってストロークST1の色は元の色(背景色と同じ色)に変更される。
タイミングT4でストロークST2の描画が完了される。タイミングT4から2秒経過する前のタイミングT5で、手書きによって入力されるストロークST3の描画が開始される。ストロークST3は、設定された色(第1色)と異なる上述の第2色で描画される。タイミングT4から2秒経過したタイミングTbで、ストロークST2は第1色で再び描画され、これによってストロークST2の色は元の色に変更される。
タイミングT6でストロークST3の描画が完了される。タイミングT6から2秒経過する前のタイミングT7で、手書きによって入力されるストロークST4の描画が開始される。ストロークST4は、設定された色(第1色)と異なる上述の第2色で描画される。タイミングT6から2秒経過したタイミングTcで、ストロークST3は第1色で再び描画され、これによってストロークST3の色は元の色に変更される。
図10のフローチャートは、デジタルノートブックアプリケーションプログラム202によって実行される描画処理の手順を示す。ここでは、画面上のストロークの色を元の色に戻すために、図8で説明した動作を使用する場合を想定する。
デジタルノートブックアプリケーションプログラム202は、現在のペンの描画形態が透明属性を有する描画形態(透明ペン)であるか否かを判定する(ステップS11)。
現在のペンの描画形態が透明ペンであるならば(ステップS11のYES)、デジタルノートブックアプリケーションプログラム202は、現在のペンの色を透明ペンに対応する色に設定、つまり現在の背景色と同じ色に設定する。そして、デジタルノートブックアプリケーションプログラム202は、手書きによって入力されるストロークを、背景色と異なる色、つまり上述の予め決められたペンスタイル(色=背景色の補色、線種=破線、線の太さ=太)で画面上に描画する(ステップS12)。これにより、ストロークは背景色と異なる色で画面上に表示される。
ユーザによって複数のストロークが連続的に手書きされると、これらストロークのそれぞれが上述の予め決められたペンスタイルで画面上に描画される。
デジタルノートブックアプリケーションプログラム202は、最後のストロークの描画完了からの経過時間を計時し、最後のストロークの描画完了から第1の基準時間(ここでは、n秒)が経過したか否か、つまり手書きによる入力が第1の基準時間以上途絶えたか否かを判定する(ステップS13)。
最後のストロークの描画完了後に入力が途絶えている状態がn秒継続したならば、デジタルノートブックアプリケーションプログラム202は、最後のストロークの描画完了から第1の基準時間(ここでは、n秒)が経過したと判定する(ステップS13のYES)。この場合、デジタルノートブックアプリケーションプログラム202は、上述の予め決められたペンスタイルで描画されたストロークそれぞれを、透明ペンに対応する描画形態で画面上に再描画する(ステップS14)。このステップS14では、上述の予め決められたペンスタイルで描画された画面上のストロークそれぞれの色は背景色と同じ色に変更される。これにより、これらストロークは見えない状態となる。
現在のペンの描画形態が透明ペンでないならば(ステップS11のNO)、デジタルノートブックアプリケーションプログラム202は、現在のペンの色と現在の背景色との差分の関数に基づいて、現在のペンの色と現在の背景色とが同色であるか否かを判定する(ステップS15)。
現在のペンの色と現在の背景色とが同色ではないと判定したならば(ステップS15のNO)、デジタルノートブックアプリケーションプログラム202は、手書きによって入力されるストロークを、現在のペンの色で画面上に描画する(ステップS16)。
現在のペンの色と現在の背景色とが同色であると判定したならば(ステップS15のNO)、デジタルノートブックアプリケーションプログラム202は、手書きによって入力されるストロークを、背景色と異なる色、つまり上述の予め決められたペンスタイル(色=背景色の補色、線種=破線、線の太さ=太)で画面上に描画する(ステップS17)。これにより、ストロークは背景色と異なる色で画面上に表示される。ユーザによって複数のストロークが連続的に手書きされると、これらストロークのそれぞれが上述の予め決められたペンスタイルで画面上に描画される。
上述したように、これらストロークはある期間のみ一時的に視認可能な状態で表示されるが、この期間が過ぎると、これらストロークは見えない状態となる。
ユーザが背景色と同じ色を誤って選択してしまう場合があることを考慮し、デジタルノートブックアプリケーションプログラム202は、必要に応じて、オプションメニューを画面上に表示し、これらストロークを見える状態に維持しておくか否かを問い合わせてもよい。
この場合、最後のストロークの描画完了から第1の基準時間(ここでは、n秒)が経過した時に(ステップS18のYES)。デジタルノートブックアプリケーションプログラム202は、ストロークを見える状態に維持しておくべきことがユーザによって選択されているか否かを判定する(ステップS20)。ストロークを見える状態に維持しておくべきことが選択されているならば(ステップS19のYES)、デジタルノートブックアプリケーションプログラム202は、上述の予め決められたペンスタイルで描画された画面上のストロークそれぞれの色を元の色に変更せずに、つまりこれらストロークを元の色で再描画せずに、これらストロークを見える状態に維持しておく(ステップS20)。
一方、ストロークを見える状態に維持しておくべきことが選択されていないならば(ステップS19のNO)、デジタルノートブックアプリケーションプログラム202は、上述の予め決められたペンスタイルで描画されたストロークそれぞれを、設定された現在のペンスタイル(現在のペンの色)で画面上に再描画する(ステップS21)。これにより、上述の予め決められたペンスタイルで描画された画面上のストロークそれぞれの色は背景色と同じ色に変更される。
以上説明したように、本実施形態においては、ユーザインタフェースの操作に応じて設定される色(任意の第1色)と画面上の背景の色が同色である場合には、手書きによって入力される第1のストロークは、設定される第1色と異なる第2色で画面上に描画される。そして、第1のストロークを第2色で描画してから第1の期間が経過した後に、画面上に第1のストロークが第1色で描画される。よって、ユーザが画面を見ながら手書き入力操作を行うことを可能にでき、且つ自動的に第1のストロークを見えない状態にすることができる。
したがって、手書きの文字またはマーク等の描画の色を何度も手動で設定し直すこと無く、透明属性を有する手書きの文字またはマーク等を手書きデータに容易に埋め込むことが可能となり、手書きデータの操作性を高めることができる。
なお、ここでは、背景の色が手書きページの背景色である場合を主として例示したが、上述したように、背景の色は、ストロークの背面側に位置する画面上のオブジェクトの色、例えば、このオブジェクトの背景色、であってもよい。
また本実施形態の各種処理はコンピュータプログラムによって実現することができるので、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

Claims (11)

  1. ユーザインタフェースの操作に応じて、ストロークの描画のための色を設定する設定手段と、
    前記設定手段によって設定される第1色と画面上の背景の色が同色である場合、手書きによって入力される第1のストロークを前記第1色と異なる第2色で画面上に描画する描画手段とを具備し、
    前記描画手段は、前記第1のストロークを前記第2色で描画してから第1の期間が経過した後に、前記画面上に前記第1のストロークを前記第1色で描画する電子機器。
  2. 前記第1のストロークは第1の線種の線または第1の太線で描画される請求項1記載の電子機器。
  3. 前記第1の期間は、前記第1のストロークの前記第2色での描画の開始に対応する時点から、手書きによる入力が第1の基準時間以上途絶えることが検出されるまでの期間である請求項1記載の電子機器。
  4. 前記第1の期間は、前記第1のストロークの前記第2色での描画の開始に対応する時点から、前記第1のストロークの描画の完了後の経過時間が第1時間に達するまでの期間である請求項1記載の電子機器。
  5. 前記描画手段は、前記第1のストロークの前記第2色での描画の完了後から前記第1の基準時間が経過する前に、第2のストロークが手書きによって入力された場合、前記第2のストロークを前記第2色で前記画面上に描画し、
    前記第2のストロークの前記第2色での描画の完了後に手書きによる入力が前記第1の基準時間以上途絶えることが検出された場合、前記画面上に前記第1および第2のストロークを前記第1色で描画する請求項3記載の電子機器。
  6. 前記描画手段は、前記第1のストロークを前記第2色で描画してから前記第1の期間よりも短い第2の期間が経過した後に、前記画面上に前記第1のストロークを前記第2色から前記第1色に向けて連続的に遷移させる請求項1記載の電子機器。
  7. 前記描画手段は、手書きによる入力が前記第1の基準時間よりも短い第2の基準時間以上途絶えることが検出された場合、前記画面上の前記第1のストロークを前記第2色から前記第1色に向けて連続的に遷移させ、手書きによる入力が前記第1の基準時間以上途絶えることが検出される前に第2のストロークが手書き入力された場合、前記画面上の前記第1のストロークを前記第1色に戻す請求項3記載の電子機器。
  8. 前記背景の色は、前記画面上に表示される手書き可能ページの背景色である請求項1記載の電子機器。
  9. 前記設定手段は、透明属性を有する描画形態がユーザによって選択された場合、前記手書きストロークの描画色を前記画面上の背景の色と同色に設定する請求項1記載の電子機器。
  10. ユーザインタフェースの操作に応じて、ストロークの描画のための色を設定し、
    前記設定される第1色と画面上の背景の色が同色である場合、手書きによって入力される第1のストロークを前記第1色と異なる第2色で画面上に描画し、
    前記第1のストロークを前記第2色で描画してから第1の期間が経過した後に、前記画面上に前記第1のストロークを前記第1色で描画する、手書きデータ処理方法。
  11. コンピュータにより実行されるプログラムであって、
    ユーザインタフェースの操作に応じて、ストロークの描画のための色を設定する手順と、
    前記設定される第1色と画面上の背景の色が同色である場合、手書きによって入力される第1のストロークを前記第1色と異なる第2色で画面上に描画する手順と、
    前記第1のストロークを前記第2色で描画してから第1の期間が経過した後に、前記画面上に前記第1のストロークを前記第1色で描画する手順とを前記コンピュータに実行させるためのプログラム。
JP2015509848A 2013-04-05 2013-04-05 電子機器および手書きデータ処理方法 Active JP5925957B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/060530 WO2014162604A1 (ja) 2013-04-05 2013-04-05 電子機器および手書きデータ処理方法

Publications (2)

Publication Number Publication Date
JP5925957B2 JP5925957B2 (ja) 2016-05-25
JPWO2014162604A1 true JPWO2014162604A1 (ja) 2017-02-16

Family

ID=51657929

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015509848A Active JP5925957B2 (ja) 2013-04-05 2013-04-05 電子機器および手書きデータ処理方法

Country Status (3)

Country Link
US (1) US20150347000A1 (ja)
JP (1) JP5925957B2 (ja)
WO (1) WO2014162604A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6430198B2 (ja) * 2014-09-30 2018-11-28 株式会社東芝 電子機器、方法及びプログラム
CN105653124B (zh) * 2015-12-23 2018-12-28 广州视睿电子科技有限公司 笔迹效果模拟方法及装置
JP2018136709A (ja) * 2017-02-21 2018-08-30 三菱電機インフォメーションシステムズ株式会社 データ入力装置、データ入力プログラム及びデータ入力システム
US10275910B2 (en) 2017-09-25 2019-04-30 Microsoft Technology Licensing, Llc Ink space coordinate system for a digital ink stroke
KR102503417B1 (ko) 2018-07-31 2023-02-24 삼성전자주식회사 스타일러스 펜을 이용한 입력을 처리하는 방법 및 그 전자 장치
JP7055116B2 (ja) * 2019-10-04 2022-04-15 株式会社ワコム 通知方法、装置、及びプログラム
CN111338558B (zh) * 2020-03-24 2021-01-19 掌阅科技股份有限公司 电子书手写笔记显示方法、设备及计算机存储介质
CN112882640B (zh) * 2021-03-29 2023-02-24 读书郎教育科技有限公司 一种扫描笔更换背景、字体颜色的系统及方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3105100B2 (ja) * 1993-03-15 2000-10-30 株式会社東芝 文字入力装置及び文字入力方法
JPH11327789A (ja) * 1998-03-12 1999-11-30 Ricoh Co Ltd カラー表示装置および電子黒板システム
US6791536B2 (en) * 2000-11-10 2004-09-14 Microsoft Corporation Simulating gestures of a pointing device using a stylus and providing feedback thereto
JP4480289B2 (ja) * 2001-03-16 2010-06-16 株式会社リコー 表示制御装置
TWI332652B (en) * 2003-05-23 2010-11-01 Via Tech Inc System and method of auto-configuration settings for multimedia apparatus
US7605947B2 (en) * 2006-02-28 2009-10-20 Microsoft Corporation Making electronic ink universally legible
US8458601B2 (en) * 2008-12-04 2013-06-04 International Business Machines Corporation System and method for item inquiry and information presentation via standard communication paths
US8619074B2 (en) * 2010-12-10 2013-12-31 Xerox Corporation Rendering personalized text on curved image surfaces

Also Published As

Publication number Publication date
JP5925957B2 (ja) 2016-05-25
US20150347000A1 (en) 2015-12-03
WO2014162604A1 (ja) 2014-10-09

Similar Documents

Publication Publication Date Title
JP5925957B2 (ja) 電子機器および手書きデータ処理方法
JP6109625B2 (ja) 電子機器およびデータ処理方法
JP5349645B1 (ja) 電子機器および手書き文書処理方法
JP6180888B2 (ja) 電子機器、方法およびプログラム
JP5728592B1 (ja) 電子機器および手書き入力方法
JP6092418B2 (ja) 電子機器、方法及びプログラム
US9378427B2 (en) Displaying handwritten strokes on a device according to a determined stroke direction matching the present direction of inclination of the device
JP5395927B2 (ja) 電子機器および手書き文書検索方法
JP6092462B2 (ja) 電子機器、方法及びプログラム
JP5869179B2 (ja) 電子機器および手書き文書処理方法
JPWO2014192157A1 (ja) 電子機器、方法及びプログラム
JP5634617B1 (ja) 電子機器および処理方法
JP2016085512A (ja) 電子機器、方法及びプログラム
JP6100013B2 (ja) 電子機器および手書き文書処理方法
US20150098653A1 (en) Method, electronic device and storage medium
US8948514B2 (en) Electronic device and method for processing handwritten document
JP6223687B2 (ja) 電子機器および手書き文書検索方法
JP5330576B1 (ja) 情報処理装置および筆跡検索方法
JP6202997B2 (ja) 電子機器、方法及びプログラム
JP6251408B2 (ja) 電子機器、方法及びプログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160420

R151 Written notification of patent or utility model registration

Ref document number: 5925957

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313121

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350