JP6790886B2 - 情報処理プログラム、情報処理方法および情報処理装置 - Google Patents

Description

本発明は、情報処理プログラム、情報処理方法および情報処理装置に関する。

会議やブレインストーミングなど、多人数の参加者が協力して新しいもの・考えを生み出していく協創の場で、大画面ディスプレイやプロジェクタが使われることが増えてきている。なお、ビジネスの場に限らず、また、大画面ディスプレイやプロジェクタの利用に限らず、例えば、
・学校のクラス会で、修学旅行の行き先を決めるために、電子白板に行き先の候補を列挙
・歴史の授業で、先生が歴史上の人物の名前を電子白板に列挙
・夕食の献立を考えるために料理の候補をノートＰＣ（Personal Computer）上に列挙
といった使い方も想定される。

このような場では、利用者により手書き入力でアイデアが画面上に書き留められる。この際、手書き入力された文字列に対応する画像等のコンテンツが併せて表示されることが望まれる。例えば、「○○タワー」という手書き入力だけの場合より、「○○タワー」の画像があった方が具体的なイメージがわきやすく、会議等が有効なものとなることが期待される。手書き入力から文字認識を行う技術は確立されているため、文字認識結果からＷｅｂ検索や画像検索により関連するコンテンツの取得が可能である。

一方、システムの状態に応じて実行すべき操作列を思い出すという利用者の作業負担を軽減することを目的とする技術が開示されている（例えば、特許文献１等を参照）。また、確度の高い入力候補を割り当て、簡単な操作で迅速な入力を実現することを目的とする技術が開示されている（例えば、特許文献２等を参照）。また、担当者の入力操作を妨げることなく、必要とする情報を的確に検索して提示することを目的とする技術が開示されている（例えば、特許文献３等を参照）。また、キーワード間の関係を表す情報の欠落を防ぐと共に、概念情報を有効に活用して精度の高い情報検索を可能とすることを目的とする技術が開示されている（例えば、特許文献４等を参照）。しかし、いずれも手書き入力により複数の候補を列挙し、手書き入力された軌跡から認識された文字列情報に基づいてコンテンツを取得して対応付ける状況を考慮したものではない。

特開平１０−１４９２４６号公報 特開２００９−２２３９０５号公報 特開２０１１−０５３７９１号公報 特開平１１−２５９５２４号公報

上述したように、従来、利用者は、複数の候補を列挙して議論等を行う場合、手書き入力を行い、手書き入力された軌跡から認識された文字列情報に基づいてコンテンツを取得して対応付ける作業を繰り返さなければならず、操作が煩雑であるという問題があった。

そこで、一側面では、手書き入力された軌跡から認識された文字列情報に対して、コンテンツの対応付けのための作業負担を低減することを目的とする。

一つの形態では、手書き入力された軌跡から第一の文字列情報を認識し、複数種別のコンテンツの中から、認識された前記第一の文字列情報にコンテンツを対応付ける操作を受け付け、手書き入力された軌跡から第二の文字列情報を認識し、認識された前記第一および前記第二の文字列情報が手書き入力されたそれぞれの位置を特定し、特定された手書き入力されたそれぞれの位置関係が予め設定された条件を満たす場合に、認識された前記第二の文字列情報と、前記第一の文字列情報に対応付けられたコンテンツの種別とを基に、特定されたコンテンツを第二の文字列情報に対応付ける、処理をコンピュータに実行させる。

手書き入力された軌跡から認識された文字列情報に対して、コンテンツの対応付のための作業負担を低減することができる。

一実施形態にかかる情報処理装置の機能構成例を示す図である。 文書データの例を示す図である。 単語属性テーブルの例を示す図である。 検索処理テーブルの例を示す図である。 行処理データの例を示す図である。 情報処理装置の他の機能構成例を示す図である。 情報処理装置のハードウェア構成例を示す図である。 第１の処理例を示すフローチャートである。 手書き入力が行われた状態の例を示す図である。 範囲指定の例を示す図である。 基準座標情報の算出の例を示す図である。 検索処理の選択の例を示す図である。 検索結果の表示の例を示す図である。 ユーザによるコンテンツの配置座標から直前の手書き入力の軌跡群と該コンテンツが列挙の一要素を構成するとみなされる所定の条件の例を示す図である。 一纏まりと判定された後の新たな手書き入力の例を示す図である。 タイムアウトにより範囲選択された例を示す図である。 繰り返し処理の対象か否かの条件の例を示す図である。 自動配置の座標値の算出およびガイド表示の例を示す図である。 検索処理自動実行および検索結果自動配置の例を示す図である。 第２の処理例を示すフローチャートである。 検索処理の選択の例を示す図である。 検索結果の表示の例を示す図である。 ユーザにより検索結果が配置された例を示す図である。 検索処理の選択の例を示す図である。 検索結果の表示の例を示す図である。 ユーザにより検索結果が配置された例を示す図である。 行処理データの例を示す図である。 一纏まりと判定された後の新たな手書き入力の例を示す図である。 タイムアウトにより範囲選択された例を示す図である。 検索処理自動実行および検索結果自動配置の例を示す図である。 複数のテーマについて列挙が行われる場合の例を示す図である。 第３の処理例を示すフローチャートである。

以下では本発明の好適な実施形態が図面に沿って説明される。

＜構成＞
図１は一実施形態にかかる情報処理装置１の機能構成例を示す図であり、スタンドアロンタイプの例である。図１において、情報処理装置１は、電子白板装置、パーソナルコンピュータ、タブレット等の装置である。情報処理装置１は、入力受付部１０１と表示部１０２と文書管理部１０３と文書データ１０４とを備えている。また、情報処理装置１は、筆記集合選択部１０５と基準座標算出部１０６と手書き文字認識部１０７と属性判定部１０８と単語属性テーブル１０９と検索処理判定部１１０と検索処理テーブル１１１と処理選択実行部１１２と配置部１１３とを備えている。また、情報処理装置１は、行処理判定部１１４と行処理データ１１５と座標整合判定部１１６と自動処理適用部１１７と自動配置部１１８とを備えている。

入力受付部１０１は、ユーザ（利用者）による手書き入力（筆記入力）、テクスト（text）入力、メニュー選択等の操作を受け付け、受け付けた入力操作内容を文書管理部１０３に伝える機能を有している。表示部１０２は、パネル型ディスプレイやプロジェクタ等によるモニタに文書画面や操作メニュー等を表示する機能を有している。

文書管理部１０３は、ユーザによる手書き入力の内容およびそれに対応付けられる画像、テクスト等のマルチメディアのコンテンツが配置された文書を文書データ１０４として管理する機能を有している。文書データ１０４に基づき、表示部１０２により文書画面が表示される。図２は文書データ１０４の例を示す図であり、手書き入力データ（筆記入力データ）と、画面上の表示位置を伴ったコンテンツデータとを含んでいる。手書き入力データは、手書き入力された軌跡の座標情報を含んでいる。

図１に戻り、筆記集合選択部１０５は、ユーザによる範囲指定の操作またはタイムアップ等により自動的に、文書中の手書き入力データの軌跡の一部を選択する機能を有している。基準座標算出部１０６は、筆記集合選択部１０５により選択された手書き入力データの軌跡から手書き領域の位置的な特徴（例えば、外接矩形の座標等）を示す基準座標情報を算出する機能を有している。手書き文字認識部１０７は、筆記集合選択部１０５により選択された手書き入力データの軌跡から手書き文字認識を行ってテクスト文字列に変換する機能を有している。

属性判定部１０８は、手書き文字認識部１０７により変換されたテクスト文字列から、単語属性テーブル１０９を参照し、テクスト文字列に対応した属性リストを抽出する機能を有している。図３は単語属性テーブル１０９の例を示す図であり、種々の単語に対し、属性リストが対応付けられている。例えば、単語「沖縄」には属性リスト｛地名，県名，市名｝が対応付けられている。

図１に戻り、検索処理判定部１１０は、属性判定部１０８により抽出された属性リストに基づき、検索処理テーブル１１１を参照し、属性リスト中の各属性に対応した検索処理リストを抽出する機能を有している。図４は検索処理テーブル１１１の例を示す図であり、属性に対し、検索処理が対応付けられている。例えば、属性「県名」には検索処理「県庁所在地」「県知事」「人口」「面積」等が対応付けられており、それらがまとめられたものが検索処理リストとなる。

図１に戻り、処理選択実行部１１２は、検索処理判定部１１０により抽出された検索処理リストからユーザに所望の検索処理を選択させ、ユーザの手書き入力から認識されたテクスト文字列に対して選択された検索処理を実行する機能を有している。配置部１１３は、実行された検索処理の結果として得られたマルチメディアのコンテンツデータによるコンテンツを、文書管理部１０３が管理する文書上でユーザに配置させる機能を有している。配置された結果は、文書データ１０４内に対応するコンテンツデータの表示位置として保持される。

行処理判定部１１４は、ユーザによるコンテンツの配置座標から直前の手書き入力の軌跡群と該コンテンツが列挙の一要素を構成するとみなされる所定の条件を満たすか否か判定する機能を有している。そして、条件が満たされる場合に、「基準座標情報」と「配置された座標情報、選択された検索処理、検索処理に対応した属性」の組とを行処理データ１１５に保持する。「基準座標情報」は手書き入力の行われた手書き領域の位置的な特徴（例えば、外接矩形の座標等）を示す情報である。「配置された座標情報」は、コンテンツがユーザにより配置された位置を示す情報である。「選択された検索処理」は、コンテンツデータの取得において検索処理リストからユーザにより選択された検索処理を示す情報である。検索処理は、どのようにして検索結果であるコンテンツが取得されたかを示すものであり、コンテンツの種別を表すものである。「検索処理に対応した属性」は、検索処理リストの抽出において用いられた、手書き入力のテクスト文字列に対応する属性である。

図５は行処理データ１１５の例を示す図であり、基準座標情報「ｘ０，ｙ０，ｘ１，ｙ１」、属性「県名」、検索処理「画像検索」、配置座標「ｘ２，ｙ２，ｘ３，ｙ３」が記録された状態を示している。なお、ユーザに配置されたコンテンツの位置についての条件として、同時には満たされない複数の条件を用意する場合（例えば、横方向に列挙する場合の条件と、縦方向に列挙する場合の条件等）、満たされた条件を示す情報を行処理データ１１５に含める。この満たされた条件は、後のコンテンツの自動配置に際して位置計算において参照される。

図１に戻り、座標整合判定部１１６は、新たな手書き入力が行われた時点で行処理データ１１５に記録が存在する場合に動作を行う。すなわち、座標整合判定部１１６は、新たに行われた手書き入力から算出された基準座標情報と、行処理データ１１５に記録された基準座標情報とを比較し、繰り返し処理の対象か否かの予め定められた条件を満たすかどうかを判定する機能を有している。自動処理適用部１１７は、座標整合判定部１１６で所定の条件が満たされると判定された場合に動作を行う。すなわち、自動処理適用部１１７は、新たに行われた手書き入力のテクスト文字列に対応する属性と一致する属性が行処理データ１１５にある場合に、記録された検索処理を新たな手書き入力のテクスト文字列に適用する機能を有している。自動配置部１１８は、自動処理適用部１１７による検索処理適用の結果として得られたコンテンツの配置座標を算出し、文書管理部１０３が管理する文書上に配置する機能を有している。

図６は情報処理装置１の他の機能構成例を示す図であり、情報処理装置１（図１）から、画面表示および入力受付の機能を担う情報処理装置１１と、その他の処理を行う情報処理装置１２とを分離したものである。情報処理装置１２は、情報処理装置１１と直接に有線または無線により接続されるサーバ装置としてもよいし、インターネット等のネットワークを介してクラウドサービス等として処理を行うサーバ装置としてもよい。

図６において、図１に示した情報処理装置１の構成要素のうち、入力受付部１０１と表示部１０２が情報処理装置１１に設けられ、その他の構成要素は情報処理装置１２に設けられている。各構成要素の機能は前述したものと同様であるが、情報処理装置１１と情報処理装置１２に分かれた構成要素の間では、データの送受信の機能が付加される。また、種々の変形が可能であり、情報処理装置１２に配置された構成要素のうちの一部を情報処理装置１１側に配置してもよい。

図７は情報処理装置１、１１、１２のハードウェア構成例を示す図である。図７において、情報処理装置１等は、バス1007を介して相互に接続されたＣＰＵ（Central Processing Unit）1001、ＲＯＭ（Read Only Memory）1002、ＲＡＭ（Random Access Memory）1003、ＨＤＤ（Hard Disk Drive）／ＳＳＤ（Solid State Drive）1004を備えている。また、情報処理装置１等は、接続Ｉ／Ｆ（Interface）1005、通信Ｉ／Ｆ1006を備えている。画面表示および入力受付の機能を担う情報処理装置１、１１の場合、接続Ｉ／Ｆ1005にはモニタ1008およびポインティングデバイス1009が接続される。モニタ1008にはパネル型ディスプレイのほか、プロジェクタ等も含まれる。ポインティングデバイス1009には、マウス、タッチパネル等が含まれる。

ＣＰＵ1001は、ＲＡＭ1003をワークエリアとしてＲＯＭ1002またはＨＤＤ／ＳＳＤ1004等に格納されたプログラムを実行することで、情報処理装置１、１１、１２の動作を統括的に制御する。図１および図６で説明した情報処理装置１、１１、１２の機能は、ＣＰＵ1001において所定のプログラムが実行されることで実現される。プログラムは、記録媒体を経由して取得されるものでもよいし、ネットワークを経由して取得されるものでもよいし、ＲＯＭ組込でもよい。

＜第１の処理例＞
図８は上記の実施形態の第１の処理例を示すフローチャートである。

図８において、処理が開始されると、入力受付部１０１は、手書き入力を受け付け（ステップＳ１０１）、範囲指定されたか否か判断し（ステップＳ１０２）、範囲指定されていない場合（ステップＳ１０２のＮＯ）は手書き入力の受け付け（ステップＳ１０１）に戻る。図９は電子白板上に「沖縄」という文字が手書き入力された状態を示している。手書き入力による軌跡は、入力受付部１０１から文書管理部１０３に渡され、文書データ１０４に手書き入力データとして保持される。

範囲指定の手法については複数の実装法があり、
・囲みジェスチャにより範囲指定させるもの
・矩形選択モードにおいて範囲指定させるもの
・タイムアウトによるもの
等がある。囲みジェスチャは、入力済の文字の周りを線で囲む操作入力である。文字を取り囲むようにポインティングデバイスが操作されたとき、それは手書き入力ではなくジェスチャコマンドであるとみなし、囲まれた範囲が指定される手法である。図１０は手書き入力による文字「沖縄」の周りが囲みジェスチャによって範囲指定された例を示している。

矩形選択モードにおいて範囲指定させるものは、筆記モードから矩形選択モードに切り替えさせ、マウス等のポインティングデバイスによって、２点の座標を指定させることで、２点を対角線とする長方形内に含まれる範囲が指定される手法である。モードの切り替えはポップアップメニュー等により行われる。

タイムアウトによるものは、手書き入力と手書き入力の間の時間が計測され、時間が一定の閾値を超えた場合にタイムアウトイベントが発行され、前回のタイムアウトから新たなタイムアウトまでに手書き入力された軌跡が指定されたものとされる手法である。軌跡の集合の先頭がタイムアウトで指定され、軌跡の集合の終了だけがメニューで選択される手法でもよい。また、軌跡の集合の先頭がタイムアウトで指定され、軌跡の集合の終了は改行が行われたかどうかで判定される手法でもよい。筆記データの改行判定については、例えば特許第３８９７９９９号等に記載される手法が存在する。

図８に戻り、範囲指定されたと判断された場合（ステップＳ１０２のＹＥＳ）、筆記集合選択部１０５は、文書管理部１０３経由で文書データ１０４から指定された範囲の軌跡の手書き入力データを取得する。そして、基準座標算出部１０６は基準座標情報を算出する（ステップＳ１０３）。図１１は基準座標情報の算出の例を示す図であり、指定された範囲内で手書き入力された軌跡集合の外接矩形の左上角と右下角の座標を表す４値（ｘ０，ｙ０，ｘ１，ｙ１）が用いられた例である。なお、基準座標情報としては、これに限らず、他の定義によってもよい。

図８に戻り、次いで、手書き文字認識部１０７は、範囲指定で選択された軌跡集合に対して手書き文字認識を実行し、テクスト文字列の認識結果文字列を取得する（ステップＳ１０４）。手書き文字認識は、文字毎に該文字を構成する軌跡の特徴が定義された辞書を用い、軌跡の特徴の類似度から文字を特定するものであり、公知の手法が用いられる。図１０の例では、「沖縄」のテクスト文字列が認識結果文字列として取得される。

なお、図８では基準座標情報の算出（ステップＳ１０３）に続いて手書き文字認識（ステップＳ１０４）が行われているが、処理の順序は逆になってもよいし、並行に実行されるようにしてもよい。

次いで、属性判定部１０８は、手書き文字認識部１０７により取得された認識結果文字列から、単語属性テーブル１０９を参照して、テクスト文字列に対応した属性リストを抽出する（ステップＳ１０５）。例えば、「沖縄」のテクスト文字列からは、図３の単語属性テーブル１０９が参照されることで、属性リスト｛地名，県名，市名｝が抽出される。

図８に戻り、次いで、行処理判定部１１４により行処理データ１１５に記録があるか否かが判断され（ステップＳ１０６）、処理が分岐される。行処理データ１１５に記録がないと判断された場合（ステップＳ１０６のＮＯ）、検索処理判定部１１０は、属性判定部１０８により抽出された属性リストに基づき、検索処理テーブル１１１を参照する。そして、属性リスト中の各属性に対応した検索処理の和集合を検索処理リストとして抽出する（ステップＳ１０７）。例えば、属性リスト｛地名，県名，市名｝の場合、図４の検索処理テーブル１１１が参照されることで、属性「県名」からは検索処理として「県庁所在地」「県知事」「人口」「面積」等が抽出される。他の属性についても、検索処理テーブル１１１に登録されている検索処理があれば抽出される。

図８に戻り、次いで、処理選択実行部１１２は、検索処理判定部１１０により抽出された検索処理リストを表示して、ユーザに検索処理を選択させる（ステップＳ１０８）。図１２は検索処理の選択の例を示す図であり、図１２（ａ）では属性選択メニューが表示され、ユーザにより所望の属性が選択される。例えば、属性「沖縄（県名）」が選択されると、図１２（ｂ）のように属性「沖縄（県名）」に対応した検索処理選択メニューが表示され、例えば検索処理「画像検索」が選択される。なお、図１２は属性の選択と検索処理の選択との２段階で選択が行われる例を示しており、これにより提示する検索処理リストの数を減らすことができるが、１段で検索処理が選択されるようにしてもよい。また、属性や検索処理が多岐にわたる場合は、属性や検索処理のグルーピングにより、多段で選択が行われるようにしてもよい。

図８に戻り、次いで、処理選択実行部１１２は、ユーザの手書き入力から認識されたテクスト文字列に対して選択された検索処理を実行する（ステップＳ１０９）。そして、配置部１１３は、実行された検索処理の結果として得られたマルチメディアのコンテンツデータを、文書管理部１０３が管理する文書上でユーザに配置させる（ステップＳ１１０）。すなわち、配置部１１３は、検索結果のコンテンツをいったん既定の位置に表示させ、ユーザによる表示位置の移動操作（マウスによるドラッグ操作等）を受け付ける。なお、検索処理には、画像検索のように、検索結果一覧からさらにユーザが望む結果を選択する操作が含まれる処理と、県庁所在地検索のように文字列から検索結果が一意に決まる処理とが存在する。図１３は検索結果の表示の例を示す図であり、図１３（ａ）はテクスト文字列「沖縄」により画像検索された検索結果一覧が表示された状態を示している。そして、図１３（ｂ）は、検索結果一覧の中から一つの検索結果が選択され、ユーザにより「沖縄」と関連付ける意図をもって、手書き入力による「沖縄」の右に並べて配置された状態を示している。

図８に戻り、次いで、行処理判定部１１４は、ユーザによるコンテンツの配置座標から直前の手書き入力の軌跡群と該コンテンツが列挙の一要素を構成するとみなされる所定の条件を満たすか否か判定する（ステップＳ１１１）。図１４はユーザによるコンテンツの配置座標から直前の手書き入力の軌跡群と該コンテンツが列挙の一要素を構成するとみなされる所定の条件の例を示す図である。すなわち、「配置データの左辺が、基準座標情報の手書きデータ外接矩形の右辺より右にあり、かつ、配置データの水平中線のＹ座標が、基準座標情報の手書きデータ外接矩形の上辺と下辺の間にある」という例を示している。数式で示せば、手書きデータ外接矩形の左上と右下の角点の座標を（ｘ０，ｙ０）（ｘ１，ｙ１）、配置データの左上と右下の角点の座標を（ｘ２，ｙ２）（ｘ３，ｙ３）とすると、図１４（ｂ）のように、
Ｘ２ ＞ ｘ１ かつ
（ｙ３＋ｙ２）／２ ＞ ｙ０ かつ
（ｙ３＋ｙ２）／２ ＜ ｙ１
が満たされることが条件となる。図１４（ａ）の配置関係は、上記の条件が満たされる場合を示している。なお、この例は検索結果が手書きデータと水平位置に配置されたことを意味するが、縦方向に配置される場合や、斜め方向に配置される場合に対応する条件を別に設けてもよい。例えば、縦方向に配置されている条件として、「配置データの上辺が、基準座標情報の手書きデータ外接矩形の下辺より下にあり、かつ、配置データの左辺のＸ座標が、基準座標情報の手書きデータ外接矩形の左辺と５０ピクセル以内にある」といったものがある。

図８に戻り、次いで、列挙の一要素を構成するとみなされる所定の条件を満たすと判定された場合（ステップＳ１１１のＹＥＳ）、行処理判定部１１４は、行処理データ１１５の記録を行う。すなわち、行処理判定部１１４は、「基準座標情報」と「配置された座標情報、選択された検索処理、検索処理に対応した属性」の組とを行処理データ１１５に記録する（ステップＳ１１２）。列挙の一要素を構成するとみなされる所定の条件として、同時には満たされたい複数の条件を設ける場合、満たされた条件を示す情報についても行処理データに含める。図９〜図１４で示された例の結果として記録される行処理データ１１５は図５のようになる。すなわち、基準座標情報「ｘ０，ｙ０，ｘ１，ｙ１」、属性「県名」、検索処理「画像検索」、配置座標「ｘ２，ｙ２，ｘ３，ｙ３」が行処理データ１１５として記録される。

図８に戻り、行処理データ１１５の記録（ステップＳ１１２）の後、手書き入力の受け付け（ステップＳ１０１）から処理が繰り返される。列挙の一要素を構成するとみなされる所定の条件を満たさないと判定された場合（ステップＳ１１１のＮＯ）、行処理データ１１５の記録（ステップＳ１１２）は行われず、手書き入力の受け付け（ステップＳ１０１）から処理が繰り返される。

一方、行処理データ１１５に記録があると判断された場合（ステップＳ１０６のＹＥＳ）、直前の手書き入力とコンテンツの配置とが列挙の一要素を構成すると判断されていることを意味する。図１５は、手書き入力の「沖縄」と検索結果の画像とが列挙の一要素を構成と判断された後に、新たに「広島」が手書き入力された状態を示している。図１６は、タイムアウトにより「広島」が手書き文字認識の対象として範囲指定（範囲選択）された状態を示している。

図８に戻り、次いで、座標整合判定部１１６は、新たに行われた手書き入力から算出された基準座標情報と、行処理データ１１５に記録された基準座標情報とを比較する（ステップＳ１１３）。そして、座標整合判定部１１６は、繰り返し処理の対象か否かの予め定められた条件を満たすかどうかを判定する（ステップＳ１１４）。図１７は繰り返し処理の対象か否かの条件の例を示す図であり、
「新たに行われた手書き入力の基準座標情報の外接矩形の上辺が、行処理データ１１５の基準座標情報の外接矩形の下辺より下にあり、
かつ距離が３００ポイント以内であり、
かつ新たに行われた手書き入力の基準座標情報の外接矩形の左辺と、行処理データ１１５の基準座標情報の左辺の差が５０ポイント以内である」
という例を示している。数式で示せば、行処理データ１１５の基準座標情報が（ｘ０，ｙ０，ｘ１，ｙ１）、新たに行われた手書き入力の基準座標情報が（ｘ０'，ｙ０'，ｘ１'，ｙ１'）とすると、図１７（ｂ）のように、
ｙ０'＞ｙ１ かつ
ｙ０'−ｙ１≦３００ かつ
|ｘ０'−ｘ０|≦５０
が満たされることが条件となる。図１７（ａ）では、新たな手書き入力「広島」が上記の条件を満たすものとしている。

図８に戻り、繰り返し処理の対象か否かの条件を満たすと判定された場合（ステップＳ１１４のＹＥＳ）、自動処理適用部１１７は、新たに行われた手書き入力のテクスト文字列に対応する属性リストと行処理データ１１５の属性を比較する（ステップＳ１１５）。そして、自動処理適用部１１７は、一致する属性があるか否か判定する（ステップＳ１１６）。

一致する属性があると判定された場合（ステップＳ１１６のＹＥＳ）、自動処理適用部１１７は、行処理データ１１５に記録された検索処理を新たな手書き入力から手書き文字認識部１０７により得られたテクスト文字列に適用して実行する（ステップＳ１１７）。

次いで、自動配置部１１８は、新たな手書き入力の基準座標情報、行処理データ１１５の基準座標情報、配置座標情報から新しい座標値を算出し（ステップＳ１１８）、その座標値に検索結果データを自動配置する（ステップＳ１１９）。その後、手書き入力の受け付け（ステップＳ１０１）から処理が繰り返される。

検索結果データを自動配置する座標値は、例えば、図１８（ａ）では、繰り返しの対象となる２行目の手書き入力の外接矩形の上辺を表すｙ座標ｙ０'と、１行目の検索結果が配置されたｘ座標ｘ２で表される座標（ｘ２、ｙ０'）とすることができる。

なお、２行目の手書き入力に先立ち、例えば、図１８（ｂ）に示されるように、繰り返しの対象となる２行目の上辺のＹ座標ｙａをｙａ＝ｙ１＋（ｙ１−ｙ０）／２として、（ｘ０，ｙａ），（ｘ１，ｙａ＋ｙ１−ｙ０）を計算し、それを角点とする矩形によるガイド表示により、繰り返しの対象となる２行目の手書き入力を容易にすることができる。また、座標（ｘ２，ｙａ），（ｘ３，ｙａ＋ｙ３−ｙ２）を角点とする矩形によるガイド表示により、繰り返し処理が行われた際の検索結果の表示位置を利用者が予期できるようにすることもできる。

図１９は検索処理自動実行および検索結果自動配置の例を示す図であり、「沖縄」の下に手書き入力された「広島」が繰り返し処理の対象であると判定され、一致する属性を持つと判定された場合の例を示している。ここでは、検索処理として画像検索が実行されるため、図１９（ａ）に示されるように検索結果一覧が表示される。そして、その中からユーザに所望の検索結果が選択されると、図１９（ｂ）に示されるように、選択された検索結果が２行目の手書き入力の「広島」と１行目の検索結果の両者に整列された位置に自動配置される。

図８に戻り、繰り返し処理の対象か否かの予め定められた条件を満たさないと判定された場合（ステップＳ１１４のＮＯ）または一致する属性がないと判定された場合（ステップＳ１１６のＮＯ）、次のような処理が行われる。すなわち、座標整合判定部１１６または自動処理適用部１１７は、行処理判定部１１４を介して行処理データ１１５の記録を削除する（ステップＳ１２０）。そして、検索処理リストの抽出（ステップＳ１０７）から処理が続行される。すなわち、行処理データ１１５が記録されていない場合と同様の処理が行われる。

＜第２の処理例＞
上述した第１の処理例では列挙の一要素の中で１つの検索処理が行われるものとされていたが、第２の処理例では複数の検索処理が行われることが許容される。

図２０は第２の処理例を示すフローチャートである。図２０において、ステップＳ２０１〜Ｓ２０７は、図８に示した第１の処理例のステップＳ１０１〜Ｓ１０７と同様である。例えば、図９と同様に「沖縄」と手書き入力が行われ、図１０と同様に範囲指定が行われ、図１１と同様に基準座標情報が算出される。また、手書き文字認識された「沖縄」のテクスト文字列から属性リスト｛地名，県名、市名｝が抽出され、「県名」等の属性から検索処理として「県庁所在地」「県知事」「人口」「面積」等が抽出される。

図２０において、その後、ユーザによる処理選択が終わるまでループ処理が行われる（ステップＳ２０８〜Ｓ２１４）。ループ処理において、処理選択実行部１１２は、検索処理判定部１１０により抽出された検索処理リストを表示して、ユーザに検索処理を選択させる（ステップＳ２０９）。図２１は検索処理の選択の例を示す図であり、図２１（ａ）では属性選択メニューが表示され、ユーザにより所望の属性が選択される。例えば、属性「沖縄（県名）」が選択されると、図２１（ｂ）のように属性「沖縄（県名）」に対応した検索処理選択メニューが表示され、例えば検索処理「人口」が選択される。なお、図２１は属性の選択と検索処理の選択との２段階で選択が行われる例を示しており、これにより提示する検索処理リストの数を減らすことができるが、１段で検索処理が選択されるようにしてもよい。また、属性や検索処理が多岐にわたる場合は、属性や検索処理のグルーピングにより、多段で選択が行われるようにしてもよい。

図２０に戻り、次いで、処理選択実行部１１２は、ユーザの手書き入力から認識されたテクスト文字列に対して選択された検索処理を実行する（ステップＳ２１０）。そして、配置部１１３は、実行された検索処理の結果として得られたマルチメディアのコンテンツデータを、文書管理部１０３が管理する文書上でユーザに配置させる（ステップＳ２１１）。すなわち、配置部１１３は、検索結果のコンテンツをいったん既定の位置に表示させ、ユーザによる表示位置の移動操作（マウスによるドラッグ操作等）を受け付ける。なお、検索処理には、画像検索のように、検索結果一覧からさらにユーザが望む結果を選択する操作が含まれる処理と、県庁所在地検索のように文字列から検索結果が一意に決まる処理とが存在する。図２２は検索結果の表示の例を示す図であり、テクスト文字列「沖縄」により検索された人口の検索結果が既定の位置に表示された状態を示している。そして、図２３は、ユーザにより「沖縄」と関連付ける意図をもって、手書き入力による「沖縄」の右に並べて、人口の検索結果が配置された状態を示している。

図２０に戻り、次いで、行処理判定部１１４は、ユーザによるコンテンツの配置座標から直前の手書き入力の軌跡群と該コンテンツが列挙の一要素を構成するとみなされる所定の条件を満たすか否か判定する（ステップＳ２１２）。この所定の条件は、図１４において説明したものと同様のものが使用される。

図２０に戻り、次いで、列挙の一要素を構成するとみなされる所定の条件を満たすと判定された場合（ステップＳ２１２のＹＥＳ）、行処理判定部１１４は、行処理データ１１５の記録を行う（ステップＳ２１３）。すなわち、行処理判定部１１４は、「基準座標情報」と「配置された座標情報、選択された検索処理、検索処理に対応した属性」の組とを行処理データ１１５に記録する。そして、ユーザから再選択要求がなければ（例えば、所定の時間内に再選択要求がなければ）、ループ処理は終了され（ステップＳ２１４）、手書き入力の受け付け（ステップＳ２０１）から処理が繰り返される。

ユーザから再選択要求があった場合、上述したの同様のループ処理が行われる。ユーザからの再選択要求は、プルダウンメニューからの選択や、マウスの右クリック等により行われる。図２４は検索処理の選択の例を示す図であり、図２４（ａ）では、既に選択されている属性「沖縄（県名）」に対応した検索処理選択メニューが再表示され、図２４（ｂ）では、例えば検索処理「面積」が選択された状態を示している。図２５は検索結果の表示の例を示す図であり、テクスト文字列「沖縄」により検索された面積の検索結果が既定の位置に表示された状態を示している。そして、図２６は、ユーザにより「沖縄」と関連付ける意図をもって、手書き入力による「沖縄」および人口の検索結果の右に並べて、面積の検索結果が配置された状態を示している。図２７（ａ）は、手書き入力の位置とコンテンツデータの配置の例を示しており、図２７（ｂ）は、これらが列挙の一要素を構成するとみなされた場合に記録される行処理データ１１５の例を示している。行処理データ１１５には、手書き入力の基準座標情報「ｘ０，ｙ０，ｘ１，ｙ１」と、１回目の検索処理の属性「県名」、検索処理「人口検索」、配置座標「ｘ２，ｙ２，ｘ３，ｙ３」とが含まれている。また、行処理データ１１５には、２回目の検索処理の属性「県名」、検索処理「面積検索」、配置座標「ｘ４，ｙ４，ｘ５，ｙ５」も含まれている。なお、３回以上の検索処理の選択が行われ、それらが列挙の一要素を構成するとみなされた場合には、その数の分の属性、検索処理、配置座標の組が記録される。

図２０に戻り、行処理データ１１５に記録があると判断された場合（ステップＳ２０６のＹＥＳ）の後の処理のうち、ステップＳ２１５〜Ｓ２１８、Ｓ２２４は、図８に示した第１の処理例のステップＳ１１３〜Ｓ１１６、Ｓ１２０と同様である。例えば、図２８のように、手書き入力の「沖縄」と検索結果の人口と面積とが列挙の一要素であると判断された後に、新たに「広島」が手書き入力され、図２９にのように、タイムアウトにより「広島」が手書き文字認識の対象として範囲指定（範囲選択）される。そして、「広島」の位置が繰り返し処理の対象と判定されると、属性の比較が行われる。

図２０において、一致する属性があると判定された場合（ステップＳ２１８のＹＥＳ）、一致した属性に対応する検索処理の数だけループ処理が行われる（ステップＳ２１９〜Ｓ２２３）。

ループ処理において、自動処理適用部１１７は、行処理データ１１５に記録された検索処理を新たな手書き入力から手書き文字認識部１０７により得られたテクスト文字列に適用して実行する（ステップＳ２２０）。次いで、自動配置部１１８は、新たな手書き入力の基準座標情報、行処理データ１１５の基準座標情報、配置座標情報から新しい座標値を算出し（ステップＳ２２１）、その座標値に検索結果データを自動配置する（ステップＳ２２２）。図３０は、「沖縄」の場合と同様に、「広島」について人口検索と面積検索とが自動的に行われ、検索結果が自動配置された状態を示している。ループ処理が終わると、手書き入力の受け付け（ステップＳ２０１）から処理が繰り返される。

＜第３の処理例＞
上述した第１・第２の処理例では１つのテーマについての列挙が対象とされていたが、第３の処理例では複数のテーマについて列挙が行われる場合も許容されている。例えば、大画面の電子白板では、まったく違う議論が並列に行われることがありうる。図３１は、左半面では修学旅行の行き先を決めるために行き先の候補が列挙されており、右半面では中国の古代王朝の遷移の議論のために列挙が行われている状態を示している。

図３２は第３の処理例を示すフローチャートである。図３２において、ステップＳ３０１〜Ｓ３１２は、図８に示した第１の処理例のステップＳ１０１〜Ｓ１１２と同様である。なお、第３の処理例では図５に示されるような行処理データ１１５が複数組存在することが許容される。

図３２において、行処理データ１１５に記録があると判断された場合（ステップＳ３０６のＹＥＳ）、行処理データ１１５として保存された各記録に対してループ処理が行われる（ステップＳ３１３〜Ｓ３１６）。ループ処理において、座標整合判定部１１６は、新たに行われた手書き入力から算出された基準座標情報と、行処理データ１１５に記録された基準座標情報とを比較する（ステップＳ３１４）。そして、座標整合判定部１１６は、繰り返し処理の対象か否かの予め定められた条件を満たすかどうかを判定する（ステップＳ３１５）。予め定められた条件は、図１７において説明したものと同様である。

図３２に戻り、繰り返し処理の対象か否かの予め定められた条件を満たさないと判定された場合（ステップＳ３１５のＮＯ）、次の記録に移行し、全ての記録について処理を行った場合はループ処理を終了する（ステップＳ３１６）。そして、検索処理リストの抽出（ステップＳ３０７）から処理が続行される。

繰り返し処理の対象か否かの予め定められた条件を満たすと判定された場合（ステップＳ３１５のＹＥＳ）、自動処理適用部１１７は、新たに行われた手書き入力のテクスト文字列に対応する属性リストと行処理データ１１５の属性を比較する（ステップＳ３１７）。そして、自動処理適用部１１７は、一致する属性があるか否か判定する（ステップＳ３１８）。一致する属性がないと判定された場合（ステップＳ３１８のＮＯ）、次の記録に移行し、全ての記録について処理を行った場合はループ処理を終了する（ステップＳ３１６）。そして、検索処理リストの抽出（ステップＳ３０７）から処理が続行される。

一致する属性があると判定された場合（ステップＳ３１８のＹＥＳ）、自動処理適用部１１７は、行処理データ１１５に記録された検索処理を新たな手書き入力から手書き文字認識部１０７により得られたテクスト文字列に適用して実行する（ステップＳ３１９）。次いで、自動配置部１１８は、新たな手書き入力の基準座標情報、行処理データ１１５の基準座標情報、配置座標情報から新しい座標値を算出し（ステップＳ３２０）、その座標値に検索結果データを自動配置する（ステップＳ３２１）。その後、手書き入力の受け付け（ステップＳ３０１）から処理が繰り返される。

なお、列挙の一要素の中で１つの検索処理が行われる第１の処理例に適用された場合について説明したが、複数の検索処理が行われることが許容される第２の処理例に適用されるようにしてもよい。

＜総括＞
以上説明したように、本実施形態によれば、手書き入力された軌跡から認識された文字列情報に対して、コンテンツの対応付けのための作業負担を低減することができる。

以上、好適な実施の形態により説明した。ここでは特定の具体例を示して説明したが、特許請求の範囲に定義された広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により限定されるものと解釈してはならない。

以上の説明に関し、更に以下の項を開示する。
（付記１）
手書き入力された軌跡から第一の文字列情報を認識し、
複数種別のコンテンツの中から、認識された前記第一の文字列情報にコンテンツを対応付ける操作を受け付け、
手書き入力された軌跡から第二の文字列情報を認識し、
認識された前記第一および前記第二の文字列情報が手書き入力されたそれぞれの位置を特定し、
特定された手書き入力されたそれぞれの位置関係が予め設定された条件を満たす場合に、認識された前記第二の文字列情報と、前記第一の文字列情報に対応付けられたコンテンツの種別とを基に、特定されたコンテンツを第二の文字列情報に対応付ける、
処理をコンピュータに実行させることを特徴とする情報処理プログラム。
（付記２）
前記特定された手書き入力されたそれぞれの位置関係が予め設定された条件を満たさない場合に、複数種別のコンテンツの中から、認識された前記第二の文字列情報にコンテンツを対応付ける操作を受け付ける、
処理をコンピュータに実行させることを特徴とする付記１に記載の情報処理プログラム。
（付記３）
前記第一および第二の文字列情報にコンテンツを対応付ける操作を受け付ける処理は、種別の異なる複数のコンテンツを対応付ける操作を受け付ける、
ことを特徴とする付記２に記載の情報処理プログラム。
（付記４）
前記特定されたコンテンツを第二の文字列情報に対応付ける処理は、前記第一および前記第二の文字列情報の位置関係毎に対応付けを行う、
ことを特徴とする付記１乃至３のいずれか一項に記載の情報処理プログラム。
（付記５）
前記第二の文字列情報に対応付けられたコンテンツを、前記第一の文字列情報に対応付けられたコンテンツの位置関係に基づいて算出した位置に自動配置する、
処理をコンピュータに実行させることを特徴とする付記１乃至４のいずれか一項に記載の情報処理プログラム。
（付記６）
前記第一の文字列情報の位置関係に基づいて算出した位置に、前記第二の文字列情報に対応する手書き入力が行われるべき位置を示す表示を行う、
処理をコンピュータに実行させることを特徴とする付記１乃至５のいずれか一項に記載の情報処理プログラム。
（付記７）
手書き入力された軌跡から第一の文字列情報を認識し、
複数種別のコンテンツの中から、認識された前記第一の文字列情報にコンテンツを対応付ける操作を受け付け、
手書き入力された軌跡から第二の文字列情報を認識し、
認識された前記第一および前記第二の文字列情報が手書き入力されたそれぞれの位置を特定し、
特定された手書き入力されたそれぞれの位置関係が予め設定された条件を満たす場合に、認識された前記第二の文字列情報と、前記第一の文字列情報に対応付けられたコンテンツの種別とを基に、特定されたコンテンツを第二の文字列情報に対応付ける、
処理をコンピュータが実行することを特徴とする情報処理方法。
（付記８）
前記特定された手書き入力されたそれぞれの位置関係が予め設定された条件を満たさない場合に、複数種別のコンテンツの中から、認識された前記第二の文字列情報にコンテンツを対応付ける操作を受け付ける、
処理をコンピュータが実行することを特徴とする付記７に記載の情報処理方法。
（付記９）
前記第一および第二の文字列情報にコンテンツを対応付ける操作を受け付ける処理は、種別の異なる複数のコンテンツを対応付ける操作を受け付ける、
ことを特徴とする付記８に記載の情報処理方法。
（付記１０）
前記特定されたコンテンツを第二の文字列情報に対応付ける処理は、前記第一および前記第二の文字列情報の位置関係毎に対応付けを行う、
ことを特徴とする付記７乃至９のいずれか一項に記載の情報処理方法。
（付記１１）
前記第二の文字列情報に対応付けられたコンテンツを、前記第一の文字列情報に対応付けられたコンテンツの位置関係に基づいて算出した位置に自動配置する、
処理をコンピュータが実行することを特徴とする付記７乃至１０のいずれか一項に記載の情報処理方法。
（付記１２）
前記第一の文字列情報の位置関係に基づいて算出した位置に、前記第二の文字列情報に対応する手書き入力が行われるべき位置を示す表示を行う、
処理をコンピュータが実行することを特徴とする付記７乃至１１のいずれか一項に記載の情報処理方法。
（付記１３）
手書き入力された軌跡から第一の文字列情報を認識する第一の認識部と、
複数種別のコンテンツの中から、認識された前記第一の文字列情報にコンテンツを対応付ける操作を受け付ける受付部と、
手書き入力された軌跡から第二の文字列情報を認識する第二の認識部と、
認識された前記第一および前記第二の文字列情報が手書き入力されたそれぞれの位置を特定する特定部と、
特定された手書き入力されたそれぞれの位置関係が予め設定された条件を満たす場合に、認識された前記第二の文字列情報と、前記第一の文字列情報に対応付けられたコンテンツの種別とを基に、特定されたコンテンツを第二の文字列情報に対応付ける対応付け部と、
を備えたことを特徴とする情報処理装置。
（付記１４）
前記特定された手書き入力されたそれぞれの位置関係が予め設定された条件を満たさない場合に、複数種別のコンテンツの中から、認識された前記第二の文字列情報にコンテンツを対応付ける操作を受け付ける第二の受付部、
を備えたことを特徴とする付記１３に記載の情報処理装置。
（付記１５）
前記受付部および前記第二の受付部は、種別の異なる複数のコンテンツを対応付ける操作を受け付ける、
ことを特徴とする付記１４に記載の情報処理装置。
（付記１６）
前記対応付け部は、前記第一および前記第二の文字列情報の位置関係毎に対応付けを行う、
ことを特徴とする付記１３乃至１５のいずれか一項に記載の情報処理装置。
（付記１７）
前記第二の文字列情報に対応付けられたコンテンツを、前記第一の文字列情報に対応付けられたコンテンツの位置関係に基づいて算出した位置に自動配置する配置部、
を備えたことを特徴とする付記１３乃至１６のいずれか一項に記載の情報処理装置。
（付記１８）
前記第一の文字列情報の位置関係に基づいて算出した位置に、前記第二の文字列情報に対応する手書き入力が行われるべき位置を示す表示を行うガイド表示部、
を備えたことを特徴とする付記１３乃至１７のいずれか一項に記載の情報処理装置。

手書き文字認識部１０７は「第一の認識部」および「第二の認識部」の一例である。入力受付部１０１は「受付部」の一例である。基準座標算出部１０６は「特定部」の一例である。行処理判定部１１４は「対応付け部」の一例である。

１、１１、１２ 情報処理装置
１０１ 入力受付部
１０２ 表示部
１０３ 文書管理部
１０４ 文書データ
１０５ 筆記集合選択部
１０６ 基準座標算出部
１０７ 手書き文字認識部
１０８ 属性判定部
１０９ 単語属性テーブル
１１０ 検索処理判定部
１１１ 検索処理テーブル
１１２ 処理選択実行部
１１３ 配置部
１１４ 行処理判定部
１１５ 行処理データ
１１６ 座標整合判定部
１１７ 自動処理適用部
１１８ 自動配置部

Claims (8)

1. 手書き入力された軌跡から第一の文字列情報を認識し、
   複数種別のコンテンツの中から、認識された前記第一の文字列情報にコンテンツを対応付ける操作を受け付け、
   手書き入力された軌跡から第二の文字列情報を認識し、
   認識された前記第一および前記第二の文字列情報が手書き入力されたそれぞれの位置を特定し、
   特定された手書き入力されたそれぞれの位置関係が予め設定された条件を満たす場合に、認識された前記第二の文字列情報と、前記第一の文字列情報に対応付けられたコンテンツの種別とを基に、特定されたコンテンツを第二の文字列情報に対応付ける、
   処理をコンピュータに実行させることを特徴とする情報処理プログラム。
2. 前記特定された手書き入力されたそれぞれの位置関係が予め設定された条件を満たさない場合に、複数種別のコンテンツの中から、認識された前記第二の文字列情報にコンテンツを対応付ける操作を受け付ける、
   処理をコンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。
3. 前記第一および第二の文字列情報にコンテンツを対応付ける操作を受け付ける処理は、種別の異なる複数のコンテンツを対応付ける操作を受け付ける、
   ことを特徴とする請求項２に記載の情報処理プログラム。
4. 前記特定されたコンテンツを第二の文字列情報に対応付ける処理は、前記第一および前記第二の文字列情報の位置関係毎に対応付けを行う、
   ことを特徴とする請求項１乃至３のいずれか一項に記載の情報処理プログラム。
5. 前記第二の文字列情報に対応付けられたコンテンツを、前記第一の文字列情報に対応付けられたコンテンツの位置関係に基づいて算出した位置に自動配置する、
   処理をコンピュータに実行させることを特徴とする請求項１乃至４のいずれか一項に記載の情報処理プログラム。
6. 前記第一の文字列情報の位置関係に基づいて算出した位置に、前記第二の文字列情報に対応する手書き入力が行われるべき位置を示す表示を行う、
   処理をコンピュータに実行させることを特徴とする請求項１乃至５のいずれか一項に記載の情報処理プログラム。
7. 手書き入力された軌跡から第一の文字列情報を認識し、
   複数種別のコンテンツの中から、認識された前記第一の文字列情報にコンテンツを対応付ける操作を受け付け、
   手書き入力された軌跡から第二の文字列情報を認識し、
   認識された前記第一および前記第二の文字列情報が手書き入力されたそれぞれの位置を特定し、
   特定された手書き入力されたそれぞれの位置関係が予め設定された条件を満たす場合に、認識された前記第二の文字列情報と、前記第一の文字列情報に対応付けられたコンテンツの種別とを基に、特定されたコンテンツを第二の文字列情報に対応付ける、
   処理をコンピュータが実行することを特徴とする情報処理方法。
8. 手書き入力された軌跡から第一の文字列情報を認識する第一の認識部と、
   複数種別のコンテンツの中から、認識された前記第一の文字列情報にコンテンツを対応付ける操作を受け付ける受付部と、
   手書き入力された軌跡から第二の文字列情報を認識する第二の認識部と、
   認識された前記第一および前記第二の文字列情報が手書き入力されたそれぞれの位置を特定する特定部と、
   特定された手書き入力されたそれぞれの位置関係が予め設定された条件を満たす場合に、認識された前記第二の文字列情報と、前記第一の文字列情報に対応付けられたコンテンツの種別とを基に、特定されたコンテンツを第二の文字列情報に対応付ける対応付け部と、
   を備えたことを特徴とする情報処理装置。

Images