JP7505590B2 - レイアウト方法、レイアウト装置及びプログラム - Google Patents

Description

本発明は、レイアウト方法、レイアウト装置及びプログラムに関する。

従来から、会議中又は会議終了後に会議を振り返るための種々の手法が提案されている。会議の記録方法についても、従来の文字による議事録の作成だけではなく、議論内容に対応するイラストや写真などを使ったグラフィカルな記録方法も提案されている。記録に利用される媒体についても、物理的な紙面とペンだけではなく、静電容量式、感圧式、光学式などのタッチパネルとデジタルペンなどを使って、手書き操作をデジタルデータとして記録する方法などが考案されている。

例えば、特許文献１では、音声認識の結果を利用して、イラストを検索及び表示しながら議事録を編集及び記録し、振り返りを支援するシステム及び方法が提案されている。

このような記録方法は、一般に、議事録の作成者が議論の内容を把握しながら、参加者が見える位置にリアルタイムに議事録を描画することで、論点の共有化を図って議論を収束させたり、イラストや写真などのイメージからアイデアを想起させることで議論を発散させたりする効果があるとされる。

また、このような記録方法では、議論の流れや構造に応じて、記録内容を上から下へ時系列に記述していくレイアウトや、左右に対比させて配置するレイアウト、中心から関連するキーワードに応じて放射状に広がるレイアウトなど、様々なレイアウトが用いられる。

特許第６３３９５２９号公報

論点を予め定めない議論などにおいては、議事録作成者は議論の内容を理解しながら、グラフィックとして表現する方法を考え、レイアウトにも配慮しながら、分かりやすくグラフィックを描画する必要があり、議事録作成者には高い認知負荷と非常に高いスキルが求められる。

議事録作成者が、議論の内容を事前に十分に予測又は理解できていない場合や、十分なスキルを有していない場合などには、以下の課題が発生する。

なお、ここでは、タッチパネルとデジタルペンを使った、デジタルデータとしてのイラストを活用した議事録作成又は振り返りを対象とする。

［作成時］
議事録の作成者は、アイデア発想や意見集約など議論の種類によっては、議論の流れや論点の数を事前に把握することができない場合がある。

そのため、予め議事録のレイアウトを定めることは難しく、作成途中にレイアウトを変更する必要が発生することがある。例えば、議論の後半で全体として重要な論点が議論され始めた場合、その論点を目立たせるために大きく表現する必要があるが、既にグラフィックを描画するスペースが十分に残されていない状態が発生しうる。この場合、新たにスペースを作るため、個々のイラストの範囲を指定し、その位置やサイズをレイアウトしなおす必要がある。

しかし、画面上に描画された議事録のレイアウトを途中から変更することは、イラスト間の関係や位置の指定など煩雑な操作が必要になるため、議論の可視化に既に高い認知資源を割いている議事録作成者が議論の中で行うことは難しい。

［振り返り］
議論に参加していない人が、作成された議事録を見ながら、議論を後から振り返る場合、イラストや写真などを使った議事録の場合、必ずしも時系列で記録及びレイアウトされている訳ではないため、議論の流れを振り返りにくい場合がある。

一方で、議事録作成者が、従来の文字での議事録に多く見られる時系列順に縦に並べるレイアウトを採用するルールとすると、イラストや写真を使ったグラフィカルな議事録の長所である自由なレイアウトが実現できなくなる。

本発明は、上記の点に鑑みてなされたものであって、対話の内容が理解しやすい対話記録の作成を支援することを目的とする。

そこで上記課題を解決するため、対話の音声に対する音声認識によって生成された第１のテキストデータにおける話題の変化を区切りとして複数の第２のテキストデータを生成する生成手順と、前記対話に伴って描画された複数の軌跡を取得する取得手順と、前記複数の軌跡を、それぞれの軌跡の描画位置に基づいて複数のグループに分割する分割手順と、前記グループごとに、当該グループが示す描画内容に関連する前記第２のテキストデータを当該グループに対応付け、共通の前記第２のテキストデータに対応付けられた前記グループを一つのグループに統合する対応付け手順と、ユーザによるレイアウトの変更指示に応じ、前記対応付け手順によって対応付けられた各グループを当該変更指示に応じたレイアウトで出力するレイアウト手順と、をコンピュータが実行する。

対話の内容が理解しやすい対話記録の作成を支援することができる。

本発明の実施の形態におけるレイアウト装置１０のハードウェア構成例を示す図である。 本発明の実施の形態におけるレイアウト装置１０の機能構成例を示す図である。 トピックデータの構成例を示す図である。 ストロークデータの構成例を示す図である。 枠フラグ付きストロークデータの構成例を示す図である。 メイン色付きストロークデータの構成例を示す図である。 描画内容分割部１６が実行する処理手順の一例を説明するためのフローチャートである。 領域データの構成例を示す図である。 対応付け部１７が実行する処理手順の一例を説明するためのフローチャートである。 連結データの構成例を示す図である。 統合後の連結データの一例を示す図である。 操作受付画面の表示例を示す図である。 スペース作成選択画面の表示例を示す図である。 レイアウト変更選択画面の表示例を示す図である。 レイアウト結果の第１の例を示す図である。 レイアウト結果の第２の例を示す図である。

以下、図面に基づいて本発明の実施の形態を説明する。図１は、本発明の実施の形態におけるレイアウト装置１０のハードウェア構成例を示す図である。図１のレイアウト装置１０は、それぞれバスＢで相互に接続されているドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、ＣＰＵ１０４、インタフェース装置１０５、表示装置１０６、及び入力装置１０７等を有する。

レイアウト装置１０での処理を実現するプログラムは、ＣＤ－ＲＯＭ等の記録媒体１０１によって提供される。プログラムを記憶した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。

メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。ＣＰＵ１０４は、メモリ装置１０３に格納されたプログラムに従ってレイアウト装置１０に係る機能を実現する。インタフェース装置１０５は、ネットワークに接続するためのインタフェースとして用いられる。表示装置１０６はプログラムによるＧＵＩ（Graphical User Interface）等を表示する。入力装置１０７は、例えば、タッチパネルやボタン等で構成され、タッチパネルに対するデジタルペンやユーザの指等の接触を検知したり、ボタンの押下を検知したりすることで、様々な操作指示の入力を受け付ける。

図２は、本発明の実施の形態におけるレイアウト装置１０の機能構成例を示す図である。図２において、レイアウト装置１０は、音声認識部１１、トピック認識部１２、ストローク入力部１３、枠描画検出部１４、ペン種別検出部１５、描画内容分割部１６、対応付け部１７、操作受付部１８及びレイアウト部１９を有する。これら各部は、レイアウト装置１０にインストールされた１以上のプログラムが、ＣＰＵ１０４に実行させる処理により実現される。レイアウト装置１０は、また、データ記憶部１２１を利用する。データ記憶部１２１は、例えば、補助記憶装置１０２、又はレイアウト装置１０にネットワークを介して接続可能な記憶装置等を用いて実現可能である。

以下、各部について詳細に説明する。

［音声認識部１１］
音声認識部１１は、二人以上の複数人が参加する会議等における議論（対話）の音声波形データの入力を受け付け、当該音声波形データについてテキストデータへの変換を実行する。この際、テキストデータには、所定の単位ごと（例えば、文字ごと）に発話されたタイミング（絶対時刻又は対話開始からの相対時刻）を示す情報がメタデータとして付加される。

音声波形データの取得は、会議等の参加者が各々に着けるピンマイクを介して行われてもよいし、環境中の音響を取得する会議用マイクを介して行われてもよい。音声波形データの取得においては、必ずしも話者分離が行われる必要はなく、音声認識精度が高まる音声波形データの取得方法であればどのような方法が利用されてもよい。音声波形データに対する音声認識には、既存の音声認識技術（例えば、ＮＴＴテクノクロス社のＳｐｅｅｃｈＲｅｃ（登録商標）（https://www.speechrec.jp/）等）が利用されてもよい。また、この音声波形データに、特許第５７９１０８１号公報に開示された技術を利用することで、話者分離を行い、話者ごとに生成されるテキストデータに話者の情報が付与されてもよい。この場合、話者に関する情報は、トピック認識部１２によるテキストデータの解析処理に影響を与えないよう、テキストデータに関するメタデータとして付与される（すなわち、テキストデータとは別のデータとしてテキストデータに関連付けられる）のが望ましい。

［トピック認識部１２］
トピック認識部１２は、音声認識部１１が取得したテキストデータにおけるトピック（話題）の変化を区切りとして複数のテキストデータ（以下、「トピック別テキスト」という。）を生成する。具体的には、トピック認識部１２は、音声認識部１１が取得したテキストデータにおいてトピックが変化した位置（トピックの境目となる文字）を検出することで、特定のトピックに関する対話の開始時刻・終了時刻を検出する。すなわち、トピック認識部１２は、トピックが変化した位置の一文字前の文字に対してメタデータとして付与されている時刻（以下、単に「文字の時刻」という。）を、変化前のトピックの終了時刻とし、当該位置に係る文字の時刻を変化後のトピックの開始時刻とする。

トピックの変化は、対話中の一定の無音区間（すなわち、隣接する文字の間の時刻の差が一定時間以上であること）の発生に基づいて検出してもよいし、予め定めているトピック変更キーワード（例えば、「ところで」、「次に進みます」、「そろそろ時間なので」など）の出現に基づいて検出してもよいし、単語間の意味的な距離を記録したコーパスデータを使って、音声認識された対話中の単語の概念ベクトルとの距離から、トピックの変化を検出してもよい（特許第６２１０９３４号公報）。

トピック認識部１２は、時系列に変化したトピックごとに、当該トピックの開始時刻及び終了時刻や、当該開始時刻から当該終了時刻までのトピック別テキスト等を含むデータをトピックデータとして生成し、当該トピックデータを、例えば、メモリ装置１０３又は補助記憶装置１０２に記録する。なお、トピック認識部１２は、トピックデータに対して特許第６２１０９３４号公報や特許第６３４７９３８号公報に開示された技術を適用することで、対話において主要となるトピック（主要トピック）や重要語を抽出し、抽出したトピックや重要語をトピックデータの別カラムとして記録してもよい。

図３は、トピックデータの構成例を示す図である。図３における各行が１つのトピックデータに相当する。図３に示されるように、１つのトピックデータは、開始時刻、終了時刻、対話データ及び主要トピック等を含む。開始時刻及び終了時刻は、当該トピックデータに係る対話の開始時刻及び終了時刻である。対話データは、当該対話を示す文字列（すなわち、トピック別テキスト）である。なお、図３では、話者分離が行われた例が示されている。したがって、対話データは、話者の発話単位の文字列に分割され、各文字列には、当該文字列に対応する発話の開始時刻及び終了時刻と、当該発話の話者の識別子とがメタデータとして付与されている。

［ストローク入力部１３］
ストローク入力部１３は、議事録等の対話の記録（以下「対話記録」という。）の作成者が、静電容量式や圧電式、光学式などの方法によってデジタルペンの接触を認識できる表示装置１０６としてのタブレットや画面（以下、「描画画面」という。）などを使って描画したデジタルペンの軌跡を取得し、当該軌跡を示すストロークデータを生成する。

図４は、ストロークデータの構成例を示す図である。図４における各行は、１つストロークデータに対応する。図４に示されるように、１つのストロークデータには、１つのストローク（軌跡）の開始地点、終了地点、開始時刻、終了時刻、色、軌跡データが含まれる。このうち、色は、ストロークの色である。例えば、ユーザは、入力装置１０７を構成するボタン等で色を選択した後、デジタルペンを利用して描画を行う。ストローク入力部１３は、斯かる色の選択を記憶することで、各ストロークの色を識別する。また、軌跡データは、当該ストロークの軌跡を示すデータであり、例えば、時間単位の（一定時間ごとの）当該ストロークの位置を示す座標値の集合によって表現される。また、開始地点、終了地点及び軌跡データの座標は、例えば、描画画面の座標系における座標である。なお、ストロークとは、デジタルペンが接触してからその接触が解除されるまでのデジタルペンの接触位置の軌跡をいう。ストローク入力部１３は、例えば、描画画面へのデジタルペンの接触を検知し、当該接触の解除を検知するまで当該デジタルペンの接触位置を一定時間ごとに取得することで、ストロークごとにストロークデータを取得することができる。

［枠描画検出部１４］
枠描画検出部１４は、ストローク入力部１３が１つのストロークデータを生成するたびに（すなわち、１つのストロークが描画されるたびに）、当該ストロークデータに係るストロークが、対話記録中の描画内容（ストロークの集合）を区分してレイアウトするために描画された枠線なのか否か（例えば、イラストや文字等の描画なのか）を、当該ストロークの形状に基づいて判定する。

例えば、枠描画検出部１４は、ストロークデータが示すストロークの最小外接矩形の幅及び高さを算出し、当該幅又は当該高さが一定の値以上（例えば、描画画面の幅又は高さの１／４以上）であれば、当該ストロークデータに係るストロークは枠であると判定する。枠描画検出部１４は、ストロークデータに対して、当該ストロークデータに係るストロークが枠線であるか否かの判定結果を示すフラグ（枠フラグ）を付与したデータ（以下、「枠フラグ付きストロークデータ」という。）を生成する。枠描画検出部１４は、枠フラグ付きストロークデータを生成するたびに、当該枠フラグ付きストロークデータをペン種別検出部１５へ送信する。

図５は、枠フラグ付きストロークデータの構成例を示す図である。図５に示されるように、枠フラグ付きストロークデータは，ストロークデータに加えて枠フラグを含む。なお、枠フラグの値は、ＴＲＵＥ又はＦＡＬＳＥである。ＴＲＵＥは枠線であることを示し、ＦＡＬＳＥは枠線でないことを示す。

［ペン種別検出部１５］
ペン種別検出部１５は、枠フラグ付きストロークデータを受信するたびに、当該枠フラグ付きストロークデータの色に基づいて、メインのペンが何色であるかを判定する。グラフィカルな対話記録においては、文字や図を描画するペンと、文字や図に影などの装飾や色付けを行うペンとが使い分けられる。「メインのペンの色」は、文字や図を描画するペンの色を意味する。

具体的には、ペン種別検出部１５は、メインのペンの色の変数をメモリ装置１０３に記憶する。ペン種別検出部１５は、当該変数を任意の暗色（例えば「黒」）で初期化する。ペン種別検出部１５は、枠フラグ付きストロークデータを受信するたびに、それまでで最も利用頻度の高い色で当該変数の値を更新する。ペン種別検出部１５は、枠フラグ付きストロークデータに対して、当該枠フラグ付きストロークデータの色がメインのペンの色であるか否かを示す情報を付与したデータ（以下、「メイン色付きストロークデータ」という。）を生成する。ペン種別検出部１５は、メイン色付きストロークデータを生成するたびに、当該メイン色付きストロークデータを描画内容分割部１６へ送信する。

図６は、メイン色付きストロークデータの構成例を示す図である。図６に示されるように、メイン色付きストロークデータは，枠フラグ付きストロークデータに加えてメイン色フラグを含む。なお、メイン色フラグの値は、ＴＲＵＥ又はＦＡＬＳＥである。ＴＲＵＥは、当該メイン色付きストロークデータの「色」がメインペンの色であることを示す。ＦＡＬＳＥは、当該メイン色付きストロークデータの「色」がメインペンの色でないことを示す。

［描画内容分割部１６］
描画内容分割部１６は、メイン色付きストロークデータをペン種別検出部１５から受信するたびに、それまでに受信したメイン色付きストロークデータ群について、一つの絵又は文字を構成する可能性の高い１以上のメイン色付きストロークデータの集合を特定する。すなわち、描画内容分割部１６は、それまでに受信したメイン色付きストロークデータ群（描画内容）を、絵又は文字を構成する単位ごとのグループに分割する。

描画内容分割部１６は、斯かる分割に際し、ストロークの時間間隔（既に受信済みのメイン色付きストロークデータの終了時刻から、新たに受信したメイン色付きストロークデータの開始時刻までの経過時間）と、ストローク間の距離（既に受信済みのメイン色付きストロークデータに係るストロークの一様近傍と新たに受信したメイン色付きストロークデータの開始地点との最短距離）の情報を利用する。描画内容分割部１６は、グループごとに、当該グループに属するメイン色付きストロークデータ群に基づいて領域データを生成し、当該領域データを対応付け部１７へ送信する。

図７は、描画内容分割部１６が実行する処理手順の一例を説明するためのフローチャートである。

ステップＳ１０１において、描画内容分割部１６は、１つのメイン色付きストロークデータ（以下、「対象ストロークデータ」という。）を受信する。続いて、描画内容分割部１６は、対象ストロークデータの枠フラグがＴＲＵＥであるか否か（すなわち、対象ストロークデータに係るストローク（以下、「対象ストローク」という。）が枠線であるか否か）を判定する（Ｓ１０２）。対象ストロークの枠フラグがＴＲＵＥである場合（Ｓ１０２でＹｅｓ）、描画内容分割部１６は、対象ストロークデータに関する処理を終了する。すなわち、枠線に対応するストロークデータは、いずれのグループにも属さない。このことは、後述のレイアウト部１９によって、枠線がレイアウト対象から除外されることを意味する。

対象ストロークの枠フラグがＦＡＬＳＥである場合（Ｓ１０２でＮｏ）、描画内容分割部１６は、対象ストロークとの位置関係が所定の条件を満たす他のストロークの有無を判定する（Ｓ１０３）。ここで、所定の条件とは、対象ストロークの近傍に描画されたことを示す条件である。例えば、対象ストロークの距離ｒの一様近傍に重なることが、所定の条件とされてもよい。対象ストロークの距離ｒの一様近傍とは、対象ストロークと垂直に交わる両方向に距離ｒの幅を有し、かつ、当該ストロークの両端点において半径ｒの円の形状を有する領域をいう。対象ストロークが他のストロークの一様近傍と重なるかは、当該一様近傍に、他のストロークの一部が含まれるかに基づいて判定可能である。なお、ｒは、予め設定される閾値である。例えば、デジタルペンの太さの倍数（例えば、３倍）がｒの値とされてもよい。また、ｒの値は、画面全体のストロークの数の増加にしたがって（すなわち、画面上の描画された絵又は文字の増加にしたがって）小さくされてもよい。

対象ストロークとの位置関係が所定の条件を満たす他のストロークが無い場合（Ｓ１０３でＮｏ）、描画内容分割部１６は、対象ストロークを含む新たなグループを生成し、当該グループに対応する領域データを生成する（Ｓ１０４）。

図８は、領域データの構成例を示す図である。図８において、各行は１つの領域データに対応する。図８に示されるように、各領域データは、開始時刻、終了時刻、初期位置、領域及び画像データ等を含む。開始時刻、終了時刻は、当該領域データに対応するグループの描画が開始されてから、当該描画が終了するまでの期間を示す。すなわち、開始時刻は、当該領域データに属するメイン色付きストロークデータ群の開始時刻のうち、最も早い開始時刻である。終了時刻は、当該領域データに属するメイン色付きストロークデータ群の終了時刻のうち、最も遅い終了時刻である。画像データとは、当該ストローク群が或る太さ（例えば、デジタルペンのペン先の太さ）で描画されることで生成される画像データをいう。画像データは、領域データの生成に伴って描画内容分割部１６によって生成される。領域とは、当該画像データの幅及び高さである。初期位置とは、描画画面に対する当該画像データの領域の左上頂点の座標である。

対象ストロークとの位置関係が所定の条件を満たす他のストロークが有る場合（Ｓ１０３でＹｅｓ）、描画内容分割部１６は、当該所定の条件を満たす１以上の他のストロークに係る各メイン色付きストロークデータ（以下、「近傍ストロークデータ」という。）について、当該近傍ストロークデータの終了時刻から、対象ストロークデータの開始時刻までの経過時間が所定時間（ｔ時間）未満であるか否かを判定する（Ｓ１０５）。ｔは、予め設定される閾値（例えば１０秒）である。

当該経過時間がｔ時間未満である近傍ストロークデータが有る場合（Ｓ１０５でＹｅｓ）、描画内容分割部１６は、当該近傍ストロークデータが属するグループに係る領域データに対して対象ストロークデータを追加することで、当該領域データを更新する（Ｓ１０７）。具体的には、描画内容分割部１６は、当該領域データの開始時刻、終了時刻、初期位置及び領域を、対象ストロークデータに基づいて必要に応じて更新するとともに、当該領域データの画像データに対して対象ストロークを描画（記録）する。なお、当該ｔ時間が経過していない近傍ストロークデータが複数存在する場合、対象ストロークデータの開始位置と一様近傍との距離が最も近い１つの近傍ストロークデータが属する領域データに対して、対象ストロークデータが追加されればよい。

いずれの近傍ストロークデータについても当該経過時間がｔ時間以上である場合（Ｓ１０５でＮｏ）、描画内容分割部１６は、対象ストロークデータのメイン色フラグがＴＲＵＥであるか否かを判定する（Ｓ１０６）。当該メイン色フラグがＴＲＵＥである場合（Ｓ１０６でＹｅｓ）、描画内容分割部１６は、ステップＳ１０４を実行し、そうでない場合（Ｓ１０６でＮｏ）、描画内容分割部１６は、ステップＳ１０７を実行する。すなわち、メインペンの色で描画されたストロークは、ｔ時間以上前に描画された近傍のストロークと同じグループに含められる。

描画内容分割部１６は、例えば、一定時間（例えば、５分等）ごとに、当該一定時間において新たに生成された領域データ又は更新された領域データ（以下、「領域データ群」という。）を対応付け部１７へ送信する。当該一定時間において該当する領域データが無い場合、描画内容分割部１６は、領域データの送信を行わない。

［対応付け部１７］
対応付け部１７は、描画内容分割部１６から領域データ群（図８）を受信するたびに、トピック認識部１２が生成したトピックデータ（図３）と、当該領域データ群に含まれる各領域データとを対応付ける。

図９は、対応付け部１７が実行する処理手順の一例を説明するためのフローチャートである。対応付け部１７は、描画内容分割部１６から受信した領域データ群に含まれる領域データごとに、ステップＳ２０１～Ｓ２０５を含むループ処理Ｌ１を実行する。ループ処理Ｌ１において処理対象とされている領域データを、以下「対象領域データ」という。

ステップＳ２０１において、対応付け部１７は、対象領域データの画像データの意味ラベル（当該画像データが示す画像の意味を示すラベル）を取得する。具体的には、対応付け部１７は、対象領域データの画像データに対して、光学文字認識（ＯＣＲ（Optical Character Recognition））を行い、当該画像データ中の文字列情報を取得する。対応付け部１７は、並行して、画像辞書データを使った画像の認識処理を当該画像データに対して行い（例えば、特許第６２８３３０８号公報）、当該画像データ中の物体の識別とラベル付けを行う。対応付け部１７は、文字列情報と物体の識別及びラベル付けとのうち、認識精度の良い方を選択し、選択した方の情報を領域データに対する意味ラベルとする。

続いて、対応付け部１７は、当該意味ラベルに意味的に近い対話データを含むトピックデータを、対象領域データの終了時刻から遡って、終了時刻の降順にＮ個分のトピックデータ群（以下、「直近トピックデータ群」という。）の中から検索する（Ｓ２０２）。なお、意味的に近いか否かは、対話データ中に意味ラベルと一致する単語が有るか否か、又は対話データの出現単語のうち、概念ベクトルを使った意味ラベルとの距離（すなわち、出現単語の概念ベクトルと意味ラベルの概念ベクトルとの距離）が閾値未満である出現単語が有るか否かに基づいて判定されてもよい。

該当するトピックデータが１以上ある場合（Ｓ２０３でＹｅｓ）、対応付け部１７は、対象領域データと、該当する各トピックデータとを連結したデータ（以下、「連結データ」という。）を生成する（Ｓ２０４）。この場合、該当するトピックデータの数だけ連結データが生成される。該当するトピックデータが無い場合（Ｓ２０３でＮｏ）、対応付け部１７は、対象領域データと、直近トピックデータ群の中で最新のトピックデータとを連結することで連結データを生成する（Ｓ２０５）。この場合、対象トピックデータに対しては、１つの連結データが生成される。

図１０は、連結データの構成例を示す図である。図１０においてＩＤ＝１のレコードと、ＩＤ＝２のレコードとの領域データは共通である。すなわち、これら２つのレコードは、ステップＳ２０２において該当するトピックデータが複数検索された場合に生成された連結データの例を示す。

一方、ＩＤ＝３のレコードとＩＤ＝４のレコードとのトピックデータは共通である。これら２つのレコードは、ステップＳ２０４又はＳ２０５において、１つの領域データに対して１つのトピックデータが連結されることにより生成された連結データであって、異なる領域データに対して同じトピックデータが連結された連結データの例を示す。

描画内容分割部１６から受信した領域データ群に含まれる全ての領域データについてループ処理Ｌ１が実行されると、対応付け部１７は、ループ処理Ｌ１において生成された連結データ群のうち、領域データ又はトピックデータが共通する連結データ群が有れば、該当する連結データ群を一つの連結データに統合する（Ｓ２０６）。

図１１は、統合後の連結データの一例を示す図である。図１１において、ＩＤ＝１の連結データは、図１０のＩＤ＝１の連結データと、ＩＤ＝２の連結データとの統合結果である。また、図１１において、ＩＤ＝２の連結データは、図１０のＩＤ＝３の連結データと、ＩＤ＝４の連結データとの統合結果である。

具体的には、図１０のＩＤ＝１、ＩＤ＝２の連結データのように、領域データが共通する連結データ群について、対応付け部１７は、当該連結データ群のそれぞれのトピックデータを統合することで、当該領域データと統合後のトピックデータとが連結された１つの連結データを生成する。統合後のトピックデータの開始時刻は、統合元の各トピックデータの開始時刻の最小値である。統合後のトピックデータの終了時刻は、統合元の各トピックデータの終了時刻の最大値である。統合後のトピックデータの対話データ及び主要トピックは、統合元の各トピックデータのそれぞれの対話データ又は主要トピックを単純に結合した結果である。

一方、図１０のＩＤ＝３、ＩＤ＝４の連結データのように、トピックデータが共通する連結データ群について、対応付け部１７は、当該連結データ群のそれぞれの領域データを統合することで、統合後の領域データと当該トピックデータとが連結された１つの連結データを生成する。統合後の領域データの開始時刻は、統合元の各領域データの開始時刻の最小値である。統合後の領域データの終了時刻は、統合元の各領域データの終了時刻の最大値である。統合後の領域データの初期位置ｘ，ｙそれぞれは、統合元の各領域データのｘ，ｙそれぞれの最小値である。統合後の領域データの幅ｗ、高さｈそれぞれは、統合元の各領域データのｘ＋ｗ，ｙ＋ｈそれぞれの最大値から、統合後のｘ，ｙの値を差し引いた値である。統合後の領域データの画像データは、統合元の各領域データの画像データを合成することで得られる画像データである。

なお、トピックデータが統合された場合、以降のストロークの入力に応じて実行される処理については、統合後のトピックデータが有効となる。また、領域データが統合された場合、以降のストロークの入力に応じて実行される処理については、統合後の領域データが有効となる。

対応付け部１７は、図９の処理手順によって新たに生成された１以上の連結データ（例えば、図１１に示した連結データ）をデータ記憶部１２１へ記憶する。その結果、データ記憶部１２１には、過去に生成された連結データが記憶される。

［操作受付部１８］
操作受付部１８は、ユーザからの操作を受け付ける。物理的なボタンや、タッチ操作が可能なタブレット、マウス・キーボードを使った操作などが受け付け対象の操作として考えられる。操作内容は、大きく２種類あり、対話記録作成時（対話中の任意のタイミング）のスペース作成（描画画面におけるスペースの作成）と、対話記録を振り返り時のレイアウト変更である。これら２種類の操作内容に関する指示をユーザから受け付けるため、操作受付部１８は、例えば、図１２に示されるような操作選択画面５１０を表示装置１０６へ表示してもよい。

スペース作成には、「元に戻す」、「中央に縮小」、「左に寄せる」、「右に寄せる」、「上に寄せる」及び「下に寄せる」等の選択肢が有る。操作受付部１８は、操作選択画面５１０において「スペース作成」が選択された場合、例えば、図１３に示されるようなスペース作成選択画面５２０を表示装置１０６に表示して、いずれかの選択肢の選択をユーザから受け付けてもよい。

「元に戻す」は、対話記録作成時のままのレイアウトを再現することをいう。「中央に縮小」は、画面中央に描画要素を寄せることをいう。ここで、描画要素とは、データ記憶部１２１に記憶されている各連結データ（図１１）の画像データをいう。「左に寄せる」は、画面上の左に描画要素を寄せることをいう。「右に寄せる」は、画面上の右に描画要素を寄せることをいう。「上に寄せる」は、画面上の上に描画要素を寄せることをいう。「下に寄せる」は、画面上の下に描画要素を寄せることをいう。

レイアウトの変更には、「初期状態」、「時系列（縦）」、「時系列（横）」、「時系列（Ｚ字）」、「時系列（逆Ｎ字）」、時系列（時計回り）」、「時系列（反時計回り）」、「ネットワーク型（共起関係）」、「ネットワーク型（シソーラス）」等の選択肢が有る。操作受付部１８は、操作選択画面５１０において「レイアウト変更」が選択された場合、例えば、図１４に示されるようなレイアウト変更選択画面５３０を表示装置１０６に表示して、いずれかの選択肢の選択をユーザから受け付けてもよい。

「初期状態」は、対話記録作成時のままのレイアウトを再現することをいう。「時系列（縦）」は、描画要素を上から下へ時系列に並べることをいう。「時系列（横）」は、描画要素を左から右へ時系列に並べることをいう。「時系列（Ｚ字）」は、左上、右上、左下、右下の順で描画要素を時系列に並べることをいう。「時系列（逆Ｎ字）」は、左上、左下、右上、右下の順で描画要素を時系列に並べることをいう。「時系列（時計回り）」は、画面中心を回転軸として、時計回りに描画要素を時系列に並べることをいう。「時系列（反時計回り）」は、画面中心を回転軸として、反時計回りに描画要素を時系列に並べることをいう。「ネットワーク型（共起関係）」とは、各描画要素に対応する各対話データのうち、形態素解析により取得した名詞、動詞の共起関係が強い対話データの集合に係る各描画要素同士を近くに配置することをいう。対話データ間の共起関係の強弱は、同一の名詞又は動詞の出現頻度に基づいて評価されればよい。「ネットワーク型（シソーラス）」とは、各描画要素に対応する各対話データのうち、形態素解析により取得した名詞の意味が近い関係にある対話データの集合に係る各描画要素を近くに配置することをいう。なお、名詞の意味の近さは、既存の類語辞典などを使って評価されればよい。

［レイアウト部１９］
レイアウト部１９は、データ記憶部１２１に記憶されている連結データについて、操作受付部１８で指定されたレイアウトの変更指示に従って、各描画要素について、描画画面上の位置及びサイズを決定し、決定した位置及びサイズで各描画要素を出力する。

「元に戻す」又は「初期状態」が指定された場合、レイアウト部１９は、各連結データの初期位置に従って、各描画要素を描画する座標を設定し、各描画要素のサイズを変更せずに各描画要素を描画する。描画先の画面（以下、「レイアウト画面」という。）は、描画画面であってもよいし、描画画面と異なる画面であってもよい。

「中央に縮小」が指定された場合、レイアウト部１９は、レイアウト画面の中央を基点として、個々の描画要素を縮小し、レイアウト画面の中央に寄せた位置に各描画要素を描画する。なお、縮小の程度は、予めデフォルト値（例えば７５％縮小）が設定されてもよいし、１～１００％の間の任意の値がレイアウトの変更に際してユーザによって入力されてもよい。

「左に寄せる」、「右に寄せる」、「上に寄せる」又は「下に寄せる」が指定された場合、レイアウト部１９は、はそれぞれ、個々の描画要素を縮小したうえで、画面の上、下、左又は右に寄せた位置に描画要素を描画する。

「時系列（縦）」又は「時系列（横）」が指定された場合、レイアウト部１９は、「開始時刻」の昇順に、上から下又は左から右に描画位置を定め、レイアウト画面内に収まるよう各描画要素を縮小したうえで、各描画要素を描画する。

同様に、「時系列（Ｚ字）」、「時系列（逆Ｎ字）」、「時系列（時計回り）」又は「時系列（反時計回り）」が指定された場合においても、レイアウト部１９は、「開始時刻」の昇順に、Ｚ字、Ｎ字の鏡文字、時計回りの円、又は反時計回りの円を描くように各描画要素の位置を設定し、レイアウト画面内に収まるように各描画要素のサイズを縮小したうえで、各描画要素を描画する。

なお、「初期状態」、「中央に縮小」、「左に寄せる」、「時系列（横）」、「時系列（逆Ｎ字）」又は「時系列（反時計回り）」が指定された場合のレイアウト結果の一例を図１５に示す。

「ネットワーク型（共起関係）」が指定された場合、レイアウト部１９は、各描画要素に対応する対話データから形態素解析により取得した名詞、動詞を抽出し、それぞれの出現頻度が同じものが近くなるよう、各描画要素の位置を設定して、各描画要素を描画する。「ネットワーク型（シソーラス）」が指定された場合、レイアウト部１９は、各描画要素に対応する対話データから形態素解析により名詞を取得し、既存の類語辞典などを使って意味が近い関係がある名詞同士に係る描画要素が近くなるように各描画要素の一を設定して、各描画要素を描画する。「ネットワーク型（共起関係）」又は「ネットワーク型（シソーラス）」が指定された場合のレイアウト結果の一例を図１６に示す。

上述したように、本実施の形態によれば、イラストや写真を活用したグラフィカルな対話記録について、作成者の振る舞いと議論の内容を踏まえて、対話記録の分節化を行い、各描画要素のレイアウトの変更を実現することができる。したがって、対話の内容が理解しやすい対話記録の作成を支援することができる。

また、レイアウトの変更により、あまりスキルの高くない対話記録作成者によって作成される対話記録や、論点が事前に分からないオープンディスカッションなどの対話記録について、レイアウトを途中で変更することで、グラフィカルな対話記録を描画するスペースを新たに作ることができる。

また、対話記録を閲覧する人が、レイアウトを複数パターンに変更することで、対話の振り返りを容易にすることができる。

また、枠線のストロークはレイアウトの対象から除外されるため、対話記録としては不要な情報である枠線の表示を抑制することができる。

また、データ記憶部１２１には、画像データ、対話データ、トピック内容（主要トピック）、話者などを記録できるため、発言内容に対応する要素を検索可能とすることもできる。

なお、本実施の形態において、トピック認識部１２は、生成部の一例である。ストローク入力部１３は、取得部の一例である。描画内容分割部１６は、分割部の一例である。

以上、本発明の実施の形態について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１０ レイアウト装置
１１ 音声認識部
１２ トピック認識部
１３ ストローク入力部
１４ 枠描画検出部
１５ ペン種別検出部
１６ 描画内容分割部
１７ 対応付け部
１８ 操作受付部
１９ レイアウト部
１００ ドライブ装置
１０１ 記録媒体
１０２ 補助記憶装置
１０３ メモリ装置
１０４ ＣＰＵ
１０５ インタフェース装置
１０６ 表示装置
１０７ 入力装置
１２１ データ記憶部
Ｂ バス

Claims (7)

1. 対話の音声に対する音声認識によって生成された第１のテキストデータにおける話題の変化を区切りとして複数の第２のテキストデータを生成する生成手順と、
   前記対話に伴って描画された複数の軌跡を取得する取得手順と、
   前記複数の軌跡を、それぞれの軌跡の描画位置に基づいて複数のグループに分割する分割手順と、
   前記グループごとに、当該グループが示す描画内容に関連する前記第２のテキストデータを当該グループに対応付け、共通の前記第２のテキストデータに対応付けられた前記グループを一つのグループに統合する対応付け手順と、
   ユーザによるレイアウトの変更指示に応じ、前記対応付け手順によって対応付けられた各グループを当該変更指示に応じたレイアウトで出力するレイアウト手順と、
   をコンピュータが実行することを特徴とするレイアウト方法。
2. 前記分割手順は、第１の軌跡と第２の軌跡との位置関係が所定の条件を満たし、かつ、前記第１の軌跡の描画時刻と前記第２の軌跡の描画時刻との差が所定時間未満であれば、前記第１の軌跡と前記第２の軌跡とを同一のグループに含める、
   ことを特徴とする請求項１記載のレイアウト方法。
3. 前記分割手順は、前記第１の軌跡の描画時刻と前記第２の軌跡の描画時刻との差が所定時間以上であっても、前記第１の軌跡の色と前記第２の軌跡の色とが同じであれば、前記第１の軌跡と前記第２の軌跡とを同一のグループに含める、
   ことを特徴とする請求項２記載のレイアウト方法。
4. 前記対応付け手順は、前記グループが示す描画内容に対する文字認識によって得られる文字列と、前記第２のテキストデータに含まれる文字列との比較に基づいて、前記第２のテキストデータを前記グループに対応付ける、
   ことを特徴とする請求項１乃至３いずれか一項記載のレイアウト方法。
5. 前記取得手順が取得した各軌跡について、前記複数の軌跡が示す描画内容を区分するための枠線であるか否かを判定する判定手順をコンピュータが実行し、
   前記分割手順は、前記枠線であると判定された前記軌跡を、前記複数のグループのいずれにも含めない、
   ことを特徴とする請求項１乃至４いずれか一項記載のレイアウト方法。
6. 対話の音声に対する音声認識によって生成された第１のテキストデータにおける話題の変化を区切りとして複数の第２のテキストデータを生成する生成部と、
   前記対話に伴って描画された複数の軌跡を取得する取得部と、
   前記複数の軌跡を、それぞれの軌跡の描画位置に基づいて複数のグループに分割する分割部と、
   前記グループごとに、当該グループが示す描画内容に関連する前記第２のテキストデータを当該グループに対応付け、共通の前記第２のテキストデータに対応付けられた前記グループを一つのグループに統合する対応付け部と、
   ユーザによるレイアウトの変更指示に応じ、前記対応付け部によって対応付けられた各グループを当該変更指示に応じたレイアウトで出力するレイアウト部と、
   を有することを特徴とするレイアウト装置。
7. 請求項１乃至５いずれか一項記載のレイアウト方法をコンピュータに実行させることを特徴とするプログラム。

Images