<第1実施形態>
図1は、第1実施形態に係る情報処理装置10の構成概略図である。情報処理装置10の例としては、例えばパーソナルコンピュータ、スマートフォンなどの携帯端末、あるいはサーバなどであるが、情報処理装置10は、以下の機能を実現可能な限りにおいてどのような装置であってもよい。
記憶部12は、例えばROM、RAM、あるいはハードディスクなどを含んで構成される。記憶部12には、情報処理装置10の各部を動作させるための情報処理プログラムが記憶される。さらに、図1に示すように、記憶部12には対象データ14が記憶される。
対象データ14は、情報処理装置10の処理の対象となるデータであり、ウェブページあるいは電子ドキュメントなどの電子文書、動画像データ、あるいは音声データを含むものである。対象データ14は、不図示の通信部を介して情報処理装置10以外の装置から取得してもよく、情報処理装置10が作成したものであってもよい。
入力部16は、例えばタッチパネル、キーボード、音声入力、あるいはマウスなどを含んで構成される。また、入力部16としては、音声、カメラやセンサを利用した非接触操作(ジェスチャー)を受け付けるインターフェースを含んで構成されてもよい。入力部16は、情報処理装置10に対する利用者(ユーザ)の指示を入力するために用いられる。
表示部18は、例えば液晶パネルなどを含んで構成される。表示部18には、種々の画面が表示され、特に、後述する制御部20の処理結果が表示される。
なお、情報処理装置10がサーバである場合には、情報処理装置10には入力部16及び表示部18を有していなくてもよい。その場合は、ユーザが利用するユーザ端末であって当該サーバにアクセスしたユーザ端末のタッチパネル、キーボードあるいはマウスなどが入力部16に相当し、当該ユーザ端末の液晶パネルなどが表示部18に相当する。
制御部20は、例えばCPUあるいはマイクロコントローラを含んで構成される。制御部20は、記憶部12に記憶された情報処理プログラムに従って、情報処理装置10の各部を制御する。図1に示されるように、制御部20は、解析部22、計数部24、意味図生成部26、レイアウト設定部28、及び表示制御部30としても機能する。
解析部22は、対象データ14を解析することで対象データ14の意味(内容)を取得する。具体的には、解析部22は、対象データ14から抽出した文字列に対して自然言語処理を施すことによって対象データ14の意味を取得する。
対象データ14からの文字列の抽出について、対象データ14が電子文書である場合には、例えば電子文書に対して文字認識処理を施すことによって文字列を抽出することができる。対象データ14が動画像データあるいは音声データである場合には、動画像データあるいは音声データに含まれる音声をテキストデータに変換することによって文字列を抽出することができる。
自然言語処理とは、形態素解析、構文解析、意味解析、あるいは文脈解析を含む処理である。
形態素解析とは、対象言語の文法や、辞書と呼ばれる単語の品詞などの情報に基づいて、文字列を複数の形態素(言語で意味を持つ最小単位)の列に分割した上で、各形態素の品詞などを判別する処理である。
構文解析とは、複数の形態素間の関係(例えば修飾-被修飾の関係)などの構文論的な関係を判別し、これにより複数の形態素間の位置関係(かかり受けなど)を決定する処理である。構文解析によって複数のパターンの構文木(各形態素をノードとする木構造)が形成される。
意味解析とは、各形態素の意味を考慮し、各形態素の意味に基づいて、複数の形態素間の正しい繋がりを決定する処理である。意味解析によって、複数のパターンの構文木から意味的に正しい構文木が選択される。
文脈解析とは、1又は複数の形態素からなる文に跨って構文解析及び意味解析を行う処理である。例えば、文脈解析によれば、第1文の内容に基づいて、第2文に登場する指示代名詞の内容が把握される。
好適には、解析部22は、対象データ14に対して自然言語処理を施すことによって、対象データ14のうち特に重要な1又は複数の部分を特定する。特に、解析部22は、対象データ14内に明示的に現れる文字列のみならず、当該文字列の内容から推定される内容を含む内容を重要部分として特定してもよい。
また、解析部22は、対象データ14全体の意味を解析した上で、対象データ14の全体の要約を表す要約文字列を生成するようにしてもよい。要約とは、対象データ14が特に表したい意味(内容)であり、対象データ14の重要部分と重複してもよい。ただし、要約文字列としては、対象データ14から抽出された文字列の一部分でなくてもよい。
また、解析部22は、対象データ14の意味に基づいて、対象データ14を複数の区分に分けるようにしてもよい。例えば、対象データ14を目的、課題、解決手段、次回迄の課題という4つの区分に分けるようにしてもよい。
また、解析部22は、区分毎に重要部分を特定するようにしてもよい。さらに、解析部22は、区分毎に要約文字列を生成するようにしてもよい。
なお、対象データ14をどのような区分に分けるかは、ユーザが設定できるようになっているのが好ましい。
計数部24は、対象データ14に登場する複数の用語それぞれの登場回数を計数する。ここで、「用語」とは、文構成の最小単位である単語、及び、複数の単語がまとまった語あるいは句を含む概念である。
意味図生成部26は、解析部22によって得られた対象データ14の意味に基づいて、対象データ14の少なくとも一部分の意味を表現した意味図を生成する。意味図の一例としては、意味図の生成対象となった対象データ14の一部分に含まれる各用語の関係、例えば、主語(何が)、述語(何をした)、目的語(何を)などの関係が分かるような図である。意味図には、1又は複数の構成要素を含んで構成される。構成要素は、図形、写真、あるいは文字などである。例えば、意味図は、主語を表す構成要素、述語を表す構成要素、目的語を表す構成要素の組み合わせで構成される。意味図の詳細については後述する。
意味図生成部26は、例えば、対象データ14のうち重要だと判断された重要部分の意味を表現した意味図を生成する。重要部分の判定は、例えば解析部22の解析結果あるいは計数部24による計数結果に基づいて実行する。また、意味図生成部26は、解析部22が生成した要約文字列を表現した意味図を生成するようにしてもよい。
また、意味図生成部26は、対象データ14の複数の部分の意味を表現した複数の意味図を生成するようにしてもよい。
レイアウト設定部28は、意味図生成部26が生成した意味図の(表示)レイアウトを設定する。レイアウトとは、例えば、意味図を表示部18のどの位置あるいはどの程度の大きさで表示させるかなどを含む概念である、レイアウト設定部28は、ユーザからの指示に基づいて意味図のレイアウトを設定する。
表示制御部30は、種々の画面を表示部18に表示する処理を実行する。特に、表示制御部30は、意味図生成部26が生成した意味図を表示部18に表示する。
以下、第1実施形態における意味図生成部26及び表示制御部30の処理の詳細を説明する。
図2は、意味図生成部26が生成した意味図40の表示例が示されている。図2には、対象データ14から抽出された文字列のうち、「コンビニにおいて、17時に、スマートフォンで電子決済をする」という部分文字列が重要部分であると判定され、当該重要部分を表現した意味図40が示されている。
上述のように、意味図40は複数の構成要素42~50から構成される。これら複数の構成要素42~50によって上述の重要部分が表現されている。例えば、構成要素42は「スマートフォン」を直接表す図形となっている。また、構成要素44はお金を表す図形であり、構成要素46はキャッシュレジスタを表す図形であり、構成要素44と構成要素46により「電子決済」が表現されている。また、スマートフォンによる電子決済であることをより分かりやすくするために、意味図40には、構成要素42(スマートフォン)から構成要素46(キャッシュレジスタ)へ向かう矢印の図形である構成要素48が含まれている。
意味図40には、対象データ14から抽出された文字列のうち、意味図40の生成対象となった部分文字列(本例では「コンビニにおいて、17時に、スマートフォンで電子決済をする」)に含まれない用語を表現する構成要素が含まれていてもよい。図2の例では、当該部分文字列に含まれない用語である「男性」を表現する構成要素50が意味図40に含まれている。構成要素50によって、電子決済を行う主体が男性であることが表現されている。
意味図40の生成対象となった部分文字列においては、電子決済を行う主体は明示されていないものの、当該部分文字列以外の文字列を含めた自然言語処理において、電子決済を行うのが男性であると判断できる場合がある。そのような場合に、電子決済を行うのが男性であることを分かり易くすべく、意味図生成部26は、男性を表現する構成要素50を含む意味図40を生成する。
また、上述のように、意味図40に含まれる構成要素としては図形に限らず、写真あるいは文字が含まれていてもよい。例えば、図2の例では、スマートフォンが図形である構成要素42で表現されているが、対象データ14において特定機種のスマートフォンが重要である場合など、特定機種のスマートフォンを表現したい場合には、意味図生成部26は、構成要素42に代えて、当該特定機種のスマートフォンの写真を意味図40に含めるようにしてもよい。
また、意味図40には文字である構成要素が含まれていてもよい。例えば、図3に示された意味図40’には、意味図40’の生成対象となった部分文字列に含まれる用語である「コンビニ」の文字である構成要素52、及び、同じく部分文字列に含まれる用語である「17時」の文字である構成要素54が含まれている。ここでも、意味図40’に、当該部分文字列に含まれない用語を示す文字の構成要素を含めるようにしてもよい。
また、表示制御部30は、意味図40に含まれる構成要素が表現する用語の対象データ14における重要度に基づいて、当該構成要素の表示態様を決定するようにしてもよい。例えば、解析部22及び計数部24の処理結果に基づいて、図3に示す意味図40’において、対象データ14の意味上、「17時」よりも「コンビニ」の方が重要であると判定された場合には、「17時」の文字である構成要素54よりも「コンビニ」の文字である構成要素52を大きく表示する。もちろん、構成要素の重要度は大きさ以外の表示態様で表現されるようにしてもよい。例えば、構成要素の色、あるいは、構成要素が文字である場合には、構成要素のフォントなどによって重要度を表現するようにしてもよい。
また、表示制御部30は、意味図40に含まれない図形、写真、あるいは文字(以下「非構成要素」と記載する)を意味図40と共に表示するようにしてもよい。図3の例では、非構成要素60~64が示されている。非構成要素60~64は、例えば、対象データ14のうち、意味図40の生成対象となった部分よりも重要度が低い部分を表現するものである。
非構成要素60~64は、意味図40に含まれる構成要素42~54と区別可能な表示態様で表示される。例えば、意味図40に含まれる構成要素42~54は互いに近接して配置され、非構成要素60~64は構成要素42~54とは離間した位置に表示される。あるいは、非構成要素60~64よりも大きなサイズで構成要素42~54を表示してもよい。また、構成要素42~54と非構成要素60~64とを異なる色で表示する、あるいは構成要素が文字である場合には、構成要素42~54と非構成要素60~64とを異なるフォント又は太さで表示するようにしてもよい。
上述の通り、意味図生成部26は、対象データ14の複数の部分の意味を表現した複数の意味図を生成するようにしてもよい。特に、意味図生成部26は、対象データ14における意味上の区分毎に意味図を生成するようにしてもよい。そして、表示制御部30が各区分に対応する複数の意味図を表示するようにしてもよい。
図4には、複数の区分に対応する複数の意味図の第1の表示例が示されている。図4の例は、解析部22により対象データ14が目的、課題、解決手段、及び次回迄の課題の4つの区分に分けられ、意味図生成部26により、目的に対応する意味図40a、課題に対応する意味図40b、解決手段に対応する意味図40c、次回迄の課題に対応する意味図40dが生成され、表示制御部30により、意味図40a~40dが表示部18に表示された場合の例である。
各区分に対応する意味図40a~40dは、解析部22により生成された各区分の要約文字列を表現したものであってよい。例えば、図4の意味図40aは対象データ14における目的の要約文字列を表現したものであり、意味図40bは対象データ14における課題の要約文字列を表現したものであり、意味図40cは対象データ14における解決手段の要約文字列を表現したものであり、意味図40dは対象データ14における次回迄の宿題の要約文字列を表現したものである。
あるいは、各区分に対応する意味図40a~40dは、対象データ14の複数の区分それぞれの一部分(例えば重要部分)を表現したものであってもよい。
図5には、複数の区分に対応する複数の意味図の第2の表示例が示されている。図5の例は、解析部22により対象データ14が起、承、転、及び結の4つの区分に分けられ、意味図生成部26により、起に対応する意味図40e、承に対応する意味図40f、転に対応する意味図40g、結に対応する意味図40hが生成され、表示制御部30により、意味図40e~40hが表示部18に表示された場合の例である。
また、図6には、複数の区分に対応する複数の意味図の第3の表示例が示されている。図6の例は、解析部22により対象データ14が機器、通信、及び人という3つの概念の観点から3つの区分に分けられ、意味図生成部26により、機器に対応する意味図40i、通信に対応する意味図40j、人に対応する意味図40kが生成され、表示制御部30により、意味図40i~40kが表示部18に表示された場合の例である。
意味図40iは対象データ14を機器という観点(すなわち対象データ14にどのような機器が登場し、それが対象データ14においてどのような役割を果たすかなど)から対象データ14を表現した図であり、意味図40jは対象データ14を通信という観点から対象データ14を表現した図であり、意味図40kは対象データ14を人という観点から対象データ14を表現した図となる。
この場合、各意味図40i~kに含まれる構成要件が表現する用語の意味に基づいて、当該構成要件の表示態様を決定するようにしてもよい。例えば、人という区分において、「三郎さん」よりも「田中さん」が重要なのであれば、「三郎さん」を示す構成要件よりも「田中さん」を示す構成要件を大きく表示するようにしてもよい。また、同区分内において、2つの用語の関連性に基づいて、当該2つの用語を表現する2つ構成要件を表示する位置関係を決定するようにしてもよい。例えば、通信という区分において、「Wi-fi」と「LTE」との関連性が高いのであれば、「Wi-fi」を示す構成要件と「LTE」を示す構成要件とを近接した位置に表示するようにしてもよい。
図4~図6で示したように、対象データ14の複数の区分に応じた複数の意味図40を表示することができる。これにより、同じ対象データ14であっても様々な方法で表現することができるようになっている。なお、上述のように、対象データ14をどのような区分で分けるかは、ユーザが指定することができるようになっているのが好適である。
また、複数の区分に応じた複数の意味図40を表示した場合、異なる意味図40に同じ用語を表す構成要件が含まれていてもよい。例えば、図5の例において、意味図40eには「利便性」という文字の構成要件が含まれているが、他の意味図40f~hにも「利便性」という文字の構成要件が含まれていてもよい。
上述のように、複数の意味図40のレイアウトは、ユーザの指示に応じてレイアウト設定部28により設定される。
表示部18に表示された意味図40がユーザにより選択された場合、表示制御部30は、選択された意味図40の解説を表示するようにしてもよい。すなわち、表示制御部30は解説出力部としても機能する。
例えば、図7に示すように、対象データ14の複数の区分に対応した複数の意味図40a~40dが表示された場合に、ユーザによって意味図40aが選択されると、表示制御部30は、解析部22により得られた対象データ14の意味に基づく意味図40aの解説70を表示する。解説70の内容は、なぜ意味図40aがそのように表現しているのかの根拠を示すものである。例えば、図7の例では、解説70により、意味図40aには「男性」を表す図形が含まれているのは、対象データ14の目的区分において、登場人物の名前が男性の名前であったからであることが分かる。あるいは、解説70により、意味図40aに「スマートフォン」、「キャッシュレジスタ」、「お金」を表す図形が含まれているのは、対象データ14の目的区分において、電子マネーに関する話題や電子マネーでの支払いのメリットに関する話題があったからであることが分かる。解説70の内容は、解析部22あるいは意味図生成部26によって生成されてもよいし、意味図40aが表現する要約文字列の全部あるいは一部であってもよい。
図7は、複数の意味図40が表示された場合に解説70が表示された例であるが、図2あるいは3のように1つの意味図40が表示されている場合であっても、ユーザによって意味図40が選択されたときに解説が表示されるようにしてもよい。
また、意味図40が要約文字列を表現したものではなく、対象データ14から抽出された文字列の一部分を表現するものである場合には、解説70として、当該文字列の一部分がそのまま表示されるようにしてもよい。例えば、図2又は3の例において、意味図40がユーザにより選択された場合、解説として「コンビニにおいて、17時に、スマートフォンで電子決済をする」と表示されてもよい。
なお、解説は音声として出力されてもよい。この場合、情報処理装置10が有するスピーカなどから構成される音声出力部(不図示)が解説出力部として機能する。
対象データ14の複数の区分のうち、意味図生成部26が、ある区分についての意味図40を生成できない場合が考えられる。その要因としては、例えば、解析部22が当該区分についての要約文字列を生成できなかったこと、意味図生成部26が当該区分内における重要部分を特定できなかったことなどが挙げられる。
表示制御部30は、複数の区分のうちのある区分についての意味図40が生成されなかった場合、その旨をユーザに通知すべく、エラー通知を表示する。図8には、目的、課題、解決手段、次回迄の課題の4つの区分のうち、解決手段に対応する意味図40cが生成されなかった場合に表示されるエラー通知72の例が示されている。
例えば対象データ14が会議の議事録である場合、エラー通知72を表示することで、ユーザは、会議において解決手段に関する議論が十分にできていなかったことを容易に把握することができる。なお、エラー通知72の内容に、意味図40を生成できなかった理由を含めるようにしてもよい。例えば、「解決手段の議論がなされていない」あるいは「解決手段が複数ありどれも決め手に欠ける」というような文字列をエラー通知72として表示するようにしてもよい。
以上説明した通り、第1実施形態によれば、意味図生成部26によって、対象データ14の少なくとも一部分を表現する意味図が生成され、表示制御部30により当該意味図40が表示部18に表示される。ユーザは、表示された意味図40を確認することで、対象データ14の全てを確認する場合に比して、対象データ14の概要を早く把握することができる。
<第2実施形態>
第2実施形態に係る情報処理装置の構成概略は、第1実施形態に係る情報処理装置(図1の情報処理装置10)と同様である。したがって、第1実施形態と重複する部分については説明を省略する。
第2実施形態においては、表示制御部30は、計数部24が計数した、対象データ14に登場する複数の用語それぞれの登場回数に応じて、各用語を表現した用語表現を表示部18に表示する。ここで、用語表現は、文字、図形、又は写真などであってよい。例えば、「スマートフォン」という用語に対する用語表現は、スマートフォンという文字、スマートフォンを表す図形、あるいはスマートフォンの写真などである。
具体的には、表示制御部30は、対象データ14における登場回数が多い用語程、当該用語に対応する用語表現を大きく表示する。換言すれば、対象データ14における登場回数が少ない用語に対応する用語表現は相対的に小さく表示される。また、登場回数が多い用語程、当該用語に対応する用語表現の色を濃く表示してもよい。換言すれば、対象データ14における登場回数が少ない用語に対応する用語表現の色を相対的に薄く表示してもよい。あるいは、用語表現が文字である場合、登場回数が多い用語程、当該用語に対応する用語表現(文字)を太く表示するようにしてもよい。換言すれば、対象データ14における登場回数が少ない用語に対応する用語表現を相対的に細く表示するようにしてもよい。
より詳しくは、表示制御部30は、各用語の意味に応じた位置に各用語を表現した用語表現を表示する。各用語の意味に応じた位置に用語表現を表示するという概念には、2つの態様が含まれる。
第1の態様は、1つの用語の意味に応じた位置に、当該用語の用語表現を表示するということである。例えば、表示制御部30は、用語が「空」、「鳥」、「頭」、あるいは「屋上」などである場合には、表示部18の上の方に対応する用語表現を表示する。また、用語が「海」、「地下鉄」、「地面」、あるいは「足」などである場合には、表示部18の下の方に対応する用語表現を表示する。同様に、表示制御部30は、「右手」あるいは「右足」などに対応する用語表現は表示部18の右の方に表示し、「左手」あるいは「左足」などに対応する用語表現は表示部18の左の方に表示する。図9には、各用語表現80が、対応する用語の意味に応じた位置に表示された様子が示されている。
また、表示制御部30は、特定の用語に対応する前記用語表現を、ユーザによって設定された位置に表示するようにしてもよい。本実施形態では、ユーザは、特定の用語について、当該特定の用語に対応する用語表現が表示させる位置を設定することができる。例えば、「機械」という用語に対応する用語表現は、表示部18の中心に表示する、というように設定することができる。
また、用語の種類毎に、対応する用語表現の表示位置をユーザが設定できるようにしてもよい。例えば、表示制御部30は、図10に示すような用語表現の表示位置の設定画面を表示部18に表示させる。ユーザは、当該設定画面に用語の種類を入力することで、用語の種類に応じた各用語表現の表示位置を設定することができる。
図10に示す設定画面では、ユーザは、表示部18の中心、右上、右下、左上、左下のそれぞれの位置にどのような用語に対応する用語表現を表示させるのかを設定することができる。図10においては、表示部18の中心に機械系の用語に対応する用語表現が、表示部18の右上に自然系の用語に対応する用語表現が、表示部18の右下に動物系の用語に対応する用語表現が、表示部18の左上に場所系の用語に対応する用語表現が、表示部18の左下に時間系の用語に対応する用語表現が、それぞれ表示されるように設定されている。
図11には、図10に示す設定のように、各用語表現80が表示された表示例が示されている。なお、対象データ14において、ユーザが設定した種類の用語が登場しなかった場合、表示制御部30は、本来ユーザが設定した当該種類の用語に対応する用語表現80が表示されるべき位置に、当該種類の用語に代えて、他の種類の用語に対応する用語表現80を表示するようにしてもよい。そのような他の種類の用語としては、例えば対象データ14における登場回数などに基づいて決定されてよい。図11の例では、対象データ14に動物系の用語が登場せずに、料理系の用語が多く登場したため、表示部18の右下の領域において、動物系の用語に代えて、料理系の用語に対応する用語表現80が表示されている。
第2の態様は、複数の用語の意味の類似度に応じた位置関係において、当該複数の用語に対応する2つの用語表現を表示するということである。例えば、表示制御部30は、2つの用語の意味の類似度が高い程、当該2つの用語に対応する2つの用語表現を近くに表示する。換言すれば、表示制御部30は、2つの用語の意味の類似度が低い程、当該2つの用語に対応する2つの用語表現を離して表示する。ここで、2つの用語間の類似度は、用語の上位/下位関係、部分/全体関係、同義関係、類義関係などによって用語を分類して体系づけたデータベースであるシソーラスに基づいて判定することができる。なお、本明細書における「類似」とは、用語が示す意味が類似しているもの(例えば「PC」と「機械」)のみならず、用語が示す意味の関連性が高いもの(例えば「虫」と「土」)も含む概念である。もちろん、3つ以上の用語の意味の関係性に応じて、当該3つ以上の用語に対応する3つ以上の用語表現の位置関係を調整して表現するようにしてもよい。
なお、1つの用語が、他の複数の用語に均等に類似する場合、当該1つの用語に対応する用語表現は、他の複数の用語に対応する複数の用語表現の間に表示される。例えば、「虫」という用語が、「土」及び「草」の両方に類似する用語である場合、表示制御部30は、「虫」に対応する用語表現を、「土」に対応する用語表現と「草」に対応する用語表現との間に表示させる。また、例えば、「虫」という用語が、「土」、「草」、及び「林」のいずれにも類似する用語である場合は、図12に示すように、表示制御部30は、「虫」に対応する用語表現の周辺に、「土」に対応する用語表現と、「草」に対応する用語表現と、「林」に対応する用語表現とを表示させる。
図13は、意味が類似する用語に対応する用語表現80が近接して表示された表示例を示す図である。図13に示される通り、例えば、互いに類似度が高い用語である「自然」、「花」、「草」、「木」、及び「水」に対応する各用語表現80が互いに近接して表示される。これにより、意味が類似する複数の用語に対応する複数の用語表現80が近接した用語表現グループ84aが形成される。
なお、意味が類似する複数の用語のうち、上位下位概念の関係にある用語がある場合、表示制御部30は、上位概念の用語に対応する用語表現の周囲に、下位概念の用語に対応する用語表現を表示する。例えば、図13に示された用語表現グループ84aにおいては、「自然」が上位概念であり、「花」、「草」、「木」、及び「水」は「自然」の下位概念である。この場合、表示制御部30は、「自然」に対応する用語表現80を用語表現グループ84aの中心に表示し、「花」、「草」、「木」、及び「水」に対応する各用語表現80を「自然」に対応する用語表現80の周辺に表示させる。
図13においては、用語表現グループ84aの他に、互いに類似度が高い用語である「PC」、「機械」、及び「携帯電話」に対応する各用語表現が互いに近接して表示される。これにより、用語表現グループ84bが形成される。このように、類似度が高い用語に対応する複数の用語表現を近接して表示することによって、複数の用語表現グループ84a、84bが形成される場合がある。
表示制御部30は、用語表現グループ84aに含まれる用語表現80と、用語表現グループ84aに含まれない用語表現80と識別可能な表示態様で表示するのが好ましい。同じく、表示制御部30は、用語表現グループ84bに含まれる用語表現80と、用語表現グループ84bに含まれない用語表現80と識別可能な表示態様で表示するのが好ましい。
例えば、図13に示すように、用語表現グループ84aに含まれる複数の用語表現80を囲う枠86a、及び、用語表現グループ84bに含まれる複数の用語表現80を囲う枠86bを表示してもよい。また、枠86a内の領域、枠86b内の領域、及びその他の領域をそれぞれ異なる色で着色するようにしてもよい。また、用語表現グループ84aに含まれる用語表現の色を統一し、用語表現グループ84bに含まれる用語表現80の色を統一した上で、用語表現グループ84aに含まれる用語表現80の色と、用語表現グループ84bに含まれる用語表現の色と、その他の用語表現80の色とを互いに異なる色とするようにしてもよい。
以上説明した通り、第2実施形態によれば、対象データ14に登場する用語に対応する用語表現が、当該用語の意味に応じた位置に表示される。これにより、用語表現の表示位置を当該用語の意味に応じた位置に表示しない場合に比して、ユーザが対象データ14の意味をより容易に把握することが可能になる。
<第3実施形態>
第3実施形態に係る情報処理装置の構成概略も、第1実施形態に係る情報処理装置(図1の情報処理装置10)と同様である。したがって、第1実施形態と重複する部分については説明を省略する。
第3実施形態においては、表示制御部30は、対象データ14を表現する画像を表示部18に表示する。第1実施形態においては、意味図生成部26が生成した意味図40(図2など参照)を表示部18に表示していたが、第3実施形態における対象データ14を表現する画像としては、意味図生成部26が生成した意味図のみならず、対象データ14が動画像である場合には、当該動画像から切り出した静止画像であってもよい。あるいは、対象データ14を表現する画像は、動画像から切り出した静止画像を加工(例えばモノクロ加工あるいはイラスト風スタイルにする加工)を施した画像であってもよい。
図14に、第3実施形態における対象データ14を表現する画像の表示例が示されている。図14に示されるように、表示制御部30は、漫画のように、対象データ14を表現する画像90をそれぞれ含む複数のコマ92を表示することができる。なお、本実施形態では、1つのコマ92には1つの画像90が含まれるものとする。
例えば、対象データ14が動画像である場合、表示制御部30は、当該動画像から複数の静止画像を切り出して、当該複数の静止画像が動画像における時系列順に並ぶように、静止画像を画像90として含む複数のコマ92を並べて表示する。なお、表示制御部30は、対象データ14における重要部分に相当する静止画像を動画像から切り出すようにしてもよい。対象データ14における重要部分は、上述のように、例えば解析部22の解析結果あるいは計数部24による計数結果に基づいて特定することができる。
もちろん、各画像90は第1実施形態において生成された意味図であってもよい。この場合、例えば、意味図生成部26は、対象データ14を表現する複数の意味図を生成し、表示制御部30は、生成された意味図をそれぞれ含む複数のコマ92を対象データ14の意味を表すように並べて表示させる。対象データ14が動画像であって、図14の各画像90が意味図であるとすると、例えば、1コマ目は動画像の0:00~1:00までの内容を表現する意味図であり、2コマ目は動画像の1:01~2:00までの内容を表現する意味図となる。
第3実施形態は、対象データ14を表現する画像90の(表示)レイアウトをユーザが設定することができる点に着目した実施形態である。表示制御部30は、ユーザが設定したレイアウトに応じて、画像90を表示部18に表示する。
レイアウト設定部28は、ユーザの指示に基づいて、画像90のレイアウトを設定する。情報処理装置10は、画像90のレイアウトに関するユーザからの指示を入力部16によって受け付ける。すなわち、入力部16は受付部としても機能する。具体的には、レイアウト設定部28は、画像90のレイアウトとして、例えば、1画面におけるコマ92の数(すなわち1画面に含まれる画像90の数)、画面数、あるいは、各コマ92の位置、大きさ、配列などを設定する。
ユーザは、いくつかの方法で画像90のレイアウトを設定することができる。なお、ユーザがレイアウトの変更を指示する場合の入力方法としては、タッチ操作、音声操作、非接触のジェスチャー操作、マウスのポインタ操作、テキストコマンドの入力の何れでもよい。ただし、ユーザの利便性や誤操作を考え、特定の入力手段でしか受け付けないように、ユーザの任意の設定で切り替えられるようにしても良い。例えば、周囲の騒音が大きかったり、周りに人が多い場合、音声入力は受け付けず、タッチ操作のみしか受け付けない等の設定の変更である。
第1の方法としては、表示制御部30が、ユーザにレイアウトを入力するためのレイアウト設定画面を表示部18に表示し、ユーザは、入力部16を用いて、当該レイアウト設定画面へレイアウトを入力することでレイアウトを設定する方法である。
図15に、レイアウト設定画面の例が示されている。ユーザが情報処理装置10を操作してレイアウト設定画面を呼び出すと、表示部18には、まず、図15(A)に示されるような画面が表示される。図15(A)に示される画面は、対象データ14の全体を要約するか否かを設定する画面である。ここで、ユーザが対象データ14の全体を要約する指示を入力すると、表示部18には図15(B)に示す画面が表示される。
図15(B)に示される画面は、対象データ14の全体を表現する画像90(すなわちコマ92)のレイアウトを入力するための画面である。例えば、図15(B)に示される画面においては、対象データ14の全体を表現する画像90が表示される画面数を入力する欄100、あるいは、各画面のコマ数を入力する欄102が設けられている。ユーザは、欄100及び102に所望の数を入力することで、画像90のレイアウトを設定することができる。例えば、画面数が1、1画面目のコマ数が4であれば、対象データ14の全体を表現する4つの意味図が1画面で表示される。また、画面数が2、各画面のコマ数が1であれば、対象データ14の全体を表現する2つの意味図が1画面に1つずつ表示される。
なお、図15(B)の画面においては、画面数及び1画面のコマ数のみが設定可能となっているが、当該画面において各コマの位置、大きさ、配列などが設定できるようになっていてもよい。また、画面数あるいはコマ数などの各設定項目に対する値は、フリーフォームで入力できるようになっていてもよいし、プルダウンメニューなどの選択肢から選択できるようになっていてもよい。
図15(A)に示される画面において、ユーザが対象データ14の全体を要約しない指示を入力すると、表示部18には図15(C)に示す画面が表示される。
表示制御部30は、対象データ14における意味上の区分毎に画像90を表示することができる。例えば、表示制御部30は、目的、課題、解決手段、及び次回迄の宿題といったようなそれぞれの区分を表現した複数のコマ92を表示することができる。レイアウト設定部28は、対象データ14における意味上の区分毎に画像90のレイアウトを設定することができる。すなわち、各区分の複数のコマ92のレイアウトがユーザによって設定可能となっている。もちろん、区分としては、目的、課題、解決手段、及び次回迄の宿題に限られず、例えば上述のように起、承、転、及び結、あるいは、機器、通信、及び人などの概念で区別するようにしてもよい。
図15(C)に示される画面は、対象データ14の区分毎の画像90(すなわちコマ92)のレイアウトを入力するための画面である。例えば、図15(C)に示される画面においては、対象データ14の各区分(目的、課題、解決手段、及び次回迄の宿題)を表現するための画面数及び各画面のコマ数を入力する欄104が設けられている。ユーザは、欄104に所望の数を入力することで、各区分の画像90のレイアウトを設定することができる。
第2の方法としては、画像90(コマ92)が表示された表示部18に対してユーザが操作を行うことによりレイアウトを設定する方法である。より詳しくは、ユーザが表示部18に対してレイアウト変更指示としての操作を入力すると、当該操作に応じてレイアウト設定部28が画像90のレイアウトを変更する。表示部18に対するユーザの操作とは、例えば、タップ操作、ダブルタップ操作、ロングタップ操作、スライド(フリック)操作、ピンチイン操作、あるいはピンチアウト操作などが含まれる。例えば、レイアウト設定部28は、ユーザがあるコマ92に対して操作を行った場合、当該コマ92を削除してコマ数を減らすレイアウト変更を行うことができる。あるいは、例えば、ユーザが2つのコマ92の間に対して操作を行った場合、当該2つのコマ92の間に新たなコマ92を追加してコマ数を増やすレイアウト変更を行うことができる。第2の方法によれば、第1の方法に比して、ユーザは、より直感的にレイアウト設定を行うことができる。特に、特定の位置のコマ92を削除したり、特定の位置にコマ92を追加したりすることがより容易になる。
図16には、複数のコマ92(画像90)が表示された表示部18に対してユーザがスライド操作を行う様子が示されている。入力部16がユーザからスライド操作を受け付けた場合、レイアウト設定部28は、スライド操作の始点に位置するコマ92aのみならず、コマ92aからスライド操作のスライド方向に位置する他のコマ92bも削除して、コマ数を2つ減らすレイアウト変更を行うようにしてもよい。あるいは、コマ92a及び92bに加え、コマ92aからスライド操作のスライド方向とは反対側に位置する他のコマ92cを削除して、コマ数を3つ減らすレイアウト変更を行うようにしてもよい。本実施形態では、スライド操作により、コマ92a、92b、及び92cを削除してコマ数を3つ減らすレイアウト変更が行われるとする。このようにすることで、ユーザは、1回のスライド操作で、任意の複数のコマ92を削除するレイアウト変更の指示を入力することができる。なお、開始位置の決定はユーザが指定したコマに対するロングタップを基準に開始するようにしてよい。
なお、ユーザがスライド操作を行っている間、表示制御部30は、コマ92a、92b、及び92cをスライド操作に従って徐々に移動させ(図16の例では徐々に右側に移動させる)、スライド操作が完了したときに、コマ92a、92b、及び92cが完全に表示部18から消えるような態様で表示する。
また、ユーザがスライド操作を途中で中止した場合は、レイアウト設定部28はレイアウト変更を行わず、表示制御部30は、途中まで移動したコマ92a、92b、及び92cを元の位置に戻して表示させる。
ユーザからスライド操作を受け付けると、レイアウト設定部28は、コマ92a、92b、及び92cを削除した上で、当該画面のレイアウトを残る4つのコマ92のレイアウトとする。この場合、元々コマ92a、92b、及び92cが存在していた領域が不自然に空いてしまわないように、レイアウト設定部28は、残りの4つのコマ92の位置を適宜調整するようにしてもよい。図17には、スライド操作によるレイアウト変更後の表示例であって、残りの4つのコマ92の位置が調整された場合の表示例が示されている。なお、図17では表示部18の表示領域に余りがあるが、表示領域を埋めるように1コマあたりの画像サイズを拡大縮小させ、適宜最適なサイズに調整しなおすようにして表示してもよい。
入力部16がユーザから、複数のコマ92を重ね合わせる重ね合わせ操作を受け付けた場合、レイアウト設定部28は、重ね合わせ操作の対象となる複数のコマ92を1つのコマ92に併合するレイアウト変更を行う。換言すれば、重ね合わせ操作の対象となる複数のコマ92が表示されていた領域に、1つのコマ92を表示するレイアウト変更を行う。
重ね合わせ操作は、例えば、複数のコマ92をつまむように操作するピンチイン操作である。また、重ね合わせ操作としては、1本の指で1つのコマ92を他のコマ92に重ねるようにドラッグする操作、両手の指でそれぞれ複数のコマ92を動かして重ね合わせる操作、あるいは、音声入力やジェスチャーにより複数のコマ92を重ね合わせる指示を入力する操作であってもよい。
図18には、複数のコマ92が表示された表示部18に対してユーザがピンチイン操作を行う様子が示されている。入力部16がユーザからピンチイン操作を受け付けた場合、レイアウト設定部28は、ピンチイン操作の対象となる複数のコマ92を1つのコマ92に併合するレイアウト変更を行う。換言すれば、ピンチイン操作の対象となる複数のコマ92が表示されていた領域に、1つのコマ92を表示するレイアウト変更を行う。こうすることで、レイアウト変更の対象となるコマの指定と、レイアウト変更後の表示サイズの指定を同時に行うことができる。もちろん、対象となるコマの指定だけで、表示サイズは別の指示にすることにしてもよい。表示サイズを、対象コマを併合した領域ではないようにする場合、対象のコマの指定が終わったら、表示サイズの設定画面を表示させ表示サイズの受け付けを行うようにしてもよい。なお、ピンチイン操作は、同時に複数の画像(コマ)を対象としてもよい。すなわち、右手で親指、人差し指で対象を特定したとして、親指で2コマ、人差し指で3コマの指定を行ってレイアウト変更を行うなどが該当する。明確に各指でコマの領域の少なくも一部を触れている場合だけではなく、そのコマを指定しているとみなす領域(例えば当該コマ近傍の領域)を予め設定をしているならば、各指がそのコマ自体に触れていなくても当該領域に触れている場合に当該コマを対象としてもよい。こうすることで、ユーザは、指定のし易い操作で対象の特定が行える。
例えば、図18に示されるように、ピンチイン操作が行われた場合、ピンチイン操作の2つの始点(すなわちピンチイン操作開始時の2つの指の位置)に位置する2つのコマ92e及びコマ92fを併合して1つのコマ92とするレイアウト変更を行う。ピンチイン操作の始点に位置する2つのコマ92e及びコマ92fとの間に他のコマ92が存在する場合は、ピンチイン操作により、2つのコマ92e及びコマ92f、並びに、当該他のコマ92が併合される。
重ね合わせ操作によれば、ユーザは、任意の複数のコマ92を併合するレイアウト変更の指示を入力することができる。図19には、重ね合わせ操作より、2つのコマ92e及びコマ92fが併合されて1つのコマ92gとされたレイアウト変更後の画面が示されている。図19のように、併合に伴ってコマのサイズを変更する場合、変更前のレイアウトに存在したコマ間の仕切りの空間をなくして、当該空間をレイアウト変更後の併合したコマの表示領域に使うようにしてよい。なお、今回の併合の例では、横に隣り合う同士で併合をしたが、縦にも斜めでも併合対象にしてよい。また、1度併合したものを繰り返し併合するようにしてもよい。
なお、ユーザが重ね合わせ操作(特に指による重ね合わせ操作)を行っている間、表示制御部30は、コマ92e及び92fを重ね合わせ操作に従って互いに近づく方向に移動させ(図18の例ではコマ92eを右側へ、コマ92fを左側に移動させる)、重ね合わせ操作が完了したときに、コマ92e及び92fを削除し、新たなコマ92gを表示させる。
また、スライド操作同様、ユーザが重ね合わせ操作を途中で中止した場合は、レイアウト設定部28はレイアウト変更を行わず、表示制御部30は、途中まで移動したコマ92e及び92fを元の位置に戻して表示させる。
また、入力部16がユーザからコマ92の拡張操作を受け付けた場合、レイアウト設定部28は、拡張操作の対象となるコマ92のサイズを拡大するレイアウト変更を行うようにしてもよい。つまり、拡張操作によれば、ユーザは、任意のコマ92のサイズを拡大するレイアウト変更の指示を入力することができる。この場合、拡張操作の対象となるコマ92を拡大すると共に、当該コマ92の周りに位置するコマ92のサイズを小さくするようにしてもよい。
拡張操作は、例えば、複数のコマ92を片手の複数の指を広げるように操作するピンチアウト操作である。また、拡張操作としては、両手の指を反対の方向へスライドさせる操作、あるいは、音声入力やジェスチャーにより対象のコマ92を拡張する指示を入力する操作であってもよい。
また、入力部16がユーザからコマ92の分割操作を受け付けた場合、レイアウト設定部28は、分割操作の対象となるコマ92を複数のコマ92に分割するレイアウト変更を行うようにしてもよい。つまり、分割操作によれば、ユーザは、任意のコマ92を複数のコマ92に分割するレイアウト変更の指示を入力することができる。
分割操作としては、種々の操作が考えられる。例えば、分割操作は、図20に示すように、コマ92を対象としたピンチアウト操作であってよい。なお、この場合、ピンチアウト操作によってコマ92のサイズを拡大するか、コマ92の分割を行うかは、ピンチアウト操作後にいずれを行うかをユーザに確認する画面(音声確認であってもよい)を表示して、ユーザの入力に応じて決定してもよい。あるいは、ピンチアウト操作によってコマ92のサイズを拡大するか、コマ92の分割を行うかは、ユーザによって予め設定されていてもよい。
例えば、図20(a)に示すように、ユーザがコマ92bに対してピンチアウト操作すること、図20(b)に示すように、コマ92bがコマ92h及びコマ92iに分割される。
ピンチアウト操作の開始位置及びピンチアウト操作の操作方向によって、分割されたコマ92のレイアウトが決定されてよい。例えば、図20の例では、ピンチアウト操作の開始位置がコマ92bの略中央であり、ピンチアウト操作方向が左下及び右上であることから、図12(b)に示すように、コマ92bの分割線が左上から中央を通り右下へ延びる方向となっている。
また、分割操作としては、図21に示すように、コマ92に対するスライド操作であってよい。なお、この場合も、スライド操作によってコマ92を削除するか、コマ92の分割を行うかは、ユーザに確認して決定してもよいし、予め設定されていてもよい。
例えば、図21(a)に示すように、ユーザがコマ92gに対してスライド操作すると、図21(b)に示すように、コマ92gがコマ92j及びコマ92kに分割される。
また、スライド操作の軌跡によって分割されたコマ92のレイアウトが決定されてもよい。例えば、図22(a)に示すように、コマ92bに対して斜めにスライド操作を行うと、当該スライド操作の軌跡に沿ってコマ92bがコマ92h及びコマ92iに斜めに分割されてもよい。なお、図22の例では、1つのコマ92が分割されていたが、複数のコマ92を通る軌跡で1回のスライド操作をすることで、1回のスライド操作で複数のコマ92が分割されるようにしてもよい。
各画像90が意味図生成部26により生成された意味図である場合を考える。レイアウト設定部28が意味図の数を変更するレイアウト変更をした場合、意味図生成部26は、レイアウト変更前の数の意味図により表現されていた意味が、レイアウト変更後の数の意味図で表現されるように、レイアウト変更後の数の意味図を再生成する。そして、表示制御部30は、レイアウト変更後の数の再生成された意味図を表示する。
意味図生成部26は、対象データ14の全体を基準として、レイアウト変更後に表示される意味図の再生成をするようにしてもよい。例えば、対象データ14の全体が12個の意味図で表現され、1画面目に7つの意味図(つまり7コマ)、2画面目に5つの意味図を表示するレイアウトから、1画面目に表示される意味図の数を3つ減らすレイアウト変更がされた場合を考える。この場合は、意味図生成部26は、対象データ14の全体の意味を変更後の全体の意味図の数である9つの意味図で表現するように9つの意味図を再生成し、表示制御部30は、変更後のレイアウト(すなわち1画面目に4つの意味図、2画面目に5つの意味図)にて、再生成された9つの意味図を表示する。
また、意味図生成部26は、1画面に表示されている複数の意味図を基準として、レイアウト変更後に表示される意味図の再生成をするようにしてもよい。例えば、図16に示されるように、1画面に7つのコマ92(すなわち7つの意味図)が表示するレイアウトから、当該画面に表示される意味図の数を3つ減らすレイアウト変更がされた場合を考える。この場合、意味図生成部26は、レイアウト変更前に当該画面に表示されていた7つの意味図で表現されていた意味を、レイアウト変更後の4つの意味図で表現するように4つの意味図90a~90dを再生成する。そして、表示制御部30は、図17に示される通り、変更後のレイアウトにて、再生成された4つの意味図90a~90dを表示する。
また、意味図生成部26は、対象データ14の意味上の区分を基準として、レイアウト変更後に表示される意味図の再生成をするようにしてもよい。例えば、対象データ14の区分毎に複数の意味図が生成された場合であって、区分の1つである目的のレイアウトが、1画面の7つの意味図で表示されるレイアウトから、1画面の4つの意味図で表示されるレイアウトに変更された場合を考える。この場合は、意味図生成部26は、対象データ14の目的の意味を、レイアウト変更後の4つの意味図で表現するように4つの意味図を再生成する。そして、表示制御部30は、変更後のレイアウトにて、目的を表現する意味図として再生成された4つの意味図を表示する。
さらに、図18に示されるように、複数のコマ92(すなわち複数の意味図)が表示された表示部18に対してユーザが重ね合わせ操作を行った場合には、意味図生成部26は、重ね合わせ操作の対象である2つの意味図90e及び90fで表現されていた意味を、1つの意味図で表現するように、新たな1つの意味図90gを再生成し、表示制御部30は、図19に示される通り、変更後のレイアウトにて、再生成された1つの意味図90gを表示するようにしてもよい。例えば、意味図90eが対象データ14である動画像の0:00~1:00までの内容を表現する意味図であり、意味図90fが当該動画像の1:01~2:00までの内容を表現する意味図である場合、意味図90gは、当該動画像の0:00~2:00までの内容を表現する意味図となる。
なお、上記においては、いずれも意味図の数を減らすレイアウト変更がされた例を用いて説明したが、もちろん、意味図の数を増やすレイアウト変更がされた場合にも、意味図生成部26は、レイアウト変更前の数の意味図により表現されていた意味が、レイアウト変更後の数の意味図で表現されるように、レイアウト変更後の数の意味図を再生成するようにしてもよい。
また、レイアウト設定部28が意味図の数を変更するレイアウト変更をした場合、意味図生成部26は、レイアウト変更の指示の対象となった意味図の生成対象である対象データ14の範囲に基づいて、新たな意味図を生成し、表示制御部30は、レイアウト変更後の数の再生成された意味図を表示するようにしてもよい。
重ね合わせ操作の対象の複数の意味図の生成対象となった対象データ14の複数の部分が、時系列的に連続していない場合を考える。例えば、図18の例において、意味図90eが対象データ14の0:00~1:00までの内容を表現しており、意味図90fが対象データ14の5:00~8:00までの内容を表現しており、意味図90eと意味図90fが重ね合わせ操作の対象となった場合である。
このような場合は、意味図生成部26は、重ね合わせ操作の対象となった複数の図の生成対象である対象データ14の複数の部分を表現する新たな1つの意味図を生成し、表示制御部30は、当該新たな1つの意味図を変更後のレイアウトにて表示させる。例えば、上記例では、意味図90eの生成対象である対象データ14の0:00~1:00までの内容と、意味図90fの生成対象である対象データ14の5:00~8:00までの内容を表現する1つの意味図90gが生成されて表示される。
また、意味図生成部26は、重ね合わせ操作の対象となった複数の図の生成対象である対象データ14の複数の部分、及び、対象データ14において時系列的に当該複数の部分の間に位置する部分を含む、連続部分を表現する新たな1つの意味図を生成するようにしてもよい。例えば、上記例では、意味図90eの生成対象である対象データ14の0:00~1:00までの内容と、意味図90fの生成対象である対象データ14の5:00~8:00までの内容を包含する時系列的に連続する部分である、対象データ14の0:00~8:00までの内容を表現する1つの意味図90gが生成されて表示されてもよい。
スライド操作などによって意味図の1つが削除された場合を考える。例えば、図16の例において、コマ92cの意味図が対象データの3:00~4:00までの内容を表現しており、コマ92aの意味図が対象データの8:00~9:00までの内容を表現しており、コマ92bの意味図が対象データの14:00~15:00までの内容を表現しており、コマ92a、92b、及び92cが削除の対象となった場合である。
このような場合は、意味図生成部26は、レイアウト変更後の残りの意味図(図17の意味図90a~90d)の生成対象に、コマ92cの意味図の生成対象である対象データ14の3:00~4:00までの内容と、コマ92aの意味図の生成対象である対象データ14の8:00~9:00までの内容と、コマ92bの意味図の生成対象である対象データ14の14:00~15:00までの内容とを加えて、意味図90a~90dを再生成する。また、意味図生成部26は、レイアウト変更後の残りの意味図90a~90dの生成対象に、コマ92a~92cの意味図の生成対象を含む連続部分である対象データ14の3:00~15:00までの内容を加えて、意味図90a~90dを再生成するようにしてもよい。
分割操作により意味図が複数の意味図に分割された場合を考える。この場合、意味図生成部26は、分割前のコマ92の意味図で表現されていた内容を示すように、分割後の複数のコマの意味図を生成する。
また、分割前のコマ92の意味図が複数の構成要素を含んでいる場合であって、ユーザによってある構成要素が指定された上で分割操作された場合、意味図生成部26は、指定された構成要素が示す(対象データ14の)内容を表現した意味図と、その他の構成要素が示す内容を表現した意味図をそれぞれ再生成し、表示制御部30は、再生成された複数の意味図を分割後の複数のコマ92に表示させてもよい。
例えば、図21(a)において、男性とスマートフォンの2つの構成要素含む意味図90gのコマ92gに対して、ユーザが、スマートフォンの構成要素を始点として(つまりスマートフォンの構成要素を指定して)スライド操作した場合、図21(b)に示すように、分割後のコマ92kにはユーザが指定したスマートフォンの構成要素が示す内容を表現した意味図90kが再生成されて表示され、分割後のコマ92jにはユーザが指定しなかった男性の構成要素が示す内容を表現した意味図90jが再生成されて表示される。
ここで、分割前のコマ92gの意味図90gが表現する内容における、ユーザが指定した構成要素(スマートフォン)が示す内容の量と、ユーザが指定しなかった構成要素(男性)が示す内容の量とに基づいて、分割後のコマ92j及び92kのサイズを決定するようにしてもよい。例えば、意味図90gが表現する内容において、男性に関する内容の量がスマートフォンに関する内容の量の3倍である場合、コマ92jの大きさをコマ92kの大きさの3倍とするようにしてもよい。
また、スライド操作やピンチアウト操作により、コマ92の分割線を指定する分割操作を受けた場合には、意味図生成部26は、分割前のコマ92において、分割線により分けられた一方の領域に位置する構成要素が示す内容を表現した意味図と、他方の領域に位置する構成要素が示す内容を表現した意味図をそれぞれ再生成し、表示制御部30は、再生成された複数の意味図を分割後の複数のコマ92に表示させてもよい。
例えば、図22(a)において、ユーロと円の2つの構成要素含む意味図90gのコマ92gに対して、ユーザが、一方の領域にユーロの構成要素を含み、他方の領域に円の構成要素を含む分割線を指示した分割操作を行った場合、図22(b)に示すように、分割後のコマ92hには、円の構成要素が示す内容を表現した意味図90hが再生成されて表示され、分割後のコマ92jにはユーロの構成要素が示す内容を表現した意味図90iが再生成されて表示される。
以上説明した通り、第3実施形態によれば、ユーザは、対象データ14を表現する画像90のレイアウトを指定することができる。したがって、ユーザは、思い通りのレイアウトにて画像90を表示させることができる。
以上、本発明に係る実施形態を説明したが、本発明は上記実施形態に限られるものではなく、各実施形態を組み合わせて利用してもよいし、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。