JP3922396B2

JP3922396B2 - レイアウト装置および表示装置

Info

Publication number: JP3922396B2
Application number: JP05723295A
Authority: JP
Inventors: 健宮下
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1995-03-16
Filing date: 1995-03-16
Publication date: 2007-05-30
Anticipated expiration: 2022-05-30
Also published as: JPH08255160A

Description

【０００１】
【産業上の利用分野】
本発明は、視覚的に認識可能な文字・図形・写真・画像などの情報を、所定領域内に自動的にレイアウトするレイアウト装置、および、そのレイアウトされた情報を表示する表示装置に関する。
【０００２】
【従来の技術】
文字・図形・音声・画像などの媒体を複合して情報を取り扱うことのできるいわゆるマルチメディアシステムの開発が急速に進んでいる。そのようなマルチメディアシステムの例として、蓄積された種々の情報を検索し、検索結果を文字・図形・音声・画像などの任意の媒体で任意の方法により出力し、情報を明確かつ直感的に認識できるようなシステムがあり、実際に実現され始めている。そして、既存の種々の情報を、そのようなマルチメディアシステムにより取り扱い可能な形式にしておけば、その情報の検索や伝送などを効率よく行うことができ、情報の活用の面から非常に有効である。
【０００３】
既存の情報としては、新聞・雑誌・論文・書籍など紙面上に可視的に記録されている情報が、最も基本的な情報でありその量も膨大である。したがって、それらの情報を前述したようなマルチメディアシステムにおいて使用することができれば非常に有効である。換言すれば、マルチメディアシステムを有効に活用するためには、そのような既存の情報を取り扱い可能にすることが必須である。
【０００４】
ところで、そのような新聞・雑誌などの記事においては、タイトル・サブタイトル・図形・写真などがレイアウトされた紙面上に、矩形の段が相互に入り組んで設けられ、その各段に本文が記載されている。そして、その本文の文章の間には、本文の特定部分を補足する図形や写真などがさらに組み込まれている。
そのような記事のデータをディスプレイ装置などに表示するためには、電子化された記事のデータに対して、さらに、表示のためのレイアウト情報を付加する必要がある。元の紙面上のレイアウトをそのまま再現する必要はないものの、それらのタイトルや図形・写真などをディスプレイ上に適切にレイアウトされていれば、使用者にとって操作し易く、情報の把握が容易になる。
【０００５】
これまで、そのレイアウト情報の付加は、通常、図１７に示すようなレイアウト入力装置を用いて、各記事ごとに作業者が入力していた。その入力方法について図１７を参照して説明する。
図１７は、文書と図形、さらには、関連する動画像データなどの視覚的に認識可能な情報にレイアウト情報を入力するレイアウト入力装置の構成を示すブロック図であり、レイアウト入力装置９００は、レイアウト編集装置９６０、編集端末９２０、レイアウト処理装置９８０、および、出力端末９９０とを有する。
【０００６】
レイアウト編集装置９６０は、まず、文章データ９３０、図形データ９４０、および、動画像データ９５０を編集端末９２０に表示する。そして、作業者は、編集端末９２０に表示されたその記事を構成するタイトル・サブタイトル・図形・写真・あらまし・本文などの各ブロック、および、関連する動画像データなどを見ながら、たとえばマウスなどの入力手段により、それらの論理構造、および、それら各ブロックの表示手段上の適切なレイアウトを入力する。設計されたレイアウトは、レイアウト編集装置９６０によりレイアウト情報９７０としてデータ化される。
そして、レイアウト処理装置９８０において、各素材データ９３０，９４０，９５０が、レイアウト情報９７０に基づいてレイアウトされ、出力端末９９０に表示される。
【０００７】
【発明が解決しようとする課題】
しかし、そのようなレイアウト情報の付与作業は人手を介して行っているため、面倒で非常に時間がかかるという問題があった。そのため、既に蓄積されている膨大なデータにレイアウト情報を付与しマルチメディアシステムで使用可能とする適切な方法とは言えなかった。また、入力された情報を表示する際にも個々にレイアウト情報を付与しなければならないため、その情報をリアルタイムと同等程度に迅速に表示することができないという問題があった。
【０００８】
したがって、本発明の目的は、文字・図形・写真・画像などの視覚的に認識可能な情報を、所定の領域内に自動的に適切に配置することのできるレイアウト装置を提供することにある。
また、本発明の他の目的は、文字・図形・写真・画像などの視覚的に認識可能な情報を、所定の領域内に自動的に適切に配置し、表示することのできる表示装置を提供することにある。
【０００９】
【課題を解決するための手段】
前記課題を解決するために、複数のブロックからなる情報に対して、可能な限りそのブロック間の論理構造を抽出するようにした。そして、そのブロックの中で、特徴的な情報のブロックを優先して配置し、その情報の概要を認識し易いようにした。さらに、適切と思われる複数のレイアウト候補を生成し、その候補を評価して最も適切なレイアウトを自動的に選択するようにした。
【００１０】
したがって、本発明のレイアウト装置は、視覚的に認識可能な情報が略矩形のブロックごとに２次元面上に配置された文書情報に基づく情報を、所定領域に適宜配置するレイアウト装置であって、入力された文書情報を構成する各要素を、文章、文章に付随する図形、および、その他の独立図形ブロックの３種類の要素に分類する要素分類手段と、前記要素分類手段で独立図形ブロックと分類された要素に対して、前記要素間の隣接関係を前記各要素の位置情報に基づき調べるために、前記独立図形ブロックの要素の全ての組み合わせについて、前記文書中での前記要素の座標を示すデータに記録されている２次元座標データを用いて、その要素間の境界線が所定距離以内となる範囲が所定長さ以上連続してある場合に、それらの要素が隣接すると検出する隣接要素検出手段と、前記独立図形ブロック相互の連続する要素で構成される集合に対して、その要素の集合を囲む矩形の面積に対するその要素の面積の合計の比率の平均値を求め、前記各要素間の連続性を抽出する要素統合手段と、前記要素統合手段により抽出された各要素間の連続性に基づいて、前記独立図形ブロックを前記所定領域に配置する独立図形ブロック配置手段と、前記所定領域の、前記独立図形ブロックが配置されていない空き領域に、前記文書を構成する文章と該文章に付随する図形からなる文章ブロックを適宜配置する文章ブロック配置手段と、前記独立図形ブロック配置手段および前記文章ブロック配置手段による前記各ブロックの配置の適切さを評価する評価手段とを有し、前記文章ブロック配置手段は、前記独立図形ブロックが配置されていない空き領域を、それぞれ垂直方向の高さが等しい複数の帯状領域に分割し、その帯状領域に前記文章ブロックをその重要度に応じて配置することを特徴とする。
【００１１】
好適には、前記独立図形ブロック配置手段および前記文章ブロック配置手段の少なくともいずれかは、前記各ブロックに対して複数通りの前記配置を行い、複数の仮の配置を得、前記評価手段は、前記得られた複数の仮の配置に対して前記評価を行い最も適切な配置を選択する。
【００１２】
また、本発明の表示装置は、前記レイアウト装置と、前記レイアウト装置により得られた各ブロックの配置で前記視覚的に認識可能な情報を表示する表示手段とを有する。
【００１３】
【作用】
本発明のレイアウト装置においては、要素分類手段が、入力された文書情報を構成する各要素を、文章、文章に付随する図形、および、その他の独立図形ブロックの３種類の要素に分類する。そして、隣接要素検出手段は、独立図形ブロックの要素の全ての組み合わせについて、文書中での要素の座標を示すデータに記録されている２次元座標データを用いて、その要素間の境界線が所定距離以内となる範囲が所定長さ以上連続してある場合に、それらの要素が隣接すると検出する。さらに、要素統合手段は、独立図形ブロック相互の連続する要素で構成される集合に対して、その要素の集合を囲む矩形の面積に対するその要素の面積の合計の比率の平均値を求め、各要素間の連続性を抽出する。また、独立図形ブロック配置手段は、要素統合手段により抽出された各要素間の連続性に基づいて、独立図形ブロックを所定領域に配置する。
そして、その独立図形ブロックが配置された残りの領域（空き領域）に、文章ブロック配置手段によりその情報の文章ブロックと文章に関わる図画・写真などの図形ブロックを適宜配置する。すなわち、文章ブロック配置手段は、その空き領域を、それぞれ垂直方向の高さが等しい複数の帯状領域に分割し、その帯状領域に前記文章ブロックをその重要度に応じて配置する。これらの処理により適切と思われる複数のレイアウト候補を得て、その複数のレイアウト候補の中から、評価手段により各配置の適切さを評価し、適切なレイアウトを得る。
【００１４】
また、本発明の表示装置においては、前記レイアウト装置により得られた配置で、当該情報を表示手段に表示する。
【００１５】
【実施例】
本発明の一実施例を図１〜図１６を参照して説明する。
図１は、本発明のレイアウト装置を適用した本発明の表示装置の一実施例の構成を示すブロック図である。
表示装置４００は、要素解析部４１０、要素サイズ決定部４２０、独立図形要素配置部４３０、可変形要素配置部４４０、レイアウト選択部４５０、および、表示部４６０を有する。
【００１６】
本実施例の表示装置は、たとえば図２に示すような新聞記事から得られた矩形のブロック（以後、要素と言う場合もある）で構成される文書データを、所定の大きさの表示領域（以後、配置領域と言う場合もある）を有する表示手段に表示するための表示手段である。この際に、前記表示画面に形状は元の記事の形状とは異なるため、表示画面に合ったレイアウトを行って表示する必要がある。また、図２に示すようなデータは字数が多いこともあり、最初から全ての情報を表示する必要はなく、記事の概要が理解できる程度に省略して表示するのが望ましい。本実施例の表示装置は、そのような適切なレイアウトおよび適切な情報の表示を行う表示装置である。
【００１７】
まず、本実施例の表示装置４００で扱うデータについて説明する。
前述したように、本実施例においては、図２に示す文書データに対する処理を具体例として用いる。
図２に示す文書データは、要素１１〜２１の１１個の要素より構成され、要素１１はタイトル、要素１２，１３はサブタイトル、要素１４はあらまし、要素１５，１６，１８，１９は本文、要素１７は図、要素２０は写真、要素２１は写真の説明である。
【００１８】
図２に示す文書データの要素１１〜２１は、各々図３に示すような形式のデータとして記録されている。このデータについて説明する。
データ３１は属する記事を識別する番号である。
データ３２はその要素の種類を示すデータである。各要素は、写真、図形、タイトル、サブタイトル、あらまし、本文、写真や図の説明のいずれかの種類に分類される。なお、前記種類のうち、あらましと本文は文章要素、それ以外は図形要素と分類され、この分類もデータ３２より知ることができる。
【００１９】
データ３３は、各要素のデータ自体である。このデータの形式は、データ３２において文章要素と分類されているデータ、すなわちあらましと本文はテキストデータとして記録される。また、データ３２において図形要素と分類されているデータは、イメージデータとして記録される。
データ３４は原文書中でのその要素の座標を示すデータであり、その要素を矩形で示した時の上下左右の座標が記録される。
データ３５は、その要素の変形に対する許容性を示すコードが記録される。このデータもデータ３２の要素の種類から決定される。要素の種類が文章要素の場合には、任意の大きさに変形したり、複数領域に分割したりすることができるので、変形の許容性が高いものとしてその旨のデータが記録される。また、要素の種類が図形要素の場合には、大きさを比例的に変えることしかできないので、変形の許容性が低いものとしてその旨のデータが記録される。
【００２０】
データ３６は、文章を中心とした順序性を示すデータが記録される。文章はそもそも読む順序が決まっているものである。したがって、文章中に挿入される文章を補足する図なども、その文章の特定箇所に対応して適宜参照される必要があり、順序性が高いと言える。また、記事全体を説明するタイトルや図形などは、その記事などの中においては順序はさほど重要ではなく順序性が低いと言える。データ３６にはこの順序性の高低を示すデータが記録される。
なお、データ３１〜３５は、要素解析部４１０に入力される時点で既に得られ、記録されているデータであり、データ３６は、要素解析部４１０により決定され記録されるデータである。
【００２１】
本実施例の表示装置４００においては、これらのデータが入力され、各構成部により参照され、処理され、表示される。この際に、要素解析部４１０は、実際に図３に示すような形式のデータが各構成部を伝達されるような構成でもよいし、また、図示せぬ記憶部にこれらのデータが記憶されており、各構成部より適宜参照されるような構成でもよい。
【００２２】
次に、各部の構成および動作について説明する。
まず、要素解析部４１０について図４〜図８を参照して説明する。
要素解析部４１０は、要素分類部４１１、隣接要素検出部４１２、要素統合部４１３、および、論理構造構築部４１４を有する。
以下、要素解析部４１０の各部の動作について説明する。
要素分類部４１１は、入力された文書データを構成する各要素を、文章、文章に付随する図形、および、その他の独立した図形の３種類に分類する。そして、独立した図形と分類された要素は隣接要素検出部４１２に出力される。また、文章に付随する図形と分類された要素は、その付随する文章要素の列に挿入され、その文章要素とともに可変形要素として論理構造構築部４１４に出力される。
【００２３】
前記文章に付随する図形とは、たとえば、スポーツ欄の試合結果表などの文章の一部と非常に深い関係を持ち、文章の流れに沿って文章中に組み込まれるべき図形である。また、文章から独立した図形とは、記事全体に関わる図形であり、たとえば、タイトル、写真などである。
そして、本実施例においては、図形要素の中で、▲１▼連続する文章要素の間に位置し、▲２▼高さがその文章要素の高さと等しい、という２つの条件を満たした時に、その図形は文章に付随する図形と分類される。
【００２４】
この条件による要素分類部４１１の動作について図５を参照して具体的に説明する。
図５は、要素分類部４１１の動作を説明するための文書の例を示す図である。図５に例示する文書は、新聞記事などに通常見られる構成の文書である。この文書は８つの要素４１〜４８より構成されており、要素４１，４７が図形要素、その他が文章要素である。
【００２５】
このような構成の文書において、２つの図形要素４１，４７に着目する。すると図形要素４１は、文章要素４２，４４および文章要素４３，４５の間に位置しているものの、それらのいずれの文章要素とも高さが等しくない。したがって前記条件に基づいて、図形要素４１は独立した図形と分類される。
また、図形要素４７は、文章要素４６，４８の間に位置し、高さもそれら文章要素４６，４８の高さと等しい。したがって図形要素４７は、文章に付随する図形と分類される。
【００２６】
同様の方法により、図２の例においては、図形要素１１，１２，１３，１７，２０，２１の内、図形要素１７のみが前記条件に適合し文章に付随する図形要素と分類され、その他の要素は独立した図形要素と分類される。
【００２７】
なお、文章要素の順序は、本実施例においては予め知られているものとする。
また、図５においては、文章が縦書きに記録されている新聞記事を例示しているため、前記文章に付随する図形を決定するための▲２▼の条件は、その図形の高さが文章要素の高さと等しい、という条件となっている。この高さは、厳密には行の長さを意味する。したがって、雑誌の記事などの横書きの文章を対象とした場合には、▲２▼の条件は図形要素の幅が文章要素の幅と等しいという条件になる。
【００２８】
隣接要素検出部４１２は、要素分類部４１１で独立した図形と分類された要素に対して、それらの要素間の隣接関係を各要素の位置情報に基づいて調べる。
隣接要素検出部４１２は、独立した図形の要素の全ての組み合わせについて、前記データ３４に記録されている２次元座標データを用いて、その要素間の境界線が所定距離以内となる範囲が所定長さ以上連続してある場合に、それらの要素が隣接すると判定する。
【００２９】
この隣接の判定について図２および図６を参照して説明する。
図６は、要素解析部４１０の隣接要素検出部４１２の動作を説明するための図であり、（Ａ）は図２の文書中の独立した図形要素を示す図、（Ｂ）はネットワーク形状の隣接情報を模式的に示す図である。
図２の文書データに対しては、図６（Ａ）に示すような要素１１，１２，１３，２０，２１が独立した図形要素として分類される。そして、この各要素の間で前記条件により隣接を判定すると、図形要素１１と図形要素１２、図形要素１２と図形要素１３、および図形要素２０と図形要素２１が隣接していると判定される。その結果、図６（Ｂ）に示すような図形要素１１，１２，１３および、図形要素２０，２１の、２つのネットワーク形状の隣接情報が得られる。
【００３０】
要素統合部４１３は、隣接要素検出部４１２で隣接すると判定されたネットワーク形状の隣接情報より、各要素の位置情報に基づいて、さらに連続性の高い要素の並びを抽出する。
まず、要素統合部４１３は、隣接要素検出部４１２で求められた隣接情報の各ネットワークごとに、そのネットワークを分割するすべての組み合わせを求める。その際、全く分割しないネットワークそのものも１つの組み合わせとする。そして、それらの全ての組み合わせについて所定の評価を行う。
【００３１】
一般に、新聞・雑誌などの記事のレイアウトにおいては、意味上の関係が強い図形要素は、全体として見た時に矩形になるように配置される場合が多い。その結果、連続する要素で構成される集合に対しては、その要素の集合を囲む矩形の面積に対するその要素の面積の合計の比率（面積有効利用率）が高くなる。したがって、前記ネットワークを分割した各要素または要素の集合に対する前記比率の平均値を求めれば、その分割方法、すなわち、その分割が行われた状態の１の集合とされている要素間の連続性を評価することができる。
【００３２】
したがって、要素統合部４１３は、前記求められた各分割状態に対して、その分割された要素または要素の集合ごとに前記面積有効利用率を求め、その分割の全要素または要素の集合ごとの前記面積有効利用率の平均値を求める。
そして、その平均値の最も高い組み合わせを選択する。なお、その平均値が同じ場合には、分割数の少ないもの、すなわち多くの要素が連続された状態の組み合わせを選択するものとする。
【００３３】
このように、隣接要素検出部４１２で得られた隣接情報のネットワークを適宜分割することにより、結果的にその隣接情報の中から連続性の高い要素の並びを抽出することになる。
【００３４】
この要素統合部４１３の動作について、図７を参照して具体的に説明する。
図７は、要素統合部４１３の動作を説明するための図であり、（Ａ）〜（Ｄ）は各々所定の組み合わせで要素を統合した時の評価を示す図である。
図６（Ｂ）に示したように、図２の記事の独立した図形要素からは、要素１１，１２，１３というネットワーク状の隣接情報が得られている。そして、このネットワークを分割する方法は、分割しない場合も含めると図７（Ａ）〜（Ｄ）に示すような４通りの分割方法が考えらる。この各分割方法において、各分割されたグループごとに、矩形の面積と要素の面積の合計を求め、その比率を求める。そして評価値である前記比率の平均を求める。この平均を求める計算および評価値を図７に示す。
【００３５】
図示するように、図７の（Ａ）〜（Ｄ）の分割の評価値は各々１００％、７５％、１００％、４０％となる。
また、前述した評価値が等しい場合には分割数の少ない方を選択するという規則により、最終的には図７（Ｃ）に示す分割が選択される。
すなわち、要素統合部４１３においては、隣接要素検出部４１２で隣接が検出された図形要素１１，１２，１３の中で、要素１２，１３の連続性が高いと判定する。
【００３６】
論理構造構築部４１４は、要素分類部４１１より入力された文章要素、および、文章に付随する図形要素の情報、および、要素統合部４１３より入力された独立図形要素の連続性の情報に基づいて、最終的に入力された記事の各要素間の論理構造を決定し、出力する。
すなわち、要素分類部４１１より文章付随図形要素が文章要素の列の適切な場所に挿入された要素の列が入力され、また、要素統合部４１３より独立した図形の列が入力され、それらを合わせて入力文書に対する論理構造が抽出される。
【００３７】
図２に示した文書の例からは図８に示すような論理構造が抽出される。すなわち、要素分類部４１１より文章付随図形要素１７が文章要素の列１４〜１９の適切な場所に挿入された要素の列５１が入力され、また、要素統合部４１３より独立した図形の列５２，５３，５４が入力され、それらを合わせて図８に示すような論理構造が得られる。
【００３８】
次に、表示装置４００の要素サイズ決定部４２０以下の各部の構成および動作について説明する。
要素サイズ決定部４２０は、要素解析部４１０より入力された独立図形要素を配置する際の要素の大きさを決定する。要素サイズ決定部４２０は、図３に示す各要素ごとの記録データのデータ３４を参照して、元文書中の各要素の大きさの相対比に準じて決定する。その大きさの決定に際しては、表示手段に表示した時の大きさが小さくなり過ぎたり、大きくなり過ぎたりしないように、表示手段の表示領域の大きさや解像度なども考慮する。
また、要素サイズ決定部４２０は、各要素の大きさを１つの大きさに決定する他に、たとえば、所定範囲内の大きさに規定したり、各要素の取り得る大きさの組み合わせの可能性をいくつか決定するなどの処理を行うものでもよい。そのように、要素の大きさが可変的な場合には、その要素の大きさは、後述する各要素の配置や複数レイアウトからの選択の際に、結果的に決定される。
【００３９】
独立図形要素配置部４３０は、要素サイズ決定部４２０により大きさの決定された独立図形要素を、所定の配置領域中に適宜配置し、１つ以上の配置候補を生成する。
独立図形要素配置部４３０は、配置領域内の所定位置から所定方向に基線を定め、その基線に沿って要素の列を順に配置する。その基線が配置領域の境界に達した場合には、その基線と所定距離離れた並行な第２の線に基線を改行して、同じく要素の配置を連続する。
【００４０】
この独立図形要素配置部４３０の配置の方法について、図９のフローチャートに従って、図１０を参照して具体的に説明する。
図９は、独立図形要素配置部４３０における独立図形要素の配置する手順を示すフローチャートである。
図１０は、独立図形要素の配置を説明する図である。
【００４１】
独立図形要素配置部４３０は、配置位置を示すポインタを配置領域内の所定の起点にセットし、独立図形要素の先頭の要素から順次配置を開始する（ステップＳ４０）。
まず、配置領域内のポインタの位置に、他の要素が配置されているか否かをチェックする（ステップＳ４１）。そして、その位置に他の要素が配置されていない場合には、その位置にこれから配置しようとしている要素を配置した場合に、配置領域から要素がはみ出さないかどうかをチェックする（ステップＳ４２）。ステップＳ４２のチェックで要素がはみ出さなければ、図１０（Ａ）に示すように、その位置にその要素を配置する（ステップＳ４３）。そして、配置した要素が最後の要素か否かをチェックして（ステップＳ４４）、まだ要素が続く場合には再びステップＳ４１からの処理を繰り返す。
【００４２】
ステップＳ４１で、ポインタの位置に他の要素が配置されている場合には、図１０（Ｂ）に示すように、その配置されている要素を基線方向に飛び越した位置にポインタを移動させ（ステップＳ４５）、再びステップＳ４１からの処理を繰り返す。
ステップＳ４２で、ポインタの位置にその要素を配置した場合に、配置した要素が配置領域の範囲からはみ出してしまう場合には、図１０（Ｃ）に示すように、基線を現在の基線より所定距離だけずらした次の行に改行する（ステッップＳ４６）。そして、この改行した位置が配置領域内であれば（ステップＳ４７）、その改行した線を新たな基線として、再びステップＳ４１からの処理を繰り返す。
【００４３】
ステップＳ４４において、配置した要素が最後の要素であれば、全ての独立図形要素の配置が行えたものとして、独立図形要素配置部４３０の処理を終了する（ステップＳ４９）。
また、ステップＳ４６で基線を改行した結果、その改行した基線が配置領域からはみ出してしまった（ステップＳ４７）場合には、この配置領域にこの独立図形要素の列を配置することは不可能であり、独立図形要素配置部４３０の処理を終了する（ステップＳ４８）。なお、その際には、再び要素サイズ決定部４２０において独立図形要素の大きさを決定し直すなどの処理を行う。
【００４４】
なお、新聞や雑誌の記事に似た配置を行いたい場合には、基線は配置領域の右上を起点として左向きや下向きの線に定めるのが好ましい。しかし、文書の種類などに応じて任意の基線を定めてよい。また、たとえば、右上を起点として左方向の基線と左下を起点とした右方向の基線というような複数の基線を定めておき、要素の種類などに応じて使用する基線を変えるようにしてもよい。このようにすれば、たとえばタイトル、サブタイトルなどは右上付近に配置し、写真などは左下付近に配置するといった、複雑な配置が可能となる。
【００４５】
そのような独立図形要素の配置の例を図１１に示す。
図１１（Ａ）は、縦タイトルのための右上から左向きの基線、横タイトルのための左上から下向きの基線、および、写真、図面などのための左下から右方向の基線の３つの基線を用いた標準的な配置例である。この縦タイトルのための基線の起点を水平方向に中央付近にずらすと、図１１（Ｂ）に示すように、縦タイトルを強調したレイアウトとなる。
また、図１１（Ａ）の、横タイトルのための起点を、水平垂直両方向に関して所定距離内側にすると、図１１（Ｃ）に示すように横タイトルを強調したレイアウトになる。このようなレイアウトを行う際には、図１１に示すように、要素サイズ決定部４２０では横タイトルの大きさを縦タイトルより相対的に大きくすることが望ましい。
【００４６】
なお、本実施例の独立図形要素配置部４３０は、前述したように、所定の基線に基づいて規則的に独立図形要素を配置した。しかし、独立図形要素の配置はこの方法に限られず、任意好適な配置方法を用いてよい。たとえば、新聞紙面から抽出した記事のデータであることが明確な場合には、紙面レイアウトの慣例に基づく配置方法でもよい。そのようにすれば、図１１に示す例においては、たとえば図１１（Ｄ）に示すように、縦タイトルや図面が適宜配置されたレイアウトとなる。
【００４７】
このような種々の方法により、独立図形要素配置部４３０は、１つ以上の配置の候補を生成し、可変形要素配置部４４０に出力する。
【００４８】
可変形要素配置部４４０は、独立図形要素配置部４３０より入力された１つ以上の配置の候補の各々について、配置領域の中の、独立図形要素配置部４３０において独立図形が配置された残りの領域に、要素解析部４１０の要素分類部４１１で文章要素および文章に付随する図形と分類された可変形要素を適宜配置する。
【００４９】
まず、可変形要素配置部４４０においては、独立図形要素配置部４３０より入力されたレイアウトに対して、その空き領域を可変形要素を配置するための矩形領域に分割する。可変形要素配置部４４０は、空き領域の最大の高さを、所定範囲内の等間隔で垂直方向に等分割することにより、その間隔を高さとする複数の帯状領域を得る。これを、可変形要素を配置するための矩形列とする。
【００５０】
次に、前記矩形列に、要素解析部４１０の要素分類部４１１より入力された可変形要素を適宜配置していく。この処理について図１２に示すフローチャートを参照して説明する。
まず、ステップＳ２１において、各要素の間の相対的な重要度を計算する。
本実施例においては、図形要素は文章要素よりも重要度が高いとする。また、複数の文章要素が存在した場合には、その重要度は文章の長さに比例するとする。すなわち、長い文章ほど重要度が高いものとする。
【００５１】
次に、ステップＳ２２において、各情報要素の大きさを計算する。
ステップＳ２２においては、まず各図形要素の大きさを計算する。すなわち、各図形要素の高さを矩形列の高さに合わせ、幅は元の図形の形状を維持するように高さに合わせて比例的に決定する。そして、この結果、矩形領域列全体の内、図形要素によってどれだけの面積が占められるかが分かり、この図形要素の占める面積を、矩形領域列全体から引いた残りの領域が文章要素を配置するための面積となる。そして、その文章要素を配置することのできる矩形領域の幅を、各文章要素の重要度に比例して配分する。これにより、文章要素の大きさを決定する。
【００５２】
そして、ステップＳ２３において、各要素を配置する。ステップＳ２３においては、まず、ステップＳ２２により算出された大きさの各要素を、順に矩形領域の列に仮に配置していく。この際、各矩形領域間の区切りは考慮せず、矩形の並びに対して要素の列を対応付けていく。ステップＳ２２において要素の大きさが調整されているので、全矩形領域の長さと対応付けられた要素列の長さは等しくなる。
【００５３】
このステップＳ２３により仮に配置された矩形領域の列、および、情報要素の列を図１３に示す。
図１３は、ステップＳ２３において仮に配置された矩形領域の列および要素の列を示す図であり、（Ａ）は矩形領域の列を示す図であり、（Ｂ）は要素の列を示す図である。
可変形要素配置部４４０は、まず、独立図形要素を配置した空き領域から、３つの矩形領域６１〜６３を得る。また、可変形要素として３つの図形要素７１，７３，７５と２つの文章要素７２，７４が、図示のごとく７１〜７５の順に順序付けられて入力される。各要素は、ステップＳ２２により各々同じ高さになるようにその大きさが調整され、また文章要素７２，７４は、要素列全体が矩形領域の列と同じ長さになるようにその幅が調整されている。
【００５４】
さらにステップＳ２３においては、前記仮配置の結果に対して、さらに各要素の幅などを調整して、矩形領域の区切り部分が要素の区切りとなるように調整する。
まず、ステップＳ２１で求められた重要度が、所定値以下で、各矩形領域に関わる要素の中で最も低い要素を調整用要素として選択する。
そして、以後、その調整用要素を対象にして、一部削除および分割を行って、その矩形領域の末尾部分が、その矩形領域に関わる要素の列の末尾と一致するように、要素の列の長さを調整する。
【００５５】
この、各要素の配置、および、要素の幅の調整方法について、図１４を参照して具体的に説明する。
図１４は、矩形領域に要素を配置する方法を説明する図であり、（Ａ）は調整用要素を説明する図、（Ｂ）〜（Ｅ）は各々矩形領域からのはみ出し方に対する調整方法を示す図である。
図１４（Ａ）は、要素仮配置部２３０において各要素列を各矩形列に順次配置し、その矩形６４の中で最も重要度の低い文章要素７６を調整用要素として選択された状態である。
【００５６】
以下、調整方法について説明する。
まず、図１４（Ｂ）に示すように、重要度が高く、幅の変更ができない図形要素のみが矩形領域６４に存在し、図形要素７７が矩形領域からはみ出している場合は、はみ出している図形要素７７を次の矩形領域６５に移動させる。
また、図１４（Ｃ）に示すように、図形要素７８が矩形領域６４よりはみ出しているものの、その矩形領域には前記図形要素のはみ出し長さより大きい幅の文章要素７９が存在する場合、そのはみ出しに相当する長さだけ前記文章要素７９の幅を削る（７９ａ）。すなわち図形要素７８がその矩形領域内に丁度配置されるように、その文章要素である調整用要素をカットする。
【００５７】
さらに、調整用要素である文章要素が矩形領域からはみだしている場合で、図１４（Ｄ）に示すように、その矩形領域６４内にある文章要素の幅が小さい場合には、その文章要素８０をそのまま次の矩形領域６５に移動させる。
また、図１４（Ｅ）に示すように、その矩形領域内にある文章要素の幅が相当の長さある場合には、その文章要素８１、すなわち調整用要素を２つの文章要素に分割して、前半の文章要素８１ａを元の矩形領域６４に、矩形領域６４内に入らない後半の文章要素８１ｂを次の矩形領域６５に配置する。
【００５８】
このような調整を行うことにより、各矩形領域の列の区切りが要素の区切りとなる。また、この調整により一部省略や分割された要素は重要度の低い要素なので、情報全体から見て、情報を大まかに把握するのにはさほど影響はない。
【００５９】
可変形要素配置部４４０は、このような処理により、独立図形要素配置部４３０において独立図形が配置された空き領域に、文章要素と文章に付随する図形からなる可変形要素を適宜配置していく。また、この処理は独立図形要素配置部４３０から入力された複数の配置の候補の各々に対して行う。処理結果の複数の配置の候補はレイアウト選択部４５０に出力される。
【００６０】
レイアウト選択部４５０は、可変形要素配置部４４０より入力された各要素が配置された複数の配置より最も適切な配置を選択する。レイアウト選択部４５０は、式１に示すように、Ｍ個の評価関数の重み付き加算により各レイアウトの評価値Ｐを得、最も評価の高いレイアウトを人間にとって最も自然な配置として選択する。
【００６１】
【数１】

【００６２】
本実施例においては、評価関数として、空き領域面積の合計、空き領域の２次元分散、および、文章要素の分断回数を用いる。以下に各項目について説明する。
空き領域面積の合計は、配置面積の中の要素が何も配置されていない空き領域の面積の合計であり、図１５（Ａ）に示すように、少ないほど適切な配置である。独立図形要素の位置により可変形要素を配置する矩形列の形状が変わると、可変形要素の文章に付随する図形要素の位置によっては配置領域中に空白領域が生じる場合がある。
【００６３】
空き領域の２次元分散は、配置面積の中の空き領域のチラバリ具合に基づく評価である。配置面積中に同じ面積の空き領域があるならば、図１５（Ｂ）に示すように、それらは固まって存在する方が見栄えがよい。そのため、各空き領域の分散Ｅを式２により求め評価値とする。
【００６４】
【数２】

【００６５】
文章要素の分断回数は、可変形要素の中の文章要素の分断回数である。図１５（Ｃ）に示すように、独立図形要素の配置により、文章の分断回数が異なる。文章要素が分断されるほど記事は読みにくくなるため、当然この分断回数は少ない方がよい。
【００６６】
なお、この評価に用いられ指標は、前記３つの項目に限られるものではなく、表示装置の目的、表示する文書などに応じて、その他の種々の評価項目を用いてよい。
たとえば、マルチメディア端末としての表示装置であって、情報の概要をまず表示し、その情報に興味のある場合のみさらに詳しい情報を表示させるようなシステムにおいては、最初の概要の表示の段階では文章要素以外の要素が多く表示されている方が、直感的に情報が把握し易いと考えられる。したがって、たとえば配置領域中の文章以外の要素が占める面積の割合が大きい程、好ましいレイアウトとする評価を用いてもよい。
その他、新聞紙面からの情報を表示する場合には、新聞紙面との類似性などの評価を用いてもよい。
【００６７】
表示部４６０は、レイアウト選択部４５０により選択されたレイアウト情報に従って、ＣＲＴ装置などのディスプレイ装置に、前記配置の情報を表示する。
【００６８】
なお、本発明の表示装置は、本実施例に限れるものではなく、種々の改変が可能である。
たとえば、本実施例においては、本発明の表示装置を図１に示すような専用の各手段により構成される装置により実現した。しかし、汎用の計算機装置などを用いても本発明の表示装置は実現可能である。
その際の処理手順を図１６に示す。
図１６に示す処理手順に従えば、まず、入力された複数要素からなる情報より、その位置情報に基づいて各要素の相互の関係を解析し（ステップＳ５１）、結び付きの強い要素を統合して論理構造を獲得する（ステップＳ５２）。
【００６９】
次に、タイトルや図面・写真などの独立図形要素について、それら相互のバランスや配置領域の大きさを考慮して、配置する大きさを決定する（ステップＳ５３）。そして、大きさの定まった独立図形要素をまず配置し（ステップＳ５４）、次に、その独立図形要素を配置した空き領域に文章要素とその文章に付随する図形要素からなる可変形要素を配置する（ステップＳ５５）。
複数の方法で前記ステップＳ５３〜ステップＳ５５までの処理を行い、複数の配置を得たら、その中で最も自然なレイアウトを選択し（ステップＳ５６）、そのレイアウトでその情報を端末装置に表示する（ステップＳ５７）。
【００７０】
このように、パーソナルコンピュータやワークステーションなどの汎用の計算機装置を用いて本発明を実現しても、本実施例と全く同様にレイアウトを行うことができる。
【００７１】
【発明の効果】
本発明のレイアウト装置によれば、文字・図形・写真・画像などの視覚的に認識可能な情報を、所定の領域内に自動的に適切に配置することができ、たとえば、紙面などから得られた膨大な量の文書情報に対しても、たとえばマルチメディアシステムで使用可能なように、迅速にレイアウト情報を付与することができる。
また、本発明の表示装置によれば、文字・図形・写真・画像などの視覚的に認識可能な情報を、所定の領域内に自動的に適切に配置し表示することができるため、入力された情報を直ちに表示することができる。
【図面の簡単な説明】
【図１】本発明の一実施例の表示装置の構成を示すブロック図である。
【図２】文書データの例を示す図である。
【図３】要素ごとの記録データを示す図である。
【図４】図１に示した表示装置の要素解析部の構成例を示すブロック図である。
【図５】図４に示した要素解析部の要素分類部の動作を説明するための文書の例を示す図である。
【図６】図４に示した要素解析部の隣接要素検出部の動作を説明するための図であり、（Ａ）は独立した図形要素を示す図、（Ｂ）はネットワーク形状の隣接情報を模式的に示す図である。
【図７】図４に示した要素解析部の要素統合部の動作を説明するための図であり、（Ａ）〜（Ｄ）は各々所定の組み合わせで要素を統合した状態を示す図である。
【図８】図４に示した要素解析部により論理構造抽出結果を示す図である。
【図９】図１に示した表示装置の独立図形要素配置部の動作を説明するフローチャートである。
【図１０】図１に示した表示装置の独立図形要素配置部における独立図形要素の配置を説明する図であり、（Ａ）は通常に配置が行えた場合を説明する図、（Ｂ）はポインタの位置に既に要素が配置されていた場合を説明する図、（Ｃ）は基線を改行して要素を配置する場合を説明する図である。
【図１１】図１に示した表示装置の独立図形要素の配置の例を示す図であり、（Ａ）は標準的な配置例を示す図、（Ｂ）は縦タイトルを強調した配置例を示す図、（Ｃ）は横タイトルを強調した配置例を示す図、（Ｄ）は新聞型の配置例を示す図である。
【図１２】図１に示した表示装置の可変形要素配置部の動作を説明するフローチャートである。
【図１３】図１に示した表示装置の可変形要素配置部に入力される要素の列、および、矩形領域の列を示す図であり、（Ａ）は要素の列を示す図、（Ｂ）は矩形領域の列を示す図である。
【図１４】図１に示した表示装置の可変形要素配置部における矩形領域に要素を配置する方法を説明する図であり、（Ａ）は調整用要素を説明する図、（Ｂ）〜（Ｅ）は各々矩形領域からのはみ出し方に対する調整方法を示す図である。
【図１５】図１に示した表示装置のレイアウト選択部における評価を説明する図であり、（Ａ）は空き領域面積の合計による評価を説明する図、（Ｂ）は空き領域の２次元分散による評価を説明する図、（Ｃ）は文章要素の分断回数による評価を説明する図である。
【図１６】図１に示した表示装置を汎用の計算機装置により実現する場合の、処理手順を示すフローチャートである。
【図１７】これまでの、文書と図形よりなる情報を表示装置に表示するためのレイアウト情報入力装置の構成を示す図である。
【符号の説明】
４００…表示装置
４１０…要素解析部
４２０…要素サイズ決定部
４３０…独立図形要素配置部
４４０…可変形要素配置部
４５０…レイアウト選択部
４６０…表示部
９００…レイアウト入力装置
９２０…編集端末
９３０…文章データ
９４０…図形データ
９５０…動画データ
９６０…レイアウト編集装置
９７０…レイアウト情報
９８０…レイアウト処理装置
９９０…出力端末

Claims

視覚的に認識可能な情報が略矩形のブロックごとに２次元面上に配置された文書情報に基づく情報を、所定領域に適宜配置するレイアウト装置であって、
入力された文書情報を構成する各要素を、文章、文章に付随する図形、および、その他の独立図形ブロックの３種類の要素に分類する要素分類手段と、
前記要素分類手段で独立図形ブロックと分類された要素に対して、前記要素間の隣接関係を前記各要素の位置情報に基づき調べるために、前記独立図形ブロックの要素の全ての組み合わせについて、前記文書中での前記要素の座標を示すデータに記録されている２次元座標データを用いて、その要素間の境界線が所定距離以内となる範囲が所定長さ以上連続してある場合に、それらの要素が隣接すると検出する隣接要素検出手段と、
前記独立図形ブロック相互の連続する要素で構成される集合に対して、その要素の集合を囲む矩形の面積に対するその要素の面積の合計の比率の平均値を求め、前記各要素間の連続性を抽出する要素統合手段と、
前記要素統合手段により抽出された各要素間の連続性に基づいて、前記独立図形ブロックを前記所定領域に配置する独立図形ブロック配置手段と、
前記所定領域の、前記独立図形ブロックが配置されていない空き領域に、前記文書を構成する文章と該文章に付随する図形からなる文章ブロックを適宜配置する文章ブロック配置手段と、
前記独立図形ブロック配置手段および前記文章ブロック配置手段による前記各ブロックの配置の適切さを評価する評価手段と
を有し、
前記文章ブロック配置手段は、前記独立図形ブロックが配置されていない空き領域を、
それぞれ垂直方向の高さが等しい複数の帯状領域に分割し、その帯状領域に前記文章ブロックをその重要度に応じて配置することを特徴とする
レイアウト装置。
前記独立図形ブロック配置手段および前記文章ブロック配置手段の少なくともいずれかは、前記各ブロックに対して複数通りの前記配置を行い、複数の仮の配置を得、
前記評価手段は、前記得られた複数の仮の配置に対して前記評価を行い最も適切な配置を選択する
請求項１に記載のレイアウト装置。
前記請求項１または２記載のレイアウト装置と、
前記レイアウト装置により得られた各ブロックの配置で前記視覚的に認識可能な情報を表示する表示手段と
を有する表示装置。