JP3193472B2 - 複合的な情報の構築方式 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、テキストデータや画像
データといった、複数の表現法を持つ複合的な情報もし
くはマルチメディア情報の処理システムにおいて、個々
別々の表現法によって表現された複数個の情報から、全
体を包含する複合的な情報を構築する方式に関するもの
である。

【０００２】

【従来の技術】従来、マルチメディアデータベースとよ
ばれる、文字列や音声，画像といった様々の種類の情報
からなる複合的な情報を扱うシステムでは、人間が直接
的に、検索のためのキーワードや必要な画像の選択など
を入力することが一般的であった。例えば新聞や雑誌の
記事を、情報検索のシステムを用いてキーワード検索
し、選択された記事をファクシミリによって配送するシ
ステムの場合、人間がスキャナから入力された画像から
各記事の位置を指示して切り出し、キーワードや日付な
どの情報を付加して、複合的な情報を構築していた。

【０００３】一方で単一のメディアによる電子化された
情報は、イメージデータであれば新聞社から印刷工場へ
新聞紙面の画像を電送されたりして、またテキストデー
タであれば新聞紙面製作の過程でＣＴＳ（Ｃｏｍｐｕｔ
ｅｒ Ｔｙｐｅｄ Ｓｅｔｔｉｎｇ）からの出力とし
て、本文や見出し，日付などの情報をすべて文字列とし
て扱う情報検索システムとして提供されている。

【０００４】

【発明が解決しようとする課題】しかし、従来の複合的
な情報の生成手段では、画像情報や文字列で表現された
情報など情報の伝達媒体が異なる情報は、全く別の情報
として扱っていたために、人間が、画像情報と文字列に
よるキーワードなどとの対応づけや、文字列による情報
と関連する画像情報の切り出しという作業を行なってい
た。この結果、複合的な情報を構築する際のコストが、
高いという問題があった。

【０００５】本発明は、上記問題点を解決するためにな
されたものであり、その目的は、文字列で表現された情
報と画像で表現された情報を組み合わせて複合的な情報
を低コストで作成可能とする複合的な情報の構築方式を
提供することにある。

【０００６】

【課題を解決するための手段】上記の目的を達成するた
め、請求項１の発明においては、少なくとも一つ以上の
ある文字列を用いて表現される情報と、該文字列を用い
て表現された情報と同一の内容を画像によって表現した
画像情報である少なくとも一つ以上の要素画像から構成
された画像情報である少なくとも一つ以上のレイアウト
画像を持つ台紙画像の画像情報と、個々の前記文字列で
表現された情報が予め定められた規則に従って前記レイ
アウト画像上のどの位置に存在するかを示す位置情報と
の、３種の情報がそれぞれ入力された時に、前記台紙画
像上において個々の前記レイアウト画像の領域を決定す
る手段と、特に前記入力された位置情報を前記レイアウ
ト画像上での規則に従った位置情報に変換する手段と、
該レイアウト画像上の位置情報を前記台紙画像上でのレ
イアウト画像の存在する領域の情報によって該台紙画像
上での規則に従った位置情報に変換する手段を有し、前
記画像情報と前記文字列で表現された情報を共に関係づ
けて扱えるように構造化する構成としている。

【０００７】また、請求項２の発明においては、入力さ
れた要素画像および一つ以上の要素画像からなるレイア
ウト画像が段や行による位置の規則性を持つ画像情報で
あり、かつ文字列で表現された情報と共に入力される位
置情報が該レイアウト画像上での段や行の規則によって
表現されている場合に、該レイアウト画像上での位置と
該文字列で表現された情報と共に入力された位置情報を
対応づけるために、該レイアウト画像の領域を決定する
手段が、特に該レイアウト画像上における黒点の分布か
ら一段の高さを同定する手段と、前記レイアウト画像上
の各段における黒点の分布から行間隔を同定する手段を
有し、前記文字列として表現された情報が持つ段と行で
表される位置情報と前記レイアウト画像上での位置を対
応づけることで台紙画像上での位置の規則に従って該文
字列で表現された情報と要素画像とを対応づける構成と
している。

【０００８】また、請求項３の発明においては、特に情
報の本体を表現する領域と付加的な情報の領域が存在す
る場合に、レイアウト画像の領域を決定する手段が、特
に前記情報の本体を表現する領域と前記付加的な情報の
領域とのレイアウト画像情報上での境界線を判定する手
段と、該判定された境界線の位置を用いて台紙画像情報
から前記情報の本体を表現する領域の画像情報を切り出
す手段とを有し、さらに該情報の本体のみの画像情報か
ら段，行の構造を抽出して前記レイアウト画像情報全体
における段や行の位置を判定する構成としている。

【０００９】さらに、請求項４の発明においては、入力
したレイアウト画像が傾いている際に該レイアウト画像
の外枠を検出する手段と、前記レイアウト画像をあらか
じめ定められた基準にしたがって主要な情報と付加的な
情報とに分離する境界線の存在する位置を識別する手段
と、外枠情報と前記主要な情報と前記付加的な情報との
境界線の位置情報から該主要な情報を表現する画像の領
域の中心点を計算する手段とを設け、前記主要な情報を
持つ画像の中心点を回転の中心として台紙画像を回転さ
せた後の画像情報が入力される構成としている。

【００１０】

【作用】本発明による請求項１の発明では、入力された
画像そのものである台紙画像と、台紙画像上で情報を表
現する領域であるレイアウト画像と、レイアウト画像中
の個々の情報を表す要素画像からなる画像情報に対し
て、台紙画像上におけるレイアウト画像の領域を決定
し、一方、文字列で表現された個々の情報に付けられて
いる要素画像の位置をレイアウト画像上での座標表現と
して入力し、レイアウト画像上での座標表現を、台紙画
像上での座標表現の規則に変換することで、文字列で表
現された情報と画像で表現された情報を組み合わせて、
複合的な情報を作成できるようにしている。これによ
り、人間が直接的に行っていた画像情報と文字列による
キーワードなどとの対応づけや、文字列による情報と関
連した画像情報の切り出すといった作業をなくし、総合
的な情報構築のコストの低減を可能にしている。

【００１１】例えば、新聞紙面や雑誌面などといったハ
ードコピーの情報や新聞社が印刷工場に配布するディジ
タルファクシミリのイメージ情報から、紙面の画像情報
と日付，ページ番号の情報を共に獲得し、例えば新聞記
事の本文のように画像で表現された情報の中に含まれる
情報と同一の情報を持つ文字列で表現された情報を入力
し、文字列で表現された情報の日付やページ番号，画像
情報上での縦，横方向における割合などによる位置の情
報を入力し、画像上に含まれる各情報の位置を、入力さ
れた文字列との対応をとる位置情報の表現に変換し、文
字列による情報から生成された情報と画像から生成され
た情報を組み合わせることにより、画像で表現された情
報と文字列で表現された情報を対にして利用できる情報
に変換できるようにする。

【００１２】画像情報としての新聞紙面や雑誌面，本な
どは、従来段や行によって規則的に情報が配置されてい
る。請求項２の発明は、段と行によって構造化された画
像に対し、段や行で表現されるある情報の位置を示す情
報が入力された場合、画像の情報を行間や段間の空白に
よって段の高さ，行の幅の候補を抽出し、得られた候補
の中から平均的な段の高さや行の幅を計算し、計算され
た段の高さや行の幅から画像情報を生成した際の台紙の
形状を容易に同定できるようにする。

【００１３】例えば新聞紙面においては、記事の部分の
ような情報の本体と記事下の広告の部分のような付加的
な部分の２種の画像情報が結合されて、一つの画像情報
として提供されている。このうち記事部の情報は、台紙
上の段と行で表現される位置に配置されているが、記事
下広告は、全く異なった配置方式をとっている。この結
果、記事下広告によって、台紙の段幅，行幅の同定に誤
りを生じる可能性がある。請求項３の発明は、新聞画像
等の領域の横幅いっぱいに引かれている記事部と記事下
広告の境界線を判定し、判定された記事部などの情報の
本体の領域を画像情報から切り出すことで、記事部など
の情報の本体の画像のみから台紙の段，行を推定して、
台紙の段幅，行幅を正確に同定する。

【００１４】画像による情報を入力する装置として、イ
メージスキャナやＣＣＤカメラなどによる画像入力装置
を利用する場合に、画像が傾いて入力される可能性があ
る。請求項４の発明は、画像によって表現される情報を
囲む外枠を識別し、画像の外枠の縦罫線，横罫線の傾き
から画像全体の傾きを計算し、例えば新聞記事の記事の
領域と記事下広告の領域の境界線を識別して、境界線の
座標から記事の領域の中心を計算し、記事の中心を中心
点として画像の傾き分を回転することにより、記事部に
ついてひずみの少ない補正画像を得る。

【００１５】以上、本発明によれば、台紙画像上でのレ
イアウト画像の位置が正確に決定でき、レイアウト画像
上の座標位置を入力された位置情報から変換することが
できる。この結果、本発明は、入力された位置を決める
規則と、画像情報上での位置の規則が異なっていても、
両者を関連づけて扱うことができる。

【００１６】

【実施例】以下、本発明の実施例を、図面を用いて詳細
に説明する。

【００１７】〔実施例１〕図１は本発明の第１実施例を
示す複合的な情報の構築方式のシステム構成図である。
本発明は主に文字で表現された情報をイメージとして扱
う情報と、文字列によって表現される情報とを組合わせ
て利用する複合的な情報の検索システム全般に対して効
果があるが、ここでは情報として新聞を用いて説明す
る。新聞は、見出しや本文といった主に文字列を扱う情
報であり、日常は紙に印刷された形で、イメージの情報
として取り扱われている。

【００１８】本実施例は、イメージで表現された情報を
入力する少なくとも一つ以上のイメージデータ入力装置
１と、テキストとして表現された情報を入力する少なく
とも一つ以上のテキストデータ入力装置２と、イメージ
データ入力装置１によって入力されたイメージに対して
画像の傾きの補正といったイメージデータの整形処理を
行なうイメージデータ前処理装置３と、その整形された
イメージから新聞を作成する際の台紙の行，段の位置を
同定する台紙形状同定装置４と、テキストデータ入力装
置２によって入力された文字列の情報から日付，ペー
ジ，段行の位置などの情報を抽出して構造化するテキス
トデータ構造化装置５と、その構造化された記事の情報
と紙面画像を関連づけてデータベースに格納する処理を
行なう格納データ生成装置６と、生成された複合的な情
報を格納する複合情報格納装置７の７つの装置からな
る。

【００１９】例えば本実施例における新聞画像の場合、
図７（ｂ）に示すように、請求項に記載した台紙画像Ｇ
₃はイメージデータ入力装置１によって入力された画像
そのものであり、レイアウト画像Ｇ₂は新聞名や日付な
どを除いた記事全体の画像であり、要素画像Ｇ₁は個々
の記事の画像である。

【００２０】図２は上記構成におけるイメージデータ前
処理装置３のシステム構成図である。入力したイメージ
データはやや傾いている可能性があるため、図２に示す
ように本実施例におけるイメージデータ前処理装置３
は、新聞画像の外枠の情報から傾きの大きさを決定し傾
きを補正する傾き補正機構１１と、ノンブルと呼ばれる
外枠外の新聞名や日付といった領域を取り除きレイアウ
ト画像を抽出するノンブル除去機構１２から成る１つの
サブシステムとする。

【００２１】本実施例における上記の傾き補正機構１１
は、入力されたイメージデータを格納するイメージバッ
ファ１３と、イメージバッファ１３の画像の一ライン毎
に黒点を計数する黒点計数モジュール１４と、全てのラ
イン上の黒点数を格納する計数バッファ１５と、計数バ
ッファ１５のデータから画像イメージの傾きを計算する
傾き計算モジュール１６と、求められた傾きからイメー
ジバッファ１３のイメージデータを回転するイメージ補
正モジュール１７とから成る。

【００２２】本実施例における傾き補正機構１１の処理
としては、図３のフローチャートに示す手順に従って行
なわれる。まず、イメージデータ入力装置１によって入
力されたイメージデータはイメージバッファ１３に格納
され、そのイメージバッファ１３からステップ３１とし
てポインタのセットにより新聞画像下部から上部に向か
い横方向に一ライン毎にデータを取り出し、ステップ３
２として黒点計数モジュール１４において、一ライン中
の少なくとも２点以上を中心にして予め定められた範囲
に対して該当ライン上での黒点と判断される点の個数を
計測し、その黒点の数を計測バッファ１５に順次格納す
る。全てのライン上の黒点の数が計数バッファ１５に溜
ったら、傾き計算モジュール１６において、ステップ３
３として計数バッファ１５中の一つの候補点の画像の最
下段の黒点の計数値から画像の上部に向かって計数値を
取り出すために、ポインタをセットする。ステップ３４
として予め与えられているライン候補黒点数と一ライン
づつ取り出した黒点の計測を行なった値を比較し、始め
てライン候補黒点数を越える計数値が越えたラインの行
番号を候補ラインとして、傾き計算モジュール１６内の
スタートライン候補バッファに格納する。

【００２３】次にステップ３５として、さらに続けて計
数バッファ１５内の黒点の計数とライン候補黒点数との
比較を行ない、ライン候補黒点数よりも小さくなったラ
インを傾き計算モジュール１６内のエンドライン候補バ
ッファに格納する。次にステップ３６として、エンドラ
イン候補バッファの値とスタートライン候補バッファの
値との差を計算し、予め与えられている基準枠線幅と比
較する。差の値が基準枠線幅の範囲内にあれば、ステッ
プ３７としてエンドライン候補バッファの値とスタート
ライン候補バッファの値の平均（中間の値）を、傾き計
算モジュール１６中の各候補点毎の候補ラインバッファ
に格納する。差の値が基準線幅の範囲から外れている場
合は、ステップ３４に戻りスタートライン候補を調べ
る。次にステップ３８として、全ての候補点の処理が終
っていなければ、ステップ３３へ戻り、他の候補点にポ
インタを合わせる。

【００２４】全候補点について候補ラインが定まった
ら、ステップ３９として各候補点間の距離と候補ライン
間の距離から、傾き角度を計算する。傾き角度は例えば
２つの候補点を用いた場合、新聞画像イメージが一ライ
ンあたり３０００ドットである時、例えば候補点を１０
００ドットと２０００ドットとして、その時の候補ライ
ンがそれぞれ３９１０ラインと３９１７ラインであると
すると、ラインの差が７、候補点間の間隔が１０００ド
ットであるから、ｔａｎ^-1（７／１０００）＝０．４゜
が傾きの大きさとなる。

【００２５】ステップ４０では、計算された傾きの大き
さを用いて、イメージ補正モジュール１７においてイメ
ージバッファ１３のデータを回転する。例えば候補ライ
ンにおける傾きが時計方向に対して０．４゜であった場
合、左下角の点を中心に回転するとすれば、第１象限に
おける回転のため０．４゜回転すれば良いが、一般的に
画像データは左上角を原点として画像の下方向へ正の値
をとるために、左上角を原点とすると逆に台紙画像に対
して−０．４゜の回転を行なう必要がある。回転のアル
ゴリズムは、例えば画像の横方向の座標をｘとし、縦方
向の座標のｙとし、計算された横方向の座標をＵとし
て、計算された縦方向の座標をＶとするならば、 Ｕ＝ｘｃｏｓ（−０．４゜）−ｙｓｉｎ（−０．４
゜）， Ｖ＝ｘｓｉｎ（−０．４゜）＋ｙｃｏｓ（−０．４゜） によって新しい座標を計算することができる。

【００２６】このようにして、傾きが補正された画像デ
ータは、ノンブル除去機構１２に送られ、記事部と枠線
外領域に分離される。ノンブル除去機構１２は、傾き補
正された画像を格納するイメージバッファ１８と、枠線
を推定するために画像上の縦，横それぞれのライン毎に
黒点と判断される点の個数を計測する枠線計測モジュー
ル１９と、各ライン毎の黒点の個数を保存する枠線バッ
ファ２０と、枠線バッファ２０内の黒点の個数の値か
ら、記事部の４端点を決定する端点決定モジュール２１
と、端点の情報によりイメージバッファ１８の画像から
記事部の画像のみを切り出すイメージ抽出モジュール２
２から成る。

【００２７】本実施例におけるノンブル除去機構１２の
処理としては、図４（ａ），（ｂ）のフローチャートに
示す手順によって行なわれる。まず図４（ａ）に示すよ
うに、イメージバッファ１８に蓄えられている傾き補正
後のイメージデータを用いて、枠線計測モジュール１９
では、ステップ４１として、ポインタを新聞画像の上端
と下端にセットして新聞画像下部と上部からそれぞれ横
方向に一ラインずつデータを取り出し、ステップ４２と
して、黒点と判断される点の個数を計測し、枠線バッフ
ァ２０の「上ラインバッファ」，「下ラインバッファ」
のそれぞれ該当する所へ値を格納する。次にステップ４
３としては、ポインタをして画像の左端と右端にセット
して縦方向に一ラインずつデータを取り出し、ステップ
４４として黒点と判断される点の個数を計測し、枠線バ
ッファ２０の「左ラインバッファ」，「右ラインバッフ
ァ」のそれぞれ該当する所へ値を格納する。

【００２８】次にステップ４５として、端点決定モジュ
ール２１において、枠線バッファ２０中の左枠線バッフ
ァにポインタを合わせ、ステップ４６として図４（ｂ）
に示す後記の枠線の判定の処理により左端を計算し、イ
メージ抽出モジュール２２の左点バッファに格納する。
同様の操作をステップ４７〜４８として、「右ラインバ
ッファ」の値を用いて右点を、ステップ４９〜５０とし
て「上ラインバッファ」の値を用いて上点を、ステップ
５１〜５２として「下ラインバッファ」の値を用いて下
点を求める。

【００２９】次にイメージ抽出モジュール２２では、ス
テップ５３として、上記上下左右４点の値を用いて記事
部のイメージ（レイアウト画像）のみを抽出し、台紙形
状同定装置４へ送る。

【００３０】枠線計測モジュール１９における枠線判定
の処理としては、図４（ｂ）のフローチャートに示すよ
うに、処理を始める際に縦枠線閾値か横枠線閾値を用い
るかと、上下左右のどの端点を求めるかを指定し、そし
てステップ５４として枠線バッファ２０のラインバッフ
ァから順次黒点の数を取り出し、次にステップ５５とし
て予め定められている枠線閾値と黒点の数の値を比較
し、最初に閾値を越えた時にステップ５６として枠線フ
ラグを１にする。次にステップ５７として、枠線閾値よ
りも小さくかつ枠線フラグが１であるか否かを判定し、
真（Ｙｅｓ）である場合には、ステップ５８として現在
のラインを記事部の端のラインであるとする。為（Ｎ
ｏ）の場合には、更にステップ５４へ戻り、順番に値を
取り出して処理する。

【００３１】図５に本実施例における台紙形状同定装置
４のシステム構成を示す。台紙形状同定装置４は、記事
部だけになったイメージデータを格納するイメージバッ
ファ６１と、台紙の段の幅を推測するためにイメージデ
ータを横方向に分割する画像分割モジュール６２と、分
割された画像を縦方向に各ライン毎に黒点の数を数えて
段の幅を決定する段幅推定モジュール６３と、イメージ
データを段幅推定モジュール６３で決定した段の幅に切
る段画像分割モジュール６４と、段画像を横方向に走査
して行の幅を決定する行幅推定モジュール６５と、決定
された段幅と行幅とイメージデータを組み合わせて図１
に示す複合情報格納装置７へのデータを生成するイメー
ジデータ構築モジュール６６からなる。

【００３２】本実施例における台紙形状同定装置４の処
理過程は、図６のフローチャートに示すような手順によ
って行われる。まず、記事部のみになったイメージデー
タを格納するイメージバッファ６１のデータに対し、ス
テップ７１として画像分割モジュール６２において、予
め定められた幅の新聞画像を縦方向に分割して縦長に切
り出し、黒点フラグに−１を代入する。切り出された画
像データは段幅推定モジュール６３に送られ、ステップ
７２として各ラインの黒点の個数を計測し、予め定めら
れている閾値と黒点の個数を比較して、閾値よりも大き
くかつ黒点フラグが−１の場合には、ステップ７３とし
て黒点フラグにライン番号を格納（代入）する。閾値よ
りも小さくかつ黒点フラグにライン番号が存在する場合
には、ステップ７４として現在のライン番号と黒点フラ
グ中の番号の差を段幅の値として、段幅推定モジュール
６３内の段幅バッファの該当する段幅のスロットの値に
１を加える。さらにステップ７５として、黒点フラグに
−１を代入する。全てのブロックについて段幅推定が終
ったら、ステップ７６として最も値の大きいスロットの
段幅（最大頻度段幅）から、予め定められている段幅誤
差範囲の値によって、最大頻度段幅から誤差範囲にある
段幅を加重平均することで、段幅候補値を決定する。さ
らにレイアウト画像の高さを段幅候補値で除す。新聞画
像のような段行で構造化される情報においては段数は必
ず整数値になり、また各段間には空白帯や罫線などが入
るために段幅候補値は実際の段幅よりも小さいので、小
数点以下を切り捨てて整数部のみを取り出して段数とす
る。続いてレイアウト画像の高さを段数で除し、小数点
以下を四捨五入することで整数部を取り出し、これを段
幅とする。例えば４００ｄｐｉの解像度で入力した新聞
のあるイメージデータの場合では、予め与えられている
段幅誤差範囲が１０ドットである時に、最大頻度段幅は
４９０で加重平均値が４９１ドットであったとすると、
段幅候補値は４９１ドットになる。段幅を同定するレイ
アウト画像の高さが、例えば７７６３ドットであったと
すると、段数は７７６３／４９１＝１５段と同定され、
同定された段幅は７７６３／１５＝５１７ドットとな
る。

【００３３】次に段幅推定モジュール６３によって計算
された段幅に基づき、段画像分割モジュール６４では、
ステップ７７としてイメージバッファ６１中の画像デー
タを、同定された段幅に従って横長の画像に分割する。
さらに行幅推定モジュール６５において、ステップ７８
として、黒点フラグに０を、候補ラインに０を代入して
おく。次にステップ７９として縦方向に一ラインづつ取
り出して、各ラインの黒点の個数を計測し、あらかじめ
定められている閾値と黒点の個数を比較して、閾値より
も大きい場合には、ステップ８０として黒点フラグに１
を格納する。閾値よりも小さくかつ黒点フラグ１の場合
には、ステップ８１として現在のライン番号と候補ライ
ン中の番号の差を行幅として、行幅推定モジュール６５
内の行幅バッファの該当する行幅のスロットの値に１を
加える。ステップ８２として、黒点フラグを０にし、候
補ラインの現在のライン番号を代入する。全てのブロッ
クについて行幅推定が終ったら、ステップ８３として最
も値の大きいスロットの行幅（最大頻度行幅）から、予
め定められている行幅誤差範囲によって、最大頻度行幅
から誤差範囲にある行幅の頻度を、加重平均して行幅を
決定する。例えば４００ｄｐｉの解像度で入力した新聞
のイメージデータの場合では、予め与えられている行幅
誤差範囲が５ドットである時に、最大頻度行幅が６２ド
ットで加重平均値が６２ドットであったとすると、同定
された行幅は６２ドットになる。

【００３４】最後にイメージデータ構築モジュール６６
において、ステップ８４として決定した段幅行幅と、イ
メージデータを構造化されたデータとして、格納データ
生成装置６へ送る。

【００３５】本実施例におけるテキストデータ構造化装
置５は、図１に示すようにテキストで記述された情報か
らパターンマッチにより日付やページなどの情報を取り
出すパターンマッチャ８と、日付など構造化された情報
を一時的に格納する構造化スロット９、パターンマッチ
ャ８で利用する知識を格納するパターンマッチデータベ
ース１０からなる。本実施例におけるテキストデータ構
造化装置５には、図７（ａ），（ｂ）に示すようなテキ
ストデータがテキストデータ入力部であるテキストデー
タ入力装置２から送られてくる。

【００３６】本実施例におけるテキストデータ構造化装
置５のテキストデータ構造化処理としては、図８のフロ
ーチャートの手順に従って行われる。入力されたデータ
から例えばパターンマッチャ８において、ステップ８５
として入力された文字列の情報を一行毎に取り出し、ス
テップ８６として各行の最初の空白までの「＊日付＊」
などのパターン部と、その後ろに来る属性データのテキ
スト部を切り分ける。次にステップ８７として、パター
ンマッチデータベース１０をパターンを用いて検索し、
属性データを変換するルールを獲得する。ステップ８８
として検索されたルールに従い、例えば「９２０６１
８」を（９２ ６ １８）という数値に変換して、構造
化スロット９に格納する。一記事分のデータが構造化で
きたら、ステップ８９として、格納データ生成装置６へ
送る。

【００３７】上記におけるパターンマッチデータベース
１０に格納されるルールの例として、例えば「＊日付
＊」の場合は「９２０６１８」という文字列を２文字ず
つ切り出し、「９２」という文字列からさらに文字とし
て「９」を切り出し、「０，１，２…，８，９」間での
文字に対応する数値の表から９という数値データを得、
これを１０倍し、「２」という文字から数値の２を得て
９０と加算することで９２とする。図７に示す他のデー
タの場合も容易に類推できるので、省略する。

【００３８】格納データ生成装置６では、テキストデー
タ構造化装置５によって構造化されたテキストデータ中
の段行の位置と、台紙形状同定装置４によって得られ
た、段幅，行幅のデータを用いて、各記事の存在する位
置を画像データ上の座標点に変換し、テキストデータ，
イメージデータともに、複合情報格納装置７に格納す
る。

【００３９】本実施例におけるイメージデータ入力装置
１としては、イメージスキャナもしくは、新聞社が印刷
工場に配布している、ディジタルファクシミリによるデ
ィジタル画像伝送装置があげられる。

【００４０】本実施例における画像情報は、図７に示す
ようにページ単位に分割されたイメージデータと、少な
くとも新聞名，日付，ページの情報を持っている。

【００４１】本実施例におけるテキストデータ入力装置
１は、例えば記事テキストデータベースからのデータベ
ースの検索システムや、磁気テープなどの計算機用デー
タ交換媒体によって入手することができる新聞記事テキ
ストデータの読み取り装置である。他のテキスト情報入
力装置としては、本文の文字列情報や位置情報を内部に
持つ、新聞社などで利用されている計算機システムを用
いた版組システムであるＣＴＳ（Ｃｏｍｐｕｔｅｒ Ｔ
ｙｐｅｄ Ｓｅｔｔｉｎｇ）や、ＤＴＰ（Ｄｅｓｋｔｏ
ｐ Ｐｕｂｌｉｓｈｉｎｇ Ｓｙｓｔｅｍ）もあげられ
る。

【００４２】本実施例における記事テキストデータは、
図７（ｃ）に示すように個々の記事に分離されており、
少なくとも日付，新聞名，ページ番号，記事の紙面上で
の段行などによる位置，記事の本文といった情報を持
つ。

【００４３】〔実施例２〕図９は本発明の第２実施例に
おける台紙形状同定装置のシステム構成図である。新聞
紙面の記事部は、記事本部と記事下広告の２つの領域に
分けることができ、記事下広告のレイアウトは、台紙の
段行の構造と全く異なっている場合がほとんどなので、
本実施例では、台紙形状同定装置として記事下広告を分
離する手段を付加することにより、台紙画像上でのレイ
アウト画像の形状を同定する精度を高くすることができ
る例を示す。なお、台紙形状同定装置を除いた他の構成
は図１と同様である。一般的に記事本部と記事下広告の
部分は、あらかじめ分離して製作され、最終的に画像情
報として結合されるために、両者の境界を示す横罫線
は、レイアウト画像である紙面の横幅いっぱいに必ず引
かれている（図７に図示の境界線Ｌ）。そこで新聞画像
から横方向の各ラインの黒点の数を計測すると、外枠以
外では記事本部と記事下広告の境界の横罫線のみ、黒点
の数が横幅のドット数と一致する。

【００４４】記事下広告を分離できる台形形状同定装置
４の実施例としては、図９に示すように最長横罫線抽出
モジュール９１と、画像分割モジュール９２を第１の実
施例で示した台紙形状同定装置４に加える。

【００４５】本実施例における台紙形状同定装置４での
記事下広告の分離の処理としては、図１０のフローチャ
ートに示す手順によって行われる。まず、図１のイメー
ジデータ前処理装置２から得たノンブルの除去後の画像
データに対して図１０に示すように、ステップ１０１と
して最長横罫線抽出モジュール９１において、白ライン
フラグ，黒ラインフラグに−１を代入する。ステップ１
０２として新聞画像の下端から上端に達するまで一ライ
ンずつデータを取り出し、ステップ１０３として黒点と
判断されるデータの個数を数える。次にステップ１０４
として、白ラインフラグが−１で、黒点の個数が０だっ
た場合には、ステップ１０５として白ラインフラグにラ
イン番号を格納する。ステップ１０６では白ラインフラ
グが−１ではなく、黒点の個数が画像の横幅に等しい場
合には、ステップ１０７として黒ラインフラグにライン
番号を格納する。ステップ１０８として黒ラインフラ
グ，白ラインフラグに共にライン番号が格納され（−１
でないこと）、黒点の個数が０である場合には、そのラ
イン番号を画像分離モジュール９２へ送る。ステップ１
０９として、黒点の個数が１以上，横幅未満の場合に
は、ステップ１０１に戻り白点フラグ，黒点フラグに−
１を代入する。

【００４６】次に画像分割モジュール９２では、最長横
罫線抽出モジュール９１によって得られた記事部のライ
ン番号を用いて、記事部のみの画像を切り出し、イメー
ジバッファ６１に格納する。その後の処理は、上記第１
実施例とほぼ同様である。

【００４７】他の最長横罫線抽出モジュール９１の実施
例としては、紙に印刷された新聞画像を図１のイメージ
データ入力装置１としてイメージスキャナを利用して読
み込んだ場合には、入力された画像が傾いたり、ノイズ
が発生するなどの原因により、記事本部と記事下広告の
境における黒点の数が、１以上横幅未満の値になる可能
性がある。そこで広告分離閾値黒と広告分離閾値白の２
つの閾値を設け、広告分離閾値黒よりも黒点の数が大き
い場合には、図１０における最大横線幅に等しく、広告
分離閾値白よりも黒点の数が少ない場合には、空白帯で
あるとみなす。この結果、ノイズや傾きによる誤差を生
じているデータに対しても、記事本部と記事下広告の分
離が可能となる。

【００４８】〔実施例３〕次に、本発明の第３実施例を
示す。図２のイメージ補正モジュール１７としては、新
聞画像の場合、ディジタルファクシミリと同等の品質を
持つ画像をイメージスキャナにより入力すると、縦方向
が１００００ドット程度あるため、画像の左上角を原点
として回転をかけると、０．１°程度の傾きであったと
しても、原点近傍はほとんど変化しないが、下端の辺り
は横方向に２０ドット以上動くため、画像のゆがみが大
きくなる。

【００４９】そこで、本実施例のイメージ補正モジュー
ルとしては、回転の中心を新聞画像の中央に位置させ
る。例えばある新聞の入力画像が縦９２００ドット、横
５８２０ドットであったとすると、回転の計算を行なう
際に、縦４６００ドット、横２９１０ドットの点を原点
となるようにして計算を行なう。この結果、計算式は、
例えば画像の横方向の座標をｘとして、横方向の座標を
ｙとし、計算された横方向の座標をＵとし、計算された
縦方向の座標をＶとするならば、 Ｕ＝（ｘ−２９１０）×ｃｏｓ（−０．１゜）−（ｙ−
４６００）×ｓｉｎ（−０．１゜）＋２９１０， Ｖ＝（ｘ−２９１０）×ｓｉｎ（−０．１゜）＋（ｙ−
４６００）×ｃｏｓ（−０．１゜）＋４６００ によって新しい座標点を計算する。この結果、ゆがみが
分離されて、高々１０ドット程度になる。

【００５０】更に本実施例におけるイメージデータ前処
理装置としては、新聞の画像の場合、記事下広告がつい
ているため、記事本部のみが必要な場合には、記事本部
を検出して、記事本部の中心を用いて回転を行なえば、
記事本部の平均的なゆがみは更に小さくなる。例えば、
ある新聞の一面の記事下広告は新聞の高さ方向に対し
て、２０％の領域を占めている。この場合、図１１のイ
メージデータ前処理装置のシステム構成図に示すよう
に、イメージデータ前処理装置３内に、最長横罫線抽出
モジュール９１を組み込むことで達成できる。図１１に
示すように、イメージデータ前処理装置３の一実施例と
しては、傾き補正機構１１とノンブル除去機構１２を２
セットと、最長横罫線抽出モジュール９１から構成され
る。

【００５１】本実施例におけるイメージデータ前処理装
置３の処理過程としては、図３に示した傾き補正の処理
過程によって得られた画像情報に対し、最長横罫線抽出
モジュール９１において、記事部の領域を決定し、一方
の傾き補正機構１１中のイメージ補正モジュール１７に
おいて、記事本部の中心座標を中心にして回転する。こ
れにより、記事本部のゆがみは更に小さくなり、高々横
方向で８ドット程度しか動かない。

【００５２】

【発明の効果】従来、新聞紙面や雑誌面のように、レイ
アウトされた画像を情報伝達媒体として利用していた情
報と、同一の内容を計算機によって用いられる文字コー
ドや、それを紙に打ち出した文字列による文字や伝達媒
体とする情報は、分離して扱われていたが、本発明によ
れば文字を伝達媒体とする情報に、画像情報上での位置
の情報を付加することにより、２種類の情報を例えば計
算機上で、一つの情報として扱うことが可能になる。

【００５３】特に本発明では、イメージデータの入力装
置の違いによって、台紙画像上の座標点は様々であった
としても、台紙画像中のレイアウト画像内の各要素画像
の位置を判定できる手段を備えたことにより、レイアウ
ト画像上での座標に従った位置情報を入力することのみ
で、画像上の情報と文字列で表現された情報から、複合
的な情報を作成することが可能となり、複合的な情報を
作成する際の効率が大幅に上がる。

【００５４】また、請求項３の発明によれば、特に新聞
記事のような記事本部と広告の部分に分かれている情報
に対して、記事本部のような情報の本体の領域を判断す
る手段を備えたことにより、情報の本体の画像の要素画
像の位置の判定を正確に行うことができ、レイアウト画
像，要素画像のゆがみを小さくすることができる。

【００５５】さらに、請求項４の発明によれば、特に画
像が傾いて入力される可能性のあるイメージスキャナな
どの画像入力装置を使用する場合、たとえ画像が傾いて
入力されても、ひずみの少ない複合的な情報が得られ
る。

【図面の簡単な説明】

【図１】本発明の第１実施例における複合的な情報の構
築方式を示すシステム構成図

【図２】上記第１実施例におけるイメージデータ前処理
装置のシステム構成図

【図３】上記第１実施例における傾き補正処理のフロー
チャート

【図４】（ａ），（ｂ）は上記第１実施例におけるノン
ブル除去機構の処理のフローチャート

【図５】上記第１実施例における台紙形状同定装置のシ
ステム構成図

【図６】上記第１実施例における台紙形状同定装置の処
理のフローチャート

【図７】（ａ），（ｂ），（ｃ）は上記第１実施例にお
けるデータ例を示す図

【図８】上記第１実施例におけるテキストデータ構造化
処理のフローチャート

【図９】本発明の第２実施例における台紙形状同定装置
のシステム構成図

【図１０】上記第２実施例における台紙形状同定装置内
の記事下広告分離処理のフローチャート

【図１１】本発明の第３実施例におけるイメージデータ
前処理装置のシステム構成図

【符号の説明】

１…イメージデータ入力装置 ２…テキストデータ入力装置 ３…イメージデータ前処理装置 ４…台紙形状同定装置 ５…テキストデータ構造化装置 ６…格納データ生成装置 ７…複合情報格納装置 ８…パターンマッチャ ９…構造化スロット １０…パターンマッチデータベース １１…傾き補正機構 １２…ノンブル除去機構

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 G06T 11/60 - 17/50 G06F 17/30 G06F 12/00 H04N 1/21

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】 少なくとも一つ以上のある文字列を用い
   て表現される情報と、該文字列を用いて表現された情報
   と同一の内容を画像によって表現した画像情報である少
   なくとも一つ以上の要素画像から構成された画像情報で
   ある少なくとも一つ以上のレイアウト画像を持つ台紙画
   像の画像情報と、個々の前記文字列で表現された情報が
   予め定められた規則に従って前記レイアウト画像上のど
   の位置に存在するかを示す位置情報との、３種の情報が
   それぞれ入力された時に、前記台紙画像上において個々
   の前記レイアウト画像の領域を決定する手段と、特に前
   記入力された位置情報を前記レイアウト画像上での規則
   に従った位置情報に変換する手段と、該レイアウト画像
   上の位置情報を前記台紙画像上でのレイアウト画像の存
   在する領域の情報によって該台紙画像上での規則に従っ
   た位置情報に変換する手段を有し、前記画像情報と前記
   文字列で表現された情報を共に関係づけて扱えるように
   構造化することを特徴とする、複合的な情報の構築方
   式。
2. 【請求項２】 請求項１記載の複合的な情報の構築方式
   において、入力された要素画像および一つ以上の要素画
   像からなるレイアウト画像が段や行による位置の規則性
   を持つ画像情報であり、かつ文字列で表現された情報と
   共に入力される位置情報が該レイアウト画像上での段や
   行の規則によって表現されている場合に、該レイアウト
   画像上での位置と該文字列で表現された情報と共に入力
   された位置情報を対応づけるために、該レイアウト画像
   の領域を決定する手段が、特に該レイアウト画像上にお
   ける黒点の分布から一段の高さを同定する手段と、前記
   レイアウト画像上の各段における黒点の分布から行間隔
   を同定する手段を有し、前記文字列として表現された情
   報が持つ段と行で表される位置情報と前記レイアウト画
   像上での位置を対応づけることで台紙画像上での位置の
   規則に従って該文字列で表現された情報と要素画像とを
   対応づけることを特徴とする、複合的な情報の構築方
   式。
3. 【請求項３】 請求項１または２記載の複合的な情報の
   構築方式において、特に情報の本体を表現する領域と付
   加的な情報の領域が存在する場合に、レイアウト画像の
   領域を決定する手段が、特に前記情報の本体を表現する
   領域と前記付加的な情報の領域とのレイアウト画像情報
   上での境界線を判定する手段と、該判定された境界線の
   位置を用いて台紙画像情報から前記情報の本体を表現す
   る領域の画像情報を切り出す手段とを有し、さらに該情
   報の本体のみの画像情報から段，行の構造を抽出して前
   記レイアウト画像情報全体における段や行の位置を判定
   することを特徴とする、複合的な情報の構築方式。
4. 【請求項４】 請求項１または２または３記載の複合的
   な情報の構築方式において、入力したレイアウト画像が
   傾いている際に該レイアウト画像の外枠を検出する手段
   と、前記レイアウト画像をあらかじめ定められた基準に
   したがって主要な情報と付加的な情報とに分離する境界
   線の存在する位置を識別する手段と、外枠情報と前記主
   要な情報と前記付加的な情報との境界線の位置情報から
   該主要な情報を表現する画像の領域の中心点を計算する
   手段とを設け、前記主要な情報を持つ画像の中心点を回
   転の中心として台紙画像を回転させた後の画像情報が入
   力されることを特徴とする、複合的な情報の構築方式。