JP2749020B2 - ダイアグラム認識システム - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、情報処理システムの開
発・保守用ドキュメントのうちフローチャート、データ
フローダイアグラムなどの情報処理の仕様記述に用いら
れるダイアグラムを認識し、その論理的意味を示す論理
デ−タに変換して出力するダイアグラム認識システムに
関する。

【０００２】

【従来の技術】近時において、情報処理システム等の情
報処理手順をダイアグラムで表現することにより、情報
処理仕様の厳密性と理解のし易ささとを合わせ持つシス
テム分析・設計技法が提案され、利用されてきている。

【０００３】例えば、DeMarcoにより提唱された構造化
分析技法（T.DeMarco著, StructuredAnalysis and Syst
em Specification, Prentice-Hall, 1978）や、Martin
により体系化されたInformation Engineering （J.Mart
in著, Information Engineering, Book I:Introductio
n, Prentice-Hall, 1989）等の技法である。

【０００４】この技法の具体例としては、開発済みの情
報システムのソースプログラム、データベース定義情
報、ジョブ制御文、リンケージパラメータ、入出力マッ
プ等のテキスト形式の情報のうち、データベース定義情
報からデータの論理構造を生成するものとして、バック
マン社のData Analyst（ＣＡＳＥツール 〜機能解説と
活用のノウハウ〜、佐藤 正美著、１９８９．１１．
１、Ｐ２１９）に示されるように、ＩＢＭ社のデータベ
ースまたはファィルであるＤＢ２、ＩＤＭＳ、ＶＳＡ
Ｍ、ＩＭＳの定義情報からエンティティリレーションシ
ップダイアグラムを生成するリバ−スエンジニアリング
システムが製品化されている。

【０００５】一方、これらの技法に基づいてソ−スプロ
グラムの生成作業を支援するＣＡＳＥ（Computer Aided
Software Engineering）ツールとしてExcelerator（In
dexTechnology社）やIEW（Information Engineering Wo
rkbench:KnowledgeWare社）等が製品化され、欧米を中
心に利用されている（中村 正弘著、進化するＣＡＳＥ
工程間の”壁”を打破し円滑な開発環境を提供、日経
コンピュータ、１９９０．１１．５、Ｐ７８〜１０
１）。

【０００６】しかし、ダイアグラムの作成を前提とする
ＣＡＳＥツールは、その普及率が米国においても高々１
割程度といわれており、システム分析者や設計者が常に
ＣＡＳＥツールを利用できる状況とはなっていない。従
って、このような状況においてシステム分析・設計者は
ダイアグラムを定規等を利用して手書きで作成し、その
ダイアグラムを専用オペレータによってＣＡＳＥツール
に入力させる方法、または、ＣＡＳＥツールより遥かに
低価格である描画用ソフトウェアを利用してダイアグラ
ムを作成し、その作成したダイアグラムをＣＡＳＥツー
ルに入力するという方法を採っている。

【０００７】しかし、このようにして手書きまたは描画
用ソフトウェアによって作成されたダイアグラムは、Ｃ
ＡＳＥツールと独立したものである。従って、ＣＡＳＥ
ツールのように仕様の整合性の検証、ダイアグラムの論
理的意味を考慮した編集、設計情報やソースプログラム
の自動生成といった下流工程への引継は人手によって行
わなければならない。このため、変換作業の正確性の検
証、仕様とプログラムの一致、ダイアグラムの保守等が
非常に困難になるという問題がある。

【０００８】そこで、手書きまたは描画用ソフトウェア
によって作成されたダイアグラムを自動的に認識し、Ｃ
ＡＳＥツ−ルに人手を介さずに引き渡せるようなシステ
ムの実現が望まれている。

【０００９】この場合に、類似の技術として、例えば、
（株）日立製作所の知的帳票認識システム（ＢＥＬＩＥ
ＶＥ）（即戦力化のための知的帳票認識システム、土屋
雅幸著、事務と経営、１９９０．９、Ｐ８〜Ｐ１０）に
示されるように、伝票や帳票を画像データとして入力
し、票形式の認識及びフィールド認識を行い、伝票発行
業務や帳票印刷業務プログラムを自動生成するシステム
が製品化されている。

【００１０】また、特開平０２−７１３６６号の「Ｅ−
Ｒモデル生成方式」に開示されているように、情報シス
テムの中でデータモデルを作成するためのエンティティ
リレーションシップダイアグラム（Ｅ−Ｒモデル図）を
画像データとして入力し、その図形認識を行ってＥ−Ｒ
モデルを自動生成するシステムがある。

【００１１】また、（株）松下電気産業で開発した論理
回路図面自動認識システム（用途の絞り込みで効果を発
揮する図面自動入力システム、平田 昌信著、日経コン
ピュータグラフィックス、１９８８年２月号、ＰＰ１
８）に示されるように、ハードウェアの論理回路図を画
像データとして読み込み、シンボル認識、文字認識、シ
ンボルの相互の接続関係を認識し、データベースに格納
するシステムが実用化されている。

【００１２】

【発明が解決しようとする課題】しかしながら、前述の
論理回路図面自動認識システムにあっては、ハードウェ
アの論理回路図が入力対象であり、情報システムを記述
するダイアグラムの認識には適用できない。すなわち、
情報システムを記述するダイアグラムは、各シンボルの
接続関係について方向性の判別が重要であること、シン
ボルに対する接続可能な接続線の個数が任意であるこ
と、接続できるシンボル間に規則性があること、シンボ
ルの形状及び意味はユーザ毎に修正・追加して利用して
いること等の特徴を有している。このため、データフロ
ーダイアグラム・エンティティリレーションシップダイ
アグラム・フローチャート等のダイアグラムの認識には
適用できないという問題がある。

【００１３】また、前述の知的帳票認識システムにあっ
ては、帳票や伝票といった表形式のように直線のみで区
切られたフォーマットを事前に認識して文字の位置を検
出し、次にデータの認識を行っているので、ダイアグラ
ムのようにシンボル、接続線、文字列の位置が事前に定
められない不定形の情報を認識することはできないとい
う問題がある。

【００１４】さらに、前述のＥ−Ｒモデル生成方式は、
エンティティリレーションシップダイアグラム専用の生
成方式であり、シンボルが数種類に限定されているた
め、予め定められたダイアグラムの形状と意味の認識に
のみ適用可能であり、一般に行われているようなユーザ
毎に任意に定義されるダイアグラムの認識には適用でき
ないという問題がある。

【００１５】本発明はこれらの問題を解決することを目
的とし、手書きや描画ソフトウェア等のＣＡＳＥツール
とは独立して作成されたダイアグラム、特にシンボルの
接続関係に方向性があり、その位置も定まっておらず、
ユーザ毎に任意に定義されるダイアグラムを自動的に認
識し、その認識した論理を人手を介さずにＣＡＳＥツ−
ルなどに引き渡すことができるダイアグラム認識システ
ムを提供することである。

【００１６】

【課題を解決するための手段】本発明のダイアグラム認
識システムは、円形や四角形等の図形によって表現され
るシンボルと、シンボル間の接続を示す方向性を持った
接続線と、これらシンボル及び接続線に付与される文字
列とから構成され、フローチャート、データフローダイ
アグラムなどの情報処理の仕様記述に用いられるダイア
グラムを画像データとして入力するダイヤグラム入力手
段と、このダイアグラム入力手段から入力されるダイヤ
グラムの認識ル−ルを入力する認識ル−ル入力手段と、
この認識ル−ル入力手段から入力された認識ル−ルを記
憶する認識ル−ル記憶手段と、前記ダイアグラム入力手
段から入力されたダイヤグラムを構成するシンボル、接
続線、文字列およびシンボル間接続関係を前記認識ル−
ル記憶手段に記憶された認識ル−ルに基づき認識し、各
シンボルの種別および文字列、各シンボル間の接続関係
を示す論理データとして出力するダイアグラム認識手段
と、このダイアグラム認識手段から出力される論理デー
タを所定のファイル形式に変換して出力する変換手段と
から構成した。

【００１７】

【作用】上記手段によれば、まず、認識対象となるダイ
ヤグラムの認識ル−ルを認識ル−ル入力手段から入力
し、認識ル−ル記憶手段に記憶させる。次に、認識対象
となるダイアグラムを画像データとしてダイヤグラム入
力手段から入力する。すると、ダイアグラム認識手段
は、ダイアグラム入力手段から入力されたダイヤグラム
を構成するシンボル、接続線、文字列およびシンボル間
接続関係を前記認識ル−ルに基づき認識し、各シンボル
の種別および文字列、各シンボル間の接続関係を示す論
理データとして出力する。このダイアグラム認識手段か
ら出力される論理データは、ＣＡＳＥツ−ルなどに直接
引き渡せるように変換手段によって所定のファイル形式
に変換して出力される。

【００１８】

【実施例】以下、本発明の一実施例について図面より説
明する。

【００１９】図１は本発明の一実施例を示すシステムブ
ロック図である。この実施例のシステムは、認識対象の
ダイアグラムをイメージデータとして入力する画像入力
装置１、ダイアグラムの認識処理を行うデータ処理装置
２、認識結果をユーザが補正するための入力表示装置
３、認識結果を格納するための出力ファイル４を備えて
いる。

【００２０】データ処理装置２は、画像入力装置１によ
り読み取られ、その読み取り平面における各画素の画像
の有無に対応した論理１または論理０で表現されている
ダイアグラムの画像データを入力する画像データ入力部
２１、この画像データ入力部２１で入力された画像デー
タを格納する画像データ記憶部２２、この画像データ記
憶部２２に格納されている画像データを線分の集合であ
るベクトルデータに変換するデータ変換部２３、ダイア
グラムを認識するためにその図形的特徴と対応するダイ
アグラム種別やダイアグラム間の接続関連等の論理的な
認識ル−ルを記述した認識ルール記憶部２５ａ、この認
識ルール記憶部２５ａに格納された認識ルールとベクト
ルデータ記憶部２４に格納されたベクトルデータとをマ
ッチングすることによりダイアグラムを認識するダイア
グラム認識部２５ｂ、このダイアグラム認識部２５ｂの
認識結果を格納する認識中間データ記憶部２６、この認
識中間データ記憶部２６の中で認識不能箇所となった部
分を入力表示装置３にてユーザに補正してもらう認識結
果補正部２７、この認識結果補正部２７で補正された認
識結果を格納する認識結果データ記憶部２８、この認識
結果データ記憶部２８の内容を出力ファイル４のデータ
形式に変換する認識結果変換部２９からなっている。

【００２１】ここで、認識ルール記憶部２５ａに記憶さ
せる認識ル−ルは入力表示装置３かを用いてユーザが認
識処理前に予め入力するようになっている。そして、入
力表示装置３を用いてその後に認識ル−ルを変更した
り、追加することができるようになっている。

【００２２】図２はデータ処理装置２の処理手順の概要
を示すフロ−チャ−トであり、画像入力装置１にて読み
取られた認識対象のダイアグラムの画像データは、画像
データ入力部２１を介して画像データ記憶部２２に格納
される（ステップ１００）。この格納された画像デ−タ
はデータ変換部２３によって読み出され、データ変換部
２３においてノイズ除去や細線化等の処理が行われた
後、線分の集合およびそれらが閉図形か開図形かを示す
情報の集りであるベクトルデータに変換され、ベクトル
データ記憶部２４に格納される（ステップ２００）。な
お、このベクトルデ−タへの変換技術は、例えば、「Ｃ
ＡＤデータ入力を効率化、図面の自動入力装置に脚光」
（平田 昌伸著、日経コンピュータ、１９８６．３．
３，Ｐ８２）に記述されているように、既に公知の技術
であるので、その詳細な説明は省略する。

【００２３】ダイアグラム認識部２５ｂは、ベクトルデ
ータ記憶部２４に格納されたベクトルデータと認識ルー
ル記憶部２５ａに保存されているダイアグラム認識ルー
ルとを読み出し、両者のマッチング処理を行うことによ
り、ベクトルデ−タで表現されたダイアグラムを認識
し、その認識結果を認識中間デ−タとして認識中間デー
タ記憶部２６に格納する（ステップ３００）。

【００２４】認識結果補正部２７は、認識中間データ記
憶部２６に格納された認識中間デ−タの中で認識処理が
成功しなかった箇所に対する問い合わせを入力表示装置
３によって行い、ユーザに必要なデータ入力を要求し、
認識処理の不成功部分を補正させる。これによって、入
力されたダイアグラムの完全な認識結果が得られる。こ
の補正された認識結果は、認識結果データ記憶部２８に
格納される（ステップ４００）。

【００２５】認識結果変換部２９は、認識結果データ記
憶部２８の認識結果のデータを出力ファイル４で定めら
れたデータ形式、例えばＣＡＳＥツ−ルに直接引き渡せ
るようなデ−タ形式の論理デ−タに変換し出力ファイル
４に格納する（ステップ５００）。

【００２６】従って、前述したＣＡＳＥツ−ルにおいて
は、この出力ファイル４に格納された論理デ−タに基づ
き、人手を介さずに直ちに下流工程への引継ぎを行うこ
とができる。

【００２７】次に、ダイアグラム認識処理を具体例を挙
げて詳細に説明する。

【００２８】図３は、画像入力装置１から画像データと
して入力するデータフローダイアグラムの例であり、手
書き、あるいは描画用ソフトウェア等にて記述されてお
り、シンボルと接続線との論理的関係は人間が判断する
以外にない状態である。

【００２９】本発明はこのようなダイアグラムを認識
し、図４に示すようなシンボルの名称と種別、シンボル
間の接続関係を論理的に表した論理デ−タを生成するも
のであり、以下にその詳細を説明する。

【００３０】図５（ａ），（ｂ）は、画像データ記憶部
２２に格納されている図３のデータフローダイアグラム
の一部の画像の例を示すものである。同図において、７
０１は図３の「受注処理」周辺の画像データの表示例で
あり、７０３は同図（ａ）の７０２で示す部分を「０」
と「１」の集合で構成される画像データの格納状態を示
すもので、「０」は画像が存在しない画素、「１」は画
像が存在する画素を示している。

【００３１】図６（ａ），（ｂ），（ｃ）は、図５に示
した画像データがベクトルデータ記憶部２４に格納され
ている例を示すもので、８０１は画像データ７０１を変
換したベクトルデータを入力表示装置３に表示した例を
示すものであり、文字列の「受注処理」を囲む円形のシ
ンボル７０４は１２個の線分Ｌｌ，Ｌ２，……，Ｌ１２
に分解され、各線分がベクトル形式のデ−タで表されて
いる。同様に、矢印７０５は４個の線分Ｌｌ３，Ｌ１
４，……，Ｌ１６に分解され、各線分がベクトル形式の
デ−タで表されている。

【００３２】このように表されたベクトルデ−タ８０１
は、図６（ｂ）の内部格納構造図に示すように、各線分
の集合を示す図形識別番号デ−タ（図形ＩＤ）８０３、
閉図形か開図形かを示す区分デ−タ８０４、図形を構成
する線分の並びを示すデータ８０５、図形に存在する分
岐点の座標（複数も可）を示すデータ８０６が１組にな
って閉図形または開図形の単位でベクトルデ−タ記憶部
２５ｂの図形テーブル８０２に格納されている。また、
各線分は図６（ｃ）に示すように、線分ＩＤ８０８、始
点座標デ−タ８０９、終点座標デ−タ８１０を各線分毎
に記憶した線分テーブル８０７によって管理するように
構成されている。

【００３３】なお、図６（ａ）の線分Ｌ１１からＬ１５
に分岐する分岐点（ｘ１，ｙ１）の座標値は説明のため
に図示しているのであって実際には表示されない。

【００３４】図７，図８，図９は、認識ル−ル記憶部２
５ａに格納されるデータフローダイアグラム用の認識ル
ールの一例を示すものであり、この例のダイアグラム認
識ルールは、シンボル認識ルール１０００ａ、接続線
（フロ−）を認識するためのフロー認識ルール１０１０
ａ、シンボル間接続関係ルール１０２０ａとから構成さ
れる。シンボル認識ルール１０００ａは、顧客などの外
部実体や処理、ファイル等を表すシンボル種別デ−タ１
００１ａ、シンボルが円や四角形などの単純な図形かそ
れらの組み合わせである複合図形かを示す分類デ−タ１
００２ａ、シンボルの図形的特徴を示すシンボル形状デ
−タ１００３ａ、シンボルに対応する文字が内部にある
のか外部にあるのかを示す位置デ−タ１００４ａ、シン
ボルに記述する文字方向デ−タ１００５ａから構成され
る。

【００３５】このうち、シンボル形状デ−タ１００３ａ
は、例えば四角形のシンボルについては、長ベクトルの
線分が４個、短ベクトルの線分が０個、直角の数が４
個、平行線の組が２個といったデ−タで定義されてい
る。このシンボル認識ル−ル１０００ａで認識するシン
ボル形状を符号１００６ａで例示している。

【００３６】フロー認識ルール１０１０ａは、接続線が
単一方向か、両方向かを示すフロー種別デ−タ１０１１
ａ、接続線に矢印が付与される場合の矢印の位置デ−タ
１０１２ａ、接続線の図形的特徴を示すフロー形状デ−
タ１０１３ａ、接続線に対応する文字の位置デ−タ１０
１４ａ、接続線に記述する文字方向（横書き、縦書きな
ど）の文字方向デ−タ１０１５ａから構成される。

【００３７】このうち、フロ−形状デ−タ１０１３ａ
は、例えば単一方向の接続線については、長ベクトルの
線分が１個以上、鋭角部分が１個、短ベクトルの線分が
２個といったデ−タで定義されるようになっている。こ
のフロー認識ルール１０１０ａで認識する接続線の形状
を符号１０１６ａで例示している。

【００３８】シンボル間接続関係ルール１０２０ａは、
外部実体などの入力シンボル種別１０２１ａと出力シン
ボル種別１０２２ａの組み合わせに対して、接続可能な
接続線の種別デ−タ１０２４ａおよび接続不可デ−タ１
０２３ａをマトリクス形式で表現したものであり、図９
に示すように、「顧客」などの外部実体同士、「出荷フ
ァイル」などのファイル同士は接続ができないことなど
が定義されている。

【００３９】図１０は、図２中のステップ３００のダイ
アグラム認識処理の詳細を示すフローチャート、図１１
は図１０中のステップ３５０のシンボルとフローの認識
処理を再帰処理を用いないで処理する詳細のフローチャ
ートである。

【００４０】以下、これらのフロ−チャ−トを参照して
図６のベクトル表現のダイアグラムを認識する動作につ
いて説明する。

【００４１】まず、図１０において、ダイアグラム認識
部２５ｂはベクトルデータ記憶部２４に記憶されている
認識対象のダイアグラムに関するベクトルデータを読出
し（ステップ３１０）、さらに認識ル−ル記憶部２５ａ
に記憶されている認識ル−ルを読出し（ステップ３２
０）、ある一定の長さに満たない線分のベクトルデータ
を文字列候補とみなして分離する（ステップ３３０）。
次に、ベクトルデータ記憶部２４に格納されている図形
テーブル８０２の中にある区分デ−タ８０４を検索し、
閉図形となっている図形を１つ取り出し、これを最初の
認識対象のシンボルに設定する（ステップ３４０）。

【００４２】例えば、図６（ａ）例のベクトルデ−タに
おいては、文字列「受注処理」を囲むシンボル７０４の
区分デ−タ８０４が図６（ｂ）のように「閉図形」を示
しているので、このシンボル７０４を最初の認識対象シ
ンボルに設定する。

【００４３】次に、このシンボルを引数として図１１に
示すシンボルとフローの認識処理を呼出し（ステップ３
５０）、認識対象に設定したシンボルの種別をシンボル
認識ル−ル１０００ａに基づいて認識する。

【００４４】例えば、図６（ａ）の「受注処理」のシン
ボル７０４については、図形テ−ブル８０２に、Ｌ１〜
Ｌ１２から成る線分で構成されていることが図形テ−ブ
ル８０２に記憶され、、またこれらの各線分は、始点座
標デ−タ８０９と終点座標デ−タ８１０によって示され
る位置に存在するものであることが線分テ−ブル８０７
に詳細に記憶されている。

【００４５】一方、シンボル種別「処理」のシンボル形
状については、シンボル認識ル−ル１０００ａに、長ベ
クトルが０、短ベクトルが多数、鈍角数が多数であるこ
とが定義されている。そこで、ステップ３５０の認識処
理においては、各線分Ｌ１〜Ｌ１２の長さを始点座標デ
−タ８０９と終点座標デ−タ８１０によって求め、長ベ
クトルおよび短ベクトルの数をそれぞれ算出する。さら
に、始点座標デ−タ８０９と終点座標デ−タ８１０によ
って各線分の向きを求め、隣合う線分と成す角度を算出
し、鈍角数、鋭角数、直角数、平行線の組を求める。

【００４６】そして、このようにして求めた長ベクトル
および短ベクトルの数、鈍角数、鋭角数、直角数、平行
線の組のデ−タと、シンボル認識ル−ル１０００ａのシ
ンボル形状デ−タ１００３ａとを比較する。この結果、
「受注処理」のシンボル７０４がシンボル種別「処理」
のシンボル形状に一致していることが判明したならば、
このシンボル７０４を「処理」のシンボル種別として認
識する。

【００４７】続いて、当該シンボルに接続される接続線
が存在するかどうかを、図形テーブル８０２に当該シン
ボルに対応するベクトルデータの分岐点デ−タ８０６が
存在するかどうかにより判定し、存在するときは該シン
ボルと接続線をはさんで反対側にある相手シンボルのベ
クトルデ−タと接続線のベクトルデータを取得し、接続
線の種別をフロ−認識ル−ル１０１１ａに従って認識す
ると共に、シンボル間接続関係ル−ル１０２０ａによっ
て接続が許される相手シンボルであるかどうかの論理性
を検査する。

【００４８】この後、シンボル７０４に対応づけられた
文字列を検出する。そして、その対応関係を認識中間デ
−タ記憶部２６に用意された図１２および図１３に示す
ような構造のシンボルテ−ブル９００の対応文字列ＩＤ
の欄９０４に格納する（ステップ３６０）。

【００４９】ここで、認識中間データ記憶部２６は、シ
ンボルテーブル９００、フローテーブル９１０、文字列
テーブル９２０、ベクトルデータ記憶部９３０、スタッ
ク９４０から構成される。シンボルテーブル９００は、
Ｓ１，Ｓ２などのシンボルＩＤデ−タ９０１、外部実体
などのシンボル種別デ−タ９０２、シンボル認識結果の
可否を示す認識判定デ−タ９０３、シンボルに付与され
ている文字列を示すＣ１，Ｃ３などの対応文字列ＩＤデ
−タ９０４、認識対象となったシンボルのベクトルデー
タ９０５をそれぞれ記憶する欄から構成される。

【００５０】また、フローテーブル９１０は、ｆ１，ｆ
２などのフローＩＤデ−タ９１１、単方向・両方向・向
きなし等のフロー方向デ−タ９１２、接続線の入力およ
び出力のシンボルとなっている入力シンボルＩＤデ−タ
９１３および出力シンボルＩＤデ−タ９１４、フロー認
識結果を示す認識判定デ−タ９１５、接続線によって接
続されているシンボル間の接続関係の可否を示す接続判
定デ−タ９１６、接続線に付与されている文字列を示す
対応文字列ＩＤデ−タ９１７、認識対象となった接続線
に対応するベクトルデータ９１８をそれぞれ記憶する欄
から構成される。

【００５１】さらに、文字列テーブル９２０は、文字列
ＩＤデ−タ９２１、文字列の認識結果を示す認識判定デ
−タ９２２、認識できた文字列の文字コードを示す認識
文字列コ−ドデ−タ９２３、認識対象となった文字列に
対応するベクトルデータ９２４をそれぞれ記憶する欄か
ら構成される。

【００５２】ベクトルデータ記憶部９３０は認識前のベ
クトルデータを認識後のシンボル、フロー、文字列とを
それぞれ対応付けるものであり、認識後のシンボル、フ
ロー、文字列の各デ−タは図６に示した図形テ−ブル８
０２および線分テ−ブル８０７と同様な形式で格納され
る。

【００５３】さらにスタック９４０には、認識対象のシ
ンボルに対する相手シンボルのシンボルＩＤデ−タ９４
１が格納される。図示の例では、シンボルＩＤ＝Ｓ１の
認識対象シンボル「顧客」の処理途中に、シンボルＩＤ
＝Ｓ２，Ｓ３の相手シンボル「受注処理」，「出荷処
理」が一時的に保存されることを示している。

【００５４】次に、図１１に戻ると、認識対象のシンボ
ルに対応づけられた文字列との対応関係をシンボルテ−
ブル９００の対応文字列ＩＤの欄９０４に格納した後
（ステップ３６０）、認識した接続線が有するベクトル
データの始点座標デ−タおよび終点座標デ−タ８０９、
８１０と、認識ルールの文字列の位置デ−タ１０１４ａ
とに基づき、接続線に対応する文字列を検出し、その対
応関係を図１２のフロ−テ−ブル９１０に対応文字列Ｉ
Ｄデ−タ９１７として格納し（ステップ３７０）、さら
にその文字列を光学文字読み取り装置（ＯＣＲ）等で既
に利用されている文字認識技術により認識し、その認識
結果の可否を図１３の文字列テ−ブル９２０に認識判定
デ−タ９２２として格納し、認識が成功した場合はその
文字コードを文字コ−ドデ−タ９２３として文字列テ−
ブル９２０に格納する（ステップ３８０）。なお、ステ
ップ３６０と３７０の順序は入れ替えてもよい。

【００５５】なお、図１２および図１３の〜はそれ
ぞれ対応関係を示すものである。

【００５６】次に、図１０のステップ３５０の詳細を示
す図１１のフロ−チャ−トにおいて、引数として渡され
た認識対象のシンボルのベクトルデータとシンボル認識
ルール１０００ａの中に定義されているシンボル形状デ
−タ１００３ａとをマッチングし、シンボルＩＤデ−タ
９０１とシンボル種別デ−タ９０２および認識結果の判
定デ−タ９０３並びに対応するベクトルデータ９０５を
認識中間デ−タ記憶部２６のシンボルテ−ブル９００に
格納する（ステップ３５１ａ）。

【００５７】次に、認識対象シンボルに接続される接続
線が存在するかどうかを、図形テーブル８０２に認識対
象シンボルに関するベクトルデータに分岐点デ−タ８０
６が存在するかどうかにより判定し（ステップ３５２
ａ）、存在するときは認識対象シンボルと接続線をはさ
んで反対側にある相手シンボルを取得する（ステップ３
５３ａ）。そして、シンボル認識ルール１０００ａの中
のシンボル形状デ−タ１００３ａと相手シンボルのベク
トルデータとをマッチングし（ステップ３５４ａ）、さ
らにフロー認識ルール１０１０ａの中の矢印の位置デ−
タ１０１２ａとフロー形状デ−タ１０１３ａと接続線に
対応するベクトルデータとをマッチングし、フローＩＤ
デ−タ９１１、フロー方向デ−タ９１２、入力シンボル
デ−タ９１３、出力シンボルデ−タ９１４、認識結果の
判定デ−タ９１５、接続線に対応するベクトルデータ９
１８をフロ−テ−ブル９１０に格納する（ステップ３５
５ａ）。

【００５８】この後、認識対象シンボルと相手シンボル
の接続関係の妥当性を図９のシンボル間接続関係ルール
１０２０ａに従ってチェックし、その結果を図１２のフ
ロ−テ−ブル９１０に接続判定デ−タ９１６として格納
し（３５６ａ）、さらに相手シンボルを図１３のスタッ
ク９４０に一時保存してステップ３５２ａの処理に戻る
（ステップ３５７ａ）。

【００５９】この後は、認識対象に設定したシンボルに
接続される接続線がさらに存在するかどうかを調べ、存
在しないときはスタック９４０は空きかどうかを判定し
（ステップ３５８ａ）、スタック９４０に１つでもシン
ボル種別のデ−タが残っているときは、そのシンボル種
別デ−タで示されるシンボルを記憶部２５ｂから１つ取
り出し、そのシンボルを新たな認識対象のシンボルとし
て設定し（３５９ａ）、ステップ３５２ａの処理に戻
る。そして、スタック９４０が空になったならば、処理
を終了する。

【００６０】なお、スタック９４０からシンボルを１つ
取り出す順序として、先入れ先出しや先入れ後出し等が
あるがその方法は任意でよい。

【００６１】次に、図１０のステップ３５０の処理を、
再帰処理を用いて処理する図１４のフロ−チャ−トを参
照して説明する。図１４において、引数として渡された
認識対象シンボルとシンボル認識ルール１０００ａとを
マッチングし（ステップ３５１ｂ）、認識対象シンボル
に接続される接続線が存在するかどうかを判定し（ステ
ップ３５２ｂ）、存在するときは該認識対象シンボルと
接続線をはさんで反対側にある相手シンボルを取得し
（ステップ３５３ｂ）、シンボル認識ルール１０００ａ
と相手シンボルとをマッチングし（ステップ３５４
ｂ）、さらにフロー認識ルール１０１０ａの中の接続線
の矢印の位置デ−タ１０１２ａとフロー形状デ−タ１０
１３ａにより接続線の方向を認識する（ステップ３５５
ｂ）。この後、認識対象シンボルと相手シンボルの接続
関係の妥当性をシンボル間接続関係ルール１０２０ａに
てチェックし（３５６ｂ）、相手シンボルを新たな認識
対象シンボルと設定し、この図１４に示すシンボルとフ
ローの認識処理を再帰的に呼出した後、ステップ３５２
ｂの処理に戻り（ステップ３５７ｂ）、該新たなシンボ
ルに接続される接続線が存在しないときは処理を終了す
る。

【００６２】以上の処理によって認識中間デ−タ記憶部
２６に格納されたデ−タは、認識結果補正部２７によっ
て読み出され、認識不能な個所があったかどうかが検査
される。この検査は、図１２、図１３のシンボルテ−ブ
ル９００の認識判定デ−タ９０３、フロ−テ−ブル９１
０の認識判定デ−タ９１５、文字列テ−ブル９２０の認
識判定デ−タ９２２によって行われる。もし、「ＮＧ」
となっているシンボル、またはフロ−、あるいは文字列
があれば、これを入力表示装置３に表示し、かつ正しい
認識になるようにユ−ザに必要な入力を要求する。

【００６３】この結果、「ＮＧ」となっているシンボ
ル、またはフロ−、あるいは文字列がなくなったなら
ば、認識結果補正部２８はその補正結果を認識結果デ−
タ記憶部２８に格納する。ここに記憶された認識結果は
認識結果変換部２９で出力ファイル４のデ−タ形式に適
合した図４に示したような論理デ−タに変換され、出力
ファイル４に出力される。

【００６４】従って、以上説明した実施例によれば、認
識対象となるダイヤグラムの認識ル−ルを入力表示装置
３から入力し、認識ル−ル記憶部２５ａに記憶させ、次
に、認識対象となるダイアグラムを画像データとして画
像入力装置１から入力し、この入力されたダイヤグラム
を構成するシンボル、接続線、文字列およびシンボル間
接続関係をダイアグラム認識部２５ｂに前記認識ル−ル
に基づき認識させ、各シンボルの種別および文字列、各
シンボル間の接続関係を示す論理データとして出力さ
せ、この論理データをＣＡＳＥツ−ルなどに直接引き渡
せるように所定のファイル形式に変換して出力するよう
に構成したので、手書きや描画ソフトウェア等のＣＡＳ
Ｅツールとは独立して作成されたダイアグラム、特にシ
ンボルの接続関係に方向性があり、その位置も定まって
おらず、ユーザ毎に任意に定義されるダイアグラムを自
動的に認識し、その認識した論理を人手を介さずにＣＡ
ＳＥツ−ルなどに引き渡すことができるという効果が得
られる。

【００６５】従って、ＣＡＳＥツ−ル等を用いてソ−ス
プログラムを生成する際のダイアグラム入力作業の軽
減、ダイアグラムの論理的内容に基づいた整合性検証、
ダイアグラムの編集、格納、印刷、次工程情報への変換
といった処理を容易に行うことが可能になり、ソ−スプ
ログラムの自動生成作業の効率を飛躍的に向上させるこ
とができるといった極めて有用な効果がある。

【００６６】さらに、前記認識ル−ルは入力表示装置３
から入力しているので、ユ−ザ毎に自由に認識ル−ルを
定義し、かつ自由に変更することができる。従って、ユ
−ザ毎に最適な認識システムを構築できるといった効果
がある。

【００６７】また、ダイアグラムの認識に際しては、最
初に文字列の候補となるベクトルデ−タを分離し、最も
ダイアグラムである可能性が高いベクトルデータの集合
を最初のダイアグラムの候補と設定して認識を開始し、
このダイアグラムの候補に接続される接続線の反対側の
図形をシンボルとして認識する処理を順次行い、この後
に各シンボルと接続線に付与されている文字列候補を対
応付けて認識するようにしているので、文字列を混在さ
せたままシンボルや接続線の認識を行う場合に比べ、誤
認識が減少し、高い認識性能が得られるという効果があ
る。

【００６８】また、認識が成功しなかった箇所に対して
認識結果を入力表示装置３から補正できるようにしたの
で、認識性能を高め、出力ファイル４に出力する論理デ
−タの信頼性を高めることができる。

【００６９】さらに、画像入力装置１から入力するダイ
アグラムの画像デ−タをデ−タ変換部２３によりベクト
ルデ−タに変換し、そのベクトルデ−タによってダイア
グラムの認識を行っているので、ダイアグラムの画像を
記憶する記憶部の記憶容量が少なくて済み、しかも画素
単位で画像認識を行う場合に比べて処理時間を短縮でき
る。

【００７０】なお、この実施例において、ダイアグラム
の認識ル−ルは入力表示装置３から入力しているが、ダ
イアグラム入力手段を兼用して入力するようにしてもよ
い。すなわち、図１に破線１０で示すように、画像入力
装置１から画像デ−タとして認識ル−ル記憶部２５ａに
入力し、ダイアグラムの認識は公知のパタ−ンマッチン
グ技法によって行うようにしてもよい。あるいは、認識
ル−ルの画像デ−タをダイアグラム認識部２５ｂで認識
させ、その認識結果を認識ル−ルとして記憶させ、前述
の動作と同様にしてダイアグラムの認識を行うようにし
てもよい。但し、この場合には、認識ル−ルの画像デ−
タを認識する別の認識ル−ルが必要になることは言うま
でもない。

【００７１】さらに、ダイアグラムおよび認識ル−ルは
図１５の第２の実施例のブロック図に示すように、ペン
で描画した図形等をベクトル表現の画像デ−タとして出
力するペン入力装置１１から入力するように構成しても
よい。この場合は、画像デ−タ記憶部２２、デ−タ変換
部２３が不要になり、構成が簡素になるという利点があ
る。さらに、認識のための処理工程が図１６に示すよう
なものに減少する。なお、図１６において、１００Ａは
ペン入力装置１１の画像デ−タをベクトルデ−タ記憶部
２４に記憶させる処理であり、これ以降の処理は図２と
同様であるので、説明は省略する。

【００７２】さらに、認識ル−ルは図７〜図９に示すも
のを例に挙げたが、図１７〜図１９に示すようなものを
定義すれば、エンティティリレ−ションシップダイアグ
ラムの認識が可能になる。

【００７３】この認識ル−ルは、シンボル種別「弱実
体」として符号１００６ｃで示す複合シンボルを定義し
たこと（図１７）、さらに図１９に符号１０１６ｂで示
す矢印のない接続線を定義したことが図７〜図９の認識
ル−ルと異なる。なお、各デ−タの符号は図７〜図９の
符号１００１ａ等の英文字ａをｂに代えて図示している
が、定義される実体は同じである。

【００７４】

【発明の効果】以上説明したように本発明によれば、認
識対象となるダイヤグラムの認識ル−ルを入力し、認識
ル−ル記憶手段に記憶させ、次に、認識対象となるダイ
アグラムを画像データとして入力し、この入力されたダ
イヤグラムを構成するシンボル、接続線、文字列および
シンボル間接続関係をダイアグラム認識手段に前記認識
ル−ルに基づき認識させ、各シンボルの種別および文字
列、各シンボル間の接続関係を示す論理データとして出
力させ、この論理データをＣＡＳＥツ−ルなどに直接引
き渡せるように所定のファイル形式に変換して出力する
ように構成したので、手書きや描画ソフトウェア等のＣ
ＡＳＥツールとは独立して作成されたダイアグラム、特
にシンボルの接続関係に方向性があり、その位置も定ま
っておらず、ユーザ毎に任意に定義されるダイアグラム
を自動的に認識し、その認識した論理を人手を介さずに
ＣＡＳＥツ−ルなどに引き渡すことができるという効果
が得られる。

【００７５】従って、ＣＡＳＥツ−ル等を用いてソ−ス
プログラムを生成する際のダイアグラム入力作業の軽
減、ダイアグラムの論理的内容に基づいた整合性検証、
ダイアグラムの編集、格納、印刷、次工程情報への変換
といった処理を容易に行うことが可能になり、ソ−スプ
ログラムの自動生成作業の効率を飛躍的に向上させるこ
とができるといった極めて有用な効果がある。

【００７６】さらに、前記認識ル−ルはユ−ザ毎に自由
に定義し、かつ自由に変更することができるので、ユ−
ザ毎に最適な認識システムを構築できるといった効果が
ある。

【図面の簡単な説明】

【図１】本発明の第１の実施例を示すブロック図であ
る。

【図２】図１におけるデータ処理装置の全体の処理手順
を示すフロ−チャ−トである。

【図３】図１の実施例において入力されるダイアグラム
の一例を示す図である。

【図４】図１の実施例の認識結果として出力される論理
デ−タの例を示す説明図である。

【図５】ダイアグラムとして入力したシンボルの画像デ
−タの一部とその格納構造を示す説明図である。

【図６】図５中のシンボルとそのベクトルデータへの変
換処理より得られるベクトルデータの構造を示す説明図
である。

【図７】認識ル−ルのうちシンボル認識ル−ルの定義を
示す説明図である。

【図８】認識ル−ルのうち接続線認識ル−ルの定義を示
す説明図である。

【図９】認識ル−ルのうちシンボル間接続関係認識ル−
ルの定義を示す説明図である。

【図１０】ダイアグラム認識処理の詳細を示すフロ−チ
ャ−トである。

【図１１】図１０中のシンボルとフロー認識処理のうち
再帰処理を用いない処理のフローチャートである。

【図１２】認識結果中間デ−タの一部を示す説明図であ
る。

【図１３】認識結果中間デ−タの一部を示す説明図であ
る。

【図１４】図１０中のシンボルとフロー認識処理のうち
再帰処理を用いた処理のフローチャートである。

【図１５】本発明の第２の実施例を示すブロック図であ
る。

【図１６】図１５におけるデータ処理装置の全体の処理
手順を示すフロ−チャ−トである。

【図１７】認識ル−ルのうちシンボル認識ル−ルの他の
例の定義を示す説明図である。

【図１８】認識ル−ルのうち接続線認識ル−ルの他の例
の定義を示す説明図である。

【図１９】認識ル−ルのうちシンボル間接続関係認識ル
−ルの他の例の定義を示す説明図である。

【符号の説明】

１…画像入力装置、２…デ−タ処理装置、３…入力表示
装置、４…出力ファイル、１１…ペン入力装置、２１…
画像デ−タ入力部、２２…画像デ−タ記憶部、２３…デ
−タ変換部、２４…ベクトルデ−タ記憶部、２５ａ…認
識ルール記憶部、２５ｂ…ダイアグラム認識部、２６…
認識中間デ−タ記憶部、２７…認識結果補正部、２８…
認識結果デ−タ記憶部、２９…認識結果記憶部、７０１
…画像デ−タ、８０２…図形テ−ブル、８０７…線分テ
−ブル、１００ａ…シンボル認識ル−ル、１０１０ａ…
フロ−認識ル−ル、１０２０ａ…シンボル間接続関係認
識ル−ル、９００…シンボルテ−ブル、９１０…フロ−
テ−ブル、９２０…文字列テ−ブル、９４０…スタッ
ク、０２５ｂ…ダイアグラム認識部。

フロントページの続き (72)発明者 臼田 裕 神奈川県横浜市中区尾上町６丁目81番地 日立ソフトウェアエンジニアリング株 式会社内 (56)参考文献 特開 平２−71366（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06F 17/50 G06F 9/06 530 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (7)

(57)【特許請求の範囲】
1. 【請求項１】 円形や四角形等の図形によって表現され
   るシンボルと、シンボル間の接続を示す方向性を持った
   接続線と、これらシンボル及び接続線に付与される文字
   列とから構成され、フローチャート、データフローダイ
   アグラムなどの情報処理の仕様記述に用いられるダイア
   グラムを画像データとして入力するダイヤグラム入力手
   段と、 このダイアグラム入力手段から入力されるダイヤグラム
   の認識ル−ルを入力する認識ル−ル入力手段と、 この認識ル−ル入力手段から入力された認識ル−ルを記
   憶する認識ル−ル記憶手段と、 前記ダイアグラム入力手段から入力されたダイヤグラム
   を構成するシンボル、接続線、文字列およびシンボル間
   接続関係を前記認識ル−ル記憶手段に記憶された認識ル
   −ルに基づき認識し、各シンボルの種別および文字列、
   各シンボル間の接続関係を示す論理データとして出力す
   るダイアグラム認識手段と、 このダイアグラム認識手段から出力される論理データを
   所定のファイル形式に変換して出力する変換手段と、か
   ら構成されたダイアグラム認識システム。
2. 【請求項２】 前記ダイアグラム認識手段は、最初に文
   字列の候補となる画像デ−タを分離し、最もダイアグラ
   ムである可能性が高い画像データの集合を最初のダイア
   グラムの候補と設定して認識を開始し、このダイアグラ
   ムの候補に接続される接続線の反対側の図形をシンボル
   として認識する処理を順次行い、この後に各シンボルと
   接続線に付与されている文字列候補を対応付けて認識す
   ることを特徴とする請求項１記載のダイアグラム認識シ
   ステム。
3. 【請求項３】 認識が成功しなかった箇所に対して認識
   結果を補正する補正手段を設けたことを特徴とする請求
   項２記載のダイアグラム認識システム。
4. 【請求項４】 ダイアグラム入力手段は、画像読み取り
   装置で構成したことを特徴とする請求項２記載のダイア
   グラム認識システム。
5. 【請求項５】 ダイアグラム入力手段は、ペンで描画し
   た図形等を画像デ−タとして出力するペン入力装置で構
   成したことを特徴とする請求項２記載のダイアグラム認
   識システム。
6. 【請求項６】 認識ル−ル入力手段は、ダイアグラム入
   力手段を兼用して認識ル−ルを入力することを特徴とす
   る請求項２記載のダイアグラム認識システム。
7. 【請求項７】 ダイアグラム入力手段から入力された画
   像デ−タをベクトル表現の画像デ−タに変換し、ダイア
   グラム認識手段に入力する画像デ−タ変換手段を設けた
   ことを特徴とする請求項３記載のダイアグラム認識シス
   テム。