JPH08166865A - 画面生成方法及びその装置 - Google Patents

Abstract

(57)【要約】 【目的】 紙面上で作成したレイアウト情報をもとに、
自動的にグラフィカルユーザインターフェイス画面を生
成する。 【構成】 ＧＵＩ部品を定義した文字列とＧＵＩ設計図
をイメージスキャナで入力し、イメージバッファに格納
する（S1,2）。次に、メージバッファ上に沿かれた線分
を抽出し、線分画像をベクトル情報に変換する（S3）。
次に、描出されたベクトル情報から矩形線分を抽出し、
ベクトル情報から矩形情報に変換する（S4）。次に、文
字認識を行なって文字イメージをキャラクターコードに
変換する（S5）。次に、キャラクターコードの意図する
ＧＵＩ部品と矩形の対応づけを行う（S6,7）。次に、レ
イアウトエディタで認識結果を確認、修正する（S8）。
次に、矩形の位置情報と対応部品データをもとにコード
ジェネレーターでＧＵＩ言語を生成する（S9）。次に、
生成されたＧＵＩ言語をコンパイルし、ＧＵＩ画面を生
成する（S10）。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画面生成方法及びその
装置に関し、より詳細には、画面レイアウト用の設計図
面から自動グラフィカルユーザインターフェイス画面を
生成する画面生成方法及びその装置に関する。

【０００２】

【従来の技術】グラフィカルユーザインターフェイス
（ＧＵＩ：Graphical User Interface）は、図形の多用
やマウスの使用などにより、視覚的、直観的にわかりや
すく、使いやすいコンピュータ環境を実現する操作のこ
とであり、各種のコマンド（命令）を文字で入力するの
ではなく、マウスを使用して画面のウィンドウ内に表示
されるアイコンやメニューを見ながら選択することによ
り、各種機能を実行できるものである（「コンピュータ
用語辞典」（株）西東社 1991年12月25日発行参照）。

【０００３】Ｘ Window System（米国マサチューセッツ
工科大学の登録商標）を始めとするマルチウィンドウベ
ースのグラフィカルユーザインターフェイスは、表示の
美しさ及びその操作性の良さのため、データベースのア
プリケーションでも広く普及している。また、コンピュ
ータプログラムは、グラフィカルユーザインターフェイ
スの発展に伴い、ますます使い易くなっている。グラフ
ィカルユーザインターフェイスを伴うアプリケーション
プログラムの数の急増は、特にウィンドウズのユーザ環
境の出現によるものである。データベース（data bas
e）は、種々の業務又はユーザが利用できるように結合
化された共用ファイルのことであり、このデータベース
全体の定義をしたものがスキーマ（schema）である。

【０００４】データベースの応用分野において、ユーザ
インターフェイスの設計を容易にするために使用される
幾つかの種類のツールが存在する。その中には、独立型
フォームマネージャ，第四世代言語，グラフィカルユー
ザインターフェイスビルダー，グラフィカルユーザイン
ターフェイス自動生成システム，及び自動レイアウトデ
ザイナー等が含まれている。

【０００５】独立型フォームマネージャは、最小のプロ
グラミング努力で完全なデータベースを生成することが
できる。開発者は、図形エディタでアプリケーション画
面のレイアウトを設計し、対話形装置またはシンプルス
クリプト言語を用いて表示中のフィールドをデータベー
スの対応部分と連結する。この対話モードにより、ユー
ザは、ビジネスフォームに似た画面レイアウトを介して
データベースにアクセスすることが許される。

【０００６】第四世代言語は、フォームマネージャの画
面レイアウト機能を、データベースの呼出しを支援し、
ユーザとアプリケーションインターフェイス間の対話を
制御し、汎用計算を可能にするプログラム言語と結合さ
せる。この第四世代言語は、アプリケーション開発者に
特殊なコードを付加することにより、独立型フォームマ
ネージャの場合の制限の幾つかを取り除いている。

【０００７】グラフィカルユーザインターフェイスビル
ダーと言われる開発支援プログラムは、前述した第四世
代言語と組み合わせて、比較的高性能なユーザインター
フェイスを持つアプリケーションプログラムを作り出す
ために使用される。ユーザが典型的なビジネスフォーム
スタイルにより指示されない方法でデータベースと対話
できるので、フォームマネージャよりグラフィカルユー
ザインターフェイスビルダーの方がインターフェイスの
設計に関しては柔軟性がある。

【０００８】グラフィカルユーザインターフェイスビル
ダーは、通常、例えば、What-You-See-Is-What-You-Get
(WYSIWYG)型のエディタのようなビジュアルデザインツ
ールを幾つか含んでおり、これらを用いて、（１）イン
ターフェイスを構成する（widgetと呼ばれる）インター
フェイスオブジェクトの対話式選択と配置、（２）各イ
ンターフェイスオブジェクトの、例えば、寸法，色及び
字体等の種々の属性に対する付値が可能である。さら
に、ＵＩＭＳ（ユーザインターフェイス管理システム）
もコールバック機能の選択，ユーザ定義コードの付加，
インターフェイス画面表示を実現するために用いられる
コードの生成を考慮している。

【０００９】従来、データベースのスキーマなどから自
動に画面を生成するツールはあったが、イメージから直
接ユーザインターフェイス画面を生成するものはなかっ
た。そのため、描画ツールの手法を利用したユーザイン
ターフェイスビルダーが開発されてきたが、それを利用
してもユーザのラフスケッチや画面のダンプイメージ
（デザイナーの描いた図をそのままプリントアウトした
もの）を紙面上で見ながら位置合わせを行なうといった
作業が必須であった。そこで、この画像認識技術を利用
し、紙面上のラフスケッチや画面のダンプイメージをス
キャナなどで読み込むことで自動的にユーザ画面を生成
することが可能となり、プログラム開発コストの軽減に
貢献できる。

【００１０】従来の実線認識方法と枠認識方法について
記載した公知文献としては、例えば、特開昭５７−１０
４３６３号公報の「枠パターン識別方法」がある。この
公報のものは、スキャナによって原稿面を画素単位で順
次走査，サンプリングすることによって読み取り、かつ
２値化された画像情報に基づき、まず、枠を構成する前
提となる主走査および副走査方向における長線分の抽出
を一定の論理判定にしたがって行わせ、次いで、その抽
出された長線分により、枠が構成されているか否かの論
理判定を行わせるようにしているものである。

【００１１】また、従来の仮想罫線の生成方法について
記載した公知文献としては、例えば、特開平２−２６４
３８６号公報の「表認識方式」がある。この公報のもの
は、文字認識装置における文書画像中の表領域に対する
処理として、表を構成する罫線の位置情報から文字を切
り出す際、両脇に罫線が存在しない表にも対応可能とす
るために、入力された２値画像の表中の各枠内の画像を
切り出し、文字を認識する際、両脇に罫線が存在してい
ない表に対しては、仮想の罫線が自動的に生成される。
従って、対象としている表の両脇に罫線が存在するしな
いにかかわらず、表中の枠を認識し、枠内の画像を切り
出すことが可能になるものである。

【００１２】また、枠内の文字を切り出し、ＯＣＲ（Op
tical Character Reader：光学式文字読取装置）を行う
方法について記載した公知文献としては、例えば、特開
平３−１７２９８４号公報の「表処理方法」がある。こ
の公報のものは、表領域において、主走査方向及び副走
査方向の罫線の矩形を抽出し、罫線によって囲まれる枠
を罫線の矩形の外側の座標を用いて認識し、枠内の黒連
結の外接矩形を求め、枠に接している外接矩形を除去
し、残った外接矩形を用いて枠内の文字を切り出すもの
である。

【００１３】さらに、従来の点線認識方法について記載
した公知文献としては、例えば、特開平４−２９１４７
８号公報の「罫線認識方法及び表処理方法」がある。こ
の公報のものは、点線のような非実線の罫線を含んだ表
に対しても正確な処理を可能にするために、２値画像に
おいて主走査方向または副走査方向の所定ライン数毎に
罫線認識を行うが、この認識の処理においては、まず、
黒画素連結矩形を抽出し、幅及び高さがそれぞれのパラ
メータで指定された範囲内の黒画素連結矩形を罫線候補
として抽出し、注目走査方向の距離がパラメータで指定
された範囲内の隣接罫線候補を統合し、罫線として認識
する。さらに、この段階で罫線として認識されなかった
黒画素連結矩形について、幅，高さ及び注目走査方向の
隣接矩形間距離のヒストグラムを生成し、ヒストグラム
値が一定値を越える幅，高さ及び隣接矩形間距離のそれ
ぞれの範囲を求め、罫線として認識されなかった黒画素
連結矩形のうちで、幅，高さ及び隣接矩形間距離のすべ
てが前記範囲内に含まれる黒画素連結矩形を統合し、罫
線として認識するものである。

【００１４】

【発明が解決しようとする課題】ソフトウェア開発で最
近ユーザインターフェイスが重視されてきている。その
中で特にグラフィカルユーザインターフェイスを用いる
アプリケーションが多くなってきた。最近、画面上でレ
イアウトを行なうことでグラフィカルユーザインターフ
ェイス言語を生成するツールも作成されている。現在、
ソフトウェアの開発で、このグラフィカルユーザインタ
ーフェイスの作成にかかるコストが増大している。その
ため、効率良くグラフィカルユーザインターフェイスを
構築するために、画面設計図からプログラミングをせず
に自動的にグラフィカルユーザインターフェイス画面を
生成することが要求されている。

【００１５】本発明は、このような実情に鑑みてなされ
たもので、紙面上で作成したレイアウト情報あるいはイ
メージファイルに格納されたレイアウト情報をもとに、
グラフィカルユーザインターフェイス画面を生成する画
面生成方法及びその装置を提供することを目的としてい
る。

【００１６】

【課題を解決するための手段】本発明は、上記課題を解
決するために、（１）グラフィカルユーザインターフェ
イス部品を定義した文字列及び設計図をイメージスキャ
ナで入力してイメージバッファに格納し、該イメージバ
ッファ上に描かれた線分を抽出して線分画像をベクトル
情報に変換し、該ベクトル情報から矩形線分を抽出して
矩形情報に変換し、矩形情報に対応した文字列との文字
認識を行って文字イメージをキャラクタコードに変換
し、該キャラクタコードと前記矩形情報との対応づけを
行い、レイアウトエディタで認識結果を認識，修正する
こと、或いは、（２）原画像を入力してイメージバッフ
ァに格納する入力部と、該入力部により入力された原画
像に基づいてのグラフィカルユーザインターフェイス部
品のレイアウトを抽出するレイアウト抽出部と、該レイ
アウト抽出部により抽出されたグラフィカルユーザイン
ターフェイス部品とその位置サイズ情報とからレイアウ
トを編集するレイアウト編集部と、該レイアウト編集部
の確認，修正により、グラフィカルユーザインターフェ
イス画面を生成する画面生成部とを有し、グラフィカル
ユーザインターフェイス設計図から自動的にグラフィカ
ルユーザインターフェイス画面を生成すること、更に
は、（３）前記（２）において、前記レイアウト抽出部
は、前記イメージバッファに描かれた線分を抽出してベ
クトル情報に変換する線分認識部と、該線分認識部によ
るベクトル情報から矩形線分を抽出して矩形情報に変換
し、該矩形情報に基づいて矩形を判別する矩形判別部
と、該矩形判別部により判別された矩形と、該矩形の位
置情報に対応した文字列とを認識する文字認識部とから
成ること、更には、（４）前記（２）において、前記文
字認識部により認識された文字列と矩形の位置情報とを
照合する照合部を有し、グラフィカルユーザインターフ
ェイス部品がどの位置にレイアウトされるかを判断する
こと、更には、（５）前記（２）において、前記グラフ
ィカルユーザインターフェイス部品を定義した文字列や
形状を予め登録しておく登録部を有することを特徴とし
たものである。

【００１７】

【作用】前記構成を有する本発明の画面生成装置は、
（１）グラフィカルユーザインターフェイスの使用部品
を定義した文字列と、グラフィカルユーザインターフェ
イスの設計図をイメージスキャナで入力してイメージバ
ッファに格納し、該イメージバッファ上に描かれた線分
を抽出して線分画像をベクトル情報に変換し、該ベクト
ル情報から矩形線分を抽出して矩形情報に変換し、前記
文字列の文字認識を行って文字イメージをキャラクタコ
ードに変換し、該キャラクタコードと前記矩形情報との
対応づけを行い、レイアウトエディタで認識結果を認
識，修正するようにしたので、従来作成コストのかかる
グラフィカルユーザインターフェイスの作成コストが軽
減されるばかりでなく、ユーザインターフェイス言語を
知らないデザイナーたちによって作成された画像レイア
ウト設計図をもとに、ユーザインターフェイスの画面作
成が行なえる。また、試作レベルでさまざまなグラフィ
カルユーザインターフェイスの原案を実際のものとして
起動することができる。

【００１８】（２）原画像を入力してイメージバッファ
に格納する入力部と、該入力部により入力された原画像
に基づいてのグラフィカルユーザインターフェイス部品
のレイアウトを抽出するレイアウト抽出部と、該レイア
ウト抽出部により抽出されたグラフィカルユーザインタ
ーフェイス部品とその位置サイズ情報とからレイアウト
を編集するレイアウト編集部と、該レイアウト編集部に
よる確認，修正によりグラフィカルユーザインターフェ
イス画面を生成する画面生成部とを有し、グラフィカル
ユーザインターフェイス設計図から自動的にグラフィカ
ルユーザインターフェイス画面を生成するように構成し
たので、前記（１）の効果に加え、グラフィカルユーザ
インターフェイス画面の生成を自動化装置として実現す
ることができる。

【００１９】（３）レイアウト抽出部が、線分認識部と
矩形判別部と文字認識部とから構成され、イメージスキ
ャナなどの入力手段で入力された原画像から自動的にグ
ラフィカルユーザインターフェイス画面を作成すること
ができる。 （４）前記文字認識部により認識された文字列と矩形位
置情報とを照合する照合部を有し、グラフィカルユーザ
インターフェイス部品がどの位置にレイアウトされるか
を判断するようにしたので、グラフィカルユーザインタ
ーフェイス部品をどの位置にレイアウトするかの判断が
容易になる。 （５）前記グラフィカルユーザインターフェイス部品を
定義した文字列や形状を予め登録しておく登録部を有す
るので、プッシュボタン，トグルスイッチ，スプールバ
ーなどのグラフィカルユーザインターフェイス部品の形
状や定義文字列を予め登録しておくことができ、必要に
応じて新らしいグラフィカルユーザインターフェイス部
品の追加，変更が容易である。

【００２０】

【実施例】実施例について、図面を参照して以下に説明
する。図１は、本発明による画面生成方法を説明するた
めのフローチャートである。以下、各ステップ（S）に
従って順に説明する。ＧＵＩで生成できる各部品（プッ
シュボタン、トグルスイッチ、スクロールバーなど）
は、その形状や定義文字列を、あらかじめ登録してお
く。その記載方法にしたがってユーザは、紙面上でＧＵ
Ｉをデザインする。

【００２１】ステップＳ1,2：ＧＵＩ部品を定義した文
字列とＤＴＰ（Ｄｅｓｋ Ｔｏｐ Ｐｕｂｌｉｓｈｉｎ
ｇ）や定規を使用し描かれたＧＵＩ設計図、すなわち原
画像をイメージスキャナで入力し、ビットマップイメー
ジとしてホストのイメージバッファに格納する。該イメ
ージバッファ上のイメージに対し、線分認識の精度をあ
げるために、スキュー（傾き）補正やノイズ除去を必要
に応じて実行する。図２（ａ）は、イメージスキャナで
入力される原画像である。ステップＳ３ ：前記イメージバッファ上に沿かれた線分
を抽出し、線分画像をベクトル情報に変換する（図２
（ｂ））。現在、開発されている表処理（表構造を認識
するモジュール）とラスターベクター変換モジュールを
利用する。また、単純な形状（丸や矢印）に関しては、
パターンマッチング技法を利用し、その形状を判断す
る。この段階で、イメージ（ラスター情報）がベクター
情報、および形状を表記するキャラクタ情報に変換され
る。

【００２２】ステップＳ４：描出されたベクトル情報か
ら矩形線分を抽出し、ベクトル情報から矩形情報に変換
する（図２（ｃ））。形状認識されていないベクトル情
報に関しては、その形状を判定する必要がある。そこ
で、ベクトル情報をもとに、あらかじめＧＵＩ部品とし
て登録された形状を抽出する。登録された形状は、すべ
て矩形情報であり、それに付随するパターンマッチング
情報や文字列情報から、定義されているＧＵＩ部品を判
定する。その際に、線画像の掠れや潰れに注意し、ベク
トルの連結情報から矩形を判断する。ステップＳ５ ：文字認識を行なって文字イメージをキャ
ラクターコードに変換する（図２（ｄ））。ベクトル情
報の抽出の際、文字分離機能で分離された文字は、ＯＣ
Ｒ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅ
ｒ：光学式文字読取装置）で認識して文字列化し、さら
に位置情報を抽出する。

【００２３】ステップＳ6,7：キャラクターコードの意
図するＧＵＩ部品と矩形の対応づけを行う。矩形の位置
情報をＧＵＩ各部品の位置情報として格納し、それぞれ
の矩形情報に対応した文字列と形状からＧＵＩのいずれ
の部品に対応するかを判断する。この段階で各ＧＵＩ部
品がどの位置にレイアウトされているか判断される。Ｇ
ＵＩ部品を定義した文字列と形状は予め登録しておき、
必要に応じてＧＵＩ部品に対応して再登録することがで
きる。本実施例においては、図２（ａ）からも明らかな
ように、「Button」「Text」などを登録してあるが、矩
形の大きさとの関係で矩形内に文字列が入らないような
場合には、例えば、ユーザが「Button」を「Ｂ」、「Te
xt」を「Ｔ」、「Text Field」を「ＴＦ」などと略語で
定義しておく。文字列「Ｂ」と矩形の位置情報との対応
から、「Button」のＧＵＩ部品がどの位置にレイアウト
されるかが判断され、ＧＵＩ画面が生成されることにな
る。

【００２４】ステップＳ８：レイアウトエディタで認識
結果を確認、修正する（図２（ｅ））。この段階で、図
面に描かれた各部品とその位置サイズ情報が生成されて
いるので、既存のＧＵＩビルダーなどのＧＵＩ作成ツー
ル上のエディタ部で確認、修正が行なえる。ステップＳ９ ：矩形の位置情報と対応部品データをもと
にコードジェネレータでＧＵＩ言語を生成する。ステップＳ10 ：生成されたＧＵＩ言語をコンパイルし、
ＧＵＩ画面を生成する（図２（ｆ））。

【００２５】図３は、本発明による画面生成装置の一実
施例を説明するための構成図で、図中、１は入力部、２
はレイアウト抽出部、３は線分認識部、４は矩形判別
部、５は文字認識部、６は照合部、７は登録部、８は編
集部、９は画面生成部である。

【００２６】デザイナーなどが紙面上に描いたＧＵＩ設
計図をイメージスキャナなどの入力手段により入力部１
で入力し、イメージバッファに格納する。紙面上に直接
描かれたＧＵＩ設計図をイメージスキャナで読み取る他
に、ファクシミリなどで受信したイメージファイルをイ
メージバッファに格納してもよい。

【００２７】図２（ａ）に示すような原画像をイメージ
スキャナなどの入力手段により入力したあと、レイアウ
ト抽出部２によりＧＵＩ部品のレイアウトを抽出する。
すなわち、図２（ａ）に示す原画像の「Button」「Tex
t」などのレイアウトを抽出する。該レイアウト抽出部
２は、線分認識部３と矩形判別部４と文字認識部５と照
合部６と登録部７とから成っている。線分認識部３は、
前記イメージバッファに描かれた線分を抽出してベクト
ル情報に変換する。矩形判別部４は、前記線分認識部３
によるベクトル情報から矩形，線分を抽出して矩形情報
に変換し、該矩形情報に基づいて矩形を判別する。

【００２８】文字認識部５は、前記矩形判別部４により
判別された矩形と、該矩形の位置情報に対応した文字列
とを認識する。照合部６は、前記文字認識部５により認
識された文字列と矩形位置情報とを照合してレイアウト
情報を得る。登録部７は、ＧＵＩ部品を定義した文字列
や形状を予め登録しておき、必要に応じて再登録してお
く。このように、前記レイアウト抽出部２により抽出さ
れたＧＵＩ部品とその位置サイズ情報からレイアウトを
編集部８により編集し、ＧＵＩ画面を画面生成部９で生
成する。

【００２９】なお、図２（ａ）に示した原画像には、
「Text」の名称を付すラベルについては描かれていない
が、このラベルについても矩形のサイズを決めてレイア
ウトすることができることは、もちろんである。また、
本実施例においては、矩形の形状を用いているが、これ
は、ＸＹの位置座標を得やすいために用いているもの
で、丸型や菱型などの形状を用いてもよい。しかしなが
ら、この場合には、位置座標を決めるのが難かしいた
め、パターンマッチングの技術を用いなくてはならな
い。すなわち、本実施例においては、文字認識により矩
形判別を行っているが、パターンマッチングにより矩形
以外の形状に適用することも可能である。さらに、ＧＵ
Ｉ画面のレイアウトを専門のデザイナーに紙面上に描い
てもらい、そのＧＵＩ設計図面から自動的にＧＵＩ画面
を生成するものであるが、ＧＵＩ設計図面に限定される
ことなく、その他の原画像から種々の画面編集に利用で
き、異機種間のコンバータとしての利用も可能である。

【００３０】

【発明の効果】以上の説明から明らかなように、本発明
によると、以下のような効果がある。 （１）請求項１に対応する効果：グラフィカルユーザイ
ンターフェイス部品を定義した文字列及び設計図とをイ
メージバッファに格納し、線分画像をベクトル情報に変
換し、該ベクトル情報から矩形情報に変換し、矩形情報
に対応した文字列との文字認識を行って前記矩形情報と
の対応づけを行い、レイアウトエディタで認識結果を認
識，修正するようにしたので、グラフィカルユーザイン
ターフェイスの作成コストが軽減されるばかりでなく、
ユーザインターフェイス言語を知らないデザイナーたち
によって作成された画像レイアウト設計図をもとに、ユ
ーザインターフェイスの画面作成が行なえる。また、試
作レベルでさまざまなグラフィカルユーザインターフェ
イスの原案を実際のものとして起動することができる。 （２）請求項２に対応する効果：原画像を入力してイメ
ージバッファに格納する入力部と、該入力部により入力
された原画像に基づいてのグラフィカルユーザインター
フェイス部品のレイアウトを抽出するレイアウト抽出部
と、該レイアウト抽出部により抽出されたグラフィカル
ユーザインターフェイス部品とその位置サイズ情報とか
らレイアウトを編集するレイアウト編集部と、該レイア
ウト編集部の確認，修正により、グラフィカルユーザイ
ンターフェイス画面を生成する画面生成部とを有し、グ
ラフィカルユーザインターフェイス設計図から自動的に
グラフィカルユーザインターフェイス画面を生成するよ
うに構成したので、前記（１）の効果に加え、グラフィ
カルユーザインターフェイス画面の生成を自動化装置と
して実現することができる。 （３）請求項３に対応する効果：レイアウト抽出部が線
分認識部と矩形判別部と文字認識部とから構成され、イ
メージスキャナなどの入力手段で入力された原画像から
自動的にグラフィカルユーザインターフェイス画面を作
成することができる。 （４）請求項４に対応する効果：前記文字認識部により
認識された文字列と矩形の位置情報とを照合する照合部
を有し、グラフィカルユーザインターフェイス部品がど
の位置にレイアウトされるかを判断するようにしたの
で、グラフィカルユーザインターフェイス部品をどの位
置にレイアウトするかの判断が容易になる。 （５）請求項５に対応する効果：前記グラフィカルユー
ザインターフェイス部品を定義した文字列や形状を予め
登録しておく登録部を有するので、プッシュボタン，ト
グルスイッチ，スプールバーなどのグラフィカルユーザ
インターフェイス部品の形状や定義文字列を予め登録し
ておくことができ、必要に応じて新らしいグラフィカル
ユーザインターフェイス部品の追加，変更が容易であ
る。

【図面の簡単な説明】

【図１】 本発明による画面生成方法を説明するための
フローチャートである。

【図２】 図１におけるフローチャートの各ステップに
対応する画面表示を示す図である。

【図３】 本発明による画面生成装置の一実施例を説明
するための構成図である。

【符号の説明】

１…入力部、２…レイアウト抽出部、３…線分認識部、
４…矩形判別部、５…文字認識部、６…照合部、７…登
録部、８…編集部、９…画面再生部。

Claims (5)

【特許請求の範囲】
1. 【請求項１】 グラフィカルユーザインターフェイス部
   品を定義した文字列及び設計図をイメージスキャナで入
   力してイメージバッファに格納し、該イメージバッファ
   上に描かれた線分を抽出して線分画像をベクトル情報に
   変換し、該ベクトル情報から矩形線分を抽出して矩形情
   報に変換し、矩形情報に対応した文字列との文字認識を
   行って文字イメージをキャラクタコードに変換し、該キ
   ャラクタコードと前記矩形情報との対応づけを行い、レ
   イアウトエディタで認識結果を認識，修正することを特
   徴とする画面生成方法。
2. 【請求項２】 原画像を入力してイメージバッファに格
   納する入力部と、該入力部により入力された原画像に基
   づいてのグラフィカルユーザインターフェイス部品のレ
   イアウトを抽出するレイアウト抽出部と、該レイアウト
   抽出部により抽出されたグラフィカルユーザインターフ
   ェイス部品とその位置サイズ情報とからレイアウトを編
   集するレイアウト編集部と、該レイアウト編集部の確
   認，修正により、グラフィカルユーザインターフェイス
   画面を生成する画面生成部とを有し、グラフィカルユー
   ザインターフェイス設計図から自動的にグラフィカルユ
   ーザインターフェイス画面を生成することを特徴とする
   画面生成装置。
3. 【請求項３】 前記レイアウト抽出部は、前記イメージ
   バッファに描かれた線分を抽出してベクトル情報に変換
   する線分認識部と、該線分認識部によるベクトル情報か
   ら矩形線分を抽出して矩形情報に変換し、該矩形情報に
   基づいて矩形を判別する矩形判別部と、該矩形判別部に
   より判別された矩形と、該矩形の位置情報に対応した文
   字列とを認識する文字認識部とから成ることを特徴とす
   る請求項２記載の画面生成装置。
4. 【請求項４】 前記文字認識部により認識された文字列
   と矩形の位置情報とを照合する照合部を有し、グラフィ
   カルユーザインターフェイス部品がどの位置にレイアウ
   トされるかを判断することを特徴とする請求項２記載の
   画面生成装置。
5. 【請求項５】 前記グラフィカルユーザインターフェイ
   ス部品を定義した文字列や形状を予め登録しておく登録
   部を有することを特徴とする請求項２記載の画面生成装
   置。