JPH07262371A - 分散型画像処理装置 - Google Patents

分散型画像処理装置

Info

Publication number
JPH07262371A
JPH07262371A JP6046824A JP4682494A JPH07262371A JP H07262371 A JPH07262371 A JP H07262371A JP 6046824 A JP6046824 A JP 6046824A JP 4682494 A JP4682494 A JP 4682494A JP H07262371 A JPH07262371 A JP H07262371A
Authority
JP
Japan
Prior art keywords
data
mask
contour
teacher data
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6046824A
Other languages
English (en)
Other versions
JP3574170B2 (ja
Inventor
Shoichi Kuboyama
庄一 窪山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP04682494A priority Critical patent/JP3574170B2/ja
Priority to US08/380,692 priority patent/US5615324A/en
Priority to DE19507780A priority patent/DE19507780B4/de
Publication of JPH07262371A publication Critical patent/JPH07262371A/ja
Application granted granted Critical
Publication of JP3574170B2 publication Critical patent/JP3574170B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/40Filling a planar surface by adding surface attributes, e.g. colour or texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Computer And Data Communications (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【目的】ワークステーションでの処理対象が間引き画像
データであってもサーバ側で高精度のマスクパターンを
生成でき、コスト低減とシステム性能を向上する。 【構成】実画像データを格納したデータベース14を管
理する画像管理ユニット(サーバ)12に、通信回線1
6を介して処理ユニット(WS)10を接続する。処理
ユニット10の教師データ作成手段18は、データベー
ス14に格納している実画像データ34から得た間引き
画像データ36を対象に、物体輪郭を示すマスク教師デ
ータ40を作成してサーバとしての画像管理ユニット1
2に転送する。画像管理ユニット12のマスクデータ作
成手段30は、転送されたマスク教師データ40を基準
(ガイダンス)にデータベース14の実画像データ34
から物体輪郭を示すマスクデータ42を作成する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、画像データから画像合
成や色調整に使用するマスクデータを作成する画像処理
装置に関し、特に、サーバクライアントシステム等の分
散処理によって効率よくマスクデータを作成する分散型
画像処理装置に関する。近年、メモリ素子の高集積化、
プロセッサの高速化、高解像度ディスプレイ、高解像度
プロッタ、カラープリント等の高機能デバイスの出現に
より、カラー画像データの合成、色変換等の各種の編集
処理が、データベースに格納された画像データを対象に
ワークステーションやパーソナルコンピュータ単体で処
理を可能とするディスク・トップ・パブリッシュメント
(DTP)として実現しつつある。
【0002】この場合に問題となるのが、画像編集にお
ける物体切出しに使用するマスクデータの生成である。
即ち、画像の編集作業では、画像に合わせた各種の切り
抜き用マスクデータが必要となり、このマスクデータの
生成には、精度と処理の高速化およびオペレータによる
生成の容易性が課題となっている。
【0003】
【従来の技術】図32は、従来のサーバクライアント・
システムを対象としたマスクデータ生成のための分散処
理を示す。図32において、処理マシンとしてのワーク
ステーション210は、ローカルエリアネットワーク
(LAN)216を介してサーバユニット212に接続
されている。サーバユニット212は実画像データを格
納したデータベース214を管理している。ワークステ
ション210には、プロセッサで実現されるマクデータ
処理部218、内部メモリ220、マウス222、キー
ボード224、フレームメモリ226およびカラーディ
スプレイ228が設けられる。
【0004】従来のマスクデータの生成は次のようにし
て行われる。ワークステーション210のオペレータが
サーバユニット212に対し処理対象とする画像データ
の転送を要求すると、サーバユニット212はデータベ
ース214の実画像データを選択して読出し転送してく
る。この時、サーバユニット212から実画像データを
そのまま転送することは、ワークステーション上の内部
メモリを大容量としなければならず、システム価格の増
加を引き起こす。
【0005】また画像データの転送に時間がかかりシス
テム性能も低下する。更に、実画像データの解像度に対
し、通常、ワークステショーン210のカラーディスプ
レイ228の解像度が低く、実画像データを送っても低
い解像度でしか表示できず無駄になる。このような理由
から、サーバユニット212にあっては、実画像データ
を間引き処理した間引き画像データをワークステーショ
ン210に転送している。
【0006】間引き画像データの転送を受けたワークス
テーション210にあっては、内部メモリ220に格納
された間引き画像データを対象に、マクスデータ作成処
理部218が必要なマスクデータの生成処理を実行す
る。マクスデータの作成処理は、ディスクプレイ228
上に表示された画像を対象に物体の輪郭を1画素ずつ指
定するマニアル操作もある。
【0007】しかし、オペレータの負担が大きいことか
ら、境界画素の差分変化を利用した差分法や、境界部分
での物体色から背景色への混色比率を利用した混色法な
どにより輪郭を探索してマスクデータを自動的に生成す
るアルゴリズムも実現されている。ワークステーション
210でマスクデータが生成できたならば、これをサー
バユニット212に送ってデータベース214に格納す
る。
【0008】
【発明が解決しようとする課題】しかしながら、このよ
うな間引き画像データを用いた従来のマスクパターンの
生成処理にあっては、次の問題がある。画像合成や色調
整におけるマスクデータを用いた物体画像の切出しは、
精度を得るために実画像データを対象にサーバユニット
212で行われる。しかし、マスクデータ切出しに使用
されるマスクデータは、間引き画像データから作成され
たデータであり、実画像データの物体輪郭との間にはず
れがあり、切出し精度に問題を生ずる。
【0009】これを解決するためマスクデータに補間処
理を施した後に実画像データの切出しに使用することも
考えられるが、補間により誤差が完全に解消することに
ならない。したがってマスクデータを用いた高精度の切
出しを可能とするためには、ワークステーションに実画
像データを送ってマスクデータを生成せざるを得ず、メ
モリサイズの増加と画像データのロード伝送に時間を要
し、分散処理とした場合のコストが増加すると共に、シ
ステム性能の低下を招くことになる。
【0010】本発明の目的は、ワークステーションでの
処理対象が間引き画像データであってもサーバ側で高精
度のマスクパターンを生成でき、コストの低減とシステ
ム性能の向上が図れる分散型画像処理装置を提供する。
【0011】
【課題を解決するための手段】図1は本発明の原理説明
図である。まず本発明の分散型画像処理装置は、少くと
も実画像データを格納したデータベース14を管理する
画像管理ユニット12に、通信回線16を介して処理ユ
ニット10を接続したシステム構成をとる。
【0012】具体的には、画像管理ユニット12をサー
バ、前期処理ユニット10をクライアントとしてサーバ
クライアントシステムを構成する。またクライアントを
ワークステーションとしてローカルエリアネットワーク
によりサーバと接続する。ワークステーションを用いた
処理ユニット10には、データベース14に格納してい
る実画像データ34から得た間引き画像データ36を対
象に、物体輪郭を示すマスク教師データ40を作成して
サーバとしての画像管理ユニット12に転送する教師デ
ータ作成手段18を設ける。
【0013】またサーバとしての画像管理ユニット12
には、教師データ作成手段18から転送されたマスク教
師データ40を基準(ガイダンス)にデータベース14
の実画像データ34から物体輪郭を示すマスクデータ4
2を作成するマスクデータ作成手段30を設ける。デー
タベース14には、実画像データ34から得られた間引
き画像データ36を予め格納しておくことが望ましい。
【0014】ワークステーションの教師データ作成手段
18は、間引き画像データ36を対象に、オペレータの
指示に従って物体輪郭を示すマスク教師データを作成す
る(マニアルモード)。また教師データ作成手段18
は、間引き画像データ36を対象に、自動的に物体輪郭
を示すマスク教師データを作成する(完全自動モー
ド)。更に、教師データ作成手段18は、間引き画像デ
ータ36を対象に、オペレータが指示した輪郭情報に基
づいて自動的に物体輪郭を示すマスク教師データを作成
する(半自動モード)。
【0015】オペレータの介入による半分自動モードに
は、次の3つがある。 教師データ作成手段18は、オペレータが指示した対
象物体の輪郭付近を示す指示点に基づいて境界点を検出
し、検出した境界点から順次輪郭上の境界点を探索して
物体輪郭を示すマスク教師データを作成する。 教師データ作成手段18は、オペレータが指示した対
象物体の輪郭を含む境界領域内を探索して物体輪郭を示
すマスク教師データを作成する。
【0016】教師データ作成手段18は、オペレータ
が指示した対象物体の輪郭付近を示す複数の指示点情報
に基づいて各々の境界点を検出し、検出した複数の境界
点を結ぶ経路に従って順次輪郭上の境界点を探索して物
体輪郭を示すマスク教師データを作成する。教師データ
作成手段18による自動探索には、差分法と混色法があ
る。差分法は、輪郭領域における画素データの差分値に
基づいて境界点を探索して物体輪郭を示すマスク教師デ
ータを作成する。通常、差分ピーク値が得られた点が境
界点となる。
【0017】混色法は、対象物体の物体色と背景色に基
づいて境界部分での1〜0の範囲の混色比率を計算し、
規定の混色比率、例えば0.5が得られる境界点を探索
して物体輪郭を示すマスク教師データを作成する。教師
データ作成手段18は、ディスプレイ28に表示された
間引き画像データ上に、探索されたマスク教師データを
重ね合せ表示し、オペレータにより異常探索を監視可能
とする。また教師データ作成手段18は、ディスプレイ
に表示されたマスク教師データをオペレータの指示に基
づいて修正する編集機能を備える。
【0018】間引き画像データを使用せずにマスク教師
データを作成する方法として本発明は、対象物体のオリ
ジナル形状データを使用することもできる。即ち、デー
タベース14に実画像データ34に加えてマスクデータ
の作成対象とする物体形状を示す1又は複数のオリジナ
ル形状データ38を格納しておく。処理ユニット10に
設けた教師データ作成手段18は、データベース14の
実画像データ34から得た間引き画像データ36の中の
輪郭を検出する対象物体に適合するオリジナル形状デー
タ38をマスク教師データ40として選択してサーバユ
ニット12に通知する。
【0019】画像管理ユニット12に設けたマスクデー
タ作成手段30は、教師データ作成手段18から転送さ
れたマスク教師データ(オリジナル形状データ)40を
基準(ガイダンス)にデータベース14の実画像データ
34から物体輪郭を示すマスクデータ42を作成する。
使用するオリジナル形状データを選択させるため、教師
データ作成手段18は、ディスプレイ28に表示された
間引き画像データ上に、選択したオリジナル形状データ
を重ね合せ表示してオペレータにより適合性を判断させ
る。
【0020】サーバとしての画像管理ユニット12に設
けたマスクデータ作成手段30は、実画像データ34を
対象に、ワークステーション側から転送されたマスク教
師データ40に基づいて自動的に物体輪郭を示すマスク
データ34を作成する。
【0021】
【作用】本発明の分散型画像処理装置によれば、間引き
画像データをワークステーションに転送してマスク教師
データを生成してサーバに戻し、マスク教師データをガ
イダンスに実画像データからマスクデータを生成する。
このため、ワークステーションとサーバとの処理を完全
に独立させ、しかもワークステーションのメモリ容量は
少なくデータ転送時間も短くてよい。
【0022】即ち、ワークステーションでは間引き画像
データという小容量のデータを扱うことで、オペレータ
へのスループットを向上できる。またサーバは教師デー
タをガイダンスに輪郭探索を行ってマスクデータを生成
するため、オペレータの直接介入がなくとも、異常な輪
郭検出を起すことなく高精度のマスクデータを生成で
き、マスクデータを用いた画像構成や色調整での切出し
精度を保証できる。
【0023】
【実施例】
<目次> 1.装置構成と機能 2.分散処理によるマスク教師データの作成 3.半自動によるマスク教師データの作成処理 4.境界点検出処理の第1実施例 5.境界点検出処理の第2実施例 6.輪郭検出処理によるマスク教師データ作成処理の第
1実施例 7.輪郭検出によるマスク教師データ作成処理の第2実
施例 8.輪郭検出によるマスク教師データ作成処理の第3実
施例 9.実画像データからのマスクデータの作成処理 10.その他 1.装置構成と機能 図2は本発明の分散型画像処理装置のハードウェア構成
の実施例を示す。クライアントとして機能するワークス
テーション10は、ローカルエリアネットワーク(LA
N)16を介してサーバユニット12と接続されてい
る。画像管理ユニットとして機能するサーバユニット1
2には各種の実画像データを格納したデータベース14
が設けられる。
【0024】ワークステーション10はCPU44を内
蔵し、CPU44の内部バスにROM46、RAM4
8、マウス22を接続したデバイスインタフェース5
0、キーボード24を接続したデバイスインタフェース
52、フレームメモリ26、カラーディスプレイ28を
制御するCRTコントローラ54、および通信インタフ
ェース56を備えている。
【0025】サーバユニット12はCPU58を備え、
CPU58の内部バスにROM60、RAM62、実画
像データを入力するための画像入力装置65を接続する
画像入力インタフェース64、データベース14を接続
する入出力インタフェース66、および通信インタフェ
ース68を設けている。サーバユニット12に接続した
画像入力装置65としては、例えばイメージスキャナな
どが使用される。イメージスキャナは写真や印刷物など
の画像情報を読み捕って、RGB信号あるいはYUV信
号などのカラー信号として実画像データを入力する。
【0026】図3は本発明の分散画像処理装置の機能を
示したブロック図である。図3において、サーバユニッ
ト12に設けたデータベース14には実画像データ34
が格納されている。この実画像データ34は、図2に示
したイメージスキャナなどの画像入力装置64の性能で
決まる高い分解能をもっている。例えば実画像データは
400dpiの分解能となる。
【0027】これに対し、ワークステーション10に設
けているカラーディスプレイ28の表示分解能は、その
半分の200dpiとなる。データベース14には実画
像データ34の間引き処理により得られた間引き画像デ
ータ36−1が格納されている。例えば実画像データ3
4が400dpiであった場合、1画素ずつ間引いて2
00dpiの間引き画像データ36−1を得ている。
【0028】更にデータベース14には、マスク教師デ
ータとして直接選択使用することのできるオリジナル形
状データ38が格納されている。オリジナル形状データ
38は、実画像データ34に含まれている切出し対象と
なる物体画像の輪郭を表わす3次元データである。この
オリジナル形状データ38は3次元座標変換処理により
位置、サイズ(拡大縮小)を変更することができ、実画
像データ34に含まれている物体に適合可能な基礎デー
タとなる。更にデータベース14には、サーバユニット
14で最終的に生成されたマスクデータ42も格納され
る。
【0029】ワークステーション10には図2に示した
CPU44によるプログラム制御により教師データ作成
処理部18の機能が実現される。教師データ作成処理部
18はマウス22およびキーボード24を用いたオペレ
ータの指示に従い、サーバユニット12にマスクデータ
の生成対象となる間引き画像データの転送を要求し、内
部メモリ20に転送された間引き画像データ36−2を
格納させる。
【0030】間引き画像データ36−2が得られると、
教師データ作成処理部18は間引き画像データ36−2
をフレームメモリ26に転送してカラーディスプレイ2
8に表示した状態でマスク教師データの作成処理を実行
する。教師データ作成処理部18によるマスク教師デー
タの作成処理には、次の4つのモードがある。 モード1:完全手動 モード2:完全自動 モード3:半自動 モード4:形状指定 教師データ作成処理部18で作成処理が済むと、内部メ
モリ20にマスク教師データ40−1が得られ、このマ
スク教師データ40−1をサーバユニット12に送って
マスクデータの作成処理を依頼する。
【0031】サーバユニット12には、図2に示したC
PU58のプログラム制御により実現される機能として
マスクデータ作成処理部30が設けられる。マスクデー
タ作成処理部30は、ワークステーション10からの間
引き画像データの転送要求に対するデータ転送処理、お
よびワークステーション10から内部メモリ32に転送
されたマスク教師データ40−2に基づくマスクデータ
作成処理を実行する。
【0032】マスクデータ作成処理部30によるマスク
データの作成処理は、データベース14の実画像データ
34を対象に、ワークステーション10から送られた内
部メモリ32のマスク教師データ40−2をガイダンス
として対象物体の輪郭を自動的に探索して、マスクデー
タ42を生成する。データベース14のオリジナル形状
データ38を使用した教師データの作成は、ワークステ
ーション10に対し間引き画像データ36−2に加えて
オリジナル形状データ38を送り、カラーディスプレイ
28上に表示した間引き画像データに対し複数のオリジ
ナル形状データを選択してオペレータが重ね合せ表示す
ることで、マスクパターンを作成する対象物体に適合し
たオリジナル形状データをマスク教師データ40−1と
して選択することになる。 2.分散処理によるマスク教師データの作成 図4は図3のワークステーション10とサーバユニット
12における分散画像処理を示している。図4におい
て、まずワークステーション10はステップS1で、処
理対象とする間引き画像データの転送要求をサーバユニ
ット12に対し行う。この転送要求を受けてサーバユニ
ット12は、ステップS101で、データベース14か
ら間引き画像データを読み出してワークステーション1
0に転送する。
【0033】サーバユニット12からの間引き画像デー
タの転送を受けたワークステーション10は、ステップ
S2で、内部メモリ20に格納した間引き画像データを
使用して教師データの作成処理を実行する。教師データ
が作成されると、ステップS3でサーバユニット12に
転送して、同時にマスクデータの作成を依頼する。この
ワークステーション10からの教師データの転送とマス
クデータの作成依頼を受けて、サーバユニット12はス
テップS102で、教師データをガイダンスとして使用
し実画像データからマスクデータを作成する。
【0034】図5は図4のステップS2に示したワーク
ステーション10における間引き画像を使用した教師デ
ータの作成処理の詳細を示している。図5において、ま
ずステップS1で、内部メモリから間引き画像を読み出
し、フレームメモリ26に展開してカラーディスプレイ
28上に表示可能とする。続いてステップS2で、作業
モードの指定を判別する。この実施例にあっては、モー
ド1の完全手動、モード2の完全自動、モード3の半自
動およびモード4の形状指定のいずれかが作業モードと
して選択できる。
【0035】オペレータがモード1の完全手動を選択す
ると、ステップS3に進み、オペレータがマウス22ま
たはキーボード24を使用し、カラーディスプレイ28
上に表示された間引き画像を対象に、教師データを作成
する物体の輪郭画素を1つ1つ指定して教師データを作
成する。オペレータがモード2の完全自動を指定した場
合には、ステップS4に進み、自動的に輪郭画素を抽出
して教師データを作成する。自動的に行う輪郭画素の検
出法としては、境界部分の画素値の差分を計算して差分
ピーク値が得られる位置を輪郭点とする方法、あるいは
物体色から背景色に至る境界領域での1〜0の混色比率
を計算し、例えば0.5の画素を輪郭画素とする混色法
を用いる。
【0036】またオペレータがモード3の半自動を指定
した場合には、オペレータによる大まかな輪郭の指定を
利用して自動的に輪郭画素を抽出し、教師データを作成
する。このモード3の半自動におけるオペレータの大ま
かな指定を利用した教師データの作成は、図9〜図30
を用いて詳細に説明される。更に、オペレータがモード
4の形状指定を選択した場合には、ステップS6に進
み、カラーディスプレイ28を利用してオペレータが選
択したオリジナル形状を教師データとする。
【0037】図6は図5のモード2の完全自動における
教師データの生成と、生成した教師データを用いたマス
クデータの作成処理を示している。図6において、オペ
レータの指示に基づきワークステーション10からの転
送要求を受けたサーバユニット12は、に示すよう
に、データベース14の間引き画像データ36−1を読
み出してワークステーション10の内部メモリ20に間
引き画像データ36−2として格納する。この間引き画
像データ36−2はフレームメモリ26に展開され、カ
ラーディスプレイ28に表示される。
【0038】続いて教師データ作成処理部18が起動
し、内部メモリ20の間引き画像データ30を対象に自
動的に輪郭追跡処理を行って、マスク教師データを作成
する。このとき自動追跡処理の過程で得られるマスク教
師データをリアルタイムでカラーディスプレイ28に表
示し、これをオペレータが監視して、もし異常が生じた
場合には、に示すように、マウス22の操作やキーボ
ード24による操作で修正を施す。最終的に作成された
マスク教師データ40−1は、に示すように、内部メ
モリ20に格納され、更にに示すようにサーバユニッ
ト12の内部メモリ32に転送される。
【0039】内部メモリ32にマスク教師データ40−
2の転送を受けたサーバユニット12のマスクデータ作
成処理部30は、に示すように、マスク教師データ4
0−2を読み出すと同時に、に示すように、データベ
ース14の実画像データ34を読み出し、マスク教師デ
ータ40−2をガイダンスとして実画像データ34の輪
郭探索でマスクデータ42を作成して、に示すように
データベース14に格納する。
【0040】図7は図5のモード3に示した半自動にお
ける教師データの作成処理を示している。図7の半自動
によるマスク教師データの作成にあっては、データベー
ス14からワークステーション10の内部メモリ20に
転送した間引き画像データをフレームメモリ26に展開
した後にカラーディスプレイ28に表示し、この状態で
教師データ作成処理部18に対しオペレータがマウス2
2やキーボード24により大まかな輪郭の指定を行う。
【0041】例えばカラーディスプレイ28のモニタ画
面70として取り出して示すように、黒丸で示す輪郭上
の点をオペレータが指定する。オペレータによる大まか
な指示が済むと、教師データ作成処理部18は、オペレ
ータの指示した情報をガイダンスとして自動的に輪郭の
探索を行い、マスク教師データ40−1を作成する。マ
スク教師データ40−1を作成した後のサーバユニット
12におけるマスクデータの作成処理は、図6の場合と
同じになる。
【0042】図8は図5のモード4の形状指定による教
師データの作成処理を示している。図8において、デー
タベース14には間引き画像データの代わりにオリジナ
ル形状データ38−1が格納されている。データベース
14のオリジナル形状データ38−1は、オペレータの
指示に基づくワークステーション10からの要求で内部
メモリ20にオリジナル形状データ38−2として転送
され、フレームメモリ26に展開され、カラーディスプ
レイ28のモニタ画面70に示すようにオリジナル形状
データが表示される。
【0043】ここでオリジナル形状データ38−2は複
数準備されており、教師データ作成部18はオペレータ
の指示により選択的に異なったオリジナル形状データを
カラーディスプレイ28に表示する。このようなオリジ
ナル形状データの選択表示により、適合するオリジナル
形状が得られると、オペレータが形状指定を行い、指定
されたオリジナル形状データ38−2はサーバユニット
12に転送されて、これがマスク教師データ40とな
る。
【0044】そしてサーバユニット12のマスクデータ
作成処理部30はオリジナル形状データであるマスクデ
ータ40をガイダンスとして使用して、実データ34か
らマスク画像データ42を作成してデータベース14に
格納する。また図8の実施例にあっては、ワークステー
ション10にオリジナル形状データ38−2のみを転送
しているが、カラーディスプレイ28上で画像データと
の適合性を判断するため、データベース14に予め間引
き画像データを準備しておき、オリジナル形状データと
共にワークステーション10に送り、カラーディスプレ
イ28上で間引き画像に対し選択的にオリジナル形状デ
ータを重ね合せ表示し、マスクパターンを作成しようと
する間引き画像の中の対象物体に最も適合したオリジナ
ル形状データを選択できるようにすることが望ましい。
【0045】更に、オリジナル形状データの縮尺を変更
したり位置を変えたりする座標変換機能をワークステー
ション10に設けることで、対象物体に対するオリジナ
ル形状データのセッティングをダイナミックに行うよう
にしてもよい。 3.半自動によるマスク教師データの作成処理 図9のフローチャートは図5に示したオペレータの指定
を利用した半自動によるマスク教師データの作成処理を
示す。まずステップS1でモニタ画面の間引き画像デー
タに基づく表示画像に対し、輪郭検出対象となる物体の
輪郭付近を指示する。この指示は、例えばオペレータが
マウスなどを使用して指定したり、自動的に輪郭付近を
検出して指定する。
【0046】自動的に輪郭付近を検出する方法として
は、例えば複数の画像の中の同じ物体、例えば自動車の
輪郭を続けて検出するような場合は、車という知識、具
体的には形状や図形中の位置等を利用して輪郭付近の位
置を指示する。続いてステップS2に示すように、ステ
ップS1で指示された位置を元に、指示位置の近傍の物
体と背景の間の境界点を検出する。続いてステップS3
で検出した境界点を元に物体の周囲全ての境界点を検出
し、全周に亘る境界点で構成されるマスク教師データを
作成する。
【0047】図10は図9のステップS1に示した対象
物体の輪郭付近の指示方法を示す。図10(a)に示す
ように、モニタ画面70に輪郭検出対象となる物体とし
て自動車75が表示されている。物体75の輪郭検出に
際しては、物体75の輪郭の部分を指定点72として指
定する。この輪郭の指定は厳密に輪郭の上の点を指定す
る必要がなく、図10(b)に示すように輪郭76の近
い場所を大雑把に指定点72として指定すれば良く、厳
密な輪郭上の境界点は図9のステップS2の処理で検出
される。
【0048】ここで、図10(b)にあっては、指定点
72は輪郭76の外側の背景78の領域にあるが、輪郭
76の内側の物体80の領域の中にあっても良い。輪郭
76に対する指定点72の指定方法としては、モニタ画
面70に検出対象の画像を表示した状態で、オペレータ
がマウスやライトペン、あるいはデジタイザを使用し
て、輪郭検出対象となる画像上の少なくとも1箇所の位
置を指示する。
【0049】図11は図9のステップS1における輪郭
検出対象物体の他の指定方法を示したもので、図10の
ポイント指定に対し領域を指定するようにしたことを特
徴とする。図11において、輪郭検出の対象となる物体
をモニタ画面に表示した状態で、オペレータはマウス等
で物体輪郭76をなぞり、物体輪郭76を含むその周囲
の領域を指示境界領域82とする。この指示境界領域8
2の設定に基づく厳密な物体輪郭76の検出は、図9の
ステップS2の境界検出処理で行われる。この図10,
図11に示したように、オペレータは検出しようとする
物体の輪郭を厳密に指定する必要がないため、作業負担
が少なくて済む。 4.境界点検出処理の第1実施例 図12のフローチャートは図9のステップS2で行われ
る境界検出処理の第1実施例を示す。まずステップS1
でオペレータが指示した指示位置の座標を検出し、続い
てステップS2で複数の近傍画素の画像データを求め
る。図13は指定した画素に基づいて検出する近傍の複
数画素の様子を示したもので、現在、処理対象となって
いる注目画素としての境界画素84に対し、主走査方向
(水平方向)に1画素離れた検出画素86,88のデー
タを検出する。
【0050】図14は注目画素としての境界画素84に
対し、副走査方向(垂直方向)に付き1画素以上離れた
位置の画素を検出画素86,88としている。更に、図
15に示すように、斜め方向についても注目画素として
の境界画素84に対し1画素以上離れた位置の検出画素
86,88を求める。図13,図14,図15に示した
ように、左右,上下及び斜め方向の各方向に関し、注目
画素としての境界画素84に対し1画素以上離れた位置
の画素データを検出画素として求めたならば、図12の
ステップS3に進み、各方向に関する画素データの差分
を計算する。続いてステップS4で複数方向で計算した
差分の中の最大値を保存する。
【0051】ここで、画像データとしてカラーデータを
使用していた場合には、カラー成分RGBまたはYUV
等のいずれか1つを用いて各方向での差分を計算し、そ
の中の最大値を保存する。また、RGB,YUV等の各
カラー成分毎に差分を計算し、その中の最大値を保存す
るようにしても良い。このように、全てのカラー成分毎
に差分を計算して最大値を保存する方法は、計算量は多
くなるが、どのような色の変化及び明るさの変化にも対
応することができ、輪郭検出の精度を向上することがで
きる。勿論、図13,図14,図15に示したように、
左右方向,上下方向,斜め方向の差分を計算すること
で、どの方向に存在する境界についても対応できる。
【0052】図12のステップS4で複数方向の差分の
最大値の保存が済んだならば、ステップS5で予め指定
された探索範囲の全ての画素に関し、ステップS2〜S
4の処理が終了したか否かチェックする。終了していな
ければステップS7に戻って、探索範囲内の次の座標を
検出して、ステップS2からの処理を繰り返す。ステッ
プS5で探索範囲の差分計算が全て終了した場合にはス
テップS6に進み、探索範囲の各画素に対し保存された
差分の中の最大値をもつ座標を検出し、これを境界点と
して検出する。
【0053】図16はオペレータによる指定点と探索範
囲及び検出した境界点の関係を示す。即ち、オペレータ
が物体80と背景78の間の境界94の近傍に指定点7
2を指示すると、この指定点72を中心に例えば矩形の
探索範囲90を設定し、探索範囲90内に存在する全て
の画素について図12のステップS2〜S4に示した処
理を繰り返し、最終的に境界点92を検出する。
【0054】図17は境界領域での画像データの変化の
様子と差分の変化及び境界判断の様子を示す。図17
(a)に示すように、境界領域96で画像データは物体
色98から背景色100に色が滑らかに変化している。
このような境界領域96における色の滑らかな変化は、
画像入力の際のカメラやイメージスキャナ等のレンズの
ぼけに依存している。
【0055】探索範囲における差分の比較は境界領域の
画素X0からXeまでの各画素に関し、順次差分を求
め、結果を図17(b)に示すようにプロットする。図
17(b)に示すような境界領域での差分の分布状態に
対し、差分が最大となる画素を境界点102と判断す
る。図17(a)の画素のデータから、図17(b)の
差分の計算は、図13,図14,図15に示したよう
に、判断対象となる境界画素84に対し1つ離れた画素
を検出画素86,88として計算している。勿論、境界
画素84に隣接する画素を検出画素としても良いが、両
隣りより1画素程度離れた方がノイズの影響を受けにく
く、色の変化を捕まえ易い。
【0056】図18は図12のステップS2でオペレー
タにより指示された指示点の近傍画素の画像データを求
める他の実施例を示す。この実施例による指定点の近傍
画素の画像データの求め方としては、例えば左右方向の
検出を例にとると、境界画素84の左右に1つおいて存
在する縦方向に3つ並んだ3画素平均として検出データ
104,106を求め、境界画素84の画像データと3
画素平均として求めた検出データとの差分を計算する。
【0057】このように、検出画素として3画素平均の
画像データを用いることで画像に含まれるノイズの影響
を少なくでき、より高精度の境界検出ができる。ここ
で、図18は主走査方向としての左右方向に位置する検
出画素の平均をとる場合を示したが、図14に示した副
走査方向(上下方向)及び図15の斜め方向についても
同様に、3画素平均を検出データとすれば良い。更に図
18にあっては、3画素の平均をとっているが、平均計
算に使用する画素数を更に増加すれば、より一層、ノイ
ズの影響を低減できる。 5.境界点検出処理の第2実施例 図19のフローチャートは図9のステップS2に示した
境界検出の第2実施例を詳細に示す。この境界検出の第
2実施例にあっては、境界領域における物体色と背景色
の加法混色の比率を用いて境界を検出するようにしたこ
とを特徴とする。
【0058】図19において、まずステップS1でオペ
レータが指示した指示位置の座標を検出する。次のステ
ップS2で図12の第1実施例と同様、注目している境
界画素の周囲の近傍画素の画像データを検出し、ステッ
プS3で複数方向の境界画素と検出画素の間の差分を計
算し、ステップS4で複数方向の差分の中の最大値の方
向を検出する。続いてステップS5で物体側の物体色と
背景側の背景色の2つの画像データを用いて境界画素の
画像データを加法混色で表現し、更に混色の比率を求め
て各画素毎に保存しておく。
【0059】ステップS2〜S5の処理は、ステップS
6で探索範囲の全てについて比率計算が終了するまでス
テップS8で探索範囲内の次の代表を検出して同様の処
理を繰り返す。探索範囲の全ての比率計算処理が終了す
るとステップS7に進み、予め定めた設定比率、例えば
0.5に最も近い加法混色の比率をもつ画素を境界画素
として検出する。図20に図19の境界検出の第2実施
例の処理対象となる物体色と背景色の加法混色のモデル
を示す。即ち、物体色から背景色に色が変化する境界9
6では物体の色と背景の色が混じり合っている。この境
界部分における色の混じり具合を、物体色の比率をk
(但し、k=0〜1)としてモデル化すると、物体混色
比率98は境界96から背景側に向かうに従って、k=
1からk=0に直線的に低下する。
【0060】一方、(1−k)で示される背景色混色比
率100は物体側から背景側に向かうにつれて(1−
k)=0から(1−k)=1に向かって直線的に増加す
る関係にある。したがって境界領域における関係は次式
で現わされる。 境界色=k×(物体色)+(1−k)×(背景色) このような混色比率のモデル化において、混色比率k=
0.5ということは、物体色と背景色が同程度混じり合
った混色領域の中央、即ち境界94を示すことになる。
従って、背景側から物体側に並んでいる画素について求
めた混色比率の値につき、設定比率0.5に最も近い画
素を境界画素として検出することで物体輪郭を検出する
ことができる。 6.輪郭検出処理によるマスク教師データ作成処理の第
1実施例 オペレータの指示点から境界点が検出できたならば、検
出した境界点を元に物体の周囲を探索追跡することで物
体の輪郭を検出し、これをマスク教師データとする。物
体の輪郭を検出していく手順、即ち境界判断を積み重ね
ていく方法は、画像の特徴に依存して異なった方法を選
択して使用する必要がある。
【0061】画像の特徴としては、 背景が一様で輪郭がはっきりしている、 背景が複雑で輪郭が不明確である、 影等により物体と背景の境界が判りにくい、 等に分けることができる。本発明にあっては、〜に
示したような画像の特徴に応じた最適な物体輪郭の検出
方法を定めており、最適な方法を選択して物体輪郭を検
出する。
【0062】図21のフローチャートは本発明の輪郭検
出によるマスク教師データの作成処理の第1実施例を示
したもので、図12または図19の境界検出処理で求め
た境界点に基づき物体輪郭を追跡する。図21におい
て、まずステップS1で境界点を求め、これを物体輪郭
を追跡するための始点とする。続いてステップS2で境
界点の周囲に予め定めた探索範囲を設定し、この探索範
囲について、図12に示した境界検出処理の第1実施例
あるいは図19に示した境界検出処理の第2実施例と同
じ方法を適用して新たな境界点を検出する。
【0063】続いてステップS4で始点に戻ったか否か
チェックし、始点に戻るまでステップS2,S3の探索
範囲の設定と境界点の検出処理を繰り返す。また、ステ
ップS4からS2に戻る際に、ステップS5で探索範囲
の設定と境界点の検出でなる輪郭検出処理が予め定めた
設定回数に達したか、あるいは予め定めた時間、探索し
たか判断し、設定回数に達したり設定時間以上であれば
始点に戻っていなくても処理を強制的に終了する。
【0064】図22は図21の輪郭検出処理の様子を示
す。最初に始点として指定点72を設定する。すると、
追跡方向74として矢印で示すように輪郭検出対象とな
る自動車75の輪郭に沿った探索範囲の設定と境界点の
検出が繰り返され、始点として設定した指定点72に戻
ってきたときに一連の境界検出処理を終了する。図23
は図21の輪郭検出処理において、1つの輪郭点が検出
された後に次の探索範囲の設定の方法を示している。探
索範囲の設定と境界点の検出により輪郭画素92−1,
92−2,92−3が順次検出され、次に輪郭画素92
−3を検出点として探索範囲を設定する。
【0065】この探索範囲は右上に取り出して示す3×
3の合計9画素の参照マスク108の中央の画素を輪郭
画素92−3に合わせ、斜線で示す周囲8つの画素の中
から次の輪郭画素を選択する。ここで、左下隅の輪郭画
素92−2については既に処理が済んでいることから除
外し、残り7つの中から輪郭画素を選択する。輪郭画素
の選択方法は、輪郭画素92−3の周囲の既に処理が済
んだ輪郭画素92−2を除く残り7つの画素に関し、各
画素を境界画素と仮定して図12または図19の輪郭検
出処理により差分や混色比率を求め、最も差分が大きい
画素あるいは混色比率が設定値0.5に最も近い画素を
境界を示す新たな輪郭画素として検出する。また、図2
3にあって、輪郭画素の周囲8画素を探索範囲としてい
るが、左右及び上下の4画素を探索範囲としても良い。
【0066】図21のステップS5において、処理回数
が設定回数あるいは設定時間に達したときに追跡処理を
強制終了している理由は、輪郭検出の探索処理が無限ル
ープに陥って処理が終わらない場合や、追跡の結果、画
像の端部に行ってしまって処理が終了しない場合を考慮
している。また、図22の輪郭追跡において、輪郭線が
交差した分岐部分の処理については、指定点72を図示
のように一点とせず、複数点指定することで輪郭線の分
岐を含めて全て探索できる。また、指定点72を一点と
した場合には、分岐部分で少なくとも2つの輪郭画素が
得られることから、これを第1候補及び第2候補として
保存しておき、まず第1候補の輪郭画素について追跡処
理を実行し、追跡開始点に戻ったら残っている第2候補
からの追跡処理を行えば良い。 7.輪郭検出によるマスク教師データ作成処理の第2実
施例 図24のフローチャートは図9のステップS3の輪郭検
出によるスク教師データの作成処理の第2実施例を示
す。この第2実施例にあっては、複数の境界点の指示に
基づい物体輪郭追跡することを特徴とする。図24の輪
郭検出処理の第2実施例に先立って、オペレータはモニ
タ画面の輪郭検出対象となる画像の輪郭に沿って複数の
指定点を予め指示しておく。
【0067】このような複数の指定点が指示された状態
で、まずステップS1で特定の指示点について図12あ
るいは図19の方法で境界点を求め、これを始点とす
る。次にステップS2で次の指定点から同様にして境界
点を検出する。次にステップS3で2つの境界点間を結
ぶ直線を仮定する。この直線を等分割した各座標点を指
示点と考え、ステップS4で直線上に設定した指示点に
ついて図12あるいは図19の方法で境界点を検出して
輪郭を追跡していく。
【0068】ステップS5で2点間の輪郭追跡が終了し
たならば、ステップS6で始点に戻ったか否かチェック
し、始点に戻っていなければ先の方の境界点を新たな始
点としてステップS2〜S5の処理を繰り返し、始点に
戻ったら一連の処理を終了する。この図24に示した輪
郭検出処理の第2実施例は、オペレータによる一点だけ
の始点による輪郭追跡では良好に輪郭を検出できないよ
うな画像に対し有効な方法である。具体的には、背景が
複雑で境界がはっきりしないような画像や物体の影とな
る部分で背景との境界が区別しにくいような画像につい
て、オペレータによる複数点の指示を補助として正確な
物体の輪郭を検出することができる。
【0069】勿論、オペレータによる複数点の指示は物
体の境界付近を大雑把に指定するもので良く、正確な境
界は図12あるいは図19の方法を計算機で実行して検
出されるため、複数点を指定してもオペレータの負担は
なく、経験も必要としない。図25は図24の輪郭検出
処理におけるオペレータによる複数の指定点の指示を示
す。モニタ画面70上の物体の輪郭に沿って指定点72
−1〜72−17を指示している。ここで、指定点72
−1が最初に指定されていることから始点となり、指定
点72−17が最後の指定点となる。
【0070】図26は図25の中の2つの指定点72−
1,72−2の間の輪郭追跡の処理内容を示している。
まず、指定点72−1に基づき探索範囲90−1を設定
して、始点となる境界画素(境界点)92−1を検出す
る。2番目に指定した指定点72−2について探索範囲
90−2を設定し、境界画素(境界点)92−2を検出
する。
【0071】次に、検出した2つの境界画素92−1と
92−2を結ぶ直線110の方程式を求める。先に検出
された境界画素92−1からX座標を1つずつ増加させ
て直線110上のY座標を求め、求めた座標値(X,
Y)により直線110上に新たな指示点112−1を設
定する。同様にして境界画素92−2まで直線110上
に指示点112−2,112−3をセットする。
【0072】直線110上の最初の指示点112−1に
ついて探索範囲90−3を設定し、図12あるいは図1
9の方法により境界画素(境界点)92−3を検出す
る。以下、直線110上の指定点112−2,112−
3について同様に探索範囲90−4,90−5を設定
し、境界画素を次々と検出する。ここで、図26の処理
にあっては、直線110についてX座標を1つずつ増加
させて指定点112−1,112−2,・・・を設定し
ているが、直線の傾きが大きい場合には、X座標ではな
くY座標を1つずつ増加させ、X座標は直線の方程式か
ら求めて指定点を順次設定する。
【0073】また、以上の説明では2点の境界画素をも
とに直線を求め、2点間の境界画素を検出したが、3点
以上の境界画素をもとに曲線を求め、その線上の点から
点間の境界画素を求めるようにしてもよい。この場合、
点の指定の数を減らすことができ、より一層オペレータ
の負担を減少できる。図27は図11に示した対象物体
の輪郭領域の指定に対応して輪郭追跡を行う方法を示
す。モニタ画面上に対象物体80の画像と重ねてある範
囲を示す図形形状、例えば四角のカーソル114を表示
し、マウスによりカーソル114を移動できるようにす
る。オペレータはカーソル114を図示のように物体輪
郭76に合わせ、カーソル114の中に物体輪郭76が
入るように移動する。
【0074】また、オペレータはカーソル114を移動
する毎にマウスクリック操作等により境界検出処理等を
指令すると、図12あるいは図19の方法により境界画
素92−1,92−2,92−3のように次々と検出さ
れていく。このように、カーソル114を物体輪郭に沿
って動かす方法による輪郭検出にあっては、一点指定や
複数点指定、更には色指定等による輪郭検出に比べてオ
ペレータの負担は増えることになるが、境界がより不明
確な画像に対しては有効であり、オペレータの負担が僅
かに増えても高精度の境界検出ができる。 8.輪郭検出によるマスク教師データ作成処理の第3実
施例 図28のフローチャートは図9に示した物体輪郭検出に
よるマク教師データ作成処理の第3実施例を示す。この
第3実施例にあっては、物体色と背景色の2点を指示
し、色の相違を利用して輪郭を検出するようにしたこと
を特徴とする。まずステップS1でオペレータは輪郭検
出の対象となる物体の中の一点と物体の周囲の背景の中
の一点を指示し、指定点の物体色と背景色を求める。
【0075】続いてステップS2で、ステップS1で得
られた物体色と背景色の2つの色の画像データから閾値
を計算し、計算した閾値を用いてステップS3で画像デ
ータ全体を物体と背景の2つの領域に分離する。続いて
ステップS4で、分離した2つの領域の境界を物体の輪
郭として検出する。ステップS3で物体と背景に分離す
る閾値としては、加法混色の比率かあるいは物体と背景
の2つの画像データの平均値等を利用することができ
る。
【0076】このような物体色と背景色に基づいて輪郭
を検出する方法は、物体と背景の色が明らかに異なるよ
うな画像に対して有効である。図29は図28の輪郭検
出処理の様子を示す。まずモニタ画面70上の画像に対
し、マウス等でオペレータが物体色の代表色を得るため
の指定点122と背景色の代表色を指示するための指定
点124を指示する。また、モニタ画面70について
は、予め背景色と物体色に基づく輪郭検出の対象領域を
指示領域120として指示しておくことで、表示画像の
一部分について輪郭検出処理を実行できるようにする。
【0077】指定点122,124が指示されたなら
ば、それぞれの色に関する画像データが閾値を計算し、
指示領域120の全ての画素の画像データに関し物体か
背景かの判断を行う。例えば、RGB色空間を例にとる
と、指定点124の背景色が(R0,G0,B0)であ
り、指定点122の物体色が(R1,G1,B1)であ
ったとすると、閾値を {(R0+R1)/2,(G0+G1)/2,(B0+
B1)/2} として求め、この閾値を用いて物体か背景かの判断を行
う。また、指示領域120の各画素のデータ毎に図13
に示したようにして加法混色の混合比率を求め、求めた
比率が設定値、例えば0.5以上のとき物体とし、0.
5より小さいときに背景と分けるようにしても良い。
【0078】図30は閾値に基づく背景領域と物体領域
の判断結果から輪郭を検出する方法を示す。この場合、
分離された物体画素126と背景画素130について2
つの領域の画素と接する位置の画素を境界画素128と
判断する。この境界画素128の繋がりが物体の輪郭と
して検出される。尚、図9〜図30は、図5のモード3
の半自動によるマスク教師データの作成を例とるもので
あったが、モード2の完全自動については、モード3の
半自動におけるオペレータの指定を除いた処理となる。 9.実画像データからのマスクデータの作成処理 図31は図4にサーバユニット12の処理として示した
ステップS102の、ワークステーション10から送ら
れたマスク教師データを使用して実画像データからマス
クデータを作成するためのマスクデータ作成処理を示し
ている。
【0079】図31において、サーバユニット12に設
けているマスクデータ作成処理部30は、内部メモリ3
2に、ワークステーション10から転送されたマスク教
師データ40−2と、データベース14に格納している
対応する実画像データ34を読み込む。続いてステップ
S2で、マスク教師データ40−2について所定の始点
を設定する。続いてステップS3で、教師データの始点
設定に基づき実画像データに探索範囲を設定し、ステッ
プS4で、実画像データを対象に境界点検出を行う。実
画像データについて境界点が検出できると、ステップS
5で、教師データの始点に戻ったか否かをチェックし、
戻っていなければ、ステップS6でマスク教師データの
次の境界点を設定し、ステップS3,S4の処理を繰り
返す。
【0080】このステップS3,S4における実画像デ
ータに対する探索範囲の設定と境界点の検出は、図12
に示した探索範囲の差分検出による方法あるいは図19
に示した探索範囲での混色比率による方法をそのまま適
用することができる。このような図31に示すマスク教
師データをガイダンスとして使用した実画像データを対
象としたマスクデータの作成により得られたマスクデー
タは、データベース14にマスクデータ42として格納
される。 10.その他 上記の実施例にあっては、ワークステーション10に設
けた教師データ作成処理部18にあっては、図5に示し
たようにモード1〜モード4の4つのモードのいずれか
を選択してマスク教師データを作成できるようにしてい
るが、いずれか1つのモードのみを設けるようにしても
よい。
【0081】また上記の実施例は、クライアントとして
のワークステーション10を、ローカルエリアネットワ
ーク16でデータベース14を備えたサーバユニット1
2に接続したクライアントサーバシステムを例にとって
いるが、実画像データを管理するユニットと実データに
基づく画像データの転送を受けてマスクデータの作成を
行うユニットが通信回線を介して分散配置されたシステ
ムであれば、サーバクライアントシステムに限定されず
適宜の分散システムにつきそのまま適用することができ
る。
【0082】また通信回線としては、ローカルエリアネ
ットワークのような有線に限定されず、無線回線でクラ
イアント側の処理ユニットが接続される場合も含む。ま
たサーバクライアントシステム以外に、データベースを
ホストコンピュータが備え、ホストコンピュータに対し
ワークステーションを通信回線で接続したようなシステ
ムについてもそのまま適用できる。
【0083】
【発明の効果】以上説明してきたように本発明によれ
ば、サーバ側のデータベースに実画像データを格納し、
クライアントしてのワークステーション側でオペレータ
がマスクデータの作成作業を行う分散処理の形態におい
て、ワークステーション側は実画像データの間引き処理
により得られた間引き画像データを扱うことから、内部
メモリの容量が少なくて済み、また画像データのサーバ
からのロード転送に要する時間を短縮でき、システムコ
ストの低減と分散処理におけるシステム性能の向上を図
ることができる。
【0084】またワークステーションにあっては、間引
き画像データを対象にマスク教師データの作成処理を行
うだけでよく、最終的な実画像データを対象とした精密
なマスクデータの作成は、マスク教師データをサーバ側
に送り、サーバ側の処理で行わせるため、ワークステー
ション側における処理負担が少なく、最終的にサーバ側
でマスク教師データをガイダンスとした高精度のマスク
データを実画像データから作成することができる。
【0085】またサーバ側における実画像データからの
マスクデータの作成については、ワークステーション側
で作成されたマスク教師データがガイダンスとして使用
されるため、サーバ側の処理にオペレータの介入がなく
とも、異常境界検出処理により、誤った輪郭検出に陥っ
てしまうことがなく、高精度で且つ効率良く実画像デー
タからマスクデータを作成することができる。
【図面の簡単な説明】
【図1】本発明の原理説明図
【図2】本発明のハードウェア構成を示したブロック図
【図3】本発明の処理機能を示したブロック図
【図4】図3のワークステーションとサーバユニットの
処理を示したフローチャート
【図5】図3のワークステーションによるガイド教師デ
ータの作成処理を示したフローチャート
【図6】図5の完全自動によるマスク教師データの作成
処理を示した説明図
【図7】図5の半自動によるマクス教師データの作成処
理を示した説明図
【図8】図5のオリジナル形状データを用いたマスク教
師データの作成処理を示した説明図
【図9】本発明の半自動によるマスク教師データの作成
手順を示したフローチャート
【図10】輪郭検出対象物体の指定方法を示した説明図
【図11】輪郭検出対象物体の他の指定方法を示した説
明図
【図12】図9の境界検出処理の第1実施例を示したフ
ローチャート
【図13】境界画素と左右方向の検出画素との差分検出
の説明図
【図14】境界画素と上下方向の検出画素との差分検出
の説明図
【図15】境界画素と斜め方向の検出画素との差分検出
の説明図
【図16】指定点に基づく周囲探索の説明図
【図17】画素の差分に基づく境界判断の説明図
【図18】境界画素と周辺の複数画素の平均による差分
検出の説明図
【図19】図9の境界検出の第2実施例を示したフロー
チャート
【図20】物体色と背景色の境界部分での混色比率の説
明図
【図21】図9の輪郭検出によるマスク教師データ作成
処理の第1実施例を示したフローチャート
【図22】指定点に基づく輪郭追跡の説明図
【図23】輪郭追跡で設定する探索範囲の説明図
【図24】図9の輪郭検出によるマスク教師データ作成
処理の第2実施例を示したフローチャート
【図25】複数点の指定による輪郭追跡の説明図
【図26】図25の2つの指定点間における輪郭追跡の
詳細説明図
【図27】輪郭領域の指定による輪郭追跡の説明図
【図28】図9の輪郭検出によるマスク教師データ作成
処理の第3実施例を示したフローチャート
【図29】物体色と背景色の指定による輪郭検出の説明
【図30】物体色と背景色の領域に分けた画像の輪郭画
素の設定説明図
【図31】図4のサーバユニット側での実画像データを
対象としてマスクパターンの作成処理を示したフローチ
ャート
【図32】従来の分散画像処理を示した説明図
【符号の説明】
10:ワークステーション(処理ユニット) 12:サーバユニット(画像管理ユニット) 14:データベース 16:ローカルエリアネットワーク(通信回線) 18:教師データ作成処理部 20,32:内部メモリ 22:マウス 24:キーボード 26:フレームメモリ 28:カラーディスプレイ 30:マスクデータ作成処理部 34:実画像データ 36,36−1,36−2:間引き画像データ 38:オリジナル形状データ 40,40−1,40−2:マスク教師データ 42:マスクデータ 44,58:CPU 46,60:ROM 48,62:RAM 50,52:デバイスインタフェース 54:CRTコントローラ 56,68:通信インタフェース 64:画像入力インタフェース 65:画像入力装置 66:入出力インタフェース 70:モニタ画面
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 G06F 15/66 470 A

Claims (17)

    【特許請求の範囲】
  1. 【請求項1】少くとも実画像データを格納したデータベ
    ース(14)を管理する画像管理ユニット(12)と、 前記画像管理ユニット(12)に通信回線(16)を介
    して接続された処理ユニット(10)とを有し、 前記処理ユニット(10)に、前記データベース(1
    4)に格納している実画像データ(34)から得た間引
    き画像データ(36)を対象に、物体輪郭を示すマスク
    教師データ(40)を作成して前記画像管理ユニット
    (12)に転送する教師データ作成手段(18)を設
    け、 前記画像管理ユニット(12)に、前記教師データ作成
    手段(18)から転送された前記マスク教師データ(4
    0)を基準に前記データベース(14)の実画像データ
    (34)から物体輪郭を示すマスクデータ(42)を作
    成するマスクデータ作成手段(30)を設けたことを特
    徴とする分散型画像処理装置。
  2. 【請求項2】請求項1記載の分散型画像処理装置に於い
    て、前記データベース(14)に実画像データ(34)
    から得られた間引き画像データ(36)を予め格納した
    ことを特徴とする分散型画像処理装置。
  3. 【請求項3】請求項1記載の分散型画像処理装置に於い
    て、前記教師データ作成手段(18)は、前記間引き画
    像データ(36)を対象に、オペレータの指示に従って
    物体輪郭を示すマスク教師データを作成することを特徴
    とする分散型画像処理装置。
  4. 【請求項4】請求項1記載の分散型画像処理装置に於い
    て、前記教師データ作成手段(18)は、前記間引き画
    像データ(36)を対象に、自動的に物体輪郭を示すマ
    スク教師データを作成することを特徴とする分散型画像
    処理装置。
  5. 【請求項5】請求項1記載の分散型画像処理装置に於い
    て、前記教師データ作成手段(18)は、前記間引き画
    像データ(36)を対象に、オペレータが指示した輪郭
    情報に基づいて自動的に物体輪郭を示すマスク教師デー
    タを作成することを特徴とする分散型画像処理装置。
  6. 【請求項6】請求項5記載の分散型画像処理装置に於い
    て、前記教師データ作成手段(18)は、オペレータが
    指示した対象物体の輪郭付近を示す指示点に基づいて境
    界点を検出し、検出した境界点から順次輪郭上の境界点
    を探索して物体輪郭を示すマスク教師データを作成する
    ことを特徴とする分散型画像処理装置。
  7. 【請求項7】請求項5記載の分散型画像処理装置に於い
    て、前記教師データ作成手段(18)は、オペレータが
    指示した対象物体の輪郭を含む境界領域内を探索して物
    体輪郭を示すマスク教師データを作成することを特徴と
    する分散型画像処理装置。
  8. 【請求項8】請求項5記載の分散型画像処理装置に於い
    て、前記教師データ作成手段(18)は、オペレータが
    指示した対象物体の輪郭付近を示す複数の指示点情報に
    基づいて各々の境界点を検出し、検出した複数の境界点
    を結ぶ経路に従って順次輪郭上の境界点を探索して物体
    輪郭を示すマスク教師データを作成することを特徴とす
    る分散型画像処理装置。
  9. 【請求項9】請求項6,7又は8記載の分散型画像処理
    装置に於いて、前期教師データ作成手段(18)は、境
    界領域における画素データの差分値に基づいて境界点を
    探索して物体輪郭を示すマスク教師データを作成するこ
    とを特徴とする分散型画像処理装置。
  10. 【請求項10】請求項6,7又は8記載の分散型画像処
    理装置に於いて、前期教師データ作成手段(18)は、
    対象物体の物体色と背景色に基づいて境界部分での混色
    比率を計算し、規定の混色比率が得られる境界点を探索
    して物体輪郭を示すマスク教師データを作成することを
    特徴とする分散型画像処理装置。
  11. 【請求項11】請求項5乃至10記載の分散型画像処理
    装置に於いて、前記教師データ作成手段(18)は、デ
    ィスプレイに表示された間引き画像データ上に、探索さ
    れたマスク教師データを重ね合せ表示してオペレータに
    より異常探索を監視可能としたことを特徴とする分散型
    画像処理装置。
  12. 【請求項12】請求項5乃至10記載の分散型画像処理
    装置に於いて、前記教師データ作成手段(18)は、デ
    ィスプレイに表示されたマスク教師データをオペレータ
    の指示に基づいて修正する編集機能を備えたことを特徴
    とする分散型画像処理装置。
  13. 【請求項13】実画像データ(34)及びマスクデータ
    の作成対象とする物体形状を示す1又は複数のオリジナ
    ル形状データを格納したデータベース(14)と、 前記データベースを管理する画像管理ユニット(12)
    と、 前記画像管理ユニットに通信回線(16)を介して接続
    された処理ユニット(10)と、を有し、 前記処理ユニット(10)に、前記データベース(1
    4)の実画像データ(34)から得た間引き画像データ
    (36)の中の輪郭を検出する対象物体に適合する前記
    オリジナル形状データ(38)をマスク教師データ(3
    8)として選択して前記画像管理ユニット(12)に通
    知する教師データ作成手段(18)を設け、 前記画像管理ユニット(12)に、前記教師データ作成
    手段(18)から転送された前記マスク教師データ(4
    0)を基準に前記データベース(14)の実画像データ
    (34)から物体輪郭を示すマスクデータ(42)を作
    成するマスクデータ作成手段(30)を設けたことを特
    徴とする分散型画像処理装置。
  14. 【請求項14】請求項13記載の分散型画像処理装置に
    於いて、前記教師データ作成手段(18)は、ディスプ
    レイに表示された間引き画像データ上に、選択したオリ
    ジナル形状データを重ね合せ表示してオペレータにより
    適合性を判断させることを特徴とする分散型画像処理装
    置。
  15. 【請求項15】請求項1乃至14記載の分散型画像処理
    装置に於いて、前記マスクデータ作成手段(30)は、
    前記実画像データ(34)を対象に、前記マスク教師デ
    ータ(40)に基づいて自動的に物体輪郭を示すマスク
    データ(34)を作成することを特徴とする分散型画像
    処理装置。
  16. 【請求項16】請求項1乃至15記載の分散型画像処理
    装置に於いて、前記画像管理ユニット(12)をサー
    バ、前期処理ユニット(10)をクライアントとするサ
    ーバクライアントシステムを構成したことを特徴とする
    分散型画像処理装置。
  17. 【請求項17】請求項16記載の分散型画像処理装置に
    於いて、前記クライアントをワークステーションとして
    ローカルエリアネットワークにより前記サーバと接続し
    たことを特徴とする分散型画像処理装置。
JP04682494A 1994-03-17 1994-03-17 分散型画像処理装置 Expired - Fee Related JP3574170B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP04682494A JP3574170B2 (ja) 1994-03-17 1994-03-17 分散型画像処理装置
US08/380,692 US5615324A (en) 1994-03-17 1995-01-30 Distributed image processing apparatus
DE19507780A DE19507780B4 (de) 1994-03-17 1995-03-06 Vorrichtung zur verteilten Bildverarbeitung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP04682494A JP3574170B2 (ja) 1994-03-17 1994-03-17 分散型画像処理装置

Publications (2)

Publication Number Publication Date
JPH07262371A true JPH07262371A (ja) 1995-10-13
JP3574170B2 JP3574170B2 (ja) 2004-10-06

Family

ID=12758086

Family Applications (1)

Application Number Title Priority Date Filing Date
JP04682494A Expired - Fee Related JP3574170B2 (ja) 1994-03-17 1994-03-17 分散型画像処理装置

Country Status (3)

Country Link
US (1) US5615324A (ja)
JP (1) JP3574170B2 (ja)
DE (1) DE19507780B4 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000149031A (ja) * 1998-11-09 2000-05-30 Canon Inc 画像処理装置及び方法並びに記憶媒体
JP2012048484A (ja) * 2010-08-26 2012-03-08 Canon Inc 画像処理装置、画像処理方法及びプログラム
JP2014236312A (ja) * 2013-05-31 2014-12-15 キヤノン株式会社 設定装置および設定方法
WO2022264688A1 (ja) * 2021-06-16 2022-12-22 富士フイルム株式会社 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3341549B2 (ja) * 1995-11-14 2002-11-05 ミノルタ株式会社 3次元形状データ処理装置
DE59600350D1 (de) * 1996-12-20 1998-09-17 Ad On Agentur Handelskommunika Verfahren und Vorrichtung zur Erstellung einer Druckvorlage
US6128001A (en) * 1997-04-04 2000-10-03 Avid Technology, Inc. Methods and apparatus for changing a color of an image
US6727938B1 (en) * 1997-04-14 2004-04-27 Robert Bosch Gmbh Security system with maskable motion detection and camera with an adjustable field of view
US6182114B1 (en) * 1998-01-09 2001-01-30 New York University Apparatus and method for realtime visualization using user-defined dynamic, multi-foveated images
US6351557B1 (en) 1998-04-03 2002-02-26 Avid Technology, Inc. Method and apparatus for color manipulation
JP2000048184A (ja) * 1998-05-29 2000-02-18 Canon Inc 画像処理方法及び顔領域抽出方法とその装置
US6552731B1 (en) 1999-04-16 2003-04-22 Avid Technology, Inc. Multi-tone representation of a digital image on a digital nonlinear editing system
US6571255B1 (en) 1999-04-16 2003-05-27 Robert Gonsalves Modification of media with common attributes on a digital nonlinear editing system
US6417891B1 (en) 1999-04-16 2002-07-09 Avid Technology, Inc. Color modification on a digital nonlinear editing system
US6847373B1 (en) 1999-04-16 2005-01-25 Avid Technology, Inc. Natural color matching in a video editing system
GB2352076B (en) * 1999-07-15 2003-12-17 Mitsubishi Electric Inf Tech Method and apparatus for representing and searching for an object in an image
ATE353460T1 (de) * 1999-09-02 2007-02-15 Canon Kk Progressive anzeige von zielobjekten
US7359070B1 (en) * 1999-09-30 2008-04-15 Sharp Laboratories Of America, Incorporated Multi-function peripheral with camera
JP2001285570A (ja) * 2000-01-27 2001-10-12 Canon Inc 画像入力システム及び装置及び方法並びに記憶媒体
US6928187B2 (en) * 2000-04-07 2005-08-09 Avid Technology, Inc. Secondary color modification of a digital image
US6477271B1 (en) 2000-04-07 2002-11-05 Avid Technology, Inc. Secondary color modification of a digital image
US8218873B2 (en) * 2000-11-06 2012-07-10 Nant Holdings Ip, Llc Object information derived from object images
US7565008B2 (en) 2000-11-06 2009-07-21 Evryx Technologies, Inc. Data capture and identification system and process
US7016532B2 (en) * 2000-11-06 2006-03-21 Evryx Technologies Image capture and identification system and process
US7899243B2 (en) 2000-11-06 2011-03-01 Evryx Technologies, Inc. Image capture and identification system and process
US9310892B2 (en) 2000-11-06 2016-04-12 Nant Holdings Ip, Llc Object information derived from object images
US7680324B2 (en) 2000-11-06 2010-03-16 Evryx Technologies, Inc. Use of image-derived information as search criteria for internet and other search engines
US8224078B2 (en) 2000-11-06 2012-07-17 Nant Holdings Ip, Llc Image capture and identification system and process
US7392287B2 (en) * 2001-03-27 2008-06-24 Hemisphere Ii Investment Lp Method and apparatus for sharing information using a handheld device
AU2002311561A1 (en) * 2001-04-03 2002-10-21 Ofer Bar-Or A method for selective image acquisition and transmission
GB2388002B (en) * 2002-04-26 2004-05-12 Oracle Int Corp Graphical modelling system
IL159838A0 (en) 2004-01-13 2004-06-20 Yehuda Binder Information device
US20070159522A1 (en) * 2004-02-20 2007-07-12 Harmut Neven Image-based contextual advertisement method and branded barcodes
US8421872B2 (en) * 2004-02-20 2013-04-16 Google Inc. Image base inquiry system for search engines for mobile telephones with integrated camera
US7751805B2 (en) * 2004-02-20 2010-07-06 Google Inc. Mobile image-based information retrieval system
US7917286B2 (en) 2005-12-16 2011-03-29 Google Inc. Database assisted OCR for street scenes and other images
US20090044117A1 (en) * 2007-08-06 2009-02-12 Apple Inc. Recording and exporting slide show presentations using a presentation application
JP2009044328A (ja) 2007-08-07 2009-02-26 Seiko Epson Corp 会議システム、サーバ、画像表示方法、コンピュータプログラム及び記録媒体
JP5921331B2 (ja) * 2012-05-21 2016-05-24 キヤノン株式会社 撮像装置、マスク画像の重畳方法、および、プログラム
US11074464B2 (en) 2019-07-25 2021-07-27 Ford Global Technologies, Llc Defining boundary for detected object

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL8502643A (nl) * 1985-09-27 1986-04-01 Oce Nederland Bv Werkwijze voor het genereren van lijnstukken.
JP2745406B2 (ja) * 1988-03-11 1998-04-28 株式会社リコー 画像ファイリングシステムの制御方式
US4876457A (en) * 1988-10-31 1989-10-24 American Telephone And Telegraph Company Method and apparatus for differentiating a planar textured surface from a surrounding background
US5247610A (en) * 1989-03-17 1993-09-21 Hitachi, Ltd. Method and apparatus for generating graphics
JP2728957B2 (ja) * 1989-11-07 1998-03-18 株式会社日立製作所 複合図形の作成方法
JPH03259296A (ja) * 1990-03-09 1991-11-19 Canon Inc パターン発生装置
JPH0771187B2 (ja) * 1990-05-15 1995-07-31 富士ゼロックス株式会社 画像記録装置
JPH0433064A (ja) * 1990-05-23 1992-02-04 Fuji Xerox Co Ltd 画像編集装置
US5471574A (en) * 1990-06-14 1995-11-28 Xerox Corporation Method for displaying a computer generated graphic on a raster output scanner
GB9020082D0 (en) * 1990-09-14 1990-10-24 Crosfield Electronics Ltd Methods and apparatus for defining contours in coloured images
JP2760363B2 (ja) * 1990-11-14 1998-05-28 株式会社ピーエフユー 初期化処理装置
JP2566061B2 (ja) * 1990-12-14 1996-12-25 ローム株式会社 エリアデータからパスデータへの変換方法
WO1993000628A1 (en) * 1991-06-26 1993-01-07 Ast Research, Inc. Multiprocessor distributed initialization and self-test system
US5408647A (en) * 1992-10-02 1995-04-18 Compaq Computer Corporation Automatic logical CPU assignment of physical CPUs

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000149031A (ja) * 1998-11-09 2000-05-30 Canon Inc 画像処理装置及び方法並びに記憶媒体
JP2012048484A (ja) * 2010-08-26 2012-03-08 Canon Inc 画像処理装置、画像処理方法及びプログラム
US8942511B2 (en) 2010-08-26 2015-01-27 Canon Kabushiki Kaisha Apparatus and method for detecting object from image, and program
JP2014236312A (ja) * 2013-05-31 2014-12-15 キヤノン株式会社 設定装置および設定方法
WO2022264688A1 (ja) * 2021-06-16 2022-12-22 富士フイルム株式会社 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法

Also Published As

Publication number Publication date
DE19507780B4 (de) 2007-10-18
US5615324A (en) 1997-03-25
DE19507780A1 (de) 1995-09-21
JP3574170B2 (ja) 2004-10-06

Similar Documents

Publication Publication Date Title
JPH07262371A (ja) 分散型画像処理装置
US5475507A (en) Color image processing method and apparatus for same, which automatically detects a contour of an object in an image
JPH0820725B2 (ja) 画像輪郭データの作成方法
JP3647407B2 (ja) 画像処理装置
CN115185415A (zh) 扫描数据显示方法、装置、设备及存储介质
JP2873883B2 (ja) 線画像の線幅検出方法
KR100396357B1 (ko) 윤곽을 따르는 트래커를 자동적으로 결정하기 위한 방법및 그 방법을 실시하는 프로그램을 기억한 기억 매체
JP7282551B2 (ja) 情報処理装置、情報処理方法及びプログラム
US6806878B2 (en) Graphic editing apparatus for adding or deleting curve to/from graphics by interactive processing
CN111259567B (zh) 一种布局图生成方法、装置和存储介质
JPH11175765A (ja) 3次元モデル作成方法、3次元モデル作成装置及び記憶媒体
CN113379763A (zh) 图像数据处理方法、生成模型的方法及图像分割处理方法
JPH06289849A (ja) 文字図形入力方法
US5185596A (en) Electronic image modification
JP2886702B2 (ja) アウトラインフォント処理装置
JP2934011B2 (ja) 画像処理方法及び装置
JPH07121710A (ja) 画像セグメンテーション方法及び装置
US5416894A (en) Method for determining a candidate of a branched direction of a linear image
JP2637923B2 (ja) 縞紋様の方向データの修正方法及びこれを実行するための情報処理装置並びに縞紋様のピッチデータの修正方法及びこれを実行するための情報処理装置
JP2001136358A (ja) トリミング画像作成装置およびトリミング枠位置情報作成装置
JPH04329487A (ja) 領域抽出方法および領域抽出装置
JPS62269282A (ja) 画像輪郭線抽出法
JPH07200801A (ja) 変形画像作成装置
JPH077425B2 (ja) 図面入力システム
US20210150776A1 (en) Color gradient capture from source image content

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040224

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040423

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20040428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040608

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040701

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080709

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090709

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100709

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100709

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110709

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110709

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120709

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees