JPH04153888A - Correspondence device by hop field type neural network - Google Patents

Correspondence device by hop field type neural network

Info

Publication number
JPH04153888A
JPH04153888A JP2280493A JP28049390A JPH04153888A JP H04153888 A JPH04153888 A JP H04153888A JP 2280493 A JP2280493 A JP 2280493A JP 28049390 A JP28049390 A JP 28049390A JP H04153888 A JPH04153888 A JP H04153888A
Authority
JP
Japan
Prior art keywords
correspondence
unit
label
image
register
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2280493A
Other languages
Japanese (ja)
Inventor
Seiya Shimizu
誠也 清水
Morihito Shiobara
守人 塩原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2280493A priority Critical patent/JPH04153888A/en
Publication of JPH04153888A publication Critical patent/JPH04153888A/en
Pending legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

PURPOSE:To enable a correspondence process in a practical process time by scanning output values of respective units and storing addition results in registers divisionally by row-directional and column-directional results, performing update calculation based on a specific update rule, and completing the update calculation when the results reaches specific standards. CONSTITUTION:When the output values V(i,j) of the respective units in a correspondence relation table storage part 2 are updated and calculated, the output values V(i,j) are scanned and their addition results are stored in the 1st register Li3 and 2nd register Lj4. Then a correspondence relation calculation part 5 refers to the values stored in the 1st register Li3 and 2nd register Lj4, and updates and calculates the output values V(i,j) of the respective units in the correspondence relation table storage part 2 according to a specific update rule. Then the update calculation results are evaluated and when the results meet the specific standard, the update calculation is completed. Consequently, the correspondence process wherein the results do not depend upon the correspondence order becomes possible and the effective correspondence results are obtained in a practical process time.

Description

【発明の詳細な説明】 〔概要〕 2つの集合の各要素から抽出された特徴量を基に、集合
間の要素の1対1の対応関係を決定する装置に関し、 従来の探索による対応処理アルゴリズムでは、対応処理
の順序に依存して結果が左右され、実用的な対応結果が
得られない場合があると共に、求めた対応結果の修正が
困難であった問題の解決を目的とし、 二つの集合間の各要素の1対1の対応関係を決定するホ
ップフィールド型ニューラルネットワークを用いた対応
装置において、集合中の各要素の対応度合を表わす類似
度行列の格納部と、ネットワークの各ユニットの出力値
の格納部と、2個のレジスタと、各ユニットの出力値の
更新計算部を有し、各ユニットの出力値の更新計算の際
には、各ユニットの出力値を走査し行方向と列方向に分
けてレジスタにその加算結果を格納し、所定の更新規則
により更新計算を行ない、結果が所定の基準に達した場
合に更新計算を終了させる手段を設けて構成する。
[Detailed Description of the Invention] [Summary] Regarding a device that determines a one-to-one correspondence of elements between two sets based on feature quantities extracted from each element of two sets, a correspondence processing algorithm using a conventional search is provided. In this paper, we aim to solve the problem that the results depend on the order of the correspondence processing, and it may not be possible to obtain practical correspondence results, and it is difficult to modify the obtained correspondence results. In a correspondence device using a Hopfield neural network that determines the one-to-one correspondence of each element in a set, there is a storage unit for a similarity matrix representing the degree of correspondence of each element in a set, and an output of each unit of the network. It has a value storage section, two registers, and an update calculation section for the output value of each unit, and when updating the output value of each unit, it scans the output value of each unit and updates the output value in the row and column directions. The system is configured by providing means for storing the addition results in registers in each direction, performing update calculations according to a predetermined update rule, and terminating the update calculations when the results reach a predetermined standard.

〔産業上の利用分野〕[Industrial application field]

本発明は2つの集合があるとき、その集合の各要素から
抽出された特徴量を基にして、集合間で要素の1対1の
対応関係を決定する装置に関する。
The present invention relates to a device that determines a one-to-one correspondence between elements when there are two sets, based on feature amounts extracted from each element of the sets.

本発明の対応装置の利用分野としてアニメーションのセ
ル画の自動彩色が挙げられる。アニメーションの作成に
は物体の動作を一定時間間隔にずらして描いた静止画(
セル画)が大量に必要であるが、この彩色の人件費が非
常に高いものとなっているため、作業の自動化が望まれ
ている。この要請に対しては2つのセル画像間で輪郭線
に囲まれた閉領域の1対1の対応関係を求め、対応関係
にある閉領域に同じ色を塗ることでセル画を自動的に彩
色することができる。本対応装置は閉領域の1対1の対
応関係を求めるために利用される。
An example of the field of application of the device according to the present invention is automatic coloring of animation cells. To create animation, still images (
Although a large amount of cell drawings are required, the labor costs for coloring are extremely high, so automation of the work is desired. In response to this request, the cell image is automatically colored by finding a one-to-one correspondence between closed areas surrounded by outlines between two cell images and painting the corresponding closed areas with the same color. can do. This correspondence device is used to obtain a one-to-one correspondence between closed regions.

このとき本対応装置は、セル画の閉領域を対応付けの要
素とみなし、各閉領域から抽出された形状の特徴量を基
にして対応関係を決定する。
At this time, the present correspondence device regards the closed regions of the cell images as elements of correspondence, and determines the correspondence based on the feature amount of the shape extracted from each closed region.

〔従来の技術〕[Conventional technology]

以下、従来の対応処理装置で使用される対応関係決定ア
ルゴリズムについて説明する。
A correspondence determining algorithm used in a conventional correspondence processing device will be described below.

処理対象のそれぞれの集合をFa、 Fbとする。ここ
で、Fa+ FbばそれぞれNa、 Nb個の要素、e
、とejを持つとする。
Let the respective sets of processing targets be Fa and Fb. Here, Fa + Fb are Na, Nb elements, e
, and ej.

Fa= (e:  l i = 1.−、 Na)  
   (1)式Fb= (eJl j=1.−、 Nb
)     (2)式アニメーションの自動彩色では、
2枚のセル直中の閉領域の集合がFa、 Fbであり、
閉領域がe8とeJに相当する。
Fa= (e: l i = 1.-, Na)
(1) Formula Fb= (eJl j=1.-, Nb
) (2) In automatic coloring of expression animation,
The set of closed regions directly in the two cells are Fa and Fb,
The closed regions correspond to e8 and eJ.

対応付は処理では、既に集合Fa、 Fb中の要素毎に
特徴量が抽出されており、その特徴量の差を基にして集
合Fa中の要素e、と集合Fb中の要素ejの対応する
確実性の度合いである類似度行列Sが決定されているも
のとする。
In the mapping process, feature values have already been extracted for each element in sets Fa and Fb, and based on the difference in feature values, the correspondence between element e in set Fa and element ej in set Fb is determined. It is assumed that a similarity matrix S, which is a degree of certainty, has been determined.

S= fs (i、j)l i=1.=−、Na; j
=1・・・、 Nb)             (3
)弐類似度行列Sの各要素、S(i、j)はe、とe、
の対応する確実性が高い程、大きい値をとるように設定
しておく。
S= fs (i, j)l i=1. =-, Na; j
=1..., Nb) (3
)2 Each element of the similarity matrix S, S(i, j) is e, and e,
It is set so that the higher the corresponding certainty, the larger the value.

対応処理の結果は、集合Fa、 Fb間で対応した要素
番号の順序対pkの集合Pで表現する。
The result of the correspondence processing is expressed as a set P of ordered pairs pk of corresponding element numbers between sets Fa and Fb.

P= (pml p、t= (i、j);に=1.・・
・、に; i=1. ・・−、Na; j=1.−、N
b;)(4)式 (4)式は順序対pm =(1,J)、はe、とe、が
対応関係にあることを示している。ただし、e、とej
の対応は1対lで行なわれるため、集合Pの要素の順序
対ハは次式を満たしていなくてはならない。
P= (pml p, t= (i, j); = 1...
・, to; i=1. ...-, Na; j=1. -, N
b;) (4) Equation (4) shows that the ordered pair pm = (1, J) has a correspondence relationship between e and e. However, e, and ej
Since the correspondence is one to l, the order pair C of the elements of the set P must satisfy the following equation.

(ただし、pkεP、pm+EP、l:’hzEP)従
来手法は類似度行列Sから対応処理の結果(集合P)を
求めるために、(5)弐を満たす範囲で評価関数を最大
化する探索処理を行なう。評価関数としては、対応した
要素間に相当する類似度マトリクスの要素S(i、j)
の総和を用いる。
(However, pkεP, pm+EP, l:'hzEP) In the conventional method, in order to obtain the result of the correspondence processing (set P) from the similarity matrix S, (5) a search process that maximizes the evaluation function within the range that satisfies 2 is performed. Let's do it. As an evaluation function, the element S(i, j) of the similarity matrix corresponding to the corresponding elements is
Use the sum of

この評価関数Eを用いた探索による集合Pの決定アルゴ
リズムを第6図に示す。
An algorithm for determining the set P by searching using this evaluation function E is shown in FIG.

この決定アルゴリズムは、初期状態が空集合である集合
Pに対して、(5)弐を満たすような対応関係を順番に
追加・削除してゆき、最大の評価関数Eとなる集合Pを
求める処理を示している。また、集合Ckは順序対Pi
+−+までの対応が決定しているときに、集合Pに追加
できる順序対の候補集合を表わしている。集合Ckは、
その要素を集合Pに追加しても集合Pが(5)式を満た
すような要素の集合であり、例えば、第7図の対応関係
が集合Pの要素であるときは、対応関係の要素で交わる
斜線部分を除いた口内の要素により集合Ckは構成され
る。
This decision algorithm is a process of finding a set P that has the maximum evaluation function E by sequentially adding and deleting correspondences that satisfy (5) 2 to a set P whose initial state is an empty set. It shows. Also, the set Ck is an ordered pair Pi
It represents a candidate set of ordered pairs that can be added to the set P when the correspondences up to +−+ have been determined. The set Ck is
Even if the element is added to the set P, the set P is a set of elements that satisfies equation (5), and for example, when the correspondence relationship in Figure 7 is an element of the set P, the element of the correspondence relationship is The set Ck is composed of the elements inside the mouth excluding the intersecting hatched parts.

この探索はNP完全問題の1種であるため、要素の個数
Na、 Nbが増大すると全探索に必要な計算量が指数
関数的に増大することが知られている。
Since this search is a type of NP-complete problem, it is known that as the number of elements Na and Nb increases, the amount of calculation required for the exhaustive search increases exponentially.

そのため実用的な計算時間で対応結果(集合P)を得る
ためには、許容処理時間を設定し、その時間内で探索を
打ち切り、既に得られている対応結果のうちで最適の結
果を集合Pとして出力することが必要になる。
Therefore, in order to obtain correspondence results (set P) in a practical calculation time, set an allowable processing time, terminate the search within that time, and select the optimal result among the correspondence results already obtained as set P. It is necessary to output it as .

〔発明が解決しようとする課題〕[Problem to be solved by the invention]

以上説明したごとく、従来技術では集合間でどの要素を
対応しているかは、それまでに決定された対応結果の集
合Pに依存して決定される。例えば第7図に示すように
集合の要素の対応を示す順序対をその第1要素を行に、
第2要素を列として整列して表示し、既に集合Pに登録
されている対応を「○」印で表示すると、第7図の斜線
部分の類似度の情報は、第6図のアルゴリズムの※Bで
示すステップで「O」の部分に相当する対応が集合Pか
ら除去されないかぎりその後の対応処理で無視される。
As explained above, in the prior art, which elements are matched between sets is determined depending on the set P of the correspondence results determined up to that point. For example, as shown in Figure 7, an ordered pair showing the correspondence of elements of a set with the first element in the row,
If the second elements are arranged and displayed as a column, and the correspondences already registered in the set P are displayed with "○" marks, the similarity information in the diagonally shaded area in Figure 7 will be calculated using the * of the algorithm in Figure 6. Unless the correspondence corresponding to the "O" part is removed from the set P in step B, it will be ignored in subsequent correspondence processing.

そのため、逐次的な対応処理アルゴリズムでは、許容処
理時間の設定によっては実用的な対応結果を得られない
ことがある。
Therefore, with the sequential response processing algorithm, practical response results may not be obtained depending on the setting of the allowable processing time.

また、従来技術では対応結果の一部を修正することが困
難である。例えば、集合Pからpk・の対応を除去する
ときは、p、・以降の対応(P m、k>k”)を再決
定する必要が生じる。逆に、集合Pに26・の対応を追
加すると、追加後に集合Pが(5)式を満たさな(なる
可能性があるため、対応の除去時よりも複雑な修正処理
が必要となる。
Furthermore, with the conventional technology, it is difficult to modify a part of the correspondence result. For example, when removing the correspondence pk· from the set P, it is necessary to redetermine the correspondences after p,· (P m, k>k''). Conversely, add the correspondence 26· to the set P. Then, since there is a possibility that the set P does not satisfy equation (5) after the addition, a more complicated correction process than when removing the correspondence is required.

本発明は上記問題点に鑑みなされたものであり、実用的
な処理時間で対応処理を行ない、かつ対応結果の修正の
容易な対応装置を提供することを目的とする。
The present invention has been made in view of the above-mentioned problems, and it is an object of the present invention to provide a response device that performs response processing in a practical processing time and that allows easy modification of response results.

〔課題を解決するための手段〕[Means to solve the problem]

本発明によれば、上述の目的は前記特許請求の範囲に記
載した手段により達成される。
According to the invention, the above objects are achieved by the means specified in the claims.

すなわち、本発明は請求項1記載の発明については、二
つの集合Fa=(ei11=1〜Na)、Fb= (e
 j l j=1〜Nb)間の各要素の1対1の対応関
係を決定するホップフィールド型ニューラルネットワー
クを用いた対応装置において、集合Fa中の要素eiと
集合Fb中の要素ejの対応する確実性の度合を表す類
似度行列S(i、j)を格納する類似度行列格納部(1
)と、Na X Nb個のユニットから成るホップフィ
ールド型ニューラルネットワークの各ユニットの出力値
V(i、j)を格納する対応関係テーブル格納部(2)
と、該対応間′係テーブル格納部(2)のアドレス(i
、j)の値■(i、j)を行方向に加算して保存する第
一のレジスタL i (3)および列方向に加算して保
存する第二のレジスタCj(4)と、対応関係テーブル
格納部(2)中の各ユニットのa力値V(i、j)の更
新計算を行なう対応関係計算部(5)とを有し、対応関
係テーブル格納部(2)中の各ユニットの出力値V(i
、j)の更新計算を行なう際には、該対応関係テーブル
格納部(2)中の各ユニットの出力値V(i、j)を走
査し上記第一のレジスタLi(3)と第二のレジスタL
j(4)にその加算結果を格納する手段と、対応関係計
算部(5)が、上記第一のレジスタL i (3)と第
二のレジスタLj(4)に格納された値を参照して、所
定の更新規則により対応関係テーブル格納部(2)中の
各ユニットの出力値V(i、j)の更新計算を行なう手
段と、該更新計算結果を評価し所定の基準に到達した場
合に更新計算を終了させる手段を設けたホップフィール
ド型ニューラルネットワークによる対応装置である。
That is, the present invention has two sets Fa=(ei11=1 to Na) and Fb=(e
In a correspondence device using a Hopfield neural network that determines the one-to-one correspondence of each element between j l j = 1 to Nb), the correspondence between element ei in set Fa and element ej in set Fb A similarity matrix storage unit (1
) and a correspondence table storage unit (2) that stores output values V(i, j) of each unit of a Hopfield neural network consisting of Na x Nb units.
and the address (i) of the corresponding relationship table storage unit (2).
. It has a correspondence calculation part (5) that performs update calculation of the a force value V(i, j) of each unit in the table storage part (2), and Output value V(i
, j), the output value V(i, j) of each unit in the correspondence table storage unit (2) is scanned and the first register Li(3) and the second Register L
The means for storing the addition result in j(4) and the correspondence calculation unit (5) refer to the values stored in the first register L i (3) and the second register L j (4). means for updating the output value V(i, j) of each unit in the correspondence table storage unit (2) according to a predetermined update rule, and when the update calculation result is evaluated and a predetermined standard is reached. This is a corresponding device using a Hopfield neural network, which is provided with a means for terminating the update calculation at the end of the update calculation.

また、請求項2記載の発明については、請求項1記載の
ホップフィールド型ニューラルネットワークによる対応
装置において、対応結果の修正を行なうために、修正す
る対応に相当するユニットの出力値V(i、j)を変更
する手段と、対応関係計算部(5)に、該修正されたユ
ニットの出力値V(i、j)関してはその値の更新を禁
止する手段を追加し、再度対応装置を起動させ修正され
た対応結果を求めるホップフィールド型ニューラルネッ
トワークによる対応装置である。
Further, regarding the invention as claimed in claim 2, in the correspondence device using the Hopfield neural network as claimed in claim 1, in order to correct the correspondence result, the output value V(i, j ) and a means for prohibiting updating of the output value V(i, j) of the corrected unit to the correspondence calculation unit (5), and restarting the corresponding device. This is a correspondence device using a Hopfield neural network that obtains a corrected correspondence result.

さらに、請求項3記載の発明については、請求項1記載
または請求項2記載のホップフィールド型ニューラルネ
ットワークによる対応装置と共に、 二枚のカラー画像(Fa、 Fb)を装置内に読み込む
画像入力部(11)と、各カラー画像毎に、画像中の閉
領域に識別ラベルを付加して格納するラベル画像格納部
Q2)と、一方の画像(Fa)の各ラベル領域が、どの
ような色であったかを示すラベル・カラ一対応テーブル
格納部(13a)と、上記ラベル画像格納部G2)中の
ラベル画像から、各ラベル領域毎の特徴を抽出する領域
特徴抽出部(14)と、該領域特徴抽出部(14)によ
り抽出された領域特徴を格納する領域特徴格納部(15
)と、該領域特徴格納部(19に格納された二枚の画像
の領域特徴から各ラベル領域の全ての組合せについて類
似度を求める類似度作成部06)と、上記対応装置が求
めた対応関係から、一方の画像(Fa)のラベル・カラ
一対応テーブル格納部(13a)を参照して、他方の画
像(Fb)のラベル領域を対応する色で彩色する彩色済
画像作成部(19)を有するアニメーション画像の自動
彩色装置である。
Furthermore, regarding the invention as claimed in claim 3, together with the corresponding device using the Hopfield neural network as claimed in claim 1 or claim 2, an image input unit ( 11), a label image storage unit Q2) that adds and stores an identification label to a closed area in the image for each color image, and what color each label area of one image (Fa) was. a label-color correspondence table storage unit (13a) indicating the label image storage unit G2; a region feature storage unit (15) that stores the region features extracted by the unit (14);
), the region feature storage unit (similarity generation unit 06 that calculates similarities for all combinations of each label region from the region features of the two images stored in 19), and the correspondence relationship determined by the corresponding device. , the colored image creation unit (19) refers to the label/color correspondence table storage unit (13a) of one image (Fa) and colors the label area of the other image (Fb) with the corresponding color. This is an automatic coloring device for animated images.

以下、本発明の基本となる請求項1および2記載の対応
装置について、さらに説明を加える。
Hereinafter, the corresponding devices according to claims 1 and 2, which are the basis of the present invention, will be further explained.

本発明の対応袋1では、従来技術の問題点を解決するた
めに、J、J、 Hopfieldにより提案された巡
回セールスマン問題の解法用のニューラルネットを用い
ることを基本としている(J、J、Hopfielda
nd D、W、Tank (1985)、”Neura
l computation inoptimizat
ion problems、 、 Biol、 Cyb
ernetics52、141−152. ”)。
Compatible bag 1 of the present invention is based on the use of a neural network for solving the traveling salesman problem proposed by J. J. Hopfield (J. J. Hopfielda
nd D, W, Tank (1985), “Neura
l computation inoptimizat
ion problems, Biol, Cyb
ernetics52, 141-152. ”).

このホップフィールド(Hopfield)型ニューラ
ルネットワークはNP完全問題を短時間で近似的に解け
ることで知られているが、実際に装置化するには各ユニ
ット間の結合関係をあられすシナプス荷重と呼ばれる値
を保存するためのメモリを多量に必要とする。
This Hopfield type neural network is known to be able to approximately solve NP-complete problems in a short time, but in order to make it into an actual device, the connection relationship between each unit is calculated using a value called the synaptic load. Requires a large amount of memory to store.

そこで、本発明の対応装置では、下記の方法により、多
量のメモリを必要とせずに対応装置を実現している。
Therefore, in the compatible device of the present invention, the compatible device is realized without requiring a large amount of memory by the following method.

すなわち、第1図は本発明の原理構成図を示しており、
1は類似度行列S(i、j)を格納する類似度行列格納
部、2はホップフィールド型ニューラルネットワークの
各ユニットの出力値を格納する対応関係テーブル格納部
、3は出力値V (i。
That is, FIG. 1 shows the principle configuration diagram of the present invention,
1 is a similarity matrix storage unit that stores the similarity matrix S(i, j), 2 is a correspondence table storage unit that stores the output values of each unit of the Hopfield neural network, and 3 is the output value V (i.

j)の行方間の総和を保存する第一のレジスタ(Li)
 、4は出力値V(i、j)の列方向の総和を保存する
第二のレジスタ(Cj) 、5は所定の更新規則(後述
する)により出力値V(i、Hの更新計算を行なう対応
関係計算部を表わしている。
A first register (Li) that stores the total sum of j)
, 4 is a second register (Cj) that stores the sum of the output values V (i, j) in the column direction, and 5 is an update calculation of the output values V (i, H) according to a predetermined update rule (described later). It represents a correspondence calculation section.

第1図に示されるごとく、本発明の対応装置では、対応
関係テーブル格納部2中の各枡口に配置されたユニット
の出力値によって対応関係を表わしている。
As shown in FIG. 1, in the correspondence device of the present invention, the correspondence is expressed by the output value of the unit placed in each cell in the correspondence table storage section 2.

例えば、集合Fa中の要素e、と集合Fb中の要素e、
の対応関係をユニソt−(i、j)の出力値■(i、j
)を用いて次のように表わす。
For example, element e in set Fa and element e in set Fb,
The correspondence relationship of is expressed as the output value of Uniso t-(i, j) ■(i, j
) is expressed as follows.

このV(i j)の値は対応処理の途中では対 応関係が確定していないため、“0.0〜1.0”の実
数値をとる。(5)式で示される条件は、この対応関係
テーブル上の縦横共に1つのユニット出力のみが”1.
0”の値となり、それ以外のユニットは“0.0°″の
値となることに相当する。
The value of V(ij) takes a real value between "0.0 and 1.0" because the correspondence relationship is not determined during the correspondence process. The condition shown in equation (5) is that only one unit output in both the vertical and horizontal directions on this correspondence table is "1".
This corresponds to a value of "0", and other units have a value of "0.0°".

また、対応関係計算部5では、ユニット出力の初期値を
適当に設定し、ユニット出力値を以下の計算により繰り
返し更新して、収束したときのユニットの出力値より対
応関係を求める。
Further, in the correspondence calculation section 5, the initial value of the unit output is set appropriately, the unit output value is repeatedly updated by the following calculation, and the correspondence is determined from the unit output value when converged.

ここで、AとBは先験的に定めた定数である。Here, A and B are constants determined a priori.

対応結果の修正は、修正する対応に相当するユニットの
出力値を変更し、再び(8,1)弐〜(8,4)式の計
算を繰り返すことで行なう。
Correcting the correspondence result is performed by changing the output value of the unit corresponding to the correspondence to be corrected and repeating the calculations of equations (8,1)2 to (8,4) again.

また請求項2記載の発明では、対応関係チーフル格納部
2中のユニットの出力値V(i、j)を次のように修正
する。
Further, in the invention as set forth in claim 2, the output value V(i, j) of the unit in the correspondence chifur storage section 2 is modified as follows.

e、とejが対応→未対応: V (i、j) −0,0に修正 e、とeJが未対応→対応: V (j、j)=1.0に修正 (8,1)弐〜(8,4)弐の計算は、対応関係の修正
を行なった後のユニット出力を初期値として繰り返し行
なわれる。ただし、修正したユニット出力値に関しては
対応関係計算部5では値の更新を行なわない。
e, and ej are compatible → Not compatible: V (i, j) Corrected to -0,0 e, and eJ are not compatible → Corresponding: V (j, j) = Corrected to 1.0 (8, 1) 2 The calculations of (8, 4) 2 are repeated using the unit output after the correspondence has been corrected as the initial value. However, the correspondence calculation section 5 does not update the corrected unit output values.

〔作用〕 本発明の対応装置では、類似度行列格納部1中の類似度
行列S(i、j)を基にして、対応関係テーブル格納部
2中のユニットの出力(JV(i。
[Operation] In the correspondence device of the present invention, based on the similarity matrix S(i, j) in the similarity matrix storage unit 1, the output (JV(i,

j)の更新計算を行ない対応関係を決定するのであるが
、上記更新計算に用いた(8.1)弐〜(8,4)式の
更新規則は、結局、次の評価関数Fの値を減少させるよ
うにユニットの出力値V(i、j)を変化させるもので
ある。
The update calculation of j) is performed to determine the correspondence relationship, but the update rules of equations (8.1) 2 to (8, 4) used for the above update calculation end up determining the value of the following evaluation function F. The output value V(i,j) of the unit is changed so as to decrease the output value V(i,j).

F=A [Σ(ΣV(i、 j) −1) ” +Σ(
ΣV(i、j)  1)”]  B(ΣΣS(i、j)
V(i、 j))            (9)式こ
こで、AとBは(8,2)式のものと同じ値を持つ。
F=A [Σ(ΣV(i, j) −1) ” +Σ(
ΣV(i, j) 1)”] B(ΣΣS(i, j)
V(i, j)) (9) where A and B have the same values as in equation (8,2).

(9)式の右辺第1項は(5)式で示される条件が満た
される時に最少になるように設定され、第2項は(6)
式が最大になったときに最少となる。
The first term on the right side of equation (9) is set to be the minimum when the condition shown in equation (5) is satisfied, and the second term is set as (6).
It is minimum when the expression is maximum.

従って、(8,1)弐〜(8,4)式の繰り返し計算に
よるユニット出力の収束値は対応処理の結果を表わして
いることになる。
Therefore, the convergence value of the unit output by repeated calculation of equations (8,1)2 to (8,4) represents the result of the corresponding processing.

また、請求項2記載の発明の場合については、本発明の
対応装置は従来技術と異なり、対応処理を逐次的に行な
わないため、対応順によって実用的な解を得られないと
いうことがない。また同じ理由から、対応の修正を行な
う時も部分的な修正を加えたのちに(8,1)弐〜(8
,4)式の繰り返し計算を行なうと、修正により崩れた
1対1の対応関係を修復した対応結果を得ることができ
ることになる。
Further, in the case of the invention described in claim 2, unlike the prior art, the handling device of the present invention does not perform the handling processing sequentially, so there is no possibility that a practical solution cannot be obtained depending on the order of handling. Also, for the same reason, when modifying the correspondence, after making partial modifications, (8, 1) 2 ~ (8
, 4), it is possible to obtain a correspondence result that restores the one-to-one correspondence relationship broken by the correction.

また、請求項3記載の発明については、請求項1または
2記載の対応装置をアニメーション画像の自動彩色装置
に応用した例であり、実施例の項でその詳細が説明され
る。
Further, the invention as claimed in claim 3 is an example in which the corresponding apparatus as claimed in claim 1 or 2 is applied to an automatic coloring apparatus for animation images, and the details thereof will be explained in the embodiment section.

ナオ、Hopfield型ニューラルネットの計算は、
本来U(i、j)を計算するために次式を用いる。
Nao, Hopfield type neural network calculations are:
Originally, the following equation is used to calculate U(i, j).

U(i、 j)←ΣΣT (i+j、i’+j’)V(
i、 j)  ? (i、 j)   (9,1)式た
だし、本発明で扱う対応処理においてT(i+j+i’
、j’)とI  (i、j)は、次式で計算される。
U(i, j)←ΣΣT (i+j, i'+j')V(
i, j)? (i, j) (9,1) However, in the corresponding processing handled by the present invention, T(i+j+i'
, j') and I (i, j) are calculated using the following equations.

T(11J11’|j’) はシナプス荷重であり、 このイ直を 保存するためには((Na×Nb)”X32bit )
のメモリが必要になる。(例えば、10個の要素同士の
対応付けのためには4 MByteのメモリを必要とす
る。)しかし、(9,2)式のT(1+j+IZJ“)
の値は次式の場合分けで簡単に求められるため、事前に
値を計算し、格納しておく必要性がない。
T(11J11'|j') is the synaptic load, and in order to preserve this directness, ((Na×Nb)"X32bit)
memory is required. (For example, 4 MB of memory is required to associate 10 elements with each other.) However, T(1+j+IZJ") in equation (9,2)
Since the value of can be easily obtained by dividing the cases using the following equation, there is no need to calculate and store the value in advance.

そのため、(8,2)弐〜(8,4)式を用いてU(i
、 j)を計算することでT(i、j+i’+j”)を
格納する多量のメモリを省略できることになる。
Therefore, U(i
, j), a large amount of memory for storing T(i, j+i'+j'') can be omitted.

(実施例〕 第2図は本発明の一実施例を示す図であり、本発明を用
いたアニメーション画像の自動彩色装置を示している。
(Embodiment) FIG. 2 is a diagram showing an embodiment of the present invention, and shows an automatic coloring device for animation images using the present invention.

本自動彩色装置は、画像入力部11、ラベル画像格納部
12、ラベル−カラー対応テーブル格納部13a、頌域
特徴抽出部14、領域特徴格納部15、類似度作成部1
6、対応処理部17、対応修正部18、彩色済画像作成
部19から構成されており、本自動彩色装置に対する入
力は、彩色済のカラー画像aとこれから彩色処理を行な
う線画像すである。
This automatic coloring device includes an image input section 11, a label image storage section 12, a label-color correspondence table storage section 13a, a feature extraction section 14, a region feature storage section 15, and a similarity generation section 1.
6, a correspondence processing section 17, a correspondence correction section 18, and a colored image creation section 19.The inputs to this automatic coloring apparatus are a colored image a and a line image to be colored.

以下、本自動彩色装置の動作について説明する。The operation of this automatic coloring device will be explained below.

(1)画像入力部11は、カメラ等の画像入力装置によ
ってカラー画像aと線画像すを計算機内部に読み込み、
それぞれに対して異なる処理を施す。
(1) The image input unit 11 reads the color image a and the line image S into the computer using an image input device such as a camera,
Perform different processing on each.

カラー画像aに対しては同一カラーで彩色された閉領域
毎にラベル(i=1.・・・、 Na)が付けられたラ
ベル画像Faを作成し、これをラベル画像格納部12中
の格納部12aに格納する。さらに、それぞれのラベル
領域がどの色であったかを示すラベル−カラー対応テー
ブルを作成し、これをラベル−カラー対応テーブル格納
部13aに格納する。
For the color image a, a label image Fa is created in which a label (i=1..., Na) is attached to each closed region colored in the same color, and this is stored in the label image storage unit 12. The information is stored in the section 12a. Further, a label-color correspondence table indicating which color each label area has is created and stored in the label-color correspondence table storage section 13a.

線画像すに対しては、背景を除去した後に輪享ド線で囲
まれた閉領域を抽出し、閉領域毎にラベル(j=1.・
・・、 Nb)を付加したラベル画像Fbを作成する。
For line images, after removing the background, we extract closed regions surrounded by lines, and label each closed region (j=1.
..., Nb) is added to create a label image Fb.

その後、ラベル画像Fbをラベル画像格納部12中の格
納部12bに格納し、処理を終了する。
Thereafter, the label image Fb is stored in the storage section 12b in the label image storage section 12, and the process is ended.

(2)画像入力部11による画像読み込み動作が終了し
たのちに、領域特徴抽出部14が起動する。領域特徴抽
出部14は、ラベル画像格納部12に格納されているラ
ベル画像から、各ラベル頭域毎の領域特徴を抽出して領
域特徴格納部15に格納する。
(2) After the image input unit 11 completes the image reading operation, the region feature extraction unit 14 is activated. The region feature extraction section 14 extracts region features for each label head region from the label images stored in the label image storage section 12 and stores them in the region feature storage section 15 .

抽出する領域特徴は、面積、周囲長、複雑度、チエイン
コード・ヒストグラム、重心位置、慣性主軸方向の6種
類である。面積はフレームメモリ上のラベル領域の画素
数、周囲長はラベル領域の輪郭線上の画素数、複雑度は
周囲長の2乗を周囲長で割った値、チエインコード・ヒ
ストグラムは慣性主軸方向を画像の継軸に一致させたと
きのラベル領域の輪郭を8方向のチエインコードで表わ
してO〜7のコード毎に累積した度数表、重心位置はラ
ベル領域の重心のフレームメモリ上の座標値、慣性玉軸
方向はラベル領域の慣性主軸と画像の横軸とがなす反時
計周りの角度とする。領域特徴抽出部14は、ラベル画
像格納部12aに格納されているラベル画像Faの領域
特徴を領域特徴格納部15aに、ラベル画像格納部12
bに格納されているラベル画像Fbの領域特徴を1域特
徴格納部15bに、それぞれ格納する。
There are six types of region features to be extracted: area, perimeter, complexity, chain code histogram, center of gravity position, and principal axis of inertia direction. The area is the number of pixels in the label area on the frame memory, the perimeter is the number of pixels on the outline of the label area, the complexity is the square of the perimeter divided by the perimeter, and the chain code histogram is the number of pixels in the principal axis of inertia direction. The outline of the label area when aligned with the joint axis of the label area is represented by chain codes in 8 directions, and the frequency table is accumulated for each code from 0 to 7. The center of gravity position is the coordinate value on the frame memory of the center of gravity of the label area, and the inertia. The ball axis direction is the counterclockwise angle formed by the principal axis of inertia of the label area and the horizontal axis of the image. The area feature extraction unit 14 transfers the area features of the label image Fa stored in the label image storage unit 12a to the area feature storage unit 15a.
The area features of the label image Fb stored in b are respectively stored in the one area feature storage unit 15b.

(3)類似度作成部16は、領域特徴格納部15aに格
納されているラベル画像Fa中のラベルi領域の領域特
徴と、領域特徴格納部15bに格納されているラベル画
像Fb中のラベルj領域の領域特徴より、全てのiとj
の組み合わせについて類似度、S(i、j)を計算する
。本実施例は領域特徴として、上記の6種類を用いてラ
ベルi領域とラベルj ?il域間の類似度を計算する
。S(i、j)の値は[0〜1]の実数値をとり、2領
域の領域特徴の差が小さいほど1に近い値をとるように
設定されている。計算された類似度の値は、対応処理部
7に送られる。
(3) The similarity creation unit 16 uses the area feature of the label i area in the label image Fa stored in the area feature storage unit 15a and the label j in the label image Fb stored in the area feature storage unit 15b. From the region feature of the region, all i and j
The similarity, S(i, j), is calculated for the combination of . In this embodiment, the above six types are used as area features to determine label i area and label j? Calculate the similarity between il regions. The value of S(i,j) takes a real value from [0 to 1], and is set to take a value closer to 1 as the difference between the area features of the two areas is smaller. The calculated similarity value is sent to the correspondence processing unit 7.

(4)対応処理部17は、第3図に示されるごとく、類
似度行列格納部21、対応関係テーブル格納部22、フ
レームメモリ走査部27、レジスタ部(Li)23、レ
ジスタ部(Cj)24、対応関係評価部26、対応関係
計算部25によって構成されている。
(4) As shown in FIG. 3, the correspondence processing section 17 includes a similarity matrix storage section 21, a correspondence table storage section 22, a frame memory scanning section 27, a register section (Li) 23, and a register section (Cj) 24. , a correspondence evaluation section 26, and a correspondence calculation section 25.

すなわち、類似度作成部16から送られた類似度は類似
度行列格納部21と対応関係テーブル格納部22に格納
される。類似度行列格納部21と対応関係テーブル格納
部22は、ともにNa X Nb X 32bitのフ
レームメモリで構成されており、アドレス(i、 j)
にS(i、j)を格納している。対応関係チーフル格納
部22に類似度を格納したのは、類似度行列を対応関係
テーブルの初期値として用いるためである。
That is, the similarity sent from the similarity creation unit 16 is stored in the similarity matrix storage 21 and the correspondence table storage 22. Both the similarity matrix storage unit 21 and the correspondence table storage unit 22 are configured with a Na x Nb x 32-bit frame memory, and the address (i, j)
S(i,j) is stored in . The reason why the similarity is stored in the correspondence relation table storage unit 22 is to use the similarity matrix as the initial value of the correspondence table.

(5)類似度の格納が終了したのち、対応処理部17は
対応関係評価部26が終了信号を出すまで、次に示す手
順、(a)〜(C)の処理を繰り返す。
(5) After the storage of the similarity is completed, the correspondence processing unit 17 repeats the following steps (a) to (C) until the correspondence evaluation unit 26 issues a termination signal.

(a)  フレームメモリ走査部27は、まずレジスタ
部(Li)23のNa個のレジスタとレジスタ部(Cj
)24のNb個のレジスタを“0パに設定する。次に対
応関係テーブル格納部2をラスク走査して、アドレス(
i、j)の値、V(i、j)をレジスタ(Li)23と
レジスタ(Cj)24の値に加算して保存する。
(a) The frame memory scanning section 27 first scans the Na registers of the register section (Li) 23 and the register section (Cj
) 24 are set to "0".Next, the correspondence table storage unit 2 is scanned by rask and the address (
The value of i, j) and V(i, j) are added to the values of register (Li) 23 and register (Cj) 24 and saved.

このラスク走査と平行してフレームメモリ走査部27は
、類似度行列格納部21をラスク走査してS(i、j)
を読み込み、V(i、j)とS (i。
In parallel with this rask scan, the frame memory scanning section 27 performs a rask scan on the similarity matrix storage section 21 to obtain S(i,j).
and V(i,j) and S(i.

J)の積和Wを計算する。Calculate the sum of products W of J).

W= (ΣΣS (i、j)V (i、j))  (1
0式ラうク走査が終了すると、フレームメモリ走査部2
7は対応関係評価部26に起動信号とWの値を送り処理
を終了する。
W= (ΣΣS (i, j)V (i, j)) (1
When the 0 type past scanning is completed, the frame memory scanning section 2
7 sends the activation signal and the value of W to the correspondence evaluation section 26 and ends the process.

(′b)対応関係評価部26は、起動信号を受は取ると
Wの値とレジスタ部(Li)23とレジスタ部(Cj)
24を参照して次の評価関数値Fを計算する。
('b) When the correspondence evaluation section 26 receives the activation signal, it calculates the value of W, the register section (Li) 23, and the register section (Cj).
24, the next evaluation function value F is calculated.

−1,0) 2] −BXW        (12j
式ここで、L(i)はレジスタ(Li)23の値、C(
j)はレジスタ(Cj)24の値、AとBは先験的に定
めた定数である。対応関係評価部26はFの値を監視し
ており、Fの値が前回計算したときと比べて減少してい
ないときは終了信号を発生させ対応処理部17の処理を
打ち切り、対応修正部18を起動する。
-1,0) 2] -BXW (12j
where L(i) is the value of register (Li) 23, C(
j) is the value of the register (Cj) 24, and A and B are constants determined a priori. The correspondence evaluation section 26 monitors the value of F, and when the value of F has not decreased compared to the previous calculation, it generates an end signal to terminate the processing of the correspondence processing section 17, and the correspondence correction section 18 Start.

それ以外のときは対応関係計算部25を起動する。In other cases, the correspondence calculation unit 25 is activated.

(C)  対応関係計算部25は、第4図に示されるご
とく、処理禁止フラグ格納部25aと計算部25bから
構成される。
(C) As shown in FIG. 4, the correspondence calculation section 25 is composed of a processing prohibition flag storage section 25a and a calculation section 25b.

処理禁止フラグ格納部25aはNa X Nb X 1
bitのメモリで通常は0”の値を格納し、対応修正部
18により内容が書き換えられる。計算部25bは処理
禁止フラグ格納部25aのアドレス(i、j)の内容(
処理禁止フラグ)を参照し、“1゛の時は処理を行なわ
ず、“0”のときに対応関係テーブル格納部22とレジ
スタ部(Li)23とレジスタ部(Cj)24を参照し
て次式によりV(i、j)を計算する。
The processing prohibition flag storage section 25a is Na X Nb X 1
The value of 0 is normally stored in the bit memory, and the content is rewritten by the correspondence correction unit 18.The calculation unit 25b stores the content (
When it is "1", no processing is performed, and when it is "0", the next processing is performed by referring to the correspondence table storage section 22, register section (Li) 23, and register section (Cj) 24. Calculate V(i,j) using the formula.

■ (19式中のU(i、j)は次式で計算する。■ (U(i, j) in equation 19 is calculated using the following equation.

U(i、 j)←−A ((L (i) +C(j)−
2・■(i、 j) −0,5) +B−3(i、 j
)  (14)式(5)式中のAとBは、(3)式中の
ものと同一の値をとる。計算されたV(i、j)は、対
応関係チーフル格納部22のアドレス(i、j)に逐次
格納される。処理禁止フラグが“0゛であるV(i、j
)を全て計算したのち、対応関係計算部25はフレーム
メモリ走査部27を再起動する。(繰り返し計算ここま
で。) (6)対応修正部18は、第5図に示されるごとく、ラ
ベル画像変換部18a、フレームメモ1月8b、ティス
プレィ18c、タブレット18d、修正処理部18eか
ら構成される。ラベル画像変換部18aは、対応関係テ
ーブル格納部22とラベル画像格納部12bを参照して
、ラベル画像Fbのラベルjを、ラベルjと対応したラ
ベルiに書き換えたラベル画像Fb’を作成し、フレー
ムメモリ18bに格納する。デイスプレィ18cは、ラ
ベル画像格納部12a上のラベル画像Faとフレームメ
モ1月8b上のラベル画像Fb’を、それぞれのラベル
毎に任意の色を対応させて表示する。オペレータは、ラ
ベル画像FaとFb’ を比較して、デイスプレィ18
cと連動したタブレット18dを用いて修正する対応関
係を指定する。修正処理部18eは、この修正する対応
関係をもとにして対応関係テーブル格納部22と処理禁
止フラグ格納部25aを操作する。ラベル画像Fa中の
領域jとラベル画像Fb中の領域jの対応関係(i、j
)を追加するときは、対応関係テーブル格納部22と処
理禁止フラグ格納部25aのアドレス(i、Dにそれぞ
れ“1.0”と“1”を書き込み、対応関係(i、j)
を除去するときは対応関係テーブル格納部22と処理禁
止フラグ格納部25aのアドレス(i、j)にそれぞれ
“′0.o′と“1“′を書き込む。修正は一般に、対
応関係(i、j)を対応関係(i”、j)に変更するよ
うに指定されるため、対応関係(i、j)の除去と対応
関係(i”、j)の追加が同時に行なわれる。対応関係
テーブル格納部22と処理禁止フラグ格納部25dの操
作が終了したのち、対応修正部18は対応処理部17を
再起動する。対応関係の修正がないときは、対応修正部
18は彩色済画像作成部19を起動する。
U(i, j)←−A ((L (i) +C(j)−
2・■(i, j) -0,5) +B-3(i, j
) (14) A and B in equation (5) take the same values as in equation (3). The calculated V(i, j) is sequentially stored at the address (i, j) of the correspondence chifur storage section 22. V(i, j
), the correspondence calculation section 25 restarts the frame memory scanning section 27. (Repeated calculations up to this point.) (6) As shown in FIG. 5, the correspondence correction section 18 is composed of a label image conversion section 18a, a frame memo 8b, a display 18c, a tablet 18d, and a correction processing section 18e. . The label image conversion unit 18a refers to the correspondence table storage unit 22 and the label image storage unit 12b, and creates a label image Fb′ in which the label j of the label image Fb is rewritten to a label i corresponding to the label j, The data is stored in the frame memory 18b. The display 18c displays the label image Fa on the label image storage section 12a and the label image Fb' on the frame memo 8b in an arbitrary color corresponding to each label. The operator compares the label images Fa and Fb' and displays the display 18.
The correspondence relationship to be corrected is specified using the tablet 18d linked with c. The correction processing section 18e operates the correspondence table storage section 22 and the processing prohibition flag storage section 25a based on the correspondence relationship to be corrected. Correspondence between area j in label image Fa and area j in label image Fb (i, j
), write “1.0” and “1” to the addresses (i, D, respectively) of the correspondence table storage unit 22 and processing prohibition flag storage unit 25a, and add the correspondence relationship (i, j).
When deleting the correspondence relationship (i, Since it is specified to change the correspondence relationship (i'', j) to the correspondence relationship (i'', j), the correspondence relationship (i, j) is removed and the correspondence relationship (i'', j) is added at the same time. Correspondence table storage After the operations of the section 22 and the processing prohibition flag storage section 25d are completed, the correspondence correction section 18 restarts the correspondence processing section 17. If the correspondence is not corrected, the correspondence correction section 18 restarts the colored image creation section 19. Start.

(7)彩色済画像作成部19は、ラベル−カラー対応テ
ーブル格納部13aを参照して、フレームメモU18b
に格納されたラベル画像Fb”のラベル領域をそのラベ
ルに対応するカラーで塗り潰し、自動彩色結果として出
力する。出力結果はMT (Iステープ)などの記録装
置に保存され、アニメーションの作成に利用される。
(7) The colored image creation unit 19 refers to the label-color correspondence table storage unit 13a and creates a frame memo U18b.
The label area of the label image Fb" stored in the label image Fb" is filled in with the color corresponding to the label and output as an automatic coloring result.The output result is saved in a recording device such as MT (I tape) and used for creating animation. Ru.

〔発明の効果] 以上説明したように本発明では対応処理を行なうに際し
て、各ユニット間の結合関係を示すシナプス荷重と呼ば
れる値を保存するメモリを省略したHopf 1eld
型ニユーラルネツトを用いたことにより、従来技術の探
索による対応処理のように対応順に結果が依存しない対
応処理を行なうことが可能となり、実用的な処理時間で
有効な対応結果を得ることができるようになる。また、
修正を行なうために特別な処理を必要としないため、修
正処理を実現する簡単な構成の対応装置の実現が可能に
なる。
[Effects of the Invention] As explained above, in the present invention, when performing correspondence processing, the Hopf 1eld is used which omits the memory for storing the value called the synaptic load indicating the connection relationship between each unit.
By using a type neural net, it is possible to perform correspondence processing in which the results do not depend on the order of correspondence, unlike the correspondence processing by searching in the conventional technology, and it is now possible to obtain effective correspondence results in a practical processing time. Become. Also,
Since no special processing is required to perform the correction, it becomes possible to realize a compatible device with a simple configuration that implements the correction processing.

【図面の簡単な説明】[Brief explanation of drawings]

第1図は本発明の原理構成図、第2図は本発明の一実施
例を示す図、第3図は対応処理部の構成を示す図、第4
図は対応関係計算部の構成を示す図、第5図は対応修正
部の構成を示す図、第6図は従来技術について説明する
ための図、第7図は従来技術による集合Ckの決定例を
示す図である。 1・・・類似度行列格納部、2・・・対応関係テーブル
格納部、3・・・レジスタ(Li)、4・・・レジスタ
(Cj)、5・・・対応関係計算部、11・・・画像入
力部、12・・・ラベル画像格納部、12a・・・画像
a用の格納部、12b・・・画像す用の格納部、13a
・・・ラベル・カラ一対応テーブル格納部、14・・・
領域特徴抽出部、15・・・領域特徴格納部、15a・
・・画像a用の格納部、15b・・・画像す用の格納部
、16・・・類似度作成部、17・・・対応処理部、1
8・・・対応修正部、18a・・・ラベル画像変換部、
18b・・・フレームメモリ、18c・・・アイスプレ
イ、18d・・・タブレット、18e・・・修正処理部
、19・・・彩色済画像作成部、21・・・類似度行列
格納部、22・・・対応関係テーブル格納部、23・・
・レジスタ(Li)、24・・・レジスタ(Cj)、2
5・・・対応関係計算部、25a・・・処理禁止フラグ
格納部、25b・・・計算部、26・一対応関係評価部
、 27・・・フレームメモリ走査部
Figure 1 is a diagram showing the principle configuration of the present invention, Figure 2 is a diagram showing an embodiment of the present invention, Figure 3 is a diagram showing the configuration of the corresponding processing section, and Figure 4 is a diagram showing the configuration of the corresponding processing section.
The figure shows the configuration of the correspondence calculation section, FIG. 5 shows the configuration of the correspondence correction section, FIG. 6 is a diagram for explaining the prior art, and FIG. 7 shows an example of determining the set Ck according to the prior art. FIG. DESCRIPTION OF SYMBOLS 1... Similarity matrix storage unit, 2... Correspondence table storage unit, 3... Register (Li), 4... Register (Cj), 5... Correspondence calculation unit, 11... - Image input section, 12... Label image storage section, 12a... Storage section for image a, 12b... Storage section for image a, 13a
...Label/color correspondence table storage section, 14...
Region feature extraction unit, 15...Region feature storage unit, 15a.
... Storage unit for image a, 15b... Storage unit for image a, 16... Similarity creation unit, 17... Correspondence processing unit, 1
8... Correspondence correction section, 18a... Label image conversion section,
18b... Frame memory, 18c... Ice play, 18d... Tablet, 18e... Correction processing section, 19... Colored image creation section, 21... Similarity matrix storage section, 22. ...Correspondence table storage section, 23...
・Register (Li), 24...Register (Cj), 2
5... Correspondence calculation unit, 25a... Processing prohibition flag storage unit, 25b... Calculation unit, 26-Correspondence evaluation unit, 27... Frame memory scanning unit

Claims (3)

【特許請求の範囲】[Claims] (1)二つの集合Fa=(ei|i=1〜Na)、Fb
=(ej|j=1〜Nb)間の各要素の1対1の対応関
係を決定するホップフィールド型ニューラルネットワー
クを用いた対応装置において、 集合Fa中の要素eiと集合Fb中の要素ejの対応す
る確実性の度合を表す類似度行列S(i,j)を格納す
る類似度行列格納部(1)と、Na×Nb個のユニット
から成るホップフィールド型ニューラルネットワークの
各ユニットの出力値V(i,j)を格納する対応関係テ
ーブル格納部(2)と、 上記対応関係テーブル格納部(2)のアドレス(i,j
)の値V(i,j)を行方向に加算して保存する第一の
レジスタLi(3)および列方向に加算して保存する第
二のレジスタCj(4)と、対応関係テーブル格納部(
2)中の各ユニットの出力値V(i,j)の更新計算を
行なう対応関係計算部(5)とを有し、 対応関係テーブル格納部(2)中の各ユニットの出力値
V(i,j)の更新計算を行なう際には、 該対応関係テーブル格納部(2)中の各ユニットの出力
値V(i,j)を走査し上記第一のレジスタLi(3)
と第二のレジスタLj(4)にその加算結果を格納する
手段と、 対応関係計算部(5)が、上記第一のレジスタLi(3
)と第二のレジスタLj(4)に格納された値を参照し
て、所定の更新規則により対応関係テーブル格納部(2
)中の各ユニットの出力値V(i,j)の更新計算を行
なう手段と、 上記更新計算結果を評価し所定の基準に到達した場合に
該更新計算を終了させる手段を、用いたことを特徴とす
るホップフィールド型ニューラルネットワークによる対
応装置。
(1) Two sets Fa=(ei|i=1~Na), Fb
In a correspondence device using a Hopfield neural network that determines the one-to-one correspondence of each element between = (ej | A similarity matrix storage unit (1) that stores a similarity matrix S (i, j) representing the corresponding degree of certainty, and an output value V of each unit of a Hopfield neural network consisting of Na×Nb units. (i, j), and the address (i, j) of the correspondence table storage unit (2).
), a first register Li (3) that adds and stores the value V(i, j) in the row direction, a second register Cj (4) that adds and stores the value V (i, j) in the column direction, and a correspondence table storage section. (
2), and a correspondence calculation unit (5) for updating the output value V(i, j) of each unit in the correspondence table storage unit (2). , j), the output value V(i, j) of each unit in the correspondence table storage section (2) is scanned and the first register Li(3) is
and means for storing the addition result in the second register Lj (4); and the correspondence calculation unit (5) stores the addition result in the first register Li (3
) and the values stored in the second register Lj (4), the correspondence table storage unit (2
), and a means for evaluating the update calculation results and terminating the update calculation when a predetermined standard is reached. A correspondence device using a characteristic Hopfield neural network.
(2)請求項1記載のホップフィールド型ニューラルネ
ットワークによる対応装置において、対応結果の修正を
行なうために、 修正する対応に相当するユニットの出力値V(i,j)
を変更する手段と、 対応関係計算部(5)に、上記修正されたユニットの出
力値V(i,j)関してはその値の更新を禁止する手段
を追加し、 再度対応装置を起動させ修正された対応結果を求めるこ
とを特徴とするホップフィールド型ニューラルネットワ
ークによる対応装置。
(2) In the correspondence device using the Hopfield neural network according to claim 1, in order to correct the correspondence result, the output value V (i, j) of the unit corresponding to the correspondence to be corrected is determined.
and a means for prohibiting updating of the output value V(i, j) of the corrected unit to the correspondence calculation unit (5), and restarting the corresponding device. A correspondence device using a Hopfield neural network characterized by obtaining a corrected correspondence result.
(3)請求項1記載または請求項2記載のホップフィー
ルド型ニューラルネットワークによる対応装置と共に、 二枚のカラー画像(Fa,Fb)を装置内に読み込む画
像入力部(11)と、 各カラー画像毎に、画像中の閉領域に識別ラベルを付加
して格納するラベル画像格納部(12)と、 一方の画像(Fa)の各ラベル領域が、どのような色で
あったかを示すラベル−カラー対応テーブル格納部(1
3a)と、 上記ラベル画像格納部(12)中のラベル画像から、各
ラベル領域毎の特徴を抽出する領域特徴抽出部(14)
と、 上記領域特徴抽出部(14)により抽出された領域特徴
を格納する領域特徴格納部(15)と、上記領域特徴格
納部(15)に格納された二枚の画像の領域特徴から各
ラベル領域の全ての組合せについて類似度を求める類似
度作成部(16)と、 上記対応装置が求めた対応関係から、一方の画像(Fa
)のラベル−カラー対応テーブル格納部(13a)を参
照して、他方の画像(Fb)のラベル領域を対応する色
で彩色する彩色済画像作成部(19)を、 有することを特徴とするアニメーション画像の自動彩色
装置。
(3) An image input unit (11) for reading two color images (Fa, Fb) into the device together with a corresponding device using the Hopfield neural network according to claim 1 or claim 2, and for each color image. A label image storage unit (12) that stores identification labels added to closed areas in the image, and a label-color correspondence table that shows what color each label area of one image (Fa) was. Storage part (1
3a), and a region feature extraction unit (14) that extracts features for each label region from the label images in the label image storage unit (12).
and a region feature storage section (15) that stores the region features extracted by the region feature extraction section (14), and each label is extracted from the region features of the two images stored in the region feature storage section (15). One image (Fa
An animation characterized by comprising a colored image creation unit (19) that refers to a label-color correspondence table storage unit (13a) of ) and colors the label area of the other image (Fb) with a corresponding color. Automatic image coloring device.
JP2280493A 1990-10-18 1990-10-18 Correspondence device by hop field type neural network Pending JPH04153888A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2280493A JPH04153888A (en) 1990-10-18 1990-10-18 Correspondence device by hop field type neural network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2280493A JPH04153888A (en) 1990-10-18 1990-10-18 Correspondence device by hop field type neural network

Publications (1)

Publication Number Publication Date
JPH04153888A true JPH04153888A (en) 1992-05-27

Family

ID=17625852

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2280493A Pending JPH04153888A (en) 1990-10-18 1990-10-18 Correspondence device by hop field type neural network

Country Status (1)

Country Link
JP (1) JPH04153888A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011523796A (en) * 2008-04-14 2011-08-18 クゥアルコム・インコーポレイテッド Radial adaptive spherical decoding with stochastic noise constraints

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011523796A (en) * 2008-04-14 2011-08-18 クゥアルコム・インコーポレイテッド Radial adaptive spherical decoding with stochastic noise constraints

Similar Documents

Publication Publication Date Title
JP6871314B2 (en) Object detection method, device and storage medium
CN107220929A (en) A kind of non-paired image method for transformation using the consistent confrontation network of circulation
CN110349225A (en) A kind of BIM model exterior contour rapid extracting method
US6215501B1 (en) Method and filling a polygon and recording medium
JPS61233878A (en) Image processing apparatus
CN117058338A (en) CAD-based three-dimensional building model construction method, system, equipment and medium
JPH04153888A (en) Correspondence device by hop field type neural network
JPH03179873A (en) Picture processing method
JP4661529B2 (en) Image processing device
JPS59125470A (en) Processing method for variable magnification of picture data
CN117196958B (en) Picture splicing method, device, equipment and storage medium based on deep learning
JP2835752B2 (en) Automatic coloring device
KR102583160B1 (en) Method for determining the position of the nodule in the X-ray image
JPH01179082A (en) Display device for sample
JPH03206574A (en) Raster scan type labeling processing system
JPH0462110B2 (en)
JP2930599B2 (en) Graphic vectorization processing method and apparatus
JPH0737059A (en) Method for displaying image with reduced number of colors
JP3012862B2 (en) Map display system
JPS61241880A (en) Paint-out device for closed graphic form
JP3210822B2 (en) Animation processing method and apparatus for implementing the method
JP4048731B2 (en) Image data transfer apparatus and image display processing system
JPS6258377A (en) Picture labeling device
JPH01166275A (en) Production of paint-out image data utilizing parallel processing
JPS63180182A (en) Drawing device for thickened graphic contour