JP4023727B2 - Monitoring device, and monitoring method - Google Patents

Monitoring device, and monitoring method Download PDF

Info

Publication number
JP4023727B2
JP4023727B2 JP2002176386A JP2002176386A JP4023727B2 JP 4023727 B2 JP4023727 B2 JP 4023727B2 JP 2002176386 A JP2002176386 A JP 2002176386A JP 2002176386 A JP2002176386 A JP 2002176386A JP 4023727 B2 JP4023727 B2 JP 4023727B2
Authority
JP
Grant status
Grant
Patent type
Prior art keywords
image
unit
abnormality
mapping
number
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002176386A
Other languages
Japanese (ja)
Other versions
JP2004023487A (en )
Inventor
仰三 秋吉
信雄 秋吉
Original Assignee
株式会社モノリス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Description

【0001】 [0001]
【発明の属する技術分野】 BACKGROUND OF THE INVENTION
この発明は、監視装置に監視する。 The present invention monitors the monitoring device. 特に、本発明は監視対象領域の異常判定技術と記録技術に関する。 In particular, the present invention relates to an abnormality determination technology and recording techniques monitored area.
【0002】 [0002]
【従来技術】 [Prior art]
治安の悪化が進むとともに、CCD(Charged Coupled Device)カメラなどを用いた監視装置が各所に設置される例が増えてきた。 With deteriorating security progresses, the monitoring apparatus using a CCD (Charged Coupled Device) cameras have an increasing number of examples to be installed in various places. このような監視装置の一般的な利用形態として、近年では、画像処理装置により画像認識により異常を検知し、監視員が現場に向かって確認するケースが増えてきた。 Common usage form of such monitoring devices, in recent years, detects an abnormality by the image recognition by the image processing apparatus, wardens have an increasing number of cases to confirm towards the scene.
【0003】 [0003]
しかしながら、現在利用されている画像認識技術を利用した場合、小動物などの小物体の影響を排除することができず、誤認識により異常発生の通報がされてしまうケースが見られる。 However, when using an image recognition technique that is currently available, it is impossible to eliminate the influence of the small object, such as a small animal, would be that notification of abnormality by erroneous recognition cases are seen. そのたびに監視員が現場に出向く必要があり、その負担が大きい。 There is a need to go to the guards scene each time, it is greater the burden. その負担軽減のために、監視員の増員が必要となることもある。 Because of its burden, sometimes it is necessary to increase the number of lifeguards.
【0004】 [0004]
一方、監視対象領域の記録に注視してみると、一般に、監視装置の精度を高くする場合、取得する画像の空間解像度および時間解像度を高くする必要がある。 On the other hand, looking gazing on recording the monitored area, generally, to increase the accuracy of the monitoring device, it is necessary to increase the spatial resolution and temporal resolution of the image to be acquired. 一般に、CCDなどを利用したデジタルカメラで画像を取得する場合、通常200〜300万画素数の画像でないと、監視対象領域を満足できる精度で記録することができないとも言われる。 In general, when acquiring an image by a digital camera using such CCD, unless an image of the normal 200 to 3,000,000 number of pixels, also referred to can not be recorded with accuracy that can satisfy the monitored area.
【0005】 [0005]
【発明が解決しようとする課題】 [Problems that the Invention is to Solve
上述のように、異常発生の判定精度を上げようとすると、画像の空間解像度および時間解像度を上げ、情報量を増やす必要がある。 As described above, when an attempt is made to raise the determination precision of the abnormality occurrence, increasing the spatial resolution and temporal resolution of the image, it is necessary to increase the amount of information. 一方、記録する情報量を増加させる場合、必要とされる記録メディアの記憶容量も大きくなる。 On the other hand, when increasing the amount of information to be recorded, the greater storage capacity of the recording medium is required. その結果、記録メディアの取替えが頻繁に発生したり、その作業が煩雑となってしまったり、また記録メディアの保管場所の確保に困るといった課題も生じる。 As a result, the resulting replaced frequently or the occurrence of the recording media, or has become the work is complicated, but also issues such trouble to ensure the storage location of the recording medium.
【0006】 [0006]
以上、本発明はこうした状況に鑑みなされたものであり、その目的は監視対象領域の異常検出の精度向上にある。 While the present invention has been made in view of the foregoing circumstances, an object thereof is to improve the accuracy of abnormality detection of the monitored area. また、別の目的は監視対象領域を記録する際の記憶容量の低減にある。 Another object is to reduce the storage capacity when recording the monitored area.
【0007】 [0007]
【課題を解決するための手段】 In order to solve the problems]
本発明は、監視技術に関する。 The present invention relates to a monitoring technology. この技術は、本出願人が先に特許第2927350号にて提案した画像マッチング技術(以下、「前提技術」という)を利用することができる。 This technique, the Applicant image matching technique proposed in Japanese Patent No. 2927350 previously (hereinafter, referred to as "Base Technology") can be utilized.
【0008】 [0008]
本発明のある態様は、監視装置に関する。 An embodiment of the present invention relates to monitoring apparatus. この監視装置は、監視対象領域の画像を取得する画像取得部と、取得した画像から、連続する2枚の画像間でそれらの対応点を利用して補間を行い、中間フレーム(「中間画像」ともいう)を生成するためのキーフレームを選定するキーフレーム選定部と、監視対象領域の異常の有無を判断する際の基準画像と、取得した画像を比較して監視対象領域に異常の有無を判断する異常判定部と、異常判定部において、異常があると判断された際に、キーフレーム選定部で選定する画像の時間解像度を上げる時間解像度制御部と、を有する。 The monitoring device includes an image acquisition unit that acquires an image of the monitored area, from the acquired image, performs interpolation by using their corresponding points between two consecutive images, the intermediate frame ( "intermediate image" and the key frame selection unit for selecting the key frame to generate an even say), and the reference image in determining the presence or absence of an abnormality in the monitored area, the presence or absence of abnormality in the monitoring target area by comparing the acquired image an abnormality determination unit that determines, in the abnormality determining unit, when it is determined that there is an abnormality has, and time resolution control unit to increase the time resolution of the image to be selected by the key frame selection unit.
【0009】 [0009]
また、時間解像度制御部は、異常判定部において異常なしと判断される期間が長くなるに従ってキーフレーム選定部で選定されるキーフレームの時間解像度を下げてもよい。 The time resolution control unit may decrease the temporal resolution of the keyframes selected in the key frame selection unit in accordance with a period which is determined as abnormal without the abnormality determining section becomes longer. このとき、すでに選定されたキーフレームを間引くことによって、時間解像度を下げてもよい。 At this time, by thinning out the key frame which has already been selected, it may lower the time resolution.
【0010】 [0010]
監視対象領域に異常、または変化がない場合、その状態を画像として記録する重要性は低い。 If there is no abnormality, or changes in the monitored area, the less important to record the state as an image. そこで、記録するキーフレームの間隔を広げることで、必要とされる記憶容量を抑えることができる。 Therefore, by widening the interval between key frames to be recorded, it is possible to suppress the storage capacity required. 一方、監視対象領域に変化があった場合、特に異常があると判断された場合、キーフレームの間隔を狭める。 On the other hand, when there is a change in the monitored region if, it is determined that particularly is abnormal, reduce the distance keyframe. 間隔を狭めることで、再生した場合にその監視対象領域の表示誤差の発生を抑えることが期待される。 By narrowing the interval, it is expected to suppress the occurrence of display errors of the monitored area when reproduced. 変化が少ない場合は、キーフレームの間隔を広くしても、そもそも違いが少ないため再生時の表示誤差の発生は低い。 If the change is small, even if the wide spacing of the key frame, the first place the occurrence of the display error at the time of reproduction because there is little difference between low. また、その重要性も低い。 In addition, it lowers its importance. 例えば、キーフレームの間隔を5秒と初期設定をした場合、異常がない場合は間隔を10秒とし、異常が発生したと判断される場合、間隔を1秒とする。 For example, when the interval 5 seconds and initialization keyframe, if there is no abnormality and 10 seconds interval, when the abnormality is judged to have occurred, and one second interval.
【0011】 [0011]
また、当該監視装置は、連続する2枚のキーフレーム間のマッチングを計算し、その計算結果を対応点ファイルとして出力する記録用マッチングプロセッサと、計算されたマッチングをもとに、中間フレームを生成する中間フレーム生成部と、キーフレーム間に本来存在する画像と、中間フレームとの差分を計算し保持する差分取得部と、対応点情報と、その差分をキーフレームとともに記録する対応点情報記録部と、をさらに有してもよい。 Moreover, the monitoring device, on the basis to calculate the matching between two key frames consecutive, the recording matching processor for outputting the calculation result as the corresponding point file, the computed matching, generates the intermediate frame intermediate frame generation unit and an image existing originally between keyframes, the difference obtaining unit for calculates a difference between the intermediate frame holding the corresponding point information, corresponding point information recording unit that records the difference with a key frame When, may further include a.
【0012】 [0012]
例えば、1秒ごとに画像を取得する監視装置において、キーフレームの取得間隔を5秒とすると、キーフレーム間には4枚の画像が本来存在する。 For example, in a monitoring device for acquiring images every second, when the acquisition interval of the key frames and 5 seconds, between keyframes four images originally present. そこで、キーフレームをもとに中間フレームを生成し、本来存在する4枚の画像との差分をそれぞれ取得する。 Therefore, the key frame to generate an intermediate frame on the basis, respectively obtains the difference between the four images originally present. この差分をキーフレームと関連づけて記録することで、再生が必要となった場合、画像の再現性が確保できる。 By recording in association with the difference as a key frame, if the reproduction is needed, reproducibility of an image can be secured.
【0013】 [0013]
このように、異常発生の有無に応じて、記録する画像の時間解像度を可変に設定することで、必要とされるタイミングの情報量を落とさず、逆に情報量を増やしつつ、全体で必要とされる記録メディアの記憶容量を抑えることができる。 Thus, in accordance with the presence or absence of abnormality, by setting variably the time resolution of the image to be recorded, without reducing the information amount of timing required, while increasing the amount of information to the contrary, the need for the entire it is possible to suppress the storage capacity of the recording medium being.
【0014】 [0014]
本発明の別の態様も監視装置に関する。 Another aspect of the present invention relates also monitoring device. この監視装置は、監視対象領域の画像を取得する画像取得部と、監視対象領域の異常の有無を判定する際の基準画像と、取得した画像のマッチングを計算する比較用マッチングプロセッサと、マッチングの計算結果をもとに、監視対象領域における異常発生の可能性を推定する異常推定部と、異常推定部にて、異常の可能性があると推定された場合、異常があると推定された画像から基準画像と比較して特徴的と推定されるオブジェクトを抽出するオブジェクト抽出部と、抽出したオブジェクトとあらかじめ保持する監視すべき種類のオブジェクトの画像とのマッチングをもとに対応点を計算し、計算された対応点をもとに監視すべき種類のオブジェクトであるかを判定し異常の有無を判定する異常判定部と、を有する。 The monitoring device includes an image acquisition unit that acquires an image of the monitored area, and the reference image in determining the presence or absence of an abnormality in the monitored area, and comparative matching processor for calculating the matching of the acquired image, matching based on the calculation result, the abnormality estimating unit that estimates a possibility of abnormality in monitoring object area at the abnormality estimation unit, when it is estimated that there is a possibility of abnormality is estimated that there is an abnormal image an object extraction unit for comparing the reference image and extracts an object to be estimated to characteristic, a corresponding point on the basis of matching between the image of the extracted object and the type to be monitored for previously holding the object is calculated from, has an abnormality determining unit for determining the presence or absence of the determined abnormal if the calculated corresponding points is the type of object to be monitored on the basis of the.
【0015】 [0015]
オブジェクトを抽出する技術は、既存の抽出技術を利用することで実現できるので、ここでは特に抽出技術は限定しない。 Technique for extracting an object, can be realized by utilizing existing extraction technology, particularly the extraction technique is not limited here. ただし、後述の本出願人が提案した前提技術を利用することで、抽出精度および抽出速度を向上できる。 However, by using the base technology proposed by the applicant will be described later, can be improved extraction accuracy and extraction rate. さらに、異常判定部に関しても、前提技術を利用することで異常判定の精度を従来と比較して、より高いレベルとすることができる。 Further, the abnormality with regard determination unit may compare the accuracy of the abnormality determination utilizing base technology and conventional, to a higher level.
【0016】 [0016]
また、当該監視装置は、取得した画像を複数の領域に分割し、領域ごとに重み付けをする領域分割部をさらに有してもよく、異常判定部は、その重み付けを参照して領域ごとに異常の有無を判定してもよい。 Moreover, the monitoring device divides the acquired image into a plurality of regions may have further a region dividing unit for weighting for each area, the abnormality determining unit, an abnormality in each region by referring to the weighting the presence or absence of it may be determined.
【0017】 [0017]
監視対象領域は、複数の領域に分割され、その中で特に監視すべき領域は厳しく判定される。 Monitored area is divided into a plurality of regions, the region to be particularly monitored therein is determined strictly. 例えば、画像の中心部分が特に監視すべき領域であれば、中心部分に変化が発生した場合、異常発生と判断し、画像の端の領域で変化があった場合は、異常無しと判断する。 For example, if the area to be monitored central portion of the image is particularly, if the change in the central portion occurs, it is determined that abnormality occurs, if the area of ​​the edge of the image has been changed, it is determined that no abnormality. こうすることで、誤判定を少なくできる。 In this way, it is possible to reduce an erroneous determination.
【0018】 [0018]
また、当該監視装置は、取得した画像の対象空間を複数のレイヤに分割し、レイヤごとに重み付けをするレイヤ分割部をさらに有してもよく、異常判定部は、その重み付けを参照してレイヤごとに異常の有無を判定してもよい。 Moreover, the monitoring device divides the target space of the acquired image into a plurality of layers may further have a layer dividing unit for weighting for each layer, the abnormality determining unit, by referring to the weighting layer the presence or absence of an abnormality may be determined every. つまり、監視対象領域の奥行きに応じて、複数のレイヤに分割し、最も監視すべきレイヤを厳しく判定する。 That is, depending on the depth of the monitored area is divided into a plurality of layers, strictly a layer to be the most monitored judged.
【0019】 [0019]
また、記異常判定部は異常可能性を複数の評価結果で示してもよく、その評価結果に基づき取得するキーフレームの時間解像度を可変に設定する解像度制御部をさらに有してもよい。 Also, serial abnormality determination unit may indicate an abnormal potential at a plurality of evaluation results may have a resolution control unit for setting the time resolution of a key frame to get on the basis of the evaluation result variable further.
【0020】 [0020]
本発明のさらに別の態様は監視方法に関する。 Yet another aspect of the present invention relates to a monitoring method. この監視方法は、監視対象領域の画像を取得する工程と、取得した画像から所定の時間間隔でキーフレームを取得し記録する工程と、取得した画像をもとに監視対象領域の異常の有無を判定する工程と、異常の有無に関する判定に応じて、キーフレームの時間解像度を可変に設定する工程と、記録されたキーフレームを読み出し、連続する2枚のキーフレームのマッチングをもとに対応点情報を計算し中間フレームを生成する工程と、キーフレームおよび中間フレームを動画像として表示する工程と、を有する。 The monitoring method includes the steps of acquiring an image of the monitored area, comprising the steps of: to obtain a key frame obtained from the image of the predetermined time intervals recorded, the presence or absence of abnormality of the monitored area based on the acquired image and determining steps, according to the judgment about the presence or absence of abnormality, and setting the time resolution keyframe variable reads the recorded key frames, corresponding points based on the matching of two key frames successive and a step of generating calculates information intermediate frame, and displaying the key frames and intermediate frames as a moving image, a.
【0021】 [0021]
本発明のさらに別の態様は監視装置に関する。 Yet another aspect of the present invention relates to monitoring apparatus. この監視装置は、監視対象領域の画像を取得する画像取得部と、取得した画像から、保存用画像を選定する保存画像選定部と、監視対象領域の異常の有無を判断する際の基準画像と、取得した画像を比較して監視対象領域に異常の有無を判断する異常判定部と、異常判定部において、異常があると判断された際に、保存画像選定部で選定する画像の時間解像度を上げる時間解像度制御部と、を有する。 The monitoring device includes an image acquisition unit that acquires an image of the monitored area, from the acquired image, and saving the image selecting unit to select a storage image, the reference image in determining the presence or absence of an abnormality in the monitored area , an abnormality determination unit that determines presence of abnormality in the monitoring target area by comparing the acquired image, the abnormality determining unit, when it is determined that there is an abnormality, the time resolution of the image to be selected in the stored image selection unit having a time resolution control unit to increase.
【0022】 [0022]
以上の態様のうち、キーフレーム間の対応点情報を生成する部分、およびそれを利用して中間フレームを生成する部分は、前提技術を利用することができる。 Among the above embodiment, the portion to generate the corresponding point information between key frames, and part for generating an intermediate frame using it, can utilize the base technology. ただし、本発明は前提技術を必須とはしない。 However, the present invention is not an essential prerequisite technology. また、動画像によらず、複数視点画像間の滑らかな中間フレームの生成など、静止画を目的としてもよい。 Further, regardless of the moving image, such as generating a smooth intermediate frame between multiple viewpoint images, the still image may be intended.
【0023】 [0023]
【発明の実施の形態】 DETAILED DESCRIPTION OF THE INVENTION
はじめに、実施の形態で利用する多重解像度特異点フィルタ技術とそれを用いた画像マッチング処理を「前提技術」として詳述する。 First, it details the image matching processing using the multiresolutional critical point filter technology utilized in the embodiment as "Base Technology". これらの技術は本出願人がすでに特許第2927350号を得ている技術であり、本発明との組合せに最適である。 These techniques are present applicant has already obtained Japanese Patent No. 2927350, which is ideal for combination with the present invention. ただし、実施の形態で採用可能な画像マッチング技術はこれに限られない。 However, the image matching technology that can be employed in the present embodiments are not limited thereto. 図19以降、前提技術を利用した監視装置を具体的に説明する。 19 later, it will be specifically described monitoring apparatus using the base technology.
【0024】 [0024]
[前提技術の実施の形態] [Embodiment of the base technology]
最初に[1]で前提技術の要素技術を詳述し、[2]で処理手順を具体的に説明する。 First detailing elemental technologies base technology in [1], specifically describing a processing procedure in [2]. さらに[3]で前提技術に基づき改良を施した点について述べる。 Further described the points subjected to improvement based on the premise technology [3].
[1]要素技術の詳細[1.1]イントロダクション特異点フィルタと呼ばれる新たな多重解像度フィルタを導入し、画像間のマッチングを正確に計算する。 [1] a new multi-resolution filter called Details [1.1] Introduction critical point filter element technology was introduced, matching is accurately computed images. オブジェクトに関する予備知識は一切不要である。 There is no need for any prior knowledge about the object. 画像間のマッチングの計算は、解像度の階層を進む間、各解像度において計算される。 Calculation of the matching between images, while proceeding through the resolution hierarchy is calculated at each resolution. その際、粗いレベルから精細なレベルへと順に解像度の階層を辿っていく。 At that time, resolution hierarchy proceeds from a coarse level to a fine level. 計算に必要なパラメータは、人間の視覚システムに似た動的計算によって完全に自動設定される。 Parameters necessary for calculation are set completely automatically by dynamic calculation similar to the human visual system. 画像間の対応点を人手で特定する必要はない。 There is no need to manually specify the correspondence of points between the images.
【0025】 [0025]
本前提技術は、例えば完全に自動的なモーフィング、物体認識、立体写真測量、ボリュームレンダリング、少ないフレームからの滑らかな動画像の生成などに応用できる。 The base technology, for example, completely automated morphing, object recognition, smooth generation of moving images from the stereo photogrammetry, volume rendering, fewer frames. モーフィングに用いる場合、与えられた画像を自動的に変形することができる。 When used for morphing, it is possible to automatically transform the given image. ボリュームレンダリングに用いる場合、断面間の中間的な画像を正確に再構築することができる。 When used in volume rendering, it is possible to accurately reconstruct the intermediate images between the cross-section. 断面間の距離が遠く、断面の形状が大きく変化する場合でも同様である。 Far distance between cross-section is the same even when the shape of the cross section is changed greatly.
【0026】 [0026]
[1.2]特異点フィルタの階層前提技術に係る多重解像度特異点フィルタは、画像の解像度を落としながら、しかも画像に含まれる各特異点の輝度及び位置を保存することができる。 [1.2] multiresolutional point filter according to hierarchical base technology of the critical point filter, while reducing the resolution of the image, yet can preserve the intensity and position of each critical point included in the image. ここで画像の幅をN、高さをMとする。 Here the width of the image N, the height and M. 以下簡単のため、N=M=2 (nは自然数)と仮定する。 For simplicity, we assume that N = M = 2 n (n is a natural number). また、区間[0,N]⊂RをIと記述する。 Further, describing the interval [0, N] ⊂R and I. (i,j)における画像の画素をp (i,j)と記述する(i,j∈I)。 (I, j) describes the pixel of the image p (i, j) and the (i, j∈I).
【0027】 [0027]
ここで多重解像度の階層を導入する。 Here introducing multiresolution hierarchy. 階層化された画像群は多重解像度フィルタで生成される。 Layered images are generated by the multi-resolution filter. 多重解像度フィルタは、もとの画像に対して二次元的な探索を行って特異点を検出し、検出された特異点を抽出してもとの画像よりも解像度の低い別の画像を生成する。 Multiresolution filter detects singularities by performing a two-dimensional search on an original image, to extract the critical points generate another image lower resolution than the original image . ここで第mレベルにおける各画像のサイズは2 ×2 (0≦m≦n)とする。 Wherein the size of each image in the m-th level is denoted as 2 m × 2 m (0 ≦ m ≦ n). 特異点フィルタは次の4種類の新たな階層画像をnから下がる方向で再帰的に構築する。 Critical point filter recursively construct in the direction down the new hierarchical image of the next four from n.
【数1】 [Number 1]
ただしここで、 However, in this case,
【数2】 [Number 2]
とする。 To. 以降これら4つの画像を副画像(サブイメージ)と呼ぶ。 Hereinafter referred these four images and sub-image (sub-images). min x≦t≦x+1 、max x≦t≦x+1をそれぞれα及びβと記述すると、副画像はそれぞれ以下のように記述できる。 When min x ≦ t ≦ x + 1 , max x ≦ t ≦ x + 1 respectively described as α and beta, subimages each can be described as follows.
【0028】 [0028]
(m,0) =α(x)α(y)p (m+1,0) P (m, 0) = α (x) α (y) p (m + 1,0)
(m,1) =α(x)β(y)p (m+1,1) P (m, 1) = α (x) β (y) p (m + 1,1)
(m,2) =β(x)α(y)p (m+1,2 P (m, 2) = β (x) α (y) p (m + 1,2)
(m,3) =β(x)β(y)p (m+1,3) P (m, 3) = β (x) β (y) p (m + 1,3)
すなわち、これらはαとβのテンソル積のようなものと考えられる。 That is, it can be considered analogous to the tensor product of the α and beta. 副画像はそれぞれ特異点に対応している。 The subimages correspond to the respective singular points. これらの式から明らかなように、特異点フィルタはもとの画像について2×2画素で構成されるブロックごとに特異点を検出する。 As is apparent from the above equations, the critical point filter detects a singularity for each block composed of 2 × 2 pixels on the original image. その際、各ブロックのふたつの方向、つまり縦と横について、最大画素値または最小画素値をもつ点を探索する。 At that time, two directions of each block, that is, the vertical and horizontal, to search for a point having the maximum pixel value or a minimum pixel value. 画素値として、前提技術では輝度を採用するが、画像に関するいろいろな数値を採用することができる。 As a pixel value, in the base technology is adopted the brightness, it can be employed, various other values ​​relating to the image. ふたつの方向の両方について最大画素値となる画素は極大点、ふたつの方向の両方について最小画素値となる画素は極小点、ふたつの方向の一方について最大画素値となるとともに、他方について最小画素値となる画素は鞍点として検出される。 Two directions of both pixel maximum point having the maximum pixel value for, two having a minimum pixel value for the direction minimum point, along with the maximum pixel value for the other direction, the minimum pixel value for the other that the pixel is detected as a saddle point.
【0029】 [0029]
特異点フィルタは、各ブロックの内部で検出された特異点の画像(ここでは1画素)でそのブロックの画像(ここでは4画素)を代表させることにより、画像の解像度を落とす。 Critical point filter, by representing the picture of the block (1 pixel here) (4 pixels in this case) of the singular point detected within each block, lowering the resolution of the image. 特異点の理論的な観点からすれば、α(x)α(y)は極小点を保存し、β(x)β(y)は極大点を保存し、α(x)β(y)及びβ(x)α(y)は鞍点を保存する。 From a theoretical point of view of the singularities, α (x) α (y) preserves the local minimum point, β (x) β (y) preserves the local maximum point, α (x) β (y) and β (x) α (y) is to save the saddle point.
【0030】 [0030]
はじめに、マッチングをとるべき始点(ソース)画像と終点(デスティネーション)画像に対して別々に特異点フィルタ処理を施し、それぞれ一連の画像群、すなわち始点階層画像と終点階層画像を生成しておく。 First, subjected separately to critical point filtering process is (source) image and a destination image to be matching, a series of image groups, namely to generate the source image and the destination image. 始点階層画像と終点階層画像は、特異点の種類に対応してそれぞれ4種類ずつ生成される。 Source and destination hierarchical images are generated by four kinds respectively corresponding to the type of singular points.
【0031】 [0031]
この後、一連の解像度レベルの中で始点階層画像と終点階層画像のマッチングがとれらていく。 Thereafter, matching the source and destination hierarchical images in a series of resolution levels is gradually tolerant. まずp (m,0)を用いて極小点のマッチングがとられる。 First, the minima points are matched using p (m, 0). 次に、その結果に基づき、p (m,1)を用いて鞍点のマッチングがとられ、p (m,2)を用いて他の鞍点のマッチングがとられる。 Then, the result based on, saddle point matching using p (m, 1) is taken, using the p (m, 2) matching the other saddle points are taken. そして最後にp (m,3)を用いて極大点のマッチングがとられる。 Finally, the maxima points are matched using p (m, 3) is taken.
【0032】 [0032]
図1(c)と図1(d)はそれぞれ図1(a)と図1(b)の副画像p (5,0)を示している。 FIG. 1 (c) and FIG. 1 (d) are respectively views 1 (a) and sub image p (5, 0) in FIG. 1 (b). 同様に、図1(e)と図1(f)はp (5,1) 、図1(g)と図1(h)はp (5,2) 、図1(i)と図1(j)はp (5,3)をそれぞれ示している。 Similarly, FIG. 1 (e) and and 1 (f) show the subimages p (5,1), 1 (h) 1 and (g) is p (5,2), FIG. 1 (i) 1 ( j) shows p the (5,3), respectively. これらの図からわかるとおり、副画像によれば画像の特徴部分のマッチングが容易になる。 As seen from these figures, the matching of the characteristic portion of the image is facilitated according to the sub-image. まずp (5,0)によって目が明確になる。 Eyes become clear by the first p (5,0). 目は顔の中で輝度の極小点だからである。 The eyes are the minima points of brightness in the face. (5,1)によれば口が明確になる。 mouth becomes clear According to the p (5,1). 口は横方向で輝度が低いためである。 Mouth is due to the low intensity in the horizontal direction. (5,2)によれば首の両側の縦線が明確になる。 vertical lines on both sides of the necks become clear by p (5,2). 最後に、p (5,3)によって耳や頬の最も明るい点が明確になる。 Finally, it points the brightest of the ears and cheeks become clear by p (5,3). これらは輝度の極大点だからである。 These is because it is the maximum point of brightness.
【0033】 [0033]
特異点フィルタによれば画像の特徴が抽出できるため、例えばカメラで撮影された画像の特徴と、予め記録しておいたいくつかのオブジェクトの特徴を比較することにより、カメラに映った被写体を識別することができる。 Since the characteristics of the image can be extracted according to the critical point filter, for example, the characteristics of the image captured by the camera, by comparing the characteristics of some of the objects recorded in advance, identify the object reflected in the camera can do.
【0034】 [0034]
[1.3]画像間の写像の計算始点画像の位置(i,j)の画素をp (n) (i,j)と書き、同じく終点画像の位置(k,l)の画素をq (n) (k,l)で記述する。 [1.3] Position calculation source image of the mapping between the images (i, j) pixel p (n) (i, j ) of the write and, like the pixels of the destination image at (k, l) q ( n) (k, described in l). i,j,k,l∈Iとする。 i, j, k, and l∈I to. 画像間の写像のエネルギー(後述)を定義する。 It defines the energy (described later) of the mapping between the images. このエネルギーは、始点画像の画素の輝度と終点画像の対応する画素の輝度の差、及び写像の滑らかさによって決まる。 This energy difference in luminance of a corresponding pixel of the destination image pixels of the source image, and on the smoothness of the mapping. 最初に最小のエネルギーを持つp (m,0)とq (m,0)間の写像f (m,0) :p (m,0) →q (m,0)が計算される。 The first p with the lowest energy (m, 0) and q (m, 0) mapping between f (m, 0): p (m, 0) → q (m, 0) is calculated. (m,0)に基づき、最小エネルギーを持つp (m,1 )、q (m,1)間の写像f (m,1)が計算される。 Based on f (m, 0), p (m, 1) with a minimum energy, q (m, 1) mapping between f (m, 1) is calculated. この手続は、p (m,3)とq (m,3)の間の写像f (m,3)の計算が終了するまで続く。 This procedure continues until the calculation of p (m, 3) and mapping f between q (m, 3) (m , 3) is completed. 各写像f (m,i) (i=0,1,2,…)を副写像と呼ぶことにする。 Each mapping f (m, i) (i = 0,1,2, ...) will be referred to as submapping. (m,i)の計算の都合のために、iの順序は次式のように並べ替えることができる。 f (m, i) for the convenience of calculation of the order of i may be sorted as follows. 並べ替えが必要な理由は後述する。 The reason replacement is needed side by side will be described later.
【0035】 [0035]
【数3】 [Number 3]
ここでσ(i)∈{0,1,2,3}である。 Here is a σ (i) ∈ {0,1,2,3}.
【0036】 [0036]
[1.3.1]全単射始点画像と終点画像の間のマッチングを写像で表現する場合、その写像は両画像間で全単射条件を満たすべきである。 [1.3.1] If expressed by mapping the matching between the bijective source and destination images, the mapping should satisfy the BC is between the two images. 両画像に概念上の優劣はなく、互いの画素が全射かつ単射で接続されるべきだからである。 Superiority of the concept both images instead, because they should each other pixel is connected surjective and injective. しかしながら通常の場合とは異なり、ここで構築すべき写像は全単射のディジタル版である。 However, unlike the case of the mappings to be constructed here are the digital version of the bijection. 前提技術では、画素は格子点によって特定される。 In the base technology, a pixel is specified by the grid points.
【0037】 [0037]
始点副画像(始点画像について設けられた副画像)から終点副画像(終点画像について設けられた副画像)への写像は、f (m,s) :I/2 n−m ×I/2 n−m →I/2 n−m ×I/2 n−m (s=0,1,…)によって表される。 Mapping of the source subimage (a subimage of a source image) to the destination subimage (a subimage of a destination image), f (m, s): I / 2 n-m × I / 2 n -m → I / 2 n-m × I / 2 n-m (s = 0,1, ...) is represented by. ここで、f (m,s) (i,j)=(k,l)は、始点画像のp (m,s) (i,j)が終点画像のq (m,s) (k,l)に写像されることを意味する。 Here, f (m, s) ( i, j) = (k, l) is the source image p (m, s) (i , j) is the destination image q (m, s) (k , l ) to meant to be mapped. 簡単のために、f(i,j)=(k,l)が成り立つとき画素q (k,l)をq f(i,j)と記述する。 For simplicity, f describes (i, j) = (k , l) the pixel q (k, l) when holds the q f (i, j) and.
【0038】 [0038]
前提技術で扱う画素(格子点)のようにデータが離散的な場合、全単射の定義は重要である。 If the data as pixel treated in the base technology (grid point) is discrete, defined bijective is important. ここでは以下のように定義する(i,i',j,j',k,lは全て整数とする)。 Here, it is defined as follows (i, i ', j, j', k, l are all integers). まず始めに、始点画像の平面においてRによって表記される各正方形領域、 First, each square area denoted by R in the plane of the source image,
【数4】 [Number 4]
を考える(i=0,…,2 −1、j=0,…,2 −1)。 The considered (i = 0, ..., 2 m -1, j = 0, ..., 2 m -1). ここでRの各辺(エッジ)の方向を以下のように定める。 Here determining the direction of each side of the R (edge) as follows.
【数5】 [Number 5]
この正方形は写像fによって終点画像平面における四辺形に写像されなければならない。 This square must be mapped quadrilateral in the destination image plane by the mapping f. (m,s) (R)によって示される四辺形、 f (m, s) quadrilateral represented by (R),
【数6】 [6]
は、以下の全単射条件を満たす必要がある。 Is, there is a need meet the following bijective.
【0039】 [0039]
1. 1. 四辺形f (m,s) (R)のエッジは互いに交差しない。 Quadrilateral f (m, s) edge (R) do not cross each other.
2. 2. (m,s) (R)のエッジの方向はRのそれらに等しい(図2の場合、時計回り)。 f (m, s) direction of the edge (R) is equal to those of R (the case of FIG. 2, clockwise).
3. 3. 緩和条件として収縮写像(リトラクション:retractions)を許す。 Contraction mapping as a relaxed condition (retraction: retractions) forgive.
【0040】 [0040]
何らかの緩和条件を設けないかぎり、全単射条件を完全に満たす写像は単位写像しかないためである。 Unless a certain type of a relaxed condition, completely fill mapping bijective conditions is because there is only identity mapping. ここではf (m,s) (R)のひとつのエッジの長さが0、すなわちf (m,s) (R)は三角形になってもよい。 Here f (m, s) the length of one edge of the (R) is 0, i.e. f (m, s) (R) may become a triangle. しかし、面積が0となるような図形、すなわち1点または1本の線分になってはならない。 However, shapes having area zero, is not allowed to be a point or a line segment. 図2(R)がもとの四辺形の場合、図2(A)と図2(D)は全単射条件を満たすが、図2(B)、図2(C)、図2(E)は満たさない。 If Figure 2 (R) is the original quadrilateral, FIG 2 (A) and FIG. 2 (D) satisfies the condition BC are, FIG. 2 (B), the FIG. 2 (C), the FIG. 2 (E ) is not satisfied.
【0041】 [0041]
実際のインプリメンテーションでは、写像が全射であることを容易に保証すべく、さらに以下の条件を課してもよい。 In actual implementation, to easily guarantee that the mapping is surjective may further impose the following condition. つまり始点画像の境界上の各画素は、終点画像において同じ位置を占める画素に写影されるというものである。 That is, each pixel on the boundary of the source image is that is mapped to the pixel that occupies the same position in the destination image. すなわち、f(i,j)=(i,j)(ただしi=0,i=2 −1,j=0,j=2 −1の4本の線上)である。 That is, f (i, j) = ( i, j) ( provided that i = 0, i = 2 m -1, j = 0, 4 present line of j = 2 m -1). この条件を以下「付加条件」とも呼ぶ。 This condition will be hereinafter referred to as an "additional conditions".
【0042】 [0042]
[1.3.2]写像のエネルギー[1.3.2.1]画素の輝度に関するコスト写像fのエネルギーを定義する。 [1.3.2] defines the energy cost mapping f relating to the luminance energy [1.3.2.1] pixel mapping. エネルギーが最小になる写像を探すことが目的である。 It is an object to find a map that energy is minimized. エネルギーは主に、始点画像の画素の輝度とそれに対応する終点画像の画素の輝度の差で決まる。 The energy is determined mainly by the difference of the luminance of the pixels of the luminance and the corresponding destination image to that of the pixels of the source image. すなわち、写像f (m,s)の点(i,j)におけるエネルギーC (m,s) (i,j)は次式によって定まる。 That is, the energy C at the point of the mapping f (m, s) (i , j) (m, s) (i, j) is determined by the following equation.
【数7】 [Equation 7]
ここで、V(p (m,s) (i,j) )及びV(q (m,s) f(i,j) )はそれぞれ画素p (m,s) (i,j)及びq (m,s) f(i,j)の輝度である。 Here, V (p (m, s ) (i, j)) and V (q (m, s) f (i, j)) each pixel p is (m, s) (i, j) and q ( m, s) is the intensity of the f (i, j). fのトータルのエネルギーC (m,s)は、マッチングを評価するひとつの評価式であり、つぎに示すC (m,s) (i,j)の合計で定義できる。 f the total energy C (m, s) is an evaluation formula for one to evaluate the matching, it can be defined by the sum of the following C (m, s) (i , j).
【数8】 [Equation 8]
[1.3.2.2]滑らかな写像のための画素の位置に関するコスト滑らかな写像を得るために、写像に関する別のエネルギーDfを導入する。 [1.3.2.2] in order to obtain a cost smooth mapping with respect to the position of the pixel for smooth mapping, introducing another energy Df about the mapping. このエネルギーは画素の輝度とは関係なく、p (m,s) (i,j)およびq (m,s) f(i,j)の位置によって決まる(i=0,…,2 −1,j=0,…,2 −1)。 This energy is regardless of the luminance of the pixel, p (m, s) ( i, j) and q (m, s) f ( i, j) determined by the position of the (i = 0, ..., 2 m -1 , j = 0, ..., 2 m -1). 点(i,j)における写像f (m,s)のエネルギーD (m,s) (i,j)は次式で定義される。 The energy D (i, j) mapping in f (m, s) (m , s) (i, j) is defined by the following equation.
【数9】 [Equation 9]
ただし、係数パラメータηは0以上の実数であり、また、 However, the coefficient parameter η is 0 real number greater than or equal to, also,
【数10】 [Number 10]
【数11】 [Number 11]
とする。 To. ここで、 here,
【数12】 [Number 12]
であり、i'<0およびj'<0に対してf(i',j')は0と決める。 In and, i '<0 and j' <f (i ', j') with respect to 0 0 and decide. は(i,j)及びf(i,j)の距離で決まる。 E 0 is determined by the distance of (i, j) and f (i, j). は画素があまりにも離れた画素へ写影されることを防ぐ。 E 0 prevents the pixel from being mapped to a pixel too far away from it. ただしE は、後に別のエネルギー関数で置き換える。 However E 0 is replaced by another energy function. は写像の滑らかさを保証する。 E 1 is to ensure the smoothness of the mapping. は、p (i,j)の変位とその隣接点の変位の間の隔たりを表す。 E 1 represents a distance between the displacement of its neighboring point displacement p (i, j). 以上の考察をもとに、マッチングを評価する別の評価式であるエネルギーD は次式で定まる。 Based on the above consideration, the energy D f is another evaluation equation for evaluating the matching is determined by the following equation.
【数13】 [Number 13]
[1.3.2.3]写像の総エネルギー写像の総エネルギー、すなわち複数の評価式の統合に係る総合評価式はλC (m,s) +D (m,s) で定義される。 [1.3.2.3] Mapping of the total energy of the total energy mapping, i.e. combined evaluation equation which relates to the combination of a plurality of evaluation equation is defined by λC (m, s) f + D (m, s) f. ここで係数パラメータλは0以上の実数である。 Here coefficient parameter λ is greater than or equal to zero real number. 目的は総合評価式が極値をとる状態を検出すること、すなわち次式で示す最小エネルギーを与える写像を見いだすことである。 The goal is to detect a state of the combined evaluation equation has an extreme value, namely, to find a mapping which gives the minimum energy in the following equation.
【数14】 [Number 14]
λ=0及びη=0の場合、写像は単位写像になることに注意すべきである(すなわち、全てのi=0,…,2 −1及びj=0,…,2 −1に対してf (m,s) (i,j)=(i,j)となる)。 For lambda = 0 and eta = 0, the mapping should be noted that become the identity mapping (i.e., all i = 0, ..., 2 m -1 and j = 0, ..., a 2 m -1 f (m, s) for (i, j) = a (i, j)). 後述のごとく、本前提技術では最初にλ=0及びη=0の場合を評価するため、写像を単位写像から徐々に変形していくことができる。 As described later, in the base technology for assessing if the beginning of the lambda = 0 and eta = 0, can be gradually modified mapping from the identity mapping. 仮に総合評価式のλの位置を変えてC (m,s) +λD (m,s) と定義したとすれば、λ=0及びη=0の場合に総合評価式がC (m,s) だけになり、本来何等関連のない画素どうしが単に輝度が近いというだけで対応づけられ、写像が無意味なものになる。 C (m, s) temporarily by changing the position of the lambda of the combined evaluation equation f + λD (m, s) if defined is f, a combined evaluation equation in the case of lambda = 0 and eta = 0 is C (m, s) will only f, associated with just any way unrelated pixels which originally simply and intensities are close, the mapping becomes meaningless. そうした無意味な写像をもとに写像を変形していってもまったく意味をなさない。 Even such a meaningless mapping began to deform the mapping to the original at all does not make sense. このため、単位写像が評価の開始時点で最良の写像として選択されるよう係数パラメータの与えかたが配慮されている。 Therefore, the coefficient parameter is such that the identity mapping is selected as the best mapping at the start of the evaluation are taken into consideration.
【0043】 [0043]
オプティカルフローもこの前提技術同様、画素の輝度の差と滑らかさを考慮する。 Optical flow Similar to this base technology, consider the difference in the pixel intensity and smoothness is. しかし、オプティカルフローは画像の変換に用いることはできない。 However, the optical flow can not be used for image transformation. オブジェクトの局所的な動きしか考慮しないためである。 Only local motion of the object is because it does not take into account. 前提技術に係る特異点フィルタを用いることによって大域的な対応関係を検出することができる。 It is possible to detect the global correspondence by using a critical point filter according to the base technology.
【0044】 [0044]
[1.3.3]多重解像度の導入による写像の決定最小エネルギーを与え、全単射条件を満足する写像f minを多重解像度の階層を用いて求める。 [1.3.3] gave decisions minimum energy of the mapping by the introduction of multi-resolution, the mapping f min which satisfies the BC is searched by using the multiresolution hierarchy. 各解像度レベルにおいて始点副画像及び終点副画像間の写像を計算する。 Calculate the mapping between the source subimage and the destination subimage at each resolution level. 解像度の階層の最上位(最も粗いレベル)からスタートし、各解像度レベルの写像を、他のレベルの写像を考慮に入れながら決定する。 Starting from the top (the coarsest level) resolution of the hierarchy, a mapping of each resolution level is determined taking into account the mapping of other levels. 各レベルにおける写像の候補の数は、より高い、つまりより粗いレベルの写像を用いることによって制限される。 The number of candidate mappings at each level is limited by the use of a coarser level mapping from clogging. より具体的には、あるレベルにおける写像の決定に際し、それよりひとつ粗いレベルにおいて求められた写像が一種の拘束条件として課される。 More specifically, in the course of determining a mapping at a certain level, the mapping obtained at the coarser level by one is imposed as a kind of constraint.
【0045】 [0045]
まず、 First of all,
【数15】 [Number 15]
が成り立つとき、p (m−1,s) (i',j') 、q (m−1,s) (i',j')をそれぞれp (m,s) (i,j) 、q (m,s) (i,j)のparentと呼ぶことにする。 When the holds, p (m-1, s ) (i ', j'), q (m-1, s) (i ', j') respectively p (m, s) (i , j), q (m, s) (i, j) will be called a parent of. [x]はxを越えない最大整数である。 [X] is the maximum integer not exceeding x. またp (m,s) (i,j) 、q (m,s) (i,j)をそれぞれp (m−1,s) (i',j') 、q (m−1,s) (i',j')のchildと呼ぶ。 The p (m, s) (i , j), q (m, s) (i, j) , respectively p (m-1, s) (i ', j'), q (m-1, s) (i ', j') is referred to as a child of. 関数parent(i,j)は次式で定義される。 Function parent (i, j) is defined by the following equation.
【数16】 [Number 16]
(m,s) (i,j)とq (m,s) (k,l)の間の写像f (m,s)は、エネルギー計算を行って最小になったものを見つけることで決定される。 p (m, s) (i , j) and q (m, s) (k , l) mapping f between the (m, s) is determined by finding the minimum and computing the energy It is. m,s) (i,j)=(k,l)の値はf (m−1,s) (m=1,2,…,n)を用いることによって、以下のように決定される。 f (m, s) (i , j) = (k, l) values of f (m-1, s) (m = 1,2, ..., n) by using, is determined as follows that. まず、q (m,s) (k,l)は次の四辺形の内部になければならないという条件を課し、全単射条件を満たす写像のうち現実性の高いものを絞り込む。 First, q (m, s) ( k, l) is imposed a condition that must be inside the shape following four sides, Filter having high reality of bijection satisfying mapping.
【数17】 [Number 17]
ただしここで、 However, in this case,
【数18】 [Number 18]
である。 It is. こうして定めた四辺形を、以下p (m,s) (i,j)の相続(inherited)四辺形と呼ぶことにする。 The thus-determined quadrilateral, the following p (m, s) (i , j) is referred to as inheritance (inherited) quadrilateral. 相続四辺形の内部において、エネルギーを最小にする画素を求める。 Within the inherited quadrilateral, determining the pixels which the energy is minimized.
【0046】 [0046]
図3は以上の手順を示している。 Figure 3 illustrates the above-described procedures. 同図において、始点画像のA,B,C,Dの画素は、第m−1レベルにおいてそれぞれ終点画像のA',B',C',D'へ写影される。 In the figure, A source image, B, C, the pixels D, A of the respective destination image in the (m-1) levels ', B', C ', D' from being mapped to. 画素p (m,s) (i,j)は、相続四辺形A'B'C'D'の内部に存在する画素q (m,s) f(m)(i,j)へ写影されなければならない。 Pixel p (m, s) (i , j) is Utsushikage to pixel q present inside the inherited quadrilateral A'B'C'D '(m, s) f (m) (i, j) There must be. 以上の配慮により、第m−1レベルの写像から第mレベルの写像への橋渡しがなされる。 Thereby, bridging to the m-th level of the mapping is made from the m-1 level mapping.
【0047】 [0047]
先に定義したエネルギーE は、第mレベルにおける副写像f (m,0 )を計算するために、次式に置き換える。 Energy previously defined E 0, to calculate the submapping f (m, 0) in the m-th level is replaced with the following equation.
【数19】 [Number 19]
また、副写像f (m,s)を計算するためには次式を用いる。 Further, in order to calculate the auxiliary mapping f (m, s) is used following equation.
【数20】 [Number 20]
こうしてすべての副写像のエネルギーを低い値に保つ写像が得られる。 Thus mapping is obtained to keep the energy of all submappings to a low value. 式20により、異なる特異点に対応する副写像が、副写像どうしの類似度が高くなるように同一レベル内で関連づけられる。 The equation 20, submappings corresponding to different critical points associated with the same level within such similarity submappings each other becomes high. 式19は、f (m,s) (i,j)と、第m−1レベルの画素の一部と考えた場合の(i,j)が射影されるべき点の位置との距離を示している。 Equation 19 represents a f (m, s) (i , j), the distance between (i, j) is the position of the points to be projected when the considered part of the m-1 level of the pixel ing.
【0048】 [0048]
仮に、相続四辺形A'B'C'D'の内部に全単射条件を満たす画素が存在しない場合は以下の措置をとる。 Assuming that all the pixel satisfying the BC inside the inherited quadrilateral A'B'C'D 'does not exist take the following measures. まず、A'B'C'D'の境界線からの距離がL(始めはL=1)である画素を調べる。 First, the distance from the boundary of A'B'C'D 'is checked pixel is L (the beginning L = 1). それらのうち、エネルギーが最小になるものが全単射条件を満たせば、これをf (m,s) (i,j)の値として選択する。 Among them, whose energy is the minimum satisfies the BC condition, this is selected as the value of f (m, s) (i , j). そのような点が発見されるか、またはLがその上限のL (m) maxに到達するまで、Lを大きくしていく。 Such a pixel is found or until L reaches its upper limit of L (m) max, is increased to L. (m) maxは各レベルmに対して固定である。 L (m) max is fixed for each level m. そのような点が全く発見されない場合、全単射の第3の条件を一時的に無視して変換先の四辺形の面積がゼロになるような写像も認め、f (m,s) (i,j)を決定する。 If such a point is not found at all, also observed temporarily ignore such as the area of the destination quadrilateral becomes zero mapping the third condition of the BC, f (m, s) ( i , to determine the j). それでも条件を満たす点が見つからない場合、つぎに全単射の第1及び第2条件を外す。 If that is not found satisfying point, then remove the first and second condition of the BC.
【0049】 [0049]
多重解像度を用いる近似法は、写像が画像の細部に影響されることを回避しつつ、画像間の大域的な対応関係を決定するために必須である。 Multiresolution approximation, while preventing the mapping from being affected by small details of the image, which is essential to determining the global correspondence between images. 多重解像度による近似法を用いなければ、距離の遠い画素間の対応関係を見いだすことは不可能である。 If the multiresolution approximation, it is not possible to find a correspondence between pixels whose distances are large. その場合、画像のサイズはきわめて小さなものに限定しなければならず、変化の小さな画像しか扱うことができない。 In that case, the size of the image must be limited to very small ones, it can not be handled only a small image of change. さらに、通常写像に滑らかさを要求するため、そうした画素間の対応関係を見つけにくくしている。 Furthermore, for requesting smoothness to mapping usually it makes it difficult to find the correspondence of such pixels. 距離のある画素から画素への写像のエネルギーは高いためである。 The energy of the mapping from one pixel to pixel is because high. 多重解像度を用いた近似法によれば、そうした画素間の適切な対応関係を見いだすことができる。 According to the approximation method using multiresolution, it may be found appropriate correspondence of such pixels. それらの距離は、解像度の階層の上位レベル(粗いレベル)において小さいためである。 Their distance is smaller in resolution of the higher hierarchy level (coarse level).
【0050】 [0050]
[1.4]最適なパレメータ値の自動決定既存のマッチング技術の主な欠点のひとつに、パレメータ調整の困難さがある。 [1.4] One of the main deficiencies of the optimum automatic determination existing image matching techniques Paremeta value in the difficulty of parameter adjustment. 大抵の場合、パラメータの調整は人手作業によって行われ、最適な値を選択することはきわめて難しい。 In most cases, the parameter adjustment is performed manually and it is extremely difficult to select an optimal value. 前提技術に係る方法によれば、最適なパラメータ値を完全に自動決定することができる。 The method according to the base technology, it is possible to fully automate determine the optimum parameter values.
【0051】 [0051]
前提技術に係るシステムはふたつのパレメータ、λ及びηを含む。 System according to the base technology includes two Paremeta, λ and η. 端的にいえば、λは画素の輝度の差の重みであり、ηは写像の剛性を示している。 In short, lambda is the weight of the difference of the pixel intensity, eta represents the stiffness of the mapping. これらのパラメータの値は初期値が0であり、まずη=0に固定してλを0から徐々に増加させる。 The values ​​of these parameters the initial value is 0, and gradually increases the λ from 0 to fix the first eta = 0. λの値を大きくしながら、しかも総合評価式(式14)の値を最小にする場合、各副写像に関するC (m,s) の値は一般に小さくなっていく。 while increasing the value of lambda, yet if you want to minimize the value of the combined evaluation equation (Equation 14), the value of each sub-mapping with C (m, s) f generally becomes smaller. このことは基本的にふたつの画像がよりマッチしなければならないことを意味する。 This means basically that two of the image must be more match. しかし、λが最適値を超えると以下の現象が発生する。 However, λ is the following symptoms exceeds the optimal value.
【0052】 [0052]
1. 1. 本来対応すべきではない画素どうしが、単に輝度が近いというだけで誤って対応づけられる。 Originally corresponding to pixels each other should not be simply associated accidentally just because intensities are close.
2. 2. その結果、画素どうしの対応関係がおかしくなり、写像がくずれはじめる。 As a result, freaking correspondence between images, mapping begins collapse.
【0053】 [0053]
3. 3. その結果、式14においてD (m,s) が急激に増加しようとする。 As a result, D (m, s) f tends to increase abruptly in Formula 14.
4. 4. その結果、式14の値が急激に増加しようとするため、D (m,s) の急激な増加を抑制するようf (m,s)が変化し、その結果C (m,s) が増加する。 As a result, since the value of the equation 14 tends to increase abruptly, D (m, s) a sharp increase suppressing so f of f (m, s) is changed, the result C (m, s) f There is increased.
【0054】 [0054]
したがって、λを増加させながら式14が最小値をとるという状態を維持しつつC (m,s) が減少から増加に転じる閾値を検出し、そのλをη=0における最適値とする。 Therefore, detecting a threshold while maintaining Equation 14 while increasing the λ is a state of taking the minimum value C (m, s) f turns from decrease to increase, as the optimum value thereof λ in eta = 0. つぎにηを少しづつ増やしてC (m,s) の挙動を検査し、後述の方法でηを自動決定する。 Then the η is increased little by little inspects C (m, s) behavior of f, it is automatically determined η a method described later. そのηに対応してλも決まる。 Also determined λ in response to the η.
【0055】 [0055]
この方法は、人間の視覚システムの焦点機構の動作に似ている。 This method resembles the focusing mechanism of human visual system. 人間の視覚システムでは、一方の目を動かしながら左右両目の画像のマッチングがとられる。 The human visual system, the matching of the left and right eyes of the image is taken while moving the one eye. オブジェクトがはっきりと認識できるとき、その目が固定される。 When the objects are clearly recognized, the eye is fixed.
【0056】 [0056]
[1.4.1]λの動的決定λは0から所定の刻み幅で増加されていき、λの値が変わる度に副写像が評価される。 [1.4.1] Dynamic determination λ of λ is increased from 0 at a certain interval, a subimage is evaluated each time the value of λ changes. 式14のごとく、総エネルギーはλC (m,s) +D (m,s) によって定義される。 As shown in the equation (14), the total energy is defined by λC (m, s) f + D (m, s) f. 式9のD (m,s) は滑らかさを表すもので、理論的には単位写像の場合に最小になり、写像が歪むほどE もE も増加していく。 The D (m, s) f of formula 9 represents the smoothness, the minimum will be the case of a theoretically identity mapping, E 0 as the mapping is distorted even E 1 also increases. は整数であるから、D (m,s) の最小刻み幅は1である。 E 1 is because an integer, smallest step of D (m, s) f is 1. このため、現在のλC (m,s) (i,j)の変化(減少量)が1以上でなければ、写像を変化させることによって総エネルギーを減らすことはできない。 Therefore, current .lambda.C (m, s) (i, j) unless a change in (decrease) is 1 or more, it can not be reduced total energy by changing the mapping. なぜなら、写像の変化に伴ってD (m,s) は1以上増加するため、λC (m,s) (i,j)が1以上減少しない限り総エネルギーは減らないためである。 Because the D (m, s) f with a change in the mapping for increasing one or more, because the λC (m, s) (i , j) is the total energy is not reduced unless reduced 1 or more.
【0057】 [0057]
この条件のもと、λの増加に伴い、正常な場合にC (m,s) (i,j)が減少することを示す。 Under this condition, with increasing lambda, it indicates that C (m, s) (i , j) is reduced to the normal case. (m,s) (i,j)のヒストグラムをh(l)と記述する。 C describes (m, s) (i, j) a histogram of the h (l). h(l)はエネルギーC (m,s) (i,j)がl である画素の数である。 h (l) is the energy C (m, s) (i , j) is the number of pixels is l 2. λl ≧1が成り立つために、例えばl =1/λの場合を考える。 To λl 2 ≧ 1 is satisfied, for example, consider the case of a l 2 = 1 / λ. λがλ からλ まで微小量変化するとき、 When lambda is changed a small amount from lambda 1 to lambda 2,
【数21】 [Number 21]
で示されるA個の画素が、 A number of pixels indicated in the,
【数22】 [Number 22]
のエネルギーを持つより安定的な状態に変化する。 Changes to stable conditions than with energy. ここでは仮に、これらの画素のエネルギーがすべてゼロになると近似している。 Here if the energy of these pixels is approximated to all zero. この式はC (m,s) の値が、 The value of the expression C (m, s) f is,
【数23】 [Number 23]
だけ変化することを示し、その結果、 Indicates that changes by, as a result,
【数24】 [Number 24]
が成立する。 There is established. h(l)>0であるから、通常C (m,s) は減少する。 because it is h (l)> 0, usually C (m, s) f decreases. しかし、λが最適値を越えようとするとき、上述の現象、つまりC (m,s) の増加が発生する。 However, when the λ tends to exceed the optimal value, the above phenomenon that an increase in C (m, s) f occurs. この現象を検出することにより、λの最適値を決定する。 By detecting this phenomenon, to determine the optimal value of lambda.
【0058】 [0058]
なお、H(h>0)及びkを定数とするとき、 Incidentally, when the constant H (h> 0) and k,
【数25】 [Number 25]
と仮定すれば、 Assuming that,
【数26】 [Number 26]
が成り立つ。 It holds. このときk≠−3であれば、 At this time, if k ≠ -3,
【数27】 [Number 27]
となる。 To become. これがC (m,s) の一般式である(Cは定数)。 This is the general formula of C (m, s) f ( C is a constant).
【0059】 [0059]
λの最適値を検出する際、さらに安全を見て、全単射条件を破る画素の数を検査してもよい。 When detecting the optimal value of lambda, further for safety, it may be tested for the number of pixels violating the BC. ここで各画素の写像を決定する際、全単射条件を破る確率をp と仮定する。 In the course of determining a mapping for each pixel, where it is assumed the probability of violating the BC and p 0. この場合、 in this case,
【数28】 [Number 28]
が成立しているため、全単射条件を破る画素の数は次式の率で増加する。 Since There has been established, the number of pixels violating the BC increases at a rate in the following equation.
【数29】 [Number 29]
従って、 Therefore,
【数30】 [Number 30]
は定数である。 It is a constant. 仮にh(l)=Hl を仮定するとき、例えば、 If when assuming h (l) = Hl k, for example,
【数31】 [Number 31]
は定数になる。 It will be constant. しかしλが最適値を越えると、上の値は急速に増加する。 However, when λ exceeds the optimal value, the above value of increases rapidly. この現象を検出し、B λ 3/2+k/2 /2 の値が異常値B 0thresを越えるかどうかを検査し、λの最適値を決定することができる。 By detecting this phenomenon, the value of B 0 λ 3/2 + k / 2/2 m examines whether exceeds the abnormal value B 0Thres, it is possible to determine the optimal value of lambda. 同様に、B λ 3/2+k/2 /2 の値が異常値B 1thresを越えるかどうかを検査することにより、全単射の第3の条件を破る画素の増加率B を確認する。 Similarly, the value of B 1 λ 3/2 + k / 2/2 m to check whether it exceeds an abnormal value B 1Thres, confirming an increase rate B 1 of pixels violating the third condition of the BC . ファクター2 を導入する理由は後述する。 The reason for introducing a factor 2 m will be described later. このシステムはこれら2つの閾値に敏感ではない。 The system is not sensitive to these two thresholds. これらの閾値は、エネルギーC (m,s) の観察では検出し損なった写像の過度の歪みを検出するために用いることができる。 These thresholds the energy C (m, s) f of the observation can be used to detect excessive distortion of the detected missed the mapping.
【0060】 [0060]
なお実験では、副写像f (m,s)を計算する際、もしλが0.1を越えたらf (m,s)の計算は止めてf (m,s+1)の計算に移行した。 Note In the experiment, when calculating the submapping f (m, s), and proceeds to the calculation of f (m, s + 1) If λ is stopped calculation of f (m, s) After exceed 0.1. λ>0.1のとき、画素の輝度255レベル中のわずか「3」の違いが副写像の計算に影響したためであり、λ>0.1のとき正しい結果を得ることは困難だったためである。 When lambda> 0.1, is because the difference of only "3" of 255 levels in the pixel intensity affected the calculation of submappings, is because it was difficult to obtain a correct result when lambda> 0.1 .
【0061】 [0061]
[1.4.2]ヒストグラムh(l) [1.4.2] histogram h (l)
(m,s) の検査はヒストグラムh(l)に依存しない。 C (m, s) inspection of f does not depend on the histogram h (l). 全単射及びその第3の条件の検査の際、h(l)に影響を受けうる。 The examination of the BC and its third condition may be affected by h (l). 実際に(λ,C (m,s) )をプロットすると、kは通常1付近にある。 Indeed Plotting (λ, C (m, s ) f), k is usually close to 1. 実験ではk=1を用い、B λ とB λ を検査した。 With k = 1 in the experiment were examined B 0 lambda 2 and B 1 λ 2. 仮にkの本当の値が1未満であれば、B λ とB λ は定数にならず、ファクターλ (1−k)/2に従って徐々に増加する。 If if less than the true value of k is 1, B 0 λ 2 and B 1 lambda 2 does not become constant, and gradually increases with a factor λ (1-k) / 2 . h(l)が定数であれば、例えばファクターはλ 1/2である。 If h (l) is constant, the factor is, for example, lambda 1/2. しかし、こうした差は閾値B 0thresを正しく設定することによって吸収することができる。 However, such a difference can be absorbed by setting the threshold B 0Thres correctly.
【0062】 [0062]
ここで次式のごとく始点画像を中心が(x ,y )、半径rの円形のオブジェクトであると仮定する。 It is assumed that the center of the source image as the following equation (x 0, y 0), a circular object with a radius r.
【数32】 [Number 32]
一方、終点画像は、次式のごとく中心(x ,y )、半径がrのオブジェクトであるとする。 On the other hand, the destination image is centered as the following equation (x 1, y 1), the radius is assumed to be the object of r.
【数33】 [Number 33]
ここでc(x)はc(x)=x の形であるとする。 Where c (x) has the form of c (x) = x k. 中心(x ,y )及び(x ,y )が十分遠い場合、ヒストグラムh(l)は次式の形となる。 Center (x 0, y 0) and (x 1, y 1) when sufficiently far, the histogram h (l) is the form of the following equation.
【数34】 [Number 34]
k=1のとき、画像は背景に埋め込まれた鮮明な境界線を持つオブジェクトを示す。 When k = 1, the images represent objects with clear boundaries embedded in the background. このオブジェクトは中心が暗く、周囲にいくに従って明るくなる。 This object is dark center, it becomes brighter toward the surroundings. k=−1のとき、画像は曖昧な境界線を持つオブジェクトを表す。 When k = -1, the images represent objects with vague boundary. このオブジェクトは中心が最も明るく、周囲にいくに従って暗くなる。 This object is brightest at their centers, and become darker as it goes around. 一般のオブジェクトはこれらふたつのタイプのオブジェクトの中間にあると考えてもさして一般性を失わない。 General objects not much loss of generality be considered to be in between these two types of objects. したがって、kは−1≦k≦1として大抵の場合をカバーでき、式27が一般に減少関数であることが保障される。 Thus, k can cover most cases as -1 ≦ k ≦ 1, wherein 27 is guaranteed to be generally decreasing function.
【0063】 [0063]
なお、式34からわかるように、rは画像の解像度に影響されること、すなわちrは2mに比例することに注意すべきである。 As can be seen from equation 34, r is to be influenced by the resolution of the image, i.e. r It should be noted that proportional to 2m. このために[1.4.1]においてファクター2mを導入した。 It introduced a factor 2m in [1.4.1] for this purpose.
【0064】 [0064]
[1.4.3]ηの動的決定パラメータηも同様の方法で自動決定できる。 [1.4.3] be automatically determined by the dynamic determination parameter eta same way eta. はじめにη=0とし、最も細かい解像度における最終的な写像f (n)及びエネルギーC (n) を計算する。 Introduction and eta = 0, to calculate the final mapping f (n) and the energy C (n) f at the finest resolution. つづいて、ηをある値Δηだけ増加させ、再び最も細かい解像度における最終写像f (n)及びエネルギーC (n) を計算し直す。 Then, it is increased by a value Δη in the eta, recalculate the final mapping f (n) and the energy C (n) f at the finest resolution are again. この過程を最適値が求まるまで続ける。 This process is repeated until the optimal value is obtained. ηは写像の剛性を示す。 η represents the stiffness of the mapping. 次式の重みだからである。 Because it is a weight of the following equation.
【数35】 [Number 35]
ηが0のとき、D (n) は直前の副写像と無関係に決定され、現在の副写像は弾性的に変形され、過度に歪むことになる。 When η is 0, D (n) f is determined independently of the immediately previous submapping, current submapping are elastically deformed, so that the excessively distorted. 一方、ηが非常に大きな値のとき、D (n) は直前の副写像によってほぼ完全に決まる。 On the other hand, eta is a very large value, D (n) f is almost completely determined by the immediately previous submapping. このとき副写像は非常に剛性が高く、画素は同じ場所に射影される。 At this time submapping is very high rigidity, and the pixels are mapped to the same location. その結果、写像は単位写像になる。 As a result, the map will be the identity mapping. ηの値が0から次第に増えるとき、後述のごとくC (n) は徐々に減少する。 When the value of η increases from 0, C (n) f gradually decreases as will be described later. しかしηの値が最適値を越えると、図4に示すとおり、エネルギーは増加し始める。 But the value of η exceeds the optimal value, as shown in FIG. 4, the energy starts to increase. 同図のX軸はη、Y軸はC である。 X axis in FIG. Eta, Y axis is C f.
【0065】 [0065]
この方法でC (n) を最小にする最適なηの値を得ることができる。 The method in C (n) f can be obtained an optimum value of η is minimized. しかし、λの場合に比べていろいろな要素が計算に影響する結果、C (n) は小さく揺らぎながら変化する。 However, since various elements affects the computation compared to the case of λ, C (n) f changes while slightly fluctuating. λの場合は、入力が微小量変化するたびに副写像を1回計算しなおすだけだが、ηの場合はすべての副写像が計算しなおされるためである。 For lambda, but just recalculate the submapping once for each input changes very small amount, for η is because all submappings be recalculated. このため、得られたC (n) の値が最小であるかどうかを即座に判断することはできない。 Therefore, the obtained value of C (n) f is not possible to determine immediately whether a minimum. 最小値の候補が見つかれば、さらに細かい区間を設定することによって真の最小値を探す必要がある。 If it finds a candidate minimum, it is necessary to look for the true minimum value by setting the finer intervals.
【0066】 [0066]
[1.5]スーパーサンプリング画素間の対応関係を決定する際、自由度を増やすために、f (m,s)の値域をR×Rに拡張することができる(Rは実数の集合)。 [1.5] When deciding the correspondence between super sampling pixel, in order to increase the degree of freedom, f (m, s) the range of can be expanded to R × R (R is the set of real numbers). この場合、終点画像の画素の輝度が補間され、非整数点、 In this case, the luminance of the pixels of the destination image is interpolated, non-integer points,
【数36】 [Number 36]
における輝度を持つf (m,s)が提供される。 F (m, s) with the luminance of is provided. つまりスーパーサンプリングが行われる。 That is super-sampling is performed. 実験では、f (m,s)は整数及び半整数値をとることが許され、 In the experiment, f (m, s) is allowed to take an integer and half-integer values,
【数37】 [Number 37]
は、 It is,
【数38】 [Number 38]
によって与えられた。 It is given by.
【0067】 [0067]
[1.6]各画像の画素の輝度の正規化始点画像と終点画像がきわめて異なるオブジェクトを含んでいるとき、写像の計算に元の画素の輝度がそのままでは利用しにくい。 [1.6] when the brightness normalized source and destination images of the pixels of each image contain quite different objects, the luminance of the original pixels in the calculation of the mapping is directly is difficult to use. 輝度の差が大きいために輝度に関するエネルギーC (m,s) が大きくなりすぎ、正しい評価がしずらいためである。 Energy C (m, s) relating to the luminance due to the large difference in brightness f is too large, because the correct evaluation is hesitation.
【0068】 [0068]
例えば、人の顔と猫の顔のマッチングをとる場合を考える。 For example, consider the case to take the matching of a human face and a cat's face. 猫の顔は毛で覆われており、非常に明るい画素と非常に暗い画素が混じっている。 The cat's face is covered with hair and is a mixture of very bright pixels and very dark pixels. この場合、ふたつの顔の間の副写像を計算するために、まず副画像を正規化する。 In this case, in order to calculate the sub-mapping between the two faces, first normalize the sub-images. すなわち、最も暗い画素の輝度を0、最も明るいそれを255に設定し、他の画素の輝度は線形補間によって求めておく。 That is, the luminance of the darkest pixel 0, and set the brightest it to 255, and other pixel intensity values ​​are determined by linear interpolation.
【0069】 [0069]
[1.7]インプリメンテーション始点画像のスキャンに従って計算がリニアに進行する帰納的な方法を用いる。 [1.7] calculated according to the scan implementation source image is used heuristic method proceeds linearly. 始めに、1番上の左端の画素(i,j)=(0,0)についてf (m,s)の値を決定する。 First, to determine the value of the leftmost pixel of the topmost (i, j) = (0,0 ) for f (m, s). 次にiを1ずつ増やしながら各f (m,s) (i,j)の値を決定する。 Then each f while increasing the i by 1 (m, s) (i , j) to determine the value of. iの値が画像の幅に到達したとき、jの値を1増やし、iを0に戻す。 When the value of i reaches the width of the image, the value of j is increased by one, and returns i to zero. 以降、始点画像のスキャンに伴いf (m,s) (i,j)を決定していく。 Later, f with the scanning of the source image (m, s) (i, j) continue to determine. すべての点について画素の対応が決まれば、ひとつの写像f (m,s)が決まる。 Once pixel correspondence is determined for all the points, one of the mapping f (m, s) is determined.
あるp (i,j)について対応点q f(i,j)が決まれば、つぎにp (i,j+1)の対応点q f(i,j+1)が決められる。 There p (i, j) corresponding point q f (i, j) for the In is Kimare, then p (i, j + 1) of the corresponding point q f (i, j + 1 ) is determined. この際、q f(i,j+1)の位置は全単射条件を満たすために、q f(i,j)の位置によって制限される。 At this time, the position of q f (i, j + 1 ) is to meet the conditions bijection is limited by the position of q f (i, j). したがって、先に対応点が決まる点ほどこのシステムでは優先度が高くなる。 Therefore, the priority is high in this system as a point point corresponding to the previously determined. つねに(0,0)が最も優先される状態がつづくと、求められる最終の写像に余計な偏向が加わる。 When always (0,0) state that is the highest priority followed, extra deflection in the final mapping sought is applied. 本前提技術ではこの状態を回避するために、f (m,s)を以下の方法で決めていく。 For the present underlying technique to avoid this state, it is determined in the following manner f (m, s).
【0070】 [0070]
まず(s mod 4)が0の場合、(0,0)を開始点としi及びjを徐々に増やしながら決めていく。 First (s mod 4) is 0, we decided while increasing gradually the starting point and then i and j the (0,0). (s mod 4)が1の場合、最上行の右端点を開始点とし、iを減少、jを増加させながら決めていく。 When (s mod 4) is 1, and starting from the top rightmost reduce i, will decide with increasing j. (s mod 4)が2のとき、最下行の右端点を開始点とし、i及びjを減少させながら決めていく。 When (s mod 4) is 2, and the bottom rightmost starting point, we decided while decreasing both i and j. (smod 4)が3の場合、最下行の左端点を開始点とし、iを増加、jを減少させながら決めていく。 If (smod 4) is 3, and starting from the bottom leftmost increasing i, will decide with decreasing j. 解像度が最も細かい第nレベルには副写像という概念、すなわちパラメータsが存在しないため、仮にs=0及びs=2であるとしてふたつの方向を連続的に計算した。 Since the finest n-th level concept such as the submapping, i.e. the parameter s is not present, the two directions continuously calculated as a tentatively s = 0 and s = 2.
【0071】 [0071]
実際のインプリメンテーションでは、全単射条件を破る候補に対してペナルティを与えることにより、候補(k,l)の中からできる限り全単射条件を満たすf (m,s) (i,j)(m=0,…,n)の値を選んだ。 In actual implementation, by providing a penalty against candidates violating the BC, candidate (k, l) BC satisfying f as possible from the (m, s) (i, j ) (m = 0, ..., I chose the value of n). 第3の条件を破る候補のエネルギーD(k、l)にはφを掛け、一方、第1または第2の条件を破る候補にはψを掛ける。 Energy D (k, l) of candidate that violates the third condition in multiplied by phi, that of a candidate that violates the first or second condition multiplied by [psi. 今回はφ=2、ψ=100000を用いた。 This time φ = 2, using ψ = 100000.
【0072】 [0072]
前述の全単射条件のチェックのために、実際の手続として(k,l)=f (m,s) (i,j)を決定する際に以下のテストを行った。 For the check the above-mentioned BC, it was carried out the actual (k, l) as a procedure = f (m, s) ( i, j) the following tests in determining the. すなわちf (m,s) (i,j)の相続四辺形に含まれる各格子点(k,l)に対し、次式の外積のz成分が0以上になるかどうかを確かめる。 That respect f (m, s) (i , j) each lattice points included in the inherited quadrilateral of (k, l), see if the z-component of the outer product of the formula is 0 or more.
【数39】 [Number 39]
ただしここで、 However, in this case,
【数40】 [Number 40]
【数41】 [Number 41]
である(ここでベクトルは三次元ベクトルとし、z軸は直交右手座標系において定義される)。 It is (where the vector is a three-dimensional vector, z-axis is defined in the orthogonal right-handed coordinate system). もしWが負であれば、その候補についてはD (m,s) (k,l)にψを掛けることによってペナルティを与え、できるかぎり選択しないようにする。 If it W is negative, for that candidate penalized by multiplying the ψ to D (m, s) (k , l), so as not to select as much as possible.
【0073】 [0073]
図5(a)、図5(b)はこの条件を検査する理由を示している。 Figure 5 (a), and FIG. 5 (b) shows the reason why this condition is inspected. 図5(a)はペナルティのない候補、図5(b)はペナルティがある候補をそれぞれ表す。 Figure 5 (a) shows the penalty no candidate, FIG. 5 (b) a candidate with a penalty. 隣接画素(i,j+1)に対する写像f (m,s) (i,j+1)を決定する際、Wのz成分が負であれば始点画像平面上において全単射条件を満足する画素は存在しない。 Mapping f for adjacent pixels (i, j + 1) ( m, s) (i, j + 1) when determining no pixel satisfying present all BC on the source image plane if the z-component of W is negative . なぜなら、q (m,s) (k,l)は隣接する四辺形の境界線を越えるためである。 This is because, q (m, s) ( k, l) is to cross the boundary of the adjacent quadrilateral.
【0074】 [0074]
[1.7.1]副写像の順序インプリメンテーションでは、解像度レベルが偶数のときにはσ(0)=0、σ(1)=1、σ(2)=2、σ(3)=3、σ(4)=0を用い、奇数のときはσ(0)=3、σ(1)=2、σ(2)=1、σ(3)=0、σ(4)=3を用いた。 [1.7.1] In order implementation submappings, when the resolution level is even σ (0) = 0, σ (1) = 1, σ (2) = 2, σ (3) = 3, using σ (4) = 0, when the odd using σ (0) = 3, σ (1) = 2, σ (2) = 1, σ (3) = 0, σ (4) = 3 . このことで、副写像を適度にシャッフルした。 In this, we were moderately shuffle submappings. なお、本来副写像は4種類であり、sは0〜3のいずれかである。 It is to be originally submapping four kinds, s is either 0 to 3. しかし、実際にはs=4に相当する処理を行った。 But, actually performing the process corresponding to s = 4. その理由は後述する。 The reason for this will be described later.
【0075】 [0075]
[1.8]補間計算始点画像と終点画像の間の写像が決定された後、対応しあう画素の輝度が補間される。 [1.8] After mapping between interpolated source and destination images is determined, the intensity of the pixels mutually corresponding is interpolated. 実験では、トライリニア補間を用いた。 In the experiment, using a tri-linear interpolation. 始点画像平面における正方形p (i,j)(i+1,j)(i,j+1)(i+1,j+1)が終点画像平面上の四辺形q f(i,j)f(i+1,j)f(i,j+1)f(i+1,j+1)に射影されると仮定する。 Square p (i, j) in the source image plane p (i + 1, j) p (i, j + 1) p (i + 1, j + 1) is quadrilateral in the destination image plane q f (i, j) q f (i + 1, j ) assumed to be projected to the q f (i, j + 1 ) q f (i + 1, j + 1). 簡単のため、画像間の距離を1とする。 For simplicity, the distance between the image and the 1. 始点画像平面からの距離がt(0≦t≦1)である中間画像の画素r(x,y,t)(0≦x≦N−1,0≦y≦M−1)は以下の要領で求められる。 Pixel r intermediate image distance from the source image plane is t (0 ≦ t ≦ 1) (x, y, t) (0 ≦ x ≦ N-1,0 ≦ y ≦ M-1) is the following manner obtained by. まず画素r(x,y,t)の位置(ただしx,y,t∈R)を次式で求める。 First determine the pixel r (x, y, t) the position (although x, y, t∈R) the following equation.
【数42】 [Number 42]
つづいてr(x,y,t)における画素の輝度が次の式を用いて決定される。 r (x, y, t) luminance pixels in is determined using the following formula followed.
【数43】 [Number 43]
ここでdx及びdyはパラメータであり、0から1まで変化する。 Here dx and dy are parameters, varying from 0 to 1.
【0076】 [0076]
[1.9]拘束条件を課したときの写像いままでは拘束条件がいっさい存在しない場合の写像の決定を述べた。 [1.9] until now mapping when the imposed constraints mentioned the decision of the mapping when the constraint does not exist at all. しかし、始点画像と終点画像の特定の画素間に予め対応関係が規定されているとき、これを拘束条件としたうえで写像を決定することができる。 However, when the corresponding relationship is provided in a predetermined manner between specific pixels of the source image and a destination image, it is possible to determine the mapping after having a constraint.
【0077】 [0077]
基本的な考えは、まず始点画像の特定の画素を終点画像の特定の画素に移す大まかな写像によって始点画像を大まかに変形し、しかる後、写像fを正確に計算する。 The basic idea is that a certain pixel of the source image to roughly deformed source image by an approximate mapping which maps to a particular pixel of the destination image, thereafter, accurately calculate the mapping f.
【0078】 [0078]
まず始めに、始点画像の特定の画素を終点画像の特定の画素に射影し、始点画像の他の画素を適当な位置に射影する大まかな写像を決める。 First, by projecting the specific pixels of the source image to particular pixels of the destination image, the approximate mapping that maps other pixels of the source image in place. すなわち、特定の画素に近い画素は、その特定の画素が射影される場所の近くに射影されるような写像である。 That is, pixels close to a particular pixel is a mapping such as the particular pixel is projected near where the projection. ここで第mレベルの大まかな写像をF (m)と記述する。 Here describe the approximate mapping of the m-th level is denoted by F (m).
【0079】 [0079]
大まかな写像Fは以下の要領で決める。 Approximate mapping F is determined in the following manner. まず、いくつかの画素について写像を特定する。 First, several pixels to identify a mapping. 始点画像についてn 個の画素、 N s pixels for the source image,
【数44】 [Number 44]
を特定するとき、以下の値を決める。 When you identify, determine the following values.
【数45】 [Number 45]
始点画像の他の画素の変位量は、p (ih,jh) (h=0,…,n −1)の変位に重み付けをして求められる平均である。 Displacement of the other pixels of the source image, p (ih, jh) ( h = 0, ..., n s -1) is the average obtained by weighting the displacement of the. すなわち画素p (i,j)は、終点画像の以下の画素に射影される。 That pixel p (i, j) is mapped to the following pixel of the destination image.
【数46】 [Number 46]
ただしここで、 However, in this case,
【数47】 [Number 47]
【数48】 [Number 48]
とする。 To.
【0080】 [0080]
つづいて、F (m)に近い候補写像fがより少ないエネルギーを持つように、その写像fのエネルギーD (m,s) (i,j)を変更する。 Subsequently, as the candidate mapping f is close to F (m) it has less energy, to change the energy D of the mapping f (m, s) (i , j). 正確には、D (m,s) (i,j)は、 To be precise, D (m, s) ( i, j) is
【数49】 [Number 49]
である。 It is. ただし、 However,
【数50】 [Number 50]
であり、κ,ρ≧0とする。 In it, κ, and ρ ≧ 0. 最後に、前述の写像の自動計算プロセスにより、fを完全に決定する。 Finally, the automatic calculation process of the aforementioned mapping is completely determined f.
【0081】 [0081]
ここで、f (m,s) (i,j)がF (m) (i,j)に十分近いとき、つまりそれらの距離が、 Here, f (m, s) ( i, j) when the sufficiently close to F (m) (i, j ), i.e. the distance thereof,
【数51】 [Number 51]
以内であるとき、E (m,s) (i,j)が0になることに注意すべきである。 When less is, it should be noted that E 2 (m, s) ( i, j) becomes 0. そのように定義した理由は、各f (m,s) (i,j)がF (m) (i,j)に十分近い限り、終点画像において適切な位置に落ち着くよう、その値を自動的に決めたいためである。 The reason for defining as such, each f (m, s) (i , j) is as close enough to F (m) (i, j ), so that settles in position in the destination image, the value automatically This is because you want to decide. この理由により、正確な対応関係を詳細に特定する必要がなく、始点画像は終点画像にマッチするように自動的にマッピングされる。 For this reason, it is not necessary to specify an exact correspondence in detail, source image is automatically mapped to match the destination image.
[2]具体的な処理手順[1]の各要素技術による処理の流れを説明する。 [2] describing the flow of processing by each element technology specific procedure [1].
図6は前提技術の全体手順を示すフローチャートである。 6 is a flowchart of the entire procedure of the base technology. 同図のごとく、まず多重解像度特異点フィルタを用いた処理を行い(S1)、つづいて始点画像と終点画像のマッチングをとる(S2)。 As in the figure, the process was carried out using a multi-resolution critical point filter first (S1), taking the matching source and destination images followed (S2). ただし、S2は必須ではなく、S1で得られた画像の特徴をもとに画像認識などの処理を行ってもよい。 However, S2 is not essential and may be subjected to processing such as image recognition based on the characteristics of the image obtained at S1.
【0082】 [0082]
図7は図6のS1の詳細を示すフローチャートである。 Figure 7 is a flowchart showing details of S1 in FIG. 6. ここではS2で始点画像と終点画像のマッチングをとることを前提としている。 Here, it is assumed to take the matching source and destination images in S2. そのため、まず特異点フィルタによって始点画像の階層化を行い(S10)、一連の始点階層画像を得る。 Therefore, perform source image is first hierarchized using a critical point filter (S10), obtaining a series of source hierarchical images. つづいて同様の方法で終点画像の階層化を行い(S11)、一連の終点階層画像を得る。 Then, a destination image is hierarchized in the same manner followed (S11), obtaining a series of destination hierarchical images. ただし、S10とS11の順序は任意であるし、始点階層画像と終点階層画像を並行して生成していくこともできる。 However, It is arbitrary order of S10 and S11, may be the source image and the destination image to generate in parallel.
【0083】 [0083]
図8は図7のS10の詳細を示すフローチャートである。 Figure 8 is a flowchart showing the details of S10 in FIG. もとの始点画像のサイズは2 ×2 とする。 The size of the original source image is 2 n × 2 n. 始点階層画像は解像度が細かいほうから順に作られるため、処理の対象となる解像度レベルを示すパラメータmをnにセットする(S100)。 Since source hierarchical images made from more resolution fine in order, sets parameter m to n indicating the level of resolution to be processed (S100). つづいて第mレベルの画像p (m,0) 、p (m,1) 、p (m,2) 、p (m,3)から特異点フィルタを用いて特異点を検出し(S101)、それぞれ第m−1レベルの画像p (m−1,0) 、p (m−1,1) 、p (m−1,2) 、p (m−1,3)を生成する(S102)。 Then the m-th level of the image p (m, 0), p (m, 1), p (m, 2), using a critical point filter from p (m, 3) detecting a singular point (S101), each of the first m-1 level of the image p (m-1,0), p (m-1,1), p (m-1,2), to produce a p (m-1,3) (S102 ). ここではm=nであるため、p (m,0) =p (m,1) =p (m,2) =p (m,3) =p (n)であり、ひとつの始点画像から4種類の副画像が生成される。 Because here is m = n, p (m, 0) = p (m, 1) = p (m, 2) = p (m, 3) = a p (n), 4 from one source image type of sub-image is generated.
【0084】 [0084]
図9は第mレベルの画像の一部と、第m−1レベルの画像の一部の対応関係を示している。 Figure 9 shows a part of the m-th level of the image, a part of the correspondence between the (m-1) levels in the image. 同図の数値は各画素の輝度を示す。 Figures figure shows the brightness of each pixel. 同図のp (m,s)はp (m,0) 〜p (m,3)の4つの画像を象徴するもので、p (m−1,0)を生成する場合には、p (m,s)はp (m,0)であると考える。 In FIG p (m, s) is intended to symbolize the four images p (m, 0) ~p ( m, 3), when generating the images p (m-1,0), p ( m, s) is considered to be the p (m, 0). [1.2]で示した規則により、p (m−1,0)は例えば同図で輝度を記入したブロックについて、そこに含まれる4画素のうち「3」、p (m−1,1)は「8」、p (m−1,2)は「6」、p (m−1,3)を「10」をそれぞれ取得し、このブロックをそれぞれ取得したひとつの画素で置き換える。 The rules given in [1.2], p (m- 1,0) for blocks fill luminance in FIG example, 4 out of the pixels "3" contained therein, p (m-1, 1 ) is "8", p (m-1,2) gets "6", p the (m-1, 3) "10", respectively, replace the block with one pixel obtained respectively. したがって、第m−1レベルの副画像のサイズは2 m−1 ×2 m−1になる。 Accordingly, the size of the m-1 levels of the sub-image becomes 2 m-1 × 2 m-1.
【0085】 [0085]
つづいてmをデクリメントし(図8のS103)、mが負になっていないことを確認し(S104)、S101に戻ってつぎに解像度の粗い副画像を生成していく。 Decrements the m followed (S103 in FIG. 8), m is sure that it is not a negative (S104), it will generate a next coarser resolution sub images back to S101. この繰り返し処理の結果、m=0、すなわち第0レベルの副画像が生成された時点でS10が終了する。 The result of this repetitive process, m = 0, that is, S10 at the time when the sub-image of the 0 level is produced to end. 第0レベルの副画像のサイズは1×1である。 The size of the subimages at the 0-th level is 1 × 1.
【0086】 [0086]
図10はS10によって生成された始点階層画像をn=3の場合について例示している。 Figure 10 illustrates the case the source hierarchical images generated by S10 in n = 3. 最初の始点画像のみが4つの系列に共通であり、以降特異点の種類に応じてそれぞれ独立に副画像が生成されていく。 Only the first source image are common to the four series, we subimages are generated independently in accordance with the type of after singularity. なお、図8の処理は図7のS11にも共通であり、同様の手順を経て終点階層画像も生成される。 The processing in FIG. 8 is common to S11 in FIG. 7, destination hierarchical images through the same procedure is also generated. 以上で図6のS1による処理が完了する。 Or treatment with S1 in FIG. 6 is completed.
【0087】 [0087]
前提技術では、図6のS2に進むためにマッチング評価の準備をする。 In the base technology, to a matching evaluation is prepared in order to proceed to S2 of FIG. 図11はその手順を示している。 Figure 11 shows the procedure. 同図のごとく、まず複数の評価式が設定される(S30)。 Referring to FIG. 11, a plurality of evaluation equation is set (S30). [1.3.2.1]で導入した画素に関するエネルギーC (m,s) と[1.3.2.2]で導入した写像の滑らかさに関するエネルギーD (m,s) がそれである。 [1.3.2.1] energy C (m, s) concerning a pixel value, introduced in f and [1.3.2.2] energy D (m, s) relating to the smoothness of the mapping introduced in f is in it is there. つぎに、これらの評価式を統合して総合評価式を立てる(S31)。 Next, make a combined evaluation equation integrates these evaluation formula (S31). [1.3.2.3]で導入した総エネルギーλC (m,s) +D (m,s) がそれであり、[1.3.2.2]で導入したηを用いれば、 Total energy λC introduced in [1.3.2.3] (m, s) f + D (m, s) f is it, the use of the η introduced in [1.3.2.2],
【数52】 [Number 52]
となる。 To become. ただし、総和はi、jについてそれぞれ0、1…、2 −1で計算する。 However, summation i, respectively 0, 1 for j, calculated by 2 m -1. 以上でマッチング評価の準備が整う。 Preparing for matching evaluation is completed.
【0088】 [0088]
図12は図6のS2の詳細を示すフローチャートである。 Figure 12 is a flowchart showing details of S2 of FIG. [1]で述べたごとく、始点階層画像と終点階層画像のマッチングは互いに同じ解像度レベルの画像どうしでとられる。 As mentioned in [1], matching the source and destination hierarchical images are taken between images having the same level of resolution. 画像間の大域的なマッチングを良好にとるために、解像度が粗いレベルから順にマッチングを計算する。 To take a global matching between images better, to calculate a matching sequentially resolution from coarse level. 特異点フィルタを用いて始点階層画像および終点階層画像を生成しているため、特異点の位置や輝度は解像度の粗いレベルでも明確に保存されており、大域的なマッチングの結果は従来に比べて非常に優れたものになる。 Since that is generating the source and destination hierarchical images using the critical point filter, the location and intensity of critical points are clearly conserved in coarse resolution level, the result of global matching in comparison with the conventional made to those very good.
【0089】 [0089]
図12のごとく、まず係数パラメータηを0、レベルパラメータmを0に設定する(S20)。 As in Figure 12, first, the coefficient parameter eta 0, sets the level parameter m to 0 (S20). つづいて、始点階層画像中の第mレベルの4つの副画像と終点階層画像中の第mレベルの4つの副画像のそれぞれの間でマッチングを計算し、それぞれ全単射条件を満たし、かつエネルギーを最小にするような4種類の副写像f (m,s) (s=0,1,2,3)を求める(S21)。 Subsequently, the matching is computed between each of the m-th level of the four sub-images in the four sub-images and destination hierarchical images of the m-th level in the source hierarchical images, it satisfies the total BC respectively, and the energy 4 types as to minimize the sub-mapping f (m, s) seek (s = 0,1,2,3) (S21) . 全単射条件は[1.3.3]で述べた相続四辺形を用いて検査される。 The BC is checked using the inherited quadrilateral described in [1.3.3]. この際、式17、18が示すように、第mレベルにおける副写像は第m−1レベルのそれらに拘束されるため、より解像度の粗いレベルにおけるマッチングが順次利用されていく。 At this time, as shown by submappings is in the m-th level to be bound by their first m-1 levels, we are matching is sequentially use in a coarser level of resolution. これは異なるレベル間の垂直的参照である。 This is a vertical reference between different levels. なお、いまm=0であってそれより粗いレベルはないが、この例外的な処理は図13で後述する。 Although coarser level is not than a m = 0 Now, the exceptional process will be described later in FIG. 13.
一方、同一レベル内における水平的参照も行われる。 On the other hand, a horizontal reference within the same level is also performed. [1.3.3]の式20のごとく、f (m,3)はf (m,2)に、f (m,2)はf (m,1)に、f (m,1)はf (m,0)に、それぞれ類似するように決める。 [1.3.3] as equation 20, the to f (m, 3) f (m, 2), the f (m, 2) is f (m, 1), f (m, 1) is to f (m, 0), determined to be similar, respectively. その理由は、特異点の種類が違っても、それらがもともと同じ始点画像と終点画像に含まれている以上、副写像がまったく異なるという状況は不自然だからである。 This is because, even if different types of singularity, they more than originally contained in the same source and destination images, situation subimage quite different because unnatural. 式20からわかるように、副写像どうしが近いほどエネルギーは小さくなり、マッチングが良好とみなされる。 As can be seen from Equation 20, the energy enough submappings each other are close decreases are considered matching good.
【0090】 [0090]
なお、最初に決めるべきf (m,0)については同一のレベルで参照できる副写像がないため、式19に示すごとくひとつ粗いレベルを参照する。 Incidentally, for f (m, 0) which is to be initially determined since there is no submapping that can be referenced in the same level, it references a coarse level one as shown in the equation (19). ただし、実験ではf (m,3)まで求まった後、これを拘束条件としてf (m,0)を一回更新するという手続をとった。 However, in the experiment after Motoma' to f (m, 3), it took the procedures that this is updated once f (m, 0) as a constraint condition. これは式20にs=4を代入し、f (m,4)を新たなf (m,0)とすることに等しい。 This is equivalent to to which s = 4 is substituted into the equation 20, and f (m, 4) a new f (m, 0). (m,0)とf (m,3)の関連度が低くなり過ぎる傾向を回避するためであり、この措置によって実験結果がより良好になった。 f (m, 0) and because the relevance of f (m, 3) to avoid the tendency in which the experimental results by this measure becomes better. この措置に加え、実験では[1.7.1]に示す副写像のシャッフルも行った。 In addition to this measure, it was also shuffled submappings shown in [1.7.1] in the experiment. これも本来特異点の種類ごとに決まる副写像どうしの関連度を密接に保つ趣旨である。 , So as to closely maintain the relevance of submappings each other determined for each type of the original singularity. また、処理の開始点に依存する偏向を回避するために、sの値にしたがって開始点の位置を変える点は[1.7]で述べたとおりである。 In order to avoid deflection that depends on the starting point of the process, the point of changing the position of the starting point according to the value of s is the same as that described in [1.7].
【0091】 [0091]
図13は第0レベルにおいて副写像を決定する様子を示す図である。 Figure 13 is a diagram showing how the submapping is determined at the 0 level. 第0レベルでは各副画像がただひとつの画素で構成されるため、4つの副写像f(0,s)はすべて自動的に単位写像に決まる。 Since at the 0 level which is constituted by each sub-image is only one pixel, four submappings f (0, s) is automatically chosen as the identity mapping. 図14は第1レベルにおいて副写像を決定する様子を示す図である。 Figure 14 is a diagram showing how the submapping is determined at the first level. 第1レベルでは副画像がそれぞれ4画素で構成される。 In the first level, each of the subimages is constituted of four pixels. 同図ではこれら4画素が実線で示されている。 In FIG these four pixels is shown by a solid line. いま、p (1,s)の点xの対応点をq (1,s)の中で探すとき、以下の手順を踏む。 Now, when looking p the (1, s) corresponding point of the point x in q (1, s), go through the following steps.
【0092】 [0092]
1. 1. 第1レベルの解像度で点xの左上点a、右上点b、左下点c、右下点dを求める。 Upper left point a first level of resolution at point x, upper right point b, a lower left point c, obtains a lower right point d.
2. 2. 点a〜dがひとつ粗いレベル、つまり第0レベルにおいて属する画素を探す。 Point a~d coarser level by one, looking for that is the pixels belonging in the 0-th level. 図14の場合、点a〜dはそれぞれ画素A〜Dに属する。 For Figure 14, the point a~d belongs to the pixel A~D respectively. ただし、画素A〜Cは本来存在しない仮想的な画素である。 However, the pixel A~C is a virtual pixels that do not exist naturally.
3. 3. 第0レベルですでに求まっている画素A〜Dの対応点A'〜D'をq (1,s)の中にプロットする。 Already corresponding point of pixel A~D that been obtained a'-d 'at the 0 level, are plotted in q (1, s). 画素A'〜C'は仮想的な画素であり、それぞれ画素A〜Cと同じ位置にあるものとする。 Pixels A'-C 'is a virtual pixel, it is assumed that each of the same position as pixel A through C.
4. 4. 画素Aの中の点aの対応点a'が画素A'の中にあるとみなし、点a'をプロットする。 Point a corresponding point a in the pixel A 'pixel A' considered to be within the plots point a '. このとき、点aが画素Aの中で占める位置(この場合、右下)と、点a'が画素A'の中で占める位置が同じであると仮定する。 In this case, it is assumed that the position (in this case, bottom right) which point a occupied in the pixel A and the position occupied by the point a 'is a pixel A' in is the same.
5.4と同様の方法で対応点b'〜d'をプロットし、点a'〜d'で相続四辺形を作る。 5.4 'to plot the point a'~d' corresponding points b'~d in a similar manner to produce an inherited quadrilateral.
6. 6. 相続四辺形の中でエネルギーが最小になるよう、点xの対応点x'を探す。 As the energy in the inherited quadrilateral minimized, search for the corresponding point x 'of the point x. 対応点x'の候補として、例えば画素の中心が相続四辺形に含まれるものに限定してもよい。 Candidate corresponding points x ', for example, the center of the pixel may be limited to those included in the inherited quadrilateral. 図14の場合、4つの画素がすべて候補になる。 For Figure 14, the four pixels are all candidates.
【0093】 [0093]
以上がある点xの対応点の決定手順である。 It is a procedure for determining the corresponding point of a given point x or more. 同様の処理を他のすべての点について行い、副写像を決める。 The same process is performed on all other respects, determine the sub-map. 第2レベル以上のレベルでは、次第に相続四辺形の形が崩れていくと考えられるため、図3に示すように画素A'〜D'の間隔が空いていく状況が発生する。 In the second level or higher level, for gradually the inherited quadrilateral is believed it will collapse, situation going the spacing of pixels a'-d 'as shown in FIG. 3 is generated.
【0094】 [0094]
こうして、ある第mレベルの4つの副写像が決まれば、mをインクリメントし(図12のS22)、mがnを超えていないことを確かめて(S23)、S21に戻る。 Thus, once the certain four submappings of the m-th level increments m (S22 in FIG. 12), it is confirmed that m does not exceed n (S23), the flow returns to S21. 以下、S21に戻るたびに次第に細かい解像度のレベルの副写像を求め、最後にS21に戻ったときに第nレベルの写像f (n)を決める。 Hereinafter, seeking submappings at a finer level of resolution every time the process returns to S21, the n-th level is determined the mapping f (n) at the time of returning to the last S21. この写像はη=0に関して定まったものであるから、f (n) (η=0)と書く。 Since this mapping is it has been determined with respect to η = 0, written as f (n) (η = 0 ).
【0095】 [0095]
つぎに異なるηに関する写像も求めるべく、ηをΔηだけシフトし、mをゼロクリアする(S24)。 Then to obtain the mapping with respect to different eta, shifts the eta only .DELTA..eta, reset to zero m (S24). 新たなηが所定の探索打切り値η maxを超えていないことを確認し(S25)、S21に戻り、今回のηに関して写像f (n) (η=Δη)を求める。 New eta is sure that does not exceed a predetermined search-stop value η max (S25), returns to S21, obtains the mapping f (n) (η = Δη ) with respect to this eta. この処理を繰り返し、S21でf (n) (η=iΔη)(i=0,1,…)を求めていく。 This process is repeated while obtaining the f (n) (η = iΔη ) (i = 0,1, ...) in the S21. ηがη maxを超えたときS26に進み、後述の方法で最適なη=η optを決定し、f (n) (η=η opt )を最終的に写像f (n)とする。 proceeds to S26 when the eta exceeds eta max, to determine the optimal eta = eta opt a method described later, and f (n) (η = η opt) be the final mapping f (n).
【0096】 [0096]
図15は図12のS21の詳細を示すフローチャートである。 Figure 15 is a flowchart showing the details of S21 in FIG. 12. このフローチャートにより、ある定まったηについて、第mレベルにおける副写像が決まる。 This flowchart for η certain predetermined, submappings at the m-th level are determined. 副写像を決める際、前提技術では副写像ごとに最適なλを独立して決める。 When deciding submapping, in the base technology decide independently the optimal λ for each sub-map.
【0097】 [0097]
同図のごとく、まずsとλをゼロクリアする(S210)。 As in the figure, it is first reset to zero s and lambda (S210). つぎに、そのときのλについて(および暗にηについて)エネルギーを最小にする副写像f (m,s)を求め(S211)、これをf (m,s) (λ=0)と書く。 Then, write the sub mapping f (m, s) of the lambda at that time (and for implicitly eta) energy minimizes determined (S211), it as f (m, s) (λ = 0). 異なるλに関する写像も求めるべく、λをΔλだけシフトし、新たなλが所定の探索打切り値λ maxを超えていないことを確認し(S213)、S211に戻り、以降の繰り返し処理でf (m,s) (λ=iΔλ)(i=0,1,…)を求める。 In order to obtain the mapping with respect different lambda, it shifts the lambda only [Delta] [lambda], a new lambda is sure that does not exceed a predetermined search-stop value λ max (S213), returns to S211, in repeating the subsequent processing f (m , s) (λ = iΔλ) seek (i = 0,1, ...). λがλ maxを超えたときS214に進み、最適なλ=λ optを決定し、f (m,s) (λ=λ opt )を最終的に写像f (m,s)とする(S214)。 proceeds to S214 when the lambda exceeds lambda max, to determine the optimal λ = λ opt, f (m , s) (λ = λ opt) and the final mapping f (m, s) (S214 ) .
【0098】 [0098]
つぎに、同一レベルにおける他の副写像を求めるべく、λをゼロクリアし、sをインクリメントする(S215)。 Next, in order to obtain other submappings at the same level, reset to zero lambda, it is incremented s (S215). sが4を超えていないことを確認し(S216)、S211に戻る。 s Make sure that does not exceed 4 (S216), and returns to S211. s=4になれば上述のごとくf (m,3)を利用してf (m,0)を更新し、そのレベルにおける副写像の決定を終了する。 Once the s = 4 by using the above as a f (m, 3) updates the f (m, 0), and terminates the determination of submapping at that level.
【0099】 [0099]
図16は、あるmとsについてλを変えながら求められたf (m,s) (λ=iΔλ)(i=0,1,…)に対応するエネルギーC (m,s) の挙動を示す図である。 Figure 16 is m and s for obtained while changing the lambda f (m, s) and (λ = iΔλ) (i = 0,1, ...) to a corresponding energy C (m, s) behavior of f It illustrates. [1.4]で述べたとおり、λが増加すると通常C (m,s) は減少する。 As described in [1.4], C (m, s) when λ increases f decreases. しかし、λが最適値を超えるとC (m,s) は増加に転じる。 However, lambda is greater than the optimal value when C (m, s) f turns to increase. そこで本前提技術ではC (m,s) が極小値をとるときのλをλ optと決める。 In this base technology determines the lambda when C (m, s) f takes a minimum value and lambda opt. 同図のようにλ>λ optの範囲で再度C (m,s) が小さくなっていっても、その時点ではすでに写像がくずれていて意味をなさないため、最初の極小点に注目すればよい。 Even went again C (m, s) in the range of a lambda> lambda opt as in FIG f becomes smaller, since already make sense mapping is not broken at that point, by focusing on the first minimum point Bayoi. λ optは副写像ごとに独立して決めていき、最後にf (n)についてもひとつ定まる。 λ opt is going to decide independently for each sub-map, finally determined one also for f (n).
【0100】 [0100]
一方、図17は、ηを変えながら求められたf (n) (η=iΔη)(i=0,1,…)に対応するエネルギーC (n) の挙動を示す図である。 On the other hand, FIG. 17 is a diagram showing the behavior of the energy C (n) f corresponding to f obtained while changing the η (n) (η = iΔη ) (i = 0,1, ...). ここでもηが増加すると通常C (n) は減少するが、ηが最適値を超えるとC (n) は増加に転じる。 Here too, η is typically C (n) f decreases with increasing, when η exceeds the optimal value C (n) f turns to increase. そこでC (n) が極小値をとるときのηをη optと決める。 So determining the eta when C (n) f takes a minimum value and eta opt. 図17は図4の横軸のゼロ付近を拡大した図と考えてよい。 Figure 17 can be considered as an enlarged graph around zero on the horizontal axis in FIG. η optが決まればf (n)を最終決定することができる。 eta opt can f (n) is finally determined if Kimare.
【0101】 [0101]
以上、本前提技術によれば種々のメリットが得られる。 Above, it provides various merits according to the precondition technique. まずエッジを検出する必要がないため、エッジ検出タイプの従来技術の課題を解消できる。 First because there is no need to detect the edge, it can be eliminated prior art problems of edge detection type. また、画像に含まれるオブジェクトに対する先験的な知識も不要であり、対応点の自動検出が実現する。 Moreover, a priori knowledge about objects included in an image is not necessary, the automatic detection of the corresponding points is achieved. 特異点フィルタによれば、解像度の粗いレベルでも特異点の輝度や位置を維持することができ、オブジェクト認識、特徴抽出、画像マッチングに極めて有利である。 According to the critical point filter, resolution also can maintain the brightness and position of a singular point at a coarse level, object recognition, feature extraction, it is very advantageous to image matching. その結果、人手作業を大幅に軽減する画像処理システムの構築が可能となる。 As a result, it is possible to construct an image processing system which significantly reduces manual work.
【0102】 [0102]
なお、本前提技術について次のような変形技術も考えられる。 It should be noted that, following deformation technology for the base technology is also considered.
(1)前提技術では始点階層画像と終点階層画像の間でマッチングをとる際にパラメータの自動決定を行ったが、この方法は階層画像間ではなく、通常の2枚の画像間のマッチングをとる場合全般に利用できる。 (1) In the base technology was automatic determination of parameters when the matching is computed between the source and destination hierarchical images, this method is not between hierarchical images, taking matching between the normal two images If available in general.
【0103】 [0103]
たとえば2枚の画像間で、画素の輝度の差に関するエネルギーE と画素の位置的なずれに関するエネルギーE のふたつを評価式とし、これらの線形和E tot =αE +E を総合評価式とする。 For example between two images, two energy E 1 and the expression in about positional displacement of energy E 0 and the pixel related to the difference in brightness of pixels, combined evaluation equation these the linear sum E tot = αE 0 + E 1 to. この総合評価式の極値付近に注目してαを自動決定する。 To automatically determine the α and attention in the vicinity of the extreme value of the combined evaluation equation. つまり、いろいろなαについてE totが最小になるような写像を求める。 That is, obtaining the mapping as E tot is minimized for various alpha. それらの写像のうち、αに関してE が極小値をとるときのαを最適パラメータと決める。 Among such mappings, E 1 with respect to α is defined as an optimal parameter α when the minima. そのパラメータに対応する写像を最終的に両画像間の最適マッチングとみなす。 The mapping corresponding to this parameter is finally regarded as the optimal mapping between the two images.
【0104】 [0104]
これ以外にも評価式の設定にはいろいろな方法があり、例えば1/E と1/E のように、評価結果が良好なほど大きな値をとるものを採用してもよい。 In addition to this there are various methods in the course of setting up evaluation equations, for example, as 1 / E 1 and 1 / E 2, may be adopted as the evaluation result takes a good higher the value. 総合評価式も必ずしも線形和である必要はなく、n乗和(n=2、1/2、−1、−2など)、多項式、任意の関数などを適宜選択すればよい。 Comprehensive evaluation equation is not necessarily a linear sum, n sum (n = 2,1 / 2, -1, etc. -2) polynomial may be employed when appropriate to any function.
【0105】 [0105]
パラメータも、αのみ、前提技術のごとくηとλのふたつの場合、それ以上の場合など、いずれでもよい。 Parameter is also, α only, in the case of the two as η and λ of the base technology, such as in the case of more, may be either. パラメータが3以上の場合はひとつずつ変化させて決めていく。 When there are more than three parameters it will decide by changing one by one.
(2)本前提技術では、総合評価式の値が最小になるよう写像を決めた後、総合評価式を構成するひとつの評価式であるC (m,s) が極小になる点を検出してパラメータを決定した。 (2) In the base technology, after the value of the combined evaluation equation is decided mapping to a minimum, a evaluation formula for one constituting the combined evaluation equation C (m, s) f the detection points is minimized to determine the parameters by. しかし、こうした二段回処理の代わりに、状況によっては単に総合評価式の最小値が最小になるようにパラメータを決めても効果的である。 However, instead of this two-step process, in some circumstances merely effective be determined parameters so that the minimum value of the combined evaluation equation becomes minimum. その場合、例えばαE +βE を総合評価式とし、α+β=1なる拘束条件を設けて各評価式を平等に扱うなどの措置を講じてもよい。 In that case, for example, the .alpha.E 0 + beta E 1 and combined evaluation equation, may take measures such as to equally treat each evaluation equation provided alpha + beta = 1 becomes constraint. パラメータの自動決定の本質は、エネルギーが最小になるようにパラメータを決めていく点にあるからである。 The essence of the automatic determination of parameters, because in that energy will determine the parameters so as to minimize.
(3)前提技術では各解像度レベルで4種類の特異点に関する4種類の副画像を生成した。 (3) In the base technology to produce four types of sub related to four types of critical points at each resolution level. しかし、当然4種類のうち1、2、3種類を選択的に用いてもよい。 However, of course 4, three kinds of types can be used selectively. 例えば、画像中に明るい点がひとつだけ存在する状態であれば、極大点に関するf (m,3)だけで階層画像を生成しても相応の効果が得られるはずである。 For example, if the state of bright spots in the image there is only one, should effect of correspondingly be generated hierarchical images solely on f (m, 3) relates to the maximum point is obtained. その場合、同一レベルで異なる副写像は不要になるため、sに関する計算量が減る効果がある。 In this case, since the other submapping the same level becomes unnecessary, there is an effect that calculation amount relating s decreases.
(4)本前提技術では特異点フィルタによってレベルがひとつ進むと画素が1/4になった。 (4) pixels proceeds level by one through a critical point filter in the base technology becomes 1/4. 例えば3×3で1ブロックとし、その中で特異点を探す構成も可能であり、その場合、レベルがひとつ進むと画素は1/9になる。 For example, 3 × 3 and 1 block, configured to search for singularities therein is also possible, in which case the pixel will be 1/9 as the level advances by one.
(5)始点画像と終点画像がカラーの場合、それらをまず白黒画像に変換し、写像を計算する。 (5) When the source and the destination images are color, they are first converted to monochrome images, to calculate the mapping. その結果求められた写像を用いて始点のカラー画像を変換する。 Converting the color image of the start point using the result sought was mapped. それ以外の方法として、RGBの各成分について副写像を計算してもよい。 As other methods, it may be calculated submappings for each component of RGB.
[3]前提技術の改良点以上の前提技術を基本とし、マッチング精度を向上させるためのいくつかの改良がなされている。 [3] The base technology of more improvement of the base technology as a basic, have been made several improvements to improve the matching accuracy. ここではその改良点を述べる。 Here, we describe the improvement.
【0106】 [0106]
[3.1]色情報を考慮に入れた特異点フィルタおよび副画像画像の色情報を有効に用いるために、特異点フィルタを以下のように変更した。 [3.1] in order to effectively utilize the color information of the critical point filter and the sub-picture image color information into account, a critical point filter was changed as follows. まず色空間としては、人間の直感に最も合致するといわれているHISを用い、色を輝度に変換する式には、人間の目の感度に最も近いといわれているものを選んだ。 The first color space, using the HIS that is said to best match the human intuition, the formula for converting the color intensity, chose what is said to be closest to the sensitivity of the human eye.
【数53】 [Number 53]
ここで画素aにおけるY(輝度)をY(a)として、次のような記号を定義する。 Here a Y (luminance) of a pixel a as Y (a), defines the following symbols.
【数54】 [Number 54]
上の定義を用いて以下のような5つのフィルタを用意する。 Providing a five filters as follows using the above definition.
【数55】 [Number 55]
このうち上から4つのフィルタは改良前の前提技術におけるフィルタとほぼ同じで、輝度の特異点を色情報も残しながら保存する。 Four filters from this out on the substantially the same as the filter in the base technology before improvement, saving while also leaving the color information singularities luminance. 最後のフィルタは色の彩度の特異点をこちらも色情報を残しながら保存する。 The last of the filter is also here a singular point of saturation of color to save while leaving the color information.
【0107】 [0107]
これらのフィルタによって、各レベルにつき5種類の副画像(サブイメージ)が生成される。 These filters five sub-image for each level (sub-image) is generated. なお、最も高いレベルの副画像は元画像に一致する。 Incidentally, the highest level of the sub-image corresponds to the original image.
【数56】 [Number 56]
[3.2]エッジ画像およびその副画像輝度微分(エッジ)の情報をマッチングに利用するため、一次微分エッジ検出フィルタを用いる。 [3.2] to use edge image and sub-image differential luminance information (edge) for matching, using the primary differential edge detection filter. このフィルタはあるオペレータHとの畳み込み積分で実現できる。 This filter is can be realized by convolution with an operator H.
【数57】 [Number 57]
ここでHは演算スピードなども考慮し、以下のようなオペレータを用いた。 Where H consideration of such operation speed, with the operator as follows.
【数58】 [Number 58]
次にこの画像を多重解像度化する。 Next multiresolution of the image. フィルタにより0を中心とした輝度をもつ画像が生成されるため、次のような平均値画像が副画像としては最も適切である。 Since the image having a brightness around the 0 by the filter is generated, the average value image such as: as sub-image is most appropriate.
【数59】 [Number 59]
式59の画像は後述するForward Stage、すなわち初回副写像導出ステージの計算の際、エネルギー関数に用いられる。 Images of the formula 59 Forward Stage described later, i.e., the calculation of the first sub-mapping derivation stage used energy function.
【0108】 [0108]
エッジの大きさ、すなわち絶対値も計算に必要である。 Edge size, i.e. it is also necessary to calculate the absolute value.
【数60】 [Number 60]
この値は常に正であるため、多重解像度化には最大値フィルタを用いる。 Because this value is always positive, using a maximum value filter in multiplex resolution.
【数61】 [Number 61]
式61の画像は後述するForward Stageの計算の際、計算する順序を決定するのに用いられる。 The calculation of the Forward Stage image of Formula 61 to be described later, is used to determine the order to calculate.
【0109】 [0109]
[3.3]計算処理手順計算は最も粗い解像度の副画像から順に行う。 [3.3] calculating procedure calculation performed in order from coarsest resolution subimages. 副画像は5つあるため、各レベルの解像度において計算は複数回行われる。 Subimages for five some, computed at each level of resolution is carried out multiple times. これをターンと呼び、最大計算回数をtで表すことにする。 This is called the turn, to represent the maximum number of times of calculation in t. 各ターンは前記Forward Stageと、副写像再計算ステージであるRefinement Stageという二つのエネルギー最小化計算から構成される。 Each turn consists of the Forward Stage and two energy minimization calculation of Refinement Stage a submapping recalculation stage. 図18は第mレベルにおける副写像を決める計算のうち改良点に係るフローチャートである。 Figure 18 is a flowchart relating to improvement of the calculations for determining the submapping in the m-th level.
【0110】 [0110]
同図のごとく、sをゼロクリアする(S40)。 As in the figure, it resets to zero s (S40). つぎにForward Stage(S41)において始点画像pから終点画像qへの写像f ( m,s )をエネルギー最小化によって求める。 Then determined by energy minimization mapping f from the source image p to the destination image q (m, s) in Forward Stage (S41). ここで最小化するエネルギーは、対応する画素値によるエネルギーCと、写像の滑らかさによるエネルギーDの線形和である。 Here energy minimization, and energy C by the corresponding pixel value is a linear sum of the energy D by the smoothness of the mapping.
【0111】 [0111]
エネルギーCは、輝度の差によるエネルギーC (前記改良前の前提技術におけるエネルギーCと等価)と、色相、彩度によるエネルギーC 、輝度微分(エッジ)の差によるエネルギーC で構成され、それぞれ次のように表される。 Energy C is an energy C I due to the difference in brightness (energy C equivalent of base technology before the improvement), hue, energy by chroma C C, is composed of an energy C E due to the difference in brightness derivative (edge), It is expressed as follows.
【数62】 [Number 62]
エネルギーDは前記改良前の前提技術と同じものを用いる。 Energy D uses the same as the base technology before the improvement. ただし前記改良前の前提技術において、写像の滑らかさを保証するエネルギーE を導出する際、隣接する画素のみを考慮していたが、周囲の何画素を考慮するかをパラメータdで指定できるように改良した。 However, in the base technology before the improvement, when deriving the energy E 1 for ensuring the smoothness of the mapping has been considered only adjacent pixels, so that you can specify whether to consider what pixels surrounding the parameter d It was modified.
【数63】 [Number 63]
次のRefinement Stageに備えて、このステージでは終点画像qから始点画像pへの写像g (m,s)も同様に計算する。 In preparation for the next Refinement Stage, mapping g (m, s) from the destination image q at this stage to the source image p is also calculated similarly.
【0112】 [0112]
Refinement Stage(S42)ではForward Stageにおいて求めた双方向の写像f (m,s)およびg (m,s)を基に、より妥当な写像f' (m,s)を求める。 Refinement Stage (S42) bidirectional mapping f (m, s) of the obtained in Forward Stage and g (m, s) based on, seek more appropriate mapping f '(m, s). ここでは新たに定義されるエネルギーMについてエネルギー最小化計算を行う。 Performing energy minimization calculations the energy M is newly defined here. エネルギーMは終点画像から始点画像への写像gとの整合度M と、もとの写像との差M より構成される。 Energy M is a matching degree M 0 of the map g to the source image from a destination image, composed of the difference between M 1 of the original mapping.
【数64】 [Number 64]
対称性を損なわないように、終点画像qから始点画像pへの写像g' (m,s)も同様の方法で求めておく。 So as not to impair the symmetry, mapping g '(m, s) from the destination image q to the source image p is also previously determined by the same methods.
【0113】 [0113]
その後、sをインクリメントし(S43)、sがtを超えていないことを確認し(S44)、次のターンのForward Stage(S41)に進む。 Then, increments the s (S43), s Make sure that you do not exceed the t (S44), proceed to the next turn Forward Stage (S41). その際前記E を次のように置き換えてエネルギー最小化計算を行う。 At that time performing energy minimization calculations by replacing the E 0 as follows.
【数65】 [Number 65]
[3.4]写像の計算順序写像の滑らかさを表すエネルギーE を計算する際、周囲の点の写像を用いるため、それらの点がすでに計算されているかどうかがエネルギーに影響を与える。 [3.4] when calculating the energy E 1 representing the smoothness of the mapping of the calculation order mapping, for using the mapping of the surrounding points, whether the points have already been calculated affects energy. すなわち、どの点から順番に計算するかによって、全体の写像の精度が大きく変化する。 That is, depending calculated from any point in the order, the overall accuracy of the mapping is changed greatly. そこでエッジの絶対値画像を用いる。 So using the absolute value image of the edge. エッジの部分は情報量を多く含むため、エッジの絶対値が大きいところから先に写像計算を行う。 Since part of the edge, including amount of information, it performs the mapping previously calculated from where the absolute value of the edge is large. このことによって、特に二値画像のような画像に対して非常に精度の高い写像を求めることができるようになった。 Thereby, it has become possible to obtain the highly accurate map for the image, such as a particular binary image.
【0114】 [0114]
[監視装置に関する実施の形態] [Embodiment relates Monitoring Device]
以上の前提技術を利用した監視装置を説明する。 Explaining the monitoring device using the above-mentioned base technology. 前提技術ではキーフレーム間のマッチングをとって対応点情報を生成し、この対応点情報をもとに中間フレームを生成した。 Taking matching between key frames in the base technology to generate the corresponding point information, and generates an intermediate frame the corresponding point information to the original. したがって、この技術は動画の圧縮に利用でき、現実に実験ではMPEGを超える画質と圧縮率が確認されている。 Therefore, this technology is available to the compression of the video, in reality the experiment has been confirmed image quality and compression rate of more than MPEG.
【0115】 [0115]
そこで、前提技術を監視装置に適用することで、監視対象領域を記録する際に、必要とされる記録媒体の記憶容量を抑える。 Therefore, by applying the base technology to monitor, when recording the monitored area, reduce the storage capacity of the recording medium is required. そのとき、監視対象領域に変化が少ない場合、キーフレーム間隔を広くし、変化が確認された場合は、間隔を狭める。 Then, if the change in the monitored region is small, by widening the key frame interval, if the change is confirmed, it reduces the distance. 以下の、実施例では、異常判定を「変化なし」「要注意」「異常発生」の3段階で評価する。 The following, in the embodiment, to evaluate the abnormality determination in three stages of "no change", "caution", "abnormality".
【0116】 [0116]
また、異常発生を判定する場合、前提技術で示したマッチング技術を利用することで、判定の精度が向上する。 Further, when determining that an abnormality has occurred, by using a matching technique shown in the base technology, the accuracy of the determination can be improved. 具体的には、小鳥や木の葉などの小物体と人間との識別精度が向上し、誤判定による異常発生の誤通報が減少する。 Specifically, to improve the identification accuracy of the small object and a human, such as birds and leaves, erroneous notification of abnormality due to erroneous judgment is reduced.
【0117】 [0117]
図19は、ある時点の監視対象領域を撮影した画像を示している。 Figure 19 shows an image obtained by photographing a monitoring object area at a certain time. この画像には、右側に塀F3、ほぼ中央手前に第1人物M1、その後方の左上に第2人物M2が示されている。 This image, fence right F3, and the first person M1, in the upper left of the rear second person M2 is shown approximately in the center front. 第1人物M1や第2人物M2のように人間が存在する場合には、異常発生の通報がなされる。 When a person is present as the first person M1 or the second person M2, notification of abnormality is made. 従来は、図20に示すように、木の葉L4などのように人間以外の物体が存在した場合も、人間と誤判定され異常が発生したと通報されるケールが多く見られた。 Conventionally, as shown in FIG. 20, even when the object other than a human, such as foliage L4 were present, human and erroneously determined to abnormalities are observed many Kehl be reported to have occurred.
【0118】 [0118]
図21は、塀F3のみが写っている画像であり、この画像が異常発生の有無を推定する際の、比較基準画像となる。 Figure 21 is an image only fence F3 is reflected, when the image is to infer the presence or absence of abnormality, the comparison reference image. 以下、この画像を基準画像と呼ぶ。 Hereinafter referred to as the image and the reference image. この基準画像と図19に示した画像が比較され、人間である第1人物M1および第2人物M2が抽出される。 Image shown on the reference image and 19 are compared, the first person M1 and the second person M2 a human is extracted.
【0119】 [0119]
図22は、第1人物M1が抽出された画像である。 Figure 22 is an image first person M1 is extracted. ここでは、理解を容易にするため、塀F3も破線で示している。 Here, for easy understanding, fence F3 are also indicated by broken lines. 抽出されたオブジェクトである第1人物M1と、予め監視装置が保持する人間に関するデータと比較して、人間と判定された場合は、この監視対象領域の管理者、一般には監視員に通報される。 The first person M1 is extracted object, as compared with the data about the person in advance monitoring device is held, when it is determined that a human administrator of the monitored area, generally is reported to Warden .
【0120】 [0120]
一方、図23は、図20に示した木の葉L4が写っている画像から木の葉L4のみを抽出した画像である。 On the other hand, FIG. 23 is an image obtained by extracting only leaves L4 from an image that is reflected is leaves L4 shown in FIG. 20. この場合は、異常発生とは判断されない。 In this case, it is not determined the abnormality. また、図24に示すように第2人物M2が小さく抽出された場合は、まだ、遠方にいると判断し異常とは判定せず、要注意と判断する。 Further, the second person M2 as shown in FIG. 24 when it is extracted less, still, without determining the judges that are in distant abnormal, it is determined that suspicious.
【0121】 [0121]
異常無しと判断された場合、キーフレームの間隔が広くなる。 If it is determined that no abnormality, key frame interval is widened. 要注意の場合は、キーフレーム間隔が狭くなる。 In the case of caution, key frame interval becomes narrow. また、異常発生と判断された場合、取得した画像がすべて記録される。 When it is determined that abnormality occurs, an image obtained is all recorded.
【0122】 [0122]
また、監視対象領域は、図25に示すように、画像を第1〜9領域A1〜A9に9分割し、領域ごとに重み付けをした上で、異常発生を判定する。 Further, the monitored area is determined, as shown in FIG. 25, the image was divided first to ninth to the area A 1 to A 9 9, after having weighted for each area, the occurrence of abnormality. 画像の手前側が特に監視すべき領域の場合、左上の第1領域A1に変化があっても、あまり重要性は低い。 For areas near side should particularly monitored image, even if there is a change in the first region A1 in the upper left, much importance is low. 一方、第8領域A8や第9領域A9の領域に変化に対しては、特に注意を払う必要がある。 On the other hand, with respect to changes in the region of the eighth region A8 and the ninth region A9, it is necessary to pay particular attention. したがって、画像全体で異常ありと判断する際に、各領域に重み付けをした上で、領域ごとに異常発生の有無を判定した上で、画像全体での異常発生の有無を判断する。 Therefore, when determining that there is abnormality in the entire image, after weighting to each area, after determining the presence or absence of abnormality in each area, to determine the presence or absence of abnormality in the entire image. その際に、上述のように、「異常発生」「要注意」「異常無し」の3段階で監視対象領域の異常を判定する。 At that time, as described above, it determines an abnormality of the monitored area in three stages of "abnormality", "caution", "no abnormality". また、分割された領域の大きさは同一である必要はない。 The size of the divided regions need not be identical.
【0123】 [0123]
図26は、上述の監視技術を実現するための監視装置10の構成を示す。 Figure 26 shows the configuration of the monitoring apparatus 10 for implementing the monitoring techniques described above. 監視装置10は、表示装置12、撮影部14、撮影制御部16、画像入力部18、異常判定ブロック20、及び画像記録ブロック50を備える。 Monitoring device 10 includes a display device 12, imaging unit 14, the imaging control unit 16, an image input unit 18, the abnormality determination block 20 and an image recording block 50.
【0124】 [0124]
撮影部14は、CCDカメラなどの画像撮影装置である。 Imaging unit 14 is an image capturing device such as a CCD camera. 撮影制御部16は、撮影部14を制御する。 Imaging control unit 16 controls the imaging unit 14. 撮影部14で撮影された画像は、画像入力部18を介して、異常判定ブロック20及び画像記録ブロック50に送られる。 Image captured by the imaging unit 14 via the image input unit 18 is sent to the abnormality determination block 20 and the image recording block 50. また、監視対象領域は、動画像として1秒間に10フレーム撮影される。 Further, the monitored area is 10 frames captured per second as a moving image.
【0125】 [0125]
異常判定ブロック20は、監視対象領域を「異常発生」、「要注意」、「異常無し」の3段階で判定し、それぞれの判定に応じて、記録する際の時間解像度を変化させる。 Abnormality determination block 20, a monitoring target region "abnormal", it is determined in three steps of "suspicious", "no abnormality", depending on the respective determination, changing the time resolution when recording. 具体的には、初期設定では撮影された画像から5秒間隔でキーフレームを選定する。 Specifically, to select a key frame every five seconds from the photographed image by default. その間の画像に関しては、キーフレームをもとに生成される中間フレームとの差分を取得し、キーフレーム及びキーフレーム間の対応点情報とともに記録する。 For the meantime the image, a keyframe obtains a difference between the intermediate frame to be generated based on, is recorded together with the corresponding point information between key frames and key frames. 「異常無し」と判断される期間が長くなった場合、キーフレームが一部間引かれ、例えば、「異常無し」の期間が60秒であれば、キーフレーム間隔は5秒から60秒になる。 If long period it is determined that "no abnormality", thinned keyframes part, for example, if the period is 60 seconds "no abnormality", the key frame interval is 60 seconds 5 seconds . 一方、「要注意」と判断された場合、キーフレームの間隔は、1秒となる。 On the other hand, if it is determined to be "suspicious", key frame interval is 1 second. また、「異常発生」と判断された場合、0.5秒間隔となる。 If it is determined as "abnormal", and 0.5 second intervals.
【0126】 [0126]
異常判定ブロック20は、異常監視部22、選定制御部32、比較用マッチングプロセッサ34、基準画像保持部36、異常判断用データ保持部40、および異常通知部42を備える。 Abnormality determination block 20 is provided with the abnormality monitoring unit 22, the selection control unit 32, for comparison matching processor 34, the reference image holding unit 36, abnormality judgment data holding unit 40, and the abnormality notification section 42.
【0127】 [0127]
異常監視部22は、更に領域分割部24、異常推定部26、オブジェクト抽出部28、及び異常判定部30を備える。 Abnormality monitoring unit 22 includes further a region dividing unit 24, the abnormality estimating unit 26, the object extracting unit 28, and an abnormality determination section 30.
【0128】 [0128]
領域分割部24は、撮影部14で撮影された画像を複数の領域またはレイヤに分割する。 Region dividing unit 24 divides the image captured by the imaging unit 14 into a plurality of regions or layers. 異常推定部26は、分割された領域またはレイヤごとに重み付けをしたうえで、基準画像と比較して画像全体で変化の有無を判定する。 Abnormality estimating unit 26 determines in terms of the weighting for each divided region or layer, as compared to the reference image the presence or absence of a change in the entire image. 複数の領域に画像を分割する場合、図25に示したように、例えば9分割される。 When dividing an image into a plurality of regions, as shown in FIG. 25, for example, 9 divided. また、複数のレイヤに分割される場合、前方領域、後方領域、及び基準画像に分割することがあげられる。 Also, when it is divided into a plurality of layers, and the like be divided front region, back region, and the reference image. ここで、図19に示した画像を、複数のレイヤに分割するケースを想定する。 Here, the image shown in FIG. 19, it is assumed a case of dividing into a plurality of layers. このとき、前方領域の画像として、図22に示すオブジェクトが、後方領域の画像として、図24に示すオブジェクトが抽出される。 At this time, as an image of the front area, the object shown in FIG. 22, as the image of the rear region, the object shown in FIG. 24 is extracted.
【0129】 [0129]
オブジェクト抽出部28は、異常推定部26で変化があると推定された場合、基準画像と比較して特徴的なオブジェクトを抽出する。 Object extracting section 28, when it is estimated that there is a change in the abnormal estimating unit 26, extracts a characteristic object in comparison with a reference image. 異常判定部30は、抽出されたオブジェクトと基準画像保持部36に保持されるオブジェクトのデータとを比較して、人間か否かを判断する。 Abnormality determination unit 30 compares the object data held in the object and the reference image holding unit 36 ​​that is extracted to determine the human or not. 人間と判断された場合、異常通知部42によって、その旨が管理者に対して通知される。 If it is determined that the human, the abnormality notification section 42, is notified to the administrator.
【0130】 [0130]
異常判断用データ保持部40は、異常判定部30が抽出されたオブジェクトが注意すべき対象か否かを比較して判断するデータを保持する。 Abnormality judgment data holding unit 40 holds the data for determining the abnormality judging section 30 is extracted object is compared whether the target or not noted.
【0131】 [0131]
選定制御部32は、異常監視部22における異常判定に関する結果を後述のキーフレーム選定部52に通知する。 Selection control unit 32 notifies the results for the abnormality determination by the abnormality monitoring unit 22 to the key frame selection unit 52 described later.
【0132】 [0132]
画像記録ブロック50は、監視対象領域の画像を記録する。 Image recording block 50 records the image of the monitored area. 画像記録ブロック50はさらに、キーフレーム選定部52、記録用マッチングプロセッサ54、対応点情報保持部56、中間フレーム生成部58、差分演算部60、データ記録部62、および記録メディア64を備える。 Image recording block 50 further comprises a key frame selection unit 52, recording matching processor 54, the corresponding point information memory 56, the intermediate frame generation unit 58, difference calculation unit 60, the data recording unit 62, and the recording medium 64.
【0133】 [0133]
キーフレーム選定部52は、選定制御部32から異常発生に関する通知を受けて、キーフレームの選定間隔を制御する。 Keyframe selection unit 52 receives a notification about occurrence of abnormality from the selection control unit 32 controls the selection interval of key frames.
【0134】 [0134]
記録用マッチングプロセッサ54は、キーフレーム間およびその間に存在する画像のマッチング処理を行い、対応点情報を算出し、対応点情報保持部56に保持する。 Recording matching processor 54 performs a matching process of an image which exists between keyframes and during calculates the corresponding point information, held in the corresponding point information memory 56.
【0135】 [0135]
中間フレーム生成部58は、その対応点情報とキーフレームをもとに中間フレームを生成する。 Intermediate frame generation unit 58 generates the intermediate frame based on the corresponding point information and keyframes. 生成される中間フレームは、本来キーフレーム間に存在する画像と同数である。 Intermediate frames generated is equal to the image that exist between the original keyframes. つまり、キーフレーム間に本来10枚の画像があれば、生成される中間フレームも10枚である。 That is, if the original 10 images between the key frames, intermediate frames generated is also ten.
【0136】 [0136]
差分演算部60は、生成された中間フレームとそれに対応し本来キーフレーム間に存在する画像との差分を算出する。 Difference calculation section 60 corresponds the generated intermediate frame it calculates the difference between the image that exists between the original keyframes.
【0137】 [0137]
データ記録部62は、算出した差分と、対応点情報とを対応情報ファイルとして生成する。 Data recording unit 62 generates the calculated difference, and a corresponding point information as the reference information file. 生成された対応情報ファイルはキーフレームと関連付けられて記録メディア64に記録される。 The generated reference information file is recorded on the recording medium 64 associated with the key frames. 記録メディア64として、DVD(Digital Versatile Disc)などの光ディスク媒体やDV(Digital Video)などの磁気テープ記録媒体がある。 As the recording medium 64, a magnetic tape recording medium a DVD (Digital Versatile Disc) optical disc media such or DV (Digital Video).
【0138】 [0138]
表示装置12には、キーフレーム選定部52で選定されたキーフレームのみが表示されてもよいし、撮影部14で取得した画像がすべて表示されてもよい。 The display device 12, only the key frames selected keyframe selection unit 52 may be displayed, the image acquired by the imaging unit 14 may be displayed.
【0139】 [0139]
以上の構成による、監視装置10の動作を説明する。 Structured as above, operation of the monitoring device 10. まず異常監視部22における異常判定の手順を図27に示すフローチャートをもとに説明する。 First abnormality of the abnormality determination in the monitoring unit 22 procedure will be described with reference to a flowchart shown in FIG. 27.
【0140】 [0140]
領域分割部24は、撮影部14で取得した画像を複数の領域に分割する(S10)。 Region dividing unit 24 divides the image obtained by the imaging unit 14 into a plurality of regions (S10). 異常推定部26は、分割した領域それぞれで変化の有無を評価し、更に領域ごとに重み付けをした上で、画像全体での変化の有無を推定する(S12)。 Abnormality estimating unit 26 evaluates the presence or absence of a change in each divided area, further on in which the weighting for each area, and estimates the presence or absence of a change in the entire image (S12). 変化があると推定された場合(S12のY)、オブジェクト抽出部28が、基準画像と比較し、特徴的と思われるオブジェクトを抽出する(S14)。 If a change is estimated to be (S12 of Y), the object extraction unit 28 compares the reference image, and extracts the object you think that the characteristic (S14). 異常判定部30は、抽出されたオブジェクトと異常判断用データ保持部40にあらかじめ保持されるデータと比較し、抽出されたオブジェクトが人であるかを判断し(S16)、抽出されたオブジェクトが人であり、異常が発生したと判断された場合は(S18のY)、異常が発生した旨を選定制御部32に対して通知する(S20)。 Abnormality determination unit 30 compares the data previously held in the extracted object abnormality judgment data holding unit 40, the extracted object is to determine whether a person (S16), the extracted object is a human , and the case where abnormality is judged to have occurred (S18 of Y), the abnormality is notified to the selection control unit 32 that it has occurred (S20). 人でないと判断された場合は(S18のN)、異常がなかった旨が選定制御部32に対し通知され、キーフレームの取得間隔が決定する(S22)。 If it is determined not to be a human (S18 of N), indicating the abnormality was not is notified to the selection control unit 32, acquires key frame interval is determined (S22).
【0141】 [0141]
選定制御部32は、受けた通知をもとにキーフレームの取得間隔を決定し、キーフレーム選定部52に通知する(S22)。 Selection control unit 32, notification received to determine the acquisition interval of the key frames based on, and notifies the key frame selection unit 52 (S22). 変化がない場合(S12のN)、その旨が選定制御部32に通知され、キーフレームの取得間隔が決定する(S22)。 If there is no change (S12 of N), the fact is notified to the selection control unit 32, acquires key frame interval is determined (S22). つづいて、監視が継続される場合(S24のN)、S10に示した処理に戻り一連の処理が繰り返される。 Then, if the monitoring is continued (S24 of N), a series of processes returns to the processing shown to S10 are repeated. 監視が終了される場合(S24のY)、異常判定の処理は終了する。 If the monitoring is ended (S24 of Y), the processing of abnormality determination is completed.
【0142】 [0142]
つぎに、図28に示すフローチャートをもとに、監視対象領域の記録手順について説明する。 Next, based on the flowchart shown in FIG. 28, a description will be given of a recording procedure of the monitored area. 選定制御部32によりキーフレームの取得間隔が通知されると、それにしたがってキーフレーム選定部52は撮影された画像からキーフレームを選定し取得する(S50)。 When acquisition interval keyframe by selecting the control unit 32 is notified accordingly keyframe selection unit 52 selects key frames from the photographed images acquired (S50). つづいて、連続するキーフレーム間のマッチングを計算し(S52)、そのマッチングをもとに対応点情報を算出する(S54)。 Then, compute the matching between key frames successive (S52), it calculates a corresponding point information based on the matching (S54).
【0143】 [0143]
つぎに、中間フレーム生成部58は、キーフレームと対応点情報をもとに中間フレームを生成する(S56)。 Then, the intermediate frame generation unit 58 generates the intermediate frame based on the corresponding point information as a key frame (S56). 差分演算部60は、生成された中間フレームと、キーフレーム間に本来存在する画像との間の差分を算出する(S58)。 Difference calculation unit 60 calculates an intermediate frame generated, the difference between the image to be originally present in between keyframes (S58). データ記録部62において、算出された差分と対応点情報が対応情報ファイルとして生成され(S60)、対応情報ファイルがキーフレームとともに記録メディア64に記録される(S62)。 In the data recording unit 62, the corresponding point information and the calculated difference is generated as reference information file (S60), reference information file is recorded on the recording medium 64 with a key frame (S62).
【0144】 [0144]
以上、本発明を実施の形態をもとに説明した。 The present invention has been described based on the embodiments. この実施の形態は例示であり、それら各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲であることは当業者に理解されるところである。 This embodiment is exemplary, is a it is understood by those skilled in the art that it capable of various modifications to the combination of their respective components and processes, such modifications are also within the scope of the invention .
【0145】 [0145]
【発明の効果】 【Effect of the invention】
以上、本発明によれば、キーフレームと対応点情報を利用することで、画像として記録する際に必要とされる記憶容量を少なくでき、記録時間を長くすることが期待される。 As described above, according to the present invention, by using the corresponding point information as a key frame, can reduce the storage capacity required at the time of recording an image, it is expected to increase the recording time. また別の観点では、記録が必要とされるタイミングで画像の空間解像度や時間解像度をあげつつ、記録工程全体では記憶容量の増加を抑えることが期待される。 In another aspect, while raising the record required spatial resolution and time resolution of the image at a timing that is, in the entire recording process is expected to suppress an increase in storage capacity. また、別の観点では、異常発生の誤判定を抑えることができる。 Further, in another aspect, it is possible to suppress erroneous determination of occurrence of abnormality.
【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS
【図1】 図1(a)とは図1(b)は、ふたりの人物の顔に平均化フィルタを施して得られる画像、図1(c)と図1(d)は、ふたりの人物の顔に関して前提技術で求められるp (5,0)の画像、図1(e)と図1(f)は、ふたりの人物の顔に関して前提技術で求められるp (5,1)の画像、図1(g)と図1(h)は、ふたりの人物の顔に関して前提技術で求められるp (5,2)の画像、図1(i)と図1(j)は、ふたりの人物の顔に関して前提技術で求められるp (5,3)の画像をそれぞれディスプレイ上に表示した中間調画像の写真である。 [FIG. 1 (a) and FIG. 1 (b), an image obtained by performing averaging filter to the face of Futari person, FIG. 1 (c) and FIG. 1 (d) Futari person images of p sought base technology with respect to the face (5,0), the image shown in FIG. 1 (e) and and 1 (f) show the subimages, p sought base technology with respect to the face of Futari person (5,1), Figure 1 (g) and FIG. 1 (h), the image of p (5,2) obtained in the base technology with respect to the face of Futari person, FIG. 1 (i) and FIG. 1 (j) is Futari person the image of p (5,3), which is determined by the base technology each is a photograph of a halftone image displayed on the display with respect to the face.
【図2】 図2(R)はもとの四辺形を示す図、図2(A)、図2(B)、図2(C)、図2(D)、図2(E)はそれぞれ相続四辺形を示す図である。 It shows the Figure 2 Figure 2 (R) under the quadrilateral, FIG. 2 (A), the FIG. 2 (B), the FIG. 2 (C), the FIG. 2 (D), the 2 (E), respectively is a diagram illustrating an inherited quadrilateral.
【図3】 始点画像と終点画像の関係、および第mレベルと第m−1レベルの関係を相続四辺形を用いて示す図である。 [Figure 3] relation source and destination images, and is a diagram showing the m-th level and the (m-1) th level relationship with inherited quadrilateral.
【図4】 パラメータηとエネルギーC の関係を示す図である。 4 is a diagram showing the relationship between the parameters η and energy C f.
【図5】 図5(a)、図5(b)は、ある点に関する写像が全単射条件を満たすか否かを外積計算から求める様子を示す図である。 [5] FIG. 5 (a), and FIG. 5 (b) is a diagram showing how to obtain the mapping with respect to a point whether bijections satisfying the outer product.
【図6】 前提技術の全体手順を示すフローチャートである。 6 is a flowchart of the entire procedure of the base technology.
【図7】 図6のS1の詳細を示すフローチャートである。 7 is a flowchart illustrating S1 of a detail of FIG.
【図8】 図7のS10の詳細を示すフローチャートである。 8 is a flow chart showing S10 in detail in FIG.
【図9】 第mレベルの画像の一部と、第m−1レベルの画像の一部の対応関係を示す図である。 [9] and a part of the m-th level of the image is a diagram showing a part of correspondence between the (m-1) levels in the image.
【図10】 前提技術で生成された始点階層画像を示す図である。 10 is a diagram showing the source hierarchical images generated by the base technology.
【図11】 図6のS2に進む前に、マッチング評価の準備の手順を示す図である。 Before proceeding to S2 of FIG. 11 FIG. 6 is a diagram illustrating a procedure of a matching evaluation is prepared.
【図12】 図6のS2の詳細を示すフローチャートである。 12 is a flowchart illustrating S2 of a detail of FIG.
【図13】 第0レベルにおいて副写像を決定する様子を示す図である。 13 is a diagram showing how the submapping is determined at the 0 level.
【図14】 第1レベルにおいて副写像を決定する様子を示す図である。 14 is a diagram showing how the submapping is determined at the first level.
【図15】 図12のS21の詳細を示すフローチャートである。 15 is a flow chart showing S21 in detail in Figure 12.
【図16】 あるf (m,s)についてλを変えながら求められたf (m,s) (λ=iΔλ)に対応するエネルギーC (m,s) の挙動を示す図である。 16 is a diagram illustrating certain f (m, s) f obtained while changing the lambda for (m, s) the behavior of the corresponding energy C (m, s) f in (λ = iΔλ).
【図17】 ηを変えながら求められたf (n) (η=iΔη)(i=0,1,…)に対応するエネルギーC (n) の挙動を示す図である。 17 is a diagram showing the behavior of the energy C (n) f corresponding to f obtained while changing the η (n) (η = iΔη ) (i = 0,1, ...).
【図18】 改良後の前提技術において第mレベルにおける副写像を求めるフローチャートである。 18 is a flowchart for obtaining the submapping in the m-th level in the base technology of the improved.
【図19】 監視対象領域において、2人の人間が撮影された画像を示す図である。 [19] In the monitored region is a diagram showing an image two people were taken.
【図20】 監視対象領域において、木の葉が撮影された画像を示す図である。 [20] In the monitored region is a diagram showing an image leaves was taken.
【図21】 監視対象領域における異常発生の有無を判断する際に利用する基準画像を示す図である。 21 is a diagram showing a reference image for use in determining the presence or absence of abnormality in the monitored area.
【図22】 撮影された画像から、画像下部に人間が抽出された状態を示す図である。 [Figure 22] from the photographed image is a diagram showing a state where a human is extracted in the image below.
【図23】 撮影された画像から木の葉が抽出された状態を示す図である。 23 is a diagram showing a state where the leaves is extracted from the captured image.
【図24】 撮影された画像から、画像左上に人間が抽出された状態を示す図である。 From FIG. 24 captured image, showing a state in which a human is extracted in the image top left.
【図25】 画像が9分割された状態を示す図である。 25 is a diagram showing a state in which the image is divided into nine parts.
【図26】 実施の形態に係る監視装置の構成を示すブロック図である。 FIG. 26 is a block diagram showing the configuration of a monitoring apparatus according to the embodiment.
【図27】 異常判定の処理手順を示すフローチャートである。 27 is a flowchart showing a processing procedure of abnormality determination.
【図28】 監視対象領域の記録の処理手順を示すフローチャートである。 28 is a flowchart showing the recording processing procedure of the monitored area.
【符号の説明】 DESCRIPTION OF SYMBOLS
10 監視装置、 12 表示装置、 14 撮影部、 16 撮影制御部、18 画像入力部、 20 異常判定ブロック、 22 異常監視部、 24領域分割部、 26 異常推定部、 28 オブジェクト抽出部、 30 異常判定部、 32 選定制御部、 34 比較用マッチングプロセッサ、 36基準画像保持部、 40 異常判断用データ保持部、 42 異常通知部、 50 画像記録ブロック、 52 キーフレーム選定部、 54 記録用マッチングプロセッサ、 56 対応点情報保持部、 58 中間フレーム生成部、 60 差分演算部、 62 データ記録部、 64 記録メディア。 10 monitoring device 12 display device, 14 imaging unit, 16 imaging control unit, 18 image input unit, 20 an abnormality determination block 22 the abnormality monitoring unit, 24 region division unit, 26 abnormality estimating unit, 28 an object extraction unit, 30 abnormality determination parts, 32 selection control section, 34 for comparison matching processor 36 the reference image holding unit, 40 abnormality judgment data holding unit, 42 abnormality notification unit, 50 image recording block, 52 a key frame selection unit, 54 recording matching processor 56 corresponding point information memory, 58 an intermediate frame generation unit, 60 difference calculation unit, 62 a data recording unit, 64 recording medium.

Claims (6)

  1. 監視対象領域の画像を取得する画像取得部と、 An image acquisition unit that acquires an image of the monitored area,
    取得した画像から、 動画圧縮のためのマッチング処理の対象とすべき画像をキーフレームとして選定するキーフレーム選定部と、 From the obtained image, a key frame selection unit for selecting an image to be subjected to the matching process for the moving picture compression as a key frame,
    前記取得した画像を複数の領域に分割する領域分割部と、 A region dividing unit for dividing the acquired image into a plurality of regions,
    前記監視対象領域の異常の有無を判断する際の基準画像と前記取得した画像とを、前記複数の領域ごとに比較して領域ごとの変化の有無を評価し、領域ごとに重み付けをして画像全体での異常の有無を判断する異常判定部と、 Wherein the image and reference image said acquired in determining the presence or absence of an abnormality in the monitored area, compared to each of the plurality of regions to assess the presence or absence of a change in each area, an image by weighting for each area an abnormality determination unit that determines whether the total of the abnormality,
    前記異常判定部において、異常があると判断された際に、前記キーフレーム選定部で選定する画像の時間解像度を上げる時間解像度制御部と、 In the abnormality determining unit, when it is determined that there is an abnormality, time and time resolution control unit to increase the resolution of the image to be selected by the key frame selection unit,
    を有することを特徴とする監視装置。 Monitoring apparatus characterized by having a.
  2. 前記時間解像度制御部は、さらに前記異常判定部において異常なしと判断される期間が長くなるにしたがって、前記キーフレーム選定部で選定されるキーフレームの時間解像度を下げることを特徴とする請求項1に記載の監視装置。 The time resolution control unit according to claim 1, further wherein according abnormality duration is determined that there is no abnormality in the determination unit becomes long, and wherein the lowering the time resolution of the keyframes selected in the key frame selection unit a monitoring device as claimed in.
  3. 前記キーフレーム選定部により選定された連続する2枚のキーフレーム間のマッチングを計算し、対応点情報を出力する記録用マッチングプロセッサと、 And recording matching processor matching between two key frames consecutive which is selected by the key frame selection unit calculates and outputs a corresponding point information,
    計算されたマッチングをもとに、中間フレームを2枚のキーフレームの補間により生成する中間フレーム生成部と、 Based computed matching, an intermediate frame generating unit to the intermediate frame generated by interpolation of the two key frames,
    前記キーフレーム間に本来存在する画像と、前記中間フレームとの差分を計算し保持する差分取得部と、 An image originally present between the key frames, a difference obtaining unit for holding calculates a difference between the intermediate frame,
    動画再生時に復号することを目的として、前記キーフレームと、前記対応点情報と、前記差分を互いに関連づけて記録する対応情報記録部と、 For the purpose of decoding the video play, and the key frame, and the corresponding point information, and the correspondence information recording unit for recording in association with the difference from each other,
    をさらに有することを特徴とする請求項1または2に記載の監視装置。 Monitoring device according to claim 1 or 2, characterized in that it further comprises a.
  4. 前記異常判定部は異常可能性を複数の評価結果で示し、 The abnormality determining unit indicates an abnormal potential at a plurality of evaluation results,
    その評価結果に基づき前記取得するキーフレームの時間解像度を可変に設定する解像度制御部をさらに有することを特徴とする請求項1からのいずれかに記載の監視装置。 A monitoring device as claimed in any one of claims 1 to 3, characterized by further comprising a resolution control unit for setting the time resolution of the keyframes that the acquisition on the basis of the evaluation result variable.
  5. 監視対象領域の画像を取得する工程と、 A step of acquiring an image of the monitored area,
    取得した画像から所定の時間間隔で、動画圧縮のためのマッチング処理の対象とすべき画像をキーフレームとして取得し記録する工程と、 In acquired from the image of the predetermined time interval, a step of acquiring an image to be subjected to the matching process for the moving picture compression as keyframes recording,
    前記取得した画像を複数の領域に分割する工程と、 A step of dividing the acquired image into a plurality of regions,
    前記監視対象領域の異常の有無を判断する際の基準画像と前記取得した画像とを、前記複数の領域ごとに比較して領域ごとの変化の有無を評価し、領域ごとに重み付けをして画像全体での異常の有無を判断する工程と、 Wherein the image and reference image said acquired in determining the presence or absence of an abnormality in the monitored area, compared to each of the plurality of regions to assess the presence or absence of a change in each area, an image by weighting for each area a step of determining whether a total of the abnormality,
    前記異常の有無に関する判定に応じて、前記キーフレームの時間解像度を可変に設定する工程と、 Depending on the determination as to the presence or absence of the abnormality, and setting variably the time resolution of the key frames,
    を有することを特徴とする監視方法。 Monitoring method characterized by having a.
  6. 監視対象領域の画像を取得する画像取得部と、 An image acquisition unit that acquires an image of the monitored area,
    取得した画像から、保存用画像を選定する保存画像選定部と、 From the obtained image, and saving the image selecting unit to select a storage image,
    前記取得した画像を複数の領域に分割する領域分割部と、 A region dividing unit for dividing the acquired image into a plurality of regions,
    前記監視対象領域の異常の有無を判断する際の基準画像と前記取得した画像とを、前記複数の領域ごとに比較して領域ごとの変化の有無を評価し、領域ごとに重み付けをして画像全体での異常の有無を判断する異常判定部と、 Wherein the image and reference image said acquired in determining the presence or absence of an abnormality in the monitored area, compared to each of the plurality of regions to assess the presence or absence of a change in each area, an image by weighting for each area an abnormality determination unit that determines whether the total of the abnormality,
    前記異常判定部において、異常があると判断された際に、前記保存画像選定部で選定する画像の時間解像度を上げる時間解像度制御部と、 In the abnormality determining unit, when it is determined that there is an abnormality, time and time resolution control unit to increase the resolution of the image to be selected by the storage image selecting unit,
    を有することを特徴とする監視装置。 Monitoring apparatus characterized by having a.
JP2002176386A 2002-06-17 2002-06-17 Monitoring device, and monitoring method Expired - Fee Related JP4023727B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002176386A JP4023727B2 (en) 2002-06-17 2002-06-17 Monitoring device, and monitoring method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002176386A JP4023727B2 (en) 2002-06-17 2002-06-17 Monitoring device, and monitoring method

Publications (2)

Publication Number Publication Date
JP2004023487A true JP2004023487A (en) 2004-01-22
JP4023727B2 true JP4023727B2 (en) 2007-12-19

Family

ID=31174738

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002176386A Expired - Fee Related JP4023727B2 (en) 2002-06-17 2002-06-17 Monitoring device, and monitoring method

Country Status (1)

Country Link
JP (1) JP4023727B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9892606B2 (en) 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
US8711217B2 (en) 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives

Also Published As

Publication number Publication date Type
JP2004023487A (en) 2004-01-22 application

Similar Documents

Publication Publication Date Title
US20040090523A1 (en) Image processing apparatus and method and image pickup apparatus
US20080317357A1 (en) Method of gathering visual meta data using a reference image
US7856055B2 (en) Systems and methods for digitally re-mastering or otherwise modifying motion pictures or other image sequences data
US20040086193A1 (en) Video image synthesis method, video image synthesizer, image processing method, image processor, and programs for executing the synthesis method and processing method
US6809758B1 (en) Automated stabilization method for digital image sequences
US20090273685A1 (en) Foreground/Background Segmentation in Digital Images
EP1418766A2 (en) Method and apparatus for processing images
US6819796B2 (en) Method of and apparatus for segmenting a pixellated image
US20030053692A1 (en) Method of and apparatus for segmenting a pixellated image
US20090021602A1 (en) Auto white balance correction value calculation device, method, program, and image pickup device
US6018592A (en) Multiresolutional critical point filter and image matching using the same
US20110305388A1 (en) Image processing method, and image processing device
US20100271494A1 (en) Motion vector detection apparatus, motion vector detection method, and image capturing apparatus
US20100033579A1 (en) Image Shooting Device And Image Playback Device
US7899208B2 (en) Image processing device and method, recording medium, and program for tracking a desired point in a moving image
JP2005354124A (en) Production of high pixel density image from a plurality of low pixel density images
JP2010016743A (en) Distance measuring apparatus, distance measuring method, distance measuring program, or imaging device
US7734098B2 (en) Face detecting apparatus and method
US7162101B2 (en) Image processing apparatus and method
US20100157107A1 (en) Image Apparatus And Electronic Apparatus
US20080278633A1 (en) Image processing method and image processing apparatus
US20090167909A1 (en) Image generation apparatus and image generation method
JP2001309225A (en) Camera for detecting face and its method
WO2001020912A1 (en) Method and device for identifying block artifacts in digital video pictures
US20050213840A1 (en) Method for image stabilization by adaptive filtering

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050527

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070702

A131 Notification of reasons for refusal

Effective date: 20070710

Free format text: JAPANESE INTERMEDIATE CODE: A131

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070925

A61 First payment of annual fees (during grant procedure)

Effective date: 20070928

Free format text: JAPANESE INTERMEDIATE CODE: A61

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101012

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 3

Free format text: PAYMENT UNTIL: 20101012

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101012

Year of fee payment: 3

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 3

Free format text: PAYMENT UNTIL: 20101012

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101012

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 4

Free format text: PAYMENT UNTIL: 20111012

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121012

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 6

Free format text: PAYMENT UNTIL: 20131012

LAPS Cancellation because of no payment of annual fees