JP3384764B2 - Image corresponding area extracting method, image synthesizing method, image synthesizing apparatus, computer-readable recording medium storing image synthesizing program - Google Patents
Image corresponding area extracting method, image synthesizing method, image synthesizing apparatus, computer-readable recording medium storing image synthesizing programInfo
- Publication number
- JP3384764B2 JP3384764B2 JP02903499A JP2903499A JP3384764B2 JP 3384764 B2 JP3384764 B2 JP 3384764B2 JP 02903499 A JP02903499 A JP 02903499A JP 2903499 A JP2903499 A JP 2903499A JP 3384764 B2 JP3384764 B2 JP 3384764B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- original
- images
- edges
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、画像の対応領域抽
出方法、画像合成方法、画像合成装置、画像合成プログ
ラムを記録したコンピュータ読み取り可能な記録媒体に
関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image corresponding area extracting method, an image synthesizing method, an image synthesizing apparatus, and a computer-readable recording medium recording an image synthesizing program.
【０００２】[0002]
【従来の技術】従来から複数の画像を貼り合わせて、視
野が広く解像度の高い画像を継目が目立たないように合
成する技術（イメージモザイキング）が活発に研究され
ている。古典的な応用には、航空写真、衛星写真の合成
がある。最近では、複数枚のデジタル画像から継目のな
いパノラマ画像を合成し、臨場感の高い仮想現実環境ほ
構築する手法が注目されている。2. Description of the Related Art Conventionally, a technique (image mosaicing) has been actively studied in which a plurality of images are pasted together and images having a wide field of view and high resolution are combined so that the seams are inconspicuous. Classic applications include aerial photography and satellite photography composition. Recently, a technique for synthesizing a seamless panoramic image from a plurality of digital images to construct a highly realistic virtual reality environment has attracted attention.
【０００３】パノラマ画像を合成する技術としては、カ
メラを移動させて複数枚の画像を予め撮像しておき、得
られた複数枚の画像のうち互いに対応する領域（対応領
域）を有する２枚をユーザが選択した後、その共通の領
域が重なるように２枚の画像を合成する種々の方法が提
案されている。As a technique for synthesizing a panoramic image, a camera is moved to capture a plurality of images in advance, and two images having mutually corresponding regions (corresponding regions) are obtained from the obtained plurality of images. Various methods have been proposed for synthesizing two images so that the common area overlaps after the selection by the user.
【０００４】そして、この２枚の画像における共通の領
域をコンピュータ等を用いて自動的に抽出する方法とし
て、一般にＳＳＤ法（Sum of Square Difference)とい
う手法が用いられている。As a method of automatically extracting the common area between the two images using a computer or the like, a method called SSD (Sum of Square Difference) is generally used.
【０００５】このＳＳＤ法は、まず、ユーザによって指
定された２枚の画像をパソコン内のメモリに読み込んだ
後、２枚の画像それぞれについて、原画像もしくはそれ
より解像度の低い画像Ｊ１、Ｊ２を生成する。この２枚
の画像Ｊ１、Ｊ２の重なり領域ω（サイズ：Ｍ×Ｎ）
が、次式数１に示すように画素あたりの２乗誤差（Ｅ）
を用いて求められる。すなわち、画像間の移動量（ｄ）
を可能な範囲で変化させ、Ｅが最も小さくなる移動量
（ｄ）を求め、そのときの重なり領域ωを対応領域とし
て抽出する。According to the SSD method, first, two images designated by a user are read into a memory in a personal computer, and then, for each of the two images, an original image or images J1 and J2 having a lower resolution are generated. To do. Overlapping region ω (size: M × N) of these two images J1 and J2
Is the squared error per pixel (E) as shown in the following equation 1.
Is calculated using. That is, the amount of movement between images (d)
Is varied within a possible range to obtain the movement amount (d) that minimizes E, and the overlapping region ω at that time is extracted as the corresponding region.
【０００６】[0006]
【数１】 [Equation 1]
【０００７】[0007]
【発明が解決しようとする課題】しかしながら、ＳＳＤ
法では、原画像もしくはそれより解像度の低い画像を用
いているため、ユーザが指定した２枚の画像について、
撮影時における天候や照明等の変化により全体的な明る
さ（輝度レベル）が変化した場合には、この輝度レベル
の変化による影響を受けて、精度よく対応領域を抽出す
ることができない虞がある。However, the SSD
In the method, since the original image or an image with a lower resolution is used, two images specified by the user are
If the overall brightness (luminance level) changes due to changes in weather, lighting, etc. during shooting, there is a possibility that the corresponding area may not be extracted accurately due to the influence of this change in luminance level. .
【０００８】また、海や空などエッジの少ない領域で
は、対応領域が一致していなくてもＳＳＤの計算結果が
が低くなり、対応領域の抽出を誤ってしまう虞がある。Further, in a region with few edges such as the sea or the sky, even if the corresponding regions do not match, the SSD calculation result becomes low, and there is a possibility that the corresponding region may be erroneously extracted.
【０００９】そこで、本発明は、輝度レベルの変化やエ
ッジの少ない領域の存在に影響されることなく２枚の画
像の対応領域を精度よく抽出することができる画像の対
応領域抽出方法、その対応領域抽出方法を用いて画像を
合成する画像合成方法、画像合成装置、画像合成プログ
ラムを記録した記録媒体を提供することを目的とする。Therefore, the present invention is a method of extracting corresponding areas of an image, which can accurately extract corresponding areas of two images without being affected by a change in brightness level and the presence of areas having few edges. An object of the present invention is to provide an image synthesizing method for synthesizing images using an area extraction method, an image synthesizing device, and a recording medium having an image synthesizing program recorded therein.
【００１０】[0010]
【課題を解決するための手段】本発明の画像の対応領域
抽出方法は、２枚の原画像それぞれを２次微分した２次
微分画像を求め、その２次微分画像に基づいて原画像間
の対応領域を抽出するものである。原画像を２次微分し
た２次微分画像は、各原画像における画素値の変化が強
調されたものであり、輝度レベルの影響が取り除かれ
る。According to the method for extracting corresponding regions of an image of the present invention, a two-dimensional differential image is obtained by second-order differentiating each of two original images, and based on the second differential image, the original image between the original images is calculated. The corresponding area is extracted. The second-order differential image obtained by second-order differentiating the original image emphasizes the change in the pixel value in each original image, and the influence of the brightness level is removed.
【００１１】また、本発明の画像の対応領域抽出方法
は、２次微分画像間の重なり領域を変化させながら、重
なり領域における少なくとも一方の２次微分画像のエッ
ジ数を算出するとともに、重なり領域における２次微分
画像間の誤差に基づいて誤差マップを求め、エッジ数と
誤差マップとに基づいて原画像間の対応領域を抽出する
ものである。Further, the image corresponding area extraction method of the present invention calculates the number of edges of at least one secondary differential image in the overlapping area while changing the overlapping area between the secondary differential images, and at the same time, in the overlapping area. An error map is obtained based on the error between the secondary differential images, and the corresponding area between the original images is extracted based on the number of edges and the error map.
【００１２】具体的には、エッジ数が所定値以上であ
り、且つ、誤差マップが最小値をとる重なり領域を抽出
し、その重なり領域に対応する各原画像の領域を原画像
間の対応領域として抽出するものである。これにより、
所定値よりエッジ数の少ない重なり領域が対応領域とし
て抽出されず、所定値よりエッジ数の多い重なり領域の
中から最も誤差の少ない重なり領域が対応領域として抽
出される。Specifically, the overlapping area in which the number of edges is a predetermined value or more and the error map has the minimum value is extracted, and the area of each original image corresponding to the overlapping area is determined as the corresponding area between the original images. Is to be extracted as. This allows
Overlapping areas with a smaller number of edges than a predetermined value are not extracted as corresponding areas, and overlapping areas with a smallest error are extracted as corresponding areas from overlapping areas with a larger number of edges than a predetermined value.
【００１３】また、具体的には、エッジ数が所定値以上
であり、且つ、誤差マップが極小値をとり、且つ、誤差
マップの極小値における２次微分値が最大となる２次微
分画像の重なり領域を抽出し、その重なり領域に対応す
る各原画像の領域を原画像間の対応領域として抽出する
ものである。これにより、通常、複数存在する誤差マッ
プの極小値の中から、その前後において最も大きく誤差
が変化する重なり領域が対応領域として抽出される。Further, specifically, in the secondary differential image in which the number of edges is equal to or larger than a predetermined value, the error map has a minimum value, and the secondary differential value at the minimum value of the error map is maximum. The overlapping area is extracted, and the area of each original image corresponding to the overlapping area is extracted as the corresponding area between the original images. As a result, usually, from the plurality of minimum values of the error map, the overlapping area in which the error changes the most before and after the minimum value is extracted as the corresponding area.
【００１４】また、具体的には、エッジ数が原画像内に
ある全エッジ数に対して所定の割合以上であり、且つ、
誤差マップが最小値をとる重なり領域を抽出し、その重
なり領域に対応する各原画像の領域を原画像間の対応領
域として抽出するものである。これにより、原画像に対
して所定の割合よりエッジ数の少ない重なり領域が対応
領域として抽出されず、所定の割合よりエッジ数の多い
重なり領域の中から最も誤差の少ない重なり領域が対応
領域として抽出される。More specifically, the number of edges is equal to or more than a predetermined ratio with respect to the total number of edges in the original image, and
The overlapping area where the error map takes the minimum value is extracted, and the area of each original image corresponding to the overlapping area is extracted as the corresponding area between the original images. As a result, an overlapping area having a smaller number of edges than the predetermined ratio is not extracted as a corresponding area from the original image, and an overlapping area having the smallest error is extracted as a corresponding area from the overlapping areas having a larger number of edges than the predetermined ratio. To be done.
【００１５】また、具体的には、エッジ数が原画像内に
ある全エッジ数に対して所定の割合以上であり、且つ、
誤差マップの極小値における２次微分値が最大となる２
次微分画像の重なり領域を抽出し、その重なり領域に対
応する各原画像の領域を原画像間の対応領域として抽出
するものである。これにより、通常、複数存在する誤差
マップの極小値の中から、その前後において最も大きく
誤差が変化する重なり領域が対応領域として抽出され
る。More specifically, the number of edges is equal to or more than a predetermined ratio with respect to the total number of edges in the original image, and
The maximum of the second derivative value at the minimum value of the error map 2
The overlapping area of the next differential image is extracted, and the area of each original image corresponding to the overlapping area is extracted as the corresponding area between the original images. As a result, usually, from the plurality of minimum values of the error map, the overlapping area in which the error changes the most before and after the minimum value is extracted as the corresponding area.
【００１６】本発明の画像合成方法は、第１原画像と第
２原画像それぞれを２次微分した２次微分画像を求め、
その２次微分画像に基づいて原画像間の対応領域を抽出
する第１ステップ、その対応領域における両原画像間の
関係式を算出する第２ステップ、その関係式に基づいて
第１原画像または第２原画像を変換して両原画像を合成
する第３ステップを備えたものである。The image synthesizing method of the present invention obtains a quadratic differential image by quadratic differentiating each of the first original image and the second original image,
A first step of extracting a corresponding area between the original images based on the second differential image, a second step of calculating a relational expression between both original images in the corresponding area, a first original image based on the relational expression, It is provided with a third step of converting the second original image and combining the two original images.
【００１７】第１ステップは、各原画像を２次微分した
２次微分画像を算出するステップ、両２次微分画像間の
重なり領域を変化させながら、重なり領域における少な
くとも一方の２次微分画像のエッジ数を算出するととも
に、重なり領域における両２次微分画像間の誤差に基づ
いて誤差マップを求めるステップ、エッジ数と誤差マッ
プとに基づいて両原画像間の対応領域を抽出するステッ
プを備えたものである。The first step is a step of calculating a quadratic differential image by quadratic differentiating each original image, and changing at least one quadratic differential image in the overlapping region while changing the overlapping region between the quadratic differential images. The method includes a step of calculating the number of edges, a step of obtaining an error map based on an error between both secondary differential images in the overlapping area, and a step of extracting a corresponding area between both original images based on the number of edges and the error map. It is a thing.
【００１８】具体的には、エッジ数が所定値以上であ
り、且つ、誤差マップが最小値をとる重なり領域を抽出
し、その重なり領域に対応する原画像の領域を原画像間
の対応領域として抽出するものである。Specifically, an overlapping area in which the number of edges is a predetermined value or more and the error map has the minimum value is extracted, and the area of the original image corresponding to the overlapping area is set as the corresponding area between the original images. To extract.
【００１９】また、具体的には、エッジ数が所定値以上
であり、且つ、誤差マップが極小値をとり、且つ、誤差
マップの極小値における２次微分値が最大となる２次微
分画像の重なり領域を抽出し、その重なり領域に対応す
る各原画像の領域を原画像間の対応領域として抽出する
ものである。More specifically, in the secondary differential image in which the number of edges is equal to or larger than a predetermined value, the error map has a minimum value, and the secondary differential value at the minimum value of the error map is maximum. The overlapping area is extracted, and the area of each original image corresponding to the overlapping area is extracted as the corresponding area between the original images.
【００２０】また、具体的には、エッジ数が原画像内に
ある全エッジ数に対して所定の割合以上であり、且つ、
誤差マップが最小値をとる重なり領域を抽出し、その重
なり領域に対応する原画像の領域を原画像間の対応領域
として抽出するものである。More specifically, the number of edges is at least a predetermined ratio with respect to the total number of edges in the original image, and
The overlapping area where the error map takes the minimum value is extracted, and the area of the original image corresponding to the overlapping area is extracted as the corresponding area between the original images.
【００２１】また、具体的には、エッジ数が原画像内に
ある全エッジ数に対して所定の割合以上であり、誤差マ
ップが極小値をとり、且つ、誤差マップの極小値におけ
る２次微分値が最大となる２次微分画像の重なり領域を
抽出し、その重なり領域に対応する各原画像の領域を原
画像間の対応領域として抽出するものである。More specifically, the number of edges is a predetermined ratio or more with respect to the total number of edges in the original image, the error map has a minimum value, and the second derivative at the minimum value of the error map. The overlapping area of the secondary differential image having the maximum value is extracted, and the area of each original image corresponding to the overlapping area is extracted as the corresponding area between the original images.
【００２２】本発明の画像合成装置は、第１原画像と第
２原画像それぞれを２次微分した２次微分画像を求め、
その２次微分画像に基づいて原画像間の対応領域を抽出
する第１手段、その対応領域における両原画像間の関係
式を算出する第２手段、その関係式に基づいて第１原画
像または第２原画像を変換して両原画像を合成する第３
手段を備えたものである。The image synthesizing apparatus of the present invention obtains a quadratic differential image by quadratic differentiating each of the first original image and the second original image,
A first means for extracting a corresponding area between the original images based on the secondary differential image, a second means for calculating a relational expression between both original images in the corresponding area, a first original image based on the relational expression, or The second original image is converted and both original images are combined.
It is equipped with means.
【００２３】第１手段は、各原画像を２次微分した２次
微分画像を算出する手段、両２次微分画像間の重なり領
域を変化させながら、重なり領域における少なくとも一
方の２次微分画像のエッジ数を算出するとともに、重な
り領域における両２次微分画像間の誤差に基づいて誤差
マップを求める手段、エッジ数と誤差マップとに基づい
て両原画像間の対応領域を抽出する手段を備えたもので
ある。The first means is a means for calculating a quadratic differential image obtained by quadratic differentiating each original image, and changing at least one of the quadratic differential images in the overlapping area while changing the overlapping area between the two quadratic differential images. A means for calculating the number of edges, a means for obtaining an error map based on an error between both secondary differential images in the overlapping area, and a means for extracting a corresponding area between both original images based on the number of edges and the error map are provided. It is a thing.
【００２４】具体的には、エッジ数が所定値以上であ
り、且つ、誤差マップが最小値をとる重なり領域を抽出
し、その重なり領域に対応する原画像の領域を原画像間
の対応領域として抽出するものである。Specifically, an overlapping area in which the number of edges is a predetermined value or more and the error map has the minimum value is extracted, and the area of the original image corresponding to the overlapping area is set as the corresponding area between the original images. To extract.
【００２５】また、具体的には、エッジ数が所定値以上
であり、且つ、誤差マップが極小値をとり、且つ、誤差
マップの極小値における２次微分値が最大となる２次微
分画像の重なり領域を抽出し、その重なり領域に対応す
る各原画像の領域を原画像間の対応領域として抽出する
ものである。More specifically, in the secondary differential image in which the number of edges is equal to or larger than a predetermined value, the error map has a minimum value, and the secondary differential value at the minimum value of the error map is maximum. The overlapping area is extracted, and the area of each original image corresponding to the overlapping area is extracted as the corresponding area between the original images.
【００２６】また、具体的には、エッジ数が原画像内に
ある全エッジ数に対して所定の割合以上であり、且つ、
誤差マップが最小値をとる重なり領域を抽出し、その重
なり領域に対応する原画像の領域を原画像間の対応領域
として抽出するものである。More specifically, the number of edges is a predetermined ratio or more with respect to the total number of edges in the original image, and
The overlapping area where the error map takes the minimum value is extracted, and the area of the original image corresponding to the overlapping area is extracted as the corresponding area between the original images.
【００２７】また、具体的には、エッジ数が原画像内に
ある全エッジ数に対して所定の割合以上であり、且つ、
誤差マップが極小値をとり、且つ、誤差マップの極小値
における２次微分値が最大となる２次微分画像の重なり
領域を抽出し、その重なり領域に対応する各原画像の領
域を原画像間の対応領域として抽出するものである。More specifically, the number of edges is equal to or more than a predetermined ratio with respect to the total number of edges in the original image, and
The overlap area of the secondary differential image in which the error map has a minimum value and the secondary differential value at the minimum value of the error map is maximum is extracted, and the area of each original image corresponding to the overlap area is extracted between the original images. It is extracted as a corresponding area of.
【００２８】本発明の画像合成プログラムを記録したコ
ンピュータ読み取り可能な記録媒体は、第１原画像と第
２原画像それぞれを２次微分した２次微分画像を求め、
その２次微分画像に基づいて原画像間の対応領域を抽出
する第１ステップ、その対応領域における両原画像間の
関係式を算出する第２ステップ、その関係式に基づいて
第１原画像または第２原画像を変換して両原画像を合成
する第３ステップを備えた画像合成プログラムが記録さ
れている。A computer-readable recording medium in which the image synthesizing program of the present invention is recorded obtains a quadratic differential image obtained by quadratic differentiating each of the first original image and the second original image,
A first step of extracting a corresponding area between the original images based on the second differential image, a second step of calculating a relational expression between both original images in the corresponding area, a first original image based on the relational expression, An image composition program having a third step of converting the second original image and combining the two original images is recorded.
【００２９】第１ステップは、各原画像を２次微分した
２次微分画像を算出するステップ、両２次微分画像間の
重なり領域を変化させながら、重なり領域における少な
くとも一方の２次微分画像のエッジ数を算出するととも
に、重なり領域における両２次微分画像間の誤差に基づ
いて誤差マップを求めるステップ、エッジ数と誤差マッ
プとに基づいて両原画像間の対応領域を抽出するステッ
プを備えたものである。The first step is a step of calculating a quadratic differential image by quadratic differentiating each original image, and changing the overlapping region between both secondary differential images while at least one of the secondary differential images in the overlapping region. The method includes a step of calculating the number of edges, a step of obtaining an error map based on an error between both secondary differential images in the overlapping area, and a step of extracting a corresponding area between both original images based on the number of edges and the error map. It is a thing.
【００３０】具体的には、エッジ数が所定値以上であ
り、且つ、誤差マップが最小値をとる重なり領域を抽出
し、その重なり領域に対応する原画像の領域を原画像間
の対応領域として抽出するものである。Specifically, an overlapping area in which the number of edges is a predetermined value or more and the error map has the minimum value is extracted, and the area of the original image corresponding to the overlapping area is set as the corresponding area between the original images. To extract.
【００３１】また、具体的には、エッジ数が所定値以上
であり、且つ、誤差マップが極小値をとり、且つ、誤差
マップの極小値における２次微分値が最大となる２次微
分画像の重なり領域を抽出し、その重なり領域に対応す
る各原画像の領域を原画像間の対応領域として抽出する
ものである。Further, specifically, in the secondary differential image in which the number of edges is a predetermined value or more, the error map has a minimum value, and the secondary differential value at the minimum value of the error map is maximum. The overlapping area is extracted, and the area of each original image corresponding to the overlapping area is extracted as the corresponding area between the original images.
【００３２】また、具体的には、エッジ数が原画像内に
ある全エッジ数に対して所定の割合以上であり、且つ、
誤差マップが最小値をとる重なり領域を抽出し、その重
なり領域に対応する原画像の領域を原画像間の対応領域
として抽出するものである。More specifically, the number of edges is equal to or more than a predetermined ratio with respect to the total number of edges in the original image, and
The overlapping area where the error map takes the minimum value is extracted, and the area of the original image corresponding to the overlapping area is extracted as the corresponding area between the original images.
【００３３】また、具体的には、エッジ数が原画像内に
ある全エッジ数に対して所定の割合以上であり、且つ、
誤差マップが極小値をとり、且つ、誤差マップの極小値
における２次微分値が最大となる２次微分画像の重なり
領域を抽出し、その重なり領域に対応する各原画像の領
域を原画像間の対応領域として抽出するものである。More specifically, the number of edges is a predetermined ratio or more with respect to the total number of edges in the original image, and
The overlap area of the secondary differential image in which the error map has a minimum value and the secondary differential value at the minimum value of the error map is maximum is extracted, and the area of each original image corresponding to the overlap area is extracted between the original images. It is extracted as a corresponding area of.
【００３４】[0034]
【発明の実施の形態】以下、本発明の対応領域抽出方法
を用いた画像合成装置の一例を図面に沿って説明する。
尚、本実施の形態においては、本実施の形態における画
像合成に用いるオプティカルフロー推定方法を説明した
後、画像合成装置について説明を行なう。
〔１〕オプティカルフロー推定方法についての説明。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An example of an image synthesizing apparatus using the corresponding area extracting method of the present invention will be described below with reference to the drawings.
In the present embodiment, the optical flow estimation method used for image composition in the present embodiment will be described, and then the image composition apparatus will be described. [1] Description of optical flow estimation method.
【００３５】オプティカルフロー推定方法は、ピラミッ
ド階層型に数段回の解像度の異なる画像を作成して、オ
プティカルフローを段階的に計算する階層的推定を前提
とし、オプティカルフローの計算方法は、Lucas-Kanade
法等の勾配法を前提としている。つまり、階層構造化し
た勾配法によるオプティカルフロー推定法を前提として
いる。ここでは、勾配法としてLucas-Kanade法を用い
る。The optical flow estimation method is premised on a hierarchical estimation in which images having different resolutions of several stages are created in a pyramid hierarchical form and the optical flow is calculated stepwise. The optical flow calculation method is Lucas- Kanade
The gradient method such as the method is assumed. In other words, it is premised on the optical flow estimation method by the hierarchical gradient method. Here, the Lucas-Kanade method is used as the gradient method.
【００３６】また、オプティカルフロー推定方法におい
ては、階層構造化したLucas-Kanade法によるオプティカ
ルフロー推定法の各段階において得られたオプティカル
フローが、膨張処理によって補完される。以下、これに
ついて詳しく説明する。
Lucas-Kanade法
Lucas-Kanade法の詳細については、文献： B.Lucas and
T.Kanade,"An Iterative Image Registration Techniq
ue with an Application to Stereo Vision,"In Sevent
h International Joint Conference on Artificial Int
elligence(IJCAI-81), pp. 674-979, 1981を参照のこ
と。Further, in the optical flow estimation method, the optical flow obtained in each stage of the optical flow estimation method by the hierarchically structured Lucas-Kanade method is complemented by the dilation processing. Hereinafter, this will be described in detail. Lucas-Kanade method For more information on the Lucas-Kanade method, see: B. Lucas and
T. Kanade, "An Iterative Image Registration Techniq
ue with an Application to Stereo Vision, "In Sevent
h International Joint Conference on Artificial Int
See elligence (IJCAI-81), pp. 674-979, 1981.
【００３７】以下に、Lucas-Kanade法の概要を述べる。The outline of the Lucas-Kanade method will be described below.
【００３８】ある時刻t の画像座標P=(x,y) の濃淡パタ
ーンI(x,y,t)が、ある微小時間後(δt)に座標(x＋δx
，y ＋δy ）に、その濃淡分布を一定に保ったまま移
動した時、次のオプティカルフロー拘束式数２が成り立
つ。A grayscale pattern I (x, y, t) at an image coordinate P = (x, y) at a certain time t has a coordinate (x + δx) after a certain minute time (δt).
, Y + δy), the following optical flow constraint equation (2) holds when the density distribution is kept constant.
【００３９】[0039]
【数２】
２次元画像でオプティカルフロー｛v ＝( δx ／δt ，
δy ／δt ）＝(u,v)｝を計算するには、未知パラメー
タ数が２個であるので、もう一個拘束式が必要である。
LucasとKanade(金出) は、同一物体の局所領域では、同
一のオプティカルフローを持つと仮定した。[Equation 2] Optical flow {v = (δx / δt,
In order to calculate δy / δt) = (u, v)}, since there are two unknown parameters, another constraint equation is necessary.
Lucas and Kanade assumed that they had the same optical flow in the local area of the same object.
【００４０】例えば、画像上の局所領域ω内で、オプテ
ィカルフローが一定であるとすると、最小化したい濃淡
パターンの二乗誤差Ｅは、
I0(p) ＝I(x,y,t)，I1(p＋v)＝I(x ＋u ，y ＋v ，t ＋
δt)
と書き改めると、次式数３で定義できる。For example, assuming that the optical flow is constant in the local area ω on the image, the squared error E of the grayscale pattern to be minimized is I 0 (p) = I (x, y, t), I 1 (p ＋ v) ＝ I (x ＋ u 、 y ＋ v 、 t ＋
Rewriting it as δt), it can be defined by the following equation 3.
【００４１】[0041]
【数３】
ここで、ｖが微少な場合には、テーラー展開の２次以上
の項を無視できるので、次式数４の関係が成り立つ。[Equation 3] Here, when v is very small, terms of the second or higher order of the Taylor expansion can be ignored, so that the relation of the following equation 4 holds.
【００４２】[0042]
【数４】 ここで、g(p)は、I1(p) の一次微分である。[Equation 4] Here, g (p) is the first derivative of I 1 (p).
【００４３】誤差Ｅが最小になるのは、Ｅのｖに対する
微分値が０の時であるので、次式数５の関係が成り立
つ。The error E is minimized when the differential value of E with respect to v is 0, and therefore the relation of the following equation 5 is established.
【００４４】[0044]
【数５】 故にオプティカルフローｖは次式数６で求められる。[Equation 5] Therefore, the optical flow v is calculated by the following equation (6).
【００４５】[0045]
【数６】
更に、次式数７に示すように、ニュートン・ラフソン的
な反復演算によって精度良く求めることができる。[Equation 6] Furthermore, as shown in the following equation (7), it can be obtained with high accuracy by Newton-Raphson-like iterative operation.
【００４６】[0046]
【数７】
階層的推定法
まず、２枚の連続した画像から、予めそれぞれの画像に
ついて数段階の解像度の異なる画像を作成する。次に、
最も解像度の低い画像間において、おおまかなオプティ
カルフローを計算する。そして、この結果を参考にし
て、一段解像度の高い画像間においてより精密なオプテ
ィカルフローを計算する。この処理を最も解像度の高い
画像間まで順次繰り返す。[Equation 7] Hierarchical estimation method First, images having different resolutions of several stages are created in advance for each image from two continuous images. next,
Compute a rough optical flow between the lowest resolution images. Then, referring to this result, a more accurate optical flow is calculated between the images with higher resolution. This process is sequentially repeated until the images with the highest resolution.
【００４７】図１（ｄ）は原画像を、図１（ｃ）は図１
（ｄ）の原画像より解像度の低い画像を、図１（ｂ）は
図１（ｃ）の低解像度画像より解像度の低い画像を、図
１（ａ）は図１（ｂ）の低解像度画像より解像度の低い
画像を大きさ（たとえば１３×１３画素）のパッチ毎に
求められる。図１（ａ）〜図１（ｄ）において、Ｓは、
１つのパッチを示している。FIG. 1D shows the original image, and FIG. 1C shows the original image.
An image having a lower resolution than the original image in (d), an image having a lower resolution than the low resolution image in FIG. 1 (c), and a low resolution image in FIG. 1 (b) in FIG. 1 (c). An image with lower resolution is obtained for each patch of size (for example, 13 × 13 pixels). 1 (a) to 1 (d), S is
One patch is shown.
【００４８】図１（ａ）の画像（階層１の画像）、図１
（ｂ）の画像（階層２の画像）、図１（ｃ）の画像（階
層３の画像）および図１（ｄ）の画像（階層４の画像）
の順番で段階的にオプティカルフローが求められる。図
１（ａ）〜図１（ｄ）において矢印は、パッチ毎に求め
られた求められたオプティカルフローベクトルを示して
いる。
（３）膨張処理による補完
Lucas-Kanade法の長所の一つは、追跡結果が信頼性を持
つことである。TomasiとKanadeとは、ある領域の追跡可
能性が、以下のように微分画像から算出できることを示
した(C.Tomasi and Kanade,"Shape and Motion from Im
age Streams: aFactorization method-Part 3 Detectio
n and Tracking of Point Features,"CMU-CS-91-132, C
arnegie Mellon University, 1991.)。The image of FIG. 1A (image of layer 1), FIG.
The image of (b) (image of layer 2), the image of FIG. 1 (c) (image of layer 3) and the image of FIG. 1 (d) (image of layer 4)
The optical flow is calculated step by step in the order of. In FIG. 1A to FIG. 1D, the arrow indicates the obtained optical flow vector obtained for each patch. (3) Complementation by dilation processing One of the advantages of the Lucas-Kanade method is that the tracking result is reliable. Tomasi and Kanade showed that the traceability of a region can be calculated from differential images as follows (C. Tomasi and Kanade, "Shape and Motion from Im.
age Streams: aFactorization method-Part 3 Detectio
n and Tracking of Point Features, "CMU-CS-91-132, C
arnegie Mellon University, 1991.).
【００４９】ある領域画像ωの垂直・水平方向の微分の
２乗を要素に持つ次式数８の２×２の係数行列Ｇから、
その固有値を計算することで、そり領域の追跡可能性を
決定することができる。From the 2 × 2 coefficient matrix G of the following equation 8 having as elements the squared differentials in the vertical and horizontal directions of a certain area image ω,
By calculating its eigenvalue, the traceability of the sled area can be determined.
【００５０】[0050]
【数８】
この行列Ｇの固有値が両方とも大きい場合には、その領
域は直交方向に変化を持ち、一意の位置決めが可能であ
る。従って、小さい方の固有値λｍｉｎと、追跡後の領
域間の濃淡残差Ｅから、追跡結果の信頼度γを次式数９
によって得ることができる。[Equation 8] If both of the eigenvalues of this matrix G are large, the region has a change in the orthogonal direction, and unique positioning is possible. Therefore, from the smaller eigenvalue λmin and the grayscale residual E between the regions after tracking, the reliability γ of the tracking result is calculated by the following equation 9
Can be obtained by
【００５１】[0051]
【数９】
そして、この信頼度を用いて模様（テクスチャ）が少な
い領域でも、精度よくオプティカルフローを求める。こ
れは、一段階粗い階層での結果を、追跡の初期値だけに
用いて、着目している現段階の階層の結果には何も利用
しない。代わりに、テクスチャの少ない領域のオプティ
カルフローはその周囲のオプティカルフローに近い値を
持つと仮定し、モルフォロジー処理によりフロー場を補
完するものである。[Equation 9] Then, using this reliability, the optical flow is accurately obtained even in a region having a small pattern (texture). This uses the result of the one-level coarse layer only for the initial value of the tracking, and does not use anything for the result of the current stage layer of interest. Instead, it is assumed that the optical flow in the region with few textures has a value close to the optical flow around it, and complements the flow field by morphological processing.
【００５２】図２にフローベクトルの膨張処理の様子を
示す。FIG. 2 shows how the expansion process of the flow vector is performed.
【００５３】左図は、フローベクトルの信頼度のマップ
を濃淡で表したものである。ここで、黒ければ黒い程信
頼度が高いとする。The left diagram shows the map of the reliability of the flow vector in shades. Here, the darker the black, the higher the reliability.
【００５４】まず、得られたフローをしきい値処理す
る。白い部分は、結果の信頼度が低いために、しきい値
処理されたものである。First, the obtained flow is thresholded. The white areas are thresholded because the results are less reliable.
【００５５】次に、２値画像でのモルフォロジー演算に
よる穴埋め処理を模して、フロー場において結果の膨張
処理を次のように行う。ある領域ｉ，ｊのフローベクト
ルｕ（ｉ，ｊ）は、その４近傍のフローベクトルから信
頼度γに応じて重み付けを行って次式数１０のように計
算できる。Next, the result expansion process is performed in the flow field as follows, simulating the hole filling process by the morphological operation on the binary image. The flow vector u (i, j) of a certain area i, j can be calculated as in the following Expression 10 by weighting the flow vectors in the four neighborhoods according to the reliability γ.
【００５６】[0056]
【数１０】
この処理を、しきい値処理されたすべての信頼度の低い
領域が埋まるまで、繰り返す。この補完処理を、各階層
において行う。なお、ある領域ｉ，ｊのフローベクトル
u(i,j)を、その８近傍のフローベクトルから信頼度γに
応じて重み付けを行って算出するようにしてもよい。[Equation 10] This process is repeated until all low confidence regions that have been thresholded are filled. This complementing process is performed in each layer. In addition, the flow vector of a certain region i, j
u (i, j) may be calculated by weighting the flow vectors in the eight neighborhoods according to the reliability γ.
【００５７】図３（ａ）は、ある階層の画像に対してし
きい値処理されたオプティカルフローを示し、図３
（ｂ）は補完後のオプティカルフローを示している。図
３（ａ）において、矢印はしきい値処理によって信頼度
が高いと判定されたオプティカルフローベクトルであ
り、×印は信頼度が低いとされた部分を示している。
〔２〕画像合成装置の説明
図４は、本実施の形態における画像合成装置の構成を示
している。FIG. 3A shows an optical flow thresholded for an image of a certain layer.
(B) shows the optical flow after the complement. In FIG. 3A, an arrow indicates an optical flow vector whose reliability is determined to be high by the threshold value processing, and an x indicates a portion whose reliability is low. [2] Description of Image Synthesizing Device FIG. 4 shows the configuration of the image synthesizing device according to the present embodiment.
【００５８】パーソナルコンピュータ１０には、ディス
プレイ２１、マウス２２およびキーボード２３が接続さ
れている。パーソナルコンピュータ１０は、ＣＰＵ１
１、メモリ１２、ハードディスク１３、ＣＤ−ＲＯＭの
ようなリムーバブルディスクのドライバ１４を備えてい
る。A display 21, a mouse 22 and a keyboard 23 are connected to the personal computer 10. The personal computer 10 has a CPU 1
1, a memory 12, a hard disk 13, and a removable disk driver 14 such as a CD-ROM.
【００５９】ハードディスク１３には、ＯＳ（オペレー
ティングシステム）等の他、画像合成ソフトウエアが格
納されている。画像合成ソフトウエアは、それが格納さ
れたＣＤ−ＲＯＭ２０を用いて、ハードディスク１３に
インストールされる。また、ハードディスク１３には、
デジタルカメラによって撮像された複数の画像が予め格
納されているものとする。The hard disk 13 stores the OS (operating system) and the like, as well as image synthesizing software. The image synthesizing software is installed in the hard disk 13 using the CD-ROM 20 in which it is stored. In addition, the hard disk 13,
It is assumed that a plurality of images captured by the digital camera are stored in advance.
【００６０】図５は、パノラマ画像合成ソフトが起動せ
しめられた場合にＣＰＵ１１によって行われるパノラマ
画像合成処理手順を示している。FIG. 5 shows a panoramic image composition processing procedure performed by the CPU 11 when the panoramic image composition software is activated.
【００６１】ここでは、説明の便宜上、２枚の画像を合
成する場合について説明する。
(I) まず、ユーザによって指定された２枚の画像（第１
画像及び第 2画像）がメモリ１２に読み込まれる（ステ
ップ１）。
(II) 次に、２枚の画像について対応領域の抽出処理が
行われる（ステップ２）。この対応領域の抽出処理は、
図６に示す手順に従って行われる。Here, for convenience of description, a case of combining two images will be described. (I) First, two images designated by the user (first
The image and the second image) are read into the memory 12 (step 1). (II) Next, extraction processing of corresponding areas is performed on the two images (step 2). The extraction process of this corresponding area is
This is performed according to the procedure shown in FIG.
【００６２】まず、２枚の画像I1org、Ｉ2orgそれぞれ
について、２次微分処理を施した２次微分画像Ｉ1、Ｉ2
が生成される。各２次微分画像Ｉ1、Ｉ2では、原画像Ｉ
1org、Ｉ2orgにおけるエッジに対応する部分の周囲にお
いて、画素の値が正負に大きく変化する。（ステップ２
１）
そして、２次微分画像Ｉ1、Ｉ2を所定の閾値で２値化す
ると、エッジの周辺部だけが論理値１となり、それ以外
の部分は論理値０となる。これにより、エッジの検出が
行われる。（ステップ２２）
次に、一方の２次微分画像Ｉ2を他方の２次微分画像Ｉ1
に対して１画素ずつｘ方向及びｙ方向に２次元的に移動
させながら、両２次微分画像Ｉ1、Ｉ2が重なる重なり領
域ω（サイズ：Ｍ×Ｎ）に含まれる各２次微分画像
Ｉ1、Ｉ2のエッジ（論理値１となる画素）の数ａ１、ａ
２をカウントする。但し、２次微分画像Ｉ2の移動量を
（ｄ）とすると、その移動量（ｄ）は、両２次微分画像
Ｉ1、Ｉ2が重なり領域を持つ範囲内で変化せしめられ
る。（ステップ２３）
また、エッジ数がカウントされる一方で、各移動量
（ｄ）毎に重なり領域ω（サイズ：Ｍ×Ｎ）における２
次微分画像Ｉ1、Ｉ2間の２乗誤差（Ｅ）が、次式数１１
を用いて演算される。First, the secondary differential images I 1 and I 2 obtained by performing the secondary differential processing on the two images I 1org and I 2org, respectively.
Is generated. In each of the secondary differential images I 1 and I 2 , the original image I
Around the portion corresponding to the edge in 1org and I 2org , the pixel value largely changes between positive and negative. (Step 2
1) Then, when the secondary differential images I 1 and I 2 are binarized with a predetermined threshold value, only the peripheral portion of the edge has the logical value 1, and the other portions have the logical value 0. As a result, the edge is detected. (Step 22) Next, one of the secondary differential images I 2 is transferred to the other secondary differential image I 1
Each two-dimensional differential image included in the overlapping area ω (size: M × N) where the two-dimensional differential images I 1 and I 2 overlap each other while moving two-dimensionally in the x and y directions pixel by pixel. the number of I 1, I 2 of the edge (pixels serving logical value 1) a1, a
Count two. However, assuming that the movement amount of the secondary differential image I 2 is (d), the movement amount (d) can be changed within a range where the two secondary differential images I 1 and I 2 have an overlapping region. (Step 23) Further, while the number of edges is counted, 2 in the overlapping area ω (size: M × N) is obtained for each movement amount (d).
The squared error (E) between the secondary differential images I 1 and I 2 is expressed by the following equation 11
Is calculated using.
【００６３】[0063]
【数１１】
そして、この誤差（Ｅ）に基づいて、例えば図９に示す
ような誤差マップが得られる。この誤差マップにおける
各線分は、重なり領域における誤差値が同一となる移動
量に対応する座標を結んだものであり、２つの線分に挟
まれた領域においては、両線分の誤差値の間の値をと
る。（ステップ２４）
最後に、各移動量（ｄ）毎に求められるエッジ数ａ１、
ａ２と、誤差マップとに基づいて、以下の条件Ｚ１及び
Ｚ２を満たす重なり領域が対応領域として抽出される。[Equation 11] Then, based on this error (E), for example, an error map as shown in FIG. 9 is obtained. Each line segment in this error map is obtained by connecting the coordinates corresponding to the movement amount at which the error value in the overlapping region is the same, and in the region sandwiched between the two line segments, the error value between both line segments is Takes the value of. (Step 24) Finally, the number of edges a1 obtained for each movement amount (d),
Based on a2 and the error map, overlapping regions that satisfy the following conditions Z1 and Z2 are extracted as corresponding regions.
【００６４】Ｚ１：移動量（ｄ）における２次微分画像
Ｉ1、Ｉ2の重なり領域ωにおけるエッジ数ａ１、ａ２
が、ともに各々の原画像内にある全エッジ数に対して所
定の割合α以上であること。Z1: The number of edges a1 and a2 in the overlapping area ω of the secondary differential images I 1 and I 2 at the movement amount (d).
Is a predetermined ratio α or more with respect to the total number of edges in each original image.
【００６５】Ｚ２：誤差マップにおいて、移動量（ｄ）
における２次微分画像l1，12間の誤差マップが極小値
（図９においては、単一の線分で囲まれ、且つ、周囲よ
り誤差値が小さい領域における最小の値）をとり、且
つ、その極小値において誤差マップを２次微分した値が
最大となること。（ステップ２５）
このように、２次微分画像を用いて原画像の重なり領域
を抽出しているため、原画像間における輝度レベルの差
の影響がなくなり、精度よく対応領域の抽出を行なうこ
とが可能となる。Z2: Moving amount (d) in the error map
The error map between the secondary differential images l1 and 12 in FIG. 2 takes a minimum value (in FIG. 9, the minimum value in the area surrounded by a single line segment and having an error value smaller than the surroundings), and The value obtained by quadratic differentiation of the error map at the minimum value should be the maximum. (Step 25) Since the overlapping area of the original images is extracted using the secondary differential image in this manner, the influence of the difference in the brightness level between the original images is eliminated, and the corresponding area can be extracted accurately. It will be possible.
【００６６】また、対応領域として重なり領域内におけ
るエッジ数が各々の原画像内にある全エッジ数に対して
所定の割合α以上あるものを抽出しているため、海や空
などを多く含むエッジの少ない重なり領域が誤って対応
領域として抽出されることがなく、信頼性の高い対応領
域の抽出を行なうことが可能となる。Further, since the number of edges in the overlapping area as the corresponding area is equal to or more than the predetermined ratio α with respect to the total number of edges in each original image, the edges including many seas and skys are extracted. It is possible to extract a highly reliable corresponding area without accidentally extracting an overlapping area with a small number of areas as a corresponding area.
【００６７】また、合成の対象となる画像やエッジの閾
値αの値によっては、エッジ数の少ない重なり領域にお
いて、エッジ数の多い重なり領域より誤差の値が小さく
なる場合があるが、ここでは、対応領域となる極小値の
前後において誤差マップの値の変化率（傾き）がそれ以
外の極小値の前後における傾きより大きくなることを利
用しているため、更に精度よく対応領域の抽出を行なう
ことが可能となる。Further, depending on the image to be combined and the value of the threshold value α of the edge, the error value may be smaller in the overlapping area having a smaller number of edges than in the overlapping area having a large number of edges. The fact that the rate of change (slope) of the value in the error map before and after the local minimum value that is the corresponding area is larger than the inclination before and after the other local minimum values is used, so the corresponding area can be extracted more accurately. Is possible.
【００６８】尚、ここでは、２次微分画像を用いて原画
像の重なり領域を抽出する際、２次微分画像間の誤差マ
ップが極小値をとり、且つ、その極小値において誤差マ
ップを２次微分した値が最大となる重なり領域を対応領
域として抽出する場合について説明したが、２次微分画
像間の誤差マップにおいて最小値をとる重なり領域を対
応領域として抽出してもよい。Here, when the overlapping area of the original image is extracted using the secondary differential image, the error map between the secondary differential images has a minimum value, and the error map is quadratic at the minimum value. The case where the overlapping area having the maximum differentiated value is extracted as the corresponding area has been described, but the overlapping area having the minimum value in the error map between the secondary differential images may be extracted as the corresponding area.
【００６９】また、ここでは、エッジの閾値αを各々の
原画像内にある全エッジ数に対して所定の割合とした
が、閾値αをエッジの個数として固定の値してもよい。Although the threshold value α of the edges is set to a predetermined ratio with respect to the total number of edges in each original image here, the threshold value α may be a fixed value as the number of edges.
【００７０】また、ここでは、重なり領域におけるエッ
ジ数を合成する２枚の画像両方について求めたが、一方
の画像について求めてもよい。
(III) 次に、特徴点抽出が行われる（ステップ３）。つ
まり、第１画像の対応領域から、追跡に有効な複数の部
分画像（矩形領域）が特徴点として抽出される。ただ
し、各特徴点は互いに重ならないように抽出される。具
体的には、上述した信頼度λminの高い部分が特徴点と
して抽出される。
(IV)次に、特徴点追跡処理が行われる（ステップ４）。
つまり、抽出された第１画像の特徴点の第２画像上の位
置が追跡される。Further, here, the number of edges in the overlapping area is calculated for both of the two images, but it may be calculated for one of the images. (III) Next, feature point extraction is performed (step 3). That is, a plurality of partial images (rectangular regions) effective for tracking are extracted as feature points from the corresponding region of the first image. However, the respective feature points are extracted so as not to overlap each other. Specifically, the above-mentioned portion with high reliability λmin is extracted as a feature point. (IV) Next, a feature point tracking process is performed (step 4).
That is, the positions of the extracted feature points of the first image on the second image are tracked.
【００７１】具体的には、まず、〔１〕で説明したオプ
ティカルフロー推定方法で、適当なサイズ（例えば、１
３×１３）のパッチ毎のオプティカルフローベクトルが
求められる。第１画像の特徴点に対応する第２画像上の
位置は、第１画像の特徴点の４近傍のパッチのフローベ
クトルから線形補間により画素単位以下で求められる。
(V) 次に、平面射影変換行列が算出される（ステップ
５）。Specifically, first, by using the optical flow estimation method described in [1], an appropriate size (for example, 1
An optical flow vector for each (3 × 13) patch is obtained. The position on the second image corresponding to the feature point of the first image is obtained in pixel units or less by linear interpolation from the flow vectors of the patches in the four neighborhoods of the feature point of the first image. (V) Next, a plane projective transformation matrix is calculated (step 5).
【００７２】対象としているシーンが遠方にある場合
や、近くても建物や壁、黒板などの場合には、それらの
単一平面と仮定することができる。図７に示すように３
次元空間中の単一平面の点Ｍを２つの異なる視点Ｃ1、
Ｃ2から観察した時、これらの各画像面での座標ｍ1、ｍ
2の間の変換は、線形であることが射影幾何学において
知られており、homographyと呼ばれている(O.Faugera
s,"Three-Dimention Computer Viaion: a Geometric Vi
ewpoint",MIT press, 1993.)。When the target scene is distant, or when it is close to a building, a wall, a blackboard, etc., it can be assumed that these are single planes. 3 as shown in FIG.
A point M of a single plane in the dimensional space is represented by two different viewpoints C 1 ,
When observed from C 2 , the coordinates m 1 , m on each of these image planes
The transformation between the two is known in projective geometry to be linear and is called homography (O. Faugera
s, "Three-Dimention Computer Viaion: a Geometric Vi
ewpoint ", MIT press, 1993.).
【００７３】すなわち、画像座標を斉次座標で表した第
１画像の点ｍ１＝（ｘ１，ｙ１，１）ｔは、第２画像上
で対応する点ｍ２＝（ｘ２，ｙ２，１）ｔを持ち、それ
らの関係は次式数１２で定義される。That is, the point m1 = (x1, y1,1) t of the first image, which represents the image coordinates by the homogeneous coordinates, is the corresponding point m2 = (x2, y2,1) t on the second image. And the relationship between them is defined by the following equation (12).
【００７４】[0074]
【数１２】
ここでは射影的に等しいことを示し、スケール因子を残
す。そして、この変換行列は、次式数１３のように書き
換えることができる。[Equation 12] Here we show that they are projectively equal and leave the scale factor. Then, this conversion matrix can be rewritten as the following Expression 13.
【００７５】[0075]
【数１３】
(VI)求められた平面射影変換行列に基づいて、２つの画
像の位置が合致するように、両画像が重ね合わされた画
像が生成される（ステップ６）。
(VII) そして、２つの画像が互いに重なり合っている部
分（以下、重合部という）に対して画素値調合が行われ
る（ステップ７）。つまり、第１画像と第２画像とは、
撮影条件が同じでないので、一方に比べて他方が暗い場
合がある。そこで、２つの画像の重合部内の注目点の画
素値は、２つの画像の重合部の両端からの注目点までの
距離に基づいて、注目点の第１画像の画素値および注目
点の第２画像の画素値とが調合された値とされる。[Equation 13] (VI) Based on the obtained plane projective transformation matrix, an image in which both images are superimposed is generated so that the positions of the two images match (step 6). (VII) Then, pixel value mixing is performed on a portion where the two images are overlapped with each other (hereinafter, referred to as an overlapping portion) (step 7). That is, the first image and the second image are
Since the shooting conditions are not the same, the other may be darker than the other. Therefore, the pixel value of the attention point in the overlapping portion of the two images is based on the distance from the both ends of the overlapping portion of the two images to the attention point, and the pixel value of the first image of the attention point and the second value of the attention point. The pixel value of the image is a blended value.
【００７６】このように、本実施の形態によれば、合成
の対象となる画像間の対応領域が精度よく抽出されるこ
とに伴って、精度よく画像合成を行なうことが可能とな
る。
〔３〕その他の応用例の説明
上記画像合成装置において用いられたパノラマ画像合成
ソフトウエアは、単体として商品化することが可能であ
る。また、このパノラマ画像合成プログラムを、デジタ
ルスチルカメラ画像印刷ラボの印刷装置、デジタルカメ
ラ画像出力用のプリンタ、デジタルカメラ、複写機等に
組み込むことができる。As described above, according to the present embodiment, it is possible to perform image synthesis with high precision as the corresponding areas between the images to be synthesized are extracted with high precision. [3] Description of Other Application Examples The panoramic image synthesizing software used in the image synthesizing apparatus can be commercialized as a single unit. Further, this panoramic image synthesizing program can be incorporated into a printing device of a digital still camera image printing laboratory, a printer for digital camera image output, a digital camera, a copying machine, or the like.
【００７７】図８は、パノラマ画像合成プログラムが組
み込まれたデジタルスチルカメラの構成を示している。FIG. 8 shows the structure of a digital still camera incorporating a panoramic image composition program.
【００７８】このデジタルスチルカメラは、通常のデジ
タルスチルカメラと同様にＣＣＤ１、Ａ／Ｄ変換器２、
映像処理部３、ＣＰＵ４、ＲＯＭ５、フラッシュメモリ
６、操作部７等を備えた。パノラマ画像合成プログラム
は、ＲＯＭ５に格納されている。This digital still camera has a CCD 1, an A / D converter 2,
The image processing unit 3, the CPU 4, the ROM 5, the flash memory 6, the operation unit 7, and the like are provided. The panoramic image composition program is stored in the ROM 5.
【００７９】操作部７の操作により、パノラマ画像合成
プログラムを起動することによりって、フラッシュメモ
リ６に既に取り込まれている複数枚の画像を〔２〕で説
明したような方法により合成して、１枚のパノラマ画像
を生成する。生成されたパノラマ画像はフラッシュメモ
リ６に記憶される。By operating the panorama image composition program by operating the operation unit 7, a plurality of images already captured in the flash memory 6 are composed by the method described in [2], Generate one panoramic image. The generated panoramic image is stored in the flash memory 6.
【００８０】[0080]
【発明の効果】本発明によれば、輝度レベルの変化に影
響されることなく２枚の画像の対応領域を精度よく抽出
することができる画像の対応領域抽出方法、その対応領
域抽出方法を用いて画像を合成する画像合成方法、画像
合成装置、画像合成プログラムを記録した記録媒体を提
供することが可能となる。According to the present invention, the corresponding area extraction method of images which can extract the corresponding areas of two images with high accuracy without being affected by the change of the brightness level, and the corresponding area extraction method are used. It is possible to provide an image synthesizing method, an image synthesizing apparatus, and a recording medium in which an image synthesizing program is recorded.
【図１】 図１は、階層的推定法を説明するための模式
図である。FIG. 1 is a schematic diagram for explaining a hierarchical estimation method.
【図２】 図２は、この発明によるオプティカルフロー
推定方法において行われる膨張処理を説明するためろの
模式図である。FIG. 2 is a schematic diagram for explaining a dilation process performed in the optical flow estimation method according to the present invention.
【図３】 図３は、ある階層の画像に対してしきい値処
理されたオプティカルフローの例と、補完後のオプティ
カルフローを示す模式図である。FIG. 3 is a schematic diagram showing an example of an optical flow that has been threshold-processed for an image of a certain layer and an optical flow after complementation.
【図４】 図４は、パノラマ画像合成装置の構成を示す
ブロック図である。FIG. 4 is a block diagram showing a configuration of a panoramic image synthesizer.
【図５】 図５は、パノラマ画像合成処理手順を示すフ
ローチャートである。FIG. 5 is a flowchart showing a panoramic image composition processing procedure.
【図６】 図６は、図５のフローチャートにおける対応
領域抽出の手順を示すフローチャートである。FIG. 6 is a flowchart showing a procedure for extracting a corresponding area in the flowchart of FIG.
【図７】 図７は、平面射影行列を説明するための説明
図である。FIG. 7 is an explanatory diagram for explaining a plane projection matrix.
【図８】 図８は、パノラマ画像合成プログラムが組み
込まれたデジタルスチルカメラの構成を示すブロック図
てある。FIG. 8 is a block diagram showing a configuration of a digital still camera in which a panoramic image composition program is incorporated.
【図９】 図９は、誤差マップの一例を示すグラフであ
る。FIG. 9 is a graph showing an example of an error map.
１０ パーソナルコンピュータ １１ ＣＰＵ １２ メモリ １３ ハードディスク １４ リムーバブルディスクのドライバ ２１ ディスプレイ ２２ マウス ２３ キーボード 10 personal computer 11 CPU 12 memories 13 hard disk 14 Removable disk driver 21 display 22 mice 23 keyboard
フロントページの続き (56)参考文献 特開 平８−249442（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 3/00 400 G06T 1/00 280 - 340 H04N 1/387 H04N 5/262 ＪＩＣＳＴファイル（ＪＯＩＳ)Continuation of front page (56) Reference JP-A-8-249442 (JP, A) (58) Fields investigated (Int.Cl. 7 , DB name) G06T 3/00 400 G06T 1/00 280-340 H04N 1 / 387 H04N 5/262 JISST file (JOIS)
Claims (20)
次微分画像を求め、前記２次微分画像間の重なり領域を
変化させながら、重なり領域における少なくとも一方の
２次微分画像のエッジ数を算出するとともに、重なり領
域における２次微分画像間の誤差に基づいて誤差マップ
を求め、前記エッジ数と前記誤差マップとに基づいて前
記原画像間の対応領域を抽出する画像の対応領域抽出方
法。1. Two-dimensional differentiation of two original images
The second differential image is obtained, and the overlapping area between the second differential images is calculated.
While changing, at least one of the overlapping areas
Calculate the number of edges in the second derivative image and
Error map based on the error between the second derivative images in the region
Based on the number of edges and the error map
Corresponding area extracting method of an image to extract the corresponding regions between serial original image.
つ、前記誤差マップが最小値をとる重なり領域を抽出
し、該重なり領域に対応する各原画像の領域を原画像間
の対応領域として抽出する請求項１記載の画像の対応領
域抽出方法。2. The number of edges is a predetermined value or more, and
Extract the overlapping area where the error map takes the minimum value
Then, the area of each original image corresponding to the overlapping area is
The corresponding area extracting method according to claim 1, wherein the corresponding area is extracted as the corresponding area.
つ、前記誤差マップが極小値をとり、且つ、前記誤差マ
ップの極小値における２次微分値が最大となる２次微分
画像の重なり領域を抽出し、該重なり領域に対応する各
原画像の領域を原画像間の対応領域として抽出する請求
項１記載の画像の対応領域抽出方法。3. The number of edges is a predetermined value or more, and
The error map has a minimum value, and the error map
Second derivative that maximizes the second derivative at the minimum
The overlapping area of the image is extracted and each of the areas corresponding to the overlapping area is extracted.
Request to extract areas of original images as corresponding areas between original images
Item 1. A corresponding region extraction method for an image according to item 1 .
ッジ数に対して所定の割合以上であり、且つ、前記誤差
マップが最小値をとる重なり領域を抽出し、該重なり領
域に対応する各原画像の領域を原画像間の対応領域とし
て抽出する請求項１記載の画像の対応領域抽出方法。 4. The total number of edges in which the number of edges is in the original image.
Error rate is more than a predetermined ratio with respect to
The overlapping area where the map has the minimum value is extracted, and the overlapping area is extracted.
The area of each original image corresponding to the area is defined as the corresponding area between the original images.
The corresponding area extraction method for an image according to claim 1, wherein
ッジ数に対して所定の割合以上であり、且つ、前記誤差
マップの極小値における２次微分値が最大となる２次微
分画像の重なり領域を抽出し、該重なり領域に対応する
各原画像の領域を原画像間の対応領域として抽出する請
求項１記載の画像の対応領域抽出方法。 5. The total number of edges in which the number of edges is in the original image.
Error rate is more than a predetermined ratio with respect to
The second-order fine that maximizes the second-order derivative at the minimum value of the map
Extract the overlapping area of the minute image and correspond to the overlapping area
Contract to extract the area of each original image as the corresponding area between the original images.
A method of extracting a corresponding region of an image according to claim 1 .
微分した２次微分画像を求め、該２次微分画像に基づい
て前記原画像間の対応領域を抽出する第１ステップ、該
対応領域における両原画像間の関係式を算出する第２ス
テップ、該関係式に基づいて第１原画像または第２原画
像を変換して両原画像を合成する第３ステップを備え、
前記第１ステップが、前記各原画像を２次微分した２次
微分画像を算出するステップ、両２次微分画像間の重な
り領域を変化させながら、重なり領域における少なくと
も一方の２次微分画像のエッジ数を算出するとともに、
重なり領域における両２次微分画像間の誤差に基づいて
誤差マップを求めるステップ、前記エッジ数と前記誤差
マップとに基づいて両原画像間の対応領域を抽出するス
テップを備えた画像合成方法。 6. A first original image and a second original image are each a secondary image.
Obtain a differentiated secondary differential image, and based on the secondary differential image
The first step of extracting a corresponding region between the original images,
The second step for calculating the relational expression between both original images in the corresponding area
Step, the first original image or the second original image based on the relational expression
A third step of converting the images and combining the two original images,
The first step is a quadratic derivative of the original images.
The step of calculating the differential image, the overlap between both secondary differential images
At least in the overlapping area while changing the overlapping area
Also calculates the number of edges of one of the secondary differential images,
Based on the error between the two differential images in the overlap region
Obtaining an error map, the number of edges and the error
A map that extracts the corresponding region between the two original images based on the map and
Image composition method with step.
つ、前記誤差マップが最小値をとる重なり領域を抽出
し、該重なり領域に対応する原画像の領域を原画像間の
対応領域として抽出する請求項６記載の画像合成方法。7. The number of edges is a predetermined value or more, and
Extract the overlapping area where the error map takes the minimum value
Then, the area of the original image corresponding to the overlapping area is set between the original images.
The image synthesizing method according to claim 6, wherein the image is extracted as a corresponding region .
つ、前記誤差マップが極小値をとり、且つ、前記誤差マ
ップの極小値における２次微分値が最大となる２次微分
画像の重なり領域を抽出し、該重なり領域に対応する各
原画像の領域を原画像間の対応領域として抽出する請求
項６記載の画像合成方法。 8. The number of edges is a predetermined value or more, and
The error map has a minimum value, and the error map
Second derivative that maximizes the second derivative at the minimum
The overlapping area of the image is extracted and each of the areas corresponding to the overlapping area is extracted.
Request to extract areas of original images as corresponding areas between original images
Item 7. The image combining method according to Item 6 .
ッジ数に対して所定の割合以上であり、且つ、前記誤差
マップが最小値をとる重なり領域を抽出し、該重なり領
域に対応する原画像の領域を原画像間の対応領域として
抽出する請求項６記載の画像合成方法。9. The total number of edges where the number of edges is in the original image.
Error rate is more than a predetermined ratio with respect to
The overlapping area where the map has the minimum value is extracted, and the overlapping area is extracted.
Region of the original image corresponding to the region as the corresponding region between the original images
The image combining method according to claim 6, wherein the image is extracted .
エッジ数に対して所定の割合以上であり、且つ、前記誤
差マップの極小値における２次微分値が最大となる２次
微分画像の重なり領域を抽出し、該重なり領域に対応す
る各原画像の領域を原画像間の対応領域として抽出する
請求項６記載の画像合成方法。 10. The total number of edges in the original image
It is more than a predetermined ratio to the number of edges, and the error
The secondary that maximizes the secondary differential value at the minimum value of the difference map
Extract the overlapping area of the differential image and correspond to the overlapping area.
Extract the area of each original image as the corresponding area between the original images
The image synthesizing method according to claim 6 .
次微分した２次微分画像を求め、該２次微分画像に基づ
いて前記原画像間の対応領域を抽出する第１手段、該対
応領域における両原画像間の関係式を算出する第２手
段、該関係式に基づいて第１原画像または第２原画像を
変換して両原画像を合成する第３手段を備え、前記第１
手段が、前記各原画像を２次微分した２次微分画像を算
出する手段、両２次微分画像間の重なり領域を変化させ
ながら、重なり領域における少なくとも一方の２次微分
画像のエッジ数を算出するとともに、重なり領域におけ
る両２次微分画像間の誤差に基づいて誤差マップを求め
る手段、前記エッジ数と前記誤差マップとに基づいて両
原画像間の対応領域を抽出する手段を備えた画像合成装
置。 11. Each of the first original image and the second original image is set to two.
A second-order differential image obtained by second-order differentiation is obtained, and based on the second-order differential image
First means for extracting corresponding regions between the original images, the pair
Second step to calculate the relational expression between both original images in the response area
The first original image or the second original image based on the relational expression
A third means for converting and synthesizing both original images is provided, and the first means is provided.
A means calculates a quadratic differential image obtained by quadratic differentiating each of the original images.
The means to output, the overlapping area between both secondary differential images is changed
While at least one second derivative in the overlap region
Calculate the number of edges in the image and
Error map based on the error between the two differential images
Means based on the number of edges and the error map.
An image synthesizing device equipped with means for extracting corresponding regions between original images
Place
つ、前記誤差マップ が最小値をとる重なり領域を抽出
し、該重なり領域に対応する原画像の領域を原画像間の
対応領域として抽出する請求項１１記載の画像合成装
置。 12. The number of edges is a predetermined value or more, and
Extract the overlapping area where the error map takes the minimum value
Then, the area of the original image corresponding to the overlapping area is set between the original images.
The image composition device according to claim 11, which is extracted as a corresponding region.
Place
つ、前記誤差マップが極小値をとり、且つ、前記誤差マ
ップの極小値における２次微分値が最大となる２次微分
画像の重なり領域を抽出し、該重なり領域に対応する各
原画像の領域を原画像間の対応領域として抽出する請求
項１１記載の画像合成装置。13. The number of edges is a predetermined value or more, and
The error map has a minimum value, and the error map
Second derivative that maximizes the second derivative at the minimum
The overlapping area of the image is extracted and each of the areas corresponding to the overlapping area is extracted.
Request to extract areas of original images as corresponding areas between original images
Item 11. The image synthesizing apparatus according to item 11 .
エッジ数に対して所定の割合以上であり、且つ、前記誤
差マップが最小値をとる重なり領域を抽出し、該重なり
領域に対応する原画像の領域を原画像間の対応領域とし
て抽出する請求項１１記載の画像合成装置。14. The total number of edges in the original image
It is more than a predetermined ratio to the number of edges, and the error
Extract the overlapping area where the difference map has the minimum value, and
The area of the original image corresponding to the area is defined as the corresponding area between the original images.
The image synthesizing apparatus according to claim 11, wherein the image synthesizing is performed by extracting .
エッジ数に対して所定の割合以上であり、且つ、前記誤
差マップの極小値における２次微分値が最大となる２次
微分画像の重なり領域を抽出し、該重なり領域に対応す
る各原画像の領域を原画像間の対応領域として抽出する
請求項１１記載の画像合成装置。15. The total number of edges in the original image
It is more than a predetermined ratio to the number of edges, and the error
The secondary that maximizes the secondary differential value at the minimum value of the difference map
Extract the overlapping area of the differential image and correspond to the overlapping area.
Extract the area of each original image as the corresponding area between the original images
The image synthesizing apparatus according to claim 11 .
次微分した２次微分画像を求め、該２次微分画像に基づ
いて前記原画像間の対応領域を抽出する第１ステップ、
該対応領域における両原画像間の関係式を算出する第２
ステップ、該関係式に基づいて第１原画像または第２原
画像を変換して両原画像を合成する第３ステップを備
え、前記第１ステップが、前記各原画像を２次微分した
２次微分画像を算出するステップ、両２次微分画像間の
重なり領域を変化させながら、重なり領域における少な
くとも一方の２次微分画像のエッジ数を算出するととも
に、重なり領域における両２次微分画像間の誤差に基づ
いて誤差マップを求めるステップ、前記エッジ数と前記
誤差マップとに基づいて両原画像間の対応領域を抽出す
るステップを備えた画像合成プログラムを記録したコン
ピュータ読み取り可能な記録媒体。 16. Each of the first original image and the second original image is 2
A second-order differential image obtained by second-order differentiation is obtained, and based on the second-order differential image
A first step of extracting corresponding regions between the original images,
Second calculating a relational expression between the original images in the corresponding area
Step, the first original image or the second original based on the relational expression
Includes a third step to convert the images and combine the two original images
In the first step, each of the original images is second-order differentiated.
Step of calculating secondary differential image, between both secondary differential images
While changing the overlapping area,
Calculate the number of edges in at least one of the second derivative images
On the basis of the error between both secondary differential images in the overlapping area.
The step of obtaining an error map, the number of edges and the
Extract the corresponding area between both original images based on the error map
A computer program that records an image composition program
A computer-readable recording medium.
つ、前記誤差マップが最小値をとる重なり領域を抽出
し、該重なり領域に対応する原画像の領域を原画像間の
対応領域として抽出する請求項１６記載の画像合成プロ
グラムを記録したコンピュータ読み取り可能な記録媒
体。 17. The number of edges is a predetermined value or more, and
Extract the overlapping area where the error map takes the minimum value
Then, the area of the original image corresponding to the overlapping area is set between the original images.
The image synthesis program according to claim 16, which is extracted as a corresponding region.
Computer-readable recording medium that records grams
body.
つ、前記誤差マップが極小値をとり、且つ、前記誤差マ
ップの極小値における２次微分値が最大となる２次微分
画像の重なり領域を抽出し、該重なり領域に対応する各
原画像の領域を原画像間の対応領域として抽出する請求
項１６記載の画像合成プログラムを記録したコンピュー
タ読み取り可能な記録媒体。 18. The number of edges is a predetermined value or more, and
The error map has a minimum value, and the error map
Second derivative that maximizes the second derivative at the minimum
The overlapping area of the image is extracted and each of the areas corresponding to the overlapping area is extracted.
Request to extract areas of original images as corresponding areas between original images
A computer recording the image compositing program according to item 16.
A readable recording medium.
エッジ数に対して所定の割合以上であり、且つ、前記誤
差マップが最小値をとる重なり領域を抽出し、該重なり
領域に対応する原画像の領域を原画像間の対応領域とし
て抽出する請求項１６記載の画像合成プログラムを記録
したコンピュータ読み取り可能な記録媒体。19. The total number of edges in the original image
It is more than a predetermined ratio to the number of edges, and the error
Extract the overlapping area where the difference map has the minimum value, and
The area of the original image corresponding to the area is defined as the corresponding area between the original images.
A computer-readable recording medium in which the image synthesizing program according to claim 16 is extracted .
エッジ数に対して所定の割合以上であり、且つ、前記誤
差マップの極小値における２次微分値が最大となる２次
微分画像の重なり領域を抽出し、該重なり領域に対応す
る各原画像の領域を原画像間の対応領域として抽出する
請求項１６記載の画像合成プログラムを記録したコンピ
ュータ読み取り可能な記録媒体。20. The total number of edges in the original image
It is more than a predetermined ratio to the number of edges, and the error
The secondary that maximizes the secondary differential value at the minimum value of the difference map
Extract the overlapping area of the differential image and correspond to the overlapping area.
Extract the area of each original image as the corresponding area between the original images
A computer-readable recording medium recording the image composition program according to claim 16 .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02903499A JP3384764B2 (en) | 1999-02-05 | 1999-02-05 | Image corresponding area extracting method, image synthesizing method, image synthesizing apparatus, computer-readable recording medium storing image synthesizing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02903499A JP3384764B2 (en) | 1999-02-05 | 1999-02-05 | Image corresponding area extracting method, image synthesizing method, image synthesizing apparatus, computer-readable recording medium storing image synthesizing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000227958A JP2000227958A (en) | 2000-08-15 |
| JP3384764B2 true JP3384764B2 (en) | 2003-03-10 |
Family
ID=12265135
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP02903499A Expired - Fee Related JP3384764B2 (en) | 1999-02-05 | 1999-02-05 | Image corresponding area extracting method, image synthesizing method, image synthesizing apparatus, computer-readable recording medium storing image synthesizing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3384764B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004118786A (en) * | 2002-09-30 | 2004-04-15 | Sony Corp | Image processing apparatus and method for processing image, recording medium, as well as program |
| JP4774857B2 (en) * | 2005-08-11 | 2011-09-14 | カシオ計算機株式会社 | Image processing apparatus and program |
-
1999
- 1999-02-05 JP JP02903499A patent/JP3384764B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000227958A (en) | 2000-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3435084B2 (en) | Optical flow estimation method and image composition method | |
| US7730406B2 (en) | Image processing system and method | |
| Kumar et al. | Registration of video to geo-referenced imagery | |
| Davis | Mosaics of scenes with moving objects | |
| KR101195942B1 (en) | Camera calibration method and 3D object reconstruction method using the same | |
| US5963664A (en) | Method and system for image combination using a parallax-based technique | |
| CN110033475B (en) | Aerial photograph moving object detection and elimination method based on high-resolution texture generation | |
| US6473536B1 (en) | Image synthesis method, image synthesizer, and recording medium on which image synthesis program is recorded | |
| US11348267B2 (en) | Method and apparatus for generating a three-dimensional model | |
| US20120300020A1 (en) | Real-time self-localization from panoramic images | |
| GB2557398A (en) | Method and system for creating images | |
| EP2686827A1 (en) | 3d streets | |
| CN114782628A (en) | Indoor real-time three-dimensional reconstruction method based on depth camera | |
| Dellaert et al. | Super-resolved texture tracking of planar surface patches | |
| JP2001274973A (en) | Device and method for synthesizing microscopic image and computer-readable recording medium with microscopic image synthesizing processing program recorded thereon | |
| JP3557168B2 (en) | Lens distortion coefficient calculation device and calculation method, computer-readable recording medium storing lens distortion coefficient calculation program | |
| JP2000155831A (en) | Method and device for image composition and recording medium storing image composition program | |
| Zhao et al. | Alignment of continuous video onto 3D point clouds | |
| JP3540696B2 (en) | Image synthesizing method, image synthesizing device, recording medium storing image synthesizing program | |
| JP3384764B2 (en) | Image corresponding area extracting method, image synthesizing method, image synthesizing apparatus, computer-readable recording medium storing image synthesizing program | |
| JP2004046573A (en) | Method for calculating tilt angle, method for synthesizing cylindrical panorama picture, and computer-readable recording medium with program for cylindrical panorama picture synthesis processing recorded thereon | |
| JP2002094849A (en) | Wide view image pickup device | |
| JP2001256492A (en) | Device and method for composing image and computer readable recording medium for recording its program | |
| JP2001222707A (en) | Method and device for synthesizing intermediate picture and recording medium stored with intermediate picture synthesization program | |
| CN108830781B (en) | Wide baseline image straight line matching method under perspective transformation model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081227 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081227 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091227 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |