JP6891808B2 - Image alignment system, method and program - Google Patents

Image alignment system, method and program Download PDF

Info

Publication number
JP6891808B2
JP6891808B2 JP2017535228A JP2017535228A JP6891808B2 JP 6891808 B2 JP6891808 B2 JP 6891808B2 JP 2017535228 A JP2017535228 A JP 2017535228A JP 2017535228 A JP2017535228 A JP 2017535228A JP 6891808 B2 JP6891808 B2 JP 6891808B2
Authority
JP
Japan
Prior art keywords
image
feature
distance
coordinate
calculated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017535228A
Other languages
Japanese (ja)
Other versions
JPWO2017029784A1 (en
Inventor
尚司 谷内田
尚司 谷内田
賢吾 牧野
賢吾 牧野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2015161789 priority Critical
Priority to JP2015161789 priority
Application filed by NEC Corp filed Critical NEC Corp
Priority to PCT/JP2016/003620 priority patent/WO2017029784A1/en
Publication of JPWO2017029784A1 publication Critical patent/JPWO2017029784A1/en
Application granted granted Critical
Publication of JP6891808B2 publication Critical patent/JP6891808B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis

Description

本発明は、各カメラで撮影された画像の位置を合わせる画像位置合わせシステム、画像位置合わせ方法および画像位置合わせプログラムを記憶する記録媒体に関する。 The present invention relates to an image alignment system for aligning images taken by each camera, an image alignment method, and a recording medium for storing an image alignment program.

異なる2台のカメラで撮影された画像の位置合わせを行う方法が各種知られている。例えば、2つの画像の濃淡画像を用いたブロックマッチング処理や、エッジ量を利用した特徴点マッチング処理を行って画像間の位置ずれ量を算出することで、画像の位置合わせが行われる。 Various methods are known for aligning images taken by two different cameras. For example, image alignment is performed by performing block matching processing using shaded images of two images and feature point matching processing using edge amounts to calculate the amount of misalignment between images.

また、特許文献1には、2つの画像から種類が異なる複数の特徴量を算出し、それぞれの特徴量を用いて位置ずれ量を算出することで、画像の位置合わせを行う方法が記載されている。 Further, Patent Document 1 describes a method of aligning images by calculating a plurality of feature quantities of different types from two images and calculating a displacement amount using each feature quantity. There is.

また、特許文献2には、可視画像と遠赤外画像の特徴領域を抽出し、同一の特徴領域として位置ずれ量を算出することで、位置合わせを行う方法が記載されている。 Further, Patent Document 2 describes a method of performing alignment by extracting feature regions of a visible image and a far-infrared image and calculating the amount of misalignment as the same feature region.

特開2013−175023号公報Japanese Unexamined Patent Publication No. 2013-175023 特許第4685050号公報Japanese Patent No. 4685050

特許文献1に記載されているように、2台のカメラ画像から種類が異なる複数の特徴量を抽出し、各々の特徴量を用いて、異なる2台のカメラの位置ずれ量を算出することにより、位置合わせを行うことも可能である。しかし、特許文献1に記載された方法は、複数の特徴量をそれぞれ算出する必要があるため、処理が煩雑になってしまうという問題がある。 As described in Patent Document 1, by extracting a plurality of different types of features from two camera images and using each feature to calculate the amount of misalignment of the two different cameras. , It is also possible to perform alignment. However, the method described in Patent Document 1 has a problem that the processing becomes complicated because it is necessary to calculate each of a plurality of feature quantities.

また、特許文献2に記載された方法では、可視画像と遠赤外画像の特徴領域を抽出する際、予め既知の形状から特徴を抽出することにより、可視画像と遠赤外画像の位置ずれ量を算出する。しかし、特許文献2に記載された方法の場合、既知の形状でなければ、可視画像と遠赤外画像の特徴領域を抽出することができないという問題がある。例えば、遠方と近傍でそれぞれ特徴領域が検出された場合、位置合わせを行う事ができないという問題がある。 Further, in the method described in Patent Document 2, when the feature regions of the visible image and the far infrared image are extracted, the features are extracted from the known shapes in advance, so that the amount of misalignment between the visible image and the far infrared image is large. Is calculated. However, in the case of the method described in Patent Document 2, there is a problem that the feature regions of the visible image and the far-infrared image cannot be extracted unless the shape is known. For example, when feature regions are detected in the distance and in the vicinity, there is a problem that alignment cannot be performed.

そこで、本発明は、被写体の温度や形状を事前に把握しなくても、適切に画像の位置合わせを行うことができる画像位置合わせシステム、画像位置合わせ方法および画像位置合わせプログラムを記憶する記録媒体を提供することを目的とする。 Therefore, the present invention is a recording medium that stores an image alignment system, an image alignment method, and an image alignment program that can appropriately align images without knowing the temperature and shape of the subject in advance. The purpose is to provide.

本発明による画像位置合わせシステムは、第一の画像の画像特徴である第一特徴を算出する第一特徴算出部と、第一の画像と少なくとも撮影範囲の一部が重複する第二の画像の画像特徴である第二特徴を算出する第二特徴算出部と、第二特徴を算出した部分の画像の色を反転させた画像の画像特徴である反転特徴を算出する反転特徴算出部と、対応する第一特徴と第二特徴との距離、および、対応する第一特徴と反転特徴との距離を算出して、両者のうち短い距離を第一特徴と第二特徴との距離を特定する距離特定部と、特定された距離が予め定めた距離以下の場合、第一特徴の第一の画像中における座標位置および第二特徴の第二の画像中における座標位置を特定して、第一の画像と第二の画像とを合わせる座標位置を算出する座標位置決定部とを備える。
The image alignment system according to the present invention includes a first feature calculation unit that calculates the first feature, which is an image feature of the first image, and a second image in which at least a part of the shooting range overlaps with the first image. Correspondence between the second feature calculation unit that calculates the second feature, which is an image feature, and the inverted feature calculation unit, which calculates the inverted feature that is the image feature of the image in which the color of the image in which the second feature is calculated is inverted. The distance between the first feature and the second feature, and the distance between the corresponding first feature and the inverted feature are calculated, and the shortest distance between the two is the distance to specify the distance between the first feature and the second feature. When the specified part and the specified distance are less than or equal to the predetermined distance, the coordinate position in the first image of the first feature and the coordinate position in the second image of the second feature are specified to specify the first feature. It is provided with a coordinate position determining unit that calculates a coordinate position for combining the image and the second image.

本発明による画像位置合わせ方法は、第一の画像の画像特徴である第一特徴を算出し、第一の画像と少なくとも撮影範囲の一部が重複する第二の画像の画像特徴である第二特徴を算出し、第二特徴を算出した部分の画像の色を反転させた画像の画像特徴である反転特徴を算出し、対応する第一特徴と第二特徴との距離、および、対応する第一特徴と反転特徴との距離を算出して、両者のうち短い距離を第一特徴と第二特徴との距離を特定し、特定された距離が予め定めた距離以下の場合、第一特徴の第一の画像中における座標位置および第二特徴の第二の画像中における座標位置を特定して、第一の画像と第二の画像とを合わせる座標位置を算出する。
The image alignment method according to the present invention calculates the first feature, which is an image feature of the first image, and is the second image feature, which is an image feature of the second image in which at least a part of the shooting range overlaps with the first image. The feature is calculated, the inverted feature which is the image feature of the image in which the color of the image of the portion where the second feature is calculated is inverted is calculated, the distance between the corresponding first feature and the second feature, and the corresponding first feature. Calculate the distance between one feature and the inverted feature, specify the shortest distance between the two, specify the distance between the first feature and the second feature, and if the specified distance is less than or equal to the predetermined distance, the first feature The coordinate position in the first image and the coordinate position in the second image of the second feature are specified, and the coordinate position where the first image and the second image are combined is calculated.

本発明によるコンピュータ読み取り可能な記録媒体は、コンピュータに、第一の画像の画像特徴である第一特徴を算出する第一特徴算出処理、第一の画像と少なくとも撮影範囲の一部が重複する第二の画像の画像特徴である第二特徴を算出する第二特徴算出処理、第二特徴を算出した部分の画像の色を反転させた画像の画像特徴である反転特徴を算出する反転特徴算出処理、対応する第一特徴と第二特徴との距離、および、対応する第一特徴と反転特徴との距離を算出して、両者のうち短い距離を第一特徴と第二特徴との距離を特定する距離特定処理、および、特定された距離が予め定めた距離以下の場合、第一特徴の第一の画像中における座標位置および第二特徴の第二の画像中における座標位置を特定して、第一の画像と第二の画像とを合わせる座標位置を算出する座標位置決定処理を実行させる画像位置合わせプログラムを記憶する。
The computer-readable recording medium according to the present invention has a first feature calculation process for calculating the first feature, which is an image feature of the first image, on the computer, and at least a part of the photographing range overlaps with the first image. Second feature calculation process for calculating the second feature, which is the image feature of the second image, and inversion feature calculation process for calculating the inverted feature, which is the image feature of the image in which the color of the image in which the second feature is calculated is inverted. , Calculate the distance between the corresponding first feature and the second feature, and the distance between the corresponding first feature and the inverted feature, and specify the shortest distance between the two to identify the distance between the first feature and the second feature. When the specified distance is less than or equal to the predetermined distance, the coordinate position in the first image of the first feature and the coordinate position in the second image of the second feature are specified. An image alignment program for executing a coordinate position determination process for calculating a coordinate position for matching the first image and the second image is stored.

本発明によれば、被写体の温度や形状を事前に把握しなくても、適切に画像の位置合わせを行うことができる。 According to the present invention, it is possible to appropriately align images without knowing the temperature and shape of the subject in advance.

本発明による画像位置合わせシステムの一実施形態を示すブロック図である。It is a block diagram which shows one Embodiment of the image alignment system by this invention. 各カメラで撮影された画像の例を示す説明図である。It is explanatory drawing which shows the example of the image taken by each camera. 各カメラで撮影された画像の他の例を示す説明図である。It is explanatory drawing which shows the other example of the image taken by each camera. 第一特徴と第二特徴との距離の関係を示す説明図である。It is explanatory drawing which shows the relationship of the distance between the 1st feature and the 2nd feature. 第一特徴と第二特徴との距離の関係を示す説明図である。It is explanatory drawing which shows the relationship of the distance between the 1st feature and the 2nd feature. 画像位置合わせシステムを含む構成の一例を示す説明図である。It is explanatory drawing which shows an example of the structure including the image alignment system. 画像位置合わせシステムの動作例を示すフローチャートである。It is a flowchart which shows the operation example of the image alignment system. 本発明の画像位置合わせシステムの概要を示すブロック図である。It is a block diagram which shows the outline of the image alignment system of this invention.

以下では、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。 Hereinafter, specific embodiments to which the present invention is applied will be described in detail with reference to the drawings.

図1は、本発明による画像位置合わせシステムの一実施形態を示すブロック図である。
本実施形態の画像位置合わせシステムは、第一カメラ画像入力部11と、第二カメラ画像入力部12と、第一画像特徴算出部13と、第二画像特徴算出部14と、距離特定部15と、画像座標位置決定部16とを備えている。
FIG. 1 is a block diagram showing an embodiment of an image alignment system according to the present invention.
The image alignment system of the present embodiment includes a first camera image input unit 11, a second camera image input unit 12, a first image feature calculation unit 13, a second image feature calculation unit 14, and a distance identification unit 15. And an image coordinate position determining unit 16.

第一カメラ画像入力部11は、第一のカメラ(図1において図示せず)で撮影された画像を入力する。また、第二カメラ画像入力部12は、第二のカメラ(図1において図示せず)で撮影された画像を入力する。なお、第一のカメラと第二のカメラとは、少なくとも撮影範囲の一部が重複するように設置される。すなわち、第一のカメラで撮影される画像(以下、第一の画像と記す。)と、第二のカメラで撮影される画像(以下、第二の画像と記す。)とは、少なくとも撮影範囲の一部が重複する。 The first camera image input unit 11 inputs an image taken by the first camera (not shown in FIG. 1). Further, the second camera image input unit 12 inputs an image taken by the second camera (not shown in FIG. 1). The first camera and the second camera are installed so that at least a part of the shooting range overlaps. That is, the image taken by the first camera (hereinafter referred to as the first image) and the image taken by the second camera (hereinafter referred to as the second image) are at least the shooting range. Part of is duplicated.

第一のカメラが撮影する画像の種類と、第二のカメラが撮影する画像の種類とは、同一であってもよく、異なっていてもよい。具体的には、第一のカメラと第二のカメラとは、同種のセンサを備えたカメラで実現されていてもよく、異種のセンサを備えたカメラで実現されていてもよい。例えば、第一のカメラが可視カメラで、第二のカメラが遠赤外カメラであってもよい。なお、第一のカメラおよび第二のカメラの態様は、可視カメラや遠赤外カメラに限られず、例えば、近赤外カメラなどであってもよい。本実施形態では、第一のカメラが可視光領域を撮像する可視カメラであるとし、第二のカメラが遠赤外領域を撮像する遠赤外カメラであるとする。 The type of image captured by the first camera and the type of image captured by the second camera may be the same or different. Specifically, the first camera and the second camera may be realized by a camera having the same type of sensor, or may be realized by a camera having different types of sensors. For example, the first camera may be a visible camera and the second camera may be a far infrared camera. The mode of the first camera and the second camera is not limited to the visible camera and the far-infrared camera, and may be, for example, a near-infrared camera. In the present embodiment, it is assumed that the first camera is a visible camera that captures a visible light region, and the second camera is a far-infrared camera that captures a far-infrared region.

また、第一のカメラの撮影範囲と第二のカメラの撮影範囲に基づいて、第一の画像または第二の画像のいずれか一方の画像の被写体が他方の画像の被写体に重なるように変換する変換方法を予め計算しておいてもよい。例えば、第一のカメラと第二のカメラの設置位置に対して十分に遠方の距離にある既知の被写体(例えば、ビルの壁面、ガラス窓等)を利用して画像全体の位置合わせが行われていてもよい。 Also, based on the shooting range of the first camera and the shooting range of the second camera, the subject of either the first image or the second image is converted so as to overlap the subject of the other image. The conversion method may be calculated in advance. For example, the entire image is aligned using a known subject (eg, a building wall, a glass window, etc.) that is far enough away from the installation positions of the first and second cameras. You may be.

この場合、第一カメラ画像入力部11または第二カメラ画像入力部12は、入力された画像を予め定められた変換方法に基づいて変換してもよい。例えば、第一カメラ画像入力部11が、第一のカメラのキャリブレーション情報に基づいて、第一の画像をホモグラフィ変換し、第二の画像とのステレオ画像を生成してもよい。このようにすることで、画角が異なる場合でも、画像の見た目の差異を吸収することが可能になる。 In this case, the first camera image input unit 11 or the second camera image input unit 12 may convert the input image based on a predetermined conversion method. For example, the first camera image input unit 11 may perform homographic conversion of the first image based on the calibration information of the first camera to generate a stereo image with the second image. By doing so, it is possible to absorb the difference in the appearance of the images even if the angles of view are different.

図2は、各カメラで撮影された画像の例を示す説明図である。図2(a)は、可視カメラで撮影された画像の例を示す。第一のカメラが可視カメラである場合、例えば、図2(a)に例示する画像P10が入力される。画像P10において、明るい空P101の領域と、明るい灰色の塀P102の領域が存在する。また、画像P10は、塀P102を背景として楕円の暗い色のボールP103が飛んでいるシーンを示す。 FIG. 2 is an explanatory diagram showing an example of an image taken by each camera. FIG. 2A shows an example of an image taken by a visible camera. When the first camera is a visible camera, for example, the image P10 illustrated in FIG. 2A is input. In image P10, there is a region of bright sky P101 and a region of light gray fence P102. Further, the image P10 shows a scene in which an elliptical dark-colored ball P103 is flying against a wall P102 as a background.

また、図2(b)は、遠赤外カメラで撮影された画像の例を示す説明図である。第二のカメラが遠赤外カメラである場合、例えば、図2(b)に例示する画像P20が入力される。例えば、雲一つない空P201の場合、この領域は極端に低い温度になるため、画像P20において、空P201を示す領域は、黒く表示される。また、例えば、それほど暖められていない塀P202の場合、画像P20において、塀P202を示す領域は、濃い灰色で表示される。また、楕円の暗いボールP203が太陽光で熱せられている場合、そのボールは高い温度になるため、ボールP203を示す領域は薄い灰色で表示される。 Further, FIG. 2B is an explanatory diagram showing an example of an image taken by a far-infrared camera. When the second camera is a far-infrared camera, for example, the image P20 illustrated in FIG. 2B is input. For example, in the case of the sky P201 without clouds, this region has an extremely low temperature, so that the region showing the sky P201 is displayed in black in the image P20. Further, for example, in the case of the fence P202 which is not so warmed, the region showing the fence P202 is displayed in dark gray in the image P20. Further, when the elliptical dark ball P203 is heated by sunlight, the temperature of the ball becomes high, so that the region showing the ball P203 is displayed in light gray.

図3は、各カメラで撮影された画像の他の例を示す説明図である。例えば、図2と見た目に同じシーンが撮影された場合、図3(a)に例示する画像P10は、図2(a)に例示する画像P10と同じになる。一方、同じ見た目のシーンでも、被写体の温度が異なる場合、遠赤外カメラで撮影される画像の内容は異なる。 FIG. 3 is an explanatory diagram showing another example of the image taken by each camera. For example, when the same scene as in FIG. 2 is shot, the image P10 illustrated in FIG. 3A becomes the same as the image P10 illustrated in FIG. 2A. On the other hand, even in a scene having the same appearance, if the temperature of the subject is different, the content of the image taken by the far-infrared camera is different.

例えば、同じボールや塀でも、塀が直射日光に熱せられ、ボールが水につかって冷やされているとする。この場合、図3(b)に例示するように、画像P20において、塀P204を示す領域は薄い灰色で表示され、ボールP205を示す領域は暗い灰色で表示される。このように、見た目には同じボールや塀であっても、図2およびと図3に例示するように、別の画像が得られる場合がある。 For example, suppose that the same ball or fence is heated by direct sunlight and the ball is cooled by water. In this case, as illustrated in FIG. 3B, in the image P20, the area showing the fence P204 is displayed in light gray, and the area showing the ball P205 is displayed in dark gray. As described above, even if the balls and fences are visually the same, different images may be obtained as illustrated in FIGS. 2 and 3.

第一画像特徴算出部13は、第一カメラ画像入力部11が入力する画像(第一の画像)から1つ以上の画像特徴を算出する。以下の説明では、第一の画像から算出された画像特徴を第一特徴と記す。ここで、画像特徴とは、スケールが変化しても画像中に特徴的に現れる部分のことであり、広く知られた任意の方法を用いて算出される。第一画像特徴算出部13は、例えば、SIFT(Scale-Invariant Feature Transform )アルゴリズムを用いて画像特徴を算出してもよい。 The first image feature calculation unit 13 calculates one or more image features from the image (first image) input by the first camera image input unit 11. In the following description, the image feature calculated from the first image will be referred to as the first feature. Here, the image feature is a portion that appears characteristically in the image even if the scale changes, and is calculated by using an arbitrary method that is widely known. The first image feature calculation unit 13 may calculate an image feature using, for example, a SIFT (Scale-Invariant Feature Transform) algorithm.

ただし、算出される画像特徴はSIFTアルゴリズムを用いて算出される画像特徴に限定されず、例えば、BRIEF(Binary Robust Independent Elementary Features )特徴や、ORB(Oriented-BRIEF)特徴が画像特徴として用いられてもよい。 However, the calculated image features are not limited to the image features calculated using the SIFT algorithm, and for example, BRIEF (Binary Robust Independent Elementary Features) features and ORB (Oriented-BRIEF) features are used as image features. May be good.

BRIEF特徴やORB特徴のようなバイナリ特徴が用いられる場合、第一画像特徴算出部13は、例えば、FAST(Features from Accelerated Segment Test)を利用して特徴点を抽出してもよい。この場合、第一画像特徴算出部13は、注目画素pの周辺の円周上の16画素を観測し、注目画素pの輝度値と比較して円周上の輝度値が連続してn個以上が閾値t以上明るい(または暗い)場所をコーナー点とし、キーポイントとして登録する。そして、第一画像特徴算出部13は、キーポイントを中心としてガウシアンフィルタによりパッチを平滑化し、ランダムに選択されたペアの画素値の大小関係からバイナリ列を生成する。このバイナリ列がバイナリ特徴として用いられる。画像特徴がバイナリ特徴で表される場合、バイナリ列が同一となるキーポイントが同一のコーナー点として表現されるため、対応付ける画像特徴の微妙なずれを吸収することが可能になる。 When binary features such as BRIEF features and ORB features are used, the first image feature calculation unit 13 may extract feature points by using, for example, FAST (Features from Accelerated Segment Test). In this case, the first image feature calculation unit 13 observes 16 pixels on the circumference around the pixel of interest p, and the luminance value on the circumference is continuously n as compared with the luminance value of the pixel of interest p. A place where the above is bright (or dark) above the threshold value t is set as a corner point and registered as a key point. Then, the first image feature calculation unit 13 smoothes the patch by a Gaussian filter centering on the key point, and generates a binary sequence from the magnitude relation of the pixel values of the randomly selected pair. This binary sequence is used as a binary feature. When the image feature is represented by a binary feature, the key points having the same binary sequence are represented as the same corner point, so that it is possible to absorb a slight deviation of the associated image feature.

第二画像特徴算出部14は、第二カメラ画像入力部12が入力する画像(第二の画像)から1つ以上の画像特徴を算出する。以下の説明では、第二の画像から算出された画像特徴を第二特徴と記す。さらに、第二画像特徴算出部14は、第二特徴を算出した部分の画像の色(具体的には、輝度値)を反転させた画像の画像特徴を算出する。以下の説明では、第二特徴を算出した部分の画像の色を反転させた画像の画像特徴を反転特徴と記す。なお、第二画像特徴算出部14が画像特徴を算出する方法は、第一画像特徴算出部13が画像特徴を算出する方法と同様である。 The second image feature calculation unit 14 calculates one or more image features from the image (second image) input by the second camera image input unit 12. In the following description, the image feature calculated from the second image will be referred to as the second feature. Further, the second image feature calculation unit 14 calculates the image feature of the image in which the color (specifically, the brightness value) of the image of the portion where the second feature is calculated is inverted. In the following description, the image feature of the image in which the color of the image of the portion where the second feature is calculated is inverted is referred to as an inverted feature. The method in which the second image feature calculation unit 14 calculates the image feature is the same as the method in which the first image feature calculation unit 13 calculates the image feature.

距離特定部15は、第一の画像と第二の画像で対応する画像特徴同士の距離を算出する。第一の画像と第二の画像は、少なくとも撮影範囲の一部が重複するため、その重複する撮影範囲で画像特徴同士が対応付けられればよい。 The distance specifying unit 15 calculates the distance between the image features corresponding to each other in the first image and the second image. Since at least a part of the shooting range of the first image and the second image overlaps, it is sufficient that the image features are associated with each other in the overlapping shooting range.

具体的には、距離特定部15は、対応する第一特徴と第二特徴との距離を算出する。さらに、距離特定部15は、対応する第一特徴と反転特徴との距離を算出する。そして、距離特定部15は、算出した2種類の距離のうち、短い方の距離を、第一特徴と第二特徴との距離として特定する。 Specifically, the distance specifying unit 15 calculates the distance between the corresponding first feature and the second feature. Further, the distance specifying unit 15 calculates the distance between the corresponding first feature and the inverted feature. Then, the distance specifying unit 15 specifies the shorter of the calculated two types of distances as the distance between the first feature and the second feature.

例えば、画像特徴がバイナリ特徴で表される場合、画像特徴同士の距離は、値が異なるビットの数に相当する。図4および図5は、第一特徴と第二特徴との距離の関係を示す説明図である。図4および図5に例示するグラフは、横軸にビット間符号の異なる数が設定され、縦軸に特徴点間距離(すなわち、バイナリ特徴の距離)が設定されている。図4に例示するグラフは、一般的な方法により特定される距離の関係を示しており、ビット間符号の異なる数が増加するにしたがって、特徴点間距離も単調に増加することを示す。 For example, when an image feature is represented by a binary feature, the distance between the image features corresponds to the number of bits with different values. 4 and 5 are explanatory views showing the relationship between the distance between the first feature and the second feature. In the graphs illustrated in FIGS. 4 and 5, different numbers of bit-to-bit codes are set on the horizontal axis, and the distance between feature points (that is, the distance between binary features) is set on the vertical axis. The graph illustrated in FIG. 4 shows the relationship of distances specified by a general method, and shows that the distance between feature points increases monotonically as the number of different bit-to-bit codes increases.

一方、図5に例示するグラフは、距離特定部15により特定される距離の関係を示している。図5に示す例では、ビット間符号の異なる数が増加するにしたがって、特徴点距離も単調に増加するが、ビット間符号の異なる数が全体のビット数の半分を超えると、特徴点距離は単調に減少する。これは、ビット間符号の異なる数が全体のビット数の半分を超えると、反転した画像の画像特徴との距離が逆に近くなるためである。 On the other hand, the graph illustrated in FIG. 5 shows the relationship of the distances specified by the distance specifying unit 15. In the example shown in FIG. 5, the feature point distance increases monotonically as the number of different bit-to-bit codes increases, but when the number of different bit-to-bit codes exceeds half of the total number of bits, the feature point distance increases. It decreases monotonically. This is because when the number of different bit-to-bit codes exceeds half of the total number of bits, the distance between the inverted image and the image feature becomes close to the opposite.

画像座標位置決定部16は、特定された距離が予め定めた閾値以下である第一特徴と第二特徴のペアを抽出する。この閾値は、例えば、カメラのノイズ等に応じてユーザにより設定される。画像座標位置決定部16は、抽出した第一特徴の第一の画像中における座標位置を特定する。同様に、画像座標位置決定部16は、抽出した第二特徴の第二の画像中における座標位置を特定する。そして、画像座標位置決定部16は、特定した座標位置に基づいて、第一の画像と第二の画像とを合わせる座標位置を算出する。 The image coordinate position determining unit 16 extracts a pair of a first feature and a second feature whose specified distance is equal to or less than a predetermined threshold value. This threshold value is set by the user according to, for example, camera noise. The image coordinate position determination unit 16 specifies the coordinate position in the first image of the extracted first feature. Similarly, the image coordinate position determination unit 16 specifies the coordinate position in the second image of the extracted second feature. Then, the image coordinate position determination unit 16 calculates the coordinate position to match the first image and the second image based on the specified coordinate position.

画像座標位置決定部16は、例えば、算出した第二の画像の各座標位置を第一の画像の各座標位置に合わせるようにしてもよい。なお、画像間で対応する座標位置を一致させるように座標位置を算出する方法は広く知られており、ここでは詳細な説明は省略する。 The image coordinate position determination unit 16 may, for example, adjust each coordinate position of the calculated second image to each coordinate position of the first image. It should be noted that a method of calculating the coordinate position so as to match the corresponding coordinate positions between the images is widely known, and detailed description thereof will be omitted here.

また、画像座標位置決定部16は、画像特徴により特定した座標位置と、算出した座標位置との差異に基づいて、一方の画像の局所的な補正(具体的には、移動、変形、拡大、縮小など)を実施して、第一の画像と第二の画像とを重ね合わせて表示してもよい。第一のカメラと第二のカメラの相対位置関係が固定されていれば、事前の各カメラのキャリブレーションにより、第一の画像と第二の画像との重ね合わせは概ね実施できるが、被写体の距離に応じて視差が生ずる。そこで、局所的に補正して画像を重ね合わせることで、全体として適切な重ね合わせ画像を生成できる。 Further, the image coordinate position determination unit 16 locally corrects (specifically, moves, deforms, enlarges,) one image based on the difference between the coordinate position specified by the image feature and the calculated coordinate position. (Reduction, etc.) may be performed to superimpose and display the first image and the second image. If the relative positional relationship between the first camera and the second camera is fixed, it is possible to superimpose the first image and the second image by calibrating each camera in advance, but the subject Parallax occurs depending on the distance. Therefore, by locally correcting and superimposing the images, an appropriate superposed image can be generated as a whole.

例えば、遠方のビルやビルの窓枠などで各カメラのキャリブレーションを行っていた場合、手前を飛行する小型無線飛行機を可視カメラ及び遠赤外カメラで撮影した場合、一般的な方法では、画像の位置合わせを行うことは困難である。しかし、本実施形態では、距離特定部15が、対応する画像特徴を特定できるため、このような状況を撮影した画像であっても、適切に位置合わせを行うことが可能になる。 For example, if each camera is calibrated in a distant building or a window frame of a building, or if a small wireless airplane flying in front is photographed with a visible camera or a far-infrared camera, the general method is an image. It is difficult to align the. However, in the present embodiment, since the distance specifying unit 15 can specify the corresponding image feature, it is possible to appropriately align the image even if the image is captured in such a situation.

可視画像と遠赤外画像が適切に合わせられることを、上述する図2および図3を参照して説明する。図3に例示するように、画像の明暗が可視と遠赤外で一致している場合、第一特徴と第二特徴との距離が、第一特徴と反転特徴との距離に比べて短くなる。一方、図2に例示するように、画像の明暗が可視と遠赤外で逆転する場合、第一特徴と反転特徴との距離が、第一特徴と第二特徴との距離に比べて短くなる。 Appropriate matching of the visible image and the far-infrared image will be described with reference to FIGS. 2 and 3 described above. As illustrated in FIG. 3, when the light and darkness of the image matches in the visible and the far infrared, the distance between the first feature and the second feature is shorter than the distance between the first feature and the inverted feature. .. On the other hand, as illustrated in FIG. 2, when the brightness of the image is reversed between visible and far infrared, the distance between the first feature and the inverted feature is shorter than the distance between the first feature and the second feature. ..

したがって、いずれの場合にも、距離が近く算出される特徴同士の対応関係に基づいて両画像の座標位置を特定できるため、被写体の温度や形状を事前に把握しなくても、適切に画像の位置合わせを行うことができる。 Therefore, in either case, the coordinate positions of both images can be specified based on the correspondence between the features whose distances are calculated close to each other, so that the temperature and shape of the subject can be appropriately determined without knowing the temperature and shape of the subject in advance. Alignment can be performed.

このことを、画像特徴がバイナリ特徴で表される場合を例に挙げ、具体的に説明する。
例えば、黒い高温のボールが白い低温の壁の前を通過していると仮定する。これを可視画像として撮影すると、撮影される可視画像は、白の背景に黒丸の画像データになる。一方これを遠赤外画像として撮影すると、撮影される遠赤外画像は、高温が白色に表現されることが多いため、黒の背景に白丸の画像データになる。
This will be specifically described by taking as an example the case where the image feature is represented by the binary feature.
For example, suppose a hot black ball is passing in front of a cold white wall. When this is captured as a visible image, the captured visible image becomes image data of black circles on a white background. On the other hand, when this is taken as a far-infrared image, the far-infrared image to be taken often has a high temperature expressed in white, so that the image data is white circles on a black background.

各画像データの画像特徴をバイナリ特徴で表現した場合、排他的論理和の演算結果(距離)は最大値になるが、否定排他的論理和の演算結果(距離)は最小値になるため、最小値を選択することによって位置合わせが可能になる。 When the image features of each image data are expressed by binary features, the calculation result (distance) of the exclusive OR is the maximum value, but the calculation result (distance) of the negative exclusive OR is the minimum value, so it is the minimum. Alignment is possible by selecting a value.

逆に、黒い低温のボールが白い高温の壁の前を通過していると仮定する。これを可視画像として撮影すると、撮影される可視画像は、前述する仮定と同様に、白の背景に黒丸の画像データとなる。一方、これを遠赤外画像として撮影すると、撮影される遠赤外画像は、白の背景に黒丸の画像データになる。 Conversely, suppose a black cold ball is passing in front of a white hot wall. When this is captured as a visible image, the captured visible image becomes image data of black circles on a white background, as in the above assumption. On the other hand, when this is captured as a far-infrared image, the captured far-infrared image becomes image data of black circles on a white background.

各画像データの画像特徴をバイナリ特徴で表現した場合、排他的論理和の演算結果(距離)は最小値になるが、否定排他的論理和の演算結果(距離)は最大値になるため、最小値を選択することによって、やはり位置合わせが可能になる。 When the image features of each image data are expressed by binary features, the calculation result (distance) of the exclusive OR is the minimum value, but the calculation result (distance) of the negative exclusive OR is the maximum value, so it is the minimum. By selecting a value, alignment is also possible.

したがって、仮に可視画像の明暗と遠赤外画像の明暗の状態が異なる場合にも、可視画像と遠赤外画像から算出された特徴量が近い部分を判断することができるため、画像の位置合わせをすることが可能になる。すなわち、物体や周辺の色や温度を予め考慮することなく、異なる2台のカメラ画像の位置合わせをすることが可能になる。 Therefore, even if the brightness of the visible image and the brightness of the far-infrared image are different, it is possible to determine the portion where the feature amounts calculated from the visible image and the far-infrared image are close to each other. Will be possible. That is, it is possible to align two different camera images without considering the color and temperature of the object and its surroundings in advance.

第一カメラ画像入力部11と、第二カメラ画像入力部12と、第一画像特徴算出部13と、第二画像特徴算出部14と、距離特定部15と、画像座標位置決定部16とは、プログラム(画像位置合わせプログラム)に従って動作するコンピュータのCPU(Central Processing Unit)によって実現される。 The first camera image input unit 11, the second camera image input unit 12, the first image feature calculation unit 13, the second image feature calculation unit 14, the distance identification unit 15, and the image coordinate position determination unit 16 , It is realized by the CPU (Central Processing Unit) of the computer that operates according to the program (image alignment program).

図6は、本実施形態の画像位置合わせシステムを含む構成の一例を示す説明図である。
例えば、プログラムは、図6に例示する記憶部34に記憶され、CPUを含むCPU部33は、そのプログラムを読み込み、プログラムに従って、第一カメラ画像入力部11、第二カメラ画像入力部12、第一画像特徴算出部13、第二画像特徴算出部14、距離特定部15および画像座標位置決定部16として動作してもよい。
FIG. 6 is an explanatory diagram showing an example of a configuration including the image alignment system of the present embodiment.
For example, the program is stored in the storage unit 34 illustrated in FIG. 6, the CPU unit 33 including the CPU reads the program, and the first camera image input unit 11, the second camera image input unit 12, and the second camera image input unit 12 according to the program. It may operate as one image feature calculation unit 13, a second image feature calculation unit 14, a distance identification unit 15, and an image coordinate position determination unit 16.

また、CPU部33は、カメラ部31から入力される画像を第一の画像とし、カメラ部32から入力される画像を第二の画像として処理を実行してもよい。また、CPU部33は、必要な情報を記憶部34から読み込むとともに、画像の位置合わせ結果を表示部35に表示させてもよい。表示部35は、例えば、ディスプレイ装置により実現される。また、記憶部34は、例えば、磁気ディスク装置等により実現される。 Further, the CPU unit 33 may execute the process using the image input from the camera unit 31 as the first image and the image input from the camera unit 32 as the second image. Further, the CPU unit 33 may read necessary information from the storage unit 34 and display the image alignment result on the display unit 35. The display unit 35 is realized by, for example, a display device. Further, the storage unit 34 is realized by, for example, a magnetic disk device or the like.

また、第一カメラ画像入力部11と、第二カメラ画像入力部12と、第一画像特徴算出部13と、第二画像特徴算出部14と、距離特定部15と、画像座標位置決定部16とは、それぞれが専用のハードウェアで実現されていてもよい。また、本発明による画像位置合わせシステムは、2つ以上の物理的に分離した装置が有線または無線で接続されることにより構成されていてもよい。 Further, the first camera image input unit 11, the second camera image input unit 12, the first image feature calculation unit 13, the second image feature calculation unit 14, the distance identification unit 15, and the image coordinate position determination unit 16 And each may be realized by dedicated hardware. Further, the image alignment system according to the present invention may be configured by connecting two or more physically separated devices by wire or wirelessly.

次に、本実施形態の画像位置合わせシステムの動作を説明する。図7は、本実施形態の画像位置合わせシステムの動作例を示すフローチャートである。第一カメラ画像入力部11は、第一の画像を入力する。また、第二カメラ画像入力部12は、第二の画像を入力する(ステップS11)。 Next, the operation of the image alignment system of the present embodiment will be described. FIG. 7 is a flowchart showing an operation example of the image alignment system of the present embodiment. The first camera image input unit 11 inputs the first image. Further, the second camera image input unit 12 inputs a second image (step S11).

第一画像特徴算出部13は、第一の画像の画像特徴(第一特徴)を算出する(ステップS12)。同様に、第二画像特徴算出部14は、第二の画像の画像特徴(第二特徴)を算出する(ステップS13)。また、第二画像特徴算出部14は、第二特徴を算出した部分の画像の色を反転させた画像の画像特徴(反転特徴)を算出する(ステップS14)。なお、ステップS12からステップS14までの処理の順序は任意である。 The first image feature calculation unit 13 calculates the image feature (first feature) of the first image (step S12). Similarly, the second image feature calculation unit 14 calculates the image feature (second feature) of the second image (step S13). In addition, the second image feature calculation unit 14 calculates the image feature (reversed feature) of the image in which the color of the image of the portion where the second feature is calculated is inverted (step S14). The order of processing from step S12 to step S14 is arbitrary.

距離特定部15は、対応する第一特徴と第二特徴との距離、および、対応する第一特徴と反転特徴との距離を算出する(ステップS15)。そして、距離特定部15は、両者のうち短い距離を第一特徴と第二特徴との距離と特定する(ステップS16)。 The distance specifying unit 15 calculates the distance between the corresponding first feature and the second feature, and the distance between the corresponding first feature and the inverted feature (step S15). Then, the distance specifying unit 15 identifies the shorter distance between the two as the distance between the first feature and the second feature (step S16).

特定された距離が予め定めた距離以下の各特徴を対象に、画像座標位置決定部16は、第一特徴の第一の画像中における座標位置および第二特徴の第二の画像中における座標位置を特定する(ステップS17)。そして、画像座標位置決定部16は、第一の画像と第二の画像とを合わせる座標位置を算出する(ステップS18)。
For each feature whose specified distance is less than or equal to a predetermined distance, the image coordinate position determining unit 16 determines the coordinate position in the first image of the first feature and the coordinate position in the second image of the second feature. Is specified (step S17). Then, the image coordinate position determination unit 16 calculates the coordinate position to match the first image and the second image (step S18).

以上のように、本実施形態では、第一画像特徴算出部13が第一特徴を算出し、第二画像特徴算出部14が第二特徴を算出するとともに、第二特徴を算出した部分の画像の色を反転させた画像の反転特徴を算出する。その後、距離特定部15が、対応する第一特徴と第二特徴との距離、および、対応する第一特徴と反転特徴との距離を算出して、両者のうち短い距離を第一特徴と第二特徴との距離と特定する。そして、画像座標位置決定部16は、特定された距離が予め定めた距離以下の場合、第一特徴の第一の画像中における座標位置および第二特徴の第二の画像中における座標位置を特定して、第一の画像と第二の画像とを合わせる座標位置を算出する。よって、被写体の温度や形状を事前に把握しなくても、適切に画像の位置合わせを行うことができる。
As described above, in the present embodiment, the first image feature calculation unit 13 calculates the first feature, the second image feature calculation unit 14 calculates the second feature, and the image of the portion where the second feature is calculated. The inversion feature of the image in which the color of is inverted is calculated. After that, the distance specifying unit 15 calculates the distance between the corresponding first feature and the second feature, and the distance between the corresponding first feature and the inverted feature, and sets the shorter distance between the two as the first feature and the first feature. Identify the distance to the two features. Then, when the specified distance is equal to or less than a predetermined distance, the image coordinate position determining unit 16 specifies the coordinate position in the first image of the first feature and the coordinate position in the second image of the second feature. Then, the coordinate position where the first image and the second image are combined is calculated. Therefore, the image can be appropriately aligned without knowing the temperature and shape of the subject in advance.

また、本実施形態では、第二画像特徴算出部14が、全体の画像を反転するのではなく、画像特徴を算出した部分の画像を反転して画像特徴(反転特徴)を算出する。このように、部分単位で反転した画像の画像特徴を算出して比較することで、全体のホモグラフィとしては整合する画像のうち一部がずれるような画像の位置合わせを適切に行うことが可能になる。 Further, in the present embodiment, the second image feature calculation unit 14 does not invert the entire image, but inverts the image of the portion where the image feature is calculated to calculate the image feature (inverted feature). In this way, by calculating and comparing the image features of the images that are inverted in partial units, it is possible to appropriately align the images so that some of the matching images are out of alignment as the overall homography. become.

また、本実施形態では、距離特定部15が、温度情報に基づく画像特徴の差異を吸収できるため、事前に撮像される物体の温度情報を得ることが困難な場合でも、対応する特徴のペアを一度に検出でき、且つ位置合わせを高速に行うことができる。 Further, in the present embodiment, since the distance specifying unit 15 can absorb the difference in the image features based on the temperature information, even when it is difficult to obtain the temperature information of the object to be imaged in advance, the corresponding pair of features can be obtained. It can be detected all at once, and alignment can be performed at high speed.

また、画像特徴がバイナリ特徴で表される場合、上述するように、画像特徴同士の距離は値が異なるビット数に相当する。そのため、本実施形態の画像位置合わせシステムの各構成要素は、以下の処理を実施していると言うこともできる。 Further, when the image feature is represented by a binary feature, as described above, the distance between the image features corresponds to the number of bits having different values. Therefore, it can be said that each component of the image alignment system of the present embodiment performs the following processing.

具体的には、第一画像特徴算出部13は、第一特徴として第一バイナリ特徴を算出する。また、第二画像特徴算出部14は、第二特徴として第二バイナリ特徴を算出する。距離特定部15は、第一バイナリ特徴と第二バイナリ特徴の排他的論理和の演算を行うことにより、両特徴(第一バイナリ特徴と第二バイナリ特徴)間の第一の距離を算出する。 Specifically, the first image feature calculation unit 13 calculates the first binary feature as the first feature. Further, the second image feature calculation unit 14 calculates the second binary feature as the second feature. The distance specifying unit 15 calculates the first distance between the first binary feature and the second binary feature by performing the exclusive OR operation of the first binary feature and the second binary feature.

さらに、距離特定部15は、第一バイナリ特徴と第二バイナリ特徴の否定排他的論理和の演算を行うことにより、両特徴間の第二の距離を算出する。この処理は、本実施形態において、第二画像特徴算出部14が反転特徴を算出し、距離特定部15が第一特徴と反転特徴の距離を算出する処理に対応する。そして、距離特定部15は、第一の距離と第二の距離のうち短い距離を第一特徴と第二特徴との距離と特定する。 Further, the distance specifying unit 15 calculates the second distance between the first binary feature and the second binary feature by performing the operation of the negative exclusive OR of the second binary feature. This process corresponds to the process in which the second image feature calculation unit 14 calculates the inverted feature and the distance specifying unit 15 calculates the distance between the first feature and the inverted feature in the present embodiment. Then, the distance specifying unit 15 identifies the shorter distance between the first distance and the second distance as the distance between the first feature and the second feature.

このようにすることで、両特徴間の距離がビット計算で算出できるため、対応する画像特徴を特定する処理を高速化できる。 By doing so, the distance between the two features can be calculated by bit calculation, so that the process of identifying the corresponding image feature can be speeded up.

次に、本実施形態の概要を説明する。図8は、本実施形態による画像位置合わせシステムの概要を示すブロック図である。本実施形態による画像位置合わせシステムは、第一の画像の画像特徴である第一特徴を算出する第一特徴算出部81(例えば、第一画像特徴算出部13)と、第一の画像と少なくとも撮影範囲の一部が重複する第二の画像の画像特徴である第二特徴を算出する第二特徴算出部82(例えば、第二画像特徴算出部14)と、第二特徴を算出した部分の画像の色を反転させた画像の画像特徴である反転特徴を算出する反転特徴算出部83(例えば、第二画像特徴算出部14)と、対応する第一特徴と第二特徴との距離、および、対応する第一特徴と反転特徴との距離を算出して、両者のうち短い距離を第一特徴と第二特徴との距離と特定する距離特定部84(例えば、距離特定部15)と、特定された距離が予め定めた距離以下の場合、第一特徴の第一の画像中における座標位置および第二特徴の第二の画像中における座標位置を特定して、第一の画像と第二の画像とを合わせる座標位置を算出する座標位置決定部85(例えば、画像座標位置決定部16)とを備えている。
Next, the outline of the present embodiment will be described. FIG. 8 is a block diagram showing an outline of the image alignment system according to the present embodiment. The image alignment system according to the present embodiment includes a first feature calculation unit 81 (for example, a first image feature calculation unit 13) that calculates a first feature that is an image feature of the first image, and at least the first image. The second feature calculation unit 82 (for example, the second image feature calculation unit 14) that calculates the second feature, which is the image feature of the second image in which a part of the shooting range overlaps, and the portion that calculates the second feature. The inversion feature calculation unit 83 (for example, the second image feature calculation unit 14) that calculates the inversion feature that is the image feature of the image in which the color of the image is inverted, the distance between the corresponding first feature and the second feature, and , A distance specifying unit 84 (for example, a distance specifying unit 15) that calculates the distance between the corresponding first feature and the inverted feature and specifies the shortest distance between the two as the distance between the first feature and the second feature. When the specified distance is less than or equal to the predetermined distance, the coordinate position in the first image of the first feature and the coordinate position in the second image of the second feature are specified, and the first image and the second image are specified. It is provided with a coordinate position determination unit 85 (for example, an image coordinate position determination unit 16) for calculating a coordinate position to be matched with the image of.

そのような構成により、被写体の温度や形状を事前に把握しなくても、適切に画像の位置合わせを行うことができる。 With such a configuration, it is possible to appropriately align the image without knowing the temperature and shape of the subject in advance.

例えば、第一の画像は可視光領域を撮像した画像(例えば、可視カメラによって撮影される画像)であり、第二の画像は物体が放出する温度領域を撮像した画像(例えば、遠赤外カメラによって撮影される画像)である。 For example, the first image is an image of the visible light region (eg, an image taken by a visible camera), and the second image is an image of the temperature region emitted by an object (eg, a far infrared camera). Image taken by).

また、第一特徴算出部81は、第一特徴として第一バイナリ特徴を算出し、第二特徴算出部82は、第二特徴として第二バイナリ特徴を算出し、距離特定部84は、第一バイナリ特徴と第二バイナリ特徴の排他的論理和の演算を行うことにより両特徴間の第一の距離を算出し、第一バイナリ特徴と第二バイナリ特徴の否定排他的論理和の演算を行うことにより両特徴間の第二の距離を算出し、第一の距離と第二の距離のうち短い距離を第一特徴と第二特徴との距離と特定してもよい。例えば、第一特徴および第二特徴には、BRIEF特徴が用いられる。 Further, the first feature calculation unit 81 calculates the first binary feature as the first feature, the second feature calculation unit 82 calculates the second binary feature as the second feature, and the distance specifying unit 84 is the first feature. Calculate the first distance between the binary feature by performing the exclusive OR operation of the binary feature and the second binary feature, and perform the operation of the negative exclusive OR of the first binary feature and the second binary feature. The second distance between the two features may be calculated as described above, and the shorter of the first distance and the second distance may be specified as the distance between the first feature and the second feature. For example, the BRIEF feature is used for the first feature and the second feature.

そのような構成により、両特徴間の距離がビット計算で実現できるため、対応する画像特徴を特定する処理を高速化できる。 With such a configuration, the distance between the two features can be realized by bit calculation, so that the process of identifying the corresponding image feature can be speeded up.

また、座標位置決定部85は、画像特徴により特定した座標位置と、算出した座標位置との差異に基づいて、一方の画像の局所的な補正を実施して、第一の画像と第二の画像とを重ね合わせて表示してもよい。
なお、上述した各実施の形態は、本開示の好適な実施の形態であり、上記各実施の形態にのみ本発明の範囲を限定するものではなく、本開示の要旨を逸脱しない範囲において当業者が上記各実施の形態の修正や代用を行い、種々の変更を施した形態を構築することが可能である。
この出願は、2015年8月19日に出願された日本出願特願2015−161789を基礎とする優先権を主張し、その開示の全てをここに取り込む。
Further, the coordinate position determination unit 85 performs local correction of one image based on the difference between the coordinate position specified by the image feature and the calculated coordinate position, and performs local correction of one image and the second image. The image may be superimposed and displayed.
It should be noted that each of the above-described embodiments is a preferred embodiment of the present disclosure, and the scope of the present invention is not limited to each of the above-described embodiments, and those skilled in the art will not deviate from the gist of the present disclosure. It is possible to construct a form in which various modifications are made by modifying or substituting each of the above-described embodiments.
This application claims priority on the basis of Japanese application Japanese Patent Application No. 2015-161789 filed on August 19, 2015, and incorporates all of its disclosures herein.

本発明は、各カメラで撮影された画像の位置を合わせる画像位置合わせシステムに好適に適用される。本発明は、例えば、可視と遠赤外といった異なる波長の画像を取得する2台のカメラで撮影された画像の位置ずれを補正する場合に好適に適用される。 The present invention is suitably applied to an image alignment system that aligns images taken by each camera. The present invention is suitably applied to correct the misalignment of images taken by two cameras that acquire images having different wavelengths such as visible and far infrared.

11 第一カメラ画像入力部
12 第二カメラ画像入力部
13 第一画像特徴算出部
14 第二画像特徴算出部
15 距離特定部
16 画像座標位置決定部
31 カメラ部(第一のカメラ)
32 カメラ部(第二のカメラ)
33 CPU部
34 記憶部
35 表示部
11 1st camera image input unit 12 2nd camera image input unit 13 1st image feature calculation unit 14 2nd image feature calculation unit 15 Distance identification unit 16 Image coordinate position determination unit 31 Camera unit (1st camera)
32 Camera section (second camera)
33 CPU unit 34 Storage unit 35 Display unit

Claims (9)

第一の画像の画像特徴である第一特徴を算出する第一特徴算出手段と、
前記第一の画像と少なくとも撮影範囲の一部が重複する第二の画像の画像特徴である第二特徴を算出する第二特徴算出手段と、
前記第二特徴を算出した部分の画像の色を反転させた画像の画像特徴である反転特徴を算出する反転特徴算出手段と、
対応する前記第一特徴と前記第二特徴との距離、および、対応する前記第一特徴と前記反転特徴との距離を算出して、両者のうち短い距離を前記第一特徴と前記第二特徴との距離と特定する距離特定手段と、
特定された距離が予め定めた距離以下の場合、前記第一特徴の第一の画像中における座標位置および前記第二特徴の第二の画像中における座標位置を特定して、当該第一の画像と当該第二の画像とを合わせる座標位置を算出する座標位置決定手段とを備えた
ことを特徴とする画像位置合わせシステム。
A first feature calculation means for calculating the first feature, which is an image feature of the first image, and
A second feature calculation means for calculating a second feature, which is an image feature of the second image in which at least a part of the shooting range overlaps with the first image,
An inversion feature calculation means for calculating an inversion feature, which is an image feature of an image in which the color of the image of the portion for which the second feature is calculated is inverted,
The distance between the corresponding first feature and the second feature and the distance between the corresponding first feature and the inverted feature are calculated, and the shorter distance between the two is the first feature and the second feature. Distance identification means to identify and the distance to
When the specified distance is less than or equal to a predetermined distance, the coordinate position in the first image of the first feature and the coordinate position in the second image of the second feature are specified to specify the first image. An image alignment system characterized in that it is provided with a coordinate position determining means for calculating a coordinate position for matching the second image with the second image.
前記第一の画像は可視光領域を撮像した画像であり、
前記第二の画像は物体が放出する温度領域を撮像した画像である
請求項1記載の画像位置合わせシステム。
The first image is an image obtained by capturing the visible light region.
The image alignment system according to claim 1, wherein the second image is an image of an image of a temperature region emitted by an object.
前記第一特徴算出手段は、前記第一特徴として第一バイナリ特徴を算出し、
前記第二特徴算出手段は、前記第二特徴として第二バイナリ特徴を算出し、
前記距離特定手段は、前記第一バイナリ特徴と前記第二バイナリ特徴の排他的論理和の演算を行うことにより両特徴間の第一の距離を算出し、前記第一バイナリ特徴と前記第二バイナリ特徴の否定排他的論理和の演算を行うことにより両特徴間の第二の距離を算出し、前記第一の距離と前記第二の距離のうち短い距離を第一特徴と第二特徴との距離と特定する
請求項1または請求項2記載の画像位置合わせシステム。
The first feature calculation means calculates the first binary feature as the first feature, and then
The second feature calculation means calculates the second binary feature as the second feature,
The distance specifying means calculates the first distance between the first binary feature and the second binary feature by performing an exclusive OR calculation of the first binary feature and the second binary feature, and calculates the first distance between the first binary feature and the second binary. Negative feature The second distance between the two features is calculated by performing the exclusive OR operation, and the shorter distance between the first feature and the second feature is the first feature and the second feature. The image alignment system according to claim 1 or 2, which specifies a distance.
前記第一特徴および前記第二特徴には、BRIEF特徴が用いられる
請求項1から請求項3のうちのいずれか1項に記載の画像位置合わせシステム。
The image alignment system according to any one of claims 1 to 3, wherein the BRIEF feature is used for the first feature and the second feature.
前記座標位置決定手段は、画像特徴により特定した座標位置と、算出した座標位置との差異に基づいて、一方の画像の局所的な補正を実施して、前記第一の画像と前記第二の画像とを重ね合わせて表示する
請求項1から請求項4のうちのいずれか1項に記載の画像位置合わせシステム。
The coordinate position determining means performs local correction of one image based on the difference between the coordinate position specified by the image feature and the calculated coordinate position, and performs the local correction of the first image and the second image. The image alignment system according to any one of claims 1 to 4, wherein an image is superimposed and displayed.
第一の画像の画像特徴である第一特徴を算出し、
前記第一の画像と少なくとも撮影範囲の一部が重複する第二の画像の画像特徴である第二特徴を算出し、
前記第二特徴を算出した部分の画像の色を反転させた画像の画像特徴である反転特徴を算出し、
対応する前記第一特徴と前記第二特徴との距離、および、対応する前記第一特徴と前記反転特徴との距離を算出して、両者のうち短い距離を前記第一特徴と前記第二特徴との距離と特定し、
特定された距離が予め定めた距離以下の場合、前記第一特徴の第一の画像中における座標位置および前記第二特徴の第二の画像中における座標位置を特定して、当該第一の画像と当該第二の画像とを合わせる座標位置を算出する
ことを特徴とする画像位置合わせ方法。
Calculate the first feature, which is the image feature of the first image,
The second feature, which is an image feature of the second image in which at least a part of the shooting range overlaps with the first image, is calculated.
The inverted feature, which is the image feature of the image in which the color of the image of the portion where the second feature was calculated is inverted, is calculated.
The distance between the corresponding first feature and the second feature and the distance between the corresponding first feature and the inverted feature are calculated, and the shorter distance between the two is the first feature and the second feature. Identify the distance to
When the specified distance is less than or equal to a predetermined distance, the coordinate position in the first image of the first feature and the coordinate position in the second image of the second feature are specified to specify the first image. An image alignment method characterized by calculating a coordinate position for matching the second image with the second image.
前記第一の画像は可視光領域を撮像した画像であり、
前記第二の画像は物体が放出する温度領域を撮像した画像である
請求項6記載の画像位置合わせ方法。
The first image is an image obtained by capturing the visible light region.
The image alignment method according to claim 6, wherein the second image is an image of an image of a temperature region emitted by an object.
コンピュータに、
第一の画像の画像特徴である第一特徴を算出する第一特徴算出処理、
前記第一の画像と少なくとも撮影範囲の一部が重複する第二の画像の画像特徴である第二特徴を算出する第二特徴算出処理、
前記第二特徴を算出した部分の画像の色を反転させた画像の画像特徴である反転特徴を算出する反転特徴算出処理、
対応する前記第一特徴と前記第二特徴との距離、および、対応する前記第一特徴と前記反転特徴との距離を算出して、両者のうち短い距離を前記第一特徴と前記第二特徴との距離と特定する距離特定処理、および、
特定された距離が予め定めた距離以下の場合、前記第一特徴の第一の画像中における座標位置および前記第二特徴の第二の画像中における座標位置を特定して、当該第一の画像と当該第二の画像とを合わせる座標位置を算出する座標位置決定処理
を実行させるためのプログラム。
On the computer
First feature calculation process, which calculates the first feature, which is the image feature of the first image,
A second feature calculation process for calculating a second feature, which is an image feature of a second image in which at least a part of the shooting range overlaps with the first image.
Inversion feature calculation process for calculating the inversion feature, which is the image feature of the image in which the color of the image of the portion where the second feature is calculated is inverted.
The distance between the corresponding first feature and the second feature and the distance between the corresponding first feature and the inverted feature are calculated, and the shorter distance between the two is the first feature and the second feature. Distance specification processing to specify the distance to and from, and
When the specified distance is less than or equal to a predetermined distance, the coordinate position in the first image of the first feature and the coordinate position in the second image of the second feature are specified to specify the first image. A program for executing a coordinate position determination process that calculates a coordinate position that matches the second image with the second image.
前記第一の画像は可視光領域を撮像した画像であり、
前記第二の画像は物体が放出する温度領域を撮像した画像である
請求項8記載のプログラム
The first image is an image obtained by capturing the visible light region.
The program according to claim 8, wherein the second image is an image of an image of a temperature region emitted by an object.
JP2017535228A 2015-08-19 2016-08-05 Image alignment system, method and program Active JP6891808B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015161789 2015-08-19
JP2015161789 2015-08-19
PCT/JP2016/003620 WO2017029784A1 (en) 2015-08-19 2016-08-05 Image position matching system, method and recording medium

Publications (2)

Publication Number Publication Date
JPWO2017029784A1 JPWO2017029784A1 (en) 2018-05-31
JP6891808B2 true JP6891808B2 (en) 2021-06-18

Family

ID=58051488

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017535228A Active JP6891808B2 (en) 2015-08-19 2016-08-05 Image alignment system, method and program

Country Status (2)

Country Link
JP (1) JP6891808B2 (en)
WO (1) WO2017029784A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020088438A (en) * 2018-11-16 2020-06-04 株式会社ジェイエイアイコーポレーション Imaging apparatus and inspection method of subject using the imaging apparatus

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5531493B2 (en) * 2009-08-04 2014-06-25 株式会社リコー Character recognition device, character recognition method, program, and recording medium
US9692991B2 (en) * 2011-11-04 2017-06-27 Qualcomm Incorporated Multispectral imaging system
JP6221682B2 (en) * 2013-11-22 2017-11-01 株式会社リコー Image processing apparatus, imaging system, image processing method, and program
JP2015176252A (en) * 2014-03-13 2015-10-05 オムロン株式会社 Image processor and image processing method
JP6347155B2 (en) * 2014-05-26 2018-06-27 富士通株式会社 Image processing apparatus, image determination method, and program

Also Published As

Publication number Publication date
JPWO2017029784A1 (en) 2018-05-31
WO2017029784A1 (en) 2017-02-23

Similar Documents

Publication Publication Date Title
US20160180169A1 (en) Iris recognition device, iris recognition system including the same and method of operating the iris recognition system
JP5390943B2 (en) Image processing apparatus and image processing method
US20200043225A1 (en) Image processing apparatus and control method thereof
KR20170019359A (en) Local adaptive histogram equalization
US10694101B2 (en) Contrast-enhanced combined image generation systems and methods
US20150278996A1 (en) Image processing apparatus, method, and medium for generating color image data
CN101783019A (en) Subject tracking apparatus and control method therefor, image capturing apparatus, and display apparatus
JP6582516B2 (en) Apparatus and method for detecting color chart in image
KR102149276B1 (en) Method of image registration
CN109712192B (en) Camera module calibration method and device, electronic equipment and computer readable storage medium
JP2016151955A (en) Image processing apparatus, imaging device, distance measuring device, and image processing method
KR20200023651A (en) Preview photo blurring method and apparatus and storage medium
Zhang et al. A new modified panoramic UAV image stitching model based on the GA-SIFT and adaptive threshold method
KR101245247B1 (en) The method and device for adjusting brightness of image and multiple camera using that
CN109559353B (en) Camera module calibration method and device, electronic equipment and computer readable storage medium
JP6891808B2 (en) Image alignment system, method and program
KR20140015892A (en) Apparatus and method for alignment of images
US9122935B2 (en) Object detection method, storage medium, integrated circuit, and object detection apparatus
KR20140038749A (en) Apparatus and method for correcting image distortion
US20180295273A1 (en) Device and method for detecting regions in an image
KR20150021352A (en) Apparatus and method for alignment of images
US11218650B2 (en) Image processing method, electronic device, and computer-readable storage medium
JP6239334B2 (en) Object image extraction apparatus and object image extraction method
JP2018160024A (en) Image processing device, image processing method and program
JP6097597B2 (en) Image processing apparatus and control method thereof

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180201

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190716

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200929

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210427

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210510

R150 Certificate of patent or registration of utility model

Ref document number: 6891808

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150