JP4550769B2 - Image detection device and image detection method - Google Patents

Image detection device and image detection method Download PDF

Info

Publication number
JP4550769B2
JP4550769B2 JP2006130846A JP2006130846A JP4550769B2 JP 4550769 B2 JP4550769 B2 JP 4550769B2 JP 2006130846 A JP2006130846 A JP 2006130846A JP 2006130846 A JP2006130846 A JP 2006130846A JP 4550769 B2 JP4550769 B2 JP 4550769B2
Authority
JP
Grant status
Grant
Patent type
Prior art keywords
image
detection
marker
captured
detection image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006130846A
Other languages
Japanese (ja)
Other versions
JP2007304733A (en )
Inventor
典彦 前田
育生 原田
裕人 松岡
孝 青木
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Description

本発明は、実空間に仮想物があるかのように見せるAugmented Reality技術に関し、特に、様々な条件で撮影された画像によってAugmented Realityを実現するための画像検出装置および画像検出方法に関する。 The present invention relates to Augmented Reality techniques appear as if there is a virtual object in the real space, and more particularly to an image detection device and image detection method for realizing the Augmented Reality by images taken under various conditions.

Augmented Realityは、実世界の情報を、計算機内部に構築した仮想世界データ(CG)で補強する技術であり、CGによる仮想世界だけを扱うVirtual Realityとは全く異なるアプリケーション分野を切り開くことが期待されている。 Augmented Reality is the information of the real world, a computer technique to reinforce a virtual world data (CG) built therein, it is expected to open up an entirely different application fields and Virtual Reality to handle only the virtual world by CG there. そして、近年、このAugmented Realityに関する多くの研究がなされている。 In recent years, many studies have been made on this Augmented Reality.

例えば、非特許文献1にAugmented Realityを実現するための技術が開示されている。 For example, techniques for realizing the Augmented Reality in Non-Patent Document 1 is disclosed. 非特許文献1では、内側に絵柄が書かれた黒枠のマーカを用いている。 Non-Patent Document 1, the pattern on the inside are used marker black frame written. カメラで利用者の目の前の空間を撮影し、撮影された画像(撮影画像)内にマーカを検出すると、撮影画像のマーカの位置にCGを合成した画像を生成する。 Taking the previous space of the user's eye with the camera detects the marker in the photographed image (captured image), and generates a combined image CG to a position of the marker in the captured image. その際、撮影画像に写っている黒枠の大きさや形でカメラと黒枠との3次元の相対位置を計算し、その相対位置に基づいて黒枠の内側に書かれた絵柄と撮影画像とを比較し、合成するCGを決めている。 At that time, the three-dimensional relative position between the camera and the black frame to calculate the size and shape of the black frame that is reflected in the photographed image, compares the pattern written on the inside of the black frame and the captured image based on the relative position , it has decided to CG to be synthesized. これによれば、マーカの絵柄を変えることによって複数の異なるCGを合成することが可能となる。 According to this, it is possible to synthesize a plurality of different CG by changing the pattern of the marker.

この手法では、撮影画像内の黒枠の内側を抜き出し、その画像と予め登録されている画像とを比較することで、マーカの検出が行われる。 In this method, withdrawn inside the black frame in the photographic image, by comparing the image registered beforehand and the image, marker detection is performed. この手法は画像の比較を行うため、屋内等の比較的照明条件が安定し、かつ、カメラパラメータが一定の場合に有効である。 This technique for performing comparison of the image, relatively lighting conditions such as indoor stable and camera parameters are valid in certain cases.

また、特許文献1には、携帯電話等のカメラ機能を用いてマーカを撮影し、その撮影画像からマーカを検出することでAugmented Realityを実現する技術が提案されている。 Patent Document 1, by photographing a marker using a camera function of the cellular phone and the like, techniques for realizing Augmented Reality by detecting a marker from the captured image has been proposed.
特開2004−341642号公報 JP 2004-341642 JP

しかし、携帯電話で撮影される環境は様々であり、一般に照明条件などが安定しない。 However, the environment to be photographed on a mobile phone is different, is not stable, such as general lighting conditions. そのため、照明条件によって撮影されたマーカの絵柄の色彩が変わり、マーカが検出できなくなるという問題があった。 Therefore, the color of the pattern of the marker taken by lighting conditions change, the marker is a problem that can not be detected. また、携帯電話には様々な種類があり、それぞれにカメラパラメータが異なることも、マーカの検出をより困難なものにしている。 Further, there are various types of mobile phones, camera parameters be different for each, and the detection of the marker in more difficult.

上述したように、従来のAugmented Realityを用いたアプリケーションでは、照明条件によってカメラ画像内のマーカの色彩が変わるなどの理由から正確なマーカの検出ができなくなるという問題があった。 As described above, in the conventional applications using Augmented Reality, there is a problem that can not be accurately detected marker from reasons such as color markers in the camera image by the illumination conditions change. 特に、携帯電話等を用いた場合、撮影環境が様々であるため、マーカの検出率は更に悪化するという問題があった。 In particular, when using a cellular phone or the like, for imaging environment is different, the detection rate of the marker has a problem that even worse.

本発明の目的は、様々な条件で撮影された画像から良好にマーカを検出することのできる画像検出装置および画像検出方法を提供することである。 An object of the present invention is to provide an image detection device and an image detecting method capable of satisfactorily detecting a marker from the image captured by the various conditions.

上記目的を達成するために、本発明の画像検出装置は、 To achieve the above object, an image detecting apparatus of the present invention,
マーカが撮影された撮影画像から前記マーカを検出する画像検出装置であって、 An image detection device for detecting the marker from the captured image marker is captured,
前記マーカの絵柄を登録画像として、該登録画像を元に検出用画像を生成する検出用画像生成部と、 As a registered image pattern of the marker, a detection image generation unit for generating a detection image based on the registered image,
前記検出用画像生成部で生成された前記検出用画像を回転させた複数の回転画像を生成し、前記検出用画像と前記回転画像を比較し、前記検出用画像生成部で生成された前記検出用画像から、類似する回転画像のある検出用画像を除外することで、前記検出用画像の中から検証後検出用画像を選択する検出用画像検査部と、 Wherein generating a plurality of rotated images obtained by rotating the detection image generated by the detection image generation unit, wherein the detection image and comparing the rotated image, generated the detected by the detection image generation unit from use image, by excluding the detection image with a rotating image similar, the detection image checking section for selecting the detection image after verification from among the detection image,
前記検出用画像検査部にて選択された前記検証後検出用画像と前記撮影画像とを比較することにより該撮影画像から前記マーカを検出するマーカ検出部と、を有している。 And a, a marker detection unit for detecting the marker from the captured image by comparing the captured image with the selected verification after detection image in the detection image inspection unit.
これによれば、検出用画像と回転画像を比較し、類似する回転画像のある検出用画像を除外して残った検出用画像(検証後検出用画像)のみをマーカの検出に用いるので、登録画像を変化させた画像を検出用に用いることによるマーカの誤認識を防止することができる。 According to this, by comparing the rotated image and the detection image, since using only detection image which the detection image remains excluded with rotating images similar (verification after detection image) for the detection of the marker, registration wrong recognition of the marker by using an image obtained by changing an image for detection can be prevented.

また、前記検出用画像生成部は、前記登録画像と同一の画像と、該登録画像に画像処理を施した画像とを前記検出用画像とすることにしてもよい。 Further, the detection image generation unit, the same image and the registered image, and an image subjected to image processing to the registered image may be that with the detection image.

また、前記検出用画像生成部は、前記画像処理によって、前記登録画像の色彩、輝度、コントラスト、解像度、ピントの少なくとも1つを変化させた画像を生成することにしてもよい。 Further, the detection image generation unit, by the image processing, the color of the reference image, brightness, contrast, resolution, may be possible to generate an image obtained by changing at least one of focus.

また、前記検出画像検査部は、 Further, the detection image inspection unit,
前記検出用画像毎に、該検出用画像との類似度が所定の閾値より大きい回転画像の数を類似画像数として求め、前記類似画像数の最も大きい検出用画像と該検出用画像を回転した回転画像とを除外する処理を、全ての検出用画像の類似画像数がゼロになるまで繰り返し、残った検出用画像を前記検証後検出用画像とすることにしてもよい。 For each of the detection image, the similarity between the detection image is calculated by determining the number of greater than a predetermined threshold rotational image as a similar image number, and rotate the largest detection image and the detection image of the similar image number the process for removing a rotated image is repeated until the number of the similar image every detection image becomes zero, the remaining detected image may be that said verification after detection image.

また、前記検出画像検査部は、 Further, the detection image inspection unit,
前記検出用画像の中で、前記登録画像と同一の画像については、類似する回転画像があっても除外しないことにしてもよい。 Among the above detection image for the registration image and the same image may be not to exclude even the rotation image similar.

撮影画像のマーカは、登録画像と一致する可能性が、他の検出用画像と一致する可能性に比べて高いと想定できるので、これによれば登録画像と同一の検出用画像を優先的に残すことでマーカの検出率を上げることができる。 Markers captured image, can match the registration image, the higher the possible envisaged compared to can match other detection image, the same detection image and registered image preferentially According to this it is possible to increase the detection rate of the marker by leaving.

また、前記マーカ検出部は、前記撮影画像から前記マーカを検出できなかったとき、該撮影画像からマーカの絵柄部分を切り出して前記検証後検出用画像に追加することにしてもよい。 Further, the marker detector, the time from the captured image can not be detected the marker, it may be adding to the verification after detection image by cutting out a pattern portion of the marker from the captured image.

これによれば、画像処理では生成されなかった検証後検出用画像を追加することができるので、次回以降には、それと同様の条件で撮影された撮影画像からマーカを検出することができるようになり、マーカ検出率が向上する。 Accordingly, since the image processing can be added post-verification detection image that has not been generated, the next time, therewith to be able to detect the marker from the images picked up under the same conditions now, the marker detection rate is improved.

また、絵柄の異なる複数のマーカがあり、 Moreover, there are different markers of picture,
前記検出用画像生成部は、前記複数のマーカの各々を登録画像とし、該登録画像毎に複数の検出用画像を生成し、 The detection image generation unit, said each of the plurality of markers as a registered image, generates a plurality of detection image for each said registered image,
前記検出用画像検査部は、前記検出用画像の各々を回転させた複数の回転画像を生成し、絵柄の異なるマーカの回転画像を含めて、前記検出用画像と前記回転画像を比較し、前記検出用画像生成部で生成された前記複数の検出用画像から、類似する回転画像のある検出用画像を除外することで、前記検証後検出用画像を選択し、 The detection image inspecting unit generates a plurality of rotated images obtained by rotating each of the detection image, including the rotated image of the pattern of different markers, and comparing the rotated image and the detection image, the from the plurality of detection image generated by the detection image generation unit, by excluding the detection image with a rotating image similar, select detection image after the verification,
前記マーカ検出部は、前記複数のマーカについての前記検証後検出用画像と前記撮影画像とを比較することにより該撮影画像から前記マーカを検出することにしてもよい。 The marker detecting unit may be configured to detect the marker from the captured image by comparing the captured image and the post-verification detection image for said plurality of markers.

本発明によれば、マーカの登録画像を元に生成した検出用画像と撮影画像との比較によって撮影画像からマーカを検出するので、撮影条件によってマーカと異なる画像になっている撮影画像からマーカを良好に検出することができる。 According to the present invention, since detecting the marker from the captured image by comparing the detection image generated based on the registered image of the marker and the photographed image, a marker from the captured image that is a marker with different image depending on the shooting conditions it can be satisfactorily detected.

本発明の一実施形態について図面を参照して詳細に説明する。 An embodiment of the present invention with reference to the accompanying drawings.

図1は、本実施形態よる画像検出装置の構成を示すブロック図である。 Figure 1 is a block diagram showing a configuration of an image sensing apparatus according the present embodiment. 図1を参照すると、画像検出装置10は、検出用画像生成部11、検出用画像検査部12、およびマーカ検出部15を有している。 Referring to FIG. 1, the image sensing apparatus 10, the detection image generation unit 11, and a detection image inspection unit 12 and the marker detector 15,. 検出用画像検査部12は、回転画像生成部13および類似検査部14を有している。 Detection image inspection unit 12 has a rotated image generation unit 13 and the similarity checking unit 14.

検出用画像生成部11は、予め用意されたマーカの絵柄を入力とし、その画像に画像処理を施して様々な照明条件やカメラパラメータに対応可能な複数の検出用画像P1〜Pnを生成する。 Detection image generation unit 11 inputs the pattern of the marker prepared in advance, by performing image processing to generate various lighting conditions plurality capable of supporting and camera parameter detection image P1~Pn to the image.

検出用画像検査部12は、検出用画像生成部11で生成された検出用画像P1〜Pnの中から誤認識の原因になる検出用画像を除外し、検証後検出用画像PK1〜PKm(m≦n)を選択する。 Detection image inspection unit 12 excludes the detection image causing erroneous recognition from the detected image P1~Pn generated by the detection image generation unit 11, the verification after detection image PK1~PKm (m ≦ n) to select.

マーカ検出部15は、検出用画像検査部12で選択された検証後検出用画像PK1〜PKmを用いて撮影画像からマーカを検出する。 The marker detecting section 15 detects the marker from the photographed image using the selected at detection image inspection unit 12 verifying after detection image PK1~PKm. ここでは、マーカとしては一例として上述した黒枠のものを用いる。 Here, we used as the black frame as described above as an example as a marker. 黒枠内にはマーカの位置に合成する絵柄が描かれている。 The in black frame are drawn picture to synthesize the position of the marker. なお、マーカは一例として黒枠としたが、本発明は黒枠に限定されるものではなく、他の色の枠であってもよい。 Incidentally, the marker was a black frame as an example, the present invention is not limited to the black frame may be a frame of other colors.

図2は、本実施形態の画像検出装置の動作を説明するための図である。 Figure 2 is a diagram for explaining the operation of the image detection device of the present embodiment. 図2を参照すると、まず、検出用画像生成部11は、検出しようとするマーカの絵柄である登録画像Tを入力とし、画像処理によって色彩・輝度・コントラスト・解像度・ピント(ボケ具合)を変えた複数の検出用画像P1〜Pnを生成する。 Referring to FIG. 2, first, the detection image generation unit 11 alters an input registration image T is a picture of the marker to be detected, the color-luminance, contrast, resolution and focus the image processing (blurriness) generating a plurality of detection image P1~Pn was. 検出用画像P1〜Pnには登録画像Tと同一の画像も含まれる。 It is also included the same image and the registered image T on the detection image P1 to Pn. この検出用画像P1〜Pnは検出用画像検査部12の回転画像生成部13と類似検査部14に与えられる。 The detection image P1~Pn is provided to rotate the image generation unit 13 and the correlation checking portion 14 of the detection image inspection unit 12. なお、検出用画像P1〜Pnには、画像処理を施さない登録画像Tと同一の画像も含まれる。 Note that the detection image P1 to Pn, the same image and the registered image T not subjected to image processing is also included.

検出用画像検査部12の回転画像生成部13は、検出用画像P1〜Pnを入力とし、検出用画像P1〜Pnを右に90度回転させた回転画像PA1〜PAnと、右に180度回転させた回転画像PB1〜PBnと、右に270度回転させた回転画像PC1〜PCnを生成する。 Rotated image generation unit 13 of the detection image inspection unit 12 receives the detection image P1 to Pn, and was right to rotate 90 degrees detection image P1 to Pn rotated image PA1~PAn, rotated 180 degrees to the right a rotating image PB1~PBn obtained by, for generating a rotated image PC1~PCn rotated 270 degrees to the right.

類似検査部14は、検出用画像生成部11からの検出用画像P1〜Pnと回転画像生成部13からの回転画像PA1〜PAn、PB1〜PBn、PC1〜PCnとを相互に比較し、絵柄の近い回転画像がある検出用画像を除外する。 The similarity checking unit 14 compares the rotated image PA1~PAn the detection image P1~Pn from the detection image generation unit 11 from the rotated image generation unit 13, PB1~PBn, and PC1~PCn each other, the picture exclude detection image which is closer rotated image. 例えば、ある低コントラストの検出用画像の絵柄とある低コントラストの回転画像の絵柄が近ければ、その低コントラストの検出用画像を除外する。 For example, the closer the low contrast picture of rotating image with the pattern of the detection image of low contrast there is excluded the detection image of the low contrast.

図3は、類似検査部の動作アルゴリズムを示すフローチャートある。 Figure 3 is a flow chart showing an operation algorithm of the correlation checking portion. 図3を参照すると、類似検査部14は、i=1を設定し(ステップ101)、検出用画像P1〜Pnと回転画像PA1〜PAn、PB1〜PBn、PC1〜PCnを入力として、検出用画像Piと各回転画像を比較し、類似する絵柄の数(類似画像数)Kiを求める(ステップ102)。 Referring to FIG. 3, the similarity checking unit 14 sets the i = 1 (step 101), detecting image P1~Pn the rotated image PA1~PAn, PB1~PBn, as input PC1 to PCn, detection image comparing Pi and each rotated image, determine the number of picture pattern similar (number similar image) Ki (step 102). 画像が類似するか否かは、絵柄の類似度が所定の閾値より大きいか否かで判断すればよい。 Whether the image is similar, the pattern of similarity may be determined by whether greater than a predetermined threshold value. 類似度を求める方法としては、例えば、DP(動的計画法:Dynamic Programming)マッチングなどの画像比較アルゴリズムを用いる方法がある。 As a method for determining the degree of similarity, for example, DP (dynamic programming: Dynamic Programming) a method of using the image comparison algorithms, such as matching. 類似度が所定の閾値を超えた絵柄を類似すると判断すればよい。 A pattern of similarity exceeds a predetermined threshold value may be determined to be similar. 画像比較アルゴリズムとしては、DPマッチングの他に、パターンマッチングや特徴点抽出照合法などを利用することができる。 The image comparison algorithm, in addition to the DP matching, can be utilized such as a pattern matching and feature point extraction collation method.

DPマッチングは、比較対象となる2つのデータを構成する要素同士の対応付けを行いながら、要素単位のマッチングに基づいて、データ間の類似度を算出するアルゴリズムである。 DP matching, while the correspondence between the elements constituting the two data to be compared, based on the matching element unit, an algorithm for calculating the similarity between the data. これによりパターン長(要素数)の異なるデータ間の類似度を求めることができる。 Thus it is possible to determine the similarity between different data pattern lengths (number of elements). 具体的には、要素同士の対応付けが最適となったとき、対応する要素間の差の2乗和の平方根が2つのデータの距離(非類似度)となる。 Specifically, when it the best correspondence between the elements becomes the distance between the two data is the square root of the sum of squares of differences between corresponding elements (dissimilarity). 2つのデータ間の距離が近いほど類似度が高いといえるので、この距離の逆数を類似度とすればよい。 Since the distance between the two data can be said that the higher the similarity closer, the reciprocal of the distance may be the degree of similarity. なお、上述した2乗和の平方根の代わりにユークリッド平方距離を用いてもよい。 It is also possible to use the squared Euclidean distance, instead of the square root of sum of squares as described above.

撮影画像と検証後検出用画像の間の類似度を算出するのにDPマッチングを用いれば、撮影画像のマーカ部分と検証後検出画像とで画素数が異なる場合に適切な類似度の算出およびマーカの検出が可能となる。 The use of DP matching to calculate a similarity between the captured image and the verification post-detection image, the calculation of the appropriate similarity when the number of pixels is different marker portion of a recorded image and verifying after detection image and the marker it is possible to detection. カメラの有する最大画素数やカメラとマーカの距離によって、撮影画像のデータにおけるマーカ部分の画素数は変化するが、DPマッチングを用いれば画素数が一定でなくても類似度の算出が可能になる。 The maximum number of pixels and the camera and the distance of the marker with the camera, the number of pixels marker portion in the data of the captured image will vary, it is possible to calculate the similarity not be a number of pixels is fixed by using the DP matching .

続いて、類似検査部14は、iに1を加算して(ステップ103)、iがnより大きいか否か判定する(ステップ104)。 Subsequently, the correlation checking portion 14 adds 1 to i (step 103), i is determined whether or not greater than n (step 104). iがnより大きくなければ、類似検査部14はステップ102に戻る。 If i is not greater than n, the correlation checking portion 14 returns to step 102. 一方、iがnより大きければ、類似検査部14は、それまでに求めた類似画像数Ki(1≦i≦n)の全てが0であるか否か判定する(ステップ105)。 On the other hand, if i is greater than n, the correlation checking portion 14 determines whether or not all of it to the calculated similarity image number Ki (1 ≦ i ≦ n) is 0 (step 105).

類似画像数Kiの全てが0であれば、類似検査部14は処理を終了する。 If all of the similar image number Ki is 0, the similarity checking unit 14 ends the process. 一方、類似画像数Kiのいずれか1つでも0でなければ、類似検査部14は、類似画像数Kiが最大となるiを求める(ステップ106)。 On the other hand, unless any even one 0 of the similar image number Ki, the similarity checking unit 14 determines the i similar image number Ki is maximized (step 106). 続いて、類似検査部14は、ステップ106で求めたiの検出用画像Piおよびそれを回転した回転画像PAi、PBi、PCiを除外して(ステップ107)、ステップ101に戻って処理を繰り返す。 Subsequently, the correlation checking portion 14, the rotated image PAi rotated i image Pi and it for the detection of obtained in step 106, PBi, to the exclusion of PCi (step 107), the process returns to step 101.

これらの処理はステップ105の判定が“YES”になるまで、すなわち絵柄の類似する画像が無い状態になるまで、ステップ101〜107による類似画像を除外する処理が繰り返される。 Until these processes the determination in step 105 becomes "YES", i.e. until the image is no state similar in design, process of excluding the similar image in step 101 to 107 are repeated. そして、処理が終了して残った、類似する回転画像の無い検出用画像が、検証後検出用画像PK1〜PKm(m≦n)としてマーカ検出部15に与えられる。 Then, the process remained terminated, detecting image without rotating the image to be similar, given the marker detector 15 as a verification after the detection image PK1~PKm (m ≦ n).

図2に戻り、マーカ検出部15は、撮影画像Iを入力とし、類似検査部14から与えられた検証後検出用画像PK1〜PKmをテンプレートとして、撮影画像Iからマーカを検出する。 Returning to Figure 2, the marker detecting section 15 inputs the captured image I, the verification after detection image PK1~PKm given the similarity checking unit 14 as a template, detects the marker from the captured image I. このときマーカ検出には、既存の方法を用いればよい。 The marker detection this time, may be used conventional methods. 例えば、非特許文献1に開示されたARToolKitを用いてマーカを検出することができる。 For example, it is possible to detect the marker using ARToolKit disclosed in Non-Patent Document 1.

以上説明したように、本実施形態によれば、マーカの登録画像Tに加えて、その色彩や輝度などを変化させた画像を検出用画像とし、撮影画像と複数の検出用画像との比較によって撮影画像からマーカを検出するので、撮影条件によってマーカと異なる画像になっている撮影画像からマーカを良好に検出することができる。 As described above, according to this embodiment, in addition to a reference image T of the marker, the image is varied like the color and luminance as the detection image, by comparing the captured image and the plurality of detection image since detecting the marker from the captured image can be satisfactorily detecting a marker from the captured image that is a different image with the marker by shooting conditions.

また、本実施形態によれば、検出用画像と回転画像を比較し、類似する回転画像のある検出用画像を除外して残った検出用画像(検証後検出用画像)のみをマーカの検出に用いるので、色彩や輝度を変化させた画像を検出用に用いることによるマーカの誤認識を防止することができる。 Further, according to this embodiment, by comparing the rotated image and the detection image, to exclude a detection image having the rotated image remaining detection image (verification after detection image) similar only to the detection of the marker since used, it is possible to prevent erroneous recognition of the marker by using an image obtained by changing the color and brightness for detection.

なお、図3では、検出用画像Piが登録画像と同一のものか、登録画像を画像処理して得られたものかに関わらず、類似画像数が最大の検出用画像を除外する例を示したが、本発明はこれに限定されるものではない。 In FIG. 3, whether the detected image Pi is the same as the registration image, whether those obtained by image processing the registered image, the number of similar images is an example to exclude the maximum detection image It was, but the present invention is not limited thereto. 他の例として、登録画像と同一の検出用画像は類似する回転画像があっても除外しないことにしてもよい。 As another example, the same detection image and registered image may be not to exclude even the rotation image similar. 一般的に、撮影画像のマーカは、登録画像と一致する可能性が、他の検出用画像と一致する可能性に比べて高いと想定できるので、登録画像と同一の検出用画像を優先的に残すことでマーカの検出率を上げることができる。 Generally, the marker of the captured image, can match the registration image, the higher the possible envisaged compared to can match other detection image, the same detection image and registered image preferentially it is possible to increase the detection rate of the marker by leaving.

図4は、登録画像と同一の検出用画像を除外しない場合の類似検査部の動作アルゴリズムを示すフローチャートある。 Figure 4 is a flow chart showing an operation algorithm of the correlation checking portion when not exclude same detection image and registered image. 図4の例を参照すると、図3のステップ105の代わりにステップ201が、ステップ106の代わりにステップ202が行われる。 Referring to the example of FIG. 4, step 201 instead of step 105 of FIG. 3, step 202 is performed instead of step 106. 類似検査部14は、ステップ201にて、登録画像と同一でない検出用画像Piの類似画像数Kiが全て0か否か判定する。 Similar checking unit 14, at step 201, it is determined whether all the similar image number Ki of detecting image Pi is not identical to the registered image 0. これにより、登録画像Tと同一の画像以外で残っている検出用画像Piの中に、いずれかの回転画像と類似するものが無くなるまで処理が繰り返されるようになる。 Thus, in the detection image Pi remaining outside the same image and the registered image T, so that the process until there is no one similar to any of the rotated image is repeated. また、類似検査部14は、ステップ202にて、登録画像Tと同一でない検出用画像Piのiの中で、類似画像数Kiが最大となるiを求める。 Further, the similarity checking unit 14, at step 202, in the i of the detection image Pi is not identical to the registered image T, obtaining the i similar image number Ki is maximized. これにより、ステップ107において、登録画像と同一のものを除く検出用画像の中で類似画像数が最大の検出用画像が除外されるようになる。 Thus, in step 107, the number of similar image is to be excluded maximum detection image in the detection image with the exception of those identical to the registered image.

また、上述した実施形態では、マーカ検出部15にてマーカが検出できなかった場合について特に限定していない。 Further, in the embodiment described above, not particularly limited if the marker is not detected by the marker detecting section 15. しかし、マーカ検出部15は、マーカ検出ができなかった撮影画像Iのマーカの絵柄の部分を検証後検出用画像に追加登録し、次回以降は、その検出用画像もマーカの検出に用いることにしてもよい。 However, the marker detector 15, a pattern portion of the marker of the captured image I could not marker detecting additionally registered in the verification after detection image, the next time, to be used for detection of the marker is also the detection image it may be.

図5は、マーカが検出できなければ検証後検出用画像を追加する場合のマーカ検出部の動作を示すフローチャートである。 Figure 5 is a flowchart showing the operation of the marker detector when the marker is to add validation after detection image to be able to detect. 図5を参照すると、マーカ検出部15は、上述したように検証後検出用画像と撮影画像を比較することにより撮影画像からマーカを検出する処理を実行する(ステップ301)。 Referring to FIG 5, the marker detecting section 15 performs a process of detecting the marker from the captured image by comparing the captured image with verification after detecting image as described above (step 301). 続いて、マーカ検出部15は、マーカが正しく検出されたか否か判定する(ステップ302)。 Then, the marker detecting section 15 determines whether or not the marker has been detected correctly (step 302). マーカが正しく検出されていれば、マーカ検出部15は、検出結果を出力して(ステップ303)処理を終了する。 If the marker is correctly detected, the marker detector 15, and exits output a detection result (step 303) processing. 一方、マーカが正しく検出されていなければ、マーカ検出部15は、撮影画像Iからマーカの絵柄の部分を切り出し、それを検証後検出用画像に追加登録する(ステップ304)。 On the other hand, if the marker is not correctly detected, the marker detector 15, cut out a pattern of portions of the marker from the captured image I, and additionally registers it in the verification after detection image (step 304). これによれば、画像処理では生成されなかった検証後検出用画像を追加することができるので、次回以降には、それと同様の条件で撮影された撮影画像からマーカを検出することができるようになり、マーカ検出率が向上する。 Accordingly, since the image processing can be added post-verification detection image that has not been generated, the next time, therewith to be able to detect the marker from the images picked up under the same conditions now, the marker detection rate is improved.

また、上述した実施形態では、1つの登録画像を元に撮影画像からマーカを検出する例を示したが、本発明はこれに限定されるものではない。 Further, in the above embodiment, an example of detecting the marker from the captured image based on a single reference image, the present invention is not limited thereto. 他の例として、画像検出装置10は絵柄の異なる複数のマーカを検出できるものとしてもよい。 As another example, the image sensing device 10 may be as capable of detecting a plurality of markers having different picture.

他の実施形態として、絵柄の異なる複数のマーカを検出する画像検出装置について説明する。 In another embodiment, a description is given of an image detection device for detecting a plurality of markers having different picture. 本実施形態の画像検出装置は図1に示したものと同様の構成を有する。 Image detection device of the present embodiment has the same configuration as that shown in FIG. ただし、本実施形態では、検出すべきマーカが複数あるので、検出用画像生成部11は、検出すべき複数のマーカの絵柄を登録画像T1〜Tkとし、各登録画像T1〜Tk毎に、色彩や輝度を変えた複数の検出用画像を生成する。 However, in the present embodiment, since the marker to be detected are multiple detection image generation unit 11, a pattern of a plurality of markers to be detected and registered image T1~Tk, for each registered image T1~Tk, color generating a plurality of detection image with different and brightness. 検出用画像検査部12は、各マーカの検出用画像から、絵柄の異なるマーカの回転画像をも含めて、いずれかの回転画像と類似する検出用画像を除外して検証後検出用画像を決定する。 Detection image inspecting unit 12 determines from the detected image of each marker, including the rotated image of the pattern of different markers, one of the detection image after verification to exclude detection image similar to the rotated image to. ただし、このとき、登録画像T1〜Tkと同一の画像は類似する回転画像があっても除外しないものとしてもよい。 However, this time, the same image and the registered image T1~Tk may be not excluding even the rotation image similar. マーカ検出部15は、その検証後検出用画像を用いて撮影画像Iからマーカを検出する。 The marker detecting section 15 detects the marker from the captured image I using the verification after detection image. これによれば、複数のマーカの検出においても、マーカの登録画像を元に生成した検出用画像と撮影画像との比較によって撮影画像からマーカを検出するので、撮影条件によってマーカと異なる画像になっている撮影画像からマーカを良好に検出することができる。 According to this, even in the detection of multiple markers, and detects the marker from the captured image by comparing the detection image and the photographed image generated based on the registered image of the marker, turned the marker with different image depending on the shooting conditions a marker from which the captured image can be satisfactorily detected.

また、上述した実施形態では、検出用画像生成部11は、登録画像Tを入力とし、画像処理によって色彩・輝度・コントラスト・解像度・ピントを変えた複数の検出用画像P1〜Pnを生成する例を示したが、本発明はこれに限定されるものではない。 Further, in the above-described embodiment, the detection image generation unit 11 inputs the registered image T, and generates a plurality of detection image P1~Pn with different colors, brightness, contrast, resolution and focus the image processing examples It is shown, but the present invention is not limited thereto. 画像処理の他の例として、検出用画像生成部11は、登録画像Tを拡大あるいは縮小した画像を検出用画像としてもよい。 As another example of the image processing, the detection image generation unit 11, the image may be as a detection image obtained by enlarging or reducing the registered image T.

また、上述した実施形態では、検出用画像検査部13では、検出用画像から回転画像を生成し、検出用画像と回転画像を比較することにより、誤認識の原因となる検出用画像を除外する例を示したが、本発明はこれに限定されるものではない。 Further, in the above-described embodiment, the detection image checking unit 13 generates a rotated image from the detected image, by comparing the rotated image and the detection image, the detection image causing erroneous recognition excluded an example, but the invention is not limited thereto. 他の例として、回転画像の代わりにあるいは回転画像に加えて、変形画像を生成し、検出用画像と変形画像を比較することにしてもよい。 As another example, in addition to instead of or rotated image of the rotated image to generate a deformed image, may be comparing the deformed image and the detection image. 例えば、マーカを斜め方向から撮影した場合に相当する変形画像(台形画像など)を生成し、それと検出用画像を比較することにしてもよい。 For example, to generate a deformed image which corresponds to the case where shooting marker from an oblique direction (such as a trapezoidal image) therewith may be comparing the detection image.

また、上述した実施形態の検出用画像検査部12は、類似画像数が最大の検出用画像を1つずつ除外しながら処理を繰り返すという例を示したが、本発明はこれに限定されるものではない。 Further, detection image inspection unit 12 of the embodiment described above, those numbers similar image is an example has been shown that the process is repeated while excluding one maximum detection image, the present invention is not limited to this is not. 他の例として、検証処理の当初には類似画像数が所定の閾値より多い検出用画像を全て除外してしまい、その後、類似画像が最大の検出用画像を1つずつ除外する処理を開始することにしてもよい。 As another example, the initial verification process will be the number of similar images to exclude all more detection image than a predetermined threshold, then the similar image is started to exclude processed one maximum detection image may be it. 例えば、1回目の判定では類似画像数が3以上の検証用画像を一度に除外してもよい。 For example, it may be excluded verification image number similar image is 3 or more at a time by the first judgment. これによれば検証後検出用画像を選択する検証処理に要する時間を短縮することができる。 According to this it is possible to shorten the time required for the verification process to select the detection images after verification.

本実施形態よる画像検出装置の構成を示すブロック図である。 It is a block diagram showing a configuration of an image sensing apparatus according the present embodiment. 本実施形態の画像検出装置の動作を説明するための図である。 It is a diagram for explaining the operation of the image detection device of the present embodiment. 類似検査部の動作アルゴリズムを示すフローチャートある。 There flowchart showing an operation algorithm of the correlation checking portion. 登録画像と同一の検出用画像を除外しない場合の類似検査部の動作アルゴリズムを示すフローチャートある。 There flowchart showing an operation algorithm of the correlation checking portion when not exclude same detection image and registered image. マーカが検出できなければ検証後検出用画像を追加する場合のマーカ検出部の動作を示すフローチャートである。 Marker is a flowchart showing the operation of the marker detector for adding a verification after detecting image to be able to detect.

符号の説明 DESCRIPTION OF SYMBOLS

10 画像検出装置 11 検出用画像生成部 12 検出用画像検査部 13 回転画像生成部 14 類似検査部 15 マーカ検出部 101〜107、201〜202、301〜304 ステップ 10 image detection apparatus 11 detects image generation unit 12 detects image inspection unit 13 rotates the image generating unit 14 correlation checking portion 15 marker detector 101~107,201~202,301~304 step

Claims (12)

  1. マーカが撮影された撮影画像から前記マーカを検出する画像検出装置であって、 An image detection device for detecting the marker from the captured image marker is captured,
    前記マーカの絵柄を登録画像として、該登録画像を元に検出用画像を生成する検出用画像生成部と、 As a registered image pattern of the marker, a detection image generation unit for generating a detection image based on the registered image,
    前記検出用画像生成部で生成された前記検出用画像を回転させた複数の回転画像を生成し、前記検出用画像と前記回転画像を比較し、前記検出用画像生成部で生成された前記検出用画像から、類似する回転画像のある検出用画像を除外することで、前記検出用画像の中から検証後検出用画像を選択する検出用画像検査部と、 Wherein generating a plurality of rotated images obtained by rotating the detection image generated by the detection image generation unit, wherein the detection image and comparing the rotated image, generated the detected by the detection image generation unit from use image, by excluding the detection image with a rotating image similar, the detection image checking section for selecting the detection image after verification from among the detection image,
    前記検出用画像検査部にて選択された前記検証後検出用画像と前記撮影画像とを比較することにより該撮影画像から前記マーカを検出するマーカ検出部と、を有する画像検出装置。 Image detecting apparatus having a marker detector for detecting the marker from the captured image by comparing the captured image with the selected verification after detection image in the detection image inspection unit.
  2. 前記検出用画像生成部は、前記登録画像と同一の画像と、該登録画像に画像処理を施した画像とを前記検出用画像とする、請求項1に記載の画像検出装置。 The detection image generation unit, the registration image and the same image, the image and the detection image subjected to image processing to the registered image, the image sensing apparatus according to claim 1.
  3. 前記検出用画像生成部は、前記画像処理によって、前記登録画像の色彩、輝度、コントラスト、解像度、ピントの少なくとも1つを変化させた画像を生成する、請求項2に記載の画像検出装置。 The detection image generation unit, by the image processing, the color of the registered image, and generates luminance, contrast, resolution, an image obtained by changing at least one of focus, the image sensing apparatus according to claim 2.
  4. 前記検出画像検査部は、 The detection image inspection unit,
    前記検出用画像毎に、該検出用画像との類似度が所定の閾値より大きい回転画像の数を類似画像数として求め、前記類似画像数の最も大きい検出用画像と該検出用画像を回転した回転画像とを除外する処理を、全ての検出用画像の類似画像数がゼロになるまで繰り返し、残った検出用画像を前記検証後検出用画像とする、請求項1から3のいずれか1項に記載の画像検出装置。 For each of the detection image, the similarity between the detection image is calculated by determining the number of greater than a predetermined threshold rotational image as a similar image number, and rotate the largest detection image and the detection image of the similar image number the process for removing a rotated image is repeated until the number of the similar image every detection image becomes zero, the remaining detection image and the verification after detection image, any one of claims 1 3 image detector according to.
  5. 前記検出画像検査部は、 The detection image inspection unit,
    前記検出用画像の中で、前記登録画像と同一の画像については、類似する回転画像があっても除外しない、請求項1から4のいずれか1項に記載の画像検出装置。 Among the above detection image, the Registration image and the same image does not exclude even the rotation image similar, image detection apparatus according to any one of claims 1 to 4.
  6. 前記マーカ検出部は、前記撮影画像から前記マーカを検出できなかったとき、該撮影画像からマーカの絵柄部分を切り出して前記検証後検出用画像に追加する、請求項1からのいずれか1項に記載の画像検出装置。 The marker detecting unit, when that could not be detected the marker from the captured image is added to the verification after detection image by cutting out a pattern portion of the marker from the captured image, any one of claims 1 to 5 image detector according to.
  7. 絵柄の異なる複数のマーカがあり、 There are different markers of the picture,
    前記検出用画像生成部は、前記複数のマーカの各々を登録画像とし、該登録画像毎に複数の検出用画像を生成し、 The detection image generation unit, said each of the plurality of markers as a registered image, generates a plurality of detection image for each said registered image,
    前記検出用画像検査部は、前記検出用画像の各々を回転させた複数の回転画像を生成し、絵柄の異なるマーカの回転画像を含めて、前記検出用画像と前記回転画像を比較し、前記検出用画像生成部で生成された前記複数の検出用画像から、類似する回転画像のある検出用画像を除外することで、前記検証後検出用画像を選択し、 The detection image inspecting unit generates a plurality of rotated images obtained by rotating each of the detection image, including the rotated image of the pattern of different markers, and comparing the rotated image and the detection image, the from the plurality of detection image generated by the detection image generation unit, by excluding the detection image with a rotating image similar, select detection image after the verification,
    前記マーカ検出部は、前記複数のマーカについての前記検証後検出用画像と前記撮影画像とを比較することにより該撮影画像から前記マーカを検出する、請求項1からのいずれか1項に記載の画像検出装置。 The marker detecting unit detects the marker from the captured image by comparing said verification after detection image for said plurality of markers and the captured image, according to any one of claims 1 6 image detection device.
  8. マーカが撮影された撮影画像から前記マーカを検出するための画像検出方法であって、 An image detection method for detecting the marker from the captured image marker is captured,
    前記マーカの絵柄を登録画像として、該登録画像を元に検出用画像を生成し、 As a registered image pattern of the marker generates a detection image based on the registered image,
    生成した前記検出用画像を回転させた複数の回転画像を生成し、前記検出用画像と前記回転画像を比較し、生成した前記検出用画像から、類似する回転画像のある検出用画像を除外することで、前記検出用画像の中から検証後検出用画像を選択し、 The detection image generated by generating a plurality of rotated images obtained by rotating and comparing the rotated image and the detection image, from the generated said detection image, excluding the detection image with a rotating image similar it is, select the detection images after verification from among the detection image,
    選択した前記検証後検出用画像と前記撮影画像とを比較することにより該撮影画像から前記マーカを検出する、画像検出方法。 Detecting said marker from said captured image by comparing selected as the verification after detection image and the captured image, an image detection method.
  9. 前記検出用画像毎に、該検出用画像との類似度が所定の閾値より大きい回転画像の数を類似画像数として求め、前記類似画像数の最も大きい検出用画像と該検出用画像を回転した回転画像とを除外する処理を、全ての検出用画像の類似画像数がゼロになるまで繰り返し、残った検出用画像を前記検証後検出用画像とする、請求項に記載の画像検出方法。 For each of the detection image, the similarity between the detection image is calculated by determining the number of greater than a predetermined threshold rotational image as a similar image number, and rotate the largest detection image and the detection image of the similar image number the process for removing a rotated image is repeated until the number of the similar image every detection image becomes zero, the remaining detection image and the verification after detection image, the image detecting method according to claim 8.
  10. 前記検出用画像の中で、前記登録画像と同一の画像については、類似する回転画像があっても除外しない、請求項またはに記載の画像検出方法。 Among the above detection image, the Registration image and the same image does not exclude even the rotation image similar image detecting method according to claim 8 or 9.
  11. 前記撮影画像から前記マーカを検出できなかったとき、該撮影画像からマーカの絵柄部分を切り出して前記検証後検出用画像に追加する、請求項から10のいずれか1項に記載の画像検出方法。 When unable to detect the marker from the captured image, to add to the verification after detection image by cutting out a pattern portion of the marker from the captured image, the image detecting method according to any one of claims 8 10 .
  12. 絵柄の異なる複数のマーカがあり、 There are different markers of the picture,
    前記複数のマーカの各々を登録画像として該登録画像毎に複数の検出用画像を生成し、 Generating a plurality of detection image for each said registered image of each of the plurality of markers as a registered image,
    前記検出用画像の各々を回転させた複数の回転画像を生成し、絵柄の異なるマーカの回転画像を含めて、前記検出用画像と前記回転画像を比較し、前記複数の検出用画像から、類似する回転画像のある検出用画像を除外することで、前記検証後検出用画像を選択し、 Wherein generating a plurality of rotated images obtained by rotating each detected image, including the rotated image of the pattern of different markers, and comparing the rotated image and the detection image, from the plurality of detection image, similar it is to exclude detection image with a rotating image, select the detection images after the verification,
    前記複数のマーカについての前記検証後検出用画像と前記撮影画像とを比較することにより該撮影画像から前記マーカを検出する、請求項から11のいずれか1項に記載の画像検出方法。 The detected from the captured image the marker image detecting method according to any one of claims 8 to 11 by comparing the said and verification after detection image capturing images for the plurality of markers.
JP2006130846A 2006-05-09 2006-05-09 Image detection device and image detection method Active JP4550769B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006130846A JP4550769B2 (en) 2006-05-09 2006-05-09 Image detection device and image detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006130846A JP4550769B2 (en) 2006-05-09 2006-05-09 Image detection device and image detection method

Publications (2)

Publication Number Publication Date
JP2007304733A true JP2007304733A (en) 2007-11-22
JP4550769B2 true JP4550769B2 (en) 2010-09-22

Family

ID=38838623

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006130846A Active JP4550769B2 (en) 2006-05-09 2006-05-09 Image detection device and image detection method

Country Status (1)

Country Link
JP (1) JP4550769B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4938065B2 (en) * 2009-09-02 2012-05-23 日本電信電話株式会社 Image parameter adjustment apparatus and method, and program
JP5505007B2 (en) 2010-03-18 2014-05-28 富士通株式会社 Image processing apparatus, image processing method and an image processing computer program
JP5735861B2 (en) * 2011-06-01 2015-06-17 任天堂株式会社 Image display program, an image display apparatus, image display method, image display system, the marker
KR101260817B1 (en) * 2011-07-04 2013-05-21 광주과학기술원 The digital video content to support robust recognition / tracking feature points reinforcing method and a computer-readable recording medium therefor
JP5279875B2 (en) 2011-07-14 2013-09-04 株式会社エヌ・ティ・ティ・ドコモ Object display device, an object display method and the object display program
JP5230778B2 (en) 2011-07-14 2013-07-10 株式会社エヌ・ティ・ティ・ドコモ Object information provision device, the object information providing system, a terminal and the object information providing method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003319388A (en) * 2003-04-04 2003-11-07 Canon Inc Image processing method and apparatus
JP2003317097A (en) * 2002-04-19 2003-11-07 Juki Corp Method and apparatus for mark recognition

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003317097A (en) * 2002-04-19 2003-11-07 Juki Corp Method and apparatus for mark recognition
JP2003319388A (en) * 2003-04-04 2003-11-07 Canon Inc Image processing method and apparatus

Also Published As

Publication number Publication date Type
JP2007304733A (en) 2007-11-22 application

Similar Documents

Publication Publication Date Title
Piva An overview on image forensics
US6393162B1 (en) Image synthesizing apparatus
US9019426B2 (en) Method of generating image data by an image device including a plurality of lenses and apparatus for generating image data
US20100098299A1 (en) Information Extraction Method, Information Extraction Device, Program, Registration Device, and Verification Device
US20080044079A1 (en) Object-based 3-dimensional stereo information generation apparatus and method, and interactive system using the same
US20090003652A1 (en) Real-time face tracking with reference images
US6798923B1 (en) Apparatus and method for providing panoramic images
US20120092329A1 (en) Text-based 3d augmented reality
US20100232727A1 (en) Camera pose estimation apparatus and method for augmented reality imaging
Li et al. A new cost function for spatial image steganography
US20140119593A1 (en) Determining pose for use with digital watermarking, fingerprinting and augmented reality
US20100194851A1 (en) Panorama image stitching
US6865289B1 (en) Detection and removal of image occlusion errors
US20080144964A1 (en) System, method, device, and computer program product for providing image correction
US20150091900A1 (en) Systems and Methods for Depth-Assisted Perspective Distortion Correction
Hsu et al. Image splicing detection using camera response function consistency and automatic segmentation
US20100084470A1 (en) Two-dimensional barcode localization for camera based devices
Hsu et al. Camera response functions for image forensics: an automatic algorithm for splicing detection
Christlein et al. A Study on Features for the Detection of Copy-Move Forgeries.
US20110311100A1 (en) Method, Apparatus and Computer Program Product for Providing Object Tracking Using Template Switching and Feature Adaptation
Paramanand et al. Non-uniform motion deblurring for bilayer scenes
JP2009086926A (en) Image recognition method and device
JP2001194126A (en) Apparatus and method for measuring three-dimensional shape and program providing medium
JP2006050070A (en) Image processing method, apparatus and program thereof
JP2005253000A (en) Image forming device

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100324

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100519

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100630

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100708

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130716

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350