JP4550768B2 - Image detection method and image detection apparatus - Google Patents

Image detection method and image detection apparatus Download PDF

Info

Publication number
JP4550768B2
JP4550768B2 JP2006130845A JP2006130845A JP4550768B2 JP 4550768 B2 JP4550768 B2 JP 4550768B2 JP 2006130845 A JP2006130845 A JP 2006130845A JP 2006130845 A JP2006130845 A JP 2006130845A JP 4550768 B2 JP4550768 B2 JP 4550768B2
Authority
JP
Japan
Prior art keywords
marker
detected
image
value
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006130845A
Other languages
Japanese (ja)
Other versions
JP2007304732A (en
Inventor
裕人 松岡
典彦 前田
孝 青木
育生 原田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2006130845A priority Critical patent/JP4550768B2/en
Publication of JP2007304732A publication Critical patent/JP2007304732A/en
Application granted granted Critical
Publication of JP4550768B2 publication Critical patent/JP4550768B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、実空間に仮想物があるかのように見せるＡｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ技術に関するもので、特に、携帯電話機を用いたＡｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ技術を実現するための画像検出方法および画像検出装置に関する。   The present invention relates to Augmented Reality technology that makes it appear as if there is a virtual object in real space, and more particularly to an image detection method and an image detection device for realizing Augmented Reality technology using a mobile phone.

Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙは、実世界の情報を計算機内部に構築した仮想世界データ（ＣＧ：Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）で補強する技術であり、ＣＧだけの世界を扱うＶｉｒｔｕａｌ Ｒｅａｌｉｔｙとは全く異なるアプリケーション分野を切り開くことが期待され、多くの研究がなされている。例えば、非特許文献１には、Ｂｉｌｌｉｎｇｈｕｒｓｔ＆Ｋａｔｏによる、次のような技術が開示されている。   Augmented Reality is a technology that reinforces real world information with virtual world data (CG: Computer Graphics) built inside the computer, and is expected to open up an application field that is completely different from Virtual Reality, which handles only the world of CG. A lot of research has been done. For example, Non-Patent Document 1 discloses the following technique by Billinghurst & Kato.

実際の３次元空間に仮想物のＣＧを配置すべき位置を示す目印として、黒枠の内側に絵柄が描かれたマーカを用いる。マーカが記載された用紙を実際の３次元空間に置き、撮影画像にマーカが入るようにして、カメラで目の前の空間を撮影する。続いて、この撮影画像をシステムに入力し、システムに撮影画像内でマーカを探索させる。システムは、撮影画像内のマーカを検出すると、撮影画像のマーカの位置にＣＧを配置し、撮影画像にＣＧを合成した画像を生成する。ＣＧを撮影画像に配置する際、撮影画像に写っている黒枠の大きさや形でカメラと黒枠との３次元の相対位置を計算し、黒枠の内側に描かれた絵柄と予め登録した絵柄とを比較し、合成するＣＧを決めている。複数種の絵柄と各絵柄に対応するＣＧを予め決めておけば、この技術により、撮影画像に含まれるマーカの絵柄に対応して、異なるＣＧを合成することを可能にしている。   As a mark indicating the position where a virtual object CG should be placed in an actual three-dimensional space, a marker having a picture drawn inside a black frame is used. A sheet on which a marker is described is placed in an actual three-dimensional space, and the space in front of the user is photographed so that the marker is included in the photographed image. Subsequently, the captured image is input to the system, and the system is caused to search for a marker in the captured image. When the system detects a marker in the captured image, the system places a CG at the marker position in the captured image, and generates an image in which the captured image is combined with CG. When CG is placed in the photographic image, the three-dimensional relative position between the camera and the black frame is calculated based on the size and shape of the black frame in the photographic image, and the picture drawn inside the black frame and the pre-registered picture are CG to be synthesized is determined by comparison. If a plurality of types of patterns and CGs corresponding to the patterns are determined in advance, this technique makes it possible to synthesize different CGs corresponding to the pattern of the marker included in the photographed image.

上述の技術におけるマーカ検出方法では、マーカを判別可能にするための閾値で撮影画像を２値化し、２値化した画像の中から四角形の黒枠を検出することで、マーカの位置を求めており、屋内等の比較的照明条件が安定した環境で有効である。撮影画像の２値化とは、撮影画像の各画素について、基準値となる閾値に比べて明るいか暗いかを判定し、明るければ白色に変換し、暗ければ黒色に変換する処理である。以下では、２値化した画像を２値化画像と称する。   In the marker detection method in the above-described technique, the captured image is binarized with a threshold value for enabling the marker to be discriminated, and a square black frame is detected from the binarized image to obtain the marker position. It is effective in an environment where lighting conditions are relatively stable, such as indoors. The binarization of the captured image is a process of determining whether each pixel of the captured image is brighter or darker than a threshold value serving as a reference value, converting it to white if it is bright, and converting it to black if it is dark. Hereinafter, the binarized image is referred to as a binarized image.

一方、マーカを配置した３次元空間を携帯電話機等のカメラを用いて撮影し、その撮影画像をサーバに送ると、サーバがその撮影画像からマーカを検出し、Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙを実現する手段が、特許文献１に提案されている。
Ｂｉｌｌｉｎｇｈｕｒｓｔ ＆ Ｋａｔｏ，“Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｍｉｘｅｄ Ｒｅａｌｉｔｙ．”，ＩＳＭＡＲ’９９ 特開２００４−３４１６４２号公報 On the other hand, when a three-dimensional space in which a marker is arranged is photographed using a camera such as a mobile phone and the photographed image is sent to a server, the server detects the marker from the photographed image and realizes Augmented Reality. It is proposed in Document 1.
Billinghurst & Kato, “Collaborative Mixed Reality.”, ISMAL '99 JP 2004-341642 A

しかし、携帯電話機で撮影する際の環境は照明条件が安定した場所に限らず様々であるため、撮影画像によっては黒枠が閾値よりも明るく写っていたり、逆に、黒枠の周りが閾値よりも暗く写っていたりすることがある。このような場合、２値化したときにうまく黒枠を認識できず、マーカ検出に失敗することがあった。   However, because the environment when shooting with a mobile phone is not limited to a place where the lighting conditions are stable, there are various environments. Depending on the shot image, the black frame appears brighter than the threshold, or conversely, the area around the black frame is darker than the threshold. Sometimes it is reflected. In such a case, when the binarization is performed, the black frame cannot be recognized well, and marker detection may fail.

このように、従来のＡｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙを用いたアプリケーションでは、撮影の際の照明条件によって撮影画像の黒枠や黒枠周辺の明るさが実際と異なってしまうと、撮影画像を２値化したときに黒枠がうまく検出できないという問題があった。   As described above, in the application using conventional Augmented Reality, if the black frame of the captured image or the brightness around the black frame differs from the actual brightness depending on the illumination condition at the time of shooting, the black frame is not displayed when the captured image is binarized. There was a problem that it could not be detected well.

本発明は上述したような従来の技術が有する問題点を解決するためになされたものであり、様々な環境下でマーカが撮影された画像であっても、マーカを検出可能な画像検出方法および画像検出装置を提供することを目的とする。   The present invention has been made in order to solve the problems of the conventional techniques as described above, and an image detection method capable of detecting a marker even in an image obtained by photographing the marker under various environments, and An object is to provide an image detection apparatus.

上記目的を達成するための本発明の画像検出方法は、仮想物を配置するための位置を示すマーカが撮影された撮影画像から該マーカを検出するための画像検出方法であって、
前記マーカを判別可能にするための閾値を用いて前記撮影画像からマーカ候補を検出し、
検出したマーカ候補のうち誤認識で検出したマーカ候補を除外するものであり、
誤認識で検出したマーカ候補を除外した後、前記マーカを検出しているか否かを判定し、
判定の結果、前記マーカを検出していなければ、該マーカを検出するまで、前記閾値を前記初期値から増加側と減少側を交互に一定量ずつ離れる値に変化させ、該閾値を変化させる度に２値化した画像を生成し、
生成した画像毎に前記マーカ候補を検出するものである。 An image detection method of the present invention for achieving the above object is an image detection method for detecting a marker from a captured image in which a marker indicating a position for placing a virtual object is captured,
A marker candidate is detected from the captured image using a threshold for enabling the marker to be discriminated;
It excludes marker candidates detected by misrecognition among detected marker candidates ,
After excluding the marker candidate detected by misrecognition, determine whether the marker is detected,
If the marker is not detected as a result of the determination, the threshold value is changed from the initial value to a value that alternately separates the increase side and the decrease side by a certain amount until the marker is detected. To generate a binarized image,
The marker candidate is detected for each generated image .

本発明によれば、検出したマーカ候補のうち、誤認識によるマーカ候補が除外されるため、検出結果として、正規のマーカのみを残すことが可能となる。また、閾値が初期値でマーカを検出できなくても、閾値を初期値から上下に振るように変化させて初期値から少しずつ離れるようにすることで、初期値の近傍で先にマーカの探索が行われるため、閾値を変化させてマーカを再探索する際、より早い段階でマーカを検出できる可能性が高くなる。 According to the present invention, among the detected marker candidates, marker candidates due to misrecognition are excluded, so that only a regular marker can be left as a detection result. In addition, even if the marker is not detected with the initial value, the marker is first searched in the vicinity of the initial value by changing the threshold value so that it moves up and down from the initial value little by little. Therefore, when the threshold is changed and the marker is searched again, the possibility that the marker can be detected at an earlier stage is increased.

また、上記本発明の画像検出方法において、
前記撮影画像から前記マーカ候補を検出する処理は、前記閾値に初期値を設定して前記撮影画像を２値化した画像を生成し、生成した画像内で前記マーカ候補を検出するものであり、
誤認識で検出したマーカ候補を除外した後、前記マーカを検出しているか否かを判定し、
判定の結果、前記マーカを検出していなければ、前記閾値を変えて前記撮影画像から前記マーカ候補を検出する処理に戻ることとしてもよい。 In the image detection method of the present invention,
The process of detecting the marker candidate from the captured image is to generate an image obtained by binarizing the captured image by setting an initial value to the threshold value, and to detect the marker candidate in the generated image.
After excluding the marker candidate detected by misrecognition, determine whether the marker is detected,
As a result of the determination, if the marker is not detected, the threshold value may be changed to return to the process of detecting the marker candidate from the captured image.

本発明によれば、閾値を初期値に設定して２値化した画像でマーカを検出できなければ、閾値の値を変えて２値化した画像で再度マーカの検出の処理が行われるため、マーカ検出の可能性が高くなる。   According to the present invention, if the marker is not detected in the binarized image with the threshold value set to the initial value, the marker detection process is performed again with the binarized image by changing the threshold value. The possibility of marker detection increases.

また、上記本発明の画像検出方法において、
誤認識で検出したマーカ候補を除外する分別処理は、
前記マーカ候補の面積Ｓｍを前記撮影画像の面積Ｓｐで割った値である（Ｓｍ／Ｓｐ）が予め設定された第１の基準値と比べて小さいか否かを判定し、
前記（Ｓｍ／Ｓｐ）の値が前記第１の基準値よりも低ければ、該マーカ候補を誤認識によるものと判定して除外するものとしてもよい。本発明によれば、正規のマーカよりも面積の小さいマーカ候補が除外される。 In the image detection method of the present invention,
Sorting process to exclude marker candidates detected by misrecognition is
It is determined whether or not (Sm / Sp), which is a value obtained by dividing the area Sm of the marker candidate by the area Sp of the captured image, is smaller than a preset first reference value,
If the value of (Sm / Sp) is lower than the first reference value, the marker candidate may be determined to be due to erroneous recognition and excluded. According to the present invention, marker candidates having a smaller area than a regular marker are excluded.

また、上記本発明の画像検出方法において、前記マーカの形状が正方形であり、
誤認識で検出したマーカ候補を除外する分別処理は、
前記マーカ候補の面積をＳｍとし、該マーカ候補の４辺のうち最大の辺の長さをｌｍとすると、Ｓｍをｌｍの２乗で割った値である（Ｓｍ／ｌｍ2）が予め設定された第２の基準値と比べて小さいか否かを判定し、
前記（Ｓｍ／ｌｍ2）の値が前記第２の基準値よりも低ければ、該マーカ候補を誤認識によるものと判定して除外するものとしてもよい。本発明によれば、正規のマーカと比べて形状の異なるマーカ候補が除外される。 In the image detection method of the present invention, the marker has a square shape,
Sorting process to exclude marker candidates detected by misrecognition is
When the area of the marker candidate is Sm and the length of the maximum side among the four sides of the marker candidate is lm, a value obtained by dividing Sm by the square of lm (Sm / lm 2 ) is preset. It is determined whether it is smaller than the second reference value,
If the value of (Sm / lm 2 ) is lower than the second reference value, the marker candidate may be determined to be due to erroneous recognition and excluded. According to the present invention, marker candidates having different shapes compared to regular markers are excluded.

また、上記本発明の画像検出方法において、前記マーカが複数の枠を有する構成であり、
誤認識で検出したマーカ候補を除外する分別処理は、
前記マーカ候補の枠数が１であると、該マーカ候補を誤認識によるものと判定して除外するものとしてもよい。本発明によれば、マーカ以外で複数枠の形状のものが撮影画像内に写る可能性が低いことから、マーカをより検出しやすくなる。 In the image detection method of the present invention, the marker has a plurality of frames.
Sorting process to exclude marker candidates detected by misrecognition is
When the number of frames of the marker candidates is 1, the marker candidates may be determined to be due to erroneous recognition and excluded. According to the present invention, since it is unlikely that a frame having a shape other than the marker appears in the captured image, the marker can be detected more easily.

また、上記本発明の画像検出方法において、
誤認識で検出したマーカ候補を除外した後、前記マーカを検出しているか否かを判定し、
判定の結果、前記マーカを少なくとも１つ検出していれば、該マーカを検出したときの画像を生成したときの前記閾値を仮閾値とし、
前記閾値を前記仮閾値から増加側と減少側を交互に一定量ずつ離れる値に変化させ、該閾値を変化させる度に２値化した画像を生成し、生成した画像毎に前記マーカ候補を検出する処理を１回以上行い、前記マーカを最も多く検出する閾値を求め、
求めた閾値で２値化した画像を生成し、
生成した画像で前記マーカ候補を検出することとしてもよい。 In the image detection method of the present invention,
After excluding the marker candidate detected by misrecognition, determine whether the marker is detected,
As a result of the determination, if at least one of the markers is detected, the threshold when the image when the marker is detected is set as a temporary threshold,
The threshold value is changed from the temporary threshold value to a value that is alternately separated by a certain amount from the increase side and the decrease side, and a binarized image is generated each time the threshold value is changed, and the marker candidate is detected for each generated image To obtain a threshold for detecting the marker most frequently,
Generate a binarized image with the obtained threshold,
The marker candidate may be detected from the generated image.

本発明によれば、少なくとも１つのマーカを検出した閾値の近傍でより多くのマーカを検出できる値に閾値を設定するため、複数のマーカが写っている撮影画像からより多くのマーカを検出することが可能となる。   According to the present invention, since the threshold value is set to a value that can detect more markers in the vicinity of the threshold value at which at least one marker is detected, more markers are detected from a captured image in which a plurality of markers are reflected. Is possible.

一方、上記目的を達成するための本発明の画像検出装置は、仮想物を配置するための位置を示すマーカが撮影された撮影画像から該マーカを検出する画像検出装置であって、
前記マーカを判別可能にするための閾値を用いて前記撮影画像からマーカ候補を検出するマーカ検出部と、
検出したマーカ候補のうち誤認識で検出したマーカ候補を除外する分別部と、
を有する構成であり、
前記マーカ検出部は、
前記マーカを検出していない旨の通知を前記分別部から受け取ると、該分別部が該マーカを検出するまで、前記閾値を前記初期値から増加側と減少側を交互に一定量ずつ離れる値に変化させ、該閾値を変化させる度に２値化した画像を生成し、
生成した画像毎に前記マーカ候補を検出するものである。 On the other hand, an image detection apparatus of the present invention for achieving the above object is an image detection apparatus that detects a marker from a captured image in which a marker indicating a position for placing a virtual object is captured,
A marker detection unit for detecting marker candidates from the captured image using a threshold for enabling the marker to be discriminated;
A classification unit for excluding marker candidates detected by erroneous recognition among the detected marker candidates;
It is configured to have a,
The marker detection unit
When the notification that the marker is not detected is received from the classification unit, the threshold value is changed from the initial value to a value that alternately separates the increase side and the decrease side by a certain amount until the classification unit detects the marker. Each time the threshold is changed, a binarized image is generated,
The marker candidate is detected for each generated image .

本発明では、様々な環境下でマーカが撮影されていても、撮影画像から正規のマーカを検出することができる。   In the present invention, even if a marker is photographed under various environments, a regular marker can be detected from the photographed image.

本発明の画像検出方法は、マーカが撮影された画像からマーカの候補を検出した後、その候補が誤認識によるものであれば除外することを特徴とする。以下では、本発明に関連するマーカ検出部分を中心に説明し、マーカ検出後の画像合成処理に関しては従来と同様なため、その詳細な説明を省略する。   The image detection method of the present invention is characterized in that after a marker candidate is detected from an image in which a marker is photographed, the candidate is excluded if it is due to erroneous recognition. Hereinafter, the marker detection portion related to the present invention will be mainly described, and the image composition processing after the marker detection is the same as that in the related art, and thus detailed description thereof will be omitted.

本発明の実施例の画像検出装置の構成を説明する。図１は本実施例の画像検出装置の一構成例を示すブロック図である。   The configuration of the image detection apparatus according to the embodiment of the present invention will be described. FIG. 1 is a block diagram illustrating a configuration example of the image detection apparatus according to the present exemplary embodiment.

図１に示すように、画像検出装置１０は、撮影画像を格納するための記憶部１２と、外部とデータを送受信する入出力部１４と、各部を制御する制御部１６とを有する情報処理装置である。制御部１６はマーカ検出部１６１および分別部１６２を有する。本実施例のマーカは、四角形の黒枠を有する構成とする。   As shown in FIG. 1, the image detection apparatus 10 includes an information processing apparatus having a storage unit 12 for storing captured images, an input / output unit 14 for transmitting / receiving data to / from the outside, and a control unit 16 for controlling each unit. It is. The control unit 16 includes a marker detection unit 161 and a sorting unit 162. The marker of the present embodiment is configured to have a rectangular black frame.

記憶部１２には、撮影画像からマーカ候補を検出するために、撮影画像を２値化するための閾値の初期値の情報が格納されている。以下では、撮影画像を２値化するための閾値を２値化閾値と称する。初期値は、過去のデータなどから最もマーカが検出されやすい値として予め決められている。また、記憶部１２に、２値化閾値を初期値に設定した２値化閾値を初期値よりも大きい値と小さい値に設定するための仮の閾値が格納される。初期値よりも大きい仮の閾値を上側閾値と称し、初期値よりも小さい仮の閾値を下側閾値と称する。２値化閾値を変化させる際の変化量にあたる値の情報も記憶部１２に予め格納されている。   The storage unit 12 stores information on the initial value of the threshold value for binarizing the captured image in order to detect marker candidates from the captured image. Hereinafter, a threshold value for binarizing a captured image is referred to as a binarization threshold value. The initial value is determined in advance as a value at which the marker is most easily detected from past data or the like. In addition, the storage unit 12 stores a temporary threshold for setting the binarization threshold, which is set to the initial value, to a value larger and smaller than the initial value. A temporary threshold value that is larger than the initial value is referred to as an upper threshold value, and a temporary threshold value that is smaller than the initial value is referred to as a lower threshold value. Information of a value corresponding to a change amount when changing the binarization threshold is also stored in the storage unit 12 in advance.

また、記憶部１２には、撮影画像に写った黒枠がマーカであるか否かを分別するための基準値Ｖ１およびＶ２の値が予め格納されている。基準値Ｖ１は、マーカ候補の撮影画像に占める面積の割合からマーカ候補がマーカであるか否かを判定するための基準となる。基準値Ｖ２は、枠形状の変形度からマーカ候補がマーカか否かを判定するための基準となる。   In addition, the storage unit 12 stores in advance reference values V1 and V2 for discriminating whether or not the black frame in the captured image is a marker. The reference value V1 is a reference for determining whether the marker candidate is a marker from the ratio of the area occupied by the marker candidate in the captured image. The reference value V2 is a reference for determining whether the marker candidate is a marker from the degree of deformation of the frame shape.

マーカ検出部１６１は、入出力部１４を介して撮影画像が入力されると、撮影画像を記憶部１２に格納し、２値化閾値を初期値に設定して２値化画像を生成する。生成した２値化画像からマーカ候補となる黒枠を探索する。そして、黒枠を検出すると、その情報を分別部１６２に通知する。２値化閾値が初期値の場合の２値化画像でマーカを検出できない旨の通知を分別部１６２から受け取ると、２値化閾値を初期値に対して一定量の増加と減少を交互に繰り返して初期値から一定量ずつ離れる値に変化させ、２値化閾値を変化させる度に２値化画像を生成し、生成した２値化画像毎に黒枠を探索する。分別部１６２がマーカを検出するまで、２値化閾値を変えて黒枠探索を繰り返す。ただし、２値化閾値が取り得る範囲を越える場合には、マーカ検出の処理を終了する。２値化閾値が取り得る範囲を越える場合とは、２値化画像が全て白または黒になることである。   When a photographed image is input via the input / output unit 14, the marker detection unit 161 stores the photographed image in the storage unit 12, sets a binarization threshold value to an initial value, and generates a binarized image. A black frame as a marker candidate is searched from the generated binarized image. When a black frame is detected, the information is notified to the sorting unit 162. When the notification that the marker cannot be detected in the binarized image when the binarization threshold is the initial value is received from the sorting unit 162, the binarization threshold is alternately increased and decreased by a certain amount relative to the initial value. Each time the binarization threshold is changed, a binarized image is generated, and a black frame is searched for each generated binarized image. Until the classification unit 162 detects a marker, the binarization threshold is changed and the black frame search is repeated. However, if the binarization threshold exceeds the possible range, the marker detection process is terminated. The case where the binarization threshold exceeds the possible range means that the binarized image becomes all white or black.

分別部１６２は、マーカ検出部１６１が検出したマーカ候補のうち、基準値Ｖ１およびＶ２を用いて誤認識で検出したマーカ候補を除外する。誤認識のマーカ候補を除外した結果、マーカを検出しているか否かを判定する。判定によりマーカを検出していれば、マーカ検出の処理を終了し、マーカを検出していなければ、その旨の情報をマーカ検出部１６１に通知する。   The classification unit 162 excludes marker candidates detected by erroneous recognition using the reference values V1 and V2 from among the marker candidates detected by the marker detection unit 161. It is determined whether or not the marker is detected as a result of excluding the erroneous recognition marker candidate. If the marker is detected by the determination, the marker detection process is terminated, and if the marker is not detected, information to that effect is notified to the marker detection unit 161.

制御部１６は、プログラムにしたがって所定の処理を実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）（不図示）と、プログラムを格納するためのメモリ（不図示）とを有する。マーカ検出部１６１および分別部１６２は、ＣＰＵがプログラムを実行することで、画像検出装置１０内に仮想的に構成される。   The control unit 16 includes a CPU (Central Processing Unit) (not shown) that executes predetermined processing according to a program, and a memory (not shown) for storing the program. The marker detection unit 161 and the classification unit 162 are virtually configured in the image detection apparatus 10 by the CPU executing a program.

次に、本実施例の画像処理方法を説明する。ここでは、マーカＭを撮影した撮影画像Ｐを用意し、撮影画像ＰからマーカＭを検出する場合とする。また、マーカＭの形状が正方形の場合とし、基準値Ｖ２を１とする。   Next, the image processing method of the present embodiment will be described. Here, it is assumed that a captured image P obtained by capturing the marker M is prepared and the marker M is detected from the captured image P. Further, it is assumed that the shape of the marker M is a square, and the reference value V2 is 1.

図２は本実施例の画像検出方法の手順を示すフローチャートである。マーカ検出部１６１は、２値化閾値ＴＨとして初期値ＴＨ０が入力されると、２値化閾値ＴＨに初期値ＴＨ０を設定する（ステップ１０１）。その際、上側閾値ＴＨＨと下側閾値ＴＨＬも初期値ＴＨ０に設定する。撮影画像Ｐが入出力部１４を介して制御部１６に入力されると、マーカ検出部１６１は、撮影画像Ｐを記憶部１２に格納した後、撮影画像Ｐを２値化した２値化画像ＷＢ０を生成し（ステップ１０２）、２値化画像ＷＢ０から黒枠を探索する。探索の結果、黒枠を検出すると（ステップ１０３）、撮影画像における黒枠の位置を含む情報を記憶部１２に格納する。黒枠が複数の場合には、それぞれについて位置を含む情報を記憶部１２に格納する。黒枠の検出方法は、例えば、非特許文献１に開示されたＡＲＴｏｏｌＫｉｔなどを用いて検出することが可能である。   FIG. 2 is a flowchart showing the procedure of the image detection method of this embodiment. When the initial value TH0 is input as the binarization threshold TH, the marker detection unit 161 sets the initial value TH0 as the binarization threshold TH (step 101). At this time, the upper threshold THH and the lower threshold THL are also set to the initial value TH0. When the captured image P is input to the control unit 16 via the input / output unit 14, the marker detection unit 161 stores the captured image P in the storage unit 12 and then binarizes the captured image P. WB0 is generated (step 102), and a black frame is searched from the binarized image WB0. If a black frame is detected as a result of the search (step 103), information including the position of the black frame in the captured image is stored in the storage unit 12. When there are a plurality of black frames, information including the position is stored in the storage unit 12. As a black frame detection method, for example, it is possible to detect using an ARTool Kit disclosed in Non-Patent Document 1.

マーカ検出部１６１が検出した黒枠のうち、マーカＭよりも小さな黒枠や大きく変形した黒枠はマーカＭではなく、写真に写った別の物であると考えられる。そのため、分別部１６２は、次のような分別処理を行って、誤認識したマーカ候補を除外する。   Of the black frames detected by the marker detection unit 161, a black frame smaller than the marker M or a greatly deformed black frame is not the marker M, but is considered to be another object shown in the photograph. Therefore, the classification unit 162 performs the following classification process, and excludes erroneously recognized marker candidates.

分別部１６２は、検出された黒枠が複数あると、そのうちの１つの黒枠を選択し（ステップ１０４）、黒枠で囲まれる面積Ｓｍを求める（ステップ１０５）。続いて、黒枠で囲まれる面積Ｓｍを撮影画像Ｐの面積Ｓｐで割った値（Ｓｍ／Ｓｐ）を算出し、この値が基準値Ｖ１よりも小さいか否かを判定する（ステップ１０６）。Ｓｍ／Ｓｐの値が基準値Ｖ１よりも小さい場合、検出された黒枠はマーカＭよりも小さいと認識し、マーカＭではないと判定し、その黒枠をマーカ候補から除外する（ステップ１０９）。この分別処理により、マーカＭよりも面積の小さい黒枠が除外される。   When there are a plurality of detected black frames, the sorting unit 162 selects one of the black frames (step 104), and obtains an area Sm surrounded by the black frame (step 105). Subsequently, a value (Sm / Sp) obtained by dividing the area Sm surrounded by the black frame by the area Sp of the captured image P is calculated, and it is determined whether or not this value is smaller than the reference value V1 (step 106). When the value of Sm / Sp is smaller than the reference value V1, it is recognized that the detected black frame is smaller than the marker M, it is determined that it is not the marker M, and the black frame is excluded from the marker candidates (step 109). By this sorting process, a black frame having an area smaller than that of the marker M is excluded.

ステップ１０６で、Ｓｍ／Ｓｐの値が基準値Ｖ１以上の場合、分別部１６２は、マーカ候補の４つの辺の長さを調べ、辺の最大値ｌｍを求める（ステップ１０７）。続いて、黒枠の面積Ｓｍを辺の最大値ｌｍの２乗で割った値（Ｓｍ／ｌｍ2）を算出し、この値が基準値Ｖ２よりも小さいか否かを判定する（ステップ１０８）。Ｓｍ／ｌｍ2の値が基準値Ｖ２よりも小さい場合、検出した黒枠は大きく変形していると認識し、マーカＭではないと判定し、その黒枠をマーカ候補から除外する（ステップ１０９）。これは、マーカ候補が正方形でなければ、そのマーカ候補の最長の辺（ｌｍ）を１辺とする正方形の面積がマーカ候補の面積Ｓｍよりも大きくなる性質を利用するものである。この分別処理により、マーカＭと比べて形状の異なる黒枠が除外される。 If the value of Sm / Sp is greater than or equal to the reference value V1 in step 106, the classification unit 162 examines the lengths of the four sides of the marker candidate and obtains the maximum value lm of the sides (step 107). Subsequently, a value (Sm / lm 2 ) obtained by dividing the area Sm of the black frame by the square of the maximum value lm of the side (Sm / lm 2 ) is calculated, and it is determined whether or not this value is smaller than the reference value V2 (step 108). If the value of Sm / lm 2 is smaller than the reference value V2, it is recognized that the detected black frame is greatly deformed, it is determined that it is not the marker M, and the black frame is excluded from the marker candidates (step 109). This uses the property that if the marker candidate is not a square, the area of the square with the longest side (lm) of the marker candidate as one side is larger than the area Sm of the marker candidate. By this classification process, black frames having different shapes compared to the marker M are excluded.

一方、ステップ１０８で、Ｓｍ／ｌｍ2の値が基準値Ｖ２以上の場合、分別部１６２は、他に黒枠がないか記憶部１２を調べる（ステップ１１０）。マーカ候補の黒枠が他にもある場合、上述した処理と同様にして、ステップ１０４からステップ１０８の処理を行う。 On the other hand, if the value of Sm / lm 2 is greater than or equal to the reference value V2 in step 108, the classification unit 162 checks the storage unit 12 for other black frames (step 110). If there are other marker candidate black frames, the processing from step 104 to step 108 is performed in the same manner as described above.

分別部１６２は、不適格なマーカ候補を除外した後に残ったマーカ候補のうちマーカＭがあるか否かを判定し（ステップ１１１）、マーカＭがあると判定すると、マーカ検出処理を終了する。ステップ１１１で、分別部１６２は、マーカＭがないと判定すると、マーカＭを検出できなかった旨をマーカ検出部１６１に通知する。マーカ検出部１６１は、マーカＭを検出できなかった旨の情報を分別部１６２から受け取ると、次のようにして、２値化閾値を変えて、マーカ候補の探索を再度行う。   The classification unit 162 determines whether or not there is a marker M among the remaining marker candidates after excluding ineligible marker candidates (step 111), and when determining that there is a marker M, ends the marker detection process. If the classification unit 162 determines in step 111 that there is no marker M, the classification unit 162 notifies the marker detection unit 161 that the marker M has not been detected. When the marker detection unit 161 receives information indicating that the marker M cannot be detected from the classification unit 162, the marker detection unit 161 changes the binarization threshold as described below and searches for marker candidates again.

マーカ検出部１６１は、２値化閾値ＴＨが下側閾値ＴＨＬと等しいか否かを判定する（ステップ１１２）。下側閾値ＴＨＬはＴＨ０に設定されているため、ステップ１１３に進む。ステップ１１３の第１式に示すように、新たな上側閾値ＴＨＨ（式の左辺）を、元の上側閾値ＴＨＨ（＝ＴＨ０）にΔＴＨを足した値に設定する。そして、ステップ１１３の第２式に示すように、２値化閾値ＴＨを新たな上側閾値ＴＨＨ（＝ＴＨ０＋ΔＴＨ）に設定する。続いて、新たに設定した２値化閾値で、２値化画像を生成し（ステップ１０２）、上述したようにして、黒枠を検出する（ステップ１０３）。そして、マーカ検出部１６１が検出した黒枠について、分別部１６２がステップ１０４からステップ１１１までの処理を行う。   The marker detection unit 161 determines whether or not the binarization threshold TH is equal to the lower threshold THL (step 112). Since the lower threshold value THL is set to TH0, the routine proceeds to step 113. As shown in the first equation of step 113, the new upper threshold THH (the left side of the equation) is set to a value obtained by adding ΔTH to the original upper threshold THH (= TH0). Then, as shown in the second equation of step 113, the binarization threshold TH is set to a new upper threshold THH (= TH0 + ΔTH). Subsequently, a binarized image is generated with the newly set binarization threshold (step 102), and a black frame is detected as described above (step 103). And the classification part 162 performs the process from step 104 to step 111 about the black frame which the marker detection part 161 detected.

２値化閾値ＴＨを（ＴＨ０＋ΔＴＨ）の値に設定してもマーカＭを検出できなかった場合（ステップ１１１）、マーカ検出部１６１は、ステップ１１２からステップ１１４に進み、ステップ１１４の処理を行う。ステップ１１４の第１式に示すように、新たな下側閾値ＴＨＬ（式の左辺）を、元の下側閾値ＴＨＬ（＝ＴＨ０）からΔＴＨを引いた値に設定する。そして、ステップ１１４の第２式に示すように、２値化閾値ＴＨを新たな下側閾値ＴＨＬ（＝ＴＨ０−ΔＴＨ）に設定する。続いて、新たに設定した２値化閾値で、２値化画像を生成し（ステップ１０２）、上述したようにして、黒枠を検出する（ステップ１０３）。そして、マーカ検出部１６１が検出した黒枠について、分別部１６２がステップ１０４からステップ１１１までの処理を行う。ただし、２値化閾値が取り得る範囲を越える場合には、マーカ検出の処理を終了する（ステップ１１５）。   If the marker M cannot be detected even if the binarization threshold TH is set to the value of (TH0 + ΔTH) (step 111), the marker detection unit 161 proceeds from step 112 to step 114 and performs the process of step 114. As shown in the first equation of step 114, the new lower threshold THL (the left side of the equation) is set to a value obtained by subtracting ΔTH from the original lower threshold THL (= TH0). Then, as shown in the second equation in step 114, the binarization threshold TH is set to a new lower threshold THL (= TH0−ΔTH). Subsequently, a binarized image is generated with the newly set binarization threshold (step 102), and a black frame is detected as described above (step 103). And the classification part 162 performs the process from step 104 to step 111 about the black frame which the marker detection part 161 detected. However, if the binarization threshold exceeds the possible range, the marker detection process is terminated (step 115).

このようにして、マーカＭが検出できるまで、２値化閾値を初期値に対して一定量（ΔＴＨ）の増加と減少を交互に繰り返して初期値から一定量ずつ離れる値に変化させ、２値化閾値の設定を変えて撮影画像から２値化画像を生成し、生成した２値化画像毎にマーカ候補を検出し、マーカ候補の中から不適格なものを除外する処理を繰り返す。２値化閾値を初期値に設定した２値化画像でマーカＭを検出できなくても、異なる２値化閾値で画像を生成し、再度マーカＭの探索を行うため、マーカＭをより検出しやすくなる。また、２値化閾値を初期値から増加側と減少側を交互に一定量ずつ離れるようにすることで、初期値の近傍で先にマーカの探索が行われるため、２値化閾値を変化させてマーカを再探索する際、より早い段階でマーカを検出できる可能性が高くなる。   In this way, until the marker M can be detected, the binarization threshold is alternately increased and decreased by a certain amount (ΔTH) with respect to the initial value, and changed to a value that deviates from the initial value by a certain amount. A binarized image is generated from the captured image by changing the setting of the binarization threshold, marker candidates are detected for each generated binarized image, and the process of excluding unqualified ones from the marker candidates is repeated. Even if the marker M cannot be detected from the binarized image in which the binarization threshold is set to the initial value, the image is generated with a different binarization threshold and the marker M is searched again. It becomes easy. In addition, by making the binarization threshold a certain amount alternately from the initial value on the increase side and the decrease side, the marker search is first performed in the vicinity of the initial value, so that the binarization threshold is changed. Thus, when searching for a marker again, there is a high possibility that the marker can be detected at an earlier stage.

なお、２値化閾値の変え方として、上述した方法の他に、２分木探索方法も考えられる。ただし、この方法は、閾値の範囲全体を効率よく探索できるが、初期値ＴＨ０近傍の値より離れた値を先に評価するので、初期値ＴＨ０から大きく外れた閾値で黒枠を検出する可能性がある。マーカの検出は初期値ＴＨ０に近い値で検出する可能性が高く、閾値から離れれば誤認識である確立が高くなるので、２分木探索方法では、誤認識に注意する必要がある。   As a method of changing the binarization threshold, a binary tree search method can be considered in addition to the above-described method. However, although this method can efficiently search the entire range of the threshold, since a value far from the value near the initial value TH0 is evaluated first, there is a possibility that a black frame may be detected with a threshold greatly deviating from the initial value TH0. is there. The marker detection is likely to be performed at a value close to the initial value TH0, and the probability of erroneous recognition increases as the distance from the threshold increases. Therefore, in the binary tree search method, attention must be paid to erroneous recognition.

また、本実施例では、マーカの枠の形状を四角形としたが、その形状は、三角形、五角形などその他の多角形であってもよく、丸であってもよい。また、マーカは２重枠、３重枠など複数枠の形状であってもよい。この場合、分別部１６２はマーカ候補の枠数が１つのものはマーカから除外する分別処理を行う。マーカ以外で複数枠の形状のものが撮影画像内に写る可能性は低く、マーカをより検出しやすくなる。図３（ａ）はマーカが四角形で２重枠の場合の一例を示し、図３（ｂ）はマーカが八角形で２重枠の場合の一例を示す。さらに、マーカＭの枠の色は、本実施例の黒に限られない。   In this embodiment, the shape of the marker frame is a quadrangle, but the shape may be another polygon such as a triangle or a pentagon, or may be a circle. Further, the marker may have a shape of a plurality of frames such as a double frame or a triple frame. In this case, the classification unit 162 performs a classification process of excluding one marker candidate frame number from the marker. There is a low possibility that a frame having a shape other than the marker will appear in the captured image, and the marker can be detected more easily. FIG. 3A shows an example when the marker is a quadrilateral and a double frame, and FIG. 3B shows an example when the marker is an octagon and a double frame. Further, the color of the frame of the marker M is not limited to black in this embodiment.

また、本実施例では、図２に示すようにステップ１０６の分別処理の後にステップ１０８の分別処理を行っているが、これらの分別処理の順序は図２に示す場合に限られない。また、分別処理は１つであってもよく、図２に示す以外の分別処理がさらに追加してもよい。例えば、マーカＭが複数枠を有する構成である場合、マーカ候補が複数枠であるか否かの分別処理を追加してもよい。   In this embodiment, as shown in FIG. 2, the sorting process of step 108 is performed after the sorting process of step 106, but the order of these sorting processes is not limited to the case shown in FIG. Further, there may be one sorting process, and a sorting process other than that shown in FIG. 2 may be added. For example, when the marker M is configured to have a plurality of frames, a sorting process for determining whether the marker candidate has a plurality of frames may be added.

本実施例の画像検出方法は、様々な環境下でマーカが撮影されていても、上述のようにして、２値化画像で検出されたマーカ候補から誤認識で検出されたものを除外するため、正規のマーカを検出することができる。   The image detection method of the present embodiment excludes those detected by erroneous recognition from the marker candidates detected in the binarized image as described above even if the marker is photographed under various environments. A regular marker can be detected.

実施例１の方法によれば、撮影画像Ｐから少なくとも１つのマーカＭを検出できるが、撮影画像Ｐに２つ以上のマーカＭが写っており、各マーカＭの黒枠の部分の明るさが照明の角度の影響等で異なっていると、マーカＭを１つしか検出できないことがある。本実施例では、その問題を解決するための方法である。なお、画像検出装置の構成は、実施例１と同様であるため、その詳細な説明を省略する。また、本実施例においても、マーカを四角形の黒枠を有する構成として説明するが、実施例１と同様に、その形状は四角形に限定されず、その色は黒に限定されない。   According to the method of the first embodiment, at least one marker M can be detected from the captured image P, but two or more markers M are reflected in the captured image P, and the brightness of the black frame portion of each marker M is illuminated. If there is a difference due to the influence of the angle, only one marker M may be detected. The present embodiment is a method for solving the problem. Note that the configuration of the image detection apparatus is the same as that of the first embodiment, and thus detailed description thereof is omitted. In this embodiment, the marker is described as having a rectangular black frame. However, as in the first embodiment, the shape is not limited to a square, and the color is not limited to black.

以下に、本実施例の制御部１６の動作とともに、本実施例の画像検出方法を説明する。図４は本実施例の画像検出方法の手順を示すフローチャートである。   The image detection method of this embodiment will be described below along with the operation of the control unit 16 of this embodiment. FIG. 4 is a flowchart showing the procedure of the image detection method of this embodiment.

制御部１６が入出力部１４を介して入力される撮影画像Ｐを記憶部１２に格納すると、マーカ検出部１６１および分別部１６２は、図２に示した手順の処理を実行し、２値化閾値を初期値に対して上下に値を振りながらマーカＭを少なくとも１つ見つけるまで探索を行う（ステップ２０１）。図２に示したステップ１１１で、分別部１６２はマーカＭを検出すると、マーカＭを検出した旨をマーカ検出部１６１に通知する。マーカ検出部１６１は、マーカＭを検出した旨の通知を分別部１６２から受け取ると、マーカＭの黒枠を検出したときの２値化閾値を仮閾値ＴＨＡとして記憶部１２に格納する（ステップ２０２）。   When the control unit 16 stores the captured image P input via the input / output unit 14 in the storage unit 12, the marker detection unit 161 and the classification unit 162 execute the processing of the procedure shown in FIG. A search is performed until at least one marker M is found while shifting the threshold value up and down with respect to the initial value (step 201). In step 111 shown in FIG. 2, when the classification unit 162 detects the marker M, it notifies the marker detection unit 161 that the marker M has been detected. When the marker detection unit 161 receives a notification that the marker M has been detected from the classification unit 162, the marker detection unit 161 stores the binarization threshold when the black frame of the marker M is detected in the storage unit 12 as the temporary threshold THA (step 202). .

次に、マーカ検出部１６１は、２値化閾値を仮閾値ＴＨＡを中心に上下に値を振って設定し、設定した２値化閾値毎に２値化画像を生成し、その画像に対してマーカＭの探索と探索により検出したマーカＭの数の算出とを行う（ステップ２０３）。２値化閾値を上下に値を振って設定する方法は、実施例１で説明した方法と同様である。少なくとも１つのマーカＭを検出した仮閾値に近い値から上下に値を振って画像を生成し、マーカＭを探索するようにすれば、マーカＭを複数個以上検出できる閾値をより早く見つけられる可能性が高くなる。２値化閾値を変える回数は少なくとも１回以上である。そして、マーカＭを最も多く見つけたときの閾値を、マーカ検出用の２値化画像を生成する際の２値化閾値に決定する（ステップ２０４）。このようにして、マーカＭを最も検出しやすい閾値に２値化閾値を決定し、決定した２値化閾値で画像を生成した後、マーカＭの検出を行う。   Next, the marker detection unit 161 sets the binarization threshold value by shifting the value up and down around the temporary threshold value THA, generates a binarized image for each set binarization threshold value, The search for the marker M and the calculation of the number of markers M detected by the search are performed (step 203). The method for setting the binarization threshold value by moving the value up and down is the same as the method described in the first embodiment. If an image is generated by shifting the value up and down from a value close to the temporary threshold at which at least one marker M is detected, and the marker M is searched, a threshold that can detect a plurality of markers M can be found earlier. Increases nature. The number of times of changing the binarization threshold is at least once. Then, the threshold value when the largest number of markers M is found is determined as a binarization threshold value when generating a binarized image for marker detection (step 204). In this manner, the binarization threshold value is determined as the threshold value that most easily detects the marker M, and after the image is generated with the determined binarization threshold value, the marker M is detected.

本実施例の画像検出方法は、マーカＭを最も検出しやすい２値化閾値でマーカ検出用の画像を生成しているため、撮影画像Ｐに写っている複数のマーカＭについて、明るさがマーカＭ毎に異なっていても、より多くのマーカＭを検出することができる。   In the image detection method of the present embodiment, the marker detection image is generated with the binarization threshold value that makes it easy to detect the marker M. Therefore, the brightness of the plurality of markers M shown in the captured image P is determined by the brightness. Even if it is different for each M, more markers M can be detected.

実施例１の画像検出装置の一構成例を示すブロック図である。1 is a block diagram illustrating a configuration example of an image detection apparatus according to a first embodiment. 実施例１の画像検出方法の手順を示すフローチャートである。3 is a flowchart illustrating a procedure of an image detection method according to the first embodiment. マーカの他の構成例を示す図である。It is a figure which shows the other structural example of a marker. 実施例２の画像検出方法の手順を示すフローチャートである。10 is a flowchart illustrating a procedure of an image detection method according to the second embodiment.

符号の説明Explanation of symbols

１０ 画像検出装置
１２ 記憶部
１４ 入出力部
１６ 制御部
１６１ マーカ検出部
１６２ 分別部 DESCRIPTION OF SYMBOLS 10 Image detection apparatus 12 Memory | storage part 14 Input / output part 16 Control part 161 Marker detection part 162 Sorting part

Claims (12)

仮想物を配置するための位置を示すマーカが撮影された撮影画像から該マーカを検出するための画像検出方法であって、
前記マーカを判別可能にするための閾値を用いて前記撮影画像からマーカ候補を検出し、
検出したマーカ候補のうち誤認識で検出したマーカ候補を除外するものであり、
誤認識で検出したマーカ候補を除外した後、前記マーカを検出しているか否かを判定し、
判定の結果、前記マーカを検出していなければ、該マーカを検出するまで、前記閾値を前記初期値から増加側と減少側を交互に一定量ずつ離れる値に変化させ、該閾値を変化させる度に２値化した画像を生成し、
生成した画像毎に前記マーカ候補を検出する、画像検出方法。 An image detection method for detecting a marker from a captured image in which a marker indicating a position for placing a virtual object is captured,
A marker candidate is detected from the captured image using a threshold for enabling the marker to be discriminated;
It excludes marker candidates detected by misrecognition among detected marker candidates ,
After excluding the marker candidate detected by misrecognition, determine whether the marker is detected,
If the marker is not detected as a result of the determination, the threshold value is changed from the initial value to a value that alternately separates the increase side and the decrease side by a certain amount until the marker is detected. To generate a binarized image,
An image detection method for detecting the marker candidate for each generated image . 前記撮影画像から前記マーカ候補を検出する処理は、前記閾値に初期値を設定して前記撮影画像を２値化した画像を生成し、生成した画像内で前記マーカ候補を検出するものであり、
誤認識で検出したマーカ候補を除外した後、前記マーカを検出しているか否かを判定し、
判定の結果、前記マーカを検出していなければ、前記閾値を変えて前記撮影画像から前記マーカ候補を検出する処理に戻る、請求項１記載の画像検出方法。 The process of detecting the marker candidate from the captured image is to generate an image obtained by binarizing the captured image by setting an initial value to the threshold value, and to detect the marker candidate in the generated image.
After excluding the marker candidate detected by misrecognition, determine whether the marker is detected,
The image detection method according to claim 1, wherein if the marker is not detected as a result of the determination, the threshold value is changed and the process returns to the process of detecting the marker candidate from the captured image. 誤認識で検出したマーカ候補を除外する分別処理は、
前記マーカ候補の面積Ｓｍを前記撮影画像の面積Ｓｐで割った値である（Ｓｍ／Ｓｐ）が予め設定された第１の基準値と比べて小さいか否かを判定し、
前記（Ｓｍ／Ｓｐ）の値が前記第１の基準値よりも低ければ、該マーカ候補を誤認識によるものと判定して除外するものである、請求項１または２記載の画像検出方法。 Sorting process to exclude marker candidates detected by misrecognition is
It is determined whether or not (Sm / Sp), which is a value obtained by dividing the area Sm of the marker candidate by the area Sp of the captured image, is smaller than a preset first reference value,
The image detection method according to claim 1, wherein if the value of (Sm / Sp) is lower than the first reference value, the marker candidate is determined to be due to erroneous recognition and is excluded. 前記マーカの形状が正方形であり、
誤認識で検出したマーカ候補を除外する分別処理は、
前記マーカ候補の面積をＳｍとし、該マーカ候補の４辺のうち最大の辺の長さをｌｍとすると、Ｓｍをｌｍの２乗で割った値である（Ｓｍ／ｌｍ2）が予め設定された第２の基準値と比べて小さいか否かを判定し、
前記（Ｓｍ／ｌｍ2）の値が前記第２の基準値よりも低ければ、該マーカ候補を誤認識によるものと判定して除外するものである、請求項１から３のいずれか１項記載の画像検出方法。 The marker has a square shape;
Sorting process to exclude marker candidates detected by misrecognition is
When the area of the marker candidate is Sm and the length of the maximum side among the four sides of the marker candidate is lm, a value obtained by dividing Sm by the square of lm (Sm / lm 2 ) is preset. It is determined whether it is smaller than the second reference value,
4. The method according to claim 1, wherein if the value of (Sm / lm 2 ) is lower than the second reference value, the marker candidate is determined to be due to erroneous recognition and excluded. Image detection method. 前記マーカが複数の枠を有する構成であり、
誤認識で検出したマーカ候補を除外する分別処理は、
前記マーカ候補の枠数が１であると、該マーカ候補を誤認識によるものと判定して除外するものである、請求項１から４のいずれか１項記載の画像検出方法。 The marker has a plurality of frames;
Sorting process to exclude marker candidates detected by misrecognition is
5. The image detection method according to claim 1, wherein when the number of frames of the marker candidate is 1, the marker candidate is determined to be due to erroneous recognition and is excluded. 誤認識で検出したマーカ候補を除外した後、前記マーカを検出しているか否かを判定し、
判定の結果、前記マーカを少なくとも１つ検出していれば、該マーカを検出したときの画像を生成したときの前記閾値を仮閾値とし、
前記閾値を前記仮閾値から増加側と減少側を交互に一定量ずつ離れる値に変化させ、該閾値を変化させる度に２値化した画像を生成し、生成した画像毎に前記マーカ候補を検出する処理を１回以上行い、前記マーカを最も多く検出する閾値を求め、
求めた閾値で２値化した画像を生成し、
生成した画像で前記マーカ候補を検出する、請求項１から５のいずれか１項記載の画像検出方法。 After excluding the marker candidate detected by misrecognition, determine whether the marker is detected,
As a result of the determination, if at least one of the markers is detected, the threshold when the image when the marker is detected is set as a temporary threshold,
The threshold value is changed from the temporary threshold value to a value that is alternately separated by a certain amount from the increase side and the decrease side, and a binarized image is generated each time the threshold value is changed, and the marker candidate is detected for each generated image To obtain a threshold for detecting the marker most frequently,
Generate a binarized image with the obtained threshold,
Detecting said marker candidates generated image, an image detecting method of any one of claims 1 to 5. 仮想物を配置するための位置を示すマーカが撮影された撮影画像から該マーカを検出する画像検出装置であって、
前記マーカを判別可能にするための閾値を用いて前記撮影画像からマーカ候補を検出するマーカ検出部と、
検出したマーカ候補のうち誤認識で検出したマーカ候補を除外する分別部と、
を有し、
前記マーカ検出部は、
前記マーカを検出していない旨の通知を前記分別部から受け取ると、該分別部が該マーカを検出するまで、前記閾値を前記初期値から増加側と減少側を交互に一定量ずつ離れる値に変化させ、該閾値を変化させる度に２値化した画像を生成し、
生成した画像毎に前記マーカ候補を検出する、画像検出装置。 An image detection device that detects a marker from a captured image in which a marker indicating a position for placing a virtual object is captured,
A marker detection unit for detecting marker candidates from the captured image using a threshold for enabling the marker to be discriminated;
A classification unit for excluding marker candidates detected by erroneous recognition among the detected marker candidates;
I have a,
The marker detection unit
When the notification that the marker is not detected is received from the classification unit, the threshold value is changed from the initial value to a value that alternately separates the increase side and the decrease side by a certain amount until the classification unit detects the marker. Each time the threshold is changed, a binarized image is generated,
An image detection apparatus that detects the marker candidate for each generated image . 前記マーカ検出部は、
前記閾値に初期値を設定して前記撮影画像を２値化した画像を生成し、生成した画像内で前記マーカ候補を検出し、前記分別部から前記マーカを検出していない旨の通知を受け取ると、前記閾値を変えて前記撮影画像から前記マーカ候補を検出する処理に戻り、
前記分別部は、
誤認識で検出したマーカ候補を除外した後、前記マーカを検出しているか否かを判定し、
判定の結果、前記マーカを検出していなければ、該マーカを検出していない旨を前記マーカ検出部に通知する、請求項７記載の画像検出装置。 The marker detection unit
An initial value is set as the threshold value and an image obtained by binarizing the captured image is generated, the marker candidate is detected in the generated image, and a notification that the marker is not detected is received from the classification unit. And return to the process of detecting the marker candidate from the captured image by changing the threshold value,
The sorting section is
After excluding the marker candidate detected by misrecognition, determine whether the marker is detected,
The image detection apparatus according to claim 7 , wherein if the marker is not detected as a result of the determination, the marker detection unit is notified that the marker is not detected. 前記分別部は、
前記マーカ候補の面積Ｓｍを前記撮影画像の面積Ｓｐで割った値である（Ｓｍ／Ｓｐ）が予め設定された第１の基準値と比べて小さいか否かを判定し、
前記（Ｓｍ／Ｓｐ）の値が前記第１の基準値よりも低ければ、該マーカ候補を誤認識によるものと判定して除外する、請求項７または８記載の画像検出装置。 The sorting section is
It is determined whether or not (Sm / Sp), which is a value obtained by dividing the area Sm of the marker candidate by the area Sp of the captured image, is smaller than a preset first reference value,
The image detection apparatus according to claim 7 or 8 , wherein if the value of (Sm / Sp) is lower than the first reference value, the marker candidate is determined to be due to erroneous recognition and excluded. 前記マーカの形状が正方形であり、
前記分別部は、
前記マーカ候補の面積をＳｍとし、該マーカ候補の４辺のうち最大の辺の長さをｌｍとすると、Ｓｍをｌｍの２乗で割った値である（Ｓｍ／ｌｍ2）が予め設定された第２の基準値と比べて小さいか否かを判定し、
前記（Ｓｍ／ｌｍ2）の値が前記第２の基準値よりも低ければ、該マーカ候補を誤認識によるものと判定して除外する、請求項７から９のいずれか１項記載の画像検出装置。 The marker has a square shape;
The sorting section is
When the area of the marker candidate is Sm and the length of the maximum side among the four sides of the marker candidate is lm, a value obtained by dividing Sm by the square of lm (Sm / lm 2 ) is preset. It is determined whether it is smaller than the second reference value,
The image detection according to any one of claims 7 to 9 , wherein if the value of (Sm / lm 2 ) is lower than the second reference value, the marker candidate is determined to be due to erroneous recognition and is excluded. apparatus. 前記マーカが複数の枠を有する構成であり、
前記分別部は、
前記マーカ候補の枠数が１であると、該マーカ候補を誤認識によるものと判定して除外する、請求項７から１０のいずれか１項記載の画像検出装置。 The marker has a plurality of frames;
The sorting section is
When the frame number of the marker candidates is 1, excluded is determined to be due to erroneous recognition of the marker candidate, an image detection device of any one of claims 7 10. 前記マーカ検出部は、
前記マーカを少なくとも１つ検出した旨の通知を前記分別部から受け取ると、該マーカを検出したときの画像を生成したときの前記閾値を仮閾値とし、
前記閾値を前記仮閾値から増加側と減少側を交互に一定量ずつ離れる値に変化させ、該閾値を変化させる度に２値化した画像を生成し、生成した画像毎に前記マーカ候補を検出する処理を１回以上行い、前記マーカを最も多く検出する閾値を求め、
求めた閾値で２値化した画像を生成し、
生成した画像で前記マーカ候補を検出する、請求項７から１１のいずれか１項記載の画像検出装置。 The marker detection unit
When receiving a notification that at least one of the markers has been detected from the sorting unit, the threshold when the image when the marker is detected is set as a temporary threshold,
The threshold value is changed from the temporary threshold value to a value that is alternately separated by a certain amount from the increase side and the decrease side, and a binarized image is generated each time the threshold value is changed, and the marker candidate is detected for each generated image To obtain a threshold for detecting the marker most frequently,
Generate a binarized image with the obtained threshold,
Detecting said marker candidates generated image, the image detection device of any one of claims 7 11.
JP2006130845A 2006-05-09 2006-05-09 Image detection method and image detection apparatus Active JP4550768B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006130845A JP4550768B2 (en) 2006-05-09 2006-05-09 Image detection method and image detection apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006130845A JP4550768B2 (en) 2006-05-09 2006-05-09 Image detection method and image detection apparatus

Publications (2)

Publication Number Publication Date
JP2007304732A JP2007304732A (en) 2007-11-22
JP4550768B2 true JP4550768B2 (en) 2010-09-22

Family

ID=38838622

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006130845A Active JP4550768B2 (en) 2006-05-09 2006-05-09 Image detection method and image detection apparatus

Country Status (1)

Country Link
JP (1) JP4550768B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5279875B2 (en) 2011-07-14 2013-09-04 株式会社エヌ・ティ・ティ・ドコモ Object display device, object display method, and object display program
US10311596B2 (en) 2015-10-16 2019-06-04 Seiko Epson Corporation Image processing device, robot, robot system, and marker
JP6751777B2 (en) * 2016-12-28 2020-09-09 株式会社メガハウス Computer program, display device, head-mounted display device
JP6772324B2 (en) * 2019-03-20 2020-10-21 東芝エレベータ株式会社 Image processing device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004151085A (en) * 2002-09-27 2004-05-27 Canon Inc Method and apparatus for processing information
JP2005107966A (en) * 2003-09-30 2005-04-21 Canon Inc Index identification method and device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004151085A (en) * 2002-09-27 2004-05-27 Canon Inc Method and apparatus for processing information
JP2005107966A (en) * 2003-09-30 2005-04-21 Canon Inc Index identification method and device

Also Published As

Publication number Publication date
JP2007304732A (en) 2007-11-22

Similar Documents

Publication Publication Date Title
WO2019218824A1 (en) Method for acquiring motion track and device thereof, storage medium, and terminal
KR101469398B1 (en) Text-based 3d augmented reality
CN107633526B (en) Image tracking point acquisition method and device and storage medium
JP5775225B2 (en) Text detection using multi-layer connected components with histograms
US8733650B1 (en) Decoding barcodes from images with varying degrees of focus
US9275277B2 (en) Using a combination of 2D and 3D image data to determine hand features information
JP5940453B2 (en) Method, computer program, and apparatus for hybrid tracking of real-time representations of objects in a sequence of images
JP5837508B2 (en) Posture state estimation apparatus and posture state estimation method
US8718324B2 (en) Method, apparatus and computer program product for providing object tracking using template switching and feature adaptation
JP5361524B2 (en) Pattern recognition system and pattern recognition method
CN111191535B (en) Pedestrian detection model construction method based on deep learning and pedestrian detection method
Zhu et al. Deep residual text detection network for scene text
JP4550768B2 (en) Image detection method and image detection apparatus
CN108229281B (en) Neural network generation method, face detection device and electronic equipment
US11557108B2 (en) Polygon detection device, polygon detection method, and polygon detection program
JP2008269181A (en) Object detector
CN114511877A (en) Behavior recognition method and device, storage medium and terminal
JP2013029996A (en) Image processing device
Tybusch et al. Color-based and recursive fiducial marker for augmented reality
TW201327416A (en) Method for foreground detection in dynamic background
JP6717769B2 (en) Information processing device and program
JP2015170205A (en) Feature amount generation device, feature amount generation method, and program
CN116824183B (en) Image feature matching method and device based on multiple feature descriptors
CN110674863B (en) Hamming code identification method and device and electronic equipment
JP2006235817A (en) Character-recognizing device, character-recognizing method and recording medium for character recognition program

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100324

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100519

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100630

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100708

R150 Certificate of patent or registration of utility model

Ref document number: 4550768

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130716

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350