WO2011010693A1 - マーカ生成装置、マーカ生成検出システム、マーカ生成検出装置、マーカ、マーカ生成方法及びそのプログラム - Google Patents

マーカ生成装置、マーカ生成検出システム、マーカ生成検出装置、マーカ、マーカ生成方法及びそのプログラム Download PDF

Info

Publication number
WO2011010693A1
WO2011010693A1 PCT/JP2010/062349 JP2010062349W WO2011010693A1 WO 2011010693 A1 WO2011010693 A1 WO 2011010693A1 JP 2010062349 W JP2010062349 W JP 2010062349W WO 2011010693 A1 WO2011010693 A1 WO 2011010693A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature
marker
invariant
background image
posture change
Prior art date
Application number
PCT/JP2010/062349
Other languages
English (en)
French (fr)
Inventor
中島　昇
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2011523684A priority Critical patent/JP5794427B2/ja
Priority to US13/386,266 priority patent/US8755608B2/en
Priority to CN201080032765.3A priority patent/CN102473312B/zh
Priority to EP10802313.6A priority patent/EP2458556A4/en
Publication of WO2011010693A1 publication Critical patent/WO2011010693A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/95—Pattern authentication; Markers therefor; Forgery detection

Definitions

  • the present invention relates to a marker generation device that generates a marker, a marker generation detection system having a marker generation function, a marker generation detection device, the marker, a marker generation method that generates the marker, and a marker generation program.
  • a marker having a predetermined shape is attached to the target object in advance, and the target object is determined according to the presence or absence of the marker in the background image of the space.
  • a marker detection method for determining the presence or absence of a mark is known.
  • Patent Document 1 discloses a technique for extracting a feature point from a background video that does not include a marker, and generating a marker that is derived based on the extracted feature point and that includes an image feature that does not appear in the background video. It has been done.
  • the same pattern as the marker generated by such a method is attached to the target object in the preparation stage, and if this pattern is detected from a predetermined spatial image in the detection stage, the target is used. It can be determined that the object exists in the space.
  • the pattern of the marker attached to the object may change with changes in the direction of the camera that captures the space and other environments.
  • the pattern of the marker attached to the object and the pattern of the marker to be detected do not match, and there is a problem that the marker cannot be detected properly.
  • the object-specific object identification information code (corresponding to the marker) and the first geometric invariant corresponding to the object are stored for each object in the preparation stage, and in the detection stage, Obtain images of objects with object identification information codes from multiple viewpoints, extract feature point positions from multiple independent images generated from those images, and obtain the second geometric invariant.
  • a technique for detecting a corresponding object by detecting a first geometric invariant closest to the second geometric invariant is disclosed.
  • object identification information acquired from one direction and object identification information acquired from another direction can be identified.
  • the marker itself may be translated, rotated, enlarged / reduced, or rotated depending on the shape of the target object and its environment.
  • optical distortion such as shear deformation may occur depending on an imaging element such as a camera that inputs video (especially a CMOS element that sequentially reads moving images).
  • An object of the present invention is considered in view of the above circumstances, and comprehensively prevents marker detection omissions that can cause various posture changes, and by generating markers suitable for the types of posture changes,
  • An object of the present invention is to provide a marker generation device, a marker generation detection system, a marker generation detection device, a marker, a marker generation method, and a marker generation program that realizes accurate object detection while suppressing the load during generation and detection.
  • the present invention provides a measuring means for measuring a posture change of an object in the image based on the background image, and an invariant representing the feature point extracted from the background image in an invariant feature space by a predetermined conversion process according to the posture change.
  • a marker generating device comprising: a feature converting unit; a singular feature selecting unit that selects a portion where the feature point does not appear in the invariant feature space as a singular feature; and a marker generating unit that generates a marker using the singular feature. It is.
  • the present invention includes a marker generation device and a marker detection device, and the marker generation device is configured to measure a posture change of an object in the image based on a background image, and a feature point extracted from the background image.
  • An invariant feature converting unit that represents the invariant feature space by a predetermined conversion process according to the posture change, a singular feature selecting unit that selects, as a singular feature, a portion in which the feature point does not appear in the invariant feature space;
  • a marker generation unit configured to generate a marker using a unique feature, wherein the marker detection device stores a marker storage unit that stores the generated marker, and a feature point extracted from a background image for detecting the marker Marker generation detection comprising: collating means for determining whether or not there is an arrangement of the singular feature of the marker in the arrangement of the invariant feature group represented in the invariant feature space It is a stem.
  • the present invention provides a measuring means for measuring a posture change of an object in the image based on the background image, and an invariant representing the feature point extracted from the background image in an invariant feature space by a predetermined conversion process according to the posture change.
  • Marker storage means for storing a marker, and an arrangement of an invariant feature group in which feature points extracted from a background image for detecting the marker are represented in the invariant feature space include an arrangement of unique features of the marker. It is a marker production
  • generation detection apparatus which has a collation means to judge whether it is.
  • feature points of a background image are represented in an invariant feature space by a predetermined conversion process according to a posture change measured from the image, and the feature points are not represented in the invariant feature space.
  • the present invention includes a step of measuring a posture change of an object in the image based on a background image, and a step of representing a feature point extracted from the background image in an invariant feature space by a predetermined conversion process according to the posture change.
  • a marker generating method comprising: selecting a portion where the feature point does not appear in the invariant feature space as a singular feature; and generating a marker using the singular feature.
  • the present invention provides an information processing apparatus that measures a change in posture of an object in an image based on a background image, and that features points extracted from the background image are converted into an invariant feature space by a predetermined conversion process according to the posture change.
  • a marker generating program that functions as means for selecting, as a singular feature, a portion where the feature point does not appear in the invariant feature space, and means for generating a marker using the singular feature.
  • the marker generation detection system the marker generation detection device, the marker, the marker generation method, and the marker generation program of the present invention, it is possible to accurately detect an object while suppressing a load at the time of marker generation / detection.
  • FIG. 1 is a block diagram showing a configuration of a marker generation device according to the first embodiment of the present invention.
  • FIG. 2 is a block diagram showing a detailed configuration of the marker generation device according to the embodiment of the present invention.
  • FIG. 3 is a diagram showing a background video composed of a plurality of frame images.
  • FIG. 4 is a diagram showing a feature space in which a plurality of feature points are arranged.
  • FIG. 5 is a diagram showing a state in which the feature points arranged in the feature space are numbered.
  • FIG. 6 is a chart showing the structure of the feature point information table.
  • FIG. 7 is a diagram illustrating a state in which each feature point is mapped to the invariant feature space with the feature point No. 5 as a base.
  • FIG. 8 is a diagram showing how each feature point is mapped to the invariant feature space with the feature point 15 as a base.
  • FIG. 9 is a diagram showing a state in which all feature points are mapped to the invariant feature space when the basis number is 1.
  • FIG. 10 is a diagram showing how each feature point is mapped to the invariant feature space with feature point 6 as the first basis and feature point 2 as the second basis.
  • FIG. 11 is a diagram showing how each feature point is mapped to the invariant feature space with feature point 33 as the first basis and feature point 34 as the second basis.
  • FIG. 12 is a diagram showing how each feature point is mapped to the invariant feature space with feature point 5 as the first basis, feature point 4 as the second basis, and feature point 14 as the third basis.
  • FIG. 10 is a diagram showing how each feature point is mapped to the invariant feature space with feature point 6 as the first basis and feature point 2 as the second basis.
  • FIG. 11 is a diagram showing how each feature point is
  • FIG. 13 is a diagram showing how each feature point is mapped to the invariant feature space with feature point 47 as the first basis, feature point 49 as the second basis, and feature point 7 as the third basis.
  • FIG. 14 is a diagram showing the invariant feature space with lane markings.
  • FIG. 15 is a diagram showing an invariant feature space in which a section having an invariant feature number of 1 or more is filled.
  • FIG. 16 is a diagram showing a marker pattern generation range in mapping to the invariant feature space.
  • FIG. 17 is a diagram showing the number of feature points for each section in the marker generation range.
  • FIG. 18 is a diagram showing the configuration of the unique feature layout diagram.
  • FIG. 19 is a diagram showing another configuration of the unique feature arrangement diagram.
  • FIG. 20 is a diagram showing an example of marker generation.
  • FIG. 21 shows a basis number setting table.
  • FIG. 22 is a flowchart showing an operation procedure (marker generation method) of the marker generation device according to the first embodiment of the present invention.
  • FIG. 23 is a block diagram showing a configuration of a marker generation device according to the second embodiment of the present invention.
  • FIG. 24 is a block diagram showing a detailed configuration of the marker generation device according to the second embodiment of the present invention.
  • FIG. 25 is an explanatory diagram for explaining a method of detecting the degree of freedom based on the feature points included in the frame image.
  • FIG. 26 is a diagram for explaining the affine transformation.
  • FIG. 27 is a flowchart showing an operation procedure (marker generation method) of the marker generation device according to the second embodiment of the present invention.
  • FIG. 28 is a block diagram showing a detailed configuration of the marker generation device according to the third embodiment of the present invention.
  • FIG. 29 is a flowchart showing an operation procedure (marker generation method) of the marker generation device according to the third embodiment of the present invention.
  • FIG. 30 is a block diagram showing the configuration of the marker detection device.
  • FIG. 31 is a block diagram showing a detailed configuration of the marker detection device.
  • FIG. 32 is a diagram illustrating an example of a detection target.
  • FIG. 33 is a diagram illustrating an example of feature points extracted from the detection target video.
  • FIG. 34 is an explanatory diagram for explaining marker detection performed by an invariant feature.
  • FIG. 35 is a flowchart showing the procedure of the marker detection method.
  • FIG. 36 is a block diagram illustrating a configuration of the marker generation detection device.
  • FIG. 37 is a block diagram showing a detailed configuration of the marker generation detection device.
  • FIG. 38 is a block diagram showing the configuration of the marker generation detection system.
  • FIG. 2 is a block diagram showing the configuration of the marker generation device of this embodiment.
  • the marker generation device 1a includes a video input unit 10, a feature extraction unit 20, an invariant feature conversion unit 30, a singular feature selection unit 40, a marker generation unit 50, and a degree-of-freedom measurement unit 60a. (Measuring means).
  • the video input means 10 has a video input unit 11 and a video storage unit 12 as shown in FIG.
  • the video input unit 11 inputs a background image of a place where the marker generated in the present embodiment is actually used. For example, when there is a belt conveyor that conveys an object with a marker, a belt conveyor in a state in which the object is not conveyed and an image of the periphery of the belt conveyor are applicable.
  • the background image may be a moving image (video) or a plurality of still images taken at a predetermined time interval. Further, the background image can include live video, recorded video, distributed video, and the like.
  • the video input unit 11 itself can have an imaging device.
  • the video input unit 11 can capture a state around the place where the marker generation device 1a is installed as a background image.
  • the video input unit 11 can also input a background image captured by a device other than the marker generation device 1a via a communication network or a communication cable.
  • the video storage unit 12 stores the background image as a digitized frame image.
  • the digitized frame image refers to, for example, each still image frame constituting the background image shown in FIGS. 3 (i-11) to (i-15).
  • the video storage unit 12 stores a number (for example, a serial number) given to each of the plurality of frame images. This number uniquely identifies one frame image. In FIG. 3, (i-11), (i-12), (i-13),.
  • the video storage unit 12 can also store information specifying the time when the frame image was taken.
  • the feature extraction means 20 has a feature extraction unit 21 and a feature storage unit 22 as shown in FIG.
  • the feature extraction unit 21 extracts a background image, that is, a frame image from the video storage unit 12. Then, the feature extraction unit 21 extracts image features including a characteristic pattern in the extracted frame image.
  • a graphic characteristic characteristic can be converted into a numerical value.
  • the method published in the 1998 IEEE Computer Vision Pattern Recognition Conference Proceedings can be used. This method can extract vertices of object shapes in images, intersections and end points of linear objects, and the like. A series of position coordinate information on the image of these points can be used as a graphic feature.
  • feature points are extracted by this method for the frame image of FIG. 3 (i-11), a plurality of feature points are arranged as shown in FIG. Each feature point can be managed by coordinates.
  • a space in which feature points are arranged is called a feature space.
  • the feature extraction unit 21 assigns a serial number to each feature point as shown in FIG.
  • This serial number can be assigned, for example, 1, 2, 3, 4,... In order from the topmost one.
  • the feature extraction unit 21 obtains the coordinates of each feature point.
  • the X-axis and the Y-axis can be set in the feature space, the distance from the Y-axis can be set as the X-coordinate, and the distance from the X-axis can be set as the Y-coordinate.
  • the feature extraction unit 21 stores the serial numbers and coordinates of these feature points in the feature storage unit 22.
  • the feature storage unit 22 can store the serial number, coordinates, and the like as a “feature point information table” as shown in FIG.
  • the “feature point information table” includes a “frame image serial number” (a), a “feature point serial number” (b), a “feature point x coordinate” (c), , “Y-coordinate of feature point” (d) and “information about feature point” (e) can be configured as items.
  • the serial number of the frame image indicates the number assigned to the frame image from which the feature points are extracted.
  • Information about feature points can include, for example, elements recognized as features (edges, intersections, etc.), hue, brightness, saturation, and the like of pixels where the feature points are located.
  • the invariant feature conversion means 30 includes an invariant feature conversion unit 31 and an invariant feature storage unit 32, as shown in FIG.
  • the invariant feature conversion unit 31 takes out the coordinates of the feature points from the feature storage unit 22, and maps the feature points to the invariant feature space by a predetermined conversion process.
  • a reference point is selected from the feature points in the feature space, arranged so that this reference point is at the reference coordinates in the invariant feature space, and the same conversion is performed for all other feature points. Place in the invariant feature space by rules.
  • this reference point is referred to as “base”.
  • the number of bases is determined according to the type of posture change of the object in the background video. This number is called a “basic number”.
  • the type of posture change is referred to as “degree of freedom”, and the number of bases 1 to 3 corresponding to this degree of freedom is determined by the basis number setting unit 62 described later.
  • the invariant feature conversion unit 31 changes the mapping method of the feature points to the invariant feature space according to the basis number.
  • mapping feature points based on the basis will be explained for each basis number.
  • feature points extracted from a frame image are arranged in a feature space as shown in FIG. 4, and these feature points are mapped to an invariant feature space.
  • mapping for basis number 1 When mapping is performed based on a basis having a basis number of 1, the invariant feature conversion unit 31 determines one feature point as a base, moves so that the base comes to one reference coordinate on the invariant space, All other feature points are also moved to the invariant feature space by this movement amount.
  • all feature points are set such that the feature point of serial number 5 is the base and the feature point of number 5 is at the coordinate (0, 0) in the invariant feature space.
  • Translate As a result, feature points are arranged in the invariant feature space as shown on the right side of FIG.
  • the feature points arranged in this invariant feature space are called “invariant features”.
  • all feature points are set such that the feature point of serial number 15 is the base and the feature point of serial number 15 is at the coordinate (0, 0) in the invariant feature space.
  • invariant feature groups are arranged as shown in the invariant feature space on the right side of the figure.
  • one feature point is defined as a base, and as the base is moved to the origin of the invariant feature space, the process of translating all the feature points is performed as each feature point is sequentially defined as a base.
  • the feature points are mapped to the invariant feature space by superimposing these moved feature points.
  • FIG. 4 This is a state in which invariant features are arranged in the invariant feature space when the base number is 1.
  • mapping for basis number 2 When mapping is performed based on a basis having a basis number of 2, the invariant feature conversion unit 31 determines two feature points as bases, and each base is located at two corresponding reference coordinates in the invariant space. Along with this, all feature points are moved to the invariant feature space while maintaining the relative positional relationship. And this movement is performed about each base which consists of a combination of 2 points
  • the first basis is the coordinate O ( 0,0)
  • all the other feature points are moved according to the same conversion rule as the second base is moved to the coordinates A (1,0).
  • the first basis is the coordinate O ( 0,0)
  • all the other feature points are moved according to the same conversion rule as the second base is moved to the coordinates A (1,0).
  • mapping for basis number 3 When mapping is performed based on the basis of the basis number 3, the invariant feature conversion unit 31 determines three feature points as bases, and each base comes to the corresponding three reference coordinates on the invariant space. Along with this, all feature points are moved to the invariant feature space while maintaining the relative positional relationship. And this movement is performed about each base which consists of a combination of 3 points
  • the feature point with serial number 5 is the first basis
  • the feature point with serial number 4 is the second basis
  • the feature point with serial number 14 is the third basis
  • Move the first basis to coordinates O (0,0) in the invariant feature space move the second basis to coordinates A (1,0), and move the third basis to coordinates B (0,1). Accordingly, all other feature points are moved according to the same conversion rule.
  • three feature points are defined as bases, and as these bases are moved to the three reference points in the invariant feature space, all feature points are translated, rotated, enlarged, reduced, or sheared.
  • the process is performed every time the combination of feature points is sequentially determined as a base, and the feature points are mapped to the invariant feature space by superimposing these moved feature points.
  • “shear deformation” is a deformation that does not maintain orthogonality but maintains parallelism, for example, a deformation that makes a square a parallelogram.
  • the invariant feature conversion unit 31 divides the invariant feature space into a plurality of sections using a grid mesh. Then, the invariant feature conversion unit 31 obtains the number of invariant features for each section.
  • FIG. 15 shows an invariant feature space in which a section having an invariant feature number of 1 or more is filled.
  • the invariant feature storage unit 32 holds a predetermined memory area.
  • the invariant feature storage unit 32 stores various data obtained by the invariant feature conversion unit 31.
  • the various data includes, for example, the coordinates of each invariant feature arranged in the invariant feature space, the coordinates (range) of each section, the number of invariant features for each section, and the like.
  • the unique feature selection means 40 has a unique feature selection unit 41 and a unique feature storage unit 42 as shown in FIG.
  • the unique feature selection unit 41 determines a marker pattern generation range as a marker pattern generation range in the invariant feature space.
  • the marker pattern generation range can be the same size as the still image frame.
  • the unique feature selection unit 41 extracts the invariant feature number for each section in the marker pattern generation range from the invariant feature storage unit 32.
  • the singular feature selection unit 41 selects, as a singular feature, a section corresponding to 0 or a predetermined value or less from the extracted invariant feature numbers.
  • a section in which “0” is described is selected in the invariant feature number distribution shown in the marker pattern generation range of FIG.
  • the unique feature selection unit 41 can select an image feature that does not appear in the background video input by the video input unit 10 as a unique feature.
  • the singular feature selection unit 41 can select a singular feature from features that do not match the background pattern, that is, invariant features based on a portion of the feature space where the feature group extracted from the background video does not appear.
  • This selection of singular features can be identified with the problem of finding a large blank from the distribution of invariant features in the invariant feature space. For example, “An algorithm for Finding Maximal” published in the 2003 Proceedings of International Conference on Document Analysis and Recognition A large blank area may be extracted by using an algorithm such as Whitespace Rectangles at Arbitrary Orientations for Document Layout Analysis, or the center of the obtained rectangular area that does not include invariant features may be used as a unique feature.
  • the invariant feature space is quantized with a mesh (partition) of a specific size to generate a one-dimensional or multidimensional histogram, and the center of the section where the occurrence frequency of the invariant feature is 0 is a unique feature. And so on. If there is no partition with a frequency of 0, the partition width may be reduced, a histogram may be taken, and if a partition with a frequency of 0 appears, a unique feature may be selected from the partition at this time. If a mesh with a frequency of 0 is not found, the histogram may be thresholded with a default value, and a singular feature may be selected from meshes with a specified value or less.
  • FIGS. Other examples of the unique features selected by the unique feature selection unit 41 are shown in FIGS.
  • the sections that have been made unique are represented by white, and the sections that have not been made unique are represented by gray shading.
  • FIG. 19 is a diagram in which the center of the singular feature and the center point of the singular feature layout diagram are represented by “ ⁇ ” based on the singular feature layout diagram shown in FIG.
  • FIG. 17 four unique features (sections with a unique feature number of 0) are arranged in a distributed manner. However, in order to facilitate the description of the marker pattern generation process, the unique features are shown in FIG. It is assumed that the selection is made based on the arrangement shown in FIG.
  • the unique feature selection unit 41 obtains the coordinates of the selected unique feature. For example, the unique feature selection unit 41 sets the coordinates of the unique features to (2, 6), (5, 2), (5, 4), (5, 5), (7 in the unique feature layout diagram shown in FIG. , 6).
  • the unique feature storage unit 42 stores the coordinates of the unique feature selected by the unique feature selection unit 41.
  • the marker generation means 50 has a marker pattern generation unit 51 as shown in FIG.
  • the marker pattern generation unit 51 takes out the coordinates of the unique features from the unique feature storage unit 42, and generates a marker pattern based on the coordinates of the unique features.
  • the feature point extraction used by the feature extraction means 20 is the detection of the singular feature group, which is necessary for generating the marker pattern. Depends on the algorithm.
  • the following marker pattern generation method is given as an example.
  • Pattern in which intersections are arranged at unique feature positions (FIG. 20 (1)) (2) A convex hull with a unique feature is obtained, and the inside is filled with a specific color. Further, the convex hull is obtained again using a unique feature that has not been used for the convex hull, and the interior is filled with another color. A pattern generated by repeating such processing until all unique features are used (FIG. 20 (2)). (3) A pattern composed of a set of filled rectangles having vertices at singular feature positions and horizontal and vertical sides (FIG. 20 (3)) (4) A pattern in which the nearest points of singular feature points are connected by line segments ((4) in FIG. 20)
  • the device for attaching the marker to the object prints the marker with the paint corresponding to the brightness value and the color difference value corresponding to the unique feature. May be.
  • the marker pattern generation unit 51 may generate a marker corresponding to the brightness, color, and shape corresponding to the selected unique feature.
  • invariant feature conversion using geometric invariants is performed, but other invariants can be used.
  • an object color invariant can be used.
  • the color of the object is photographed with a different color depending on the light source color existing in the photographing environment even if it is the same object. Therefore, the actual object color can be obtained by separating and removing the influence of the light source color variation from the image.
  • the actual object color obtained in this way can be used as an object color invariant.
  • texture invariants can be used.
  • Numerical calculation is performed on the luminance distribution of the partial area of the image, and the obtained numerical value or vector is used as the feature amount. Since the texture invariant is susceptible to the relative positional relationship between the camera and the object to be photographed, like the figure invariant, a feature quantity that is not easily affected is calculated and used as the texture invariant. For example, a feature quantity that is invariant to the distance and zoom between the camera and the target can be implemented by converting the focused partial image into polar coordinates and taking a power spectrum in the same radial direction. Further, when the power spectrum is obtained again in the azimuth direction with respect to the power spectrum, the feature amount is invariable with respect to the rotation around the optical axis of the camera.
  • geometric invariants other geometric invariants such as those described in “Multiple View Geometry in Computer Vision” by Richard Hartley and Andrew Zisserman may be used.
  • a point is selected as a base and the invariant space is three-dimensional, a three-dimensional geometric invariant can be created.
  • one of the four base points selected from the feature point group is obtained as a transformation map in which one point corresponds to the origin of the invariant space, and the other feature points of the base correspond to the position coordinates in the invariant space.
  • the degree-of-freedom measuring unit 60a (measuring unit) includes a degree-of-freedom detecting unit 61 and a base number setting unit 62 as shown in FIG.
  • the degree-of-freedom detection unit 61 obtains a posture change (degree of freedom) in an image environment including an object (including a marker) displayed on the background image based on the background image.
  • two or more frame images having different times are extracted from the background video where the marker is detected from the video storage unit 12 of the video input means 10, and the pattern shape and line posture change appearing in the frame image are extracted. Can be requested.
  • the basis number setting unit 62 determines the basis number according to the degrees of freedom detected by the degree of freedom detection unit 61.
  • a marker is generated by the marker generation means 50 through the invariant feature conversion process and the unique feature selection process based on the determined basis number basis.
  • the degree of freedom is measured in advance from the background image in which the marker is used, and marker generation is performed with the basis number corresponding to the degree of freedom.
  • the marker can be detected with certain certainty without complicating the marker as described above.
  • FIG. 5 is a flowchart showing the processing procedure of the marker generation method according to the present embodiment.
  • the video input unit 11 of the video input means 10 inputs a background image of a place where the marker is actually used (step 101). For example, when there is a belt conveyor that conveys an object with a marker, an image of the belt conveyor and its surroundings is input.
  • the video storage unit 12 of the video input unit 10 stores the frame image of the video input by the video input unit 11.
  • the degree-of-freedom detecting unit 61 of the degree-of-freedom measuring unit 60 takes out each frame image from the video storage unit 12, and changes the posture based on geometrical displacements such as characteristic figures, lines, and points included in the frame image.
  • the degree of freedom is detected as an index indicating the type (step 102). For example, by comparing the same two images at different times, a posture change such as translation, enlargement, reduction, rotation, shear deformation, etc. is detected with respect to an object appearing in the images.
  • the base number setting unit 62 of the degree-of-freedom measuring means 60 determines the base number according to the detected degree of freedom (step 103).
  • the feature extraction unit 21 of the feature extraction means 20 takes out a frame image from the video storage unit 12 and extracts a feature point from this frame image (step 104).
  • the feature extraction unit 21 obtains the coordinates of the extracted feature points and stores the coordinates in the feature storage unit 22.
  • the invariant feature conversion unit 31 of the invariant feature conversion unit 30 maps each feature point to the invariant feature space based on the basis number basis determined by the basis number setting unit 62 (step 105).
  • the invariant feature conversion unit 31 partitions the invariant space by applying a mesh (step 106).
  • the invariant feature conversion unit 31 calculates the number of invariant features for each section (step 107).
  • the invariant feature storage unit 32 stores the calculated invariant feature number for each section.
  • the singular feature selection unit 41 of the singular feature selection means 40 extracts the invariant feature number for each section from the invariant feature storage unit 32.
  • the unique feature selection unit 41 selects 0 from the number of invariant features for each partition, and sets the partition as a unique feature (step 108).
  • the singular feature storage unit 42 stores the coordinates of the sections determined as the singular features by the unique feature selection unit 41.
  • the marker pattern generation unit 51 of the marker generation unit 50 takes out the coordinates of the unique features from the unique feature storage unit 42, and generates a marker pattern based on the coordinates of the unique features (step 109).
  • a pattern that does not exist in the background image is generated as a marker.
  • a singular feature may be selected from a section having a constant number of invariant features or less.
  • the posture change (degree of freedom) where the marker is used is obtained, and the marker is generated based on the basis number corresponding to the degree of freedom. Yes.
  • FIG. 23 is a block diagram showing the configuration of the marker generation device of this embodiment.
  • FIG. 24 is a block diagram showing a detailed configuration of the marker generation device of the present embodiment.
  • This embodiment is characterized by a method of measuring the degree of freedom compared to the first embodiment.
  • the degree-of-freedom measurement unit 60b measures the degree of freedom based on the position information of the feature points of the frame image that is the background image.
  • Other components are the same as those in the first embodiment.
  • FIGS. 23 and 24 the same components as those in FIGS. 1 and 2 are denoted by the same reference numerals, and detailed description thereof is omitted.
  • the degree-of-freedom detecting unit 61 of the degree-of-freedom measuring unit 60b shown in FIG. 24 analyzes the displacement of the coordinates of the feature points of the object (including the marker) displayed on the background image based on the background video, Find the posture change.
  • FIG. 25 is a diagram for explaining a method of extracting (i-11) and (i-15) from the frame images shown in FIG. 3 and calculating the degree of freedom based on the feature points included in these images.
  • FIG. 25 is a diagram for explaining a method of extracting (i-11) and (i-15) from the frame images shown in FIG. 3 and calculating the degree of freedom based on the feature points included in these images.
  • the degree-of-freedom detection unit 61 takes out the feature point of the frame image (i-11) and the feature point of the frame image (i-15) from the feature storage unit 22.
  • each feature point is associated by a known method such as a correlation method or a residual sequential test method, and a detailed description thereof is omitted.
  • the method for detecting the degree of freedom using affine transformation has been described.
  • the present invention is not particularly limited to this method.
  • other geometric transformation methods such as projective transformation and similarity transformation may be used.
  • FIG. 1 is a flowchart showing the processing procedure of the marker generation method according to the present embodiment.
  • the video input unit 11 of the video input means 10 inputs a background image of a place where the marker is actually used (step 201).
  • the video storage unit 12 of the video input unit 10 stores the background image (frame image) input by the video input unit 11.
  • the feature extraction unit 21 of the feature extraction means 20 takes out each frame image from the video storage unit 12 and extracts its feature points (step 202). Then, the feature extraction unit 21 stores the extracted coordinates of each feature point in the feature storage unit 22.
  • the degree-of-freedom detecting unit 61 of the degree-of-freedom measuring means 60b takes out the coordinates of the feature points of each frame image from the feature storage unit 22. Then, the degree of freedom detection unit 61 detects the degree of freedom based on the displacement of the coordinates of the feature points corresponding to each other (step 203).
  • the base number setting unit 62 of the degree-of-freedom measuring means 60b determines the base number according to the detected degree of freedom (step 204).
  • the invariant feature conversion unit 31 of the invariant feature conversion unit 30 takes out the coordinates of the feature points of the frame image from the feature storage unit 22, and based on the basis of the basis number determined by the basis number setting unit 62, each feature point is converted into an invariant feature. Map to space (step 205).
  • the invariant feature conversion unit 31 partitions the invariant space by applying a mesh (step 206).
  • the invariant feature conversion unit 31 calculates the number of invariant features for each section (step 207).
  • the invariant feature storage unit 32 stores the calculated invariant feature number for each section.
  • the singular feature selection unit 41 of the singular feature selection means 40 extracts the invariant feature number for each section from the invariant feature storage unit 32.
  • the unique feature selection unit 41 selects 0 or a predetermined number or less from among the invariant feature numbers for each partition, and sets the partition as a unique feature (step 208).
  • the singular feature storage unit 42 stores the coordinates of the sections determined as the singular features by the unique feature selection unit 41.
  • the marker pattern generation unit 51 of the marker generation unit 50 takes out the coordinates of the unique features from the unique feature storage unit 42, and generates a marker pattern based on the coordinates of the unique features (step 209).
  • the feature points are extracted from the background video in the marker detection environment and used for forming the marker pattern, and the feature points are used.
  • the degree of freedom of the marker detection environment can be detected.
  • FIG. 28 is a block diagram illustrating a detailed configuration of the marker generation device 1c according to the present embodiment.
  • This embodiment is characterized in that it is determined whether or not to update the marker according to the situation in which the marker is actually used, and the marker is updated when necessary.
  • the marker generation device 1c obtains a degree of freedom at a place where the marker is actually used, and calculates an appropriate base number corresponding to the degree of freedom.
  • the calculated base number is generated immediately before, and it is determined whether or not it matches the base number of the marker currently in use. If they are generated and match, an operation that does not generate a new marker is performed.
  • an appropriate marker corresponding to the use environment of the marker can be generated and maintained in real time.
  • Other components are the same as those in the first embodiment.
  • FIG. 28 the same components as those in FIG. 2 are denoted by the same reference numerals, and detailed description thereof is omitted.
  • the marker generating means 50c of the marker generating device 1c has a marker storage unit 52.
  • the marker storage unit 52 stores data related to the marker generated by the marker pattern generation unit 51.
  • the base number relating to the marker generated immediately before is stored in cooperation with the base number setting unit 62. That is, the base number used for the invariant feature conversion process at the time of generating the marker currently in use is stored.
  • the degree-of-freedom measuring unit 60c (measuring unit) includes a degree-of-freedom detecting unit 61, a basis number setting unit 62, a basis number calculating unit 63, and a basis number determining unit 64, as shown in FIG. .
  • the degree-of-freedom detection unit 61 extracts a feature point of an arbitrary frame image from the feature storage unit 22 of the feature extraction unit 20 and detects the degree of freedom.
  • the basis number calculation unit 63 calculates a basis number corresponding to the detected degree of freedom.
  • a predetermined base number setting table is used (see FIG. 21).
  • the basis number determination unit 64 determines whether or not the basis number calculated based on the degree of freedom matches the basis number used when generating the previous marker, and determines the basis number according to the determination result.
  • the base number setting unit 62 uses the first reference point number as a basis used when generating the marker. Determine as a number.
  • the invariant feature converting means 30 uses the determined basis number to map the feature points to the invariant feature space, and the singular feature selecting means 40 selects the singular features from the mapped invariant features to generate the marker.
  • the means 50 generates a new marker based on the unique feature.
  • the basis number determined here is stored in the marker storage unit 52. By overwriting and storing the base number, the base number relating to the marker generated immediately before can be used for the determination.
  • the invariant feature conversion means 30 stops executing until the match of these reference point numbers is determined, and until then, Do not generate.
  • FIG. 5 is a flowchart showing the processing procedure of the marker generation method according to the present embodiment.
  • the marker generation process and the marker update process are started in accordance with the time and interval set by a timer (not shown) or the timing according to a predetermined operation.
  • the video input unit 11 of the video input means 10 inputs a background image of a place where the marker is actually used (step 302).
  • the video storage unit 12 of the video input unit 10 stores the background image input by the video input unit 11 as a frame image.
  • the feature extraction unit 21 of the feature extraction means 20 extracts each frame image from the video storage unit 12 and extracts its feature points (step 303).
  • the feature extraction unit 21 stores the extracted coordinates of each feature point in the feature storage unit 22.
  • the degree-of-freedom detection unit 61 detects the degree of freedom, and the basis number calculation unit 63 calculates a basis number corresponding to the degree of freedom (step 304).
  • the base number determination unit 64 compares the calculated base number (first reference point number) with the base number (second reference point number) stored in the marker storage unit 52 (step 305).
  • the base number setting unit 62 determines the first reference point number as the base number of bases used for marker generation (S306). ). The determined basis number is stored in the marker storage unit 52.
  • the invariant feature converter 31 of the invariant feature converter 30 maps each feature point to the invariant feature space based on the determined basis number basis (step 307).
  • the invariant feature conversion unit 31 partitions the invariant feature space by applying a mesh (step 308).
  • the invariant feature conversion unit 31 calculates the number of invariant features for each section by calculating the number of invariant features for each section (step 309).
  • the invariant feature storage unit 32 stores the calculated invariant feature number for each section.
  • the singular feature selection unit 41 of the singular feature selection means 40 extracts the invariant feature number for each section from the invariant feature storage unit 32.
  • the unique feature selection unit 41 selects 0 or a predetermined number or less from the invariant feature numbers for each partition, and sets the partition as a unique feature (step 310).
  • the singular feature storage unit 42 stores the coordinates of the sections determined as the singular features by the unique feature selection unit 41.
  • the marker pattern generation unit 51 of the marker generation unit 50c takes out the coordinates of the unique features from the unique feature storage unit 42, and generates a marker pattern based on the coordinates of the unique features (step 311).
  • step 301 the process returns to step 301 and waits for the opportunity of marker generation.
  • the number of bases already generated by the marker generation unit 50c and used for generation of the marker actually used is previously stored in the marker storage unit. 52 is stored in memory.
  • the degree-of-freedom measuring means 60c measures the degree of freedom around the marker and the marker from the background image including the marker.
  • the degree-of-freedom measuring unit 60c determines whether or not the number of bases (first reference point number) calculated according to the degree of freedom matches the number of bases (second reference point number) used when generating the previous marker. I try to judge.
  • the present embodiment not only provides the same operation and configuration as the above-described embodiments, but also eliminates waste of marker generation.
  • a new marker is generated only when there is a change in posture change.
  • a process of generating a marker is not performed. Can do.
  • FIG. 30 is a block diagram showing the configuration of the marker detection device.
  • FIG. 31 is a block diagram showing a detailed configuration of the marker detection device.
  • the marker detection device 100 includes a video input unit 110, a feature extraction unit 120, an invariant feature conversion unit 130, a marker storage unit 140, a collation unit 150, and a notification unit 160. Yes.
  • the video input means 110 includes a video input unit 111 and a video storage unit 112 as shown in FIG.
  • the video input unit 111 inputs a background image where the marker is actually used.
  • a background image including a marker is input.
  • the video storage unit 112 stores the input background image as a digitized frame image.
  • Feature extraction means 120 has a feature extraction unit 121 and a feature storage unit 122 as shown in FIG.
  • the feature extraction unit 121 extracts a frame image from the video storage unit 112.
  • the feature extraction unit 121 extracts image features including a characteristic pattern in the extracted frame image. For example, when the frame image is an image as shown in FIG. 32, the feature extraction unit 121 extracts feature points as shown in FIG. 33 from the frame image.
  • the feature storage unit 122 stores the coordinates of the feature points extracted by the feature extraction unit 121.
  • the invariant feature conversion means 130 has an invariant feature conversion unit 131 and an invariant feature storage unit 132, as shown in FIG.
  • the invariant feature conversion unit 131 takes out the coordinates of the feature points from the feature storage unit 122 and maps the feature points to the invariant feature space.
  • the invariant feature conversion unit 131 performs the mapping process based on the same number of bases as the number of bases used when generating the marker to be detected. For this reason, the invariant feature conversion unit 131 extracts the number of bases used at the time of generating an existing marker stored in advance in the marker storage unit 150, and performs mapping processing based on the same number of bases as the number of bases extracted.
  • the invariant feature conversion unit 131 divides the invariant feature space into a plurality of sections using a grid mesh.
  • the invariant feature storage unit 132 stores various data obtained by the invariant feature conversion unit 131.
  • Various data includes, for example, the coordinates of each invariant feature arranged in the invariant feature space, the coordinates (range) of each section, and the like.
  • the marker storage unit 140 stores marker related information to be detected.
  • the marker storage unit 140 stores the base number used when generating the marker pattern. Specifically, any numerical value of 1 to 3 is stored as marker related information as the base number used in the invariant feature conversion process.
  • the collation means 150 has the collation part 151 as shown in FIG.
  • the collation unit 151 takes out the coordinates of the invariant feature group based on the detection target video from the invariant feature storage unit 132, takes out the marker pattern from the marker storage unit 142, and collates them.
  • the matching unit 151 determines whether or not the invariant feature that matches the marker pattern is detected from the invariant feature group based on the detection target video.
  • the matching unit 151 determines the detection as a contribution from the marker pattern.
  • Marker detection can be performed at high speed. For example, as shown in FIG. 34A, when even one invariant feature of the detection target video is plotted at a predetermined coordinate position of the marker pattern, the detection of the marker is confirmed. On the other hand, as shown in FIG. 34B, when no invariant feature is plotted at a predetermined coordinate position of the marker pattern, it is determined that the marker has not been detected.
  • the frequency of accepted projections may be set to a default value of one or more times in order to avoid false detection of markers due to noise or feature extraction calculation errors.
  • the collation unit 151 transmits a notification signal to the notification unit 160 according to the result of the comparison. Specifically, a notification signal is transmitted when an invariant feature that matches the marker pattern is detected from an invariant feature group based on the detection target video.
  • the notification unit 160 When the notification unit 160 receives the notification signal from the collating unit 151, the notification unit 160 notifies the outside that an invariant feature has been plotted at a predetermined coordinate position of the unique feature of the marker pattern, that is, that a marker has been detected.
  • Examples of the notification method include voice output and screen display.
  • the marker storage unit 140 stores data related to the marker in advance (step 401). Specifically, the marker patterns generated by the marker generation devices 1a to 1c are stored. In addition, the base number used for the invariant feature conversion performed as preprocessing for the marker pattern generation is stored.
  • the video input unit 111 of the video input means 110 inputs the background image (including the marker) of the place where the marker is actually used (step 402).
  • the video storage unit 112 stores the input background image as a digitized frame image.
  • the feature extraction unit 121 of the feature extraction unit 120 extracts a frame image from the video storage unit 112. Then, the feature extraction unit 121 extracts feature points from the extracted frame image (step 403).
  • the feature storage unit 122 stores the coordinates of the feature points extracted by the feature extraction unit 121.
  • the invariant feature conversion unit 131 of the invariant feature conversion unit 130 extracts the feature points from the feature storage unit 122 and maps each feature point to the invariant feature space based on the basis number stored in the marker storage unit 140. (Step 404).
  • the invariant feature storage unit 132 stores the coordinates of feature points (invariant features) mapped to the invariant feature space.
  • the matching unit 151 of the matching unit 150 tries to detect an invariant feature that matches the marker pattern from the invariant feature group based on the detection target video mapped to the invariant feature space (step 405).
  • the notification unit 160 displays the marker. The detection is notified to the outside (step 406).
  • step 407 it is determined whether or not to end (step 407). If not ended, the processing from step 401 to step 407 is repeated.
  • the marker displayed on the detection target video can be reliably detected using the marker pattern generated by the marker generation device. .
  • FIG. 36 is a block diagram showing a configuration of the marker generation detection device.
  • the marker generation detection device 1000 includes a marker generation device 1 and a marker detection device 100.
  • the marker generation device 1 can use any of the marker generation devices according to the first to third embodiments described above.
  • the marker detection device 100 the marker detection device 100 shown in FIG. 30 described above can be used.
  • the marker generation device 1000 can have a configuration in which the marker generation device 1 and the marker detection device 100 are integrated.
  • the marker generating device 1 and the marker detecting device 100 have a function that can be shared, a configuration as shown in FIG. 37 can be adopted.
  • the marker generation detection apparatus 1000 includes a video input unit 10, a feature extraction unit 20, an invariant feature conversion unit 30, a singular feature selection unit 40, a marker generation unit 50, a degree of freedom measurement unit 60, and a collation unit. 150 and a notification means 160.
  • the video input means 10 the feature extraction means 20, the invariant feature conversion means 30, the singular feature selection means 40, the marker generation means 50, and the degree-of-freedom measurement means 60 function as a marker generation device.
  • the video input means 10 the feature extraction means 20, the invariant feature conversion means 30, the singular feature selection means 40, the marker generation means 50, and the degree-of-freedom measurement means 60 function as a marker generation device.
  • the video input means 10 the feature extraction means 20, the invariant feature conversion means 30, the marker storage unit 52, the collation means 150, and the notification means 160 have a function as a marker detection device.
  • the video input unit 10, the feature extraction unit 20, the invariant feature conversion unit 30, and the marker storage unit 52 are portions common to the marker generation device and the marker detection device.
  • the marker generation method in the marker generation device is the same as the marker generation method in the first to third embodiments described above.
  • the marker detection method in the marker detection device is the same as the marker detection method in the above-described embodiment.
  • the marker generation detection system 2000 includes a marker generation device 1 and a marker detection device 100.
  • the marker generation device 1 and the marker detection device 100 can be connected by a communication network or a communication cable 300 or the like.
  • the marker generation device 1 includes a video input unit 10, a feature extraction unit 20, an invariant feature conversion unit 30, a singular feature selection unit 40, a marker generation unit 50, a degree of freedom measurement unit 60, and a communication unit 70. Have.
  • the communication unit 70 retrieves data related to the marker (marker pattern, base number used to generate the marker) stored in the marker generation unit 50 and transmits it to the marker detection device 100.
  • the marker detection apparatus 100 includes a video input unit 110, a feature extraction unit 120, an invariant feature conversion unit 130, a marker storage unit 140, a collation unit 150, a notification unit 160, and a communication unit 170. .
  • the communication unit 170 receives data related to the marker transmitted from the marker generation device 1. Further, the communication unit 170 causes the marker storage unit 140 to store data regarding the received marker.
  • the basis number corresponding to the degree of freedom (posture change) of the marker detection environment is obtained. Based on the basis of the basis number, a feature point is mapped to an invariant feature, a singular feature is obtained, and then a marker can be generated.
  • Marker generation function (function for executing marker generation method) and marker detection function (execute marker detection method) of computer (marker generation device, marker detection device, marker generation detection device, marker detection system) in each of the above embodiments (Function for performing) is realized by a marker generation program or a marker detection program stored in a storage means (for example, a ROM (Read Only Memory) or a hard disk).
  • a storage means for example, a ROM (Read Only Memory) or a hard disk.
  • the marker generation program and the marker detection program are read by a computer control means (CPU (Central Processing Unit), etc.) to send instructions to each component of the computer and perform predetermined processing, for example, video input processing of the marker generation device , Feature extraction processing, invariant feature conversion processing, singular feature selection processing, marker generation processing, degree-of-freedom measurement processing, marker detection device video input processing, feature extraction processing, invariant feature conversion processing, collation processing, notification processing, etc. .
  • CPU Central Processing Unit
  • the marker generation function or the marker detection function includes a marker generation program that is software and a computer (marker generation means (marker generation device, marker generation server, marker generation network, marker generation system, etc.)) that is a hardware resource. This is realized by cooperation with the constituent means.
  • the marker generation program for realizing the marker generation function or the marker detection function is stored in a computer ROM, hard disk, or the like, or in a computer-readable recording medium, such as an external storage device or a portable recording medium. Can be stored.
  • External storage device refers to a memory expansion device that contains a recording medium such as a CD-ROM (Compact disc-Read Only Memory) and is externally connected to the marker generation device.
  • the portable recording medium is a recording medium that can be mounted on a recording medium driving device (drive device) and is portable, and refers to, for example, a flexible disk, a memory card, a magneto-optical disk, and the like.
  • the program recorded on the recording medium is loaded into a RAM (Random Access Memory) of the computer and executed by the CPU (control means). By this execution, the function of the marker generation device of each embodiment described above is realized.
  • a RAM Random Access Memory
  • the marker generation program held by another computer can be downloaded to its own RAM or external storage device using a communication line.
  • the downloaded marker generation program is also executed by the CPU, and realizes the marker generation function of the marker generation device of each of the above embodiments.
  • the marker generation device marker generation detection system, marker generation detection device, marker, marker generation method, and marker generation program of the present embodiment, a desired object that does not actually exist is present in the space. It is possible to avoid misjudging that it is present.
  • a detection object such as an object or a marker or a marker corresponding to a change in the posture of the environment in which the object is detected, it is possible to achieve a reasonable harmony between the load of marker generation and the accuracy of marker detection.
  • Measuring means for measuring the posture change of an object in the image based on the background image; Invariant feature conversion means for representing feature points extracted from the background image in an invariant feature space by a predetermined conversion process according to the posture change; A singular feature selection means for selecting, as a singular feature, a portion where the feature point does not appear in the invariant feature space; A marker generation device comprising marker generation means for generating a marker using the unique feature.
  • (Appendix 2) Video input means for inputting a background image; Feature extraction means for extracting feature points from the input background image;
  • the measuring means has a basis number setting unit that measures the type of posture change of an object in the image based on the input background image and determines the number of corresponding reference points according to the type of posture change.
  • the invariant feature conversion means represents each feature point extracted from the background image in the invariant feature space by the mapping process using the determined number of reference points as the predetermined conversion process,
  • the singular feature selection means selects a portion where the feature point does not appear in the invariant feature space as a singular feature,
  • the marker generation device according to claim 1, wherein the marker generation unit generates a marker using the unique feature.
  • the said measurement means measures any of parallel movement, expansion, reduction, rotation or shear deformation, or a combination thereof as the type of posture change
  • the basis number setting unit determines the number of reference points as 1 when only parallel movement is measured as the type of posture change, and one or more posture changes of enlargement, reduction, or rotation, or the posture thereof
  • the number of the reference points is determined as 2
  • the posture change of any one or more of shear deformation or shear deformation and parallel movement, enlargement, reduction, and rotation The marker generating device according to supplementary note 2, wherein the number of the reference points is determined to be 3 when the value is measured.
  • the said feature extraction means has the feature extraction part which extracts the positional information on the said feature point,
  • the video input means inputs two or more background images corresponding to different times,
  • the marker generation device according to claim 2 or 3, wherein the measuring unit measures the type of the posture change based on a change in the position of the feature point extracted from the two or more background images.
  • the measuring means includes A base number calculation unit that calculates the number of the reference points according to the type of posture change measured by the measurement unit; According to the processing of the basis number calculation unit, whether or not the calculated first reference point number matches the second reference point number related to the reference used in the conversion process when the marker is generated first A basis number determination unit for determining whether The base number setting unit determines the first reference point number as the number of reference points used for the conversion process when it is determined that the first reference point number and the second reference point number do not match.
  • the marker generation device according to any one of Supplementary Note 2 to Supplementary Note 4, wherein the invariant feature conversion means executes mapping processing using the first reference point number.
  • the invariant feature conversion means includes: Supplementary Note 5: When it is determined that the first reference score and the second reference score match, the execution of the predetermined conversion process is stopped until it is determined that the reference score does not match thereafter.
  • the marker generator is Measuring means for measuring the posture change of the object in the image based on the background image; Invariant feature conversion means for representing feature points extracted from the background image in an invariant feature space by a predetermined conversion process according to the posture change; A singular feature selection means for selecting, as a singular feature, a portion where the feature point does not appear in the invariant feature space; Marker generating means for generating a marker using the unique feature, The marker detection device is Marker storage means for storing the generated marker; Collating means for determining whether or not there is an arrangement of the unique feature of the marker in the arrangement of the invariant feature group in which the feature points extracted from the background image for detecting the marker are represented in the invariant feature space; A marker generation detection system.
  • the marker generation device includes: Video input means for inputting a background image; Feature extraction means for extracting feature points from the input background image; The measuring means measures a type of posture change of an object in the image based on the input background image, and has a basis number setting unit for determining the number of corresponding reference points according to the type of posture change.
  • the invariant feature conversion means represents each feature point extracted from the background image in the invariant feature space by the mapping process using the determined number of reference points as the predetermined conversion process,
  • the singular feature selection means selects a portion where the feature point does not appear in the invariant feature space as a singular feature,
  • the marker generation detection system according to claim 8, wherein the marker generation unit generates a marker using the unique feature.
  • Measuring means for measuring the posture change of an object in the image based on the background image;
  • Invariant feature conversion means for representing feature points extracted from the background image in an invariant feature space by a predetermined conversion process according to the posture change;
  • a singular feature selection means for selecting, as a singular feature, a portion where the feature point does not appear in the invariant feature space;
  • Marker generating means for generating a marker using the unique feature; Marker storage means for storing the generated marker;
  • Collating means for determining whether or not there is an arrangement of the unique feature of the marker in the arrangement of the invariant feature group in which the feature points extracted from the background image for detecting the marker are represented in the invariant feature space;
  • a marker generation detection device having:
  • Video input means for inputting a background image; Feature extraction means for extracting feature points from the input background image;
  • the measurement means measures a type of posture change of an object in the image based on the input background image, and a base number setting unit that determines the number of corresponding reference points according to the type of posture change.
  • the invariant feature conversion means represents each feature point extracted from the background image in the invariant feature space by the mapping process using the determined number of reference points as the predetermined conversion process,
  • the singular feature selection means selects a portion where the feature point does not appear in the invariant feature space as a singular feature,
  • the marker generation detection device according to attachment 10, wherein the marker generation unit generates a marker using this unique feature.
  • the feature points of the background image are represented in the invariant feature space by a predetermined conversion process according to the posture change measured from the image, and the portion where the feature points do not appear in the invariant feature space is used. Generated marker.
  • the feature points of the background image are represented in the invariant feature space by mapping processing using the number of reference points determined according to the type of posture change, and the feature points appear in the invariant feature space.
  • a step of inputting a background image Extracting feature points from the input background image; Measuring the type of posture change of the object in the image based on the input background image, and determining the number of corresponding reference points according to the type of posture change; Representing the feature points extracted from the background image in the invariant feature space by mapping using the determined number of reference points as the predetermined conversion process; Selecting a portion where the feature point does not appear as a singular feature in the invariant feature space;
  • the marker generation method according to appendix 14 further comprising a step of generating a marker using the unique feature.
  • Information processing device Means for measuring the posture change of an object in the image based on the background image; Means for representing a feature point extracted from the background image in an invariant feature space by a predetermined conversion process according to the posture change; Means for selecting, as a singular feature, a portion in which the feature point does not appear in the invariant feature space; and Means for generating a marker using the unique feature; Marker generation program to function as
  • the information processing apparatus is Means for inputting a background image, Means for extracting feature points from the input background image; Means for measuring the type of posture change of the object in the image based on the input background image and determining the number of corresponding reference points according to the type of posture change; Means for representing each feature point extracted from the background image in the invariant feature space by mapping using the determined number of reference points as the predetermined conversion process; Means for selecting, as a singular feature, a portion in which the feature point does not appear in the invariant feature space; and Means for generating a marker using the unique feature;
  • the marker generation program according to appendix 16, which is caused to function as:
  • the marker generation device As described above, the marker generation device, the marker generation detection system, the marker generation detection device, the marker, the marker generation method, and the marker generation program according to the preferred embodiments of the present invention have been described.
  • the marker generation device, the marker generation detection system according to the present invention, The marker generation detection device, the marker, the marker generation method, and the marker generation program are not limited to the above-described embodiments, and it goes without saying that various modifications can be made within the scope of the present invention.
  • the marker generation unit generates only one marker, but a plurality of markers can be generated.
  • the present invention relates to the generation of a marker, the apparatus and apparatus for generating the marker, and further uses such as article management, physical monitoring such as physical security, robot vision, complex realization UI, and content generation application Is available.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

　本発明は、背景画像にもとづきこの画像中の物体の姿勢変化を計測する計測手段と、前記背景画像から抽出した特徴点を前記姿勢変化に応じた所定の変換処理によって不変量特徴空間に表す不変特徴変換手段と、前記不変量特徴空間において前記特徴点が表れていない部分を特異特徴として選択する特異特徴選択手段と、前記特異特徴を用いてマーカを生成するマーカ生成手段とを有するマーカ生成装置である。

Description

マーカ生成装置、マーカ生成検出システム、マーカ生成検出装置、マーカ、マーカ生成方法及びそのプログラム
　本発明は、マーカを生成するマーカ生成装置、マーカ生成機能を備えたマーカ生成検出システム、マーカ生成検出装置、そのマーカ、そのマーカを生成するマーカ生成方法、及び、マーカ生成プログラムに関する。
　ある空間中に所望の物体があるか否かを識別するための技術として、対象となる物体に予め所定形状のマーカを付しておき、その空間の背景映像におけるマーカの有無に応じて対象物体の存否を判別するマーカ検出方法が一般に知られている。
　例えば、特許文献１には、マーカを含まない背景映像から特徴点を抽出し、その抽出した特徴点にもとづいて導き出される、背景映像には現れていない画像特徴からなるマーカを生成する技術が開示されてある。
　具体的には、準備段階で、このような方法で生成されたマーカと同一のパターンを対象物体に付しておき、検出段階で、所定の空間映像からこのパターンが検出された場合には対象物体はその空間に存在すると判別することができる。
　ところが、検出段階において、その空間を撮像するカメラの方向その他環境の変化に伴い、物体に付したマーカのパターンが変化することがある。
　このため、物体に付したマーカのパターンと、検出すべきマーカのパターンとが一致せずに、マーカが適切に検出できない問題が発生していた。
　そこで、特許文献２には、準備段階において、物体固有の物体識別情報コード（前記マーカに対応）と対応する第一の幾何学的不変量とを物体ごとに記憶させておき、検出段階では、複数の視点から物体識別情報コードが付された物体の画像を取得し、それらの画像の中から発生させた独立な複数の画像から特徴点位置を抽出して第二の幾何学的不変量を求め、この第二の幾何学的不変量に最も近い第一の幾何学的不変量を検出することで、対応する物体を検出する技術が開示されている。
　つまり、このような技術によれば、複数の視点によらない不変量にもとづいて物体識別情報の対比を行うことで、ある方向から取得した物体識別情報と他の方向から取得した物体識別情報との同一性を識別することが可能である。
　このため、映像を斜めから取得したとしても対象物体を正確に検出できるため、上述の問題は解消することができる。
国際公開第２００８／０９０９０８号パンフレット 特開２００３－２２３６３９号公報
　しかしながら、上述したいずれの技術においても、マーカに発生しうる様々な姿勢変化には対応していない。例えば、対象物体の形状やその環境によって、マーカそのものが平行移動し、回転し、拡大・縮小し、又は、回転する場合がある。
　また、映像入力を行うカメラ等の撮像素子（特に、動画の順次読み出しを行うＣＭＯＳ素子等）によってはせん断変形等の光学歪みが発生することがある。
　さらに、撮像対象とカメラ等との相対的な位置関係よっても、上述したすべての姿勢変化が生ずることがある。
　したがって、このような種々の姿勢変化が発生した場合、上述した関連技術では、正確にマーカを検出することはできず、結果として、物体検出の安定性や信頼性を欠くことが問題となっていた。
　本発明の目的は、上記の事情にかんがみなされたものであり、様々な姿勢変化を生じうるマーカの検出漏れを包括的に防ぐとともに、姿勢変化の種類に適したマーカを生成することによって、マーカ生成・検出時の負荷を抑えつつ正確な物体検出を実現するマーカ生成装置、マーカ生成検出システム、マーカ生成検出装置、マーカ、マーカ生成方法及びマーカ生成プログラムの提供を目的とする。
　本発明は、背景画像にもとづきこの画像中の物体の姿勢変化を計測する計測手段と、前記背景画像から抽出した特徴点を前記姿勢変化に応じた所定の変換処理によって不変量特徴空間に表す不変特徴変換手段と、前記不変量特徴空間において前記特徴点が表れていない部分を特異特徴として選択する特異特徴選択手段と、前記特異特徴を用いてマーカを生成するマーカ生成手段とを有するマーカ生成装置である。
　本発明は、マーカ生成装置とマーカ検出装置とを有し、前記マーカ生成装置は、背景画像にもとづきこの画像中の物体の姿勢変化を計測する計測手段と、前記背景画像から抽出した特徴点を前記姿勢変化に応じた所定の変換処理によって不変量特徴空間に表す不変特徴変換手段と、前記不変量特徴空間において前記特徴点が表れていない部分を特異特徴として選択する特異特徴選択手段と、前記特異特徴を用いてマーカを生成するマーカ生成手段とを有し、前記マーカ検出装置は、生成された前記マーカを記憶するマーカ記憶手段と、前記マーカを検出するための背景画像から抽出した特徴点を前記不変量特徴空間に表した不変量特徴群の配置の中に前記マーカの特異特徴の配置があるか否かを判断する照合手段とを有するマーカ生成検出システムである。
　本発明は、背景画像にもとづきこの画像中の物体の姿勢変化を計測する計測手段と、前記背景画像から抽出した特徴点を前記姿勢変化に応じた所定の変換処理によって不変量特徴空間に表す不変特徴変換手段と、前記不変量特徴空間において前記特徴点が表れていない部分を特異特徴として選択する特異特徴選択手段と、前記特異特徴を用いてマーカを生成するマーカ生成手段と、生成された前記マーカを記憶するマーカ記憶手段と、前記マーカを検出するための背景画像から抽出した特徴点を前記不変量特徴空間に表した不変量特徴群の配置の中に前記マーカの特異特徴の配置があるか否かを判断する照合手段とを有するマーカ生成検出装置である。
　本発明は、背景画像の特徴点を、この画像から計測される姿勢変化に応じた所定の変換処理によって不変量特徴空間に表し、この不変量特徴空間において前記特徴点が表れていない部分を用いて生成されたマーカである。
　本発明は、背景画像にもとづきこの画像中の物体の姿勢変化を計測する工程と、前記背景画像から抽出した特徴点を前記姿勢変化に応じた所定の変換処理によって不変量特徴空間に表す工程と、前記不変量特徴空間において前記特徴点が表れていない部分を特異特徴として選択する工程と、前記特異特徴を用いてマーカを生成する工程とを有するマーカ生成方法である。
　本発明は、情報処理装置を、背景画像にもとづきこの画像中の物体の姿勢変化を計測する手段、前記背景画像から抽出した特徴点を前記姿勢変化に応じた所定の変換処理によって不変量特徴空間に表す手段、前記不変量特徴空間において前記特徴点が表れていない部分を特異特徴として選択する手段、及び、前記特異特徴を用いてマーカを生成する手段として機能させるマーカ生成プログラムである。
　本発明のマーカ生成装置、マーカ生成検出システム、マーカ生成検出装置、マーカ、マーカ生成方法及びマーカ生成プログラムによれば、マーカ生成・検出時の負荷を抑えながら、正確な物体検出を可能とする。
図１は本発明の第一実施形態におけるマーカ生成装置の構成を示すブロック図である。 図２は本発明の一実施形態におけるマーカ生成装置の詳細な構成を示すブロック図である。 図３は複数のフレーム画像で構成される背景映像を示す図である。 図４は複数の特徴点が配置された特徴空間を示す図である。 図５は特徴空間に配置された特徴点に番号が付された様子を示す図である。 図６は特徴点情報テーブルの構成を示す図表である。 図７は特徴点５番を基底として、各特徴点を不変量特徴空間に写像する様子を示す図である。 図８は特徴点１５番を基底として、各特徴点を不変量特徴空間に写像する様子を示す図である。 図９は基底数が１の場合に特徴点のすべてを不変量特徴空間に写像した様子を示す図である。 図１０は特徴点６番を第一基底、特徴点２番を第二基底として、各特徴点を不変量特徴空間に写像する様子を示す図である。 図１１は特徴点３３番を第一基底、特徴点３４番を第二基底として、各特徴点を不変量特徴空間に写像する様子を示す図である。 図１２は特徴点５番を第一基底、特徴点４番を第二基底、特徴点１４番を第三基底として、各特徴点を不変量特徴空間に写像する様子を示す図である。 図１３は特徴点４７番を第一基底、特徴点４９番を第二基底、特徴点７番を第三基底として、各特徴点を不変量特徴空間に写像する様子を示す図である。 図１４は不変量特徴空間に区画線を付したところを示す図である。 図１５は不変特徴数が１以上ある区画を塗り潰した不変量特徴空間を示す図である。 図１６は不変量特徴空間に写像におけるマーカパターン生成範囲を示す図である。 図１７はマーカ生成範囲における区画ごとの特徴点の数を示す図である。 図１８は特異特徴配置図の構成を示す図である。 図１９は特異特徴配置図の他の構成を示す図である。 図２０はマーカの生成例を示す図である。 図２１は基底数設定テーブルを示す図である。 図２２は本発明の第一実施形態におけるマーカ生成装置の動作手順（マーカ生成方法）を示すフローチャートである。 図２３は本発明の第二実施形態におけるマーカ生成装置の構成を示すブロック図である。 図２４は本発明の第二実施形態におけるマーカ生成装置の詳細な構成を示すブロック図である。 図２５はフレーム画像に含まれる特徴点にもとづいて自由度を検出する方法を説明するための説明図である。 図２６はアフィン変換に関する説明を行うための図である。 図２７は本発明の第二実施形態におけるマーカ生成装置の動作手順（マーカ生成方法）を示すフローチャートである。 図２８は本発明の第三実施形態におけるマーカ生成装置の詳細な構成を示すブロック図である。 図２９は本発明の第三実施形態におけるマーカ生成装置の動作手順（マーカ生成方法）を示すフローチャートである。 図３０はマーカ検出装置の構成を示すブロック図である。 図３１はマーカ検出装置の詳細な構成を示すブロック図である。 図３２は検出対象の例を示す図である。 図３３は検出対象映像から抽出された特徴点の例を示す図である。 図３４は不変特徴によって行われるマーカ検出を説明するための説明図である。 図３５はマーカ検出方法の手順を示すフローチャートである。 図３６はマーカ生成検出装置の構成を示すブロックである。 図３７はマーカ生成検出装置の詳細な構成を示すブロック図である。 図３８はマーカ生成検出システムの構成を示すブロック図である。
　以下、本発明に係るマーカ生成装置、マーカ生成検出システム、マーカ生成検出装置、マーカ、マーカ生成方法及びマーカ生成プログラムの好ましい実施形態について、図面を参照して説明する。
［マーカ生成装置及びマーカ生成方法の第一実施形態］
　まず、本発明のマーカ生成装置及びマーカ生成方法の第一実施形態について、図１を参照して説明する。同図は、本実施形態のマーカ生成装置の構成を示すブロック図である。
　図１に示すように、マーカ生成装置１ａは、映像入力手段１０と、特徴抽出手段２０と、不変特徴変換手段３０と、特異特徴選択手段４０と、マーカ生成手段５０と、自由度計測手段６０ａ（計測手段）とを備えている。
　映像入力手段１０は、図２に示すように、映像入力部１１と映像記憶部１２とを有している。
　映像入力部１１は、本実施形態において生成されるマーカを実際に使用する場所の背景画像を入力する。例えば、マーカが付された物体を搬送するベルトコンベアがある場合に、その物体を搬送していない状態のベルトコンベア及びその周辺を撮影した映像などが該当する。
　この背景画像は、動画像（映像）であってもよく、また、所定の時間間隔で撮影した複数枚の静止画像であってもよい。さらに、背景画像には、ライブ映像、録画映像、配信映像などを含むことができる。
　また、映像入力部１１は、自身が撮像デバイスを有することができる。この場合、映像入力部１１は、当該マーカ生成装置１ａが設置された場所の周囲の様子を背景画像として取り込むことができる。
　さらに、映像入力部１１は、当該マーカ生成装置１ａ以外の装置で取り込まれた背景画像を、通信ネットワークや通信ケーブル等を介して入力することもできる。
　この映像入力部１１によって入力された背景画像の例を、図３（i-11）～（i-15）に示す。
　映像記憶部１２は、背景画像をディジタイズされたフレーム画像として記憶する。ディジタイズしたフレーム画像とは、例えば、図３（i-11）～（i-15）に示す背景の映像を構成する静止画フレーム一枚一枚をいう。
　また、映像記憶部１２は、複数のフレーム画像のそれぞれに付された番号（例えば、シリアル番号）を記憶する。この番号は、一枚のフレーム画像を一意に特定する。図３においては、（i-11）、（i-12）、（i-13）、・・・が該当する。
　さらに、映像記憶部１２は、フレーム画像が撮影された時刻を特定する情報を記憶することもできる。
　特徴抽出手段２０は、図２に示すように、特徴抽出部２１と、特徴記憶部２２とを有している。
　特徴抽出部２１は、映像記憶部１２から背景画像、すなわち、フレーム画像を取り出す。そして、特徴抽出部２１は、取り出したフレーム画像中の特徴的なパターンを含む画像特徴を抽出する。
　画像特徴としては、例えば、図形的に特徴的な特性を数値化したものを用いることができる。これには、例えば、１９９８年ＩＥＥＥコンピュータビジョン・パターン認識会議予稿集に掲載されている方法を使用することができる。この方法は、画像中の物体形状の頂点、線状の物体の交差点、端点などを抽出することができる。そして、それらの点の画像上での位置座標情報の系列を図形的特徴とすることができる。例えば、図３（i-11）のフレーム画像に対して、この方法で特徴点を抽出すると、図４に示すように、特徴点が複数配置される。特徴点の一つ一つは、座標により管理することができる。
　なお、特徴点が配置された空間を特徴空間という。
　また、他の方法として、例えば、Montanariによる１９７１年Communications　of　ACM、１４巻に掲載されている「On　the　option　detection　ｏｆ　curves　in　noisy　pictures」に記載の方法がある。これは、基準点からの距離、相対確度を記憶するＲテーブルの内容を特徴として使用することができる。この際、基準点をすべての特徴位置に対して設定し、網羅的に特徴を抽出しておくことで、部分的な特徴の欠損に対してマーカの検出が頑健となる。
　さらに、他の特徴抽出方法としては、例えば、画像上の各画素の輝度値、あるいは色差値を特徴とする方法がある。
　次いで、特徴抽出部２１は、図５に示すように、特徴点のそれぞれにシリアル番号を付与する。このシリアル番号は、例えば、最も上に位置するものから順番に１，２，３，４，・・・のように付与することができる。
　続いて、特徴抽出部２１は、特徴点のそれぞれの座標を求める。座標は、図５に示すように、特徴空間にＸ軸とＹ軸を設定し、Ｙ軸からの距離をＸ座標、Ｘ軸からの距離をＹ座標とすることができる。
　そして、特徴抽出部２１は、それら特徴点のシリアル番号や座標を特徴記憶部２２に記憶させる。
　特徴記憶部２２は、それらシリアル番号や座標等を図６に示すように、「特徴点情報テーブル」として記憶することができる。
　「特徴点情報テーブル」は、同図に示すように、「フレーム画像のシリアル番号」（ア）と、「特徴点のシリアル番号」（イ）と、「特徴点のｘ座標」（ウ）と、「特徴点のｙ座標」（エ）と、「特徴点に関する情報」（オ）を項目として構成することができる。
　「フレーム画像のシリアル番号」は、特徴点を抽出したフレーム画像に付された番号を示す。
　「特徴点に関する情報」は、例えば、特徴として認識された要素（エッジ、交差など）、特徴点が位置する画素の色相、明度、彩度などを含むことができる。
　不変特徴変換手段３０は、図２に示すように、不変特徴変換部３１と、不変特徴記憶部３２とを有している。
　不変特徴変換部３１は、特徴記憶部２２から特徴点の座標を取り出して、その特徴点を所定の変換処理によって不変量特徴空間に写像する。
　具体的には、特徴空間上の特徴点から基準点を選択し、この基準点が不変量特徴空間の基準座標のところにくるように配置し、他のすべての特徴点についても、同一の変換規則で不変量特徴空間に配置する。以下、この基準点を「基底」という。
　この基底は、背景映像中のオブジェクトの姿勢変化の種類に応じてその数が定められる。この数を「基底数」という。
　本実施形態においては、姿勢変化の種類を「自由度」と呼び、この自由度に応じた１～３の基底数を後述する基底数設定部６２が決定する。
　また、不変特徴変換部３１は、基底数に応じて、特徴点の不変量特徴空間への写像方法を変えるようにしている。
　そこで、基底にもとづく特徴点の写像方法について基底数ごとの説明を行う。
　なお、あるフレーム画像から抽出した特徴点は、図４に示すように特徴空間に配置されており、これらの特徴点を不変量特徴空間へ写像するものとする。
（基底数１の場合の写像）
　基底数１の基底にもとづいて写像を行う場合、不変特徴変換部３１は、一つの特徴点を基底として定め、この基底が不変量空間上の一つの基準座標のところにくるように移動し、他のすべての特徴点についてもこの移動量で不変量特徴空間に移動する。
　例えば、図７に示すように、シリアル番号５番の特徴点を基底とし、この５番の特徴点が不変量特徴空間で座標（０，０）のところにくるように、すべての特徴点を平行移動する。これにより、不変量特徴空間には、同図右に示すように特徴点が配置される。この不変量特徴空間に配置された特徴点を「不変特徴」という。
　また、図８に示すように、シリアル番号１５番の特徴点を基底とし、この１５番の特徴点が不変量特徴空間で座標（０，０）のところにくるように、すべての特徴点を平行移動すると、同図右の不変量特徴空間に示すように、不変特徴群が配置される。
　このように、一つの特徴点を基底として定め、この基底を不変量特徴空間の原点に移動するのに伴って、すべての特徴点を平行移動させる処理を、各特徴点を順次基底として定めるごとに行い、これら移動後の特徴点を重ね合わせることで、特徴点を不変量特徴空間に写像する。
　図４に示す特徴点を上記の方法で不変量特徴空間に写像した結果は、図９に示すようになる。これが、基底数が１の場合に、不変量特徴空間において不変特徴が配置された状態である。
（基底数２の場合の写像）
　基底数２の基底にもとづいて写像を行う場合、不変特徴変換部３１は、二つの特徴点を基底として定め、それぞれの基底が不変量空間上の対応する二つの基準座標のところにくるように移動し、これに伴いすべての特徴点を相対的な位置関係を維持しながら不変量特徴空間に移動する。そして、この移動を、すべての特徴点から選択し得る２点の組み合わせからなる各基底について行う。
　例えば、図１０に示すように、シリアル番号６番の特徴点を第一基底、シリアル番号２番の特徴点を第二基底とする場合には、第一基底を不変量特徴空間の座標Ｏ（０，０）に移動し、第二基底を座標Ａ（１，０）に移動することに伴って、同一変換規則にしたがって他のすべての特徴点を移動する。
　この結果、不変量特徴空間には、同図右に示すように特徴点が配置される。
　また、図１１に示すように、シリアル番号３３番の特徴点を第一基底、シリアル番号３４番の特徴点を第二基底とする場合には、第一基底を不変量特徴空間の座標Ｏ（０，０）に移動し、第二基底を座標Ａ（１，０）に移動することに伴って、同一変換規則にしたがって他のすべての特徴点を移動する。
　この結果、不変量特徴空間には、同図右に示すように特徴点が配置される。
　このように、二つの特徴点を基底として定め、これらの基底を不変量特徴空間の二つの基準点に移動するのに伴って、すべての特徴点を平行移動若しくは回転又は拡大・縮小させる処理を、各特徴点の組み合わせを順次基底として定めるごとに行い、これら移動後の特徴点を重ね合わせることで、特徴点を不変量特徴空間に写像する。
（基底数３の場合の写像）
　基底数３の基底にもとづいて写像を行う場合、不変特徴変換部３１は、三つの特徴点を基底として定め、それぞれの基底が不変量空間上の対応する三つの基準座標のところにくるように移動し、これに伴いすべての特徴点を相対的な位置関係を維持しながら不変量特徴空間に移動する。そして、この移動を、すべての特徴点から選択し得る３点の組み合わせからなる各基底について行う。
　例えば、図１２に示すように、シリアル番号５番の特徴点を第一基底、シリアル番号４番の特徴点を第二基底、シリアル番号１４番の特徴点を第三基底とする場合には、第一基底を不変量特徴空間の座標Ｏ（０，０）に移動し、第二基底を座標Ａ（１，０）に移動し、第三基底を座標Ｂ（０，１）に移動することに伴って、同一変換規則にしたがって他のすべての特徴点を移動する。
　この結果、不変量特徴空間には、同図右に示すように特徴点が配置される。
　また、図１３に示すように、シリアル番号４番の特徴点を第一基底、シリアル番号４９番の特徴点を第二基底、シリアル番号７番の特徴点を第三基底とする場合には、第一基底を不変量特徴空間の座標Ｏ（０，０）に移動し、第二基底を座標Ａ（１，０）に移動し、第三基底を座標Ｂ（０，１）に移動することに伴って、同一変換規則にしたがって他のすべての特徴点を移動する。
　この結果、不変量特徴空間には、同図右に示すように特徴点が配置される。
　このように、三つの特徴点を基底として定め、これらの基底を不変量特徴空間の三つの基準点に移動するのに伴って、すべての特徴点を平行移動若しくは回転又は拡大・縮小又はせん断変形させる処理を、各特徴点の組み合わせを順次基底として定めるごとに行い、これら移動後の特徴点を重ね合わせることで、特徴点を不変量特徴空間に写像する。
　なお、「せん断変形」とは、直行性は保たれないが平行性は保たれるような変形であり、例えば、正方形を平行四辺形にするような変形のことをいう。
　次に、不変特徴変換部３１は、図１４に示すように、不変量特徴空間を格子状のメッシュで複数の区画に分ける。そして、不変特徴変換部３１は、各区画ごとに不変特徴の数を求める。
　なお、説明を分かり易くするため、不変特徴数が１以上ある区画を塗り潰した不変量特徴空間を図１５に示す。
　不変特徴記憶部３２は、所定のメモリ領域を保持している。この不変特徴記憶部３２は、不変特徴変換部３１で求められた各種データを記憶する。各種データには、例えば、不変量特徴空間に配置された各不変特徴の座標、各区画の座標（範囲）、各区画ごとの不変特徴数などが含まれる。
　特異特徴選択手段４０は、図２に示すように、特異特徴選択部４１と特異特徴記憶部４２とを有している。
　特異特徴選択部４１は、図１６に示すように、不変量特徴空間の中で、マーカパターンの生成を行う範囲を、マーカパターン生成範囲として決定する。このマーカパターン生成範囲は、静止画フレームの大きさと同じ大きさとすることができる。次いで、特異特徴選択部４１は、そのマーカパターン生成範囲における各区画ごとの不変特徴数を、不変特徴記憶部３２から取り出す。
　続いて、特異特徴選択部４１は、取り出した不変特徴数のうち、０又は所定値以下に対応する区画を特異特徴として選択する。本実施形態においては、図１７のマーカパターン生成範囲に示す不変特徴数分布において、「０」が記載された区画が選択されるものとしている。これにより、特異特徴選択部４１は、映像入力手段１０で入力された背景映像に現れていない画像特徴を特異特徴として選択することができる。
　このように、特異特徴選択部４１は、背景パターンと一致しない特徴、すなわち、背景映像から抽出した特徴群が現れていない特徴空間の部位にもとづく不変特徴から特異特徴を選択することができる。
　この特異特徴の選択は、不変量特徴空間の不変特徴の分布から大きな空白を見つける問題と同一視できるから、例えば、２００３年文書解析認識国際会議予稿集に掲載されている「An　algorithm　for　Finding　Maximal　Whitespace　Rectangles　at　Arbitrary　Orientations　for　Document　Layout　Analysis」などのアルゴリズムを使用して、大きな空白領域を抽出しても良いし、得られた不変特徴を含まない矩形領域の中心を特異特徴としても良い。
　その他の方法としては、不変量特徴空間を特定の大きさのメッシュ（区画）で量子化し、１次元もしくは多次元のヒストグラムを生成し、不変特徴の発生頻度が０となる区画の中心を特異特徴とするなどしても良い。頻度が０となる区画が存在しない場合、区画幅を小さくして、ヒストグラムをとり、頻度が０となる区画が現れた場合、このときの区画から特異特徴を選択するようにしてもよい。頻度が０となるメッシュが見つからない場合は、ヒストグラムを既定値で閾値処理し、規定値以下のメッシュから特異特徴を選択しても良い。
　特異特徴選択部４１が、選択した特異特徴のその他の例を、図１８、図１９に示す。図１８に示す特異特徴配置図においては、特異特徴とされた区画を白で表し、特異特徴とされなかった区画をグレーの網掛けで表している。図１９は、図１８に示す特異特徴配置図にもとづき、特異特徴の中心と特異特徴配置図の中心点とを「●」で表した図である。
　なお、図１７においては、特異特徴（特異特徴数が０の区画）が４個分散して配置されているが、マーカパターンの生成処理の説明を容易にするため、特異特徴は、図１８、図１９に示す配置にもとづいて選択されたものとする。
　特異特徴選択部４１は、選択した特異特徴の座標を求める。例えば、特異特徴選択部４１は、図１８に示す特異特徴配置図において、特異特徴の座標を（2,6）、(5,2)、(5,4)、(5,5)、(7,6)とする。
　特異特徴記憶部４２は、特異特徴選択部４１で選択された特異特徴の座標を記憶する。
　マーカ生成手段５０は、図２に示すように、マーカパターン生成部５１を有している。
　マーカパターン生成部５１は、特異特徴記憶部４２から特異特徴の座標を取り出し、この特異特徴の座標にもとづいてマーカパターンを生成する。
　マーカパターンの生成方法には、種々の方法がある。
　例えば、画像中の頂点、交差点、端点を特異特徴として使用する場合を例に説明する。
　前述した「On　the　option　detection　of　curves　in　noisy　pictures」に記載の方法などにもとづく場合、マーカパターンの生成に必要になる、特異特徴群の検出は、特徴抽出手段２０で使用している特徴点抽出アルゴリズムに依存する。
　例えば、下記のようなマーカパターンの生成方法が例として挙げられる。
　（１）特異特徴位置に交差点を配置したパターン（図２０（１））
　（２）特異特徴の凸包を求め、内部を特定の色で塗り潰す。さらに、凸包に使用されなかった特異特徴を用いて再度凸包を求め、内部を別の色で塗り潰す。このような処理を、すべての特異特徴が使用されるまで反復して生成されるパターン（図２０（２））
　（３）特異特徴位置を頂点にもつ、水平垂直の辺を有する、塗り潰した矩形の集合からなるパターン（図２０（３））
　（４）特異特徴点の最近傍点間を線分で結んだパターン（図２０（４））
　なお、特異特徴手段４０が、明度値又は色差値を使用して特徴を抽出した場合、マーカを物体に付する装置は、特異特徴に対応する明度値、色差値に対応する塗料でマーカを印刷してもよい。
　また、頂点、交差点、端点を図形的な特徴として利用する方法と、明度値や色差値を特徴として利用する方法とを併用することも可能である。この場合、マーカパターン生成部５１は、選定された特異特徴に対応する明度、色、形状に対応するマーカを生成すればよい。
　なお、上述したように、本実施形態では、幾何学的不変量を用いた不変特徴変換を行うようにしているが、他の不変量を用いた態様も可能である。
　例えば、物体色不変量を用いることができる。
　物体の色は、同一物体であっても撮影環境に存在する光源色に依存して、異なった色で撮影されてしまう。このため、画像上から光源色変動の影響を分離して取り除くことにより、実際の物体色を得ることができる。
　したがって、このようにして得られた実際の物体色を物体色不変量として使用することができる。
　この場合、鏡面反射している個所は光源色の影響が支配的で、輝度値が光源色成分において飽和しやすいため、これを光源色とみなして、飽和個所に対応する色成分を不変特徴として選択しないようにしてもよい。
　その他、画像から物体色を推定する方法として、Robby　T.　Tan　and　Katsushi　IkeuchiによるIEEE　TRANSACTIONS　ON　PATTERN　ANALYSIS　AND　MACHINE　INTELLIGENCE，VOL.27，NO.2，FEBRUARY　2005，pp.178-193に記載の「Separating　Reflection　Components　of　Textured　Surfaces　Using　a　Single　Image」や、Graham　D.　Finlayson，Steven　D.　Hordley，Cheng　Lu，and　Mark　S.　DrewによるIEEE　TRANSACTIONS　ON　PATTERN　ANALYSIS　AND　MACHINE　INTELLIGENCE，VOL.28，NO.1，JANUARY　2006，pp.59-68に記載の「On　the　Removal　of　Shadows　from　Images」などを用いてもよい。
　また、テクスチャ不変量を用いることもできる。
　画像の部分領域の輝度分布に対して数値演算を施し、得られた数値又はベクトルを特徴量とする。テクスチャ不変量は、図形量不変量と同様、カメラと撮影対象との相対位置関係に影響を受けやすいため、この影響を受けにくい特徴量を算出し、テクスチャ不変量とする。例えば、カメラと対象の距離やズームに不変な特徴量は、注目している部分画像を極座標変換し、同径方向にパワースペクトルをとることで実装可能である。さらに、上記パワースペクトルに対して方位角方向に再度パワースペクトルを求めるとカメラの光軸周りの回転に対して不変な特徴量となる。その他、Chi-Man　Pun　and　Moon-Chuen　LeeによるIEEE　TRANSACTIONS　ON　PATTERN　ANALYSIS　AND　MACHINE　INTELLIGENCE，VOL.25，NO.5，MAY　2003記載の「Log-Polar　Wavelet　Energy　Signatures　for　Rotation　and　Scale　Invariant　Texture　Classification」などの方法を用いてもよい。
　さらに、幾何学的不変量についても、Richard　Hartley　and　Andrew　Zissermanによる「Multiple　View　Geometry　in　Computer　Vision」などに記載されているような他の幾何学的不変量を使用してもよい。同一シーンを複数のカメラで観測する場合には、同文献に記載の方法により、距離もしくは深さ方向の相対位置関係の情報を得ることが可能となるが、この場合、同一平面上にない４点を基底に選択し、不変量空間を三次元とすると、三次元の幾何学的不変量を作ることができる。この際には、特徴点群から選択した基底４点のうち１点を不変量空間の原点、その他の基底の特徴点を不変量空間における位置座標に対応付ける変換写像を求め、その他特徴をこの変換写像を使用して不変量空間に写像するようにする。
　なお、本実施形態に係る幾何学的不変量を含め、上述した各不変量のうち２種類以上を組み合わせて使用してもよい。
　自由度計測手段６０ａ（計測手段）は、図２に示すように、自由度検出部６１と、基底数設定部６２とを有している。
　自由度検出部６１は、背景映像にもとづき、その背景映像に映し出される物体（マーカを含む）を含む画像環境における姿勢変化（自由度）を求める。
　具体的には、映像入力手段１０の映像記憶部１２からマーカ検出するところの背景映像の中から、時刻が異なる二以上のフレーム画像を取り出し、そのフレーム画像中に現れるパターン形状や線の姿勢変化を求めることができる。
　基底数設定部６２は、自由度検出部６１によって検出された自由度に応じ基底数を決定する。
　具体的には、図２１に示す基底数設定テーブルにもとづき、以下の基底数を決定する。
　（ａ）平行移動のみが計測された場合→基底数：１
　（ｂ）拡大、縮小もしくは回転のいずれか一以上の姿勢変化又はその姿勢変化と平行移動の組み合わせの姿勢変化が計測された場合→基底数：２
　（ｃ）せん断変形又はせん断変形と平行移動、拡大、縮小、回転のいずれか一以上の組み合わせの姿勢変化が計測された場合→基底数：３
　そして、決定した基底数の基底にもとづき、不変特徴変換処理及び特異特徴選択処理を介し、マーカ生成手段５０によりマーカが生成される。
　なお、一般に、基底数が多くなるほど、マーカの姿勢変化に対応することが可能となるが、マーカ生成の際の演算負荷は増大する。
　一方、基底数が少ないほど、マーカ生成にかかる演算負荷は軽減されるが、マーカの姿勢変化に対応しづらくなる。
　したがって、本実施形態のマーカ生成装置１ａによれば、予めマーカが使用される背景画像からその自由度を計測し、その自由度に応じた基底数によってマーカ生成を行うようにしているため、必要以上にマーカを複雑化することなく、かつ、一定の確実性をもってマーカを検出することができる。
　次に、本実施形態のマーカ生成装置の動作（マーカ生成方法）について、図２２を参照して説明する。
　同図は、本実施形態に係るマーカ生成方法の処理手順を示すフローチャートである。
　マーカ生成装置１ａにおいて、映像入力手段１０の映像入力部１１は、マーカを実際に使用する場所の背景画像を入力する（ステップ１０１）。例えば、マーカが付された物体を搬送するベルトコンベアがある場合に、そのベルトコンベア及びその周辺を撮影した映像などを入力する。
　これにより、図３に示すように、時刻の異なる２以上の静止画のフレーム画像が入力される。映像入力手段１０の映像記憶部１２は、映像入力部１１で入力された映像のフレーム画像を記憶する。
　自由度計測手段６０の自由度検出部６１は、映像記憶部１２から各フレーム画像を取り出し、フレーム画像に含まれる特徴的な図形、線、点などの幾何学的変位にもとづいて、姿勢変化の種類を示す指標として自由度を検出する（ステップ１０２）。例えば、時刻の異なる同一の２画像を対比することによって、その画像中に現れる物体に関し、平行移動、拡大、縮小、回転、せん断変形などの姿勢変化を検出する。
　次に、自由度計測手段６０の基底数設定部６２は、検出された自由度に応じて基底数を決定する（ステップ１０３）。
　一方、特徴抽出手段２０の特徴抽出部２１は、映像記憶部１２からフレーム画像を取り出し、このフレーム画像から特徴点を抽出する（ステップ１０４）。
　また、特徴抽出部２１は、抽出した特徴点の座標を求め、その座標を特徴記憶部２２に記憶する。
　次に、不変特徴変換手段３０の不変特徴変換部３１は、基底数設定部６２が決定した基底数の基底にもとづき、各特徴点を不変量特徴空間に写像する（ステップ１０５）。
　続いて、不変特徴変換部３１は、不変量空間にメッシュを掛けて区画化する（ステップ１０６）。
　次いで、不変特徴変換部３１は、各区画ごとに不変特徴数を算出する（ステップ１０７）。不変特徴記憶部３２は、算出された各区画ごとの不変特徴数を記憶する。
　次に、特異特徴選択手段４０の特異特徴選択部４１は、不変特徴記憶部３２から各区画ごとの不変特徴数を取り出す。
　続いて、特異特徴選択部４１は、各区画ごとの不変特徴数の中から、０のものを選択し、その区画を特異特徴とする（ステップ１０８）。特異特徴記憶部４２は、特異特徴選択部４１で特異特徴とされた区画の座標を記憶する。
　次に、マーカ生成手段５０のマーカパターン生成部５１は、特異特徴記憶部４２から、特異特徴の座標を取り出し、その特異特徴の座標にもとづいてマーカパターンを生成する（ステップ１０９）。
　以上、説明したように、本実施形態のマーカ生成装置及びマーカ生成方法によれば、背景画像に存在しないパターンをマーカとして生成するようにしている。
　このため、背景映像に存在するパターンをマーカとして誤認することを回避するとともに、所定のマーカが現れたときには、確実にこれを検出することができる。
　なお、本実施形態では、不変特徴数が０の区画から特異特徴を選択する方法について説明したが、この方法に限定するものではない。例えば、不変特徴数が所定数以下の区画から特異特徴を選択するようにしてもよい。
　また、本実施形態のマーカ生成装置及びマーカ生成方法によれば、マーカを使用するところの姿勢変化（自由度）を求め、その自由度に応じた基底数にもとづいてマーカを生成するようにしている。
　このため、マーカが検出される場所の背景画像やその背景中に現れる物体の姿勢変化の種類に適した精度のマーカを生成することができる。すなわち、姿勢変化の種類によっては、基底数を抑えた簡易なマーカで対応させることが可能であり、マーカ生成時や検出時に必要な負荷を抑えながら一定の検出精度を保つことができる。
　他方、基底数を増やしたマーカを生成することにより様々な姿勢変化にも対応でき、信頼性、安定性に優れたマーカ検出を実現することが可能となっている。
［マーカ生成装置及びマーカ生成方法の第二実施形態］
　次に、本発明のマーカ生成装置及びマーカ生成方法の第二実施形態について、図２３を参照して説明する。
　図２３は、本実施形態のマーカ生成装置の構成を示すブロック図である。
　また、図２４は、本実施形態のマーカ生成装置の詳細な構成を示すブロック図である。
　本実施形態は、第一実施形態と比較して、自由度の測定方法に特徴を有する。
　具体的には、本実施形態のマーカ生成装置１ｂは、自由度計測手段６０ｂ（計測手段）が、背景画像となるフレーム画像の特徴点の位置情報にもとづき自由度を計測することとしている。他の構成要素は第一実施形態と同様である。
　したがって、図２３及び図２４において、図１及び図２と同様の構成部分については同一の符号を付して、その詳細な説明を省略する。
　図２４に示す自由度計測手段６０ｂの自由度検出部６１は、背景映像にもとづき、その背景画像に映し出される物体（マーカを含む）の特徴点の座標の変位を分析することによってその物体や周辺の姿勢変化を求める。
　ここで、特徴点にもとづく自由度算出方法の一例について以下説明を行う。
　図２５は、図３に示すフレーム画像の中から（i-11）と（i-15）を抜き出し、これらの画像に含まれる特徴点にもとづいて自由度を算出する方法を説明するための説明図である。
　同図に示すように、自由度検出部６１は、特徴記憶部２２から（i-11）のフレーム画像の特徴点と（i-15）のフレーム画像の特徴点を取り出す。
　具体的には、特徴記憶部２２に記憶してある「特徴点情報テーブル」から、（i-11）のシリアル番号４２番、６７番、７３番の座標（x1，y1）、（x2，y2）、（x3，y3）と、（i-15）の対応する座標（u1,v1）、（u2,v2）、（u3,v3）を取り出す。なお、各特徴点の対応付けは、相関法や残差逐次検定法等、既知の手法によって行うものとし、その詳細な説明は省略する。
　次に、取り出した各座標を図２６（ａ）に示すアフィン変換行列に代入する。
　これにより、以下の数式を得る。
（イ）u1=a(x1)＋b(y1)＋c
（ロ）u2=a(x2)＋b(y2)＋c
（ハ）u3=a(x3)＋b(y3)＋c
（ニ）v1=d(x1)＋e(y1)＋f
（ホ）v2=d(x2)＋e(y2)＋f
（ヘ）v3=d(x3)＋e(y3)＋f
　ここで、（イ）～（ハ）の数式にもとづく三元連立方程式を解くことによって、ａ～ｃのアフィン変換係数を算出することができる。また、同様にして、（二）～（ヘ）の数式にもとづきｄ～ｆのアフィン変換係数を算出することができる。
　そして、算出した各アフィン変換係数を、図２６（ｂ）に示すアフィン変換係数テーブルの各パラメータと照合することによって、平行移動、回転移動、拡大・縮小又はせん断変形のいずれか、又はその組み合わせを自由度として検出することができる。
　なお、上述の例では、３つの特徴点にもとづいて自由度を検出し、基底数を求める例について説明したが、特徴点の数は多いほど自由度の検出精度が高く、適切な基底数を判定して設定することができる。
　また、本実施形態では、アフィン変換を利用した自由度の検出方法について説明したが、特にこの方法に制限するものではない。例えば、射影変換、相似変換などの他の幾何学的変換方法を利用するものであってもよい。
　次に、本実施形態のマーカ生成装置の動作（マーカ生成方法）について、図２７を参照して説明する。同図は、本実施形態に係るマーカ生成方法の処理手順を示すフローチャートである。
　マーカ生成装置１ｂにおいて、映像入力手段１０の映像入力部１１は、マーカを実際に使用する場所の背景画像を入力する（ステップ２０１）。映像入力手段１０の映像記憶部１２は、映像入力部１１で入力された背景画像（フレーム画像）を記憶する。
　特徴抽出手段２０の特徴抽出部２１は、映像記憶部１２から各フレーム画像を取り出し、その特徴点を抽出する（ステップ２０２）。そして、特徴抽出部２１は、抽出した各特徴点の座標を特徴記憶部２２に記憶する。
　次に、自由度計測手段６０ｂの自由度検出部６１は、特徴記憶部２２から各フレーム画像の特徴点の座標を取り出す。そして、自由度検出部６１は、相互に対応する特徴点の座標の変位にもとづいて自由度を検出する（ステップ２０３）。
　次いで、自由度計測手段６０ｂの基底数設定部６２は、検出された自由度に応じて基底数を決定する（ステップ２０４）。
　不変特徴変換手段３０の不変特徴変換部３１は、特徴記憶部２２からフレーム画像の特徴点の座標を取り出し、基底数設定部６２が決定した基底数の基底にもとづき、各特徴点を不変量特徴空間に写像する（ステップ２０５）。
　続いて、不変特徴変換部３１は、不変量空間にメッシュを掛けて区画化する（ステップ２０６）。
　次いで、不変特徴変換部３１は、各区画ごとに不変特徴数を算出する（ステップ２０７）。不変特徴記憶部３２は、算出された各区画ごとの不変特徴数を記憶する。
　次に、特異特徴選択手段４０の特異特徴選択部４１は、不変特徴記憶部３２から各区画ごとの不変特徴数を取り出す。
　続いて、特異特徴選択部４１は、各区画ごとの不変特徴数の中から、０又は所定数以下のものを選択し、その区画を特異特徴とする（ステップ２０８）。特異特徴記憶部４２は、特異特徴選択部４１で特異特徴とされた区画の座標を記憶する。
　次に、マーカ生成手段５０のマーカパターン生成部５１は、特異特徴記憶部４２から、特異特徴の座標を取り出し、その特異特徴の座標にもとづいてマーカパターンを生成する（ステップ２０９）。
　以上、説明したように、本実施形態のマーカ生成装置及びマーカ生成方法によれば、マーカ検出環境における背景映像から特徴点を抽出してマーカパターンの形成に利用するとともに、その特徴点を利用してマーカ検出環境の自由度を検出することができる。
　このため、第一実施形態と同様の作用・効果を奏するだけでなく、資源共有による作業の効率化やコスト低減を図ることができる。
［マーカ生成装置及びマーカ生成方法の第三実施形態］
　次に、本発明のマーカ生成装置及びマーカ生成方法の第三実施形態について、図２８を参照して説明する。図２８は、本実施形態のマーカ生成装置１ｃの詳細な構成を示すブロック図である。
　本実施形態は、マーカが実際に使用されている状況に応じてマーカを更新するか否かを判断し、必要な場合にマーカを更新することを特徴としている。
　具体的には、本実施形態のマーカ生成装置１ｃは、マーカが実際に使用される場所で自由度を求めるとともに、その自由度に応じた適切な基底数を算出する。
　そして、その算出した基底数が直前に生成し、現在、使用しているマーカの基底数と一致するか否かを判断し、不一致の場合にはその算出した基底数にもとづいて新たなマーカを生成し、一致する場合には、新たにマーカを生成しない動作を行うようにする。
　このため、本実施形態によれば、マーカの使用環境に応じた適切なマーカをリアルタイムに生成し、また、維持できるようになる。他の構成要素は第一実施形態と同様である。
　したがって、図２８において、図２と同様の構成部分については同一の符号を付して、その詳細な説明を省略する。
　図２８に示すように、マーカ生成装置１ｃのマーカ生成手段５０ｃは、マーカ記憶部５２を有している。
　マーカ記憶部５２は、マーカパターン生成部５１で生成されたマーカに関するデータを記憶する。本実施形態においては、基底数設定部６２との連携により、直前に生成したマーカに関する基底数を記憶する。つまり、現在使用中のマーカの生成時の不変特徴変換処理に用いた基底数を記憶しておく。
　自由度計測手段６０ｃ（計測手段）は、図２８に示すように、自由度検出部６１と、基底数設定部６２と、基底数算出部６３と、基底数判定部６４とを有している。
　自由度検出部６１は、特徴抽出手段２０の特徴記憶部２２から任意のフレーム画像の特徴点を取り出し、自由度を検出する。
　基底数算出部６３は、その検出した自由度に応じた基底数を算出する。
　基底数の算出については、前述の第一実施形態で説明したように、所定の基底数設定テーブルを用いる（図２１参照）。
　基底数判定部６４は、自由度にもとづいて算出した基底数と、先のマーカ生成時に用いた基底数とが一致するか否かを判定し、その判定結果に応じて基底数を決定する。
　具体的には、基底数算出部６３が算出した基底数（第一の基準点数）と、マーカ記憶部５２に記憶してある基底数（第二の基準点数）とを比較して一致するか否かを判定する。
　この判定の結果、第一の基準点数と第二の基準点数とが一致しないと判定された場合には、基底数設定部６２は、第一の基準点数を、マーカを生成する際に用いる基底数として決定する。
　そして、不変特徴変換手段３０は決定した基底数を用いて、特徴点を不変量特徴空間に写像し、特異特徴選択手段４０が、写像された後の不変特徴から特異特徴を選択し、マーカ生成手段５０が特異特徴にもとづいて新たなマーカを生成する。
　つまり、この場合、マーカの使用環境が変化しているとみなし、その環境に応じた新たなマーカ生成を行うこととしている。
　なお、ここで決定した基底数はマーカ記憶部５２に記憶される。基底数は上書きして記憶するようにすることで、常に、直前に生成したマーカに関する基底数を上記判定のために用いることができる。
　一方、第一の基準点数と第二の基準点数とが一致する場合には、不変特徴変換手段３０は、これらの基準点数の一致が判定されるまで、実行を停止し、それまではマーカの生成は行わないようにする。
　つまり、この場合、マーカの使用環境は変化していないこととみなし、マーカ更新のための新たなマーカを生成する処理は行わないこととする。
　次に、本実施形態のマーカ生成装置の動作（マーカ生成方法）について、図２９を参照して説明する。
　同図は、本実施形態に係るマーカ生成方法の処理手順を示すフローチャートである。
　まず、マーカの生成又は更新を行うか否かを判断する（ステップ３０１）。実際には、図示しないタイマーにより設定された時刻や間隔、若しくは、所定操作に応じたタイミングに応じてマーカ生成やマーカ更新のプロセスに入るようにする。
　マーカ生成を行う場合（Ｓ３０１：ＹＥＳ）、映像入力手段１０の映像入力部１１は、マーカを実際に使用する場所の背景画像を入力する（ステップ３０２）。映像入力手段１０の映像記憶部１２は、映像入力部１１で入力された背景画像をフレーム画像として記憶する。
　特徴抽出手段２０の特徴抽出部２１は、映像記憶部１２から、各フレーム画像を取り出し、その特徴点を抽出する（ステップ３０３）。特徴抽出部２１は、抽出した各特徴点の座標を特徴記憶部２２に記憶する。
　自由度検出手段６０ｃは、自由度検出部６１が、自由度を検出し、基底数算定部６３が、その自由度に応じた基底数を算出する（ステップ３０４）。
　ここで、基底数判定部６４は、算出した基底数（第一の基準点数）とマーカ記憶部５２に格納されている基底数（第二の基準点数）とを比較する（ステップ３０５）。
　比較の結果、第一の基準点数と第二の基準点数とが一致した場合（Ｓ３０５：一致）、ステップ３０１に戻る。つまり、これらの基底数の不一致が確認されるまで、Ｓ３０１～Ｓ３０５の処理を繰り返す。
　一方、第一の基準点数と第二の基準点数とが一致しない場合（Ｓ３０５：不一致）、基底数設定部６２は、第一の基準点数をマーカ生成に用いる基底の基底数として決定する（Ｓ３０６）。決定した基底数は、マーカ記憶部５２に記憶される。
　不変特徴変換手段３０の不変特徴変換部３１は、決定した基底数の基底にもとづき、各特徴点を不変量特徴空間に写像する（ステップ３０７）。
　次いで、不変特徴変換部３１は、不変量特徴空間にメッシュを掛けて区画化する（ステップ３０８）。
　続いて、不変特徴変換部３１は、各区画ごとに不変特徴数をもとめ、各区画ごとの不変特徴数を算出する（ステップ３０９）。不変特徴記憶部３２は、算出された各区画ごとの不変特徴数を記憶する。
　特異特徴選択手段４０の特異特徴選択部４１は、不変特徴記憶部３２から各区画ごとの不変特徴数を取り出す。
　そして、特異特徴選択部４１は、各区画ごとの不変特徴数の中から、０又は所定数以下のものを選択し、その区画を特異特徴とする（ステップ３１０）。特異特徴記憶部４２は、特異特徴選択部４１で特異特徴とされた区画の座標を記憶する。
　マーカ生成手段５０ｃのマーカパターン生成部５１は、特異特徴記憶部４２から、特異特徴の座標を取り出し、その特異特徴の座標にもとづいてマーカパターンを生成する（ステップ３１１）。
　なお、マーカ生成後は、ステップ３０１に戻り、引き続きマーカ生成の機会を待つこととなる。
　以上、説明したように、本実施形態のマーカ生成装置及びマーカ生成方法によれば、既にマーカ生成手段５０ｃによって生成され、実際に使用されているマーカの生成に用いた基底数を予めマーカ記憶部５２に記憶しておくようにしている。
　そのうえで、自由度計測手段６０ｃが、そのマーカを含む背景画像からマーカやマーカ周辺の自由度を計測するようにしている。
　また、自由度計測手段６０ｃは、自由度に応じて算出した基底数（第一の基準点数）が直前のマーカの生成時に用いた基底数（第二の基準点数）と一致するか否かを判断するようにしている。
　そして、これらの基底数が一致しない場合に限り、算出した基底数の基底にもとづく変換処理を介して新たなマーカを生成するようにしている。
　このため、本実施形態によって前述の実施形態と同様の作用・構成を奏することは勿論のこと、マーカ生成の無駄を省くようにしている。つまり、マーカの使用環境において、姿勢変化に変動が有る場合にのみ新たなマーカを生成するようにし、他方、姿勢変化の変動がないような場合ではマーカを生成する処理を行わないようにすることができる。
　したがって、マーカの生成と検出とを一体化して使用する態様においては、それぞれの処理の省力化を図ることが可能となる。
［マーカ検出装置及びマーカ検出方法］
（マーカ検出装置）
　次に、マーカ検出装置について、図３０、図３１を参照して説明する。
　図３０は、マーカ検出装置の構成を示すブロック図である。
　また、図３１は、マーカ検出装置の詳細な構成を示すブロック図である。
　図３０に示すように、マーカ検出装置１００は、映像入力手段１１０と、特徴抽出手段１２０と、不変特徴変換手段１３０と、マーカ記憶手段１４０と、照合手段１５０と、報知手段１６０とを備えている。
　映像入力手段１１０は、図３１に示すように、映像入力部１１１と、映像記憶部１１２とを有している。
　映像入力部１１１は、マーカが実際に使用される場所の背景画像を入力する。
　例えば、図３２に示すように、マーカを含む背景画像を入力することとする。
　映像記憶部１１２は、入力した背景画像を、ディジタイズされたフレーム画像として記憶する。
　特徴抽出手段１２０は、図３１に示すように、特徴抽出部１２１と、特徴記憶部１２２とを有している。
　特徴抽出部１２１は、映像記憶部１１２からフレーム画像を取り出す。
　そして、特徴抽出部１２１は、取り出したフレーム画像中の特徴的なパターンを含む画像特徴を抽出する。例えば、フレーム画像が図３２に示すような画像の場合、特徴抽出部１２１は、そのフレーム画像から図３３に示すような特徴点を抽出する。
　特徴記憶部１２２は、特徴抽出部１２１で抽出された特徴点の各座標を記憶する。
　不変特徴変換手段１３０は、図３１に示すように、不変特徴変換部１３１と、不変特徴記憶部１３２とを有している。
　不変特徴変換部１３１は、特徴記憶部１２２から特徴点の座標を取り出して、その特徴点を不変量特徴空間に写像する。なお、不変特徴変換部１３１は、検出しようとするマーカの生成時の基底数と同じ数の基底にもとづいて前記写像処理を行う。このため、不変特徴変換部１３１は、マーカ記憶手段１５０に予め記憶されている既存のマーカ生成時に用いた基底数を取り出し、この取り出した基底数と同数の基底にもとづいて写像処理を行う。
　また、不変特徴変換部１３１は、不変量特徴空間を格子状のメッシュで複数の区画に分ける。
　不変特徴記憶部１３２は、不変特徴変換部１３１で求められた各種データを記憶する。各種データには、例えば、不変量特徴空間に配置された各不変特徴の座標、各区画の座標（範囲）などが含まれる。
　マーカ記憶手段１４０は、検出しようとするマーカ関連情報を記憶する。
　また、マーカ記憶手段１４０は、そのマーカパターンの生成の際に用いられた基底数を記憶する。具体的には、不変特徴変換処理の際に用いられた基底数として１～３のいずれかの数値をマーカ関連情報として記憶する。
　照合手段１５０は、図３１に示すように、照合部１５１を有している。
　照合部１５１は、検出対象映像にもとづく不変特徴群の各座標を不変特徴記憶部１３２から取り出すとともに、マーカパターンをマーカ記憶部１４２から取り出し、それらを照合する。
　そして、照合部１５１は、マーカパターンと一致する不変特徴が検出対象映像にもとづく不変特徴群から検出されるか否かを判断する。
　具体的には、照合部１５１は、マーカ設計時に頻度が０であったメッシュに、検出対象映像にもとづく不変特徴が１回でも投影されたときには、マーカパターンからの寄与であるとして検出を確定し、マーカ検出を高速に行うことができる。例えば、図３４（ａ）に示すように、マーカパターンの所定座標位置に、検出対象映像の不変特徴が１箇所でもプロットされた場合には、マーカの検出を確定する。一方、図３４（ｂ）に示すように、マーカパターンの所定座標位置に、不変特徴が１箇所もプロットされないときは、マーカの検出は行われなかったものと判断する。
　なお、ノイズや特徴抽出計算の誤差によるマーカの誤検出を避けるために、受諾する投影の頻度を１回以上の既定値に設定してもよい。
　また、照合部１５１は、照合の結果に応じて報知手段１６０に報知信号の送出を行う。具体的には、マーカパターンと一致する不変特徴が検出対象映像にもとづく不変特徴群から検出された場合に報知信号を送出する。
　報知手段１６０は、照合部１５１から報知信号を受けると、マーカパターンの特異特徴の所定座標位置に不変特徴がプロットされたこと、すなわち、マーカが検出されたことを外部に報知する。この報知の方法には、例えば、音声出力や、画面表示などがある。
（マーカ検出方法）
　次に、本実施形態のマーカ検出方法について、図３５を参照して説明する。
　マーカ記憶手段１４０は、予めマーカに関するデータを記憶しておく（ステップ４０１）。具体的には、マーカ生成装置１ａ～１ｃで生成されたマーカパターンを記憶する。また、そのマーカパターン生成の前処理として行った不変特徴変換に用いられた基底数を記憶する。
　ここで、映像入力手段１１０の映像入力部１１１は、マーカが実際に使用される場所の背景画像（マーカを含む）を入力する（ステップ４０２）。
　映像記憶部１１２は、入力した背景画像を、ディジタイズされたフレーム画像として記憶する。
　次いで、特徴抽出手段１２０の特徴抽出部１２１は、映像記憶部１１２からフレーム画像を取り出す。そして、特徴抽出部１２１は、取り出したフレーム画像から特徴点を抽出する（ステップ４０３）。特徴記憶部１２２は、特徴抽出部１２１で抽出された特徴点の各座標を記憶する。
　続いて、不変特徴変換手段１３０の不変特徴変換部１３１は、特徴記憶部１２２から特徴点を取り出し、マーカ記憶手段１４０に記憶されている基底数にもとづいて各特徴点を不変量特徴空間に写像する（ステップ４０４）。不変特徴記憶部１３２は、不変量特徴空間に写像された特徴点（不変特徴）の座標を記憶する。
　次に、照合手段１５０の照合部１５１は、不変量特徴空間に写像された検出対象映像にもとづく不変特徴群の中から、マーカパターンと一致する不変特徴の検出を試みる（ステップ４０５）。
　この照合の結果、不変量特徴空間に写像された検出対象映像にもとづく不変特徴群の中から、マーカパターンと一致する不変特徴が検出された場合（Ｓ４０５：ＹＥＳ）、報知手段１６０は、マーカが検出されたことを外部に報知する（ステップ４０６）。
　その後は、終了するか否かが判断され（ステップ４０７）、終了しないときは、ステップ４０１～ステップ４０７の処理が繰り返される。
　以上説明したように、本実施形態のマーカ検出装置及びマーカ検出方法によれば、マーカ生成装置で生成されたマーカパターンを用いて、検出対象映像に映し出されたマーカを確実に検出することができる。
［マーカ生成検出装置及びマーカ生成検出システム］
（マーカ生成検出装置）
　次に、マーカ生成検出装置について、図３６を参照して説明する。
　図３６は、マーカ生成検出装置の構成を示すブロック図である。
　図３６に示すように、マーカ生成検出装置１０００は、マーカ生成装置１と、マーカ検出装置１００とを備えている。
　ここで、マーカ生成装置１は、前述した第一実施形態乃至第三実施形態のいずれかのマーカ生成装置を用いることができる。
　また、マーカ検出装置１００は、前述した図３０に示すマーカ検出装置１００を用いることができる。
　このように、マーカ生成装置１０００は、マーカ生成装置１とマーカ検出装置１００とを一体化した構成とすることができる。
　また、マーカ生成装置１とマーカ検出装置１００とは、共有化できる機能があるため、図３７に示すような構成とすることもできる。
　例えば、マーカ生成検出装置１０００は、映像入力手段１０と、特徴抽出手段２０と、不変特徴変換手段３０と、特異特徴選択手段４０と、マーカ生成手段５０と、自由度計測手段６０と、照合手段１５０と、報知手段１６０とを有している。
　これらのうち、映像入力手段１０と、特徴抽出手段２０と、不変特徴変換手段３０と、特異特徴選択手段４０と、マーカ生成手段５０と、自由度計測手段６０が、マーカ生成装置としての機能を有している。
　一方、映像入力手段１０と、特徴抽出手段２０と、不変特徴変換手段３０と、マーカ記憶部５２と、照合手段１５０と、報知手段１６０が、マーカ検出装置としての機能を有している。
　そして、映像入力手段１０と、特徴抽出手段２０と、不変特徴変換手段３０と、マーカ記憶部５２が、マーカ生成装置とマーカ検出装置に共通している部分である。
　マーカ生成装置におけるマーカ生成方法は、前述した第一実施形態～第三実施形態におけるマーカ生成方法と同様である。
　また、マーカ検出装置におけるマーカ検出方法は、前述した実施形態におけるマーカ検出方法と同様である。
（マーカ生成検出システム）
　次に、本実施形態のマーカ生成検出システムについて、図３８を参照して説明する。　同図に示すように、マーカ生成検出システム２０００は、マーカ生成装置１と、マーカ検出装置１００とを備えている。これらマーカ生成装置１とマーカ検出装置１００は、通信ネットワーク又は通信ケーブル３００などで接続することができる。
　マーカ生成装置１は、映像入力手段１０と、特徴抽出手段２０と、不変特徴変換手段３０と、特異特徴選択手段４０と、マーカ生成手段５０と、自由度計測手段６０と、通信手段７０とを有している。
　通信手段７０は、マーカ生成手段５０に記憶されているマーカに関するデータ（マーカパターン、当該マーカの生成に用いた基底数）を取り出し、これをマーカ検出装置１００へ送信する。
　マーカ検出装置１００は、映像入力手段１１０と、特徴抽出手段１２０と、不変特徴変換手段１３０と、マーカ記憶手段１４０と、照合手段１５０と、報知手段１６０と、通信手段１７０とを有している。
　通信手段１７０は、マーカ生成装置１から送信されてきたマーカに関するデータを受信する。また、通信手段１７０は、その受信したマーカに関するデータをマーカ記憶手段１４０に記憶させる。
　以上説明したように、マーカ生成検出装置及びマーカ検出システムによれば、マーカ生成検出装置又はマーカ生成検出システムのマーカ生成機能において、マーカ検出環境の自由度（姿勢変化）に応じた基底数を求め、その基底数の基底にもとづき特徴点を不変特徴に写像したうえで特異特徴を求め、そのうえでマーカ生成を行うことができる。
　このため、マーカ生成機能とマーカ検出機能とが一体化したシステムを提供することができる。
［マーカ生成プログラム及びマーカ検出プログラム］
　次に、マーカ生成プログラム及びマーカ検出プログラムについて説明する。
　上記の各実施形態におけるコンピュータ（マーカ生成装置、マーカ検出装置、マーカ生成検出装置、マーカ検出システム）のマーカ生成機能（マーカ生成方法を実行するための機能）やマーカ検出機能（マーカ検出方法を実行するための機能）は、記憶手段（例えば、ＲＯＭ（Read　Only　Memory）やハードディスクなど）に記憶されたマーカ生成プログラム又はマーカ検出プログラムにより実現される。
　マーカ生成プログラム及びマーカ検出プログラムは、コンピュータの制御手段（ＣＰＵ（Central　Processing　Unit）など）に読み込まれることにより、コンピュータの構成各部に指令を送り、所定の処理、例えば、マーカ生成装置の映像入力処理、特徴抽出処理、不変特徴変換処理、特異特徴選択処理、マーカ生成処理、自由度計測処理、マーカ検出装置の映像入力処理、特徴抽出処理、不変特徴変換処理、照合処理、報知処理などを行わせる。
　これによって、マーカ生成機能又はマーカ検出機能は、ソフトウェアであるマーカ生成プログラムとハードウェア資源であるコンピュータ（マーカ生成手段（マーカ生成装置、マーカ生成サーバ、マーカ生成ネットワーク若しくはマーカ生成システムなど））の各構成手段とが協働することにより実現される。
　なお、マーカ生成機能又はマーカ検出機能を実現するためのマーカ生成プログラムは、コンピュータのＲＯＭやハードディスクなどに記憶される他、コンピュータが読み取り可能な記録媒体、例えば、外部記憶装置及び可搬記録媒体に格納することができる。
　外部記憶装置とは、ＣＤ－ＲＯＭ（Compact　disc－Read　Only　Memory）等の記録媒体を内蔵し、マーカ生成装置に外部接続されるメモリ増設装置をいう。一方、可搬記録媒体とは、記録媒体駆動装置（ドライブ装置）に装着でき、かつ、持ち運び可能な記録媒体であって、例えば、フレキシブルディスク、メモリカード、光磁気ディスク等をいう。
　そして、記録媒体に記録されたプログラムは、コンピュータのＲＡＭ（Random　Access　Memory）等にロードされて、ＣＰＵ（制御手段）により実行される。この実行により、上述した各実施形態のマーカ生成装置の機能が実現される。
　さらに、コンピュータでマーカ生成プログラムをロードする場合、他のコンピュータで保有されたマーカ生成プログラムを、通信回線を利用して自己の有するＲＡＭや外部記憶装置にダウンロードすることもできる。このダウンロードされたマーカ生成プログラムも、ＣＰＵにより実行され、上記各実施形態のマーカ生成装置のマーカ生成機能を実現する。
　以上説明したように、本実施形態のマーカ生成装置、マーカ生成検出システム、マーカ生成検出装置、マーカ、マーカ生成方法、及びマーカ生成プログラムによれば、実際には存在しない所望の物体がその空間内に存在しているものとして誤って判断することを回避することができる。
　また、物体やマーカなどの検出物やその使用環境の姿勢変化に応じたマーカを生成することによりマーカ生成の負荷とマーカ検出の精度との合理的な調和を図ることが可能となる。
　すなわち、姿勢変化が大きくない場合には、基底数を少なく設定してマーカ生成に係る処理の負荷を軽減させることができる。
　また、姿勢変化が大きい場合には、基底数を多く設定してマーカの検出精度を高めることが可能となる。
　また、上記の実施の形態の内容は、以下のようにも表現されうる。
　（付記１）　背景画像にもとづきこの画像中の物体の姿勢変化を計測する計測手段と、
　前記背景画像から抽出した特徴点を前記姿勢変化に応じた所定の変換処理によって不変量特徴空間に表す不変特徴変換手段と、
　前記不変量特徴空間において前記特徴点が表れていない部分を特異特徴として選択する特異特徴選択手段と、
　前記特異特徴を用いてマーカを生成するマーカ生成手段と
を有するマーカ生成装置。
　（付記２）　背景画像を入力する映像入力手段と、
　入力された前記背景画像から特徴点を抽出する特徴抽出手段と
を有し、
　前記計測手段は、入力された前記背景画像にもとづきこの画像中の物体の姿勢変化の種類を計測し、前記姿勢変化の種類に応じ、対応する基準点の数を決定する基底数設定部を有し、
　前記不変特徴変換手段は、前記所定の変換処理として、前記背景画像から抽出された各特徴点を前記決定した数の基準点を用いた写像処理によって不変量特徴空間に表し、
　前記特異特徴選択手段は、前記不変量特徴空間において前記特徴点が表れていない部分を特異特徴として選択し、
　前記マーカ生成手段は、前記特異特徴を用いてマーカを生成する
　付記１に記載のマーカ生成装置。
　（付記３）　前記計測手段は、前記姿勢変化の種類として、平行移動、拡大、縮小、回転もしくはせん断変形のいずれか又はこれらの組み合わせを計測し、
　前記基底数設定部は、前記姿勢変化の種類として、平行移動のみが計測された場合に前記基準点の数を１と決定し、拡大、縮小もしくは回転のいずれか一以上の姿勢変化又はその姿勢変化と平行移動の組み合わせの姿勢変化が計測された場合に前記基準点の数を２と決定し、せん断変形又はせん断変形と平行移動、拡大、縮小、回転のいずれか一以上の組み合わせの姿勢変化が計測された場合に前記基準点の数を３と決定する
付記２に記載のマーカ生成装置。
　（付記４）　前記特徴抽出手段は、前記特徴点の位置情報を抽出する特徴抽出部を有し、
　前記映像入力手段は、異なる時刻の対応する二以上の背景画像を入力し、
　前記計測手段は、前記二以上の背景画像から抽出された特徴点の位置の変化にもとづき前記姿勢変化の種類を計測する
　付記２又は付記３に記載のマーカ生成装置。
　（付記５）　前記計測手段は、
　当該計測手段によって計測された姿勢変化の種類に応じて前記基準点の数を算出する基底数算出部と、
　前記基底数算出部の処理に応じ、当該算出された第一の基準点数と、先にマーカを生成した際の前記変換処理において用いられた基準に係る第二の基準点数とが一致するか否かを判定する基底数判定部と
を有し、
　前記基底数設定部は、前記第一の基準点数と前記第二の基準点数とが一致しないと判定された場合に、前記第一の基準点数を前記変換処理に用いる基準点の数として決定し、
　前記不変特徴変換手段は、前記第一の基準点数を用いた写像処理を実行する
　付記２から付記４のいずれかに記載のマーカ生成装置。
　（付記６）　前記不変特徴変換手段は、
　前記第一の基準点数と前記第二の基準点数とが一致すると判定された場合には、以降にこれらの基準点数の不一致が判定されるまで、前記所定の変換処理の実行を停止する
付記５に記載のマーカ生成装置。
　（付記７）　前記基底数設定部は、入力操作に応じ、前記基準点の数を１～３のいずれかに決定する
　付記２から付記６のいずれかに記載のマーカ生成装置。
　（付記８）　マーカ生成装置とマーカ検出装置とを有し、
　前記マーカ生成装置は、
　背景画像にもとづきこの画像中の物体の姿勢変化を計測する計測手段と、
　前記背景画像から抽出した特徴点を前記姿勢変化に応じた所定の変換処理によって不変量特徴空間に表す不変特徴変換手段と、
　前記不変量特徴空間において前記特徴点が表れていない部分を特異特徴として選択する特異特徴選択手段と、
　前記特異特徴を用いてマーカを生成するマーカ生成手段と
を有し、
　前記マーカ検出装置は、
　生成された前記マーカを記憶するマーカ記憶手段と、
　前記マーカを検出するための背景画像から抽出した特徴点を前記不変量特徴空間に表した不変量特徴群の配置の中に前記マーカの特異特徴の配置があるか否かを判断する照合手段と
を有する
マーカ生成検出システム。
　（付記９）　前記マーカ生成装置は、
　背景画像を入力する映像入力手段と、
　入力した前記背景画像から特徴点を抽出する特徴抽出手段と
を有し、
　前記計測手段は、入力された前記背景画像にもとづきこの画像中の物体の姿勢変化の種類を計測するとともに、この姿勢変化の種類に応じ、対応する基準点の数を決定する基底数設定部を有し、
　前記不変特徴変換手段は、前記所定の変換処理として、前記背景画像から抽出された各特徴点を前記決定した数の基準点を用いた写像処理によって不変量特徴空間に表し、
　前記特異特徴選択手段は、前記不変量特徴空間において前記特徴点が表れていない部分を特異特徴として選択し、
　前記マーカ生成手段は、前記特異特徴を用いてマーカを生成する
　付記８に記載のマーカ生成検出システム。
　（付記１０）　背景画像にもとづきこの画像中の物体の姿勢変化を計測する計測手段と、
　前記背景画像から抽出した特徴点を前記姿勢変化に応じた所定の変換処理によって不変量特徴空間に表す不変特徴変換手段と、
　前記不変量特徴空間において前記特徴点が表れていない部分を特異特徴として選択する特異特徴選択手段と、
　前記特異特徴を用いてマーカを生成するマーカ生成手段と、
　生成された前記マーカを記憶するマーカ記憶手段と、
　前記マーカを検出するための背景画像から抽出した特徴点を前記不変量特徴空間に表した不変量特徴群の配置の中に前記マーカの特異特徴の配置があるか否かを判断する照合手段と
を有するマーカ生成検出装置。
　（付記１１）　背景画像を入力する映像入力手段と、
　入力された前記背景画像から特徴点を抽出する特徴抽出手段と
を有し、
　前記計測手段が、入力された前記背景画像にもとづきこの画像中の物体の姿勢変化の種類を計測するとともに、この姿勢変化の種類に応じ、対応する基準点の数を決定する基底数設定部を有し、
　前記不変特徴変換手段は、前記所定の変換処理として、前記背景画像から抽出された各特徴点を前記決定した数の基準点を用いた写像処理によって不変量特徴空間に表し、
　前記特異特徴選択手段は、この不変量特徴空間において前記特徴点が表れていない部分を特異特徴として選択し、
　前記マーカ生成手段は、この特異特徴を用いてマーカを生成する
付記１０に記載のマーカ生成検出装置。
　（付記１２）　背景画像の特徴点を、この画像から計測される姿勢変化に応じた所定の変換処理によって不変量特徴空間に表し、この不変量特徴空間において前記特徴点が表れていない部分を用いて生成されたマーカ。
　（付記１３）　背景画像の特徴点を、前記姿勢変化の種類に応じて決定される数の基準点を用いた写像処理によって不変量特徴空間に表し、この不変量特徴空間において前記特徴点が現れていない部分を用いて生成された付記１２に記載のマーカ。
　（付記１４）　背景画像にもとづきこの画像中の物体の姿勢変化を計測する工程と、
　前記背景画像から抽出した特徴点を前記姿勢変化に応じた所定の変換処理によって不変量特徴空間に表す工程と、
　前記不変量特徴空間において前記特徴点が表れていない部分を特異特徴として選択する工程と、
　前記特異特徴を用いてマーカを生成する工程と
を有するマーカ生成方法。
　（付記１５）　背景画像を入力する工程と、
　入力された前記背景画像から特徴点を抽出する工程と、
　入力された前記背景画像にもとづきこの画像中の物体の姿勢変化の種類を計測するとともに、この姿勢変化の種類に応じ、対応する基準点の数を決定する工程と、
　前記所定の変換処理として、前記背景画像から抽出された各特徴点を前記決定した数の基準点を用いた写像処理によって不変量特徴空間に表す工程と、
　前記不変量特徴空間において前記特徴点が表れていない部分を特異特徴として選択する工程と、
　前記特異特徴を用いてマーカを生成する工程と
を有する付記１４に記載のマーカ生成方法。
　（付記１６）　情報処理装置を、
　背景画像にもとづきこの画像中の物体の姿勢変化を計測する手段、
　前記背景画像から抽出した特徴点を前記姿勢変化に応じた所定の変換処理によって不変量特徴空間に表す手段、
　前記不変量特徴空間において前記特徴点が表れていない部分を特異特徴として選択する手段、及び、
　前記特異特徴を用いてマーカを生成する手段、
　として機能させるマーカ生成プログラム。
　（付記１７）　前記情報処理装置を、
　背景画像を入力する手段、
　入力された前記背景画像から特徴点を抽出する手段、
　入力された前記背景画像にもとづきこの画像中の物体の姿勢変化の種類を計測するとともに、この姿勢変化の種類に応じ、対応する基準点の数を決定する手段、
　前記所定の変換処理として、前記背景画像から抽出された各特徴点を前記決定した数の基準点を用いた写像処理によって不変量特徴空間に表す手段、
　前記不変量特徴空間において前記特徴点が表れていない部分を特異特徴として選択する手段、及び、
　前記特異特徴を用いてマーカを生成する手段、
　として機能させる付記１６に記載のマーカ生成プログラム。
　以上、本発明のマーカ生成装置、マーカ生成検出システム、マーカ生成検出装置、マーカ、マーカ生成方法及びマーカ生成プログラムの好ましい実施形態について説明したが、本発明に係るマーカ生成装置、マーカ生成検出システム、マーカ生成検出装置、マーカ、マーカ生成方法及びマーカ生成プログラムは上述した実施形態にのみ限定されるものではなく、本発明の範囲で種々の変更実施が可能であることは言うまでもない。
　例えば、上述した実施形態では、マーカ生成手段がマーカを一つのみ生成することとしたが、マーカを複数生成することもできる。
　本出願は、２００９年７月２３日に出願された日本出願特願２００９－１７１８３７号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明は、マーカの生成に関する発明であるため、マーカの生成を行う装置や機器、さらには、物品管理、フィジカルセキュリティをはじめとする映像モニタリング、ロボットビジョン、複合実現感ＵＩ、コンテンツ生成応用といった用途に利用可能である。
　１　マーカ生成装置
　１０　映像入力手段
　２０　特徴抽出手段
　３０　不変特徴変換手段
　４０　特異特徴変換手段
　５０　マーカ生成手段
　６０　自由度計測手段
　６１　自由度検出部
　６２　基底数設定部
　６３　基底数算出部
　６４　基底数判定部
　１００　マーカ検出装置
　１０００　マーカ生成検出装置
　２０００　マーカ生成検出システム
 

Claims (17)

  1. 　背景画像にもとづきこの画像中の物体の姿勢変化を計測する計測手段と、
    　前記背景画像から抽出した特徴点を前記姿勢変化に応じた所定の変換処理によって不変量特徴空間に表す不変特徴変換手段と、
    　前記不変量特徴空間において前記特徴点が表れていない部分を特異特徴として選択する特異特徴選択手段と、
    　前記特異特徴を用いてマーカを生成するマーカ生成手段と
    を有するマーカ生成装置。
  2. 　背景画像を入力する映像入力手段と、
    　入力された前記背景画像から特徴点を抽出する特徴抽出手段と
    を有し、
    　前記計測手段は、入力された前記背景画像にもとづきこの画像中の物体の姿勢変化の種類を計測し、前記姿勢変化の種類に応じ、対応する基準点の数を決定する基底数設定部を有し、
    　前記不変特徴変換手段は、前記所定の変換処理として、前記背景画像から抽出された各特徴点を前記決定した数の基準点を用いた写像処理によって不変量特徴空間に表し、
    　前記特異特徴選択手段は、前記不変量特徴空間において前記特徴点が表れていない部分を特異特徴として選択し、
    　前記マーカ生成手段は、前記特異特徴を用いてマーカを生成する
    　請求項１に記載のマーカ生成装置。
  3. 　前記計測手段は、前記姿勢変化の種類として、平行移動、拡大、縮小、回転もしくはせん断変形のいずれか又はこれらの組み合わせを計測し、
    　前記基底数設定部は、前記姿勢変化の種類として、平行移動のみが計測された場合に前記基準点の数を１と決定し、拡大、縮小もしくは回転のいずれか一以上の姿勢変化又はその姿勢変化と平行移動の組み合わせの姿勢変化が計測された場合に前記基準点の数を２と決定し、せん断変形又はせん断変形と平行移動、拡大、縮小、回転のいずれか一以上の組み合わせの姿勢変化が計測された場合に前記基準点の数を３と決定する
    請求項２に記載のマーカ生成装置。
  4. 　前記特徴抽出手段は、前記特徴点の位置情報を抽出する特徴抽出部を有し、
    　前記映像入力手段は、異なる時刻の対応する二以上の背景画像を入力し、
    　前記計測手段は、前記二以上の背景画像から抽出された特徴点の位置の変化にもとづき前記姿勢変化の種類を計測する
    　請求項２又は請求項３に記載のマーカ生成装置。
  5. 　前記計測手段は、
    　当該計測手段によって計測された姿勢変化の種類に応じて前記基準点の数を算出する基底数算出部と、
    　前記基底数算出部の処理に応じ、当該算出された第一の基準点数と、先にマーカを生成した際の前記変換処理において用いられた基準に係る第二の基準点数とが一致するか否かを判定する基底数判定部と
    を有し、
    　前記基底数設定部は、前記第一の基準点数と前記第二の基準点数とが一致しないと判定された場合に、前記第一の基準点数を前記変換処理に用いる基準点の数として決定し、
    　前記不変特徴変換手段は、前記第一の基準点数を用いた写像処理を実行する
    　請求項２から請求項４のいずれかに記載のマーカ生成装置。
  6. 　前記不変特徴変換手段は、
    　前記第一の基準点数と前記第二の基準点数とが一致すると判定された場合には、以降にこれらの基準点数の不一致が判定されるまで、前記所定の変換処理の実行を停止する
    請求項５に記載のマーカ生成装置。
  7. 　前記基底数設定部は、入力操作に応じ、前記基準点の数を１～３のいずれかに決定する
    　請求項２から請求項６のいずれかに記載のマーカ生成装置。
  8. 　マーカ生成装置とマーカ検出装置とを有し、
    　前記マーカ生成装置は、
    　背景画像にもとづきこの画像中の物体の姿勢変化を計測する計測手段と、
    　前記背景画像から抽出した特徴点を前記姿勢変化に応じた所定の変換処理によって不変量特徴空間に表す不変特徴変換手段と、
    　前記不変量特徴空間において前記特徴点が表れていない部分を特異特徴として選択する特異特徴選択手段と、
    　前記特異特徴を用いてマーカを生成するマーカ生成手段と
    を有し、
    　前記マーカ検出装置は、
    　生成された前記マーカを記憶するマーカ記憶手段と、
    　前記マーカを検出するための背景画像から抽出した特徴点を前記不変量特徴空間に表した不変量特徴群の配置の中に前記マーカの特異特徴の配置があるか否かを判断する照合手段と
    を有する
    マーカ生成検出システム。
  9. 　前記マーカ生成装置は、
    　背景画像を入力する映像入力手段と、
    　入力した前記背景画像から特徴点を抽出する特徴抽出手段と
    を有し、
    　前記計測手段は、入力された前記背景画像にもとづきこの画像中の物体の姿勢変化の種類を計測するとともに、この姿勢変化の種類に応じ、対応する基準点の数を決定する基底数設定部を有し、
    　前記不変特徴変換手段は、前記所定の変換処理として、前記背景画像から抽出された各特徴点を前記決定した数の基準点を用いた写像処理によって不変量特徴空間に表し、
    　前記特異特徴選択手段は、前記不変量特徴空間において前記特徴点が表れていない部分を特異特徴として選択し、
    　前記マーカ生成手段は、前記特異特徴を用いてマーカを生成する
    　請求項８に記載のマーカ生成検出システム。
  10. 　背景画像にもとづきこの画像中の物体の姿勢変化を計測する計測手段と、
    　前記背景画像から抽出した特徴点を前記姿勢変化に応じた所定の変換処理によって不変量特徴空間に表す不変特徴変換手段と、
    　前記不変量特徴空間において前記特徴点が表れていない部分を特異特徴として選択する特異特徴選択手段と、
    　前記特異特徴を用いてマーカを生成するマーカ生成手段と、
    　生成された前記マーカを記憶するマーカ記憶手段と、
    　前記マーカを検出するための背景画像から抽出した特徴点を前記不変量特徴空間に表した不変量特徴群の配置の中に前記マーカの特異特徴の配置があるか否かを判断する照合手段と
    を有するマーカ生成検出装置。
  11. 　背景画像を入力する映像入力手段と、
    　入力された前記背景画像から特徴点を抽出する特徴抽出手段と
    を有し、
    　前記計測手段が、入力された前記背景画像にもとづきこの画像中の物体の姿勢変化の種類を計測するとともに、この姿勢変化の種類に応じ、対応する基準点の数を決定する基底数設定部を有し、
    　前記不変特徴変換手段は、前記所定の変換処理として、前記背景画像から抽出された各特徴点を前記決定した数の基準点を用いた写像処理によって不変量特徴空間に表し、
    　前記特異特徴選択手段は、この不変量特徴空間において前記特徴点が表れていない部分を特異特徴として選択し、
    　前記マーカ生成手段は、この特異特徴を用いてマーカを生成する
    請求項１０に記載のマーカ生成検出装置。
  12. 　背景画像の特徴点を、この画像から計測される姿勢変化に応じた所定の変換処理によって不変量特徴空間に表し、この不変量特徴空間において前記特徴点が表れていない部分を用いて生成されたマーカ。
  13. 　背景画像の特徴点を、前記姿勢変化の種類に応じて決定される数の基準点を用いた写像処理によって不変量特徴空間に表し、この不変量特徴空間において前記特徴点が現れていない部分を用いて生成された請求項１２に記載のマーカ。
  14. 　背景画像にもとづきこの画像中の物体の姿勢変化を計測する工程と、
    　前記背景画像から抽出した特徴点を前記姿勢変化に応じた所定の変換処理によって不変量特徴空間に表す工程と、
    　前記不変量特徴空間において前記特徴点が表れていない部分を特異特徴として選択する工程と、
    　前記特異特徴を用いてマーカを生成する工程と
    を有するマーカ生成方法。
  15. 　背景画像を入力する工程と、
    　入力された前記背景画像から特徴点を抽出する工程と、
    　入力された前記背景画像にもとづきこの画像中の物体の姿勢変化の種類を計測するとともに、この姿勢変化の種類に応じ、対応する基準点の数を決定する工程と、
    　前記所定の変換処理として、前記背景画像から抽出された各特徴点を前記決定した数の基準点を用いた写像処理によって不変量特徴空間に表す工程と、
    　前記不変量特徴空間において前記特徴点が表れていない部分を特異特徴として選択する工程と、
    　前記特異特徴を用いてマーカを生成する工程と
    を有する請求項１４に記載のマーカ生成方法。
  16. 　情報処理装置を、
    　背景画像にもとづきこの画像中の物体の姿勢変化を計測する手段、
    　前記背景画像から抽出した特徴点を前記姿勢変化に応じた所定の変換処理によって不変量特徴空間に表す手段、
    　前記不変量特徴空間において前記特徴点が表れていない部分を特異特徴として選択する手段、及び、
    　前記特異特徴を用いてマーカを生成する手段、
    　として機能させるマーカ生成プログラム。
  17. 　前記情報処理装置を、
    　背景画像を入力する手段、
    　入力された前記背景画像から特徴点を抽出する手段、
    　入力された前記背景画像にもとづきこの画像中の物体の姿勢変化の種類を計測するとともに、この姿勢変化の種類に応じ、対応する基準点の数を決定する手段、
    　前記所定の変換処理として、前記背景画像から抽出された各特徴点を前記決定した数の基準点を用いた写像処理によって不変量特徴空間に表す手段、
    　前記不変量特徴空間において前記特徴点が表れていない部分を特異特徴として選択する手段、及び、
    　前記特異特徴を用いてマーカを生成する手段、
    　として機能させる請求項１６に記載のマーカ生成プログラム。
     
PCT/JP2010/062349 2009-07-23 2010-07-22 マーカ生成装置、マーカ生成検出システム、マーカ生成検出装置、マーカ、マーカ生成方法及びそのプログラム WO2011010693A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2011523684A JP5794427B2 (ja) 2009-07-23 2010-07-22 マーカ生成装置、マーカ生成検出システム、マーカ生成検出装置、マーカ、マーカ生成方法及びそのプログラム
US13/386,266 US8755608B2 (en) 2009-07-23 2010-07-22 Marker generation device, marker generation detection system, marker generation detection device, marker, marker generation method, and program therefor
CN201080032765.3A CN102473312B (zh) 2009-07-23 2010-07-22 标记生成装置、标记生成检测系统、标记生成检测装置及标记生成方法
EP10802313.6A EP2458556A4 (en) 2009-07-23 2010-07-22 MARKER CREATING DEVICE, MARKER CREATING DETECTING SYSTEM, MARKER CREATING DETECTING DEVICE, MARKER, MARKER CREATING METHOD, AND PROGRAM THEREOF

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-171837 2009-07-23
JP2009171837 2009-07-23

Publications (1)

Publication Number Publication Date
WO2011010693A1 true WO2011010693A1 (ja) 2011-01-27

Family

ID=43499165

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/062349 WO2011010693A1 (ja) 2009-07-23 2010-07-22 マーカ生成装置、マーカ生成検出システム、マーカ生成検出装置、マーカ、マーカ生成方法及びそのプログラム

Country Status (5)

Country Link
US (1) US8755608B2 (ja)
EP (1) EP2458556A4 (ja)
JP (1) JP5794427B2 (ja)
CN (1) CN102473312B (ja)
WO (1) WO2011010693A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014507722A (ja) * 2011-12-29 2014-03-27 インテル コーポレイション 一般化されたロバストなマルチチャンネル特徴検出器

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101589408B (zh) * 2007-01-23 2014-03-26 日本电气株式会社 标记生成及标记检测的系统、方法和程序
US9177224B1 (en) * 2013-03-14 2015-11-03 Amazon Technologies, Inc. Object recognition and tracking
KR20150049535A (ko) * 2013-10-30 2015-05-08 삼성전자주식회사 전자장치 및 그 이용방법
JP2016110215A (ja) * 2014-12-02 2016-06-20 トヨタ自動車株式会社 マーカ認識装置、マーカ認識方法及び認識プログラム
CN107545214B (zh) * 2016-06-28 2021-07-27 斑马智行网络(香港)有限公司 图像序列号确定方法、特征的设置方法、装置及智能设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003223639A (ja) * 2002-01-29 2003-08-08 Ntt Docomo Inc 物体識別情報認識システム、物体識別情報認識方法、画像入力装置及び、物体識別情報認識装置
WO2008090908A1 (ja) * 2007-01-23 2008-07-31 Nec Corporation マーカ生成及びマーカ検出のシステム、方法とプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4537104B2 (ja) * 2004-03-31 2010-09-01 キヤノン株式会社 マーカ検出方法、マーカ検出装置、位置姿勢推定方法、及び複合現実空間提示方法
KR101225146B1 (ko) 2004-08-20 2013-01-22 후지제롯쿠스 가부시끼가이샤 라벨 이미지의 생성 방법 및 화상처리 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003223639A (ja) * 2002-01-29 2003-08-08 Ntt Docomo Inc 物体識別情報認識システム、物体識別情報認識方法、画像入力装置及び、物体識別情報認識装置
WO2008090908A1 (ja) * 2007-01-23 2008-07-31 Nec Corporation マーカ生成及びマーカ検出のシステム、方法とプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2458556A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014507722A (ja) * 2011-12-29 2014-03-27 インテル コーポレイション 一般化されたロバストなマルチチャンネル特徴検出器

Also Published As

Publication number Publication date
CN102473312A (zh) 2012-05-23
US20120114253A1 (en) 2012-05-10
CN102473312B (zh) 2015-03-25
EP2458556A4 (en) 2014-01-08
JPWO2011010693A1 (ja) 2013-01-07
JP5794427B2 (ja) 2015-10-14
EP2458556A1 (en) 2012-05-30
US8755608B2 (en) 2014-06-17

Similar Documents

Publication Publication Date Title
JP4868186B2 (ja) マーカ生成及びマーカ検出のシステム、方法とプログラム
US8467596B2 (en) Method and apparatus for object pose estimation
WO2018133130A1 (en) 3d marker model construction and real-time tracking using monocular camera
JP5794427B2 (ja) マーカ生成装置、マーカ生成検出システム、マーカ生成検出装置、マーカ、マーカ生成方法及びそのプログラム
JP5261501B2 (ja) 不変の視覚場面及び物体の認識
JP6352208B2 (ja) 三次元モデル処理装置およびカメラ校正システム
JP2010267113A (ja) 部品管理方法、装置、プログラム、記録媒体
US8705864B2 (en) Marker generation device, marker generation detection system, marker generation detection device, marker, marker generation method, and program
JP6172432B2 (ja) 被写体識別装置、被写体識別方法および被写体識別プログラム
JP5700221B2 (ja) マーカ判定装置、マーカ判定検出システム、マーカ判定検出装置、マーカ、マーカ判定方法及びそのプログラム
JP5700220B2 (ja) マーカ生成装置、マーカ生成検出システム、マーカ生成検出装置、マーカ、マーカ生成方法及びそのプログラム
Gupta et al. Augmented reality system using lidar point cloud data for displaying dimensional information of objects on mobile phones
JP5347798B2 (ja) 物体検出装置、物体検出方法及び物体検出プログラム
JP2010113562A (ja) 物体検知追跡装置，物体検知追跡方法および物体検知追跡プログラム
JP5757157B2 (ja) 検出対象物について頭部分の位置および軸部分の方向を算出する方法、装置およびプログラム
JP7456521B2 (ja) 物体認識装置、物体認識方法、プログラム
JP2011028420A (ja) マーカ生成装置、マーカ生成検出システム、マーカ生成検出装置、マーカ、マーカ生成方法及びプログラム
JP6085160B2 (ja) 物体認識システム
Kutsenko et al. Use of virtual reality in the development of 3D games
JP2009146089A (ja) 特徴抽出装置および特徴抽出方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080032765.3

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10802313

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011523684

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13386266

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2010802313

Country of ref document: EP