WO2007037227A1 - 位置情報検出装置、位置情報検出方法及び位置情報検出プログラム - Google Patents

位置情報検出装置、位置情報検出方法及び位置情報検出プログラム Download PDF

Info

Publication number
WO2007037227A1
WO2007037227A1 PCT/JP2006/319056 JP2006319056W WO2007037227A1 WO 2007037227 A1 WO2007037227 A1 WO 2007037227A1 JP 2006319056 W JP2006319056 W JP 2006319056W WO 2007037227 A1 WO2007037227 A1 WO 2007037227A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
identification mark
reference rectangle
imaging unit
Prior art date
Application number
PCT/JP2006/319056
Other languages
English (en)
French (fr)
Inventor
Norikazu Makita
Original Assignee
Tamura Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tamura Corporation filed Critical Tamura Corporation
Priority to JP2007537621A priority Critical patent/JP4885867B2/ja
Priority to US12/067,760 priority patent/US8441440B2/en
Priority to EP06810581A priority patent/EP1936477A4/en
Publication of WO2007037227A1 publication Critical patent/WO2007037227A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A63F13/245—Constructional details thereof, e.g. game controllers with detachable joystick handles specially adapted to a particular type of game, e.g. steering wheels
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A63F13/5372—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen for tagging characters, objects or locations in the game scene, e.g. displaying a circle under the character controlled by the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/837—Shooting of targets
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B27/00—Photographic printing apparatus
    • G03B27/32—Projection printing apparatus, e.g. enlarger, copying camera
    • G03B27/52—Details
    • G03B27/58—Baseboards, masking frames, or other holders for the sensitive material
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8076—Shooting

Definitions

  • the present invention relates to a position information detecting device that specifies an instructed position with respect to an instruction target plane such as a screen, a method thereof, and a program thereof.
  • a system composed of a display device such as a CRT or LCD and a device for specifying the position on the display screen has been developed.
  • a shooting game device In such a shooting game apparatus, there are various methods for specifying the position on the screen.
  • the technologies described in Patent Documents 1, 2, and 3 display a screen corresponding to the progress of the game on the display device based on the display signal of the game machine power, and specify the screen position of the gun-type controller or the like.
  • Patent Document 1 Japanese Patent No. 3422383
  • Patent Document 2 Japanese Patent Laid-Open No. 11-305935
  • Patent Document 3 Japanese Patent Application Laid-Open No. 2004-139155
  • Patent Document 1 has the following problems.
  • an infrared light source is used to identify the instruction target screen, it is distinguished from a disturbance light source only by the brightness, and as a result, the surrounding lighting environment during device operation is greatly limited.
  • Patent Document 3 is a force proposed by the applicant of the present application, and the detection target is limited only to the indicated position of the gun-type controller. For this reason, it is insufficient to obtain the relative position information such as the rotation angle around the barrel axis and the distance to the display device, and to diversify and enhance the game content, and the scope of application is limited. .
  • the present invention has been proposed to solve the above-described problems of the prior art, and its main purpose is to enhance a variety of position information using a simple and easily identifiable identification mark.
  • An object of the present invention is to provide a position information detection apparatus, method, and program that can be accurately detected.
  • Another object of the present invention is to provide a position information detection apparatus, method, and program capable of improving the success rate of position detection even if an inexpensive image sensor is used. Means for solving the problem
  • a position information detection apparatus includes an imaging unit that images an identification mark arranged on the pointing target plane side via a camera lens, and the imaging unit captures an image.
  • An identification mark extraction unit that extracts a geometric figure image from the obtained image
  • a reference rectangle extraction unit that extracts a reference rectangle image formed by connecting specific points in the geometric figure image
  • the reference rectangle image Based on the specified coordinate system, a focal length calculation unit that calculates a focal length of the camera lens of the imaging unit with respect to the designated plane, and based on the coordinate system and the focal length! /
  • An instruction position calculation unit that calculates an instruction position of the imaging unit with respect to an instruction target plane.
  • the present invention can be understood as a position information detection method and a position information detection program for realizing the functions of the respective parts described above.
  • the focal length which is an internal parameter of the imaging unit
  • the focal length is obtained by using a coordinate system based on a reference rectangular image obtained by extracting a specific point force of a geometric figure image.
  • the indicated position which is an external parameter, can be obtained as an exact solution. Therefore, even when there are individual differences in the imaging section, when a focus change occurs during operation, or when a lens that changes the focal length is applied, it is possible to detect with high accuracy by obtaining the focal length during operation. It can be performed.
  • an imaging unit that captures an identification mark arranged on the pointing target plane side via a camera lens, and a geometric figure image from the image captured by the imaging unit.
  • An identification mark extraction unit for extraction a reference rectangle extraction unit for extracting a reference rectangle image formed by connecting a specific point in the geometric figure image, and a reference rectangle image extracted by the reference rectangle extraction unit.
  • a reference rectangle storage unit for storing, a focal length calculation unit for calculating a focal length of the camera lens of the imaging unit with respect to the designated plane based on a coordinate system specified by the reference rectangular image, and the coordinates
  • the reference position calculation unit that calculates the instruction position of the imaging unit with respect to the instruction target plane based on the system and the focal length, and the identification mark extraction unit cannot extract the identification mark.
  • a reference rectangle estimation unit that estimates a reference rectangle image based on the reference rectangle image stored in the irradiating rectangle storage unit.
  • this aspect implement
  • the reference rectangle estimation unit is configured to block an area calculation unit that calculates a neighborhood region of an identification mark based on a reference rectangle image stored in the reference rectangle storage unit, and a block in the neighborhood region. Estimated by the background light detection unit for detecting the background light to be detected, the center of gravity estimation unit for estimating the center of gravity of the identification mark in the neighboring region based on the detection result by the background light detection unit, and the center of gravity estimation unit An estimation unit that estimates a reference rectangular image based on the center of gravity.
  • the center of gravity of the identification mark is estimated based on the vicinity area of the identification mark calculated based on the reference rectangular image stored immediately before, and thereby the reference rectangular image is estimated. Therefore, a good reference rectangular image can be estimated with higher accuracy while increasing the speed by reducing the amount of data to be processed.
  • a matching unit that associates the centroid estimated by the centroid estimation unit with the reference rectangular image stored in the reference rectangle storage unit for estimation by the estimation unit. It is characterized by that.
  • the vertex can be estimated based on the immediately preceding reference rectangular image, so that the possibility of obtaining a reference rectangle is increased.
  • an imaging unit position calculating unit that calculates a relative position of the imaging unit in a three-dimensional coordinate system based on the pointing target plane based on the coordinate system and the focal length. It is characterized by having.
  • the image processing apparatus includes a rotation angle calculation unit that calculates a rotation angle of the imaging unit based on the coordinate system before and after the rotation of the imaging unit.
  • the specific point is a center of gravity of a plurality of geometric shapes provided on the identification mark.
  • a geometric figure that can specify the center of gravity may be used as the identification mark, so that the configuration is simple and the extraction is easy.
  • the direction can be specified by giving directionality to the features and installation methods of any geometric figure.
  • the identification mark has a light source that enables the geometric figure to be identified from an image obtained by imaging by the imaging unit.
  • the identification mark can be clearly identified regardless of the surrounding lighting environment by using the identification mark as a self-luminous type.
  • the imaging unit includes a light projecting unit that irradiates light to the identification mark.
  • the identification mark can be configured as a reflection type, it is easy to install and suitable for home use.
  • the imaging unit, the identification mark extraction unit, the reference rectangle extraction unit, the focal distance calculation unit, the indicated position calculation unit, and the reference rectangle estimation unit are integrally configured. It is characterized by that.
  • the overall configuration can be simplified and the connection work between apparatuses can be simplified, rather than configuring the imaging unit and the like separately.
  • a position information detecting device, method and program capable of detecting various kinds of position information with high accuracy using a simple and easily identifiable identification mark. Can do.
  • FIG. 1 is an overall configuration diagram showing a first embodiment of the present invention.
  • FIG. 2 is a functional block diagram of the embodiment shown in FIG. ⁇ 3] It is an explanatory view showing an example of an identification mark used in the embodiment of FIG.
  • FIG. 4 is an explanatory diagram showing the positional relationship between the identification mark of FIG. 3 and the image display area.
  • FIG. 5 is a flowchart showing a processing procedure of the embodiment of FIG. 1.
  • FIG. 7 is an explanatory diagram showing a method for extracting a reference rectangular vertex of the identification mark of FIG. 3 (a).
  • FIG. 8 is an explanatory diagram showing a method of extracting a reference rectangular vertex of the identification mark of FIG. 3 (b).
  • FIG. 9 is an explanatory diagram showing a method for extracting a reference rectangular vertex of the identification mark in FIG. 3 (c).
  • FIG. 10 is an explanatory diagram showing a coordinate system used in the embodiment of FIG.
  • FIG. 11 is an explanatory view showing a reference rectangular image imaged in the embodiment of FIG. 1.
  • FIG. 12 is an explanatory diagram showing a method of calculating a corrected reference rectangular image of the embodiment of FIG.
  • FIG. 13 is an explanatory diagram showing a method for specifying a designated position in the embodiment of FIG.
  • FIG. 16 is an explanatory diagram showing a normal display method based on the image display area at the indicated position in the embodiment of FIG.
  • FIG. 17 is an overall configuration diagram showing a second embodiment of the present invention.
  • FIG. 18 is a functional block diagram of the embodiment shown in FIG.
  • FIG. 19 is an explanatory diagram showing an example of calculating a neighborhood region when there are four identification marks in the embodiment of FIG.
  • FIG. 20 is an explanatory diagram showing an example of calculating a neighborhood region when there are two identification marks in the embodiment of FIG.
  • FIG. 23 is an explanatory diagram showing an example of a section selection process of the embodiment of FIG.
  • Peripheral control unit 205 Peripheral control unit
  • FIG. 2 is a perspective view showing an appearance of the embodiment, and FIG. 2 is a functional block diagram thereof. That is, the position information detection apparatus 100 of this embodiment is a system applied to a gun shooting type game using the gun type controller 101, the game machine 104, and the display 103.
  • the gun type controller is aimed at a target displayed in the image display area of the display, and the game is advanced by determining the accuracy of the aim. For this reason, it is necessary to detect at least whether the gun-type controller is aimed at a certain position in the image display area (indicated position).
  • Such an apparatus for detecting the indicated position includes an apparatus that captures an identification mark displayed on the display or arranged around the display and analyzes the image to calculate the indicated position.
  • an imaging unit 203 that images the identification mark 102 disposed on the display 103, a position information detection unit 202 that detects position information including the indicated position, and an identification mark extraction that extracts the identification mark A unit 206, a reference rectangle extracting unit 207 for extracting a reference rectangle, and the like are mounted inside the gun-type controller 101, and are configured integrally. Furthermore, in this embodiment, not only the indicated position but also the relative position information such as the rotation angle around the barrel axis of the gun-type controller 101 and the position (lens position) with respect to the display 103 can be detected. A variety of contents are possible.
  • the display 103 is a television receiver such as a CRT or LCD, or a display device for a computer.
  • An image signal is input to the display 103 in accordance with the progress of the game program executed on the game machine 104. Then, an image corresponding to the input image signal is displayed in the rectangular image display area (instructed plane) 103A.
  • a plurality of identification marks 102 are provided around the image display area 103A.
  • This identification mark 102 has a geometric pattern (figure) in front of it.
  • FIG. 1 shows an example in which identification marks 102 are installed at two places on the left and right above the image display area 103A.
  • the geometric pattern for example, those illustrated in FIGS. 3 (a) to (c) can be applied.
  • These are vertically long rectangular shapes, and have a background portion (surrounding black frame) along the outer periphery thereof and a square hole (inner black portion) inside the background portion.
  • any shape may be used as long as the reference rectangle connecting the specific points (the center of gravity in the present embodiment) can be extracted.
  • the left identification mark 102 in FIG. 3 (a) has holes in three locations near the upper right corner, near the upper left corner, and near the lower left corner so that the center of gravity is along two straight lines perpendicular to each other.
  • the mark 102 also has holes at three locations near the upper left corner, near the upper right corner, and near the lower right corner so that the center of gravity is along two orthogonal straight lines.
  • the left and right identification marks 102 in FIG. 3 (b) have holes at three locations, upper, middle and lower, so that the straight line connecting the centers of gravity forms a square shape with a right angle.
  • the present invention is not necessarily limited to this.
  • the straight line connecting the centroids draws an isosceles triangle having an equilateral depression angle of 90 degrees or more.
  • the left identification mark 102 in Fig. 3 (c) has holes at the top, middle and bottom so that the straight line connecting the centroids is on a vertical straight line. There are two holes at the top and bottom so that the straight line connecting the center of gravity is a vertical straight line.
  • each identification mark 102 can be used. This is a square shape and is installed at four locations near the apex of the image display area 103A.
  • the background part around it (the surrounding black frame) and the hole inside this background part (the inside black part) have.
  • the upper right, lower right, and lower left identification marks 102 have a square frame shape, and only the upper left identification mark 102 has two rectangular shapes with parallel holes.
  • the identification mark 102 as described above has a virtual line that connects each hole or the center of gravity inside the hole, near the apex of the image display area 103A. Installed to form a rectangle (reference rectangle described later). However, it is not necessarily near the apex.
  • FIG. 4 is an explanatory diagram, and the size of the image display area 103A is shown small for convenience.
  • the structure of the identification mark 102 can be classified into two types: a self-luminous type and a reflective type.
  • the self-luminous type the surface is configured so that light is transmitted and diffused in the other part where the light transmittance of the hole and the background part is small, and the back force is also directed toward the surface from the inside. Release light A light source is provided.
  • the system is configured with the self-luminous type identification mark 102, it is not necessary to mount a light projecting unit 204 described later, but it is necessary to supply power to the light source inside the identification mark 102.
  • the surface mainly has a configuration in which the reflectance of light in the hole and the background portion is small and the reflectance in the other portions is high.
  • the material of the high reflectivity part has retroreflective properties.
  • a reflective identification mark 102 that is easy to install is used.
  • the hole or background portion of the identification mark 102 only needs to be able to optically identify the boundary with other portions, and a physical hole or depression is actually formed. There is no need. In other words, a structure whose boundary is distinguished from colors, materials, etc., regardless of whether they are formed on the same plane.
  • the game machine 104 is a device that executes a predetermined program, generates an image signal for displaying a game image in accordance with the execution, and outputs the image signal to the display 103.
  • This game machine 104 receives data such as pointed position data of points on the image display area 103A designated by the gun-type controller 101 from the position information detection unit 202, and executes the program based on the data.
  • a predetermined game progress process is performed. Therefore, the game machine is not limited to a home game machine, but may be an arcade game machine or a computer installed with a game program.
  • the gun-type controller 101 has an operation unit 201, a position information detection unit 202, an imaging unit 203, a light projection unit 204, a peripheral control unit 205, an identification mark extraction unit 206, a reference rectangle processing unit 310, and an I / O unit 208. is doing.
  • the operation unit 201 is a trigger (trigger) or the like, and outputs an operation signal when pulled to a predetermined position by an operation of a user's finger or the like.
  • the specific configuration of the operation unit 201 is basically independent of the present invention, and is not limited to a specific one. Therefore, it is not always necessary to have the shape of a trigger. For example, it may be a switch such as a push button or a toggle, or a sensor that detects light shielding.
  • the imaging unit 203 is mainly configured by an imaging device, a lens, and an optical filter.
  • the lens is installed near the muzzle of the gun-type controller 101 so that it is aimed on its optical axis.
  • the imaging element is installed inside the lens so that the imaging surface is orthogonal to the optical axis.
  • the optical filter is designed to pass only the wavelength range of light to be photographed well, and is installed near the lens or becomes the material of the lens itself!
  • the light projecting unit 204 is mainly composed of a light emitting element group that emits light in a wavelength region to be imaged by the image sensor.
  • the light projecting unit 204 is installed on the outer periphery of the lens of the imaging unit 203 in a state of being inclined slightly outside the optical axis.
  • the peripheral control unit 205 is means for controlling light emission of the light projecting unit 204 and imaging of the imaging unit 203. For example, it is also possible to set such that the control of the light emission timing, the light amount of the light projecting unit 204, the sensitivity of the imaging unit 203, and the like can be adjusted.
  • the identification mark extraction unit 206 is means for removing the disturbance light component from the image captured by the imaging unit 203 and extracting only the pattern of the identification mark 102.
  • the reference rectangle extraction unit 207 is means for extracting the above-described reference rectangle from the extracted pattern of the identification mark 102.
  • the position information detection unit 202 uses the external parameters of the camera (imaging unit 203) such as the designated position, lens position, and rotation angle in the image display area 103A, the focal length, and the like. It is a means for detecting internal parameters.
  • the position information detection unit 202 includes an instruction position calculation unit 210 that calculates an instruction position, a lens position calculation unit 211 that calculates a lens position, a rotation angle calculation unit 212 that calculates a rotation angle, and a focal distance calculation.
  • the IZO unit 208 is a means for controlling input / output with an external device.
  • the gun-type controller 101 when the gun-type controller 101 is aimed at the vicinity of the image display area 103A of the display 103, it is reflected on the surface of the light power identification mark 102 emitted from the light projecting unit 204, and a part of it is reflected on the imaging unit.
  • the light is incident on 203 and photographed by the image sensor. If the radiated light does not reach the identification mark 102, the reflected light is naturally not photographed.
  • the light emitting type identification mark 102 is used and the light projecting unit 204 is omitted, the light emitted from the identification mark 102 enters the imaging unit 203.
  • the captured image is converted into image data suitable for processing (for example, binary image).
  • the photographed image data is analyzed by the identification mark extraction unit 206, and the identification mark 102 is extracted. That is, there is a possibility that the geometric pattern of the target identification mark 102 or other disturbance light is captured in the image data. Therefore, it is necessary to remove the disturbance light component and extract only the identification mark 102.
  • the extraction process is performed as follows, for example. That is, as shown in FIG. 3, if the background portion and the inner hole of the identification mark 102 are convex figures, from the captured original image and its binary image, as shown in FIG. By examining the graphic attributes in the captured image, it is possible to determine the geometric pattern.
  • the hole is The case where the connected component appears next to the component that does not exist continuously because it exists (integration) is verified in the vertical direction, and the number of branches and integration is counted, and the difference is obtained.
  • the number of branches the number of integration is always 0.
  • the number of holes, the area of the connected component, and the area of the hole are calculated with the area of the hole (the number of pixels constituting the binary image) as one unit.
  • each identification mark 102 can be determined from the number of holes, the area of the connected component, and the area of the hole. For example, in the case of the identification mark 102 shown in Fig. 3 (d), only the identification mark 102 in the upper left has 2 holes. On the other hand, since the number of holes of the other three identification marks 102 is 1, it can be determined that only the upper left identification mark 102 is different, and this can be specified as the upper left.
  • the center-of-gravity position information of each hole on the captured image plane is stored.
  • a known technique can be applied to calculate the center of gravity.
  • the center of gravity of the identification mark 102 itself may be used.
  • information on the position and top of the image display area 103A, which is the instruction area, is specified.
  • the extraction of the reference rectangle by the reference rectangle extraction unit 207 is performed as follows.
  • the positional relationship with A does not change.
  • This virtual rectangle is referred to as a reference rectangle.
  • FIGS. 3 and 4 (a) to (c) when there are two identification marks 102, a reference rectangle is generated with the center of gravity of the hole in the geometric pattern as a vertex.
  • the generation method for example, the methods shown in FIGS. 7 to 9 can be applied to FIGS. 3 and 4 (a) to (c).
  • the reference rectangle forms a rectangle as the name suggests, when the reference rectangle is orthogonally projected onto the plane where the image display area 103A exists in the normal direction, the projected image becomes a rectangle.
  • Identification mark 102 needs to be constructed and installed. Also, the surface strength of the identification mark 102 The reference rectangle and the image display area 103A are installed so that the horizontal sides are parallel to each other so that the image display area 103A is on the plane where the image display area 103A exists. Further, when the lens has distortion, at least all the extracted vertices of the reference rectangle are corrected for distortion. If not corrected, errors due to distortion will be included in the detected indicated position.
  • the position information detection unit 202 detects external parameters and internal parameters in the image display area 103A based on the reference rectangle extracted as described above.
  • the external parameters of the camera (imaging unit 203) are set by specifying the indication position (2D) in the indication area, the rotation angle around the optical axis of the camera lens (one-dimensional), and the position of the camera lens relative to the indication area. It is defined as (3D). In addition, it normalizes as mentioned later except rotation angle.
  • the following coordinate system is defined in an actual three-dimensional space where a gun shooting game is played (see FIG. 10).
  • World coordinate system 0 The origin of X yz is located at the upper left vertex of the reference rectangle, the X and y axes are along the horizontal and vertical directions of the reference rectangle, respectively, and the Z axis is the normal of the plane on which the reference rectangle rests Matches.
  • the origin of the camera coordinate system 0—xyz is located at the principal point of the lens, the X and y axes are along the horizontal and vertical directions of the light receiving surface of the image sensor, and the z axis is coincident with the optical axis.
  • the origin of I I I is located at the center of the light-receiving surface of the image sensor, and X, y
  • the I axis is along the horizontal and vertical directions of the light receiving surface, respectively.
  • the normal of the light receiving surface of the image sensor coincides with the Z axis, and the distance between the light receiving surface and the lens principal point is the focal length f of the lens.
  • f may be unknown.
  • the unit of all components in both coordinate systems is the pixel of the captured image.
  • a pinhole lens model is used.
  • the reference rectangular image on the light receiving surface is affected by projection distortion. Since the indicated position cannot be detected correctly from the reference rectangular image that has undergone the projection distortion, the projection distortion is removed. In other words, the reference rectangle extraction unit 207 needs to obtain a corrected reference rectangle obtained by performing reverse projection transformation on the reference rectangle image. Since it is impossible to know whether the two normals coincide with each other, the projection distortion of the reference rectangular image must always be removed. It should be noted that the reference rectangular image in the claims is a broad concept including even a corrected reference rectangular image.
  • det [A B] represents a determinant of a square matrix composed of small matrices A and B.
  • V'i, c ' is expanded to Vi, c in the camera coordinate system, and a plane on which the origin 0 of the camera coordinate system and VO, c V are located is considered.
  • the focal length f is unknown, the extension of the point from the image coordinate system to the camera coordinate system is not uniquely determined. Therefore, the calculated focal length f is specified by the focal length calculation unit 213, as will be described later in the calibration.
  • the designated position calculation unit 210 calculates the designated position for the corrected reference rectangle. That is, as shown in FIG. 13, it can be seen that the quadrangular pyramid composed of the corrected reference rectangular image and the origin 0 of the camera coordinate system is similar to the quadrangular pyramid composed of the reference rectangle and the origin 0. For this reason, a corrected image coordinate system 0 —X y similar to the X and y axes of the world coordinate system is defined on plane C, and the width and height of the reference rectangle and corrected reference rectangle image are defined.
  • the indicated position in the corrected reference rectangular image can be obtained as the normalized coordinate p in the corrected image coordinate system of the intersection point p between the camera coordinate system z-axis and the plane C.
  • Patent Document 3 As a method for obtaining the indicated position without using the distance, the method shown in Patent Document 3 can be applied.
  • the two components other than the distance direction in the camera lens position with respect to the indication area are defined as the normalized coordinates of the intersection of the perpendicular drawn from the lens principal point and the plane R. Therefore, the two components correspond to obtaining the normalized coordinate 1 in the corrected image coordinate system of the intersection 1 of the perpendicular line drawn from the lens principal point and the flat surface in the camera coordinate system. Said flat
  • the two components other than the distance component of the pointing position and the camera lens position are normalized based on the reference rectangle and the corrected reference rectangle.
  • the normal display is performed again using the image display area 103A as a reference. This process will be described in the calibration described later.
  • the component in the distance direction is normalized with the z component of the camera lens initial position set during calibration in the world coordinate system as 1.
  • Equation 12 Up. ⁇ X (12) Even if the reference rectangle is photographed at the same distance, if the two remaining components of the camera lens position change, the distance between the lens principal point and plane C also changes.
  • the coefficient k in Equation (12) represents the rate of this change. This coefficient k is obtained by the following equation (13). [Equation 13] kc f (13)
  • the line segment on the plane R having the length X described above is defined as the horizontal or vertical side of the reference rectangle.
  • X be the length of the line segment image on plane C at the initial position of the camera lens.
  • the target normalized distance z is obtained as shown in Equation (14).
  • both X and X are affected by changes in the camera lens position.
  • the rotation angle calculation unit 212 can determine the rotation angle around the optical axis of the camera lens regardless of the focal length f.
  • the operation of fixing the principal point position of the lens without losing generality, and indicating an arbitrary point on the plane R without rotating around the optical axis in other words, as shown in Figure 15, in the world coordinate system and the camera coordinate system, the X axis, X axis, and y
  • the above operation is equivalent to rotating the optical axis around both axes in order.
  • the order of the axes to be rotated differs depending on the selection of the reference plane in which the rotation around the optical axis is not performed in the instruction operation.
  • y in accordance with the actual feeling of use
  • optical axis is the order from the X axis to the y axis
  • the image coordinates are applied to the light-receiving surface of the image sensor as p in Equation (16).
  • Equation (17) shows that the line parallel to the y-axis on the plane R
  • the designated position P that has been correctly entered is as shown in Equation (27).
  • e and e are unit vectors in the corrected image coordinate system x and y axis directions, respectively.
  • the focal length of the internal parameters can be obtained during operation. This eliminates the need for adjustment at the time of manufacturing the device, which is necessary for obtaining the external parameters, other than adjusting the focus of the built-in lens of the imaging unit 203. Therefore, it is suitable for mass production. If there is an individual difference, or if the focus changes during operation, even if the focal length changes (for example, a focal lens or zoom lens), the focal length is updated appropriately. Can be detected without problems.
  • the processing load is small.
  • a function for discriminating between ambient light and the identification mark 102 is also realized, it is possible to flexibly cope with the surrounding lighting environment.
  • the identification mark 102 can be extracted by storing and inspecting the captured image sequentially for each horizontal line, so there is no need for an image storage area for one screen and a storage area of about several horizontal lines as a whole. Because it can be extracted with, it is suitable for small-scale embedded devices!
  • the identification mark 102 since the identification mark 102 only needs to have an identifiable geometric figure, the configuration is simple and installation is easy. In addition, it is possible to identify the direction of the top and bottom by giving directionality to the features and installation methods of geometric figures. As a result, it is possible to detect the correct designated position regardless of the posture of the apparatus. If the identification mark 102 is a self-luminous type, it is easy to identify, but the reflective mark 102 is easy to install and suitable for home use.
  • the apparatus including the light projecting unit 204, the imaging unit 203, the position information detecting unit 202, the identification mark extracting unit 206, the reference rectangle extracting unit 207, and the like are all configured integrally in the gun-type controller 101. As a result, the overall configuration can be simplified, and the connection work between the devices is also simplified.
  • the reference rectangle has the following characteristics. It is possible to estimate the position well and perform position detection (A) Based on the size of the immediately preceding reference rectangular image, the neighborhood region of the reference rectangular vertex that is the identification mark position estimation target is determined.
  • the threshold value of the pixel value to be regarded as the background of the identification mark image is obtained from the partial image in the vicinity area of the current image at the same position as the vertex of the immediately preceding reference rectangular image.
  • the threshold value may be obtained individually for each partial image.
  • the exposure time of the image sensor may be controlled from the statistics obtained in the threshold calculation process.
  • the center of gravity may be calculated by obtaining the first moment and the zeroth moment for each partial image.
  • centroid may be the vertex of the direct reference rectangle.
  • the vertex of the reference rectangular image may be calculated from the centroid obtained from the current image using the geometric information of the immediately preceding reference rectangular image vertex and the centroid of the corresponding identification mark image.
  • This embodiment is basically the same as the first embodiment described above.
  • this embodiment includes a reference rectangle processing unit 310 as shown in FIG.
  • the reference rectangle processing unit 310 extracts a reference rectangle from the extracted pattern of the identification mark 102, and when the reference rectangle extraction unit 320 (207 in the first embodiment) cannot extract the reference rectangle.
  • the reference rectangle estimation unit 330 estimates the reference rectangle based on the reference rectangle or the like extracted or estimated immediately before.
  • the reference rectangle estimation unit 330 is a region calculation unit 331 that calculates a neighborhood region of the identification mark based on the reference rectangle extracted or estimated immediately before, and a background light detection that detects background light to be blocked.
  • a matching unit 334 that performs the estimation
  • an estimation unit 335 that estimates the reference rectangle from the result of the correspondence between the estimated center of gravity and the matching unit.
  • the position information detection unit 202 based on the extracted or estimated reference rectangle or the like, an external meter of the camera (imaging unit 203) such as the indicated position, lens position, and rotation angle in the image display area 103A, Internal parameters such as focal length are detected. Specific processing in the reference rectangle processing unit 310 and the position information detection unit 202 is performed as described in the following operation.
  • information extracted and calculated in each process is appropriately stored in a storage means such as a memory and used for the next process. Omitted.
  • the type and capacity of storage means to be secured is free.
  • the extracted reference rectangle and the estimated reference rectangle are also stored in the memory (reference rectangle storage unit), and the reference rectangle extracted immediately before and the estimated reference rectangle are estimated. Is used for reference rectangle estimation processing.
  • step 502 if the identification mark extraction fails (step 502a), the process proceeds to the reference rectangle estimation process (steps 515 to 520).
  • the position information detection unit 202 detects a focal distance, which is an external parameter or an internal parameter of the camera (imaging unit) such as an indicated position in the image display area, based on the extracted reference rectangle.
  • a focal distance which is an external parameter or an internal parameter of the camera (imaging unit) such as an indicated position in the image display area.
  • the identification mark or camera that is the subject moves at a relatively high speed, the identification mark image will be blurred, and the expected shape and pixel value (received light amount) will not be obtained. Also fails to extract the reference rectangle.
  • This problem cannot be avoided due to the structure of popular cameras, but can be solved by using a camera with a high shutter speed. However, since the camera is relatively expensive, another problem arises that it is difficult to reduce the product cost.
  • the reference rectangle estimation unit 330 performs processing for estimating the identification mark position and subsequently estimating the vertex position of the reference rectangular image. Such a series of reference rectangle estimation processes will be described in detail below.
  • the region calculation unit 331 uses the reference rectangle extracted or estimated immediately before the reference rectangle is estimated for the captured image. Then, an area corresponding to the size of the reference rectangle is calculated (step 515).
  • the radius length of the area near the identification mark is, for example, the lZn of an arbitrary side of the reference rectangle or the larger lZn of the difference between the X coordinate or the y coordinate of the end point of the arbitrary side. Determine based on the moving speed to be used. However, as shown in Fig. 19, it should be determined that neighboring regions do not overlap.
  • the center of the area near the identification mark is the apex of the reference rectangle. As shown in FIG. 20, when there are two identification marks, the number of neighboring areas is two because it is the midpoint of the line segment connecting two reference rectangle vertices belonging to the same identification mark. In FIG. 19 and FIG. 20, the shape in the vicinity of the identification mark is a square for ease of explanation, but the shape is not limited to this.
  • the background light detection unit 332 detects the threshold value of the pixel value to be considered as the background of the identification mark image (background light blocking threshold value) from the partial image in the area corresponding to the identification mark vicinity area obtained immediately before the current image. (Step 516).
  • the background light blocking threshold is determined by applying the binary key method for multi-valued images.
  • This threshold value can be obtained for a plurality of partial images, or for each partial image. In the following description, it is assumed that a threshold value is obtained for each partial image.
  • the histogram obtained in the background light detection process is different from the feature shown in FIG. 21, there is a possibility of a non-ideal shooting state, so that the same feature as in FIG. 21 is obtained.
  • the exposure time of the image sensor may be appropriately controlled, or appropriate control information may be provided to a host device outside the system via the IZO unit 208.
  • the center-of-gravity estimation unit 333 calculates pixel information estimated as the identification mark from the partial image in the area corresponding to the identification mark vicinity area obtained immediately before the current image, and calculates the center of gravity of the pixel set. Ask. When the pixel set is composed of an identification mark image, the center of gravity of the identification mark image can be obtained satisfactorily.
  • the corresponding partial image s ( k ) (i, j) in the region near the identification mark k is determined by the background light blocking threshold I ( k ) obtained in the background light detection process.
  • s ( k) (i, j) may be read as t ( k) (i, j) in equation (28).
  • Equation (32) From the two m (k) , m (k) , m ( k ), the center of gravity g ( k ) of the partial image s ( k ) (i, j) is obtained as shown in Equation (32).
  • the numerical value f (m (k) , n) is less than the zeroth-order moment m (k ' ⁇ ) of compartment 1.
  • ) T is newly obtained ji 0 j 0.
  • the matching unit 334 tries to associate each vertex position of the reference rectangle extracted or estimated immediately before with each vertex (centroid) position of the reference rectangle extracted from the current image.
  • a reference rectangle is extracted from the current image, it is output as it is to the subsequent processing (step 518). If the reference rectangle vertices failed to extract the reference rectangle, the matching unit 334 finds the vertices that are closest to each of the vertices of the reference rectangle extracted or estimated immediately before. And output only them (step 519). If extraction of all vertices fails, there is no output.
  • the estimation unit 335 estimates a reference rectangle in the current image based on part or all of the extracted reference rectangle and the center of gravity g (k) (g ' (k) ) of the partial image s (k) (i, j). .
  • the reference rectangle is successfully extracted, it is used as the reference rectangle. If only some reference rectangle vertices have been extracted or if all vertices have failed to be extracted, the center of gravity g (k) (g ' (k) ) is estimated as the vertex. The estimated vertices are extracted and extracted. A reference rectangle with a successful vertex.
  • each vertex is estimated as shown in Equation (34).
  • the following effects can be obtained in addition to the effects of the first embodiment.
  • the reference rectangle in the current image can be estimated well by a series of reference rectangle estimation processes.
  • the required indicated position detection result can be obtained.
  • this function can estimate the reference rectangle well even when the reference rectangle extraction fails due to some other cause. It is obvious that it can be done, and the success rate of the indicated position detection is improved as compared with the prior art. For example, even when recognition of the identification mark 102 fails due to a temporary shortage of light, the indicated position is successfully detected. Therefore, an expensive high-speed compatible image sensor is not necessarily required, and the product cost can be reduced by using a popular image sensor. Ma In addition, the camera's operable distance range will be expanded.
  • the present invention is not limited to the above embodiment.
  • the above description can be easily read as an explanation for other embodiments that can realize the object of the present invention.
  • the functional block diagrams shown in FIGS. 2 and 17 are conceptual, and various specific circuits for realizing these functions are conceivable and are not limited to specific ones.
  • the present invention can also be grasped as a method and a program for operating a computer and peripheral circuits corresponding to the above processing.
  • the range realized by hardware processing and the range realized by software processing are also free. Any display that can be used at present or in the future other than CRT and LCD can be applied.
  • the application of the present invention is not limited to shooting-type games.
  • shooting-type games For example, non-shooting fishing, fencing, firefighting games, non-game presentation systems, conferencing systems, television remote controllers, lighting on / off, remote controllers such as blind opening / closing, warehouses and archives It can be applied to management systems. Therefore, the plane to be instructed is not limited to the display, and any screen, panel, wall surface, etc. can be used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Position Input By Displaying (AREA)

Abstract

　簡単で識別容易な識別マークを用いて、位置情報を高精度に検出できる位置情報検出装置、方法及びプログラムを提供する。 　ディスプレイ１０３に配設された識別マーク１０２をカメラレンズを介して撮像する撮像部２０３、撮像部２０３が撮像した画像から、幾何学図形像を抽出する識別マーク抽出部２０６、幾何学図形像における特定の点を結ぶことにより形成される参照矩形像を抽出する参照矩形抽出部２０７、参照矩形像により特定される座標系に基づいて、ディスプレイ１０３の画像表示領域に対する撮像部２０３のカメラレンズの焦点距離を算出する焦点距離算出部２１３、該座標系及び焦点距離に基づいて、画像表示領域に対する撮像部２０３の指示位置を算出する指示位置算出部２１０を有する。

Description

明 細 書
位置情報検出装置、位置情報検出方法及び位置情報検出プログラム 技術分野
[0001] 本発明は、画面などの指示対象平面に対して、指示した位置を特定する位置情報 検出装置、その方法およびそのプログラムに関する。
背景技術
[0002] 従来から、 CRTや LCDなどの表示装置とその表示画面上の位置を特定するデバ イスによって構成されるシステムが開発されている。その一例が射撃ゲーム装置であ る。このような射撃ゲーム装置において、画面上の位置を特定するための手法には、 種々のものがある。その中でも、特許文献 1、 2、 3に記載された技術は、ゲーム機器 力 の表示信号に基づいて、ゲームの進行に応じた画面を表示装置に表示させ、ガ ン型コントローラなどの画面位置指定手段をユーザが操作することにより画面周辺に 光を照射もしくは画面周辺の発光体力 光を放射し、画面周辺の撮像結果を基に、 画面位置指定手段が照準を合わせた画面上の位置を特定するものである。
特許文献 1：特許第 3422383号公報
特許文献 2：特開平 11― 305935号公報
特許文献 3：特開 2004 - 139155号公報
発明の開示
発明が解決しょうとする課題
[0003] し力しながら、上記の特許文献 1のシステムでは、次のような問題があった。
(1)指示位置等の検出された数値は近似解であるため、検出誤差が無視できない。
(2)装置製造段階において、位置検出に必要な定数を求めるための調整が必要で あるため、製造過程が複雑であり、調整誤差が装置運用時の検出誤差に反映されて しまうおそれがある。
(3)ビデオ画面を特定する 4つの発光体はそれぞれ区別されていない。このため、少 なくとも特許文献 1の記載内容のみでは、画面の上下左右を特定できない。
(4) 4つの発光体とそれ以外の外乱光源が同時に撮影された場合に、発光体を外乱 光源力も識別することが困難なため、装置運用時の周辺の照明環境が大きく制限さ れる。
[0004] また、特許文献 2のシステムでは、指示位置と距離情報の検出のみを実現して!/、る 力 特許文献 1とは異なり、厳密解を求めることができる。しかし、その実現方法には、 次の問題点が挙げられる。
(1)演算の構成が複雑であり、演算規模が大きい。
(2)撮像装置に含まれるレンズの焦点距離を演算に用いるため、装置個体差による 焦点距離の誤差が演算結果に悪影響を及ぼす。
(3)指示対象画面を特定するために赤外線光源を用いて ヽるが、輝度によってのみ 外乱光源と区別しているため、結局は装置運用時の周辺の照明環境が大きく制限さ れてしまう。
(4)対象画面側から自発光する赤外線光源を用いて！/ヽるため、画面側の装置構成 は複雑となり制約を受ける。このため、家庭用の装置には向いていない。
[0005] また、特許文献 3のシステムは、本件出願人により提案されたものである力 その検 出対象は、ガン型コントローラの指示位置のみにとどまる。このため、銃身軸周りの回 転角、表示装置に対する距離等の相対的な位置情報を得て、ゲーム内容の多様ィ匕 、高度化を図るには不十分であり、適用範囲が限定される。
[0006] さらに、上記のような従来技術においては、撮像に用いる撮像素子に起因する問題 もある。すなわち、一般的な撮像素子を用いる場合、被写体や撮像素子が比較的高 速に移動すると、被写体の像がぶれてしまい、期待する画像認識結果が得られず、 対象画面の特定に失敗してしまう可能性がある。この問題を解決する一つの方法とし て、シャッタースピードが高速な撮像素子を用いることが考えられる。しかし、このよう な高速な撮像素子は、普及型撮像素子と比較して高価である。
[0007] 本発明は、上記のような従来技術の問題点を解決するために提案されたものであり 、その主たる目的は、簡単で識別容易な識別マークを用いて、多様な位置情報を高 精度に検出できる位置情報検出装置、方法及びプログラムを提供することにある。
[0008] 本発明の他の目的は、安価な撮像素子を用いても、位置検出の成功率を向上させ ることができる位置情報検出装置、方法及びプログラムを提供することにある。 課題を解決するための手段
[0009] 上記の目的を達成するために、本発明の位置情報検出装置は、指示対象平面側 に配設された識別マークをカメラレンズを介して撮像する撮像部と、前記撮像部が撮 像した画像から、幾何学図形像を抽出する識別マーク抽出部と、前記幾何学図形像 における特定の点を結ぶことにより形成される参照矩形像を抽出する参照矩形抽出 部と、前記参照矩形像により特定される座標系に基づいて、前記指示対象平面に対 する前記撮像部のカメラレンズの焦点距離を算出する焦点距離算出部と、前記座標 系及び前記焦点距離に基づ!/、て、前記指示対象平面に対する前記撮像部の指示 位置を算出する指示位置算出部と、を有することを特徴とする。なお、本発明は、上 記の各部の機能を実現するための位置情報検出方法、位置情報検出プログラムとし て捉免ることちでさる。
[0010] 以上のような本発明では、幾何学図形像の特定の点力 抽出した参照矩形像に基 づく座標系を用いることにより、撮像部の内部パラメータである焦点距離を求めるとと もに、外部パラメータである指示位置を厳密解として求めることができる。従って、撮 像部に個体差がある場合、運用時にピント変化が生じた場合、焦点距離が変化する レンズを適用した場合等であっても、焦点距離を運用時に求めることにより、精度の 高い検出を行うことができる。
[0011] 他の態様の位置情報検出装置は、指示対象平面側に配設された識別マークをカメ ラレンズを介して撮像する撮像部と、前記撮像部が撮像した画像から、幾何学図形 像を抽出する識別マーク抽出部と、前記幾何学図形像における特定の点を結ぶこと により形成される参照矩形像を抽出する参照矩形抽出部と、前記参照矩形抽出部に より抽出された参照矩形像を記憶する参照矩形記憶部と、前記参照矩形像により特 定される座標系に基づ ヽて、前記指示対象平面に対する前記撮像部のカメラレンズ の焦点距離を算出する焦点距離算出部と、前記座標系及び前記焦点距離に基づい て、前記指示対象平面に対する前記撮像部の指示位置を算出する指示位置算出部 と、前記識別マーク抽出部による識別マークの抽出ができない場合に、前記参照矩 形記憶部に記憶された参照矩形像に基づいて、参照矩形像を推定する参照矩形推 定部と、を有することを特徴とする。なお、本態様は、上記の各部の機能を実現する ための位置情報検出方法、位置情報検出プログラムとして捉えることもできる。
[0012] 以上のような態様では、被写体や撮像素子が高速に移動した場合に、撮像部が撮 像した画像力も識別マークの抽出ができず、そのために参照矩形像の抽出に失敗し たとしても、直前の参照矩形像の抽出もしくは推定に成功している場合には、参照矩 形推定処理により、参照矩形像を良好に推定可能となる。したがって、高価な撮像素 子を用いずとも、位置検出の成功率を向上させることができる。
[0013] 他の態様は、前記参照矩形推定部は、前記参照矩形記憶部に記憶された参照矩 形像に基づいて、識別マークの近傍領域を算出する領域算出部と、前記近傍領域 において遮断すべき背景光を検出する背景光検出部と、前記背景光検出部による 検出結果に基づいて、前記近傍領域における識別マークの重心を推定する重心推 定部と、前記重心推定部により推定された重心に基づいて、参照矩形像を推定する 推定部と、を有することを特徴とする。
[0014] 以上のような態様では、直前に記憶された参照矩形像に基づいて算出された識別 マークの近傍領域に基づいて、識別マークの重心を推定して、これにより参照矩形 像を推定するので、処理すべきデータ量を低減して高速化を図りつつ、より高い確度 によって良好な参照矩形像が推定できる。
[0015] 他の態様は、前記推定部による推定のために、前記重心推定部により推定された 重心と、前記参照矩形記憶部に記憶された参照矩形像との対応付けを行う整合部を 有することを特徴とする。
[0016] 以上のような態様では、推定できない重心があった場合であっても、直前の参照矩 形像に基づいて、頂点を推定できるので、参照矩形が得られる可能性が高まる。
[0017] 他の態様は、前記座標系及び前記焦点距離に基づいて、前記指示対象平面を基 準に張った 3次元の座標系における前記撮像部の相対位置を算出する撮像部位置 算出部を有することを特徴とする。
他の態様は、前記撮像部の回転の前後における前記座標系に基づいて、前記撮 像部の回転角を算出する回転角算出部を有することを特徴とする。
[0018] 以上のような態様では、指示対象平面に対する指示位置のみならず、撮像部の相 対位置もしくは回転角といった位置情報も得ることができるので、ゲーム内容、適用 範囲等の多様化、高度化を図ることができる。
[0019] 他の態様は、前記特定の点は、前記識別マークに設けられた複数の幾何学的図 形の重心であることを特徴とする。
以上のような態様では、識別マークとして、重心が特定できる幾何学的図形を用い ればよいので、構成が単純であり、抽出も容易となる。また、いずれかの幾何学的図 形の特徴や設置方法に方向性を持たせることにより、方向の特定も可能となる。
[0020] 他の態様は、前記識別マークは、前記撮像部が撮像して得られた画像から、前記 幾何学的図形を識別可能とする光源を有することを特徴とする。
以上のような態様では、識別マークを自発光型とすることにより、周囲の照明環境に かかわらず、識別マークを明確に識別できる。
[0021] 他の態様は、前記撮像部は、前記識別マークに光を照射する投光部を有すること を特徴とする。
以上のような態様では、識別マークを反射型として構成できるので、設置が容易で あり、家庭用途に適している。
[0022] 他の態様は、前記撮像部、前記識別マーク抽出部、前記参照矩形抽出部、前記焦 点距離算出部、前記指示位置算出部、前記参照矩形推定部が一体的に構成されて いることを特徴とする。
以上のような態様では、撮像部等を別体で構成するよりも、全体構成を簡素化でき 、装置間の接続作業を簡略化できる。
発明の効果
[0023] 以上説明したように、本発明によれば、簡単で識別容易な識別マークを用いて、多 様な位置情報を高精度に検出可能な位置情報検出装置、方法及びプログラムを提 供することができる。
[0024] また、本発明によれば、安価な撮像素子を用いても、位置検出の成功率を向上さ せることが可能な位置情報検出装置、方法及びプログラムを提供することができる。 図面の簡単な説明
[0025] [図 1]本発明の第 1の実施形態を示す全体構成図である。
[図 2]図 1に示す実施形態の機能ブロック図である。 圆 3]図 1の実施形態に使用する識別マークの例を示す説明図である。
圆 4]図 3の識別マークと画像表示領域との位置関係を示す説明図である。
[図 5]図 1の実施形態の処理手順を示すフローチャートである。
圆 6]識別マークの抽出方法を示す説明図である。
[図 7]図 3 (a)の識別マークの参照矩形頂点の抽出方法を示す説明図である。
[図 8]図 3 (b)の識別マークの参照矩形頂点の抽出方法を示す説明図である。
[図 9]図 3 (c)の識別マークの参照矩形頂点の抽出方法を示す説明図である。
圆 10]図 1の実施形態で用いる座標系を示す説明図である。
[図 11]図 1の実施形態で撮像された参照矩形像を示す説明図である。
圆 12]図 1の実施形態の補正参照矩形像の算出方法を示す説明図である。
[図 13]図 1の実施形態の指示位置の特定方法を示す説明図である。
圆 14]図 1の実施形態のカメラレンズ位置特定方法を示す説明図である。
圆 15]図 1の実施形態の回転角特定方法を示す説明図である。
圆 16]図 1の実施形態の指示位置の画像表示領域基準の正規ィ匕方法を示す説明図 である。
圆 17]本発明の第 2の実施形態を示す全体構成図である。
[図 18]図 17に示す実施形態の機能ブロック図である。
[図 19]図 17の実施形態の識別マークが 4つの場合の近傍領域算出例を示す説明図 である。
圆 20]図 17の実施形態の識別マークが 2つの場合の近傍領域算出例を示す説明図 である。
圆 21]図 17の実施形態の背景光遮断閾値の例を示す説明図である。
圆 22]図 17の実施形態の識別マーク重心推定処理の一例を示す説明図である。
[図 23]図 17の実施形態の区画選択処理の一例を示す説明図である。
符号の説明
100…位置情報検出装置
101…ガン型コントローラ
102· ··識別マーク 103…ディスプレイ
103A…画像表示領域
104· "ゲーム機
201· "操作部
202· ··位置情報検出部
203· "撮像部
204· 投光部
205· ··周辺制御部
206· ··識別マーク抽出部
207, 320…参照矩形抽出部
208· ••IZO部
210· 指示位置算出部
211· · ·レンズ位置算出部
212· ··回転角算出部
213· 焦点距離算出部
310· ··参照矩形処理部
330· 参照矩形推定部
331· ··領域算出部
332· ··背景光検出部
333· ··重心推定部
334· ··整合部
335· ··推定部
発明を実施するための最良の形態
以下、本発明の位置情報検出装置を銃射撃型ゲームに適用した場合の一実施形 態を、図面を参照して説明する。
[第 1の実施形態]
[概要]
まず、本実施形態の概要を、図 1及び図 2を参照して説明する。なお、図 1は、本実 施形態の外観を示す斜視図であり、図 2はその機能ブロック図である。すなわち、本 実施形態の位置情報検出装置 100は、ガン型コントローラ 101、ゲーム機 104及び ディスプレイ 103を使用する銃射撃型ゲームに適用したシステムである。
[0028] 一般に、銃射撃型ゲームでは、ディスプレイの画像表示領域に表示された標的に 向かって、ガン型コントローラの照準を合わせ、その狙いの正確性を判定すること等 によってゲームを進行させる。そのため、少なくともガン型コントローラが画像表示領 域内の 、かなる位置に照準を合わせて 、るか (指示位置）を検出する必要がある。こ のような指示位置検出を行う装置には、ディスプレイに表示されもしくはその周囲に 配置された識別マークを撮像し、これを解析することにより、指示位置を算出するもの がある。
[0029] 本実施形態においては、ディスプレイ 103に配設された識別マーク 102を撮像する 撮像部 203、指示位置を含む位置情報を検出する位置情報検出部 202、識別マー クを抽出する識別マーク抽出部 206、参照矩形を抽出する参照矩形抽出部 207等 力 ガン型コントローラ 101の内部に実装され、一体的に構成されている。さらに、本 実施形態では、指示位置のみならず、ガン型コントローラ 101の銃身軸周りの回転角 やディスプレイ 103に対する位置（レンズ位置)等の相対的な位置情報をも検出でき るようにして、ゲーム内容の多様ィ匕を可能としている。
[0030] [構成]
次に、本実施形態の構成を具体的に説明する。
[ディスプレイ 103]
まず、ディスプレイ 103は、 CRTや LCD等のテレビ受像機やコンピュータ用の表示 装置である。ディスプレイ 103には、ゲーム機 104で実行されるゲームプログラムの進 行に応じて、画像信号が入力される。そして、その矩形型の画像表示領域 (指示対 象平面） 103Aに、入力された画像信号に応じた画像が表示される。
[0031] [識別マーク 102]
識別マーク 102は、画像表示領域 103Aの周囲に、複数設置されている。この識別 マーク 102は、その正面に幾何学的パターン（図形)を有している。図 1は、識別マー ク 102を、画像表示領域 103Aの上方の左右 2箇所に設置した例である。その際の 幾何学的パターンとしては、たとえば、図 3 (a)〜（c)に例示したものが適用可能であ る。これらは、縦長の長方形状であり、その外周に沿った背景部分 (周囲の黒色枠)と 、この背景部分の内側に正方形状の穴（内側の黒色部）を有している。但し、特定点 (本実施形態では重心)を結ぶ参照矩形の抽出が可能な形状であれば、どのような 図形であってもよい。
[0032] 図 3 (a)の左の識別マーク 102は、重心が直交する 2直線に沿うように、右上隅近傍 、左上隅近傍及び左下隅近傍の 3箇所に穴を有し、右の識別マーク 102も、重心が 直交する 2直線に沿うように、左上隅近傍、右上隅近傍及び右下隅近傍の 3箇所に 穴を有している。図 3 (b)の左右の識別マーク 102は、重心を結ぶ直線が直角をなす 「く」の字となるように、上、中、下の 3箇所に穴を有している。なお、必ずしもこれには 限定されず、原理的には、重心を結ぶ直線が等辺夾角が 90度以上の二等辺三角形 を描ければよい。図 3 (c)の左の識別マーク 102は、重心を結ぶ直線が垂直な直線 上となるように、その上端、中点、下端の 3箇所に穴を有し、右の識別マーク 102は、 重心を結ぶ直線が垂直な直線となるように、その上端、下端の 2箇所に穴を有してい る。
[0033] なお、たとえば、図 3 (d)に示すように、識別マーク 102を 4つ使用することも可能で ある。これは正方形状であり、画像表示領域 103Aの頂点付近の 4箇所に設置され、 その外周に沿った背景部分 (周囲の黒色枠）と、この背景部分の内側の穴（内側の黒 色部）を有している。そして、右上、右下、左下の識別マーク 102は、穴が正方形の 枠状であり、左上の識別マーク 102のみ穴が平行な 2つの長方形状となっている。
[0034] 以上のような識別マーク 102は、図 4 (a)〜（d)に示すように、各穴もしくはその内部 の重心を結ぶ直線が、画像表示領域 103Aの頂点付近に、仮想的な矩形 (後述する 参照矩形)が構成されるように設置される。但し、必ずしも頂点付近でなくともよい。な お、図 4は説明図であり、画像表示領域 103Aの大きさは、便宜的に小さく表している
[0035] さらに、識別マーク 102の構造は、自発光型と反射型の 2種類に分類できる。まず、 自発光型の場合には、表面は主に穴及び背景部分の光の透過率が小さぐそれ以 外の部分で光を透過 ·拡散する構成とし、背面力も表面へ向力つて内部から光を放 射する光源を備えている。自発光型の識別マーク 102でシステムを構成する場合、 後述する投光部 204を実装する必要はないが、識別マーク 102内部の光源への給 電が必要となる。
[0036] 反射型の場合、表面は主に穴および背景部分の光の反射率が小さぐそれ以外の 部分の反射率が高い構成とする。自由な位置で射撃を可能とするためには、高反射 率部分の素材には再帰反射特性を有するものが望ましい。本実施形態では、設置の 容易な反射型の識別マーク 102を使用するものとする。なお、以上の説明の通り、識 別マーク 102の穴や背景部分は、他の部分との境界が光学的に識別できればよい のであり、必ずしも現実に物理的な穴や窪み等が形成されている必要はない。つまり 、同一平面上に形成されているか否かにかかわらず、色彩や素材等から、境界が区 別される構造であればょ 、。
[0037] [ゲーム機 104]
ゲーム機 104は、所定のプログラムを実行し、当該実行にしたがってゲーム用の画 像を表示するための画像信号を生成し、これをディスプレイ 103に出力する機器であ る。このゲーム機 104は、位置情報検出部 202から、ガン型コントローラ 101によって 指定された画像表示領域 103A上の点の指示位置データその他等のデータが入力 され、当該データを基に、プログラムの実行に応じた所定のゲーム進行処理を行う。 したがって、ゲーム機は、家庭用のゲーム機のみならず、アーケードゲーム機ゃゲー ムプログラムをインストールしたコンピュータであってもよい。
[0038] [ガン型コントローラ 101]
ガン型コントローラ 101は、操作部 201、位置情報検出部 202、撮像部 203、投光 部 204、周辺制御部 205、識別マーク抽出部 206、参照矩形処理部 310、 I/O部 2 08を有している。
[0039] 操作部 201は、引き金（トリガ)などであり、ユーザの指などの操作によって所定の位 置まで引かれると、操作信号を出力する。なお、操作部 201の具体的な構成は、本 発明とは基本的に独立したものであり、特定のものには限定されない。したがって、 必ずしも引き金の形状をしている必要はなぐたとえば、押しボタンやトグル等のスィ ツチであっても、光の遮蔽を検知するセンサであってもよ 、。 [0040] 撮像部 203は、主に撮像素子、レンズ、光学フィルタによって構成されている。レン ズはガン型コントローラ 101の銃口付近に、その光軸上で照準が合うように設置され ている。撮像素子は、レンズよりも内部に撮像面が光軸と直交するように設置されて いる。光学フィルタは、撮影対象とする光の波長領域のみを良好に通過させるものと し、レンズ付近に設置されるかレンズ自体の素材となって!/、る。
[0041] 投光部 204は、主に撮像素子が撮影対象とする波長領域で発光する発光素子群 で構成されている。この投光部 204は、撮像部 203のレンズ外周に、光軸よりもやや 外側に傾けた状態で設置されている。周辺制御部 205は、投光部 204の発光及び 撮像部 203の撮像を制御する手段である。たとえば、発光タイミングの制御、投光部 204の光量、撮像部 203の感度などの調整が可能な設定とすることもできる。
[0042] 識別マーク抽出部 206は、撮像部 203において撮像した画像から、外乱光成分を 除去し、識別マーク 102のパターンのみを抽出する手段である。参照矩形抽出部 20 7は、抽出された識別マーク 102のパターンから、上述の参照矩形を抽出する手段で ある。位置情報検出部 202は、抽出された参照矩形等に基づいて、画像表示領域 1 03Aにおける指示位置、レンズ位置、回転角等のカメラ (撮像部 203)の外部パラメ一 タゃ、焦点距離等の内部パラメータを検出する手段である。
[0043] この位置情報検出部 202は、指示位置を算出する指示位置算出部 210、レンズ位 置を算出するレンズ位置算出部 211、回転角を算出する回転角算出部 212、焦点距 離を算出する焦点距離算出部 213を有している。識別マーク抽出部 206、参照矩形 抽出部 207、位置情報検出部 202における具体的な処理は、以下の作用に述べる ように行われる。 IZO部 208は、外部機器との入出力を制御する手段である。
[0044] なお、各処理で抽出、算出等された情報は、適宜、メモリ等の記憶手段に記憶され 、次処理に利用されるが、常識的であるため、図示は省略する。
[0045] [作用]
以上のような本実施形態による指示位置等の検出処理を、図 5のフローチャート、 図 6〜21の説明図を参照して説明する。なお、下記の処理手順は例示であり、各処 理にお 、て必要な情報がその前段階の 、ずれかにお 、て得られて 、るのであれば 、順序が前後してもよい。 [識別マークの撮像…ステップ 501]
まず、ガン型コントローラ 101の照準を、ディスプレイ 103の画像表示領域 103A近 辺に合わせている場合、投光部 204から放射された光力 識別マーク 102表面で反 射し、その一部が撮像部 203に入射し、撮像素子で撮影される。なお、放射光が識 別マーク 102に到達しない場合、その反射光は当然撮影されない。また、自発光型 の識別マーク 102を使用して、投光部 204を省略した場合には、識別マーク 102から 放射された光が、撮像部 203に入射する。撮影された画像は、処理に適した画像デ ータ (たとえば、 2値画像等）に変換される。
[0046] [識別マーク抽出…ステップ 502, 503]
撮影された画像データは、識別マーク抽出部 206で解析されて、識別マーク 102 が抽出される。つまり、画像データには、目的とする識別マーク 102の幾何学的パタ ーンや、それ以外の外乱光が撮影されている可能性がある。このため外乱光成分を 除去し、識別マーク 102のみを抽出する必要がある。
[0047] その抽出処理は、たとえば、以下のように行う。すなわち、図 3に示すように、識別マ ーク 102の背景部分及び内部の穴が凸図形であるとすれば、撮影された原画像とそ の 2値画像から、図 6に示すように、撮影画像中の図形属性を検査することによって、 幾何学的パターンの判定が可能となる。
[0048] まず、穴以外の水平方向に連続して 、る成分 (連結成分)の次に、穴が存在するた めに連続して ヽな ヽ成分が出現する場合 (分岐）と、穴が存在するために連続して ヽ ない成分の次に、連結成分が出現する場合 (統合）とを垂直方向に検証していき、そ の分岐と統合の回数をカウントして、その差を求める。これにより、連結成分に囲まれ た穴が存在する正しい識別マーク 102の場合、分岐数—統合数は常に 0となる。また 、穴の面積 (2値画像を構成するピクセル数)を 1単位として、穴数、連結成分の面積 、穴の面積を算出する。
[0049] たとえば、表 1に示すように、図 6の（a)は分岐が 1で統合が 0、 (b)は統合が 1で分 岐が 0なので、識別マークとしては認識されない。また、穴数、連結成分の面積、穴の 面積から、各識別マーク 102の幾何学的パターンの相違が判定できる。たとえば、図 3 (d)に示した識別マーク 102の場合には、左上の識別マーク 102のみが穴数は 2で あるのに対して、その他の 3つの識別マーク 102の穴数は 1であるため、左上の識別 マーク 102のみ異なることが判別でき、これを左上として特定することができる。
[表 1]
Figure imgf000015_0001
[0050] そして、識別マーク 102の幾何学的パターンを抽出する過程で、撮影画像平面上 での各穴の重心位置情報を記憶する。重心の算出は周知の技術を適用可能である 。なお、図 3 (d)の識別マーク 102のような場合には、識別マーク 102自体の重心とし てもよい。さらに、その重心位置情報と識別マークの配置情報をもとに、指示領域で ある画像表示領域 103Aの位置と天地に関する情報を特定することになる。
[0051] [参照矩形抽出…ステップ 504]
次に、参照矩形抽出部 207による参照矩形の抽出は、以下のように行われる。すな わち、識別マーク 102が当初の設置位置力も移動しない限り、たとえば、図 3, 4 (d) の 4つの識別マーク 102の重心点を頂点とする仮想的な矩形と、画像表示領域 103 Aとの位置関係は変化しない。この仮想的な矩形を参照矩形と称する。図 3, 4 (a)〜 (c)のように、識別マーク 102が 2つの場合は、幾何学的パターン中の穴の重心位置 を頂点として参照矩形を生成する。その生成方法には、たとえば、図 3, 4 (a)〜(c) に関しては、それぞれ図 7〜9に示すような手法が適用できる。
[0052] 図 7に示す手法は、以下の通りである。すなわち、図 7 (a)に示すように、一方の識 別マーク 102における穴の重心位置を ϋ、もう一方の穴の重心位置を qとする。なお 、 [i=0..2]である。次に、図 7 (b)に示すように、 2組の差ベクトルの内積 (p— p ) · (q
— q )が、最大となる Pを共有点を Vとする。なお k≠i]である。 qについても同様 k i i i
の共有点 wを求める。 V, wは参照矩形の頂点となる。残る重心位置を各々 Pi, q. [i = a, b]とする。
[0053] そして、図 7 (c)に示すように、外積 (w— V) X (p—V)が負の場合、 Pを有する識別 マークを基準マークとし、正の場合、 ^を有する方を基準マークとする。さらに、図 7 (d )に示すように、基準マークが qを有する場合、外積 (q -w) X (q— w)が負ならば q i a b
を、正ならば qを基準頂点とする。他方も同様に外積 (p —V) X (p — V)が負なら p b a a b a を、正ならば pを残りの頂点とする。
b
[0054] 図 8に示す手法は、以下の通りである。すなわち、図 8 (a)に示すように、一方の識 別マーク 102における穴の重心位置を ϋ 、もう一方の穴の重心位置を qとする。なお 、 [i=0..2]である。次に、図 8 (b)に示すように、 2組の差ベクトルの内積 (p -ρ ) ·(ρ j i k
-p )が最小となる共有点 Pを vとする。 なお、 [j, k≠i]である。 αについても同様の共 有点 wを求める。残る重心位置を各々 p , qとする。なお、 [i = a, b]である。
[0055] そして、図 8 (c)に示すように、内積 (w— V) · (p -v)が負の場合、 ^を有する識別 マーク 102を基準マークとし、正の場合、 pを有する方を基準マークとする。さらに、 図 8 (d)に示すように、基準マークが pを有する場合、外積 (p -v) X (p V)が負な a b
らば p
bを、正ならば p
aを基準頂点とする。基準マークが qを有する場合も同様とする。 v, w以外の残る p , q.を参照矩形の残りの頂点とする。
[0056] 図 9に示す手法は、以下の通りである。すなわち、図 9 (a)に示すように、穴が 3つあ る識別マーク 102を基準マークとし、その穴の重心位置を p.とする。なお、 [i=0..2] である。他方の識別マーク 102の穴の重心位置を q.とし、参照矩形の 2頂点とする。 なお、 [i=0, 1]である。次に、図 9 (b)に示すように、基準マークにおいて、 2組の差 ベクトルの内積 (p - ρ ) · (ρ —ρ )が負となる共有点 ρを Vとする。なお、 [j, k≠i]であ j k
る。残る重心位置を pとする。なお、 [i = a, b]である。
[0057] そして、図 9 (c)に示すように、外積（p —V) X (q— v)が負の場合 pを、正の場合 p
a i b
aを基準頂点とする。残る pを参照矩形の残りの頂点とする。さらに、図 9 (d)に示すよ うに、外積 (q -v) X (q v)の符号を検査することにより、参照矩形の辺に沿った
0 1
頂点の並びを得ることができる。本例では [p , q ,q , p ]の並びが一例として得られ a 0 1 b
る。
[0058] 参照矩形がその名の通り矩形を成すために、画像表示領域 103Aが存在する平面 上へ、その法線方向に参照矩形を正射影した場合、その射影像が矩形となるように、 識別マーク 102を構成及び設置する必要がある。また識別マーク 102の表面力 画 像表示領域 103Aが存在する平面上にのるように、参照矩形と画像表示領域 103A との水平方向の辺が平行となるように設置する。また、レンズに歪曲収差がある場合 、少なくとも抽出された参照矩形の頂点すべてに歪曲収差補正を実施する。補正し ない場合、検出した指示位置等に歪曲収差による誤差が含まれてしまう。
[0059] 位置情報検出部 202では、上述のように抽出された参照矩形に基づいて、画像表 示領域 103Aにおける外部パラメータや内部パラメータを検出する。本実施形態に おいては、カメラ (撮像部 203)の外部パラメータを、指示領域における指示位置 (2次 元)、カメラレンズ光軸周りの回転角 (1次元)及び指示領域に対するカメラレンズの位 置 (3次元)と定義している。なお、回転角以外は後述のとおり正規化される。
[0060] また、本実施形態では、外部パラメータや内部パラメータの算出のために、銃射撃 型ゲームをプレイする実 3次元空間に、以下のような座標系を定める（図 10参照)。 世界座標系 0 — X y zの原点は、参照矩形の左上頂点に位置し、 X , y軸は、 それぞれ参照矩形の水平、垂直方向に沿い、 Z軸は、参照矩形がのる平面の法線 に一致する。カメラ座標系 0— xyzの原点は、レンズの主点に位置し、 X, y軸はそれ ぞれ撮像素子受光面の水平、垂直方向に沿い、 z軸は光軸に一致する。画像座標 系 0— x y
I I Iの原点は、撮像素子受光面の中心に位置し、 X , y
I I軸は、それぞれ受光 面の水平、垂直方向に沿う。撮像素子受光面の法線は Z軸に一致しており、受光面と レンズ主点までの距離はレンズの焦点距離 fとする。ただし、 fは未知であってもよい。
[0061] 画像座標系が定められた撮像素子受光面がのる平面は、すなわちカメラ座標系に おける平面 z = fである。前述した座標系の定義から、画像座標系の任意点 p = (X ,
I I
y ) T
I は、その成分に 1次元追加することにより容易にカメラ座標系の点 P= (x , y , f)T
I I
に拡張することができる。拡張の容易さを図るため、両座標系すベての成分の単位を 撮影画像のピクセルとする。
[0062] すべての識別マーク 102が正しく撮影された場合、図 11に示すように、撮像素子受 光面にレンズを通して射影された参照矩形の各頂点 V' i(i=0..3)は、識別マーク 10 2自体または内部の穴の重心点である。ここではピンホールレンズモデルを用いる。
[0063] [補正参照矩形算出…ステップ 505]
なお、撮像素子受光面の法線と識別マーク 102表面の法線とがー致していない場 合、受光面上の参照矩形像は射影歪みの影響を受ける。射影歪みを受けた参照矩 形像からは正しく指示位置等の検出が行えないため、射影歪みを除去する。すなわ ち、参照矩形抽出部 207は、参照矩形像に逆射影変換を施した補正参照矩形を得 る必要がある。両法線が一致して ヽるかどうかを撮影画像カゝら知ることはできな 、た め、常に参照矩形像の射影歪みを除去しなければならない。なお、請求項の参照矩 形像は、力かる補正参照矩形像までも含む広 、概念である。
[0064] 参照矩形の中心点、すなわちその対角線同士の交点 c'は、図 11に示すように、 2 つの対角線を t :(l-t ), t :(l-t )にそれぞれ内分する。 t , t は、 V'iを用
20 20 31 31 20 31 いた式（1), (2)の通りである。 なお、 det[A B]は、小行列 A, Bで構成される正方 行列の行列式を表す。
[数 1] n、
Figure imgf000018_0001
[数 2]
_ det ^! - F0) (F2- 0)l
h] ~ dct[( 2-F0) (Vi-Vi) '
[0065] 参照矩形像が射影歪みを受けている場合、 t =t =0.5とはならず、 c'は対角線
20 31
の中点とはならない。ここで、図 12に示すように、 V'i, c'をカメラ座標系の Vi, cに拡 張し、カメラ座標系の原点 0および VO, c V がのる平面を考える。 0と Vとを通る直
2 0 線上の任意点 V =t V と、 0と Vとを通る直線上の任意点 V =t Vとに、式（3)の関
0 0 0 2 2 2 2
係を与える。
[数 3]
_ V。 = v2 _ (3)
[0066] すなわち、中点が cとなるような線分の端点 V , Vとしたい。ここで、
0 2
[数 4] c = ( \ - t20)Vo + t2o V2 - (4) であるから、式（3)を整理して式（5)を得る。
[数 5] v0 + v2 = 2c = 2(l - t20)V0 + 2t20V2
,0 = 2(1 - 。)
h = 2¾o (5) 同様に、 0と v3とを通る直線上の任意
Figure imgf000019_0001
点 V = t Vに関しても、式 (6)を満足させるために、式（7)を得る。
3 3 3
[数 6] 一 i = v3— (6)
[数 7]
?1 = 2(1 - ?3i)
[0068] よって、図 12からも分力る通り、式（3)を満足する V , Vを端点とする線分のみが、
0 2
参照矩形の対応する対角線と平行になる。さらに、式 (6)より V , Vに関しても、同様
1 3
のことが言えるため、 V (i=0..3)がのる平面 Cは、参照矩形がのる平面 Rと平行であり 、 を頂点とする四角形は、矩形になることがわかる。すなわち、前述の参照矩形像 を逆射影変換した像 (補正参照矩形像)が得られたことになる。
[0069] [焦点距離算出…ステップ 506, 507]
但し、焦点距離 fが未知である場合、画像座標系からカメラ座標系への点の拡張は 一意に定まらない。そこで、後述のキャリブレーションで説明するように、焦点距離算 出部 213によって算出焦点距離 fを特定する。
[0070] [指示位置算出 (補正参照矩形)…ステップ 508]
焦点距離 fが特定できたならば、前述の補正参照矩形像および平面 Cを用いること で、カメラの外部パラメータを求める。まず、指示位置算出部 210により、補正参照矩 形への指示位置を算出する。すなわち、図 13に示すように、補正参照矩形像とカメラ 座標系の原点 0により構成される四角錐は、同じく参照矩形と原点 0により構成される 四角錐と相似形であることがわかる。このため、平面 Cに世界座標系の X , y軸と同 様の補正画像座標系 0 —X yを定め、参照矩形および補正参照矩形像の幅と高さ
C C C
をそれぞれ 1として正規化した場合、 0を通る直線と平面 C, Rとの交点の正規化座標 は同一となる。
[0071] よって、図 13に示すように、補正参照矩形像における指示位置は、カメラ座標系 z 軸と平面 Cとの交点 pの、補正画像座標系における正規化座標 pとして求めることが
C
できる。ここで z軸方向の単位ベクトル e = (0, 0， 1)τ，平面 Cの法線ベクトル η =ν
z C 20
Xv とすると、 p, pはそれぞれ式 (8) , (9)の通りとなる。なお、これとは別に、焦点
31 C
距離を用いずに指示位置を求める手法としては、特許文献 3に示したものが適用で きる。
[数 8] rtc '
p e2 (8) »c · e-
[数 9]
Figure imgf000020_0001
[0072] [レンズ位置算出 (補正参照矩形)…ステップ 509]
図 14に示すように、指示領域に対するカメラレンズ位置のうち、距離方向以外の 2 成分を、レンズ主点から下ろした垂線と平面 Rとの交点の正規化座標と定義する。よ つて、その 2成分はカメラ座標系にお 、てレンズ主点から下ろした垂線と平面じとの 交点 1の、補正画像座標系における正規化座標 1を求めることに相当する。前述の平
C
面 Cの法線ベクトル nを用いると、 1, 1は、それぞれ式（10) , (11)の通りである。
C C
[数 10] (10)
I nc I2
[数 1 1]
Figure imgf000021_0001
[0073] [指示位置'レンズ位置算出 (画像表示領域)…ステップ 510, 511]
なお、指示位置およびカメラレンズ位置の距離成分以外の 2成分は、参照矩形及 び補正参照矩形を基準として正規化されている。しかし、最終的に指示位置として特 定すべき対象は、ディスプレイ 103の画像表示領域 103Aであるため、画像表示領 域 103Aを基準として正規ィ匕し直す。この処理は、後述のキャリブレーションにおいて 説明する。
[0074] [レンズ位置距離成分算出 · · 'ステップ 512]
指示領域に対するカメラレンズ位置のうち、距離方向の成分は、世界座標系におい てキャリブレーション時に設定されるカメラレンズ初期位置の z 成分を、 1として正規
W
化した場合の正規化座標と定義する。ただし、 z
W成分を直接は計測できない。そこで
、レンズ位置算出部 211による距離成分の算出にあたっては、レンズと平面 Rとの距 離 dの位置から、長さ Xの平面 R上の線分がレンズを通して平面 C上に長さ x'の線分 像として射影された場合の、焦点距離 fおよび実係数 kを用いた式（12)の関係を考 c
える。
[数 12] 上.丄 X (12) 同一距離で参照矩形を撮影したとしても、カメラレンズ位置の残る 2成分が変化す れば、レンズ主点と平面 Cの距離も変化してしまう。この変化の割合を、式（12)の係 数 kは表している。この係数 kは、以下の式（13)により求まる。 [数 13] kc f (13)
[0076] 以上より、カメラレンズ位置の変化による影響を補正した上記線分像の長さ x = k X
C
，は、距離 dと常に反比例の関係にあるため、この線分長 Xを用いて正規化された距 離を求めることができる。
[0077] ここで、前述した長さ Xの平面 R上の線分を参照矩形の水平もしくは垂直の辺とする 。さらに、カメラレンズ初期位置における平面 C上のその線分像の長さを Xとする。そ れ以降のシステム運用時における同線分像の長さ Xを用いて、目的とする正規化され た距離 zは式（14)の通り求まる。ただし、 X , Xともにカメラレンズ位置の変化による影
1 i
響を補正済みとする。
[数 14]
- - (14)
[0078] [回転角算出…ステップ 513]
カメラレンズ光軸周りの回転角については、回転角算出部 212が、焦点距離 fによ らず求めることができる。ここで、一般性を失うことなくレンズの主点位置を固定して、 光軸周りに回転することなく平面 R上の任意点を指示する動作について考える。すな わち、図 15に示すように、世界座標系とカメラ座標系において、 X 軸と X軸および y
W W
軸と y軸が平行であり、 X軸周りの回転角を Θ x、 y軸周りの回転角を Θ yとした場合、 上記動作は光軸を順序付きで両軸周りに回転させることに相当する。回転させる軸 の順序は上記指示動作において光軸周りの回転なしとする基準平面の選択により異 なる。本実施形態では、実際の使用感に則して y
W軸方向に天地を想定しているため
、x z 平面を基準とするが、その場合においては光軸を X軸周りから y軸周りの順序
W W
で回転させる必要がある。
[0079] 一方、上記回転変換はカメラ座標系においては平面 Rを y軸周りに Θ y、 x軸周り に一 0 xの順序で回転させる変換とみなすことができる。このときの合成回転行列 R は式（15)の通りである。
[数 15]
R (15)
Figure imgf000023_0001
[0080] 上記 Rにより、平面 R上の任意の 2点 ρ = (X , y , 0 ) (i=0, 1)は、実定数 Zと
W i W i Wi
対応する実係数 kを用いると、撮像素子の受光面へは式（16)の pのごとく画像座標
i Ii
系の点に射影される。
[数 16] cos Θ y x sm θ ζ
(16) -sin β vsin θ、■ xWj + cos θ χ yWi - sin Θ Ycos θ y Z 式（16)の pの x成分に y に関する項が含まれていないことに着目すると、
Ii I Wi
意に固定した場合、差ベクトル p = p - P は式（17)の通りである。
110 II 10
[数 17] p! l0 = { ) (ただし、 kは ,,等の関数） （17)
[0082] すなわち、式（17)は、平面 R上の y 軸に平行な線分は、本装置がカメラレンズ光
W
軸周りに回転しない場合において、常に y (X )
I I軸に対して一定の角度をもった線分 像として撮像素子に撮影されることを表している。よって、参照矩形の y
W軸方向の辺 が撮像素子に撮影された場合、光軸周りに回転前の (後述するキャリブレーション時 の本装置の初期姿勢における)その線分像と、光軸周りに回転後のその線分像が成 す角度力 カメラレンズ光軸周りの回転角となる。前者の線分像の端点 V (1=0, 1)
Ii
、後者の端点 V (i=0, 1)とし、 iは原像の同一端点を表すとすると、回転角 Θ の余弦
Ii z
、正弦はそれぞれ式（18) (19)の通りである。
[数 18] cos Θ z： (18)
Figure imgf000024_0001
[数 19]
Figure imgf000024_0002
[0083] [キャリブレーション…ステップ 507, 510, 51 1 ]
以上によりカメラの外部パラメータをすベて求めることができた。但し、上述のように 、指示位置及びカメラレンズ位置の算出のためには、少なくとも 1回は焦点距離 fを特 定する必要がある。また、指示位置'レンズ位置の距離成分以外の 2成分は画像表 示領域を基準として正規化しなおす必要がある。さらに、カメラレンズ位置の距離成 分および光軸周りの回転角については、計測の基準となる本装置の初期位置，姿勢 を定めなければならない。これらを解決する作業をキャリブレーションと称し、以下に 説明する。
[0084] [焦点距離の特定…ステップ 507]
参照矩形における 2つの対角線同士の長さが同一であることに着目すると、 fを特定 するための条件は、以下の通りに導くことができる。
[0085] まず、
[数 20] v20 = v2 _ v0 = (x20,ァ 20, ¾ο)Τ, ν3ι = 3 - ν = (χ31， y3 ζ31)τ (20) とする。ここで、 は、たとえば、図 12、図 13に示されるような補正参照矩形像の頂点 を示している。
[数 21] v20 = 2 {(l - i20)V2 - t20V0} (21) よって、
[数 22]
¾o = 2{(1 - t20)f- t20f } = 2(1 - 2t20)f (22) 同様に、
[数 23]
¾ι=2(1
(23) が得られる。ここで、対角線同士の長さは同一であるから、
[数 24]
I 20 Γ = I V31 |—
(24)
( o— + 202) - fcr + 312) = - ( 。——■¾「） = -4{(1 - 2t20
ゆ に
[数 25]
Figure imgf000025_0001
[数 26] feo + '20 )— fel +ァ 31 )
½≠?3l)
4{(l -¾。)2— (1 _2?31)2} (ただし、 (26)
となる。
焦点距離 fを特定するためには、式（26)より、 t20≠t31でなければならい。すなわ ち、撮影された参照矩形像が矩形もしくは線対称な台形状を成すときは算出不能で ある。よって、焦点距離のキャリブレーションはたとえば画像表示領域中心を真っ直ぐ 見据える位置から、いずれかの頂点位置にカメラレンズ光軸を振った姿勢で行う必要 がある。
[0087] なお、焦点距離が固定のシステムではそのキャリブレーションは少なくとも 1回行え ばよ!/ヽが、ズームレンズ等の使用により焦点距離が変化するシステムでは撮像された 画像毎に焦点距離を求め続ける必要がある。
[0088] [画像表示領域における指示位置及びレンズ位置算出 · · 'ステップ 510, 511]
図 16に示す通り、画面表示領域に関するキャリブレーションは、その水平方向の辺 が参照矩形の水平方向の辺と平行である場合、少なくとも対角の位置にある 2頂点を 指示して行う。たとえば、補正画像座標系における画像表示領域の左上、右下頂点 をそれぞれ V , V とすれば、任意の指示位置 pを、画面表示領域を基準として改
CO CI C
めて正規ィ匕した指示位置 P は式（27)の通りである。
Cd
[数 27] f (Pc - vco) '
(vc l - vco) · eCx
Pcd ^ (27)
V ( c i - Co) · eC yノ
[0089] ただし、 e ， e は、それぞれ補正画像座標系 x， y軸方向の単位ベクトルとする。
Cx Cy C C
カメラレンズ位置の距離成分以外の 2成分も同様に求める。これら V , V をキヤリブ
CO C1
レーシヨンにより計測する。
[0090] なお、システム運用中に識別マークが移動してしまった場合は、式（27)の V , V
CO C1 が変化してしまうため指示位置等に誤差が生ずる。その際は再度キャリブレーション を実施する必要がある。
[0091] カメラレンズ位置の距離成分や光軸周りの回転角は、キャリブレーションにより計測 の基準とすべき本装置の初期位置 ·姿勢をもって、上記の式（ 14)の X及び式（18) ,
( 19)の Vを計測する。
[0092] [効果]
以上のような本実施形態によれば、幾何学的図形を使用した簡単な識別マーク 10 2から抽出される参照矩形を用いて、撮像部 203の外部パラメータをすベて厳密解と して求めることができる。したがって、近似解で求めるよりも、検出精度が向上する。 求める外部パラメータは指示位置、相対位置、回転角等と多様であるため、ゲーム内 容、適用範囲等の多様化、高度化を図ることができる。たとえば、同一標的に対する 命中であっても、相対位置、回転角に応じて、得点や表示画面を変える等が可能と なる。
[0093] このような外部パラメータのみならず、内部パラメータのうち焦点距離を、運用時に 求めることができる。このため、撮像部 203の内蔵レンズのピントを調整する以外、外 部パラメータを求めるために必要な装置製造時の調整が不要となる。したがって、大 量生産に向いている。そして、個体差がある場合、運用時にピントが変化してしまつ た場合、焦点距離が変化するレンズ (たとえば、ノ リフォーカルレンズ、ズームレンズ 等)であっても、適切に焦点距離を更新して、問題なく検出できる。
[0094] 目的とする各種パラメータを求めるための演算規模は従来技術と比較して小さく、 演算の構成も簡素であるため、処理負担が小さい。また、外乱光と識別マーク 102を 判別する機能も実現しているため、周囲の照明環境に柔軟に対応できる。特に、識 別マーク 102の抽出は、撮影された画像を水平ライン毎に逐次的に記憶および検査 すればよいため、 1画面分の画像記憶領域を必要とせず、総じて水平数ライン程度 の記憶領域で抽出が可能であるので、小規模の組込機器に適して!/ヽる。
[0095] 識別マーク 102は、識別可能な幾何学的図形を有していればよいので、構成が単 純であり、設置が容易である。また、幾何学的図形の特徴や設置方法に方向性を持 たせることにより、天地等の方向の識別が可能となる。これにより、装置の姿勢によら ず、正しい指示位置等の検出が可能となる。そして、識別マーク 102は、自発光型と すれば、識別しやすくなるが、反射型としても、設置が容易となり家庭用途に適する。
[0096] 投光部 204、撮像部 203、位置情報検出部 202、識別マーク抽出部 206、参照矩 形抽出部 207等を含む装置が、全てガン型コントローラ 101内に一体的に構成され ているので、全体構成を簡素化でき、装置間の接続作業も簡単となる。
[0097] [第 2の実施形態]
[概要]
本実施形態は、上記の第 1の実施形態を基本としつつ、さらに、被写体や撮像素子 の高速な移動によって所望の識別マーク像が得られない場合においても、以下のよ うな特徴によって、参照矩形を良好に推定し位置検出を行うことが可能なものである (A)直前の参照矩形像の大きさより、識別マーク位置推定対象となる参照矩形頂点 の近傍領域を決定する。
(B)直前の参照矩形像頂点と同位置の、現画像における近傍領域の部分画像より、 識別マーク画像の背景と見做すべき画素値の閾値を求める。
•閾値は部分画像毎に個別に求めてもよい。
•閾値算出過程で得られた統計量より撮像素子の露光時間等を制御してもよい。
(C)直前の参照矩形像頂点と同位置の、現画像における近傍領域の部分画像より、 濃淡画像の重心を求める。
•重心を求めるのに先立って精度向上のため背景と見做すべき画素値の閾値を用 V、て背景光成分を除去してもよ!、。
'部分画像毎の 1次モーメントおよび 0次モーメントを求めて重心を算出してもよい。
•各モーメントは部分画像を複数の区画に分割し、区画毎に求めてもよ!、。
•分割した区画のうち、重心算出に適する区画のみを選択して重心を算出してもよ い。
(D)求められた重心より、現画像上の参照矩形像の頂点位置を推定する。
'重心を直接参照矩形像の頂点としてもよい。
•直前の参照矩形像頂点とそれに対応する識別マーク像の重心との幾何学的情報 を用いて現画像で求められた重心により参照矩形像の頂点を算出してもよい。
[0098] [構成]
次に、本実施形態の構成を説明する。なお、本実施形態は、基本的には、上記の 第 1の実施形態と同様である。但し、本実施形態は、図 17に示すように、参照矩形処 理部 310を備えている。この参照矩形処理部 310は、抽出された識別マーク 102の パターンから、参照矩形を抽出する参照矩形抽出部 320 (第 1の実施形態における 2 07)、参照矩形の抽出ができな力つた場合に、直前に抽出もしくは推定された参照 矩形等に基づいて、参照矩形を推定する参照矩形推定部 330を有している。
[0099] 参照矩形推定部 330は、直前に抽出もしくは推定された参照矩形をもとに、識別マ ーク近傍領域を算出する領域算出部 331、遮断すべき背景光を検出する背景光検 出部 332、識別マーク近傍領域と背景光に基づいて、識別マークの重心を推定する 重心推定部 333、推定された重心に基づいて、直前に抽出もしくは推定された参照 矩形の頂点との対応付けを行う整合部 334、推定された重心と整合部による対応付 けの結果から、参照矩形を推定する推定部 335を有して 、る。
[0100] 位置情報検出部 202は、抽出もしくは推定された参照矩形等に基づいて、画像表 示領域 103Aにおける指示位置、レンズ位置、回転角等のカメラ (撮像部 203)の外部 ノ メータや、焦点距離等の内部パラメータを検出する。参照矩形処理部 310、位置 情報検出部 202における具体的な処理は、以下の作用に述べるように行われる。
[0101] なお、本実施形態においても、各処理で抽出、算出等された情報は、適宜、メモリ 等の記憶手段に記憶され、次処理に利用されるが、常識的であるため、図示は省略 する。記憶手段として、どのような種類、容量のものを確保するかについては、自由で ある。特に、本実施形態においては、参照矩形処理において、抽出された参照矩形 や推定された参照矩形もメモリに記憶され (参照矩形記憶部)、直前に抽出された参 照矩形や推定された参照矩形は、参照矩形推定処理に利用される。
[0102] [作用]
以上のような本実施形態による処理を、図 18のフローチャート、図 19〜23の説明 図を参照して説明する。なお、上記の第 1の実施形態と同様の処理については、説 明を省略する。また、下記の処理手順は例示であり、各処理において必要な情報が その前段階の 、ずれかにお!/、て得られて 、るのであれば、順序が前後してもよ 、。
[0103] [参照矩形推定処理…ステップ 515〜520]
上述の第 1の実施形態における識別マーク抽出処理 (ステップ 502)において、識 別マークの抽出に失敗した場合には (ステップ 502a)、参照矩形推定処理に移行す る（ステップ 515〜520)。
[0104] すなわち、位置情報検出部 202では、抽出された参照矩形をもとに、画像表示領 域における指示位置等のカメラ (撮像部)の外部パラメータや内部パラメータである焦 点距離を検出するが、被写体である識別マークやカメラが比較的高速に移動した場 合、識別マーク像がぶれてしま 、期待する形状および画素値 (受光量)が得られなく なり、たとえ識別マークを撮像したとしても参照矩形の抽出に失敗してしまう。 [0105] 本問題は普及型カメラの構造上回避できないが、シャッタースピードが高速なカメラ を用いることで解決が可能である。ただし、同カメラは比較的高価であるため製品コス トを抑えにくいという別の問題が生じる。
[0106] さらにそのような高速移動期間においては正確な指示位置検出の要求は少なぐ 位置検出誤差が比較的大きくなつてしまったとしても、指示位置検出を成功させるこ とへの要求のほうが優先的である。
[0107] よって、普及型カメラにより問題となる高速移動期間においても参照矩形を推定し 抽出できればよい。それを実現するために、本実施形態では、参照矩形推定部 330 において、識別マーク位置を推定し、続いて参照矩形像の頂点位置を推定する処理 を行う。このような一連の参照矩形推定処理を、以下に詳述する。
[0108] [識別マーク近傍領域算出 · · 'ステップ 515]
まず、参照矩形の抽出に失敗した場合 (ステップ 502a)、撮影画像を対象として参 照矩形の推定を行うに先立って、直前に抽出もしくは推定された参照矩形をもとに、 領域算出部 331が、参照矩形の大きさに応じた領域を算出する (ステップ 515)。
[0109] 識別マーク近傍領域の半径の長さは、たとえば参照矩形の任意辺の lZnとしたり、 任意辺の端点の X座標もしくは y座標同士の差のうち大きい方の lZnとしたりして許 容すべき移動速度をもとに決定する。ただし、図 19に示すように、近傍領域同士が 重ならな 、よう決定すべきである。
[0110] 識別マーク近傍領域の中心は、参照矩形の頂点とする。図 20に示すように、識別 マークが 2点の場合は、同一識別マークに属する 2点の参照矩形頂点を結ぶ線分の 中点とするため、近傍領域数は 2である。なお、図 19及び図 20では、説明を容易に するため識別マーク近傍領域の形状を正方形としたが、この形状には限定されない
[0111] [背景光検出…ステップ 516]
背景光検出部 332は、現画像上の直前に求められた識別マーク近傍領域に対応 する領域内の部分画像より、識別マーク像の背景と見做すべき画素値の閾値 (背景 光遮断閾値)を決定する (ステップ 516)。
[0112] ノイズの少な 、理想的な状態で識別マークが撮影された場合、同部分画像による 画素値を階級とする画素数のヒストグラムは、おおよそ図 21に示すような傾向を示す 。よって、多値画像の 2値ィ匕手法を応用して背景光遮断閾値を決定する。
[0113] 本閾値は複数の部分画像をまとめて唯一つ求めることも、部分画像毎に求めること もできる。以降の説明は部分画像毎に閾値を求めたものとする。
[0114] 背景光検出処理において得られたヒストグラムが、図 21に示す特徴と異なる場合、 理想的でない撮影状態の可能性があるため、図 21と同様な特徴が得られるように、 撮像部 203の撮像素子の露光時間等を適切に制御してもよいし、 IZO部 208経由 で、本システム外部のホスト機器に適切な制御情報を提供させてもよ 、。
[0115] [識別マーク重心推定…ステップ 517]
重心推定部 333は、現画像上の直前に求められた識別マーク近傍領域に対応す る領域内の部分画像より、識別マークと推定される画素情報^^計してそれら画素集 合の重心を求める。画素集合が識別マーク像より構成される場合は、良好に識別マ ーク像の重心を求めることができる。
[0116] 算出する重心の精度を向上させるために、背景光検出処理で求めた背景光遮断 閾値 I (k)により対応する識別マーク近傍領域 kの部分画像 s(k) (i, j)を、式 (28)のと b
おり、 t(k) (i, j)へ変換してもよい。
[数 28]
Figure imgf000031_0001
[0117] 識別マーク近傍領域 kの部分画像 s(k) (i, j)の重心を求めるために、同画像の 0次 モーメント m (k)および i方向と j方向の 1次モーメント m (k), m (k)を、式（29)— (31)の
0 i j
とおり、逐次求める。以降、 s(k) (i, j)は式（28)の t(k) (i, j)に読み替えてもよい。
[数 29]
(29) i j ( ) - ∑∑ (ん )(',_/) (30) i J
[数 31]
(31)
'· j
[0118] 二れら m (k), m (k), m (k)により、部分画像 s(k) (i, j)の重心 g(k)は、式 (32)のとおり求
0 i i
めることがでさる。
[数 32]
, ( / ,„。("
8 = { m^ l m^ 1 (32)
[0119] しかし、これら部分画像に識別マーク以外のノイズ成分が無視できな 、程度に含ま れる場合は、式（32)の重心算出方法では、誤った重心が求まる可能性がある。そこ で、図 22に示すように、すべての識別マーク近傍領域を同様に複数の区画に分割し 、重心算出に適する区画のみを選択することで期待する重心を求めることができる。
[0120] 識別マーク近傍領域 kの区赚における部分画像 (i, j)毎に、式 (29) - (31)と 同様に、 0次モーメント m および i方向と j方向の 1次モーメント m 0^, m 0^を求
0 i j めておく。
[0121] 重心算出に適する区画を選択するためには、たとえば、図 23に示すような識別マ ーク近傍領域間の一定条件を満たした選択候補区画の一致を考える。
[0122] 区画 1を選択候補とする条件として、識別マーク近傍領域が n個の区画に分割され る場合、区画 1を含む識別マーク近傍領域 kの 0次モーメント m (k)と区画数 n〖こよる関
0
数値 f (m (k), n)が、区画 1の 0次モーメント m (k' ΰを下回ることなどが挙げられる。この
0 0
f (m, n)は、たとえば f =mZan (aは任意の定数）とできる力 識別マーク像を一定率 以上含む区画が選択候補となるように決定される。
[0123] すべての識別マーク近傍領域が、撮影画像上である程度同一方向に移動するなら ば、図 23のとおり、複数の識別マーク近傍領域間の同一区画で識別マーク像を一定 率以上含むものが選択候補とされることを期待できる。
[0124] このように複数領域間で一致する選択候補区画のみを選択すれば、ノイズ成分を 含む区画を良好に排除することができる。
[0125] 以上のとおり選択された区画のみの各モーメントの和をそれぞれ m， (k), m' (k), m
0 i
， とずれば、部分画像 s(k) (i, ;|)の重心8，0£) = [111，（k)/m， (k), m，（k)/m， （k)]Tが j i 0 j 0 新たに得られる。
[0126] 以上までの参照矩形推定処理は、識別マーク抽出処理等と平行して実行すること が可能である。
[0127] [識別マーク整合…ステップ 518, 519]
整合部 334は、直前に抽出または推定された参照矩形の各頂点位置と、現画像か ら抽出された参照矩形の各頂点 (重心)位置との対応付けを試みる。
[0128] 識別マークが 4点の場合は、現画像で参照矩形が抽出されたならばそのまま後段 の処理に出力する (ステップ 518)。参照矩形の抽出に失敗したがー部の参照矩形 頂点が抽出できた場合、整合部 334は、それら頂点を、それぞれ直前に抽出または 推定された参照矩形の各頂点のうち最も近くに存在する頂点に対応させ、それらの みを出力する (ステップ 519)。すべての頂点の抽出に失敗した場合は出力なしとす る。
[0129] 識別マークが 2点の場合は、現画像で参照矩形が抽出されたならばそのまま後段 の処理に出力する (ステップ 518)。参照矩形の抽出に失敗した場合は出力なしとす る。
[0130] [参照矩形推定…ステップ 520]
推定部 335は、抽出された参照矩形の一部または全部と部分画像 s(k) (i, j)の重心 g(k) (g' (k))とにより現画像における参照矩形を推定する。
[0131] 識別マークが 4点の場合は、参照矩形の抽出に成功しているならばそのままそれを 参照矩形とする。一部の参照矩形頂点のみが抽出されている場合もしくはすべての 頂点の抽出に失敗している場合は、抽出に失敗した頂点の識別マーク近傍領域 kか ら求められた重心 g(k) (g' (k))を当該頂点と推定する。その推定した頂点と抽出に成 功した頂点とをもって参照矩形とする。
[0132] 識別マークが 2点の場合は、参照矩形の抽出に成功しているならば求められた 2つ の重心間の差分ベクトル自身の内積 G= (g(1) -g(0)) · (g(1)— gW)と参照矩形の各 頂点 Vと重心 ほたは g(1))とで決定する式 (26)の参照矩形頂点推定係数行列 V を求めて記憶する (表記簡略化のため g ' (k)を割愛して ヽる)。
[数 33] r (o))
(v, - g (0)) - (g(1) - detL(v, -g(0)) (1) (33) し g J 参照矩形の抽出に失敗している場合、現画像より求められた 2つの重心間の差分 ベクトル g=g(1)— g(C>)と、直前に求められた Gおよび により、式（34)のとおり各頂点 を推定する。
[数 34]
1 (0)
G (34) det[ , g]
[0134] [効果]
以上のような本実施形態によれば、上記の第 1の実施形態の効果に加えて、以下 のような効果が得られる。すなわち、現画像で参照矩形の抽出に失敗したとしても、 直前の参照矩形の抽出もしくは推定に成功している場合には、一連の参照矩形推定 処理により、現画像における参照矩形を良好に推定可能となり、要求される指示位置 検出結果を得られる。
[0135] また、識別マーク 102や撮像部 203の高速移動による像のぶれはもちろん、他の何 らかの原因により参照矩形の抽出に失敗した場合においても、本機能は良好に参照 矩形を推定できることは自明であり、指示位置検出の成功率は従来よりも向上する。 たとえば、一時的な光量不足により識別マーク 102の認識に失敗した場合において も指示位置検出に成功する。したがって、高価な高速度対応型の撮像素子が必ずし も必要とならず、普及型の撮像素子を用いて製品コストを抑えることが可能となる。ま た、カメラの動作可能距離範囲の拡大にもつながる。
[0136] また、直前の参照矩形に基づいて算出された識別マーク 102の近傍領域を対象と して、背景光を遮断し、識別マーク 102の重心を推定して、これにより参照矩形を推 定できるので、処理すべきデータ量を低減した高速化を図りつつ、より高い確度によ つて良好な参照矩形が推定できる。そして、推定できない重心があっても、直前の参 照矩形に基づ 、て頂点を推定できるので、参照矩形が得られる可能性が高まる。
[0137] [他の実施形態]
本発明は上記の実施形態に限定されるものではない。上記の説明は、本発明が目 的とするところを実現できるその他の実施形態に対する説明としても容易に読み替え ることができる。また、図 2及び図 17に示した機能ブロック図は、概念的なものであり、 これらの機能を実現する具体的な回路は種々考えられ、特定のものには限定されな い。また、本発明は、上記の処理に対応してコンピュータ及び周辺回路を動作させる 方法、プログラムとしても把握できる。ハードウェア処理によって実現する範囲とソフト ウェア処理によって実現する範囲も自由である。ディスプレイも、 CRT、 LCD以外の 現在又は将来において利用可能なあらゆるものを適用可能である。
[0138] また、本発明の用途としては、射撃型のゲームには限定されない。たとえば、射撃 型以外の釣り、フェンシング、消防活動などのゲーム、ゲーム以外のプレゼンテーシ ヨンシステム、会議システム、テレビジョンのリモートコントローラ、照明のオン Zオフ、 ブラインド開閉などのリモートコントローラ、倉庫や書庫の管理システムなどに適用可 能である。したがって、指示対象となる平面は、ディスプレイには限定されず、スクリー ン、パネル、壁面その他あらゆるものが利用できる。

Claims

請求の範囲
[1] 指示対象平面側に配設された識別マークをカメラレンズを介して撮像する撮像部と 前記撮像部が撮像した画像から、幾何学図形像を抽出する識別マーク抽出部と、 前記幾何学図形像における特定の点を結ぶことにより形成される参照矩形像を抽 出する参照矩形抽出部と、
前記参照矩形像により特定される座標系に基づいて、前記指示対象平面に対する 前記撮像部のカメラレンズの焦点距離を算出する焦点距離算出部と、
前記座標系及び前記焦点距離に基づ!/ヽて、前記指示対象平面に対する前記撮像 部の指示位置を算出する指示位置算出部と、
を有することを特徴とする位置情報検出装置。
[2] 指示対象平面側に配設された識別マークをカメラレンズを介して撮像する撮像部と 前記撮像部が撮像した画像から、幾何学図形像を抽出する識別マーク抽出部と、 前記幾何学図形像における特定の点を結ぶことにより形成される参照矩形像を抽 出する参照矩形抽出部と、
前記参照矩形抽出部により抽出された参照矩形像を記憶する参照矩形記憶部と、 前記参照矩形像により特定される座標系に基づいて、前記指示対象平面に対する 前記撮像部のカメラレンズの焦点距離を算出する焦点距離算出部と、
前記座標系及び前記焦点距離に基づ!ヽて、前記指示対象平面に対する前記撮像 部の指示位置を算出する指示位置算出部と、
前記識別マーク抽出部による識別マークの抽出ができない場合に、前記参照矩形 記憶部に記憶された参照矩形像に基づいて、参照矩形像を推定する参照矩形推定 部と、
を有することを特徴とする位置情報検出装置。
[3] 前記参照矩形推定部は、
前記参照矩形記憶部に記憶された参照矩形像に基づいて、識別マークの近傍領 域を算出する領域算出部と、 前記近傍領域において遮断すべき背景光を検出する背景光検出部と、 前記背景光検出部による検出結果に基づいて、前記近傍領域における識別マー クの重心を推定する重心推定部と、
前記重心推定部により推定された重心に基づいて、参照矩形像を推定する推定部 と、
を有することを特徴とする請求項 2記載の位置情報検出装置。
[4] 前記推定部による推定のために、前記重心推定部により推定された重心と、前記 参照矩形記憶部に記憶された参照矩形像との対応付けを行う整合部を有することを 特徴とする請求項 2又は請求項 3記載の位置情報検出装置。
[5] 前記座標系及び前記焦点距離に基づいて、前記指示対象平面を基準に張った 3 次元の座標系における前記撮像部の相対位置を算出する撮像部位置算出部を有 することを特徴とする請求項 1又は請求項 2記載の位置情報検出装置。
[6] 前記撮像部の回転の前後における前記座標系に基づ!、て、前記撮像部の回転角 を算出する回転角算出部を有することを特徴とする請求項 1又は請求項 2記載の位 置情報検出装置。
[7] 前記特定の点は、前記識別マークに設けられた複数の幾何学的図形の重心である ことを特徴とする請求項 1又は請求項 2記載の位置情報検出装置。
[8] 前記識別マークは、前記撮像部が撮像して得られた画像から、前記幾何学的図形 を識別可能とする光源を有することを特徴とする請求項 1又は請求項 2記載の位置 情報検出装置。
[9] 前記撮像部は、前記識別マークに光を照射する投光部を有することを特徴とする 請求項 1又は請求項 2記載の位置情報検出装置。
[10] 前記撮像部、前記識別マーク抽出部、前記参照矩形抽出部、前記参照矩形記憶 部、前記焦点距離算出部、前記指示位置算出部及び前記参照矩形推定部が一体 的に構成されていることを特徴とする請求項 1又は請求項 2記載の位置情報検出装 置。
[11] 撮像部が、指示対象平面側に配設された識別マークをカメラレンズを介して撮像し 識別マーク抽出部が、撮像部により撮像された画像から、幾何学図形像を抽出し、 参照矩形抽出部が、前記幾何学図形像における特定の点を結ぶことにより形成さ れる参照矩形像を抽出し、
焦点距離算出部が、前記参照矩形像により特定される座標系に基づいて、前記指 示対象平面に対する前記撮像部のカメラレンズの焦点距離を算出し、
指示位置算出部が、前記座標系及び前記焦点距離に基づいて、前記指示対象平 面に対する前記撮像部の指示位置を算出することを特徴とする位置情報検出方法。
[12] 撮像部が、指示対象平面側に配設された識別マークをカメラレンズを介して撮像し 識別マーク抽出部が、撮像部により撮像された画像から、幾何学図形像を抽出し、 参照矩形抽出部が、前記幾何学図形像における特定の点を結ぶことにより形成さ れる参照矩形像を抽出し、
参照矩形記憶部が、前記参照矩形抽出部により抽出された参照矩形像を記憶し、 焦点距離算出部が、前記参照矩形像により特定される座標系に基づいて、前記指 示対象平面に対する前記撮像部のカメラレンズの焦点距離を算出し、
指示位置算出部が、前記座標系及び前記焦点距離に基づいて、前記指示対象平 面に対する前記撮像部の指示位置を算出し、
参照矩形推定部が、前記識別マーク抽出部による識別マークの抽出ができない場 合に、前記参照矩形記憶部に記憶された参照矩形像に基づいて、参照矩形像を推 定することを特徴とする位置情報検出方法。
[13] 撮像部が接続されたコンピュータにより実行可能な位置情報検出プログラムにおい て、
撮像部に、指示対象平面側に配設された識別マークをカメラレンズを介して撮像さ せ、
撮像部により撮像された画像から、幾何学図形像を抽出させ、
前記幾何学図形像における特定の点を結ぶことにより形成される参照矩形像を抽 出させ、
前記参照矩形像により特定される座標系に基づいて、前記指示対象平面に対する 前記撮像部のカメラレンズの焦点距離を算出させ、
前記座標系及び前記焦点距離に基づ!ヽて、前記指示対象平面に対する前記撮像 部の指示位置を算出させることを特徴とする位置情報検出プログラム。
撮像部が接続されたコンピュータにより実行可能な位置情報検出プログラムにおい て、
撮像部に、指示対象平面側に配設された識別マークをカメラレンズを介して撮像さ せ、
撮像部により撮像された画像から、幾何学図形像を抽出させ、
前記幾何学図形像における特定の点を結ぶことにより形成される参照矩形像を抽 出させ、
前記参照矩形像を記憶させ、
前記参照矩形像により特定される座標系に基づいて、前記指示対象平面に対する 前記撮像部のカメラレンズの焦点距離を算出させ、
前記座標系及び前記焦点距離に基づ!ヽて、前記指示対象平面に対する前記撮像 部の指示位置を算出させ、
識別マークの抽出ができない場合に、記憶された参照矩形像に基づいて、参照矩 形像を推定させることを特徴とする位置情報検出プログラム。
PCT/JP2006/319056 2005-09-27 2006-09-26 位置情報検出装置、位置情報検出方法及び位置情報検出プログラム WO2007037227A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007537621A JP4885867B2 (ja) 2005-09-27 2006-09-26 位置情報検出装置、位置情報検出方法及び位置情報検出プログラム
US12/067,760 US8441440B2 (en) 2005-09-27 2006-09-26 Position information detection device, position information detection method, and position information detection program
EP06810581A EP1936477A4 (en) 2005-09-27 2006-09-26 POSITION INFORMATION DETECTING DEVICE, POSITION INFORMATION DETECTING METHOD, AND POSITION INFORMATION DETECTING PROGRAM

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2005279173 2005-09-27
JP2005-279173 2005-09-27
JP2006-194920 2006-07-14
JP2006194920 2006-07-14

Publications (1)

Publication Number Publication Date
WO2007037227A1 true WO2007037227A1 (ja) 2007-04-05

Family

ID=37899653

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/319056 WO2007037227A1 (ja) 2005-09-27 2006-09-26 位置情報検出装置、位置情報検出方法及び位置情報検出プログラム

Country Status (4)

Country Link
US (1) US8441440B2 (ja)
EP (1) EP1936477A4 (ja)
JP (1) JP4885867B2 (ja)
WO (1) WO2007037227A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5089060B2 (ja) * 2006-03-14 2012-12-05 株式会社ソニー・コンピュータエンタテインメント エンタテインメントシステムおよびゲームコントローラ
US9364755B1 (en) 2006-05-08 2016-06-14 Nintendo Co., Ltd. Methods and apparatus for using illumination marks for spatial pointing
US8384665B1 (en) * 2006-07-14 2013-02-26 Ailive, Inc. Method and system for making a selection in 3D virtual environment
US20080170033A1 (en) * 2007-01-15 2008-07-17 International Business Machines Corporation Virtual pointer
TW200906468A (en) * 2007-08-14 2009-02-16 Sunplus Mmedia Inc Coordinate positioning system with function of suspended-in-midair positioning and method thereof
US8368753B2 (en) * 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera
US20110055703A1 (en) * 2009-09-03 2011-03-03 Niklas Lundback Spatial Apportioning of Audio in a Large Scale Multi-User, Multi-Touch System
US8672763B2 (en) 2009-11-20 2014-03-18 Sony Computer Entertainment Inc. Controller for interfacing with a computing program using position, orientation, or motion
TWI423177B (zh) * 2011-07-19 2014-01-11 Pixart Imaging Inc 光學遙控系統
CN103456150A (zh) * 2012-05-30 2013-12-18 华硕电脑股份有限公司 遥控系统及其遥控方法
TW201610750A (zh) * 2014-09-03 2016-03-16 Liquid3D Solutions Ltd 可與３ｄ影像互動之手勢控制系統
CN105574161B (zh) * 2015-12-15 2017-09-26 徐庆 一种商标图形要素识别方法、装置和系统
US11273367B1 (en) * 2019-09-24 2022-03-15 Wayne Hughes Beckett Non-CRT pointing device
TWI720869B (zh) * 2020-04-15 2021-03-01 致伸科技股份有限公司 相機模組之對位方法
CN115218918B (zh) * 2022-09-20 2022-12-27 上海仙工智能科技有限公司 一种智能导盲方法及导盲设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11305935A (ja) 1998-04-24 1999-11-05 Image Tec Kk 位置検出システム
JP2003058317A (ja) * 2001-08-09 2003-02-28 Konami Co Ltd 指向位置検出用マーカ、指向位置検出装置及び射的ゲーム装置
JP3422383B2 (ja) 1994-09-05 2003-06-30 株式会社タイトー 射撃ゲーム装置におけるビデオ画面とガンの相対位置を検出する方法及び装置
JP2004139155A (ja) 2002-10-15 2004-05-13 Tamura Seisakusho Co Ltd 指定位置特定装置、その方法およびそのプログラム
JP2005165700A (ja) * 2003-12-03 2005-06-23 Tamura Seisakusho Co Ltd マークユニット

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5502459A (en) * 1989-11-07 1996-03-26 Proxima Corporation Optical auxiliary input arrangement and method of using same
JP2903964B2 (ja) 1993-09-29 1999-06-14 株式会社デンソー 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
JP2681454B2 (ja) * 1995-02-21 1997-11-26 コナミ株式会社 射的ゲーム装置
US7102616B1 (en) * 1999-03-05 2006-09-05 Microsoft Corporation Remote control device with pointing capacity
US6852032B2 (en) * 2000-12-06 2005-02-08 Nikon Corporation Game machine, method of performing game and computer-readable medium
US20030199324A1 (en) * 2002-04-23 2003-10-23 Xiaoling Wang Apparatus and a method for more realistic shooting video games on computers or similar devices using visible or invisible light
US20040095317A1 (en) * 2002-11-20 2004-05-20 Jingxi Zhang Method and apparatus of universal remote pointing control for home entertainment system and computer
US20040266528A1 (en) * 2003-06-27 2004-12-30 Xiaoling Wang Apparatus and a method for more realistic video games on computers or similar devices using visible or invisible light and a light sensing device
US7852317B2 (en) * 2005-01-12 2010-12-14 Thinkoptics, Inc. Handheld device for handheld vision based absolute pointing system
KR100714722B1 (ko) * 2005-06-17 2007-05-04 삼성전자주식회사 광원의 신호를 사용하여 포인팅 사용자 인터페이스를구현하는 장치 및 방법
US7486274B2 (en) * 2005-08-18 2009-02-03 Mitsubishi Electric Research Laboratories, Inc. Method for stabilizing and precisely locating pointers generated by handheld direct pointing devices
TW200907764A (en) * 2007-08-01 2009-02-16 Unique Instr Co Ltd Three-dimensional virtual input and simulation apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3422383B2 (ja) 1994-09-05 2003-06-30 株式会社タイトー 射撃ゲーム装置におけるビデオ画面とガンの相対位置を検出する方法及び装置
JPH11305935A (ja) 1998-04-24 1999-11-05 Image Tec Kk 位置検出システム
JP2003058317A (ja) * 2001-08-09 2003-02-28 Konami Co Ltd 指向位置検出用マーカ、指向位置検出装置及び射的ゲーム装置
JP2004139155A (ja) 2002-10-15 2004-05-13 Tamura Seisakusho Co Ltd 指定位置特定装置、その方法およびそのプログラム
JP2005165700A (ja) * 2003-12-03 2005-06-23 Tamura Seisakusho Co Ltd マークユニット

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1936477A4

Also Published As

Publication number Publication date
EP1936477A4 (en) 2010-11-17
US20100253622A1 (en) 2010-10-07
EP1936477A1 (en) 2008-06-25
JPWO2007037227A1 (ja) 2009-04-09
JP4885867B2 (ja) 2012-02-29
US8441440B2 (en) 2013-05-14

Similar Documents

Publication Publication Date Title
WO2007037227A1 (ja) 位置情報検出装置、位置情報検出方法及び位置情報検出プログラム
KR102261020B1 (ko) 개선된 카메라 캘리브레이션 시스템, 타겟 및 프로세스
CN112689135B (zh) 投影校正方法、装置、存储介质及电子设备
US8791901B2 (en) Object tracking with projected reference patterns
JP5921271B2 (ja) 物体測定装置、及び物体測定方法
US9210404B2 (en) Calibration and registration of camera arrays using a single circular grid optical target
CN102572505B (zh) 用于校准深度图像传感器的方法和系统
US8599317B2 (en) Scene recognition methods for virtual insertions
US8605987B2 (en) Object-based 3-dimensional stereo information generation apparatus and method, and interactive system using the same
JP2008537190A (ja) 赤外線パターンを照射することによる対象物の三次元像の生成
US20140168367A1 (en) Calibrating visual sensors using homography operators
JP2013042411A (ja) 画像処理装置、その画像処理装置を有するプロジェクタ及びプロジェクタシステム、並びに、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体
JP2007036482A (ja) 情報投影表示装置およびプログラム
JP4908523B2 (ja) 位置情報検出装置、位置情報検出方法及び位置情報検出プログラム
US11913768B2 (en) Estimating tracking sensor parametrization using known surface constraints
JP2001148025A (ja) 位置検出装置及びその方法、平面姿勢検出装置及びその方法
JP2004132831A (ja) 球体の回転特性と飛行特性の測定方法及び球体の回転特性と飛行特性の測定装置
US20110273443A1 (en) System and a method for three-dimensional modeling of a three-dimensional scene features
JP4024124B2 (ja) 位置特定装置、その方法およびそのプログラム
CN109738157A (zh) 结构光投影器的视场角检测方法、装置及可读存储介质
WO2022050279A1 (ja) 三次元計測装置
Abbaspour Tehrani et al. A practical method for fully automatic intrinsic camera calibration using directionally encoded light
JP4741943B2 (ja) 検査装置及び検査方法
WO2021037326A1 (en) System and process for optical detection and measurement of arrow positions
JP7312594B2 (ja) キャリブレーション用チャートおよびキャリブレーション用器具

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
ENP Entry into the national phase

Ref document number: 2007537621

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2006810581

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2006810581

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 12067760

Country of ref document: US