WO2016125714A1 - 撮像装置、情報処理システム、マット、および画像生成方法 - Google Patents

撮像装置、情報処理システム、マット、および画像生成方法 Download PDF

Info

Publication number
WO2016125714A1
WO2016125714A1 PCT/JP2016/052777 JP2016052777W WO2016125714A1 WO 2016125714 A1 WO2016125714 A1 WO 2016125714A1 JP 2016052777 W JP2016052777 W JP 2016052777W WO 2016125714 A1 WO2016125714 A1 WO 2016125714A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
color
data
luminance
real object
Prior art date
Application number
PCT/JP2016/052777
Other languages
English (en)
French (fr)
Inventor
英彦 小笠原
永塚　仁夫
直紀 沼口
博之 勢川
大場　章男
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to EP16746545.9A priority Critical patent/EP3255885B1/en
Priority to US15/547,707 priority patent/US10477175B2/en
Publication of WO2016125714A1 publication Critical patent/WO2016125714A1/ja
Priority to US16/594,982 priority patent/US10869010B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/32—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H33/00—Other toys
    • A63H33/22—Optical, colour, or shadow toys
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4076—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on references outside the picture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4076—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on references outside the picture
    • H04N1/4078—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on references outside the picture using gradational references, e.g. grey-scale test pattern analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/82—Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction
    • H04N23/83—Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction specially adapted for colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H2200/00—Computerized interactive toys, e.g. dolls
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H33/00—Other toys
    • A63H33/04—Building blocks, strips, or similar building parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging

Definitions

  • the present invention relates to an information processing system that performs information processing including recognition of a real object using a captured image, an imaging device included therein, a mat, and an image generation method used.
  • toys that can assemble a three-dimensional object by connecting a plurality of blocks and parts are known.
  • blocks with basic shapes such as cubes and rectangular parallelepipeds that can be freely assembled according to the user's idea, and dedicated blocks and parts formed to assemble a presumed solid object according to the design drawing.
  • a technique in which a computer recognizes the movement and shape change of an object in real space and performs some information processing is expected to be applied to toys and learning materials (for example, see Patent Document 1 and Non-Patent Document 1). ).
  • the color of the object is important information.
  • the color of the image of the object in the captured image may change, preventing correct recognition. For example, even if the same object is used, it may be recognized as a different object depending on the case, or when a subtle color difference can be distinguished from when it cannot be distinguished, the recognition accuracy becomes unstable, and the subsequent processing It may be a hindrance.
  • the present invention has been made in view of such problems, and an object of the present invention is to provide a technique capable of stably and accurately realizing information processing including recognition of a real object using a captured image.
  • an aspect of the present invention relates to an imaging apparatus.
  • This imaging device is an imaging device that outputs captured image data used for recognition of a real object, and generates output captured image data from raw image data captured using an imaging device.
  • An image generation unit an adjustment processing unit that evaluates a captured image and adjusts at least one of a shooting condition in the image sensor and a processing condition in the output image generation unit, and outputs the captured image data to a device that recognizes a real object
  • An adjustment processing unit based on color information of an image of a calibration chart composed of a plurality of color regions having different luminances provided in a space to be recognized. The condition is adjusted.
  • the information processing system includes an imaging device that outputs data of a captured image obtained by capturing a real object, and an information processing device that recognizes the real object using the captured image.
  • An output image generation unit that generates data of a captured image to be output from raw image data captured using the image sensor, and a shooting condition in the image sensor and a processing condition in the output image generation unit that evaluates the captured image.
  • An adjustment processing unit that adjusts at least one of the data, and a data transmission unit that outputs captured image data to the information processing apparatus, and the adjustment processing unit includes a plurality of different brightnesses provided in a space to be recognized.
  • the information processing apparatus adjusts the shooting conditions and the processing conditions based on color information of an image of a calibration chart composed of color regions. And color information of an image, recognizes the block by comparing the color information of the registered real object, and performs a process that is set for the block.
  • Still another embodiment of the present invention relates to a mat.
  • This mat is a mat placed in a subject space in an information processing system that recognizes a real object based on color information of an image in a captured image, and a bottom area of a space in which the real object is recognized by inserting the real object And a processing when the imaging device generates shooting condition data and output shot image data based on the color information of the image in the shot image. And a calibration chart for adjusting at least one of the conditions.
  • Still another embodiment of the present invention relates to an image generation method.
  • This image generation method is an image generation method in which an imaging device generates captured image data used for real object recognition, and is a captured image that is output from raw image data captured using an image sensor. Generating at least one of the following: a step of evaluating the photographed image and adjusting at least one of the photographing condition in the image sensor and the processing condition in the generating step; and outputting the photographed image data to a device that recognizes the real object And adjusting the image capturing condition and the processing condition based on the color information of the image of the calibration chart composed of a plurality of color regions having different luminances provided in the space to be recognized. It is characterized by adjusting.
  • information processing including recognition of a real object using a captured image can be performed stably and with high accuracy.
  • FIG. 6 is a flowchart showing a processing procedure for adjusting an exposure time, a gain value, and a correction rule at the time of gamma correction in S12 of FIG. 6 is a flowchart showing a processing procedure for adjusting an exposure time, a gain value, and a correction rule at the time of gamma correction in S12 of FIG. It is a figure for demonstrating the white balance adjustment made in this Embodiment. It is a figure which shows the change of a pixel value when white balance is adjusted about several area
  • FIG. 9 is a diagram for explaining processing for adjusting an exposure time and a gain value in S32 to S38 of FIG. FIG.
  • FIG. 10 is a diagram for explaining processing for adjusting correction rules in a gamma correction unit in S44 to S46 of FIG. 9; It is a figure for demonstrating the method of adjusting a correction curve based on the color distribution of a block in this Embodiment. It is a figure for demonstrating the method of adjusting the gain value of RGB using a color chart in this Embodiment. It is a figure which shows the modification of the playmat in this Embodiment.
  • FIG. 1 shows a configuration example of an information processing system to which this embodiment can be applied.
  • the information processing system 1 recognizes blocks on the basis of captured images, blocks 20a, 20b, and 20c placed on the play mat 18, the imaging device 12 that captures the space on the play mat 18, and performs information processing according to the result.
  • the information processing apparatus 10 to perform, the input device 14 which receives user operation with respect to the information processing apparatus 10, and the display apparatus 16 which outputs the result of information processing as an image are included.
  • the play mat 18 includes a play field 100, which is an area where blocks 20a, 20b, and 20c to be recognized are placed, and a calibration chart 102 for determining shooting conditions and image adjustment / correction conditions in the imaging device 12.
  • the material of the play mat 18 may be any of paper, board, cloth, vinyl, etc. and is not particularly limited. Also, the shape is not particularly limited, and may be a quadrangle as shown or a polygon other than that, or a shape surrounded by a curve such as a circle or an ellipse. You may have other uses, such as a desk top board and a game board.
  • the play field 100 and the calibration chart 102 are typically areas and figures printed on the play mat 18, but a separately prepared object is attached to or placed on a plane constituting the play mat 18. Also good.
  • the blocks 20a, 20b, and 20c are, in the simplest, a general “block” such as a cube or a rectangular parallelepiped as shown in the figure, but the shape and function are not limited as long as the object exists in real space.
  • it may be a more complicated shape such as a doll or minicar in the real world, its parts, game pieces, etc.
  • the size, material, color, number used, etc. are not limited.
  • it is good also as a structure which can be assembled or disassembled by a user, and a finished product may be sufficient.
  • it may have a communication mechanism that establishes communication with the input device 14 or the information processing device 10, a computer, a mechanism that is driven by a user operation via the input device 14 or control of the information processing device 10, and the like. It is not necessary to have any such mechanism.
  • the imaging device 12 is a video camera having an imaging device such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor), and images the space on the play mat 18 and supplies the image to the information processing device 10.
  • the imaging device 12 may be a monocular camera as shown in the figure, or may be a stereo camera including two cameras that capture the same space from left and right positions having a known interval.
  • the display device 16 may be a general display such as a liquid crystal display, a plasma display, or an organic EL display. Moreover, the television which integrally provided the display apparatus 16 and the speaker which is not shown in figure may be sufficient.
  • the input device 14 accepts requests for processing start, end, function selection, various command inputs, and the like, and supplies them to the information processing device 10 as electrical signals.
  • the input device 14 may be a general input device such as a game controller, a keyboard, a mouse, a joystick, a touch pad provided on the screen of the display device 16, or a combination thereof.
  • the information processing apparatus 10 may be a game device or a personal computer, for example, and may implement an information processing function by loading a necessary application program.
  • the information processing apparatus 10 detects or tracks the blocks 20a, 20b, and 20c on the play field 100. Therefore, the information processing apparatus 10 acquires a moving image captured by the imaging apparatus 12 at a predetermined frame rate, extracts a block image from the image, and recognizes it. Thereafter, as the user moves the block with the hand or the input device 14 or the information processing device 10 itself controls the movement, the change in the position is tracked. If the block shape is variable, the shape change is also tracked.
  • the information processing apparatus 10 may perform some information processing using the block detection result and the tracking result, but the content is not particularly limited.
  • a moving image in which an additional object is drawn on a block image among moving images captured by the imaging device 12 or a block is replaced with a corresponding object may be displayed on the display device 16.
  • the game may be progressed in accordance with the position of the block, and a game screen representing the contents may be displayed on the display device 16 or sound effects and sound may be output from a speaker (not shown).
  • connection between the information processing device 10 and the imaging device 12, the input device 14, and the display device 16 may be wired or wireless, and may be via various networks. Alternatively, any two of them or all of them may be combined and equipped integrally. Further, depending on processing to be performed by the information processing apparatus 10 at a later stage, a speaker or a microphone may be further connected, or the input device 14 and the display device 16 may not be provided. As described above, the input device and the output device other than the imaging device 12 can be appropriately combined in the information processing system 1.
  • FIG. 2 shows an internal circuit configuration of the information processing apparatus 10.
  • the information processing apparatus 10 includes a CPU (Central Processing Unit) 22, a GPU (Graphics Processing Unit) 24, and a main memory 26.
  • the CPU 22 controls processing and signal transmission in the components inside the information processing apparatus 10 based on programs such as an operating system and applications.
  • the GPU 24 performs image processing.
  • the main memory 26 is composed of RAM (Random Access Memory) and stores programs and data necessary for processing.
  • the input / output interface 28 includes a peripheral device interface such as USB and IEEE1394, a communication unit 32 including a wired or wireless LAN network interface, a storage unit 34 such as a hard disk drive or a nonvolatile memory, an output of the display device 16 or a speaker.
  • An output unit 36 for outputting data to the apparatus, an input unit 38 for inputting data from the imaging device 12 or the input device 14, and a recording medium driving unit 40 for driving a removable recording medium such as a magnetic disk, an optical disk or a semiconductor memory are connected. .
  • the CPU 22 controls the entire information processing apparatus 10 by executing an operating system stored in the storage unit 34.
  • the CPU 22 also executes various programs read from the removable recording medium and loaded into the main memory 26 or downloaded via the communication unit 32.
  • the GPU 24 has a function of a geometry engine and a function of a rendering processor, performs drawing processing according to a drawing command from the CPU 22, and stores a display image in a frame buffer (not shown).
  • the display image stored in the frame buffer is converted into a video signal and output to the output unit 36.
  • FIG. 3 shows a functional block configuration of the information processing apparatus 10.
  • Each functional block shown in FIG. 3 and FIG. 4 to be described later is, in terms of hardware, CPU, GPU, main memory, output unit, input unit, microcomputer, various arithmetic circuits, buffer memory, etc. as shown in FIG.
  • In terms of software it can be realized by a computer program loaded from a hard disk or a recording medium into the main memory. Therefore, it is understood by those skilled in the art that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof, and is not limited to any one.
  • the information processing apparatus 10 includes an input information acquisition unit 52 that acquires information related to a user operation received by the input device 14, a captured image acquisition unit 54 that acquires captured image data from the imaging device 12, and a detection unit that detects a block 60, a recognition unit 62 that recognizes a detected block, an output data generation unit 70 that generates output data in accordance with the position and movement of the block, and an image data storage unit that stores image data used for processing such as a captured image and a depth image 72 and a block database 64 that stores basic information of the block.
  • the information processing apparatus 10 may further be appropriately provided with functional blocks corresponding to the contents of information processing performed using the block state, such as a functional block for controlling the drive mechanism inside the block.
  • the input information acquisition unit 52 notifies the captured image acquisition unit 54 and the output data generation unit 70 of the content of the operation performed by the user via the input device 14.
  • This operation includes a request for starting and ending information processing such as a game, and a command input in the middle of processing.
  • the process start / end request is also notified to the image capturing apparatus 12 via the captured image acquisition unit 54, thereby controlling the start / end of moving image capturing in the image capturing apparatus 12.
  • the captured image acquisition unit 54 acquires frame data of a moving image obtained as a result of shooting at a predetermined rate.
  • the predetermined rate may be a frame rate of a moving image taken by the imaging device 12, or a smaller rate.
  • the captured image acquisition unit 54 stores the acquired captured image data in the image data storage unit 72.
  • the detection unit 60 reads the captured image data from the image data storage unit 72, and detects or tracks blocks on the play field 100 based on the image on the image. For example, it is recognized that a block is placed based on the difference between a captured image in which no block is placed and each frame image in the moving image being shot. If the color of the play field 100 is known, an image having a color different from that can be detected as a block. Once a block is detected, its movement can be tracked by comparison with the previous frame image. Various techniques for tracking the movement of an object in an image have been proposed, and any of these may be employed in the present embodiment.
  • the imaging device 12 may be configured by a stereo camera, and the block may be detected by depth information from the camera in the subject space. That is, from the depth information of each subject obtained by the stereo camera, the position and height of the subject in a three-dimensional space with the play field 100 as the bottom surface are acquired by coordinate transformation. If there is an object whose height from the surface of the play field 100 exceeds a predetermined threshold, it is detected as a block.
  • a technique for acquiring depth information of a subject using a stereo camera is widely known.
  • the play field 100 defines the bottom surface of the three-dimensional space to be detected, and regardless of whether the play field 100 is placed on the play field 100, a block in the space above it can be detected.
  • the detection unit 60 When the block is detected, the detection unit 60 notifies the recognition unit 62 of the fact along with the positional information of the image on the image of the block.
  • the detection unit 60 sequentially supplies the tracking result of the detected block, that is, the position information for each frame, to the output data generation unit 70 until the block comes out of the play field 100.
  • the recognition unit 62 uses the captured image read from the image data storage unit 72 to acquire the appearance feature of the block that exists at the position notified from the detection unit 60.
  • the block database 64 stores information associating block identification numbers, appearance features such as colors and shapes, data to be output according to the position and movement, and the like.
  • the recognition unit 62 notifies the output data generation unit 70 of the block identification number obtained in this way and the position information in the image of the block in association with each other.
  • the output data generation unit 70 generates image data to be output according to the position and movement of the block and outputs the data to the display device 16. Therefore, the output data generation unit 70 continues to acquire block position information from the detection unit 60 and refers to the block database 64 based on the identification number of the block notified from the recognition unit 62 to perform processing to be performed. decide. For example, an object associated with a block is drawn at a position on the captured image of the block, or a captured image is processed according to the positional relationship with other blocks.
  • the output data generation unit 70 reads the captured image from the image data storage unit 72 and performs a corresponding process.
  • the specific contents of the information processing are not limited as described above, and the processing using the captured image is not necessarily required.
  • sound data such as sound effects may be generated.
  • the block database 64 in association with the block identification number, data of an image to be drawn at the position of the block in the captured image, a program for defining processing to be performed according to the motion, and the like are also stored.
  • the block placed on the play field 100 is recognized based on the image taken by the imaging device 12, and information processing corresponding to the block is performed.
  • color information is important along with the shape and size of the block.
  • the calibration chart 102 is provided in the play mat 18, and the shooting conditions and the obtained image data are adjusted and corrected for the purpose of improving the block recognition accuracy.
  • FIG. 4 shows a functional block configuration of the imaging apparatus 12.
  • the imaging device 12 includes an imaging unit 80, a gain processing unit 84, an adjustment processing unit 86, a demosaic unit 88, a gamma correction unit 90, and a data transmission unit 92.
  • the imaging unit 80 is configured by an imaging element such as a CCD or a CMOS, and outputs an exposure result as each pixel value of an image at a predetermined timing (for example, 60 times / second).
  • the image output here is a so-called RAW image (raw image) in which each pixel is composed of one color of RGB (red green blue), and is output to the gain processing unit 84 in a predetermined pixel order such as raster order. Is done.
  • the gain processing unit 84 is configured by a variable gain amplification circuit or the like, and the red primary color signal (R value), the green primary color signal (G value), and the blue primary color signal (B value) output from the imaging unit 80 are set to the set gain. After being amplified by the value, it is output to the demosaic unit 88 in raster order.
  • the adjustment processing unit 86 selects at least one of the exposure time of the imaging unit 80 based on the image of the calibration chart 102 in the captured image, the gain value set in the gain processing unit 84, and the pixel value correction rule in the gamma correction unit 90. decide. As will be described later, these may be determined based not only on the calibration chart 102 but also on the actual block image. The determination results are notified to the imaging unit 80, the gain processing unit 84, and the gamma correction unit 90, respectively.
  • the demosaic unit 88 acquires RAW image data in which pixel values are amplified from the gain processing unit 84, and creates a full color image by complementing color information for each pixel based on its surrounding pixels. Execute the process.
  • a known technique can be applied to the demosaic process. For example, for a pixel having only a G value in a RAW image, the R value is an average of the R values adjacent to the left and right, the G value is used as it is, and the B value is the B value located above or below. Use RGB values. The same complementing process is performed for all the pixels so that each pixel has an RGB image having an RGB value. Further, the demosaic unit 88 substitutes this RGB image into a predetermined conversion formula to obtain a YCbCr image.
  • the gamma correction unit 90 generates output image data by correcting the full-color image generated as described above with a predetermined correction formula.
  • the gamma correction unit 90 basically converts pixel values using a known gamma curve so that the color signal output from the image sensor is displayed with an appropriate color balance on the display device.
  • an image corrected with a curve obtained by deforming a gamma curve is used so that similar colors can be distinguished with high accuracy.
  • the gamma correction unit 90 outputs the generated output image data to the adjustment processing unit 86 and the data transmission unit 92.
  • the data transmission unit 92 transmits the data of the output image to the information processing apparatus 10 by a general communication unit.
  • the adjustment processing unit 86 adjusts various parameters in the order as described later, the adjusted output image is acquired from the gamma correction unit 90 and evaluated, thereby performing further adjustment or determining the end of the adjustment. .
  • FIG. 5 is a flowchart illustrating a procedure of information processing including block recognition performed by the imaging device 12 and the information processing device 10. This flowchart is started when the user requests the information processing apparatus 10 to start processing via the input device 14. It is assumed that the imaging device 12 is set by the user so that the entire play mat 18 enters the field of view.
  • the imaging unit 80 of the imaging device 12 starts imaging (S10).
  • a calibration chart 102 is shown.
  • the field of view of the imaging device 12 may be optimized so that the calibration chart 102 is well captured.
  • the information processing apparatus 10 instructs the user to manually adjust the direction or the magnification via the display device 16 or the like.
  • the information processing apparatus 10 may control the field of view of the imaging apparatus 12 using a pantilter or an electronic zoom (not shown) included in the imaging apparatus 12.
  • the information processing apparatus 10 once acquires a captured image and detects a region where the image of the calibration chart 102 exists in the image.
  • the calibration chart 102 may be recognized by the imaging apparatus 12 by notifying the imaging apparatus 12 of the detection result.
  • the adjustment processing unit 86 of the imaging device 12 Based on the captured image of the calibration chart 102 obtained in this way, the adjustment processing unit 86 of the imaging device 12 performs the exposure time in the imaging unit 80, the gain value set in the gain processing unit 84, and the correction in the gamma correction unit 90. At least one of the rules is adjusted (S12).
  • the data transmission unit 92 of the imaging device 12 transmits the adjusted output image data to the information processing device 10.
  • the detection unit 60 of the information processing apparatus 10 monitors whether or not a new block has entered the space on the play field 100 based on the captured image transmitted from the imaging apparatus 12 (S14).
  • the recognition unit 62 acquires color information on the image of the block (S16). Further, the recognizing unit 62 specifies an area where the colors are continuous as an area of the image of the block, and acquires the shape (S18). The recognizing unit 62 refers to the block database 64, specifies the identification number assigned to the block based on the color and shape, and associates the identification number with the image on the image (S20).
  • the identification number is assigned when the block is shipped, but it is not limited to the number and may be a name.
  • the user places a block on the play field 100, selects a name to be assigned to the block, an object to be associated, and the like from a list displayed on the display device 16 or designates it by voice.
  • a mode in which blocks are registered on the spot is also conceivable.
  • the appearance information such as the color of the block and the name designated by the user are stored in the block database 64 in association with each other, so that the registered information is maintained at a later timing.
  • past registration information can be accurately specified by preventing the color of the block image from changing due to external factors.
  • the block database 64 may store object image data, a processing program to be performed in accordance with the motion, and the like in association with a name that can be designated by the user, instead of the block.
  • the detection unit 60 tracks the block image detected in Y of S14 and continuously notifies the output data generation unit 70 of the position information (S22).
  • the output data generation unit 70 performs information processing according to the tracking result based on the block identification number notified from the recognition unit 62, generates output data, and outputs it from the display device 16 or the like (S24). While there is no block in the space on the play field 100 in S14 (N in S14), an initial screen such as a game or a captured image is displayed (S24). While the user does not request the end of processing through the input device 14 (N in S26), when a new block enters the space on the play field 100 (Y in S14), the image and the block identification number are displayed. They are linked and added as tracking targets (S16 to S22).
  • the captured image used for block detection and recognition in S14 to S20 is an image in which various parameters are adjusted by the adjustment processing unit 86 of the imaging device 12 in order to accurately recognize the block.
  • an image that is not subjected to at least a part of such adjustment may be used.
  • the imaging device 12 may transmit data of both the adjusted image and the non-adjusted image to the information processing device 10 as necessary.
  • both data are transmitted simultaneously and used separately within the information processing apparatus 10.
  • the adjusted captured image is transmitted during the initial processing, and thereafter Switch to send unadjusted captured images during operation.
  • the information processing apparatus 10 notifies the imaging apparatus 12 of the switching timing.
  • various parameters in the imaging apparatus are adjusted only in S ⁇ b> 12 using the calibration chart 102.
  • at least a part of the parameters may be adjusted according to the color distribution of blocks actually entered in the space on the play field 100 or blocks registered by the user.
  • the color information acquired in S16 is notified from the information processing apparatus 10 to the imaging apparatus 12, so that the adjustment processing unit 86 of the imaging apparatus 12 records the distribution information of the block color. And make adjustments as necessary.
  • FIG. 6 illustrates a top view of the play mat 18.
  • the play mat 18 includes the play field 100 indicating the area where the user places or moves the block, and the calibration chart 102 for optimizing the shooting conditions and the image adjustment / correction conditions.
  • the play field 100 is preferably an area filled with a color different from that of the block, so that only the image of the block can be extracted with high accuracy on the image.
  • the present embodiment is not limited to this, and a pattern or a picture may be drawn. Further, the shape is not limited to the illustrated one.
  • the calibration chart 102 is composed of a plurality of achromatic regions having different luminances, as shown enlarged below the play mat 18 in FIG. In the case of the same figure, it is composed of four areas: a white area 104, a black area 106, a first gray area 108, and a second gray area 110.
  • the arrangement and size of each region are not limited to this.
  • the number of gray areas that is, the number of intermediate luminance steps is not particularly limited.
  • a chromatic color region may be provided in the calibration chart 102.
  • the adjustment processing unit 86 acquires the data after the gamma correction of the image obtained by photographing the calibration chart 102 from the gamma correction unit 90, the white region 104, the black region 106, the first gray region 108 (or the second gray region 110).
  • the exposure time and the gain value are adjusted in accordance with at least the following policy for each region.
  • the luminance is set to a predetermined target value.
  • the RGB balance is adjusted (white balance adjustment).
  • the adjustment processing unit 86 compares the brightness of at least two of the white region 104, the black region 106, the first gray region 108, and the second gray region 110, and at least the gain value and the gamma correction time are as follows. Adjust the correction rules. (3) Ensure that the difference in brightness is obtained properly
  • FIG. 7 shows a modification of the calibration chart 102.
  • the calibration chart of this example is composed of a gray step region 112 composed of an achromatic region having nine levels of brightness from black to white, and a gray region 114 having a predetermined luminance and a relatively large area.
  • the calibration chart 102 determines the optimum area and the number of steps for accurate adjustment according to the assumed color distribution of the block and the like.
  • the adjustment policy is the same as described above.
  • FIGS. 8 and 9 are flowcharts showing a processing procedure in which the imaging apparatus 12 adjusts the exposure time, the gain value, and the correction rule at the time of gamma correction in S12 of FIG.
  • the RAW image including the image of the calibration chart 102 acquired by the imaging unit 80 as described above becomes an output image through processing in the gain processing unit 84, demosaic unit 88, and gamma correction unit 90.
  • the gamma correction unit 90 supplies the image data to the adjustment processing unit 86.
  • these processes are performed in parallel at a predetermined rate, and as a result, the generated image data is used for adjustment in the adjustment processing unit 86 at an appropriate timing. . Further, any of the illustrated adjustments may be omitted or the order may be changed.
  • the adjustment processing unit 86 performs initial white balance adjustment using the first gray region 108 in the initial photographed image supplied from the gamma correction unit 90 (S30). Specifically, average values R_ave, G_ave, and B_ave of the R value, G value, and B value of the image of the first gray region 108 are calculated, and gain values Gain_R for the R value, G value, and B value are as follows. , Gain_G and Gain_B are determined.
  • Gain_B G_ave / B_ave
  • the shooting environment changes regardless of the color of the block. Even so, it is possible to prevent the luminance and color components from reaching the maximum gradation and being saturated, and the gradation variable range from being reduced.
  • the target value may be a single value or may have a range. In the adjustment, first, the exposure time is adjusted, and the amount that cannot be adjusted by the exposure time is adjusted by the gain value. This is because noise is amplified as the gain value increases, particularly when the luminance needs to be increased.
  • the exposure time in the imaging unit 80 is adjusted if possible (Y in S34, S36). That is, if the luminance is higher than the target value, the exposure time is shortened, and if it is less than the target value, the exposure time is extended.
  • the gain value set in the gain processing unit 84 is adjusted (S38). That is, if the luminance is greater than the target value, the gain value is decreased, and if it is less than the target value, the gain value is increased.
  • the exposure time variable range is a range in which an appropriate image can be obtained in view of the scanning speed and frame rate of the pixels.
  • the exposure time is adjusted or the gain value is adjusted, whether or not the brightness of the second gray region 110 has reached the target value is confirmed based on the photographed image obtained after adjustment by a predetermined change amount (S32). If the target value is not reached, the exposure time or gain value is adjusted again (S34, S36 or S38). This is repeated until the brightness of the second gray area reaches the target value. When the brightness reaches the target value (Y in S32), a captured image in that setting is acquired, of which the brightness of the image in the white area 104 becomes a predetermined value or less. (S40).
  • the adjustment based on the second gray area in S32 to S38 is appropriate by confirming whether the white color is not saturated in the actual image. For example, when the luminance is 256 gradations, it is confirmed whether the luminance of the white area 104 is 250 or less.
  • the luminance gain value set in the previous processing is decreased by multiplying by a coefficient smaller than 1 (S42). This process is repeated until the brightness of the image of the white area 104 becomes equal to or lower than a predetermined value.
  • the brightness becomes lower than the predetermined value (Y in S40) adjustment based on the brightness difference between the areas is performed as shown in FIG.
  • adjustment may be performed so that the luminance of the image in the black area 106 is set to a predetermined value or more near the lowest gradation. This prevents a situation in which all dark blocks appear black in the subsequent processing.
  • the adjustment processing from S32 is set to adjust only in one direction such as a direction in which the luminance is increased from low luminance or a direction in which the luminance is decreased from high luminance, the gain value is large. Whether the image is too small is confirmed with the image of the white region 104, or whether the gain value is too small is confirmed with the image of the black region 106.
  • the adjustment processing unit 86 obtains the captured image in the setting made so far, and obtains the average value of the luminances of the images of the first gray region 108 and the second gray region 110, It is confirmed whether the difference has reached the target value (S44). For example, when the difference in luminance between the first gray region 108 and the second gray region 110 is desired to be 10% of the maximum gradation, a luminance difference of 25 gradations is required for 256 gradations.
  • the value exemplified as 10% may reflect the luminance difference between the original colors of the first gray region 108 and the second gray region 110, and the original color has no such difference.
  • a luminance difference desired to be obtained on the image may be set. For example, when it is desired to simultaneously handle blocks of colors having similar luminances, confusion can be prevented by making the luminance of the image different from that of the original colors, as in the latter case.
  • the correction rule in the gamma correction unit 90 is adjusted so that the luminance difference reaches the target value. (S46).
  • the corresponding part of the original gamma curve is deformed.
  • a different correction formula may be inserted in that portion.
  • a plurality of tables that discretely represent the correspondence between input luminance and output luminance may be prepared, and the tables may be switched and used.
  • the end points of the corresponding part may be gradually moved, and interpolation may be performed with a straight line or a curve so that the original gamma curve is connected.
  • the processes in S44 and S46 are repeated until the luminance difference between the first gray area 108 and the second gray area 110 reaches the target value.
  • the adjustment processing unit 86 has been performed so far.
  • a captured image in the setting is acquired, and white balance is adjusted for each of a plurality of areas constituting the calibration chart 102 (S48).
  • This process is basically the same as the process of S30, and gain values Gain_R, Gain_G, and Gain_B with respect to the R value, G value, and B value are obtained for each region using the above formula. That is, since a set of gain values is obtained for the luminance represented by the image of each region, the final gain value is set by averaging for each color component. With the above adjustment processing, block recognition having robustness against changes in external factors becomes possible.
  • FIG. 10 is a diagram for explaining the white balance adjustment performed in S30 of FIG. 8 and S48 of FIG.
  • the upper side of the figure is a color histogram of the image of the same gray area before adjustment and the lower side is adjusted, and the horizontal axis represents the pixel value and the vertical axis represents the number of pixels.
  • the green component histogram 120, the blue component histogram 122, and the red component histogram 124 show different distributions.
  • the white balance adjustment method is not limited to this, and any of the practical methods may be adopted.
  • FIG. 11 shows changes in pixel values when white balance is adjusted for a plurality of regions constituting the calibration chart in S48 of FIG.
  • the calibration chart has a configuration in which six regions representing achromatic colors from black to white with six levels of luminance are arranged in the horizontal direction, as shown in the upper part of the figure (calibration chart 126).
  • the middle stage and the lower stage represent the change in the pixel value of each color component when scanning from the black side in the horizontal direction with respect to such a calibration chart 126, with the horizontal axis representing the position and the vertical axis representing the pixel value. Is before adjustment, and the lower row is after adjustment.
  • the pixel value 128 of the green component, the pixel value 130 of the blue component, and the pixel value 132 of the red component show different values in all regions.
  • the white balance and optimizing the gain value for each region as described above, it is possible to correct the color components so that they have approximately the same pixel value for all regions as in the adjusted graph.
  • luminance difference which adjusts so that it may reach a target value in S44 of FIG. 9 corresponds to the difference D of the pixel value between two areas
  • FIG. 12 is a diagram for explaining processing for adjusting the exposure time and the gain value in S32 to S38 of FIG.
  • the demosaic unit 88 generates a YCbCr image from the RAW image, and uses the Y image (luminance image) of the RAW image to adjust the luminance value of the gray area image to the target value.
  • the luminance of the image of the second gray region before adjustment is a value like “Y” in the upper left portion of FIG.
  • the rectangle shown above “Y” has the maximum gradation that the luminance value can take as the upper side, and the ratio of the average value of the actual luminance to the maximum gradation is shaded.
  • the ratio of each average value of RGB at this time to the maximum gradation is also shown in the lower part in the same format. Since the image of the second gray area is achromatic, when the white balance is adjusted, the average values of RGB are substantially the same value. In operation, the RGB value changes depending on the color of the block.
  • the exposure time and gain value when such a luminance value is obtained are used as they are, there is a high possibility that the luminance of the image is saturated for a color block having a luminance value larger than that of the second gray region.
  • a specific component such as a G value is larger in color, the specific component is likely to be saturated, and as a result, the actual color and the color on the image may be different. Therefore, as described above, an appropriate target value is provided for the luminance of the second gray region, and the exposure time and the gain value are adjusted so that such an image can be obtained.
  • the target value is determined according to the original luminance of the gray area to be adjusted, but qualitatively, the luminance and RGB values should not be saturated for any color.
  • the target value is 60% of the maximum gradation
  • the R value or B value when the R value or B value is 0, the G value is larger than 100% from the above formula. That is, there is a high possibility that a green color will be saturated even at the same level of brightness.
  • the target value is 50%, when the R value or B value is 0, the G value is 86%, but there is a high possibility that the luminance is saturated with a larger color. Assuming that the target value is 30%, even if the R value and B value are 0, the G value is 57%, and a margin is 43%.
  • adjusting the brightness value as shown in the figure is nothing but adjusting the RGB image at the same rate. Therefore, in some cases, a target value may be provided for the RGB value, and the exposure time or the like may be adjusted based on the RGB image. In this case, the target value set in the RGB image can be unified with 30% or the like by adjusting the white balance first.
  • ⁇ is a value determined based on the assumed display characteristics and the like.
  • this correction equation is shown by a thin gamma curve 140 with the horizontal axis representing the input luminance Y in and the vertical axis representing the output luminance Y out .
  • the average luminance values of the first gray region 108 and the second gray region 110 are Y1 and Y2, respectively. If this was corrected by a gamma curve 140, there is a case where white circle 142a, the difference D output luminance Y out as shown in 142b becomes relatively small. Therefore, as described above, it compares the difference D between the target value, if it does not reach the target value to deform the correction rules serving gamma curve widen the difference between the output luminance Y out.
  • the input luminance is deformed portions and portions in the vicinity of the Y2 to Y1 of the original gamma curve 140 (thick line), the output luminance Y out The difference is widened to D '.
  • the output value of the white circle 142a corresponding to the input luminance Y1 is increased to the black circle 144a, and the output value of the white circle 142b corresponding to the input luminance Y2 is decreased to the black circle 144b.
  • the range of increase / decrease may be a fixed value or may be changed depending on the input luminance.
  • a correction curve 146 is obtained by interpolation using a general method so as to pass through the black circles 144a and 144b and connect to the original gamma curve 140.
  • the correction curve 146 is not limited to a curve, and part or all of the correction curve 146 may be a straight line.
  • the luminance of the first gray region 108 and the second gray region 110 is determined based on the luminance distribution of the block color used during operation. For example, when it is assumed that blocks of two colors having similar luminance are used, the correction curve is adjusted as shown in the figure after adjusting the luminance of the first gray region 108 and the second gray region 110 to the luminance of these two colors. For example, it is possible to emphasize the difference in the output value of the luminance of those images.
  • the first gray area, the second gray area, the third gray area,... When the brightness is close to three colors or more, the first gray area, the second gray area, the third gray area,..., And output the images by increasing the luminance variation of the gray area according to the luminance of the block.
  • the difference in brightness can be emphasized by a similar method.
  • the correction curve is adjusted using the gray area.
  • the correction curve may be adjusted by directly evaluating the color distribution of the actual block.
  • FIG. 14 is a diagram for explaining a method of adjusting the correction curve based on the block color distribution.
  • the upper row is a histogram showing the detection frequency of the blocks detected by the user entering the space on the play field 100 during operation according to the luminance of the block color. That is, this distribution is updated according to the situation at the time of operation.
  • the adjustment processing unit 86 of the imaging device 12 creates and updates a histogram as illustrated by accumulating and recording the information. Based on the histogram, the correction curve is adjusted as necessary.
  • blocks of colors that are biased toward luminance zone A and luminance zone B are used. Since colors belonging to each luminance zone have similar luminance, there is a high possibility of being confused during operation. Therefore, by adjusting the gamma curve in the same manner as shown in FIG. 13, a sufficient difference in output luminance is obtained. Specifically, when the minimum luminance Amin and the maximum luminance Amax in the luminance zone A are corrected with a gamma curve, the difference between the output luminances D A , and when the minimum luminance Bmin and the maximum luminance Bmax in the luminance zone B are corrected with a gamma curve. check the difference D B of the output luminance, if it does not reach the target value, deforming the curve to widen the difference.
  • the output brightness difference D A in the brightness zone A has reached the target value, but the output brightness difference D B in the brightness zone B has not reached the target value, and is expanded to D B ′.
  • a correction curve as shown by a thick line is generated.
  • the risk of confusing colors belonging to the luminance zone B is suppressed, and all blocks can be recognized with high accuracy.
  • the target value given to the difference in output luminance may be changed according to the frequency. In the example of the figure, since the frequency of the luminance zone B is higher than that of the luminance zone A, the target value may be set larger.
  • the brightness of the gray area of the calibration chart 102 may be matched with the brightness of the block color assumed to be used. Can be adjusted. That is, the luminance distribution of the block as shown in the figure is acquired in advance, and four gray areas having the lowest luminance Amin and the highest luminance Amax of the luminance zone A and the lowest luminance Bmin and the highest luminance Bmax of the luminance zone B are calibrated. Preparation chart 102.
  • ⁇ A gray area with not only the lowest luminance and the highest luminance but also an intermediate luminance may be prepared.
  • the gamma curve is deformed if the output brightness difference D when the brightness of the gray area image is gamma corrected does not reach the target value.
  • a mode in which a plurality of color blocks and a play mat 18 including a calibration chart 102 configured according to the color distribution are provided as a set is conceivable.
  • a similar function can be realized by providing a large number of gray areas with small luminance increments and selecting and using the gray area corresponding to the luminance of the block color.
  • the gray area to be used for adjustment is recorded based on the color of the block detected in the past or the color of the block supplied as a set.
  • a part of the calibration chart 102 may be a chromatic color chart that matches the block color.
  • the variable used as the luminance in FIG. 14 is a three-dimensional or two-dimensional variable such as (R, G, B) or (R / G, B / G).
  • a color area where block colors are denser than the predetermined reference in the color space is detected, and the standard deviation after correction of those colors or the distance of each color in the color space does not reach the target value.
  • the gamma curve is deformed to widen.
  • FIG. 15 is a diagram for explaining a method of adjusting RGB gain values using a color chart. This processing is performed after the processing of S32 to S42 for adjusting the exposure time and the gain value based on the luminance of the gray region image of the calibration chart 102 in the flowchart of FIG. 8, for example.
  • first, second, and third colors as block colors.
  • the left side of the figure is a color histogram of each color, which is represented in the same format as in FIG.
  • an area having the same color as the second color (referred to as a second color area) is prepared in the calibration chart 102.
  • the adjustment processing unit 86 extracts the image of the second color area from the captured image of the calibration chart 102, and adjusts the white balance with the image. That is, the gain value of each color component is determined so that the second color becomes an achromatic color.
  • the method of adjusting the white balance is the same as described with reference to FIG. As a result, the distributions of the respective color components are approximately equal as in the color histogram on the right side of the second color in FIG.
  • the histograms of the first color and the third color are as shown on the right side of each.
  • this color information is different from the original colors of the first color, the second color, and the third color, the difference between the first to third colors clearly appears.
  • the first to third colors are all greenish colors having a strong G value.
  • the first color is strongly bluish and the second color is close to an achromatic color. The color becomes a strong reddish color.
  • FIG. 16 shows a variation of the play mat in the present embodiment.
  • the play mat 150 in this example has a structure in which a play field 152 is provided on substantially the entire surface, and a calibration chart 154 is separately prepared.
  • the calibration chart 154 is superimposed on the play field 152. You may make it affix with a hook-and-loop fastener etc.
  • the play field 152 is exposed by removing the calibration chart 154.
  • both the play field 152 and the calibration chart 154 can have the same area as the play mat 150.
  • more luminance and color areas can be prepared as the calibration chart 154, and the block can be handled in a wider place.
  • both the calibration chart 154 and the play field 152 can be photographed satisfactorily.
  • the calibration chart may be displayed on substantially the entire back surface of the play mat 150. In this case, the same effect as described above can be obtained by turning the user upside down as necessary.
  • a calibration chart including a plurality of luminance and color regions is provided in a play mat that defines a target space for detecting a block. .
  • at least one of an exposure time, a gain value given to each color component, and a correction rule at the time of gamma correction is adjusted based on the image of the captured image of the calibration chart.
  • the white balance is adjusted based on the achromatic region. Further, the correction curve at the time of gamma correction is adjusted so that the output luminance difference of the regions having different luminances is sufficiently expressed.
  • a color image with the same color as the block is provided in the calibration chart and the white balance is adjusted to generate a color image in which the difference between the color and similar colors is emphasized.
  • a correction curve at the time of gamma correction may be adjusted according to the color distribution and luminance distribution of the block that actually enters the play field to emphasize the luminance and color differences in the output image.
  • Information processing system 20a block, 10 Information processing device, 12 Imaging device, 14 Input device, 16 Display device, 18 Playmat, 22 CPU, 24 GPU, 26 Main memory, 52 Input information acquisition unit, 54 Captured image acquisition unit , 60 detection unit, 62 recognition unit, 64 block database, 70 output data generation unit, 72 image data storage unit, 80 imaging unit, 84 gain processing unit, 86 adjustment processing unit, 88 demosaic unit, 90 gamma correction unit, 92 data Sending part, 100 play field, 102 calibration chart, 150 play mat, 152 play field, 154 calibration chart.
  • the present invention can be used for toys, learning devices, computers, game devices, information processing devices, and systems including them.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

　プレイマット１８上の空間に入ったブロック２０ａ等を撮像装置１２が撮影し、情報処理装置１０が撮影画像中のブロックの像に基づきブロックを検出および認識して情報処理を行う。プレイマット１８にはブロックの検出空間を規定するプレイフィールド１００と、少なくとも複数の輝度の色の領域を含むキャリブレーションチャート１０２を設ける。撮像装置１２はキャリブレーションチャート１０２の撮影画像中の像に基づき、露光時間、各色成分のゲイン値、ガンマ補正時の補正規則を調整する。

Description

撮像装置、情報処理システム、マット、および画像生成方法
　本発明は、撮影画像を用いた実物体の認識を含む情報処理を行う情報処理システム、それに含まれる撮像装置、マット、および用いられる画像生成方法に関する。
　従来、複数のブロックや部品を接続することにより立体物を組み立てることのできる玩具が知られている。例えばユーザの発想に応じて自由に組み立てられるような、立方体や直方体など基本的な形状を有するブロックや、あらかじめ想定された立体物を設計図に従い組み立てるために形成された専用のブロックや部品などが広く普及している。また、実空間における物体の動きや形状変化をコンピュータが認識し、何らかの情報処理を行う技術は、玩具や学習用教材などへの応用が見込まれている（例えば特許文献１、非特許文献１参照）。
特開２００８－７３２５６号公報
Posey: Instrumenting a Poseable Hub and Strut Construction Toy, Michael Philetus Weller, Ellen Yi-Luen Do, Mark D Gross, Proceedings of the Second International Conference on Tangible and Embedded Interaction, 2008, pp 39-46
　上記のような技術においてカメラで撮影した物体を認識する場合、物体の色は重要な情報となる。しかし照明などの撮影環境や物体の材質などに依存して、撮影された画像における物体の像の色味が変化してしまい、正しい認識を妨げる場合がある。例えば同じ物体を用いているにも関わらず場合によって異なる物と認識されたり、微妙な色の差を区別できるときと区別できないときが発生したりして認識精度が不安定となり、後段の処理に支障をきたすことが考えられる。
　本発明はこのような課題に鑑みてなされたものであり、その目的は、撮影画像を用いた実物体の認識を含む情報処理を安定的かつ高精度に実現できる技術を提供することにある。
　上記課題を解決するために、本発明のある態様は撮像装置に関する。この撮像装置は、実物体の認識に用いられる撮影画像のデータを出力する撮像装置であって、撮像素子を用いて撮像された未加工画像のデータから、出力する撮影画像のデータを生成する出力画像生成部と、撮影画像を評価し撮像素子における撮影条件および、出力画像生成部における処理条件の少なくともいずれかを調整する調整処理部と、撮影画像のデータを、実物体を認識する装置に出力するデータ送出部と、を備え、調整処理部は、認識対象の空間に備えられた、異なる輝度を有する複数の色領域で構成されるキャリブレーションチャートの像の色情報に基づき、撮影条件および処理条件を調整することを特徴とする。
　本発明の別の態様は情報処理システムに関する。この情報処理システムは、実物体を撮影した撮影画像のデータを出力する撮像装置と、当該撮影画像を用いて実物体を認識する情報処理装置と、を含む情報処理システムであって、撮像装置は、撮像素子を用いて撮像された未加工画像のデータから、出力する撮影画像のデータを生成する出力画像生成部と、撮影画像を評価し撮像素子における撮影条件および出力画像生成部における処理条件の少なくともいずれかを調整する調整処理部と、撮影画像のデータを情報処理装置に出力するデータ送出部と、を備え、調整処理部は、認識対象の空間に備えられた、異なる輝度を有する複数の色領域で構成されるキャリブレーションチャートの像の色情報に基づき、前記撮影条件および処理条件を調整し、情報処理装置は、撮影画像における実物体の像の色情報と、登録済みの実物体の色情報とを比較することによりブロックを認識し、当該ブロックに対し設定されている処理を行うことを特徴とする。
　本発明のさらに別の態様はマットに関する。このマットは、撮影画像における像の色情報に基づき実物体を認識する情報処理システムにおいて被写空間に置くマットであって、実物体を入れることにより当該実物体を認識対象とする空間の底面領域を規定するプレイフィールドと、異なる輝度を有する複数の色領域で構成され、撮像装置が、撮影画像におけるその像の色情報に基づき、撮影条件および、出力する撮影画像のデータを生成する際の処理条件の少なくともいずれかを調整するためのキャリブレーションチャートと、を備えることを特徴とする。
　本発明のさらに別の態様は画像生成方法に関する。この画像生成方法は、撮像装置が、実物体の認識に用いられる撮影画像のデータを生成する画像生成方法であって、撮像素子を用いて撮像された未加工画像のデータから、出力する撮影画像のデータを生成するステップと、撮影画像を評価し撮像素子における撮影条件および、生成するステップにおける処理条件の少なくともいずれかを調整するステップと、撮影画像のデータを、実物体を認識する装置に出力するステップと、を含み、調整するステップは、認識対象の空間に備えられた、異なる輝度を有する複数の色領域で構成されるキャリブレーションチャートの像の色情報に基づき、撮影条件および処理条件を調整することを特徴とする。
　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
　本発明によると、撮影画像を用いた実物体の認識を含む情報処理を安定的かつ高精度に行える。
本実施の形態を適用できる情報処理システムの構成例を示す図である。 本実施の形態における情報処理装置の内部回路構成を示す図である。 本実施の形態における情報処理装置の機能ブロックの構成を示す図である。 本実施の形態における撮像装置の機能ブロックの構成を示す図である。 本実施の形態における撮像装置および情報処理装置が行う、ブロック認識を含む情報処理の手順を示すフローチャートである。 本実施の形態におけるプレイマットの上面を例示する図である。 本実施の形態におけるキャリブレーションチャートの変形例を示す図である。 図５のＳ１２において撮像装置が露光時間、ゲイン値、およびガンマ補正時の補正規則を調整する処理手順を示すフローチャートである。 図５のＳ１２において撮像装置が露光時間、ゲイン値、およびガンマ補正時の補正規則を調整する処理手順を示すフローチャートである。 本実施の形態でなされるホワイトバランス調整について説明するための図である。 本実施の形態におけるキャリブレーションチャートを構成する複数の領域についてホワイトバランスを調整したときの画素値の変化を示す図である。 図８のＳ３２～Ｓ３８において露光時間およびゲイン値を調整する処理について説明するための図である。 図９のＳ４４～Ｓ４６において、ガンマ補正部における補正規則を調整する処理について説明するための図である。 本実施の形態においてブロックの色分布に基づき補正曲線を調整する手法を説明するための図である。 本実施の形態においてカラーチャートを利用してＲＧＢのゲイン値を調整する手法を説明するための図である。 本実施の形態におけるプレイマットの変形例を示す図である。
　図１は本実施の形態を適用できる情報処理システムの構成例を示す。情報処理システム１は、プレイマット１８上に置かれたブロック２０ａ、２０ｂ、２０ｃ、プレイマット１８上の空間を撮影する撮像装置１２、撮影画像に基づきブロックを認識しその結果に応じた情報処理を行う情報処理装置１０、情報処理装置１０に対するユーザ操作を受け付ける入力装置１４、情報処理の結果を画像として出力する表示装置１６を含む。
　プレイマット１８は、認識対象のブロック２０ａ、２０ｂ、２０ｃが置かれる領域であるプレイフィールド１００と、撮像装置１２における撮影条件や画像の調整・補正条件を決定するためのキャリブレーションチャート１０２を備える。プレイマット１８の材質は紙、板、布、ビニールなどのいずれでもよく特に限定されない。またその形状も特に限定されず、図示するような四角形やそれ以外の多角形でもよいし、円や楕円など曲線で囲まれた形でもよい。机の天板やゲーム盤など他の用途を有していてもよい。
　プレイフィールド１００やキャリブレーションチャート１０２は典型的にはプレイマット１８に印刷された領域や図形であるが、別途用意した物を、プレイマット１８を構成する平面に取り付けたり載置したりする構成としてもよい。ブロック２０ａ、２０ｂ、２０ｃは最も単純には、図示するような立方体や直方体の一般的な「ブロック」であるが、実空間に存在する物体であればその形状や機能は限定されない。
　例えば人形やミニカーなど現実世界にある物のミニチュアやその部品、ゲームの駒など、より複雑な形状の物でもよく、サイズ、材質、色、使用する個数なども限定されない。またユーザによって組み立てたり分解したりできる構造としてもよいし、完成物であってもよい。さらに入力装置１４や情報処理装置１０との通信を確立する通信機構やコンピュータ、入力装置１４を介したユーザ操作や情報処理装置１０の制御により駆動する機構などを有していてもよいし、そのような機構を何ら有していなくてもよい。
　撮像装置１２は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を有するビデオカメラであり、プレイマット１８上の空間を撮影しその画像を情報処理装置１０に供給する。撮像装置１２は図示するように単眼のカメラでもよいし、既知の間隔を有する左右の位置から同一の空間を撮影する２つのカメラからなるステレオカメラでもよい。
　表示装置１６は液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイなど一般的なディスプレイでよい。また表示装置１６と図示しないスピーカーとを一体的に備えたテレビでもよい。入力装置１４は、ユーザが操作することにより、処理の開始、終了、機能の選択、各種コマンド入力などの要求を受け付け、情報処理装置１０に電気信号として供給する。入力装置１４は、ゲームコントローラ、キーボード、マウス、ジョイスティック、表示装置１６の画面上に設けたタッチパッドなど、一般的な入力装置のいずれか、またはそれらの組み合わせでよい。
　情報処理装置１０は、たとえばゲーム装置やパーソナルコンピュータであってよく、必要なアプリケーションプログラムをロードすることで情報処理機能を実現してもよい。情報処理装置１０は、プレイフィールド１００上のブロック２０ａ、２０ｂ、２０ｃを検出したり追跡したりする。このため情報処理装置１０は、撮像装置１２が撮影した動画像を所定のフレームレートで取得し、当該画像からブロックの像を抽出し、認識する。その後、ユーザがブロックを手や入力装置１４で動かしたり、情報処理装置１０自身が動きを制御したりするのに伴い、その位置の変化を追跡する。ブロックの形状を可変とした場合は、その形状変化も追跡する。
　情報処理装置１０はブロックの検出結果や追跡結果を利用して何らかの情報処理を行ってよいが、その内容は特に限定されない。例えば撮像装置１２が撮影している動画像のうちブロックの像に付加的なオブジェクトを描画したり、ブロックを対応するオブジェクトに置き換えたりした動画像を表示装置１６に表示させてもよい。あるいはブロックの位置に応じてゲームを進捗させ、その内容を表すゲーム画面を表示装置１６に表示させたり、効果音や音声を図示しないスピーカーから出力させたりしてもよい。
　その他、ブロックの検出結果や追跡結果を用いて行える処理は様々、考えられることは当業者には理解されるところである。以後、ブロックの検出を精度よく行う手法、特にブロックの色情報を高精度に取得することによりブロックの認識精度を高める手法に主眼を置き説明する。
　なお情報処理装置１０と、撮像装置１２、入力装置１４、表示装置１６との接続は、有線、無線を問わず、また種々のネットワークを介していてもよい。あるいはそれらのうちいずれか２つ、または全てが組み合わされて一体的に装備されていてもよい。また情報処理装置１０が後段でなすべき処理によっては、スピーカーやマイクロフォンをさらに接続してもよいし、入力装置１４や表示装置１６がなくてもよい。このように撮像装置１２以外の入力装置、および出力装置は、情報処理システム１において適宜組み合わせることができる。
　図２は情報処理装置１０の内部回路構成を示している。情報処理装置１０は、ＣＰＵ（Central Processing Unit）２２、ＧＰＵ（Graphics Processing Unit)２４、メインメモリ２６を含む。ＣＰＵ２２は、オペレーティングシステムやアプリケーションなどのプログラムに基づいて、情報処理装置１０内部の構成要素における処理や信号伝送を制御する。ＧＰＵ２４は画像処理を行う。メインメモリ２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。
　これらの各部は、バス３０を介して相互に接続されている。バス３０にはさらに入出力インターフェース２８が接続されている。入出力インターフェース２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部３２、ハードディスクドライブや不揮発性メモリなどの記憶部３４、表示装置１６やスピーカーなどの出力装置へデータを出力する出力部３６、撮像装置１２や入力装置１４からデータを入力する入力部３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部４０が接続される。
　ＣＰＵ２２は、記憶部３４に記憶されているオペレーティングシステムを実行することにより情報処理装置１０の全体を制御する。ＣＰＵ２２はまた、リムーバブル記録媒体から読み出されてメインメモリ２６にロードされた、あるいは通信部３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２２からの描画命令に従って描画処理を行い、表示画像を図示しないフレームバッファに格納する。そしてフレームバッファに格納された表示画像をビデオ信号に変換して出力部３６に出力する。
　図３は情報処理装置１０の機能ブロックの構成を示している。図３および後述する図４に示す各機能ブロックは、ハードウェア的には、図２に示したようなＣＰＵ、ＧＰＵ、メインメモリ、出力部、入力部、マイクロコンピュータ、各種演算回路、バッファメモリなどで実現でき、ソフトウェア的にはハードディスクや記録媒体からメインメモリにロードされたコンピュータプログラムなどで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
　情報処理装置１０は、入力装置１４が受け付けたユーザ操作に係る情報を取得する入力情報取得部５２、撮像装置１２から撮影画像のデータを取得する撮影画像取得部５４、ブロックの検出を行う検出部６０、検出したブロックを認識する認識部６２、ブロックの位置や動きに応じて出力データを生成する出力データ生成部７０、撮影画像、奥行き画像など処理に用いる画像のデータを格納する画像データ記憶部７２、およびブロックの基本的な情報を格納するブロックデータベース６４を含む。
　なお情報処理装置１０にはさらに、ブロック内部の駆動機構を制御する機能ブロックなど、ブロックの状態を利用して行う情報処理の内容に応じた機能ブロックを適宜設けてよい。入力情報取得部５２は、入力装置１４を介してユーザが行った操作の内容を、撮影画像取得部５４および出力データ生成部７０へ通知する。この操作には、ゲームなどの情報処理の開始および終了要求や、処理の途中におけるコマンド入力などが含まれる。処理の開始／終了要求は撮影画像取得部５４を介して撮像装置１２にも通知することで、撮像装置１２における動画撮影の開始／終了を制御する。
　撮影画像取得部５４は、撮影の結果得られた動画像のフレームデータを所定のレートで取得する。ここで所定のレートとは、撮像装置１２が撮影する動画像のフレームレートでもよいし、それより小さいレートでもよい。撮影画像取得部５４は、取得した撮影画像のデータを画像データ記憶部７２に格納する。
　検出部６０は、画像データ記憶部７２から撮影画像のデータを読み出し、画像上の像に基づきプレイフィールド１００上にあるブロックを検出したり追跡したりする。例えばブロックが置かれていない状態の撮影画像と、撮影中の動画像における各フレーム画像との差分に基づきブロックが置かれたことを認識する。プレイフィールド１００の色を既知とすれば、それと異なる色を有する像をブロックとして検出することもできる。一旦、ブロックを検出すれば、その後は前のフレーム画像との比較によりその動きを追跡できる。画像中の物体の動きを追跡する技術として様々なものが提案されており、本実施の形態ではそのいずれを採用してもよい。
　あるいは撮像装置１２をステレオカメラで構成し、被写空間のカメラからの深度情報によってブロックを検出してもよい。すなわちステレオカメラにより得られる各被写体の深度情報から、プレイフィールド１００を底面とする３次元空間における被写体の位置や高さを座標変換により取得する。そしてプレイフィールド１００の面からの高さが所定のしきい値を超える物が存在すれば、それをブロックとして検出する。ステレオカメラを用いて被写体の深度情報を取得する手法は広く知られている。なおこの態様では特に、プレイフィールド１００は検出対象の３次元空間の底面を規定し、プレイフィールド１００上に置かれたか否かに関わらず、その上の空間に入ったブロックを検出対象とできる。
　ブロックを検出したら、検出部６０は当該ブロックの画像上の像の位置情報とともに認識部６２にその旨を通知する。また検出部６０は、検出したブロックの追跡結果、すなわちフレームごとの位置情報を、当該ブロックがプレイフィールド１００から出るまで出力データ生成部７０に順次、供給する。認識部６２は、画像データ記憶部７２から読み出した撮影画像を用いて、検出部６０から通知された位置に存在するブロックの外観上の特徴を取得する。
　そしてブロックデータベース６４に格納しておいたブロックごとの特徴と照合することにより、画像中で検出された像がどのブロックのものであるかを特定する。ブロックデータベース６４には、ブロックの識別番号、色や形状などの外観上の特徴、その位置や動きに応じて出力すべきデータなどを対応づけた情報を格納しておく。認識部６２はそのようにして得たブロックの識別番号と当該ブロックの画像中での位置情報とを対応づけて出力データ生成部７０に通知する。
　出力データ生成部７０は、ブロックの位置や動きに応じて、出力すべき画像のデータを生成し表示装置１６へ出力する。そのため出力データ生成部７０は、検出部６０からブロックの位置情報を継続して取得しつづけ、認識部６２から通知された当該ブロックの識別番号に基づきブロックデータベース６４を参照して、なすべき処理を決定する。例えばブロックに対応づけられたオブジェクトを当該ブロックの撮影画像上の位置に描画したり、他のブロックとの位置関係に応じて撮影画像に加工を施したりする。
　このような場合、出力データ生成部７０は、画像データ記憶部７２から撮影画像を読み出し対応する処理を実施する。ただし上述のように情報処理の具体的な内容は限定されず、必ずしも撮影画像を用いた処理でなくてもよい。また画像のデータのみならず効果音などの音声データを生成してもよい。ブロックデータベース６４には、ブロックの識別番号に対応づけて、撮影画像中、当該ブロックの位置に描画すべき画像のデータや、動きに応じてなすべき処理を規定するプログラムなども格納しておく。
　このように本実施の形態では撮像装置１２による撮影画像に基づきプレイフィールド１００上に置かれたブロックを認識し、それに対応する情報処理を行う。認識に際しては、ブロックの形状やサイズとともに色の情報が重要となる。一方、実空間における照明環境、周囲にある物の有無や色など様々な要因で、同一のブロックであるにも関わらず時により撮影画像上の像の色が変化してしまう場合がある。それにより別のブロックとして認識されてしまったり、類似の色を有する複数のブロックを混同したりし、結果として情報処理が適切に行われないことが考えられる。そこで本実施の形態では、プレイマット１８にキャリブレーションチャート１０２を設け、ブロックの認識精度向上を目的として撮影条件や得られた画像データの調整や補正を行う。
　図４は撮像装置１２の機能ブロックの構成を示している。撮像装置１２は、撮像部８０、ゲイン処理部８４、調整処理部８６、デモザイク部８８、ガンマ補正部９０、およびデータ送出部９２を備える。なお撮像装置１２をステレオカメラとする場合は、データ送出部９２以外の機能ブロックをカメラごとに設ける。撮像部８０はＣＣＤまたはＣＭＯＳ等の撮像素子により構成され、所定のタイミング（例えば、６０回／秒）で露光結果を画像の各画素値として出力する。ここで出力される画像は各画素がＲＧＢの（赤緑青）のうち１つの色で構成されるいわゆるＲＡＷ画像（未加工画像）であり、ラスタ順など所定の画素順でゲイン処理部８４に出力される。
　ゲイン処理部８４は可変利得増幅回路などで構成し、撮像部８０から出力された赤色原色信号（Ｒ値）、緑色原色信号（Ｇ値）、青色原色信号（Ｂ値）を、設定されたゲイン値で増幅したうえ、デモザイク部８８にラスタ順などで出力する。調整処理部８６は、撮影画像におけるキャリブレーションチャート１０２の像に基づき撮像部８０の露光時間、ゲイン処理部８４に設定するゲイン値、ガンマ補正部９０における画素値の補正規則、の少なくともいずれかを決定する。後述するように、キャリブレーションチャート１０２のみならず実際のブロックの像に基づきそれらを決定してもよい。決定結果はそれぞれ撮像部８０、ゲイン処理部８４、ガンマ補正部９０に通知される。
　デモザイク部８８は、ゲイン処理部８４から画素値が増幅されたＲＡＷ画像のデータを取得し、各画素に対してその周辺画素に基づき色情報を補完してフルカラー画像を作り出すデモザイク（de-mosaic）処理を実行する。このデモザイク処理には周知の技術を適用することができる。例えばＲＡＷ画像においてＧ値のみを有している画素については、Ｒ値は左右に隣接するＲ値を平均、Ｇ値は当該Ｇ値をそのまま使用、Ｂ値は上または下に位置するＢ値を使用してＲＧＢ値とする。同様の補完処理を全画素について行うことにより各画素がＲＧＢ値を有するＲＧＢ画像とする。デモザイク部８８はさらに、このＲＧＢ画像を所定の変換式に代入してＹＣｂＣｒ画像とする。
　ガンマ補正部９０は、そのようにして生成されたフルカラー画像を所定の補正式で補正することにより出力画像のデータを生成する。ガンマ補正部９０は、撮像素子が出力する色信号が表示装置において適切なカラーバランスで表示されるように、周知のガンマ曲線により画素値を変換することを基本とする。一方、ブロックを検出する際は、ガンマ曲線を変形させた曲線で補正した画像を用いることにより、類似の色を高精度に区別できるようにする。
　ガンマ補正部９０は生成した出力画像のデータを調整処理部８６およびデータ送出部９２に出力する。データ送出部９２は当該出力画像のデータを、一般的な通信手段により情報処理装置１０へ送信する。調整処理部８６は後述するような順序で各種パラメータを調整する都度、調整後の出力画像をガンマ補正部９０から取得して評価することにより、さらなる調整を行ったり調整の終了を決定したりする。
　次にこれまで述べた構成によって実現される情報処理システム１の動作について説明する。図５は撮像装置１２および情報処理装置１０が行う、ブロック認識を含む情報処理の手順を示すフローチャートである。このフローチャートは、ユーザが入力装置１４を介して情報処理装置１０に処理の開始を要求したときに開始される。なお撮像装置１２はユーザによりプレイマット１８全体が視野に入るようにセッティングされているものとする。
　まず情報処理装置１０の撮影画像取得部５４が撮像装置１２に撮影の開始を要求することにより、撮像装置１２の撮像部８０が撮影を開始する（Ｓ１０）。この撮影画像には、キャリブレーションチャート１０２が写っている。場合によってはキャリブレーションチャート１０２が良好に写るように撮像装置１２の視野を最適化してもよい。例えば、情報処理装置１０が表示装置１６などを介して、手動での方向調整や倍率調整をユーザに指示する。あるいは撮像装置１２が備える図示しないパンチルターや電子ズームを利用して情報処理装置１０が撮像装置１２の視野を制御してもよい。
　これらの処理において情報処理装置１０は、撮影画像を一旦、取得し、画像中でキャリブレーションチャート１０２の像が存在する領域を検出する。検出結果を撮像装置１２に通知することにより、撮像装置１２にキャリブレーションチャート１０２を認識させてもよい。このようにして得られたキャリブレーションチャート１０２の撮影画像に基づき、撮像装置１２の調整処理部８６は、撮像部８０における露光時間、ゲイン処理部８４に設定するゲイン値、ガンマ補正部９０における補正規則、の少なくともいずれかを調整する（Ｓ１２）。
　この調整により、撮影環境が変化してもブロックの像の色への影響が小さい出力画像が得られる。また類似の色の微小な差をより強調した出力画像が得られる。撮像装置１２のデータ送出部９２は、調整後の出力画像のデータを情報処理装置１０へ送信する。情報処理装置１０の検出部６０は、プレイフィールド１００上の空間に新たなブロックが入ったか否かを、撮像装置１２から送信された撮影画像に基づき監視する（Ｓ１４）。
　新たなブロックが入ったら（Ｓ１４のＹ）、認識部６２は、当該ブロックの画像上の色情報を取得する（Ｓ１６）。さらに認識部６２は、その色が連続している領域を当該ブロックの像の領域として特定し、その形状を取得する（Ｓ１８）。そして認識部６２は、ブロックデータベース６４を参照し、色及び形状に基づき、そのブロックに与えられている識別番号を特定するとともに、当該識別番号と画像上の像とを紐づける（Ｓ２０）。ここで識別番号はブロックの出荷時などに付与されているものであるが、番号に限らず名前などでもよい。
　なお目的とする情報処理によっては、ユーザがブロックをプレイフィールド１００上に置いたうえ、それにつける名前や対応づけるオブジェクトなどを表示装置１６に表示させたリストから選択したり音声により指定したりしてブロックをその場で登録する態様も考えられる。この場合、例えばブロックデータベース６４にブロックの色など外観的な特徴とユーザが指定した名前などを対応づけて格納することにより、後のタイミングでもその登録情報が維持されるようにする。
　この態様においても、ブロックの像の色が外的要因によって変化しないようにすることで、過去の登録情報を正確に特定できる。なおこの場合、ブロックデータベース６４には、ブロックに代えて、ユーザが指定できる名前などに対応づけてオブジェクトの画像データや動きに応じてなすべき処理のプログラムなどを格納しておいてもよい。一方、検出部６０は、Ｓ１４のＹで検出したブロックの像を追跡しその位置情報を出力データ生成部７０に継続して通知する（Ｓ２２）。
　出力データ生成部７０は、認識部６２から通知されたブロックの識別番号に基づき追跡結果に従う情報処理を行い、出力データを生成して表示装置１６などから出力する（Ｓ２４）。Ｓ１４においてプレイフィールド１００上の空間にブロックがない間は（Ｓ１４のＮ）、ゲームなどの初期画面や撮影画像などを表示しておく（Ｓ２４）。ユーザが入力装置１４を介して処理の終了を要求しない間は（Ｓ２６のＮ）、新たなブロックがプレイフィールド１００上の空間に入ったら（Ｓ１４のＹ）、その像とブロックの識別番号とを紐づけるとともに追跡対象として追加する（Ｓ１６～Ｓ２２）。
　新たなブロックが入らなければ（Ｓ１４のＮ）、それまでに検出されているブロックのみを追跡し続けその結果などに応じて出力データを生成、出力する（Ｓ２４）。ユーザが入力装置１４を介して処理の終了を要求したら、撮影を含む全ての処理を終了する（Ｓ２６のＹ）。なおＳ１４～Ｓ２０におけるブロックの検出および認識に用いる撮影画像は、ブロックを正確に認識するために撮像装置１２の調整処理部８６が各種パラメータを調整した画像である。一方、Ｓ２４においてブロックの像を追跡したり出力データを生成したりするためには、そのような調整の少なくとも一部がなされていない画像を用いてもよい。
　特に撮影画像を加工して表示画像とする場合は、実際の状態に近い画像を用いる方が自然である。また追跡処理においても、前のフレームからブロックの輪郭のみを追跡するなど、ブロックの色情報が重要でない手法を用いる場合は、調整されていない撮影画像を用いることができる。そのため撮像装置１２は必要に応じて、調整を行った画像と行っていない画像の双方のデータを情報処理装置１０に送信してもよい。
　例えばブロックの追跡や出力画像の生成と並行して新たなブロックを検出する態様においては、双方のデータを同時に送信し、情報処理装置１０内部で使い分ける。初期処理として全てのブロックを認識してしまい、ブロックの追跡及び出力画像の生成の段階では新たなブロックが入ることがないような態様では、初期処理時には調整された撮影画像を送信し、その後の運用時には調整されていない撮影画像を送信するように切り替える。このとき情報処理装置１０は切り替えのタイミングを撮像装置１２に通知する。
　また図５の例では、キャリブレーションチャート１０２を用いてＳ１２においてのみ、撮像装置における各種パラメータの調整を行った。一方、後述するように、プレイフィールド１００上の空間に実際に入ったブロックやユーザが登録したブロックの色の分布に応じてパラメータの少なくとも一部を調整してもよい。この場合、新たにブロックが検出される都度、Ｓ１６で取得した色情報を情報処理装置１０から撮像装置１２へ通知することで、撮像装置１２の調整処理部８６がブロックの色の分布情報を記録していき、必要に応じて調整を行う。
　図６はプレイマット１８の上面図を例示している。上述のようにプレイマット１８は、ユーザがブロックを置いたり移動させたりする領域を示すプレイフィールド１００と、撮影条件や画像の調整・補正条件を最適化するためのキャリブレーションチャート１０２を含む。プレイフィールド１００は好適には、ブロックと異なる色で塗りつぶされた領域とすることにより、画像上でブロックの像のみを高精度に抽出できる。ただし本実施の形態をこれに限る主旨ではなく、模様や絵などが描かれていてもよい。またその形状も図示するものに限定されない。
　キャリブレーションチャート１０２は、同図においてプレイマット１８の下側に拡大して示すように、輝度の異なる複数の無彩色の領域で構成する。同図の場合、白領域１０４、黒領域１０６、第１グレー領域１０８、第２グレー領域１１０の４つの領域で構成されている。ただし各領域の配置やサイズはこれに限定されない。またグレー領域の数、すなわち中間輝度の段階数も特に限定されない。さらに後述するように、キャリブレーションチャート１０２に有彩色の領域を設けてもよい。
　調整処理部８６は、キャリブレーションチャート１０２を撮影した画像のガンマ補正後のデータをガンマ補正部９０から取得すると、白領域１０４、黒領域１０６、第１グレー領域１０８（または第２グレー領域１１０）の像を抽出し、各領域について少なくとも以下の方針で露光時間およびゲイン値を調整する。
（１）輝度が所定の目標値となるようにする
（２）ＲＧＢのバランスを揃える（ホワイトバランス調整）
　さらに調整処理部８６は、白領域１０４、黒領域１０６、第１グレー領域１０８、第２グレー領域１１０のうち少なくとも２つの領域の輝度を比較し、少なくとも以下の方針でゲイン値およびガンマ補正時の補正規則を調整する。
（３）輝度の差が適正に得られるようにする
　図７はキャリブレーションチャート１０２の変形例を示している。この例のキャリブレーションチャートは、黒から白まで９段階の輝度の無彩色の領域で構成されるグレーステップ領域１１２と、所定の輝度を有し比較的面積の広いグレー領域１１４により構成される。キャリブレーションチャート１０２はこのように、精度よく調整するのに最適な面積と段階数を、想定されるブロックの色分布などに応じて決定する。調整の方針は上述と同様である。
　図８、９は、図５のＳ１２において撮像装置１２が露光時間、ゲイン値、およびガンマ補正時の補正規則を調整する処理手順を示すフローチャートである。上述のとおり撮像部８０により取得された、キャリブレーションチャート１０２の像を含むＲＡＷ画像は、ゲイン処理部８４、デモザイク部８８、ガンマ補正部９０における処理を経て出力画像となる。ガンマ補正部９０は当該画像のデータを調整処理部８６に供給する。なお図示するフローチャートでは省略しているが、それらの処理は所定のレートで並列に実施され、その結果、生成された画像のデータは適切なタイミングで調整処理部８６における調整に用いられるものとする。また図示した調整のいずれかを省略したり順序を入れ替えたりしてもよい。
　調整処理部８６はまず、ガンマ補正部９０から供給された初期の撮影画像のうち、第１グレー領域１０８を用いてホワイトバランスの初期調整を行う（Ｓ３０）。具体的には、第１グレー領域１０８の像のＲ値、Ｇ値、Ｂ値の平均値Ｒ＿ａｖｅ、Ｇ＿ａｖｅ、Ｂ＿ａｖｅをそれぞれ算出し、次のようにＲ値、Ｇ値、Ｂ値に対するゲイン値Ｇａｉｎ＿Ｒ、Ｇａｉｎ＿Ｇ、Ｇａｉｎ＿Ｂを決定する
　Ｇａｉｎ＿Ｒ＝Ｇ＿ａｖｅ／Ｒ＿ａｖｅ
　Ｇａｉｎ＿Ｇ＝１
　Ｇａｉｎ＿Ｂ＝Ｇ＿ａｖｅ／Ｂ＿ａｖｅ
　このゲイン値をゲイン処理部８４においてＲＡＷ画像のＲ値、Ｇ値、Ｂ値に乗算することにより、第１グレー領域１０８の各色成分の平均輝度が等しい無彩色の像が得られ、結果としてホワイトバランスが調整されたことになる。調整処理部８６は決定したゲイン値をゲイン処理部８４に設定したあと、調整後の撮影画像をガンマ補正部９０から取得し、そのうち第２グレー領域１１０の像の輝度が目標値となっているか確認する（Ｓ３２）。
　グレー領域という中間的な輝度に対しあらかじめ目標値を設定し、その値が得られるように露光時間やゲイン値を調整することにより、ブロックがどのような色であっても、また撮影環境が変化しても、輝度や色成分が最大階調に達して飽和したり、階調の可変範囲が小さくなってしまったりするのを防止する。なお目標値は一つの値でもよいし、範囲を有していてもよい。調整においては、まず露光時間を調整し、露光時間で調整しきれない分をゲイン値で調整する。これは特に輝度を増加させる必要がある場合、ゲイン値の増加に伴いノイズも増幅されてしまうためである。
　つまり第２グレー領域１１０の像の輝度が目標値となっていない場合（Ｓ３２のＮ）、可能であれば撮像部８０における露光時間を調整する（Ｓ３４のＹ、Ｓ３６）。すなわち輝度が目標値より大きければ露光時間を短縮し、目標値未満であれば露光時間を延長する。一方、露光時間が可変範囲の下限または上限に達し、それ以上の短縮または延長ができない場合（Ｓ３４のＮ）、ゲイン処理部８４に設定するゲイン値を調整する（Ｓ３８）。すなわち輝度が目標値より大きければゲイン値を下げ、目標値未満であればゲイン値を上げる。なお露光時間の可変範囲は画素の走査速度やフレームレートなどに鑑み適正な画像が得られる範囲である。
　露光時間を調整する場合もゲイン値を調整する場合も、所定の変化量だけ調整した後に得られた撮影画像に基づき、第２グレー領域１１０の輝度が目標値となったか確認する（Ｓ３２）。目標値になっていなければ再び露光時間またはゲイン値を調整する（Ｓ３４、Ｓ３６またはＳ３８）。これを第２グレー領域の輝度が目標値になるまで繰り返し、目標値になったら（Ｓ３２のＹ）、その設定における撮影画像を取得し、そのうち白領域１０４の像の輝度が所定値以下となっているか確認する（Ｓ４０）。
　すなわち白色が飽和しないかを実際の画像で確認することにより、Ｓ３２～Ｓ３８における第２グレー領域に基づく調整が適正であるか否かを判定する。例えば輝度を２５６階調とした場合、白領域１０４の輝度が２５０以下となっているか確認する。所定値より輝度が大きい場合（Ｓ４０のＮ）、１より小さい係数を乗算するなどしてそれまでの処理で設定した輝度のゲイン値を減少させる（Ｓ４２）。この処理を白領域１０４の像の輝度が所定値以下となるまで繰り返し、所定値以下となったら（Ｓ４０のＹ）、図９に示すように領域間の輝度差に基づく調整を行う。
　なおＳ４０、Ｓ４２で白領域１０４の像の輝度を所定値以下とするのと同様に、黒領域１０６の像の輝度を最低階調近傍の所定値以上とする調整を行ってもよい。これにより、その後の処理で暗い色のブロックが全て黒く写ってしまうような状況を防止する。ただしＳ３２からの調整処理を、低輝度から輝度を増加させていく方向、または高輝度から輝度を減少させていく方向、など一方向にのみ調整していく方針とした場合は、ゲイン値が大きすぎないかを白領域１０４の像で確認するか、ゲイン値が小さすぎないかを黒領域１０６の像で確認するか、のどちらか一方となる。
　続いて調整処理部８６は、図９に示すように、それまでなされた設定における撮影画像を取得し、そのうち第１グレー領域１０８と第２グレー領域１１０の像の輝度の平均値を求め、その差が目標値に達しているかを確認する（Ｓ４４）。例えば第１グレー領域１０８と第２グレー領域１１０の輝度の差を最大階調の１０％としたい場合、２５６階調に対し２５階調の輝度の差が必要となる。
　ここで１０％などと例示した値は、第１グレー領域１０８および第２グレー領域１１０の元の色の輝度差を反映させたものでもよいし、元の色にはそのような差がなくても画像上で得たい輝度差を設定してもよい。例えば輝度が近い色のブロックを同時に扱いたい場合は、後者のように、本来の色より像の輝度に差がつくようにすることで混同を防止できる。第１グレー領域１０８と第２グレー領域１１０の像の輝度差が目標値に達していない場合（Ｓ４４のＮ）、当該輝度差が目標値に達するようにガンマ補正部９０における補正規則を調整する（Ｓ４６）。
　基本的には本来のガンマ曲線のうち対応する部分を変形させる。ただし実際にはグラフとしての線を変形させる代わりに、その部分に異なる補正式を挿入してもよい。あるいは入力輝度と出力輝度との対応を離散的に表したテーブルを複数、準備しておき、当該テーブルを切り替えて利用してもよい。または該当部分の端点を徐々に移動させ、それらと本来のガンマ曲線がつながるように直線または曲線で補間してもよい。第１グレー領域１０８と第２グレー領域１１０像の輝度差が目標値に達するまでＳ４４、Ｓ４６の処理を繰り返し、目標値に達したら（Ｓ４４のＹ）、調整処理部８６は、それまでなされた設定における撮影画像を取得し、そのうちキャリブレーションチャート１０２を構成する複数の領域のそれぞれについてホワイトバランスを調整する（Ｓ４８）。
　この処理は基本的にＳ３０の処理と同様であり、上述の式を用いて各領域についてＲ値、Ｇ値、Ｂ値に対するゲイン値Ｇａｉｎ＿Ｒ、Ｇａｉｎ＿Ｇ、Ｇａｉｎ＿Ｂを求める。つまり各領域の像が表す輝度に対しゲイン値のセットが求められるため、色成分ごとに平均化して最終的なゲイン値を設定する。以上の調整処理により、外的要因の変化に対し頑健性を有するブロック認識が可能になる。
　図１０は、図８のＳ３０や図９のＳ４８においてなされるホワイトバランス調整について説明するための図である。同図上側は調整前、下側は調整後の、同じグレー領域の像のカラーヒストグラムであり、横軸を画素値、縦軸を画素数で表している。調整前は、緑成分のヒストグラム１２０、青成分のヒストグラム１２２、赤成分のヒストグラム１２４が互いに異なる分布を示している。そこで上記の式のように、Ｒ値の平均値およびＢ値の平均値に対するＧ値の平均値の割合をＲ値、Ｂ値のゲインとして各画素値に乗算することにより、調整後のヒストグラムのように、Ｇ値の分布とおよそ同等なＲ値、Ｂ値の分布が得られる。ただしホワイトバランスの調整手法をこれに限る主旨ではなく、実用化されている手法のいずれを採用してもよい。
　図１１は、図９のＳ４８において、キャリブレーションチャートを構成する複数の領域についてホワイトバランスを調整したときの画素値の変化を示している。なおこの場合のキャリブレーションチャートは同図上段（キャリブレーションチャート１２６）に示すように、黒から白までの無彩色を６段階の輝度で表した６つの領域を横方向に並べた構成としている。中段および下段は、このようなキャリブレーションチャート１２６に対し、黒側から横方向に走査したときの各色成分の画素値の変化を、横軸を位置、縦軸を画素値で表しており、中段は調整前、下段は調整後である。
　調整前は緑成分の画素値１２８、青成分の画素値１３０、赤成分の画素値１３２が全ての領域で異なる値を示している。そこで上述のように各領域についてホワイトバランスを調整しゲイン値を最適化することにより、調整後のグラフのように全ての領域について各色成分がおよそ同じ画素値を有するように補正できる。なお図９のＳ４４、Ｓ４６において目標値に達するように調整を行う輝度差は、同図の場合、例えば２つの領域間における画素値の差Ｄに対応する。
　図１２は図８のＳ３２～Ｓ３８において露光時間およびゲイン値を調整する処理について説明するための図である。この説明では、デモザイク部８８がＲＡＷ画像からＹＣｂＣｒ画像を生成し、そのうちＹ画像（輝度画像）を用いてグレー領域の像の輝度値を目標値にするための調整を行うとする。この場合、ＲＡＷ画像を補間してなるＲＧＢ画像の各画素の輝度Ｙは次の式により算出される。
　Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
　図８のＳ３２において、調整前の第２グレー領域の像の輝度が図１２の左側上段の「Ｙ」のような値であるとする。ここで「Ｙ」の上に示される長方形は、輝度値がとり得る最大階調を上辺とし、当該最大階調に対する実際の輝度の平均値の割合を網掛けで示している。また同図では、このときのＲＧＢの各平均値の最大階調に対する割合も同様の形式で下段に示している。なお第２グレー領域の像は無彩色であるため、ホワイトバランスを調整した場合はＲＧＢの各平均値は略同一の値となる。また運用時はブロックの色によってＲＧＢ値が変化する。
　このような輝度値が得られるときの露光時間やゲイン値をそのまま採用した場合、第２グレー領域より輝度値の大きい色のブロックについては、その像の輝度が飽和してしまう可能性が高くなる。また図示するようにＧ値など特定成分が他より大きい色の場合、当該特定成分が飽和しやすくなり、結果として実際の色と画像上の色が異なってしまうことが考えられる。そこで上述のように、第２グレー領域の輝度に適切な目標値を設け、そのような像が得られるように露光時間およびゲイン値を調整する。
　目標値は厳密には調整対象のグレー領域の本来の輝度に応じて決定するが、定性的にはどの色であっても輝度およびＲＧＢ値が飽和しないようにする。例えば目標値を最大階調の６０％とした場合、Ｒ値やＢ値が０のときＧ値は上述の式から１００％より大きくなる。すなわち同程度の輝度でも緑系の色では飽和してしまう可能性が高い。目標値を５０％とするとＲ値やＢ値が０の場合、Ｇ値は８６％であるが、輝度がそれより大きい色で飽和してしまう可能性が高い。目標値を３０％とすると、Ｒ値やＢ値が０であってもＧ値が５７％となり余裕分が４３％生じる。
　例えばＲＧＢの入力値をそれぞれ１０ビット１０２４階調とすると、第２グレー領域と同等の輝度でＧ値が１０２４×５７％＝５８３階調となるのが最大となる。またＲＧＢの画素値が全て等しい場合でも、ＲＧＢをそれぞれ１０２４×３０％＝３０７階調で表現できる。したがって図１２の右側上段に示すように目標値を３０％程度と設定し、露光時間およびゲイン値を調整する。このとき上述のように露光時間を優先して調整し、露光時間が可変限界に達しても目標値に達しない場合に各色成分のゲイン値を調整する。
　なお同図に示すように輝度値を調整するということは、同じ割合でＲＧＢ画像を調整していることに他ならない。したがって場合によってはＲＧＢ値に目標値を設け、ＲＧＢ画像に基づき露光時間等を調整してもよい。この場合、先にホワイトバランスを調整することにより、ＲＧＢ画像に設定する目標値を３０％などと統一することができる。
　図１３は図９のＳ４４～Ｓ４６において、ガンマ補正部９０における補正規則を調整する処理について説明するための図である。一般的なカメラでは、撮像素子からの出力値を、ディスプレイでの良好なカラーバランスにするためガンマ補正がなされる。補正前の輝度値を入力輝度Ｙｉｎ、補正後の輝度値を出力輝度Ｙｏｕｔとすると、ガンマ補正は次の補正式によって実行される。
Figure JPOXMLDOC01-appb-M000001





　ここでγは想定するディスプレイの特性などに基づき決定される値である。図１３ではこの補正式を、横軸を入力輝度Ｙｉｎ、縦軸を出力輝度Ｙｏｕｔとして細線のガンマ曲線１４０で示している。ここで第１グレー領域１０８と第２グレー領域１１０の像の輝度の平均値がそれぞれＹ１、Ｙ２であったとする。これをガンマ曲線１４０で補正した場合、白丸１４２ａ、１４２ｂに示すように出力輝度Ｙｏｕｔの差Ｄが比較的小さくなってしまう場合がある。そこで上述のように、差Ｄを目標値と比較し、目標値に達していない場合は補正規則たるガンマ曲線を変形させて出力輝度Ｙｏｕｔの差を広げる。
　図１３の例では、元のガンマ曲線１４０のうち入力輝度がＹ２からＹ１までの部分およびその近傍の部分を変形させた新たな補正曲線１４６（太線）を生成することにより、出力輝度Ｙｏｕｔの差をＤ’に広げている。実際には、入力輝度Ｙ１に対応する白丸１４２ａの出力値を黒丸１４４ａまで増加させ、入力輝度Ｙ２に対応する白丸１４２ｂの出力値を黒丸１４４ｂまで減少させる。増減の幅は固定値でもよいし入力輝度によって変化させてもよい。そして当該黒丸１４４ａ、１４４ｂを通過し元のガンマ曲線１４０に接続するように一般的な手法により補間することで補正曲線１４６を得る。なお補正曲線１４６は曲線に限らず、一部または全てが直線でもよい。
　いずれにしろ出力輝度Ｙｏｕｔの差をＤからＤ’に広げることにより、少なくとも第１グレー領域１０８と第２グレー領域１１０の輝度を有するブロックの色の区別を高精度に認識することができる。色の区別を高精度に認識するということは、本来は同じ色のブロックの輝度が何らかの外的要因でばらついても同じ色とみなすことができる、ということを意味している。結果として、色に基づくブロック認識を高精度化できる。
　このような観点において、第１グレー領域１０８と第２グレー領域１１０の輝度は、運用時に用いられるブロックの色の輝度分布に基づき決定することが望ましい。例えば輝度が近い２色のブロックを用いることを想定した場合、第１グレー領域１０８と第２グレー領域１１０の輝度をそれら２色の輝度に合わせたうえ、補正曲線の調整を図示するように行えば、それらの像の輝度の出力値の差を強調することができる。
　３色以上で輝度が近い場合、第１グレー領域、第２グレー領域、第３グレー領域・・・と、ブロックの輝度に合わせてグレー領域の輝度のバリエーションを増やすことにより、それらの像の出力輝度の差を同様の手法で強調することができる。上述はグレー領域を利用して補正曲線を調整する手法であったが、実際のブロックの色分布を直接評価することにより補正曲線を調整してもよい。
　図１４はブロックの色分布に基づき補正曲線を調整する手法を説明するための図である。上段は運用中にユーザがプレイフィールド１００上の空間に入れることで検出されたブロックの検出頻度を、ブロックの色の輝度別に表したヒストグラムである。つまりこの分布は運用時の状況に応じて更新される。上述のとおり、情報処理装置１０は新たにブロックを検出する都度、その色情報を撮像装置１２に通知する。撮像装置１２の調整処理部８６は当該情報を累積して記録していくことにより、図示するようなヒストグラムを作成、更新する。そして当該ヒストグラムに基づき必要に応じて補正曲線を調整する。
　図示した例では、輝度ゾーンＡおよび輝度ゾーンＢに偏った色のブロックが用いられている。各輝度ゾーンに属する色は類似の輝度を有するため運用時に混同される可能性が高い。そこで図１３で示したのと同様にガンマ曲線を調整することにより、出力輝度に十分な差が出るようにする。具体的には、輝度ゾーンＡの最低輝度Ａｍｉｎと最高輝度Ａｍａｘをガンマ曲線で補正したときの出力輝度の差ＤＡ、輝度ゾーンＢの最低輝度Ｂｍｉｎと最高輝度Ｂｍａｘをガンマ曲線で補正したときの出力輝度の差ＤＢを確認し、目標値に達していない場合、差を広げるように曲線を変形させる。
　図１４の場合、輝度ゾーンＡの出力輝度の差ＤＡは目標値に達しているが、輝度ゾーンＢの出力輝度の差ＤＢは目標値に達していないとして、それをＤＢ’に広げるように太線に示すような補正曲線を生成している。これにより、輝度ゾーンＢに属する色を混同する危険性を抑え、全てのブロックを高精度に認識できるようになる。なお輝度ゾーンＢには３つの輝度ステップにおいて１以上の頻度が得られているため、最低輝度Ｂｍｉｎと最高輝度Ｂｍａｘに中間輝度を加えた３点の間でそれぞれ差を広げるように調整してもよい。また頻度に応じて出力輝度の差に与える目標値を変化させてもよい。同図の例では輝度ゾーンＡと比較し輝度ゾーンＢの頻度が大きいため、目標値をより大きく設定してもよい。
　ユーザがプレイフィールド１００上に実際に入れたブロックの像に基づき補正曲線を調整する代わりに、キャリブレーションチャート１０２のグレー領域の輝度を、用いると想定されるブロックの色の輝度に合わせても同様の調整が行える。すなわち事前に、図示するようなブロックの輝度分布を取得しておき、輝度ゾーンＡの最低輝度Ａｍｉｎと最高輝度Ａｍａｘ、および輝度ゾーンＢの最低輝度Ｂｍｉｎと最高輝度Ｂｍａｘを有する４つのグレー領域をキャリブレーションチャート１０２に準備する。
　最低輝度や最高輝度のみならずその中間の輝度のグレー領域をさらに準備してもよい。そして図１３で示したように、グレー領域の像の輝度をガンマ補正したときの出力輝度の差Ｄが目標値に達していなければガンマ曲線を変形させる。この場合、複数の色のブロックと、その色分布に合わせて構成したキャリブレーションチャート１０２を備えたプレイマット１８とをセットで提供するような態様が考えられる。なお輝度の刻み幅が小さいグレー領域を多数設けておき、ブロックの色の輝度に対応するグレー領域を選択して調整に用いても同様の機能を実現できる。この場合、調整に用いるべきグレー領域を、過去に検出したブロックの色やセットで供給するブロックの色に基づき記録しておく。
　キャリブレーションチャート１０２の一部をブロックの色に合わせた有彩色のカラーチャートで構成してもよい。この場合、図１４で輝度とした変数を、（Ｒ，Ｇ，Ｂ）や（Ｒ／Ｇ，Ｂ／Ｇ）などの３次元または２次元の変数とする。そして当該色空間においてブロックの色が所定の基準より密集している色領域を検出し、それらの色の補正後の標準偏差、または色空間における各色の距離が目標値に達していない場合はそれを広げるようにガンマ曲線を変形させる。
　このカラーチャートを利用して、ゲイン処理部８４における各色成分のゲイン値を調整することにより、ガンマ補正前の色に差をつけるようにしてもよい。図１５はカラーチャートを利用してＲＧＢのゲイン値を調整する手法を説明するための図である。この処理は例えば図８のフローチャートにおいて、キャリブレーションチャート１０２のグレー領域の像の輝度に基づき露光時間やゲイン値を調整するＳ３２～Ｓ４２の処理の後に行う。まずブロックの色として、類似する第１カラー、第２カラー、第３カラーがあるとする。同図左側が各色のカラーヒストグラムであり図１０と同様の形式で表している。
　この例において、第２カラーと同じ色の領域（第２カラー領域と呼ぶ）をキャリブレーションチャート１０２に準備するとする。そして調整処理部８６は上記Ｓ３２～Ｓ４２の処理後、撮影されたキャリブレーションチャート１０２の画像のうち第２カラー領域の像を抽出し、その像でホワイトバランスを調整する。すなわち当該第２カラーが無彩色となるように各色成分のゲイン値を決定する。ホワイトバランスの調整の仕方は図１０を参照して説明したのと同様である。これにより、同図における第２カラーの右側のカラーヒストグラムのように、各色成分の分布がおよそ同等となる。
　決定したゲイン値で実際のブロックを撮影すると、第１カラーおよび第３カラーのヒストグラムはそれぞれの右側に示したようになる。この色情報は、第１カラー、第２カラー、第３カラーの本来の色とは異なるが、第１～第３カラーの差が明確に表れる。例えば元の色では第１～第３カラーは全てＧ値が強い緑系の色であったが、調整後は、第１カラーは青味が強く、第２カラーは無彩色に近く、第３カラーは赤みが強い色になる。
　このように用いるブロックの少なくともいずれかの色のカラーチャートを準備し、その色でホワイトバランスを調整することにより、それに類似する色との区別が元の色より強調される。結果として撮影画像から取得する色情報に多少のばらつきがあっても、他の色との混同を避けることができる。図１４で示した輝度ゾーンのように、類似の色集合が複数ある場合は、色集合ごとに平均色などのカラーチャートを準備すればよい。
　図１６は本実施の形態におけるプレイマットの変形例を示している。この例のプレイマット１５０はプレイフィールド１５２を略全面に設けた構成とし、キャリブレーションチャート１５４を別途準備する。そしてキャリブレーションチャート１５４を用いて撮影条件や画像の補正条件を調整する際は、プレイフィールド１５２の上にキャリブレーションチャート１５４を重ねて用いる。面ファスナー等で貼り付けられるようにしてもよい。一方、ブロックを用いた運用中はキャリブレーションチャート１５４を取り外すことによりプレイフィールド１５２を露出させる。
　このような構成とすると、プレイフィールド１５２およびキャリブレーションチャート１５４の双方を、プレイマット１５０と同等の面積とすることができる。結果として、より多くの輝度や色の領域をキャリブレーションチャート１５４として準備できるとともに、ブロックをより広い場所で扱える。また撮像装置１２の視野を固定しても、キャリブレーションチャート１５４およびプレイフィールド１５２の双方を良好に撮影できる。このようにキャリブレーションチャート１５４を着脱可能とする代わりに、プレイマット１５０の裏面の略全面にキャリブレーションチャートを表示する構成としてもよい。この場合、必要に応じてユーザが裏返すことによって、上述と同様の効果が得られる。
　以上、述べた本実施の形態によれば、色に基づくブロック認識を含む情報処理システムにおいて、ブロックを検出する対象空間を規定するプレイマットに複数の輝度や色の領域を含むキャリブレーションチャートを設ける。そして撮像装置における初期処理として、当該キャリブレーションチャートの撮影画像の像に基づき、露光時間、各色成分に与えるゲイン値、ガンマ補正時の補正規則、の少なくともいずれかを調整する。
　具体的には、どのような色についても輝度や色成分の値が飽和しない範囲で階調数を最大限に利用できるように、グレー領域の像の輝度に基づき露光時間および各色成分に与えるゲイン値を調整する。また無彩色の領域に基づきホワイトバランスを調整する。さらに輝度の異なる領域の出力輝度差が十分に表れるようにガンマ補正時の補正曲線を調整する。
　またキャリブレーションチャートにブロックと同一の色の領域を設け、そのホワイトバランスを調整することにより、当該色と類似の色との差を強調したカラー画像を生成する。キャリブレーションチャート以外に、実際にプレイフィールド上に入ったブロックの色分布や輝度分布に応じてガンマ補正時の補正曲線を調整し、出力画像における輝度や色の差を強調してもよい。これらのことにより、照明や他の物の存在の有無など撮影環境の変化の影響を排除した状態で撮影画像からブロックの色情報を取得できる。また類似の色を有するブロックの混同を避けられる。結果として、色に基づくブロックの認識精度を向上させることができる。
　以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
　１　情報処理システム、　２０ａ　ブロック、　１０　情報処理装置、　１２　撮像装置、　１４　入力装置、　１６　表示装置、　１８　プレイマット、　２２　ＣＰＵ、　２４　ＧＰＵ、　２６　メインメモリ、　５２　入力情報取得部、　５４　撮影画像取得部、　６０　検出部、　６２　認識部、　６４　ブロックデータベース、　７０　出力データ生成部、　７２　画像データ記憶部、　８０　撮像部、　８４　ゲイン処理部、　８６　調整処理部、　８８　デモザイク部、　９０　ガンマ補正部、　９２　データ送出部、　１００　プレイフィールド、　１０２　キャリブレーションチャート、　１５０　プレイマット、　１５２　プレイフィールド、　１５４　キャリブレーションチャート。
　以上のように本発明は玩具、学習機器、コンピュータ、ゲーム装置、情報処理装置や、それらを含むシステムなどに利用可能である。

Claims (17)

  1. 　実物体の認識に用いられる撮影画像のデータを出力する撮像装置であって、
    　撮像素子を用いて撮像された未加工画像のデータから、出力する撮影画像のデータを生成する出力画像生成部と、
    　前記撮影画像を評価し前記撮像素子における撮影条件および、前記出力画像生成部における処理条件の少なくともいずれかを調整する調整処理部と、
    　前記撮影画像のデータを、実物体を認識する装置に出力するデータ送出部と、
    　を備え、
    　前記調整処理部は、認識対象の空間に備えられた、異なる輝度を有する複数の色領域で構成されるキャリブレーションチャートの像の色情報に基づき、前記撮影条件および処理条件を調整することを特徴とする撮像装置。
  2. 　前記調整処理部は、前記キャリブレーションチャートの色領域の像の輝度を評価し、前記実物体の色の輝度に対応する複数の輝度の差を拡張するように前記処理条件を調整することを特徴とする請求項１に記載の撮像装置。
  3. 　前記調整処理部は、前記撮影画像における前記実物体の像の輝度分布に基づき、差を拡張すべき輝度範囲を決定することを特徴とする請求項２に記載の撮像装置。
  4. 　前記調整処理部は、前記キャリブレーションチャートのうち前記実物体の色と同じ色領域の像の色を評価し、複数の像の色の色空間における距離を拡張するように前記処理条件を調整することを特徴とする請求項１に記載の撮像装置。
  5. 　前記調整処理部は前記処理条件の調整として、ガンマ補正時の補正規則を調整することを特徴とする請求項２から４のいずれかに記載の撮像装置。
  6. 　前記調整処理部は、前記キャリブレーションチャートのうち前記実物体のいずれかの有彩色と同じ色領域の像を無彩色とするように各色成分のゲイン値を調整することを特徴とする請求項１に記載の撮像装置。
  7. 　前記調整処理部は、前記キャリブレーションチャートのうち所定の輝度を有する色領域の像の輝度を評価し、あらかじめ定めた目標輝度に合わせる方向で撮影条件および前記処理条件を調整することを特徴とする請求項１から６のいずれかに記載の撮像装置。
  8. 　前記調整処理部は、前記キャリブレーションチャートのうち無彩色の色領域の像に対しホワイトバランスを調整することを特徴とする請求項１から７のいずれかに記載の撮像装置。
  9. 　前記データ送出部は、前記調整処理部により調整された処理条件にて生成された撮影画像のデータと、前記調整処理部による調整の少なくとも一部を省略した処理条件にて生成された撮影画像のデータと、を並列に出力することを特徴とする請求項１から８のいずれかに記載の撮像装置。
  10. 　前記データ送出部は、前記調整処理部により調整された処理条件にて生成された撮影画像のデータと、前記調整処理部による調整の少なくとも一部を省略した処理条件にて生成された撮影画像のデータと、を前記実物体を認識する装置からの要求により切り替えて出力することを特徴とする請求項１から８のいずれかに記載の撮像装置。
  11. 　実物体を撮影した撮影画像のデータを出力する撮像装置と、当該撮影画像を用いて実物体を認識する情報処理装置と、を含む情報処理システムであって、
    　前記撮像装置は、
    　撮像素子を用いて撮像された未加工画像のデータから、出力する撮影画像のデータを生成する出力画像生成部と、
    　前記撮影画像を評価し前記撮像素子における撮影条件および前記出力画像生成部における処理条件の少なくともいずれかを調整する調整処理部と、
    　前記撮影画像のデータを、前記情報処理装置に出力するデータ送出部と、
    　を備え、
    　前記調整処理部は、認識対象の空間に備えられた、異なる輝度を有する複数の色領域で構成されるキャリブレーションチャートの像の色情報に基づき、前記撮影条件および処理条件を調整し、
    　前記情報処理装置は、
    　前記撮影画像における実物体の像の色情報と、登録済みの実物体の色情報とを比較することによりブロックを認識し、当該ブロックに対し設定されている処理を行うことを特徴とする情報処理システム。
  12. 　撮影画像における像の色情報に基づき実物体を認識する情報処理システムにおいて被写空間に置くマットであって、
    　実物体を入れることにより当該実物体を認識対象とする空間の底面領域を規定するプレイフィールドと、
    　異なる輝度を有する複数の色領域で構成され、撮像装置が、撮影画像におけるその像の色情報に基づき、撮影条件および、出力する撮影画像のデータを生成する際の処理条件の少なくともいずれかを調整するためのキャリブレーションチャートと、
    　を備えることを特徴とするマット。
  13. 　前記キャリブレーションチャートは、認識対象の実物体の想定色に対応する輝度を有する色領域を含むことを特徴とする請求項１２に記載のマット。
  14. 　前記プレイフィールドを備えた第１のマットと、前記キャリブレーションチャートを備えた第２のマットを含み、
    　前記第１のマット上に前記第２のマットを重ねて装着可能に構成されることを特徴とする請求項１２または１３に記載のマット。
  15. 　撮像装置が、実物体の認識に用いられる撮影画像のデータを生成する画像生成方法であって、
    　撮像素子を用いて撮像された未加工画像のデータから、出力する撮影画像のデータを生成するステップと、
    　前記撮影画像を評価し前記撮像素子における撮影条件および、前記生成するステップにおける処理条件の少なくともいずれかを調整するステップと、
    　前記撮影画像のデータを、実物体を認識する装置に出力するステップと、
    　を含み、
    　前記調整するステップは、認識対象の空間に備えられた、異なる輝度を有する複数の色領域で構成されるキャリブレーションチャートの像の色情報に基づき、前記撮影条件および処理条件を調整することを特徴とする画像生成方法。
  16. 　実物体の認識に用いられる撮影画像のデータを生成する機能をコンピュータに実現させるコンピュータプログラムであって、
    　撮像素子を用いて撮像された未加工画像のデータから、出力する撮影画像のデータを生成する機能と、
    　前記撮影画像を評価し前記撮像素子における撮影条件および、前記生成する機能における処理条件の少なくともいずれかを調整する機能と、
    　前記撮影画像のデータを、実物体を認識する装置に出力する機能と、
    　をコンピュータに実現させ、
    　前記調整する機能は、認識対象の空間に備えられた、異なる輝度を有する複数の色領域で構成されるキャリブレーションチャートの像の色情報に基づき、前記撮影条件および処理条件を調整することを特徴とするコンピュータプログラム。
  17. 　実物体の認識に用いられる撮影画像のデータを生成する機能をコンピュータに実現させるコンピュータプログラムを記録した記録媒体であって、
    　撮像素子を用いて撮像された未加工画像のデータから、出力する撮影画像のデータを生成する機能と、
    　前記撮影画像を評価し前記撮像素子における撮影条件および、前記生成する機能における処理条件の少なくともいずれかを調整する機能と、
    　前記撮影画像のデータを、実物体を認識する装置に出力する機能と、
    　をコンピュータに実現させ、
    　前記調整する機能は、認識対象の空間に備えられた、異なる輝度を有する複数の色領域で構成されるキャリブレーションチャートの像の色情報に基づき、前記撮影条件および処理条件を調整するコンピュータプログラムを記録したことを特徴とするコンピュータにて読み取り可能な記録媒体。
PCT/JP2016/052777 2015-02-06 2016-01-29 撮像装置、情報処理システム、マット、および画像生成方法 WO2016125714A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP16746545.9A EP3255885B1 (en) 2015-02-06 2016-01-29 Image pickup apparatus, information processing system, image generation method and corresponding computer program
US15/547,707 US10477175B2 (en) 2015-02-06 2016-01-29 Image pickup apparatus, information processing system, mat, and image generation method
US16/594,982 US10869010B2 (en) 2015-02-06 2019-10-07 Image pickup apparatus, information processing system, mat, and image generation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-022243 2015-02-06
JP2015022243A JP6345612B2 (ja) 2015-02-06 2015-02-06 撮像装置、情報処理システム、マット、および画像生成方法

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/547,707 A-371-Of-International US10477175B2 (en) 2015-02-06 2016-01-29 Image pickup apparatus, information processing system, mat, and image generation method
US16/594,982 Continuation US10869010B2 (en) 2015-02-06 2019-10-07 Image pickup apparatus, information processing system, mat, and image generation method

Publications (1)

Publication Number Publication Date
WO2016125714A1 true WO2016125714A1 (ja) 2016-08-11

Family

ID=56564060

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/052777 WO2016125714A1 (ja) 2015-02-06 2016-01-29 撮像装置、情報処理システム、マット、および画像生成方法

Country Status (4)

Country Link
US (2) US10477175B2 (ja)
EP (1) EP3255885B1 (ja)
JP (1) JP6345612B2 (ja)
WO (1) WO2016125714A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10235587B2 (en) * 2014-03-04 2019-03-19 Samsung Electronics Co., Ltd. Method and system for optimizing an image capturing boundary in a proposed image
JP6345612B2 (ja) * 2015-02-06 2018-06-20 株式会社ソニー・インタラクティブエンタテインメント 撮像装置、情報処理システム、マット、および画像生成方法
EP3424403B1 (en) * 2016-03-03 2024-04-24 Sony Group Corporation Medical image processing device, system, method, and program
WO2018142228A2 (en) 2017-01-19 2018-08-09 Mindmaze Holding Sa Systems, methods, apparatuses and devices for detecting facial expression and for tracking movement and location including for at least one of a virtual and augmented reality system
US10943100B2 (en) 2017-01-19 2021-03-09 Mindmaze Holding Sa Systems, methods, devices and apparatuses for detecting facial expression
EP3568804A2 (en) * 2017-02-07 2019-11-20 Mindmaze Holding S.A. Systems, methods and apparatuses for stereo vision and tracking
US10373341B2 (en) * 2017-08-28 2019-08-06 Facebook, Inc. Systems and methods for automated color correction
US11328533B1 (en) 2018-01-09 2022-05-10 Mindmaze Holding Sa System, method and apparatus for detecting facial expression for motion capture
JP7151234B2 (ja) 2018-07-19 2022-10-12 株式会社デンソー カメラシステムおよびイベント記録システム
US10964262B1 (en) * 2018-08-30 2021-03-30 Apple Inc. Systems and methods for reducing visual artifacts in displays due to refresh rate
JP7007324B2 (ja) * 2019-04-25 2022-01-24 ファナック株式会社 画像処理装置、画像処理方法、及びロボットシステム
US11216981B2 (en) 2019-07-26 2022-01-04 Cnh Industrial America Llc System and method for calibrating image data during an agricultural operation using a color indicator
JP7430554B2 (ja) 2020-03-19 2024-02-13 株式会社キーエンス 光学式情報読取装置、光学式情報読取方法、光学式情報読取プログラム及びコンピュータで読取可能な記録媒体並びに記録した機器
KR20230082616A (ko) 2020-09-17 2023-06-08 스캔웰 헬스, 인크. 진단 테스트 키트들 및 이를 분석하는 방법들
USD970033S1 (en) 2020-10-23 2022-11-15 Becton, Dickinson And Company Cartridge imaging background device
JP2023548785A (ja) 2020-10-23 2023-11-21 ベクトン・ディキンソン・アンド・カンパニー 検査デバイスの撮像及び画像ベースの分析のためのシステム及び方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1196333A (ja) * 1997-09-16 1999-04-09 Olympus Optical Co Ltd カラー画像処理装置
JP2008073256A (ja) * 2006-09-21 2008-04-03 Sony Computer Entertainment Inc ゲーム装置、ゲーム制御方法、及びゲーム制御プログラム
JP2010028780A (ja) * 2008-05-02 2010-02-04 Nintendo Co Ltd 色変換プログラムおよび色変換装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5546475A (en) * 1994-04-29 1996-08-13 International Business Machines Corporation Produce recognition system
US6775633B2 (en) * 2001-12-31 2004-08-10 Kodak Polychrome Graphics, Llc Calibration techniques for imaging devices
US7639260B2 (en) * 2004-12-15 2009-12-29 Xerox Corporation Camera-based system for calibrating color displays
EP1987331A2 (en) * 2006-02-16 2008-11-05 Clean Earth Technologies, Llc Method for spectral data classification and detection in diverse lighting conditions
WO2011017393A1 (en) 2009-08-04 2011-02-10 Eyecue Vision Technologies Ltd. System and method for object extraction
US20100195902A1 (en) 2007-07-10 2010-08-05 Ronen Horovitz System and method for calibration of image colors
GB201000835D0 (en) 2010-01-19 2010-03-03 Akzo Nobel Coatings Int Bv Method and system for determining colour from an image
US8532371B2 (en) * 2010-10-04 2013-09-10 Datacolor Holding Ag Method and apparatus for evaluating color in an image
KR20150056980A (ko) * 2013-11-18 2015-05-28 삼성전자주식회사 멀티 디스플레이의 색편차 보정용 카메라의 제어 방법 및 장치
JP6345612B2 (ja) * 2015-02-06 2018-06-20 株式会社ソニー・インタラクティブエンタテインメント 撮像装置、情報処理システム、マット、および画像生成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1196333A (ja) * 1997-09-16 1999-04-09 Olympus Optical Co Ltd カラー画像処理装置
JP2008073256A (ja) * 2006-09-21 2008-04-03 Sony Computer Entertainment Inc ゲーム装置、ゲーム制御方法、及びゲーム制御プログラム
JP2010028780A (ja) * 2008-05-02 2010-02-04 Nintendo Co Ltd 色変換プログラムおよび色変換装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3255885A4 *

Also Published As

Publication number Publication date
US20180027222A1 (en) 2018-01-25
EP3255885A1 (en) 2017-12-13
JP6345612B2 (ja) 2018-06-20
JP2016146536A (ja) 2016-08-12
US10869010B2 (en) 2020-12-15
US10477175B2 (en) 2019-11-12
US20200045284A1 (en) 2020-02-06
EP3255885B1 (en) 2020-03-25
EP3255885A4 (en) 2018-09-12

Similar Documents

Publication Publication Date Title
JP6345612B2 (ja) 撮像装置、情報処理システム、マット、および画像生成方法
US10397486B2 (en) Image capture apparatus and method executed by image capture apparatus
US8446485B2 (en) Image processing apparatus, image processing method, and storage medium thereof
US8970745B2 (en) Image processing device, image processing method and storage medium to suppress shading of images in which pixel addition processing is performed
KR101317552B1 (ko) 화이트 밸런스 조정이 가능한 촬상장치, 방법 및 기록매체
US9813634B2 (en) Image processing apparatus and method
CN106464816A (zh) 图像处理设备及其图像处理方法
JP6006543B2 (ja) 画像処理装置および画像処理方法
US10281714B2 (en) Projector and projection system that correct optical characteristics, image processing apparatus, and storage medium
US20160269705A1 (en) Image processing apparatus and control method thereof
US20230196530A1 (en) Image processing apparatus, image processing method, and image capture apparatus
JP2011135519A (ja) 画像処理装置、画像処理方法及びプログラム
JP2004297698A (ja) 撮像装置及び撮像方法
JP5956844B2 (ja) 画像処理装置およびその制御方法
JP2011101073A (ja) 撮像装置、ホワイトバランス設定方法、及び、プログラム
JPWO2018189880A1 (ja) 情報処理装置、情報処理システム、および画像処理方法
JP4935925B1 (ja) 撮像装置、ホワイトバランス調整方法及びホワイトバランス調整プログラム
JP2012165147A (ja) 画像処理装置およびその制御方法
JP2007081724A (ja) 撮像装置及び撮像装置の制御方法
JP5574015B2 (ja) 画像処理装置、電子カメラおよび画像処理プログラム
JP6126638B2 (ja) 画像処理装置、画像処理方法およびそのプログラム
JP5088272B2 (ja) 画像処理装置、電子カメラおよび画像処理プログラム
JP5459178B2 (ja) 撮像装置、ホワイトバランス調整方法及びホワイトバランス調整プログラム
JP2012142980A (ja) 画像処理装置、画像処理装置の制御方法、プログラム及び記憶媒体
JP2012249149A (ja) 画像処理装置、画像処理方法およびそのプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16746545

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2016746545

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15547707

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE