WO2020049638A1 - 情報処理装置およびプレイフィールド逸脱検知方法 - Google Patents

情報処理装置およびプレイフィールド逸脱検知方法 Download PDF

Info

Publication number
WO2020049638A1
WO2020049638A1 PCT/JP2018/032767 JP2018032767W WO2020049638A1 WO 2020049638 A1 WO2020049638 A1 WO 2020049638A1 JP 2018032767 W JP2018032767 W JP 2018032767W WO 2020049638 A1 WO2020049638 A1 WO 2020049638A1
Authority
WO
WIPO (PCT)
Prior art keywords
polarization
degree
image
information processing
play field
Prior art date
Application number
PCT/JP2018/032767
Other languages
English (en)
French (fr)
Inventor
和田　信也
隆行 石田
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to JP2020540903A priority Critical patent/JP7101250B2/ja
Priority to PCT/JP2018/032767 priority patent/WO2020049638A1/ja
Priority to US17/270,903 priority patent/US20210178265A1/en
Publication of WO2020049638A1 publication Critical patent/WO2020049638A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/514—Depth or shape recovery from specularities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Definitions

  • the present invention relates to an information processing apparatus and a play field departure detection method for detecting in advance a departure of a moving object from a play field.
  • the user cannot see the outside world, so the user may lose sense of direction or move to an unexpected position in the real space so immersed in the game. Such a situation is difficult for the user to understand unless the head-mounted display is removed. Also, in the case where the robot is provided with an imaging device, the robot may move in an unexpected direction due to erroneous recognition of a surrounding object or situation. In either case, there is a risk that the user or the robot will collide with a wall or an obstacle or step off the ground.
  • the present invention has been made in view of such problems, and an object of the present invention is to provide a technique capable of suitably controlling a moving range of a moving body such as a robot or a user wearing a head-mounted display.
  • the information processing apparatus includes: an image acquisition unit that acquires data of polarization images in a plurality of directions photographed by an imaging device provided on a moving object; and a polarization degree acquisition unit that acquires a distribution of polarization degrees using the polarization images. And evaluating the shape of the high-polarization degree region having a degree of polarization greater than the threshold value in a state in which the mobile object is viewed from directly above, thereby detecting the periphery of the play field where the moving object exists. And an output data generation unit that generates and outputs output data for avoiding movement to the periphery.
  • Another embodiment of the present invention relates to a playfield deviation detection method.
  • the information processing apparatus acquires data of polarization images in a plurality of directions taken by an imaging device provided on the moving body, and acquires a distribution of the degree of polarization using the polarization images.
  • a step of detecting the periphery of the play field in which the moving object is present by evaluating the shape of the high polarization region having a degree of polarization greater than the threshold value in a state in which the moving object is viewed from directly above the moving object; And generating and outputting output data for avoiding the movement to.
  • a moving range of a moving body such as a robot or a user wearing a head mounted display.
  • FIG. 1 is a diagram illustrating a configuration example of an information processing system according to the present embodiment.
  • FIG. 3 is a diagram for explaining basic characteristics of polarized light used in the present embodiment.
  • FIG. 3 is a diagram illustrating a change in luminance with respect to a polarization direction in the present embodiment. It is a figure which compares the example of the change of the polarization degree with respect to the zenith angle of a normal vector by specular reflection and diffuse reflection.
  • FIG. 3 is a diagram illustrating a structural example of an imaging device including a polarizer layer, which can be introduced into the imaging device of the present embodiment.
  • FIG. 3 is a diagram for explaining basic characteristics of polarized light used in the present embodiment.
  • FIG. 3 is a diagram illustrating a change in luminance with respect to a polarization direction in the present embodiment. It is a figure which compares the example of the change of the polarization degree with respect to the zenith angle of a normal vector by specular reflection and diffuse
  • FIG. 3 is a diagram for explaining the principle of the information processing apparatus according to the present embodiment detecting the periphery of a planar playfield based on the shape of a region where a high degree of polarization is obtained.
  • FIG. 3 is a diagram for explaining the principle of the information processing apparatus according to the present embodiment detecting the periphery of a planar playfield based on the shape of a region where a high degree of polarization is obtained.
  • FIG. 2 is a diagram illustrating an internal circuit configuration of the information processing apparatus according to the present embodiment.
  • FIG. 2 is a diagram illustrating a configuration of a functional block of the information processing apparatus according to the present embodiment.
  • FIG. 7 is a diagram illustrating a screen displayed when a user wearing a head-mounted display is warned of a deviation from a play field in the present embodiment.
  • 9 is a flowchart illustrating a procedure of a process in which the information processing apparatus performs information processing while avoiding a deviation from a play field of a robot or the like in the present embodiment.
  • FIG. 1 shows a configuration example of an information processing system according to the present embodiment.
  • the robot 4 equipped with the imaging device 12 moves.
  • An information processing device 10 that analyzes a captured image and determines a moving direction and an operation of the robot 4 is provided inside the robot 4.
  • the information processing device 10 may be a device that remotely controls the robot 4 from outside.
  • the user remotely controls the robot 4 using an input device (not shown), and the information processing device 10 displays a result of analyzing the captured image on a display device (not shown), so that an appropriate user corresponding to the surrounding situation is displayed.
  • the operation may be assisted.
  • the shape and function of the robot 4 are not particularly limited as long as the mechanism and the imaging device 12 can be moved autonomously or by an external operation.
  • a user may wear a head-mounted display provided with the imaging device 12.
  • the information processing device 10 may be built in the head-mounted display, or may be an external device that can communicate with the head-mounted display wirelessly or by wire.
  • the information processing apparatus 10 may generate a display image corresponding to the user's line of sight based on the captured image, and display the display image on the head mounted display. At least a part of the display image may be an image captured by the imaging device 12.
  • the information output from the information processing apparatus 10 may be a control signal to the robot 4, an image to be displayed on the head-mounted display, an audio signal to be output, or the like, and may vary depending on a mode to be realized.
  • it is intended to move a moving object such as the robot 4 or a user safely within a predetermined play field 14.
  • the moving object will be mainly described as the robot 4, but the robot 4 can be replaced by a user wearing a head mounted display.
  • the play field 14 represents a movable range in which the robot 4 can move safely.
  • the play field 14 is defined as a planar area having no inclination, step, or drop such that the robot 4 loses balance and falls.
  • the play field 14 may be a table, a floor, the ground, or the like.
  • the periphery of the play field 14 is determined by a non-planar boundary such as an edge of the table, a wall or a stair following the floor, or a depression or inclination of the ground. Therefore, the shape and size of the play field 14 are not limited.
  • the information processing device 10 detects that the robot 4 is likely to deviate from the play field 14 due to the movement, using the polarization image captured by the imaging device 12. If the vehicle is likely to deviate, the information processing device 10 controls the robot 4 so as to avoid the deviation. Therefore, the information processing apparatus 10 acquires the distribution of the degree of polarization on the moving surface using the polarized images in a plurality of directions captured by the imaging device 12. Then, it is determined whether or not the periphery of the play field 14 is in the vicinity based on the shape of the region (for example, the region 16) where the degree of polarization larger than the predetermined threshold is obtained.
  • FIG. 2 is a diagram for explaining basic characteristics of polarized light used in the present embodiment.
  • the imaging device 12 captures an image of a space including the subject 72 via the linear polarizing plate 70. More specifically, the imaging device 12 includes a specular reflection component formed by reflecting light emitted from a light source on the subject 72 and a diffuse reflection component formed by emitting light scattered inside the subject 72 from the surface. Of the reflected light that oscillates in the direction determined by the linear polarizing plate 70.
  • the surface of the surface of the subject 72 that includes the normal vector n at the observation point a and the light ray 82 that reaches the imaging point b on the image plane 80 from the point a is referred to as an incident surface 76 at the observation point a.
  • the linear polarizer 70 transmits only linearly polarized light oscillating in a certain direction among the light rays 82.
  • the vibration direction of the transmitted polarized light is referred to as the transmission axis of the linearly polarizing plate 70. If the linear polarizing plate 70 is rotated around an axis perpendicular to the plane, the transmission axis can be set in any direction. If the light arriving at the imaging device 12 is non-polarized, even if the linear polarizer 70 is rotated, the observed brightness is constant. On the other hand, general reflected light causes a change in luminance observed in the direction of the transmission axis due to partial polarization. Further, the manner of change in luminance differs depending on the ratio of specular reflection and diffuse reflection and the incident angle.
  • the ratio of the s-polarized light oscillating in the direction perpendicular to the incident surface 76 is high in the specular reflected light
  • the ratio of the p-polarized light oscillating in the direction parallel to the incident surface 76 is high in the diffuse reflected light.
  • each ratio depends on the angle of the incident light (or outgoing light) at the observation point a.
  • the observation luminance is maximum when the transmission axis of the linear polarizing plate 70 is perpendicular to the incident surface 76, and the observation luminance is minimum when the transmission axis is parallel to the incident surface. Become.
  • the change in the polarization luminance at the image point b obtained by capturing the polarization image in various transmission axis directions includes information on the angle of the incident surface 76 and the angle of the incident light (or the outgoing light), As a result, information on the normal vector n is included.
  • the angle ⁇ between the normal vector n and the light ray 82 is called the zenith angle of the normal vector n.
  • FIG. 3 exemplifies a change in the luminance I with respect to the polarization direction ⁇ corresponding to the angle of the transmission axis.
  • the upper part of the figure shows a case where specular reflection is dominant, and the lower part shows a case where diffuse reflection is dominant, and both have a 180 ° cycle sine wave shape.
  • the polarization direction ⁇ d represents the angle of the plane of incidence. Since the normal vector n is always included in the incident plane, the angle indicates the angle of a vector obtained by projecting the normal vector n onto the captured image plane. This angle is generally called the azimuth of the normal vector n. By obtaining the zenith angle in addition to the azimuth angle, a normal vector in the three-dimensional space viewed from the imaging device 12 is uniquely determined.
  • the polarization orientation at which the observed brightness of the polarized light is maximum is called the phase angle ⁇ .
  • the change in the luminance I shown in FIG. 3 can be expressed by the following equation using the phase angle ⁇ .
  • FIG. 4 compares an example of a change in the degree of polarization with respect to the zenith angle of the normal vector between specular reflection and diffuse reflection.
  • the degree of polarization takes a value up to 1.0 at the maximum, whereas the degree of polarization of diffuse reflection shown in the lower part is about 0.4 at the maximum.
  • the zenith angle ⁇ has the following relationship with the degree of polarization ⁇ s for specular reflection and the degree of polarization ⁇ d for diffuse reflection.
  • ⁇ is the refractive index of the object.
  • the zenith angle ⁇ is obtained by substituting the degree of polarization ⁇ obtained by Expression 2 into either ⁇ s or ⁇ d of Expression 3. Based on the azimuth angle ⁇ and the zenith angle ⁇ thus obtained, the normal vector (p x , py , p z ) is obtained as follows.
  • the means for observing the polarization luminance is not limited to a linear polarizing plate.
  • a polarizer layer may be provided as a part of the imaging device structure.
  • FIG. 5 shows an example of the structure of an imaging device having a polarizer layer, which can be introduced into the imaging device 12 of the present embodiment.
  • FIG. 1 schematically shows the functional structure of the element cross section, and detailed structures such as an interlayer insulating film and wiring are omitted.
  • the imaging device 110 includes a microlens layer 112, a wire grid polarizer layer 114, a color filter layer 116, and a light detection layer 118.
  • the wire grid polarizer layer 114 includes a polarizer in which a plurality of linear conductor members are arranged in stripes at intervals smaller than the wavelength of incident light.
  • the polarization component in the direction parallel to the polarizer line is reflected, and only the vertical polarization component is transmitted.
  • a polarized image is obtained by detecting the transmitted polarized light component with the light detection layer 118.
  • the light detection layer 118 has a semiconductor device structure such as a general CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • the wire-grid polarizer layer 114 includes an arrangement of polarizers in which the polarization direction in which the charges are read in the photodetection layer 118, that is, in units of pixels or larger, is different.
  • the right side of the drawing illustrates a polarizer array 120 when the wire grid type polarizer layer 114 is viewed from above.
  • the shaded lines are conductors (wires) constituting the polarizer. Note that the dotted rectangles each represent a region of the polarizer in one direction, and the dotted lines themselves are not actually formed.
  • polarizers in four directions are arranged in four regions 122a, 122b, 122c, 122d in two rows and two columns.
  • polarizers on diagonal lines have orthogonal transmission directions, and adjacent polarizers have a difference of 45 °. That is, polarizers in four directions at 45 ° intervals are provided.
  • An image sensor that simultaneously obtains polarization information in four directions as two-dimensional data by connecting a predetermined number of such polarizer arrays in the vertical and horizontal directions and connecting a peripheral circuit that controls the timing of charge reading. Can be realized.
  • a color filter layer 116 is provided between the wire grid polarizer layer 114 and the light detection layer 118.
  • the color filter layer 116 includes, for example, an array of filters that respectively transmit red, green, and blue light corresponding to each pixel.
  • polarization information is obtained for each color in accordance with a combination of the direction of the polarizer in the wire grid polarizer layer 114 located above and below and the color of the filter in the color filter layer 116. That is, since polarization information of the same direction and the same color is discretely obtained on the image plane, a polarization image of each direction and each color can be obtained by appropriately interpolating the polarization information.
  • a non-polarized color image can be reproduced by calculating polarized images of the same color.
  • An image acquisition technique using a wire grid polarizer is also disclosed in, for example, JP-A-2012-80065.
  • the color filter layer 116 can be omitted if a color image is not required for other uses.
  • the polarizer is not limited to the wire grid type, and a linear dichroic polarizer or the like can be used.
  • FIGS. 6 and 7 are diagrams for explaining the principle that the information processing apparatus 10 according to the present embodiment detects the periphery of the planar play field 14 based on the shape of the region where a high degree of polarization is obtained.
  • the upper part of FIG. 6 illustrates a state where the robot 4 is on the play field 14 when viewed from the side.
  • the play field 14 is required to constitute at least a plane. Therefore, the normal vector n on the play field 14 is vertically upward regardless of the position.
  • the zenith angle ⁇ of the normal vector n at each position is the angle between the light beam arriving at the imaging device 12 mounted on the robot 4 and the normal vector n, so that the zenith angle ⁇ between the distance d from the robot 4 and the zenith angle ⁇ ,
  • the zenith angle ⁇ 1 at the farthest position, the zenith angle ⁇ 2 at the intermediate position, and the zenith angle ⁇ 3 at the nearest position have a relationship of ⁇ 1> ⁇ 2> ⁇ 3.
  • the zenith angle at which a high degree of polarization is obtained is in the range of about 0.6 rad to 1.3 rad, as shown in the upper part of FIG.
  • the Brewster angle at which the reflectance of p-polarized light becomes zero and only s-polarized light becomes all polarized light is about 56 ° (0.98 rad). Therefore, as shown in FIG. 4, a threshold value ⁇ th is set for the degree of polarization, and a region on the play field 14 having a larger degree of polarization is extracted as a high degree of polarization region 150, as shown in the lower part of FIG.
  • it When viewed from directly above the robot 4, it has a circular shape having a width centered on the robot 4.
  • the zenith angle ⁇ ⁇ b> 4 of the normal vector n ′ in the region of the slope 152 is close to 90 ° and deviates from the high polarization degree region.
  • the normal vector n is in the same direction as the play field 14, but since the distance from the robot 4 is large, the zenith angle ⁇ 5 also becomes large, and the region does not become a high polarization degree region.
  • the high polarization degree region 160 in this case has a shape in which a part of the circumference is missing.
  • the information processing apparatus 10 detects the position B of the periphery of the play field 14 due to the lack, and controls the robot 4 so as not to exceed the position B.
  • the high polarization degree region 160 can be obtained from the visual field of the imaging device 12, but if the imaging device 12 is provided so as to capture the traveling direction of the robot 4, Chipping, and thus the periphery of the play field 14, can be detected.
  • the high polarization degree region 160 appears in a perspectively projected shape, but the shape in a bird's eye view can be easily obtained by coordinate transformation used in computer graphics.
  • the floor and the table cannot be distinguished from each other only with the color image, and the robot 4 may fall on the floor as a result of not being able to recognize the edge of the table. Even if the table and the floor are the same color, the same can occur depending on the state of the ambient light. Since this embodiment is based on the degree of polarization and introduces a simple criterion of the shape of the region of high polarization, it is easier to play with higher robustness than object detection using general color images. The periphery of the field 14 can be detected, and the safety of the robot 4 and the user can be secured.
  • FIG. 8 shows an internal circuit configuration of the information processing apparatus 10.
  • the information processing apparatus 10 includes a CPU (Central Processing Unit) 23, a GPU (Graphics Processing Unit) 24, and a main memory 26. These components are interconnected via a bus 30.
  • the bus 30 is further connected to an input / output interface 28.
  • the input / output interface 28 includes a peripheral device interface such as USB and IEEE1394, a communication unit 32 including a wired or wireless LAN network interface, a storage unit 34 such as a hard disk drive and a non-volatile memory, a control mechanism of the robot 4, and a control mechanism (not shown).
  • An output unit 36 that outputs data to a display device or the like, an input unit 38 that inputs data from the imaging device 12 or an input device (not shown), and a recording medium driving unit 40 that drives a removable recording medium such as a magnetic disk, an optical disk, or a semiconductor memory are included. Connected.
  • the CPU 23 controls the entire information processing apparatus 10 by executing an operating system stored in the storage unit 34.
  • the CPU 23 also executes various programs read from the removable recording medium and loaded into the main memory 26 or downloaded via the communication unit 32.
  • the GPU 24 has a function of a geometry engine and a function of a rendering processor, performs a drawing process according to a drawing command from the CPU 23, and stores display image data in a frame buffer (not shown).
  • the main memory 26 is constituted by a RAM (Random Access Memory) and stores programs and data necessary for processing. Note that, as described above, the present embodiment has various applications. Therefore, a part of the illustrated configuration may be omitted or replaced with another circuit depending on the output form of the processing result according to the application.
  • FIG. 9 shows a configuration of functional blocks of the information processing apparatus 10 according to the present embodiment.
  • each element described as a functional block that performs various processes can be constituted by main circuits such as the CPU 23, the GPU 24, and the main memory 26 shown in FIG. Is realized by a recording medium driven by the recording medium driving unit 40, a program loaded from the storage unit 34 to the main memory 26, and the like. Therefore, it is understood by those skilled in the art that these functional blocks can be realized in various forms by only hardware, only software, or a combination thereof, and the present invention is not limited to any of them.
  • the information processing device 10 includes an image acquisition unit 50 that acquires data of a captured image from the imaging device 12, an image data storage unit 52 that stores data of the acquired image, and an image analysis unit that performs image analysis including detection of the periphery of a play field. And an output data generation unit 56 that generates data to be output using the analysis result.
  • the image acquisition unit 50 is realized by the input unit 38, the CPU 23, and the like in FIG. 8, and acquires data of a captured image including a polarization image from the imaging device 12.
  • polarization images data of polarization images in three directions corresponding to at least transmission axes in three directions are acquired.
  • the polarized image may be taken each time the linear polarizing plate 70 disposed on the front surface of the imaging device 12 is rotated as shown in FIG. 2 and stopped in a predetermined direction, or the image sensor having the structure shown in FIG.
  • the image may be captured by introducing an image sensor including. In the latter case, a polarization image in a plurality of directions can be acquired by one photographing.
  • the image acquisition unit 50 may further acquire general color captured image data.
  • the imaging device 12 is a stereo camera including two cameras provided at known intervals
  • the image acquisition unit 50 may acquire stereo image data having parallax on the left and right taken by those cameras. Good.
  • the image acquisition unit 50 sequentially stores the acquired captured image data in the image data storage unit 52.
  • the image analysis unit 54 is realized by the CPU 23, the GPU 24, and the like in FIG. 8, and performs an image analysis using the data stored in the image data storage unit 52. More specifically, the image analysis unit 54 includes a polarization degree acquisition unit 58 and a high polarization degree area evaluation unit 60.
  • the degree of polarization acquisition unit 58 derives the degree of polarization using the change in polarization luminance with respect to the change in azimuth as described above. Specifically, first, luminance is extracted for each corresponding pixel of the polarization image in a plurality of directions, and a change in luminance with respect to the polarization direction is derived.
  • the polarization image has three directions of ⁇ 1, ⁇ 2, and ⁇ 3, a curve passing through three points of the coordinates ( ⁇ 1, I1), ( ⁇ 2, I2), and ( ⁇ 3, I3) is expressed by an equation using a least square method or the like.
  • a continuous function as shown in FIG. 3 is obtained.
  • the degree of polarization ⁇ is obtained.
  • the play field 14 is below the field of view, and therefore, for example, the lower half area of the captured image may be the calculation target of the degree of polarization.
  • the posture of the imaging device 12 can be separately acquired by an acceleration sensor or the like, the region to be calculated may be adjusted based on the information on the posture.
  • the high polarization degree area evaluation unit 60 extracts an area on the image plane where the degree of polarization is higher than a preset threshold value, and evaluates the shape when the high polarization degree area is looked down on. At this time, as described above, in computer graphics, general viewpoint conversion processing is performed.
  • the high polarization degree region basically becomes a part of the circumference.
  • the part that is cut off by the field of view is apparent from the position on the image plane. Therefore, the high polarization degree area evaluation unit 60 determines whether or not there is any other missing part, that is, whether there is a missing part in the arc shape corresponding to the angle of view.
  • the presence or absence of a defect can be determined by preparing an arc-shaped template image and acquiring a difference by pattern matching. If it is missing, the fact that the periphery of the play field 14 is in the vicinity is supplied to the output data generation unit 56 together with information such as its direction, distance, and shape.
  • the imaging device 12 can capture images in various fields of view.
  • the high polarization degree area evaluation unit 60 uses this to store and record the position of the imaging device 12 when each captured image is obtained and the shape of the high polarization degree area obtained at that position, An environment map representing the range of the play field 14 in a two-dimensional or three-dimensional unified coordinate system may be created.
  • the image analysis unit 54 may perform general image analysis processing such as acquiring a normal vector of an object near the robot 4. For example, the position and orientation of the object may be determined with high accuracy by specifying the position of the object using a stereo image and integrating with the information of the normal vector.
  • the output data generation unit 56 is realized by the CPU 23, the GPU 24, the output unit 36, and the like in FIG. 8, and should output a control signal to the robot based on the information specified by the image analysis unit 54, an image and a sound to be presented to the user, and the like. Generate and output data. Basically, when the periphery of the play field 14 approaches in the traveling direction, a control signal for changing the direction is transmitted to the robot 4. Alternatively, display image or audio data that warns the user to that effect is transmitted to a display device such as a head-mounted display.
  • the output data generation unit 56 performs the original information processing, and outputs a control signal and display image data.
  • the content of the information processing performed and the type of output data are not particularly limited.
  • a control signal for causing the robot to lift an object in the vicinity or to walk while passing through the object is generated and transmitted to the robot.
  • an image representing augmented reality or virtual reality may be generated in a field of view corresponding to the line of sight of the user wearing the head mounted display, and transmitted to the head mounted display.
  • the data of the photographed image stored in the image data storage unit 52 and the result of the object detection by the image analysis unit 54 may be appropriately used.
  • FIG. 10 schematically shows a time change of the high polarization degree area evaluated by the high polarization degree area evaluation unit 60.
  • the imaging device 12 continues photographing at a predetermined frequency while the robot 4 is moving, high polarization degree regions are acquired at a plurality of positions on the play field 14.
  • the high polarization degree region may be acquired more frequently.
  • the high polarization degree region obtained by one photographing is only a portion in the field of view of the imaging device 12. For example, if the robot 4 is moving to the periphery of the play field 14 at the timing of (x2, y2), the direction is photographed, and a lack of the high polarization degree region appears. By changing the direction of the robot 4 in accordance with this, it is possible to prevent the robot 4 from deviating from the play field 14.
  • the position coordinates (x1, y1), (x2, y2),... (X9, y9) and the direction of the imaging device 12 are determined by a sensor built in the robot 4 or an imaging device that captures the robot 4 from outside. If it can be obtained, the range of the play field 14 can be obtained by accumulating and storing the shape of the high polarization region obtained at each position. That is, as shown in the drawing, when the high polarization degree region is superimposed on the position coordinates in the unified coordinate system, the union represents the range of the play field 14.
  • FIG. 11 illustrates a screen displayed when a user who wears a head mounted display instead of the robot 4 is warned of departure from the play field 14.
  • the display screen 200 has a configuration in which a warning image 202 is superimposed on a content image such as a virtual world.
  • the warning image 202 is superimposed and displayed via the output data generation unit 56.
  • character information "Please change direction” is displayed.
  • the content of the warning is not limited to this, and may indicate a desired moving direction or may be represented by a graphic. Alternatively, a change that requires a direction change may be given to the image of the content itself.
  • FIG. 12 is a flowchart illustrating a procedure of a process in which the information processing apparatus 10 performs information processing while avoiding a deviation from the play field of the robot 4 or the like.
  • This flowchart starts in a state where the imaging device 12 is capturing an image of the object space including the polarization image.
  • the image acquisition unit 50 of the information processing device 10 acquires data of a captured image including a polarization image (S10).
  • the polarization degree acquisition unit 58 of the image analysis unit 54 acquires the distribution of the polarization degree using the polarization image (S12).
  • the degree of polarization may be obtained by focusing on an area of the image plane where the possibility that the play field 14 is captured is high.
  • the high polarization degree area evaluation unit 60 extracts the area where the degree of polarization higher than the threshold value is obtained, and obtains the shape when the high polarization degree area is overlooked by performing viewpoint conversion.
  • data for avoiding deviation from the play field 14 is output via the output data generation unit 56 (S16).
  • a control signal for changing the direction is transmitted to the robot 4.
  • a warning image for instructing the direction change is superimposed on the image of the content or the like and transmitted to a display device such as a head-mounted display.
  • a sound indicating a warning may be transmitted to a head-mounted display, a speaker (not shown), or the like.
  • a warning may be indicated by vibration by transmitting a control signal for vibrating the vibrator incorporated therein to a controller held by the user or a head-mounted display worn by the user.
  • any one of the image, the sound, and the vibration, or a combination of two or more of them may be output from the output device in a form recognizable by the user to warn of the deviation.
  • a polarized image is photographed by a freely movable robot or an imaging device provided on a head-mounted display worn by a user.
  • the normal vector is not uniform, that is, a portion that is not a plane is within the angle of view. Then, a control signal for changing the direction is transmitted to the robot, and a warning image instructing the change of direction is displayed on the head-mounted display.
  • the present embodiment uses the degree of polarization independent of the color information, it is possible to detect the peripheral portion with high accuracy even on a transparent surface such as glass or a color surface that is difficult to distinguish from surrounding objects. Further, since the determination can be made based on a simple criterion as to whether or not the arc shape has a chip, the influence of an error due to calculation or the like is small. As a result, safety against a free movement of a mobile object such as a robot or a user can be easily improved.
  • the periphery of the play field is detected by utilizing the influence of the shape change from the flat surface on the shape of the high polarization degree region.
  • a plane of the same material whose polarization state does not change it is regarded as a play field.
  • the range of the play field can be limited even on the same plane. For example, as shown in FIG. 4, the degree of polarization of diffuse reflection is lower than that of specular reflection regardless of the zenith angle.
  • the play field is made of a mat or flat plate made of a material in which the specular reflection component is dominant, and is laid on a surface made of a material in which diffuse reflection is dominant. Regions will be missing.
  • the movable range of the moving body can be set variously. For example, to obtain various effects other than safety, such as giving the playfield shape itself a game property, or keeping a robot or user from outside the shooting angle of view when shooting and tracking a robot or user from outside. Can be.
  • 10 information processing device 12 imaging device, 23 CPU, 24 GPU, 26 main memory, 50 image acquisition unit, 52 image data storage unit, 54 image analysis unit, 56 output data generation unit, 58 degree of polarization acquisition unit, 60 high polarization Degree area evaluation unit.
  • the present invention is applicable to various information processing apparatuses and systems such as a robot control apparatus and an electronic content processing apparatus.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

情報処理装置１０の画像取得部５０は、移動体に備えられた撮像装置から複数方位の偏光画像を取得する。画像解析部５４の偏光度取得部５８は、偏光輝度の方位依存性に基づき偏光度を取得する。高偏光度領域評価部６０は、しきい値より大きい偏光度を有する高偏光度領域を俯瞰した状態における形状を評価することにより、移動体が存在するプレイフィールドの周縁を検出する。出力データ生成部５６は周縁への移動を回避するための出力データを生成し出力する。

Description

情報処理装置およびプレイフィールド逸脱検知方法
　本発明は、プレイフィールドからの移動体の逸脱を事前に検知する情報処理装置およびプレイフィールド逸脱検知方法に関する。
　ヘッドマウントディスプレイを頭部に装着して、表示された画面を見ながらゲームをプレイしたり電子コンテンツを鑑賞したりする技術が知られている（例えば特許文献１参照）。このうち、ヘッドマウントディスプレイの前面に撮像装置を設け、ユーザの顔の向きに対応する視野で撮影した画像の一部を仮想オブジェクトに置き換えたり、対応する視野で仮想世界を表したりすることにより、拡張現実や仮想現実を実現する技術も普及しつつある。また、ロボットに撮像装置を設けることで周囲にある物を認識させ、環境地図を生成していくことにより、ロボットを安全に移動させたり臨機応変に目的とする動作をさせたりする技術も知られている。
特許第５５８０８５５号明細書
　ヘッドマウントディスプレイを装着した状態では、ユーザは外界を見ることができないため、方向感覚を失ったり、ゲームに没頭するあまり実空間で思わぬ位置に移動していたりすることがあり得る。そのような状況は、ヘッドマウントディスプレイを外さない限りユーザには把握しづらい。またロボットに撮像装置を備える場合も、周囲の物や状況に対する誤認識により、予想外の方向へ移動してしまうことが考えられる。どちらのケースでも、ユーザやロボットが壁や障害物に衝突したり、地面の段差を踏み外したりする危険がある。
　本発明はこうした課題に鑑みてなされたものであり、その目的は、ロボットやヘッドマウントディスプレイを装着したユーザなどの移動体の移動範囲を好適に制御することのできる技術を提供することにある。
　本発明のある態様は情報処理装置に関する。この情報処理装置は、移動体に備えられた撮像装置が撮影した、複数の方位の偏光画像のデータを取得する画像取得部と、偏光画像を用いて偏光度の分布を取得する偏光度取得部と、しきい値より大きい偏光度を有する高偏光度領域を、移動体の直上から俯瞰した状態における形状を評価することにより、移動体が存在するプレイフィールドの周縁を検出する高偏光度領域評価部と、周縁への移動を回避するための出力データを生成し出力する出力データ生成部と、を備えたことを特徴とする。
　本発明のさらに別の態様はプレイフィールド逸脱検知方法に関する。このプレイフィールド逸脱検知方法は情報処理装置が、移動体に備えられた撮像装置が撮影した、複数の方位の偏光画像のデータを取得するステップと、偏光画像を用いて偏光度の分布を取得するステップと、しきい値より大きい偏光度を有する高偏光度領域を、移動体の直上から俯瞰した状態における形状を評価することにより、移動体が存在するプレイフィールドの周縁を検出するステップと、周縁への移動を回避するための出力データを生成し出力するステップと、を含むことを特徴とする。
　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置などの間で変換したものもまた、本発明の態様として有効である。
　本発明によると、ロボットやヘッドマウントディスプレイを装着したユーザなどの移動体の移動範囲を好適に制御できる。
本実施の形態における情報処理システムの構成例を示す図である。 本実施の形態で利用する偏光の基本的な特性を説明するための図である。 本実施の形態における、偏光方位に対する輝度の変化を例示する図である。 法線ベクトルの天頂角に対する偏光度の変化の例を、鏡面反射と拡散反射で比較する図である。 本実施の形態の撮像装置に導入できる、偏光子層を備える撮像素子の構造例を示す図である。 本実施の形態における情報処理装置が、高い偏光度が得られる領域の形状に基づき、平面状のプレイフィールドの周縁を検出する原理を説明するための図である。 本実施の形態における情報処理装置が、高い偏光度が得られる領域の形状に基づき、平面状のプレイフィールドの周縁を検出する原理を説明するための図である。 本実施の形態における情報処理装置の内部回路構成を示す図である。 本実施の形態における情報処理装置の機能ブロックの構成を示す図である。 本実施の形態における高偏光度領域評価部が評価した高偏光度領域の時間変化を模式的に示す図である。 本実施の形態において、ヘッドマウントディスプレイを装着したユーザにプレイフィールドからの逸脱を警告する場合に表示する画面を例示する図である。 本実施の形態において、情報処理装置が、ロボットなどのプレイフィールドからの逸脱を回避させつつ情報処理を行う処理の手順を示すフローチャートである。
　図１は、本実施の形態における情報処理システムの構成例を示している。図示する例では、撮像装置１２を装備したロボット４が移動することを想定している。ロボット４の内部には、撮影画像を解析し、ロボット４の移動方向や動作を決定する情報処理装置１０が備えられる。情報処理装置１０は外部からロボット４を遠隔制御する装置としてもよい。またはユーザが、図示しない入力装置を用いてロボット４を遠隔操作し、情報処理装置１０は、撮影画像を解析した結果を図示しない表示装置に表示させることで、周囲の状況に応じた適切なユーザ操作がなされるように支援してもよい。なお自律的あるいは外部からの操作により移動できる機構と撮像装置１２を備えれば、ロボット４の形状や機能は特に限定されない。
　一方、ロボット４の代わりにユーザが、撮像装置１２を備えたヘッドマウントディスプレイを装着する態様としてもよい。この場合、情報処理装置１０をヘッドマウントディスプレイに内蔵させてもよいし、ヘッドマウントディスプレイと無線あるいは有線により通信可能な外部の装置としてもよい。このとき情報処理装置１０は、撮影画像に基づきユーザの視線に対応する表示画像を生成し、それをヘッドマウントディスプレイに表示させてもよい。当該表示画像の少なくとも一部は、撮像装置１２が撮影した画像であってもよい。
　したがって情報処理装置１０から出力される情報は、ロボット４への制御信号であってもよいし、ヘッドマウントディスプレイに表示させる画像や出力させる音声信号などでもよく、実現する態様によって変化し得る。本実施の形態では、ロボット４やユーザなどの移動体を、所定のプレイフィールド１４内で安全に移動させることを旨とする。以後、移動体を主にロボット４として説明するが、ロボット４は、ヘッドマウントディスプレイを装着したユーザに置き換えることができる。
　プレイフィールド１４は、ロボット４が安全に移動できる可動範囲を表す。基本的には、ロボット４がバランスを失って転倒するような傾斜や段差、落下するような高低差がない、平面状の領域をプレイフィールド１４とする。プレイフィールド１４としては、テーブル、床、地面などが考えられ、その周縁は、テーブルの端、床に続く壁や階段、地面のくぼみや傾斜など平面状でなくなる境界によって定まる。したがって、プレイフィールド１４の形状や大きさは限定されない。
　情報処理装置１０は、撮像装置１２が撮影する偏光画像を用いて、ロボット４が移動によりプレイフィールド１４から逸脱しそうであることを検知する。そして逸脱しそうな場合、情報処理装置１０は、逸脱を回避するようにロボット４を制御する。情報処理装置１０はそのため、撮像装置１２が撮影した複数方位の偏光画像を用いて、移動面上の偏光度の分布を取得する。そして所定のしきい値より大きい偏光度が得られる領域（例えば領域１６）の形状に基づき、プレイフィールド１４の周縁が近傍にあるか否かを判定する。
　図２は、本実施の形態で利用する偏光の基本的な特性を説明するための図である。撮像装置１２は、直線偏光板７０を介して被写体７２を含む空間を撮影する。より詳細には撮像装置１２は、光源から照射された光が被写体７２を反射してなる鏡面反射成分と、被写体７２内部で散乱された光が表面から出射してなる拡散反射成分とで構成される反射光のうち、直線偏光板７０によって定まる方向に振動する偏光を観測する。被写体７２の表面のうち観測点ａにおける法線ベクトルｎと、点ａから画像平面８０上の結像点ｂに到達する光線８２を含む面を、観測点ａにおける入射面７６と呼ぶ。
　直線偏光板７０は、光線８２のうちある方向に振動する直線偏光のみを透過する。以後、透過させる偏光の振動方向を直線偏光板７０の透過軸と呼ぶ。直線偏光板７０を面に垂直な軸周りに回転させれば、透過軸を任意の方向にとることができる。仮に撮像装置１２へ到達する光が無偏光であれば、直線偏光板７０を回転させても、観測される輝度は一定となる。一方、一般的な反射光は部分偏光により、透過軸の方向に対し観測される輝度に変化が生じる。また鏡面反射と拡散反射の割合や入射角によって、輝度の変化の様子が異なる。
　すなわち鏡面反射光は、入射面７６に垂直な方向に振動するｓ偏光の割合が高く、拡散反射光は入射面７６と平行な方向に振動するｐ偏光の割合が高くなる。ただしそれぞれの割合は、観測点ａにおける入射光（あるいは出射光）の角度に依存する。いずれにしろ鏡面反射光が支配的な場合、直線偏光板７０の透過軸が入射面７６と垂直な状態において観測輝度が最大となり、当該透過軸が入射面と平行な状態において観測輝度が最小となる。
　拡散反射光が支配的な場合は、直線偏光板７０の透過軸が入射面と平行な状態において観測輝度が最大となり、当該透過軸が入射面と垂直な状態において観測輝度が最小となる。したがって、様々な透過軸の方向で偏光画像を撮影することにより得られる結像点ｂの偏光輝度の変化は、入射面７６の角度と、入射光（あるいは出射光）の角度の情報を含み、ひいては法線ベクトルｎの情報を含んでいることになる。ここで、法線ベクトルｎと光線８２とのなす角θは、当該法線ベクトルｎの天頂角と呼ばれる。
　図３は、透過軸の角度に対応する偏光方位φに対する輝度Ｉの変化を例示している。同図上段は鏡面反射が支配的な場合、下段は拡散反射が支配的な場合であり、どちらも１８０°周期の正弦波の形状を有する。一方、鏡面反射の輝度Ｉが最大値Ｉｍａｘをとるときの偏光方位ψｓと、拡散反射の輝度Ｉが最大値Ｉｍａｘをとるときの偏光方位ψｄには９０°の差がある。これは上述したように、鏡面反射においてはｓ偏光が、拡散反射においてはｐ偏光が支配的なことに起因する。
　ｓ偏光が入射面に垂直、ｐ偏光が入射面に平行な振動であることに鑑みれば、鏡面反射において輝度が最小となる偏光方位（ψｓ－９０°）、あるいは拡散反射において輝度が最大となる偏光方位ψｄが、入射面の角度を表す。法線ベクトルｎは常に入射面に含まれるため、当該角度は、法線ベクトルｎを撮影画像平面に射影したベクトルの角度を表す。この角度は一般的に、法線ベクトルｎの方位角と呼ばれる。当該方位角に加え、上述した天頂角を求めることにより、撮像装置１２から見た３次元空間での法線ベクトルが一意に定まる。観測される偏光の輝度が最大となるときの偏光方位は位相角ψと呼ばれる。図３で示す輝度Ｉの変化は、位相角ψを用いて次の式で表すことができる。
Figure JPOXMLDOC01-appb-M000001
　直線偏光板７０を回転させ複数の偏光方位φに対し観測される輝度を、最小二乗法等を用いて式１の形式に近似することにより、Ｉｍａｘ、Ｉｍｉｎ、ψを求めることができる。そのうちＩｍａｘ、Ｉｍｉｎを用いて、次の式により偏光度ρが求められる。
Figure JPOXMLDOC01-appb-M000002
　図４は、法線ベクトルの天頂角に対する偏光度の変化の例を、鏡面反射と拡散反射で比較している。上段に示す鏡面反射の場合、偏光度は最大で１．０までの値をとるのに対し、下段に示す拡散反射の偏光度は、最大でも０．４程度である。なお天頂角θは、鏡面反射の場合の偏光度ρｓ、拡散反射の場合の偏光度ρｄと、それぞれ次のような関係にある。
Figure JPOXMLDOC01-appb-M000003
　ここでηは物体の屈折率である。式２で得られる偏光度ρを式３のρｓ、ρｄのどちらかに代入することにより天頂角θが得られる。こうして得られた方位角α、天頂角θにより、法線ベクトル（ｐｘ，ｐｙ，ｐｚ）は次のように得られる。
Figure JPOXMLDOC01-appb-M000004
　なお本実施の形態において、偏光輝度を観測する手段は直線偏光板に限らない。例えば撮像素子構造の一部として偏光子の層を設けてもよい。図５は、本実施の形態の撮像装置１２に導入できる、偏光子層を備える撮像素子の構造例を示している。なお同図は素子断面の機能的な構造を模式的に示しており、層間絶縁膜や配線などの詳細な構造は省略している。撮像素子１１０はマイクロレンズ層１１２、ワイヤグリッド型偏光子層１１４、カラーフィルター層１１６、および光検出層１１８を含む。
　ワイヤグリッド型偏光子層１１４は、複数の線状の導体部材を入射光の波長より小さい間隔でストライプ状に配列させた偏光子を含む。マイクロレンズ層１１２により集光された光がワイヤグリッド型偏光子層１１４に入射すると、偏光子のラインと平行な方位の偏光成分は反射され、垂直な偏光成分のみが透過する。透過した偏光成分を光検出層１１８で検出することにより偏光画像が取得される。光検出層１１８は一般的なＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの半導体素子構造を有する。
　ワイヤグリッド型偏光子層１１４は、光検出層１１８における電荷の読み取り単位、すなわち画素単位、あるいはそれより大きな単位で透過する偏光方位が異なるような偏光子の配列を含む。同図右側には、ワイヤグリッド型偏光子層１１４を上面から見たときの偏光子配列１２０を例示している。同図において網掛けされたラインが偏光子を構成する導体（ワイヤ）である。なお点線の矩形はそれぞれ１方向の偏光子の領域を表しており、点線自体は実際に形成されるものではない。
　図示する例では、４方向の偏光子が２行２列の４つの領域１２２ａ、１２２ｂ、１２２ｃ、１２２ｄに配置されている。図中、対角線上にある偏光子はその透過方向が直交しており、隣り合う偏光子は４５°の差を有する。すなわち４５°おきの４方向の偏光子を設けている。これが直線偏光板７０の代わりとなり、下に設けた光検出層１１８においては、４つの領域１２２ａ、１２２ｂ、１２２ｃ、１２２ｄに対応する各領域で、４５°おきの４方位の偏光情報を得ることができる。このような偏光子配列をさらに縦方向、横方向に所定数、配列させ、電荷読み出しのタイミングを制御する周辺回路を接続することにより、４方位の偏光情報を２次元データとして同時に取得するイメージセンサを実現できる。
　同図に示す撮像素子１１０では、ワイヤグリッド型偏光子層１１４と光検出層１１８の間にカラーフィルター層１１６を設けている。カラーフィルター層１１６は、例えば各画素に対応させて赤、緑、青の光をそれぞれ透過するフィルタの配列を含む。これにより、上下に位置するワイヤグリッド型偏光子層１１４における偏光子の方向とカラーフィルター層１１６におけるフィルタの色の組み合わせに応じて、偏光情報が色別に得られる。すなわち同一方位かつ同一色の偏光情報が画像平面上で離散的に得られるため、それを適宜補間することにより、方位ごとおよび色ごとの偏光画像が得られる。
　また同一色の偏光画像同士を演算することにより、無偏光のカラー画像を再現することもできる。ワイヤグリッド型偏光子を用いた画像取得技術については、例えば特開２０１２－８００６５号公報などにも開示されている。ただし本実施の形態では基本的に偏光輝度画像を用いるため、その他の用途でカラー画像が必要なければカラーフィルター層１１６を省略することもできる。また偏光子はワイヤグリッド型に限らず、線二色性偏光子などを用いることもできる。
　図６、７は、本実施の形態における情報処理装置１０が、高い偏光度が得られる領域の形状に基づき、平面状のプレイフィールド１４の周縁を検出する原理を説明するための図である。図６の上段は、ロボット４がプレイフィールド１４上にいる状態を側面から見た様子を示している。上述のとおりプレイフィールド１４は、少なくとも平面を構成することを必要条件とする。そのため、プレイフィールド１４上での法線ベクトルｎは位置によらず垂直上向きとなる。
　各位置での法線ベクトルｎの天頂角θは、ロボット４が装着する撮像装置１２へ到達する光線と法線ベクトルｎのなす角度であるから、ロボット４からの距離ｄと天頂角θの間には、撮像装置１２の高さをＨとして、ｄ＝Ｈｔａｎθの関係が成り立つ。すなわち距離ｄが大きいほど天頂角θも大きくなる。図示する例では最も離れた位置での天頂角θ１、中間の位置での天頂角θ２、最近傍での天頂角θ３がは、θ１＞θ２＞θ３の関係となっている。
　一方、プレイフィールド１４が鏡面反射が支配的な材質を有する場合、図４の上段に示すように、高い偏光度が得られる天頂角は０．６ｒａｄから１．３ｒａｄ程度の範囲となる。例えばガラスの場合、ｐ偏光の反射率が０になりｓ偏光の成分のみの全偏光となるブリュースター角は約５６°（０．９８ｒａｄ）である。したがって図４に示すように、偏光度にしきい値ρｔｈを設定し、それより大きい偏光度を有するプレイフィールド１４上の領域を高偏光度領域１５０として抽出すると、図６の下段に示すように、ロボット４の直上の視点から俯瞰した状態において、ロボット４を中心とし幅を有する円周形状となる。
　これに対し図７に示すように、ロボット４の近傍に段差がある場合を考える。すなわち上段の側面図に示すように、位置Ｂがプレイフィールド１４の周縁であり、その外側に傾斜１５２が存在している。傾斜１５２での法線ベクトルｎ’はプレイフィールド１４における法線ベクトルｎと方向が異なる。そのためロボット４からの距離ｄに対する天頂角θの変化がｄ＝Ｈｔａｎθを満たさない不連続な領域が生じ、高偏光度領域１６０も円周の形状にはならない。
　図示する例では、傾斜１５２の領域は、法線ベクトルｎ’の天頂角θ４が９０°に近くなり、高偏光度領域から外れる。さらに外側の傾斜のない領域ではプレイフィールド１４と同じ方向の法線ベクトルｎとなるが、ロボット４からの距離が大きいため天頂角θ５も大きくなり、やはり高偏光度領域にはならない。結果としてこの場合の高偏光度領域１６０は、円周の一部が欠けた形状となる。図では周縁の外側に傾斜１５２がある場合を示したが、テーブルの端など面が途切れていたり、壁があったりしても同様である。
　情報処理装置１０は、当該欠けによりプレイフィールド１４の周縁の位置Ｂを検出し、ロボット４がそれを超えないように制御する。なお実際には、撮像装置１２の視野により、高偏光度領域１６０のさらに一部のみが取得され得るが、ロボット４の進行方向を撮影するように撮像装置１２を設ければ、進行方向での欠け、ひいてはプレイフィールド１４の周縁を検知できることになる。また撮影画像においては、高偏光度領域１６０が透視投影された形状で表れるが、コンピュータグラフィクスで用いられる座標変換により容易に俯瞰した状態での形状を得られる。
　すなわち撮像装置１２とプレイフィールド１４の面との位置関係に基づき画像平面上の像を一旦、３次元空間のプレイフィールド１４上に逆射影し、プレイフィールド１４を俯瞰するカメラ座標系に射影すれば、図示するような俯瞰図が得られる。偏光度は色情報と独立したパラメータのため、プレイフィールド１４がガラスやアクリル樹脂など光線透過率の高い材質の物であっても影響を受けない。
　例えばガラスのテーブルの上でロボット４を歩行させる場合、カラー画像のみでは床とテーブルの区別がつかず、テーブルの端が認識できなかった結果、ロボット４が床に落下するといったことが起こり得る。テーブルと床が同じ色であっても、環境光の状態によっては同様のことが起こり得る。本実施の形態は偏光度を根拠とし、かつ高偏光度領域の形状というシンプルな基準を導入しているため、一般的なカラー画像を用いた物体検出と比較し、高い頑健性で容易にプレイフィールド１４の周縁を検出でき、ロボット４やユーザの安全性を確保できる。
　図８は、情報処理装置１０の内部回路構成を示している。情報処理装置１０は、ＣＰＵ（Central Processing Unit）２３、ＧＰＵ（Graphics Processing Unit)２４、メインメモリ２６を含む。これらの各部は、バス３０を介して相互に接続されている。バス３０にはさらに入出力インターフェース２８が接続されている。入出力インターフェース２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部３２、ハードディスクドライブや不揮発性メモリなどの記憶部３４、ロボット４の制御機構や図示しない表示装置などへデータを出力する出力部３６、撮像装置１２や図示しない入力装置からデータを入力する入力部３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部４０が接続される。
　ＣＰＵ２３は、記憶部３４に記憶されているオペレーティングシステムを実行することにより情報処理装置１０の全体を制御する。ＣＰＵ２３はまた、リムーバブル記録媒体から読み出されてメインメモリ２６にロードされた、あるいは通信部３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２３からの描画命令に従って描画処理を行い、図示しないフレームバッファに表示画像のデータを格納する。
　そしてフレームバッファに格納された表示画像をビデオ信号に変換して出力部３６に出力する。メインメモリ２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。なお上述のとおり本実施の形態には様々な用途が考えられる。そのため用途に応じた処理結果の出力形態によって、図示する構成の一部を省略したり別の回路に置き換えたりしてよい。
　図９は、本実施の形態における情報処理装置１０の機能ブロックの構成を示している。同図においてさまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、図８で示したＣＰＵ２３、ＧＰＵ２４、メインメモリ２６等の各主回路で構成することができ、ソフトウェア的には、記録媒体駆動部４０により駆動される記録媒体や記憶部３４からメインメモリ２６にロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
　情報処理装置１０は、撮像装置１２から撮影画像のデータを取得する画像取得部５０、取得した画像のデータを格納する画像データ記憶部５２、プレイフィールドの周縁検出を含む画像解析を行う画像解析部５４、および、解析結果を利用して出力すべきデータを生成する出力データ生成部５６を含む。
　画像取得部５０は図８の入力部３８、ＣＰＵ２３などで実現され、撮像装置１２から偏光画像を含む撮影画像のデータを取得する。このとき偏光画像として、少なくとも３方向の透過軸に対応する３方位の偏光画像のデータを取得する。偏光画像は、図２に示すように撮像装置１２の前面に配置した直線偏光板７０を回転させ、所定の方向で停止させる都度、撮影してもよいし、図５で示した構造の撮像素子を含むイメージセンサを導入して撮影してもよい。後者の場合、一度の撮影で複数方位の偏光画像を取得できる。
　出力する表示画像に撮影画像を用いる場合など、情報処理の目的や画像解析の内容によっては、画像取得部５０はさらに、一般的なカラーの撮影画像のデータも取得してよい。また、撮像装置１２を、既知の間隔で設けた２つのカメラからなるステレオカメラとする場合、画像取得部５０は、それらのカメラが撮影した左右に視差を有するステレオ画像のデータを取得してもよい。画像取得部５０は取得した撮影画像のデータを画像データ記憶部５２に逐次格納する。
　画像解析部５４は図８のＣＰＵ２３、ＧＰＵ２４などで実現され、画像データ記憶部５２に格納されたデータを用いて画像解析を行う。より詳細には画像解析部５４は、偏光度取得部５８、および高偏光度領域評価部６０を含む。偏光度取得部５８は、上述のとおり方位の変化に対する偏光輝度の変化を利用して偏光度を導出する。具体的にはまず、複数方位の偏光画像の対応する画素ごとに輝度を抽出し、偏光方位に対する輝度の変化を導出する。
　偏光画像がφ１、φ２、φ３の３方位あれば、それらの座標（φ１，Ｉ１）、（φ２，Ｉ２）、（φ３，Ｉ３）の３点を通る曲線を、最小二乗法等を用いて式１の関数に近似することにより、図３に示すような連続した関数が得られる。これにより求められる最大輝度Ｉｍａｘと最小輝度Ｉｍｉｎを式２に代入することにより、偏光度ρが求められる。この処理を画素ごとに繰り返すと、画像平面に対し偏光度の分布が得られる。なお画像解析によりプレイフィールド１４の周縁検出のみを実施する場合、偏光度の計算はプレイフィールド１４の像とその近傍の所定範囲の領域のみに限定してもよい。
　一般的にはプレイフィールド１４は視野の下側にあるため、例えば撮影画像の下半分の領域を偏光度の演算対象としてもよい。撮像装置１２の姿勢を加速度センサなどで別途取得できる場合は、当該姿勢の情報に基づき演算対象の領域を調整してもよい。高偏光度領域評価部６０は、あらかじめ設定したしきい値より高い偏光度が得られている画像平面上の領域を抽出し、その高偏光度領域を俯瞰したときの形状を評価する。このとき上述のとおり、コンピュータグラフィクスでは一般的な視点の変換処理を実施する。
　撮像装置１２の視野によって、高偏光度領域は基本的には円周の一部となる。視野により見切れている部分は画像平面での位置により明らかである。したがって高偏光度領域評価部６０は、それ以外で欠けている箇所、すなわち画角に対応する円弧形状において欠けている部分があるか否かを判定する。例えば円弧形状のテンプレート画像を準備しておき、パターンマッチングにより差分を取得することで欠損の有無を判定できる。そして欠けている場合は、プレイフィールド１４の周縁が近傍にある旨を、その方向、距離、形状などの情報とともに出力データ生成部５６に供給する。
　なおロボット４が移動したり方向転換したりすることにより、撮像装置１２は様々な視野での画像を撮影できる。高偏光度領域評価部６０はこれを利用し、各撮影画像が得られたときの撮像装置１２の位置と、その位置で得られた高偏光度領域の形状を蓄積して記録することにより、プレイフィールド１４の範囲を２次元または３次元の統一された座標系で表した環境地図を作成してもよい。
　全方向で周縁を取得したり補間して求めたりした結果、プレイフィールド１４の範囲を一旦、定義できれば、その後は偏光度による評価を行わずに、ロボット４と周縁との位置関係を把握できる。画像解析部５４は上述した処理のほかに、ロボット４の近傍にある物体の法線ベクトルを取得するなど一般的な画像解析処理を実施してもよい。例えばステレオ画像を用いて物体の位置を特定し、法線ベクトルの情報と統合することにより、物体の位置や姿勢を精度よく求めてもよい。
　出力データ生成部５６は、図８のＣＰＵ２３、ＧＰＵ２４、出力部３６などで実現し、画像解析部５４が特定した情報に基づきロボットへの制御信号や、ユーザに提示する画像や音声など出力すべきデータを生成して出力する。基本的には、進行方向においてプレイフィールド１４の周縁が近づいてきたら、方向転換させるための制御信号をロボット４に送信する。あるいは、ヘッドマウントディスプレイなどの表示装置に、その旨をユーザに警告する表示画像や音声のデータを送信する。
　プレイフィールド１４の周縁が近づくことがなければ、出力データ生成部５６は本来の情報処理を実施し、制御信号や表示画像のデータを出力する。このとき実施する情報処理の内容や出力データの種類は特に限定されない。例えばロボットが近傍にある物体を持ち上げたりその間をすり抜けて歩行したりする制御信号を生成しロボットに送信する。あるいはヘッドマウントディスプレイを装着したユーザの視線に対応する視野で拡張現実や仮想現実を表す画像を生成し、当該ヘッドマウントディスプレイに送信してもよい。これらの処理において、画像データ記憶部５２に格納された撮影画像のデータや、画像解析部５４による物体検出の結果を適宜利用してよい。
　図１０は、高偏光度領域評価部６０が評価した高偏光度領域の時間変化を模式的に示している。ロボット４が移動ている状態で、撮像装置１２が所定の頻度で撮影を継続することにより、プレイフィールド１４の複数の位置に対し、高偏光度領域が取得される。図示する例では、ロボット４が位置座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、・・・（ｘ９，ｙ９）にいるタイミングで、高偏光度領域（例えば高偏光度領域１７０）がそれぞれ得られている。
　ただし実際には、より高頻度に高偏光度領域を取得してよい。また一度の撮影で得られる高偏光度領域は上述のとおり、撮像装置１２の視野に入っている部分のみとなる。例えば（ｘ２，ｙ２）にいるタイミングでプレイフィールド１４の周縁側にロボット４が移動している場合、その方向が撮影されることにより高偏光度領域の欠けが表れる。これに応じてロボット４を方向転換させることにより、プレイフィールド１４から逸脱するのを防ぐことができる。
　一方、ロボット４に内蔵したセンサや、ロボット４を外部から撮影する撮像装置などにより位置座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、・・・（ｘ９，ｙ９）や撮像装置１２の向きを取得できる場合、各位置で得られた高偏光度領域の形状を蓄積して記憶することにより、プレイフィールド１４の範囲を取得できる。すなわち図示するように、統一された座標系で位置座標に対し高偏光度領域を重ね合わせて表すと、その和集合はプレイフィールド１４の範囲を表すことになる。
　図１１は、ロボット４の代わりにヘッドマウントディスプレイを装着したユーザに、プレイフィールド１４からの逸脱を警告する場合に表示する画面を例示している。表示画面２００は、仮想世界などコンテンツの画像に警告画像２０２を重畳表示した構成を有する。高偏光度領域評価部６０が、ユーザの進行方向に高偏光度領域の欠けを検出したとき、出力データ生成部５６を介して警告画像２０２を重畳表示させる。図示する例では、「方向転換してください」との文字情報を表示している。ただし警告の内容はこれに限らず、望ましい移動方向を示したり図形で表したりしてもよい。あるいはコンテンツの画像自体に、方向転換を必要とするような変化を与えてもよい。
　次に、以上述べた構成によって実現できる動作について説明する。図１２は情報処理装置１０が、ロボット４などのプレイフィールドからの逸脱を回避させつつ情報処理を行う処理の手順を示すフローチャートである。このフローチャートは、撮像装置１２が偏光画像を含む被写空間の画像を撮影している状態で開始する。まず情報処理装置１０の画像取得部５０は、偏光画像を含む撮影画像のデータを取得する（Ｓ１０）。そして画像解析部５４の偏光度取得部５８は、偏光画像を用いて偏光度の分布を取得する（Ｓ１２）。上述のとおり偏光度は、画像平面のうちプレイフィールド１４が写っている可能性が高い領域に絞って求めてもよい。
　そして高偏光度領域評価部６０は、しきい値より高い偏光度が得られた領域を抽出し、視点変換を行うことにより高偏光度領域を俯瞰したときの形状を取得する。そして視野範囲で円弧形状に欠けがある場合（Ｓ１４のＹ）、出力データ生成部５６を介して、プレイフィールド１４からの逸脱を回避するためのデータを出力する（Ｓ１６）。例えばロボット４に対し、方向転換させる制御信号を送信する。あるいはコンテンツの画像などに、方向転換を指示する警告画像を重畳させヘッドマウントディスプレイなどの表示装置に送信する。
　警告を示す音声をヘッドマウントディスプレイや図示しないスピーカーなどに送信してもよい。あるいはユーザが把持するコントローラや装着するヘッドマウントディスプレイに、それらに内蔵させた振動子を振動させる制御信号を送信することで、振動により警告を表してもよい。このように画像、音声、振動のいずれか、またはそれらのうち２つ以上を組み合わせて、ユーザが認識できる形態で出力装置から出力させることにより、逸脱を警告してもよい。
　高偏光度領域に欠けがない場合（Ｓ１４のＮ）、本来の目的に応じた制御信号、電子コンテンツの表示画像や音声など、通常処理によるデータを生成し出力する（Ｓ１８）。ユーザからの要求などにより処理を停止させる必要がなければ（Ｓ２０のＮ）、Ｓ１０からＳ１８までの処理を繰り返す。処理を停止させる必要に応じて全処理を終了させる（Ｓ２０のＹ）。
　以上述べた本実施の形態によれば、自由な移動が可能なロボットやユーザが装着するヘッドマウントディスプレイに設けた撮像装置により偏光画像を撮影する。そして撮影視点から見て偏光度がしきい値より高い領域を俯瞰したときの形状に欠けがある場合、法線ベクトルが一様でない、すなわち平面でない箇所が画角内にあると判定する。そして方向転換する制御信号をロボットに送信したり、方向転換を指示する警告画像をヘッドマウントディスプレイに表示させたりする。
　これにより、段差や面の端を認識できずに移動を続けた結果、プレイフィールドから落下したり転倒したりするのを防ぐことができる。本実施の形態は色情報とは独立した偏光度を用いるため、ガラスなどの透明な面や、周囲の物との区別がつきにくい色の面でも精度よく周縁部分を検出できる。また円弧形状に欠けがあるか否かというシンプルな基準で判定できるため演算などによる誤差の影響が少ない。結果として、ロボットやユーザなどの移動体の自由な動きに対し、安全性を容易に高めることができる。
　以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
　例えば本実施の形態では、平面からの形状変化による、高偏光度領域の形状への影響を利用して、プレイフィールドの周縁を検出した。この場合、偏光状態が変化しない同じ材質の平面が続いていれば、それをプレイフィールドと見なすことになる。一方、材質の変化によって偏光状態が変化し、高偏光度領域の形状に影響を与えることを利用すれば、同一平面でもプレイフィールドの範囲を限定することができる。例えば図４に示すように、鏡面反射に比べ拡散反射の偏光度は天頂角によらず低くなる。
　したがって、例えばプレイフィールドを鏡面反射成分が支配的な材質のマットや平板とし、拡散反射が支配的な材質の面上に敷くことにより、同じ平面であってもプレイフィールドの外側で、高偏光度領域が欠けることになる。これにより、移動体の可動範囲を様々に設定することができる。例えばプレイフィールドの形状自体にゲーム性を持たせたり、ロボットやユーザを外部から撮影して追跡する態様において、撮影画角からはみ出さないようにしたりといった、安全性以外の様々な効果を得ることができる。
　１０　情報処理装置、　１２　撮像装置、　２３　ＣＰＵ、　２４　ＧＰＵ、　２６　メインメモリ、　５０　画像取得部、　５２　画像データ記憶部、　５４　画像解析部、　５６　出力データ生成部、　５８　偏光度取得部、　６０　高偏光度領域評価部。
　以上のように本発明は、ロボット制御装置、電子コンテンツ処理装置など各種情報処理装置およびシステムに利用可能である。

Claims (9)

  1. 　移動体に備えられた撮像装置が撮影した、複数の方位の偏光画像のデータを取得する画像取得部と、
    　前記偏光画像を用いて偏光度の分布を取得する偏光度取得部と、
    　しきい値より大きい偏光度を有する高偏光度領域を、前記移動体の直上から俯瞰した状態における形状を評価することにより、前記移動体が存在するプレイフィールドの周縁を検出する高偏光度領域評価部と、
    　前記周縁への移動を回避するための出力データを生成し出力する出力データ生成部と、
    　を備えたことを特徴とする情報処理装置。
  2. 　前記高偏光度領域評価部は、前記高偏光度領域を表す、画角に対応する円弧形状において欠けている部分を特定することにより、前記プレイフィールドの周縁を検出することを特徴とする請求項１に記載の情報処理装置。
  3. 　前記高偏光度領域評価部は、法線ベクトルの変化に起因して生じた、前記欠けている部分を特定することにより、平面状でなくなる境界を前記プレイフィールドの周縁として検出することを特徴とする請求項２に記載の情報処理装置。
  4. 　前記高偏光度領域評価部は、材質の変化に起因して生じた、前記欠けている部分を特定することにより、材質が変化する境界を前記プレイフィールドの周縁として検出することを特徴とする請求項２に記載の情報処理装置。
  5. 　前記高偏光度領域評価部は、複数の位置で取得された前記高偏光度領域を蓄積して記録することにより、前記プレイフィールドの範囲を統一された座標系で取得することを特徴とする請求項１から４のいずれかに記載の情報処理装置。
  6. 　前記出力データ生成部は、前記周縁への移動を回避するように移動させる制御信号を、前記移動体であるロボットに送信することを特徴とする請求項１から５のいずれかに記載の情報処理装置。
  7. 　前記出力データ生成部は、前記周縁への移動を回避するように警告する画像、音声、振動の少なくともいずれかのデータを、前記移動体であるユーザが認識可能な形態で出力させる出力装置に送信することを特徴とする請求項１から５のいずれかに記載の情報処理装置。
  8. 　移動体に備えられた撮像装置が撮影した、複数の方位の偏光画像のデータを取得するステップと、
    　前記偏光画像を用いて偏光度の分布を取得するステップと、
    　しきい値より大きい偏光度を有する高偏光度領域を、前記移動体の直上から俯瞰した状態における形状を評価することにより、前記移動体が存在するプレイフィールドの周縁を検出するステップと、
    　前記周縁への移動を回避するための出力データを生成し出力するステップと、
    　を含むことを特徴とする、情報処理装置によるプレイフィールド逸脱検知方法。
  9. 　移動体に備えられた撮像装置が撮影した、複数の方位の偏光画像のデータを取得する機能と、
    　前記偏光画像を用いて偏光度の分布を取得する機能と、
    　しきい値より大きい偏光度を有する高偏光度領域を、前記移動体の直上から俯瞰した状態における形状を評価することにより、前記移動体が存在するプレイフィールドの周縁を検出する機能と、
    　前記周縁への移動を回避するための出力データを生成し出力する機能と、
    　をコンピュータに実現させることを特徴とするコンピュータプログラム。
PCT/JP2018/032767 2018-09-04 2018-09-04 情報処理装置およびプレイフィールド逸脱検知方法 WO2020049638A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020540903A JP7101250B2 (ja) 2018-09-04 2018-09-04 情報処理装置およびプレイフィールド逸脱検知方法
PCT/JP2018/032767 WO2020049638A1 (ja) 2018-09-04 2018-09-04 情報処理装置およびプレイフィールド逸脱検知方法
US17/270,903 US20210178265A1 (en) 2018-09-04 2018-09-04 Information processing apparatus and play field deviation detecting method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/032767 WO2020049638A1 (ja) 2018-09-04 2018-09-04 情報処理装置およびプレイフィールド逸脱検知方法

Publications (1)

Publication Number Publication Date
WO2020049638A1 true WO2020049638A1 (ja) 2020-03-12

Family

ID=69723025

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/032767 WO2020049638A1 (ja) 2018-09-04 2018-09-04 情報処理装置およびプレイフィールド逸脱検知方法

Country Status (3)

Country Link
US (1) US20210178265A1 (ja)
JP (1) JP7101250B2 (ja)
WO (1) WO2020049638A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6841297B2 (ja) * 2019-05-31 2021-03-10 株式会社デンソー ビジュアルサーボシステム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011150688A (ja) * 2009-12-25 2011-08-04 Ricoh Co Ltd 立体物識別装置、並びに、これを備えた移動体制御装置及び情報提供装置
JP2014016981A (ja) * 2012-06-15 2014-01-30 Ricoh Co Ltd 移動面認識装置、移動面認識方法及び移動面認識用プログラム
WO2017056822A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 画像処理装置と画像処理方法および車両制御システム
JP2017130793A (ja) * 2016-01-20 2017-07-27 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびユーザガイド提示方法
JP2018099523A (ja) * 2013-09-30 2018-06-28 株式会社ソニー・インタラクティブエンタテインメント 物理オブジェクトの画像をフェードアウトする方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5664152B2 (ja) * 2009-12-25 2015-02-04 株式会社リコー 撮像装置、車載用撮像システム及び物体識別装置
JP5761601B2 (ja) * 2010-07-01 2015-08-12 株式会社リコー 物体識別装置
EP2439716B1 (en) * 2010-09-16 2013-11-13 Ricoh Company, Ltd. Object identification device, moving object controlling apparatus having object identification device and information presenting apparatus having object identification device
CN102982304B (zh) * 2011-09-07 2016-05-25 株式会社理光 利用偏光图像检测车辆位置的方法和系统
JP2015115041A (ja) * 2013-12-16 2015-06-22 ソニー株式会社 画像処理装置と画像処理方法
US9589195B2 (en) * 2014-01-22 2017-03-07 Polaris Sensor Technologies, Inc. Polarization-based mapping and perception method and system
US10395113B2 (en) * 2014-01-22 2019-08-27 Polaris Sensor Technologies, Inc. Polarization-based detection and mapping method and system
EP3619643A1 (en) * 2017-05-03 2020-03-11 Mobileye Vision Technologies Ltd. Detection and classification systems and methods for autonomous vehicle navigation
US10789569B1 (en) * 2017-11-27 2020-09-29 Amazon Technologies, Inc. System to determine item footprint
EP3828617A1 (de) * 2019-11-26 2021-06-02 Siemens Healthcare Diagnostics Inc. Verfahren zur digitalen anfärbung von zellen

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011150688A (ja) * 2009-12-25 2011-08-04 Ricoh Co Ltd 立体物識別装置、並びに、これを備えた移動体制御装置及び情報提供装置
JP2014016981A (ja) * 2012-06-15 2014-01-30 Ricoh Co Ltd 移動面認識装置、移動面認識方法及び移動面認識用プログラム
JP2018099523A (ja) * 2013-09-30 2018-06-28 株式会社ソニー・インタラクティブエンタテインメント 物理オブジェクトの画像をフェードアウトする方法
WO2017056822A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 画像処理装置と画像処理方法および車両制御システム
JP2017130793A (ja) * 2016-01-20 2017-07-27 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびユーザガイド提示方法

Also Published As

Publication number Publication date
JP7101250B2 (ja) 2022-07-14
JPWO2020049638A1 (ja) 2021-08-12
US20210178265A1 (en) 2021-06-17

Similar Documents

Publication Publication Date Title
JP6875081B2 (ja) ディスプレイ装置のパラメータ推定方法及びその方法を用いた装置
US8791901B2 (en) Object tracking with projected reference patterns
JP6697986B2 (ja) 情報処理装置および画像領域分割方法
JP6799155B2 (ja) 情報処理装置、情報処理システム、および被写体情報特定方法
CN104583921A (zh) 信息输入装置
US11182638B2 (en) Information processing device and material specifying method
JP6650848B2 (ja) 情報処理装置、情報処理システム、および情報処理方法
JP6934575B2 (ja) 情報処理装置および物体検出方法
JP6933776B2 (ja) 情報処理装置および被写体情報取得方法
JP7039616B2 (ja) 情報処理装置および表面粗さ取得方法
WO2020049638A1 (ja) 情報処理装置およびプレイフィールド逸脱検知方法
US11250586B2 (en) Information processing apparatus and information processing method
JP2023508501A (ja) ３次元座標と２次元特徴点との関連付け
JP6783928B2 (ja) 情報処理装置および法線情報取得方法
JP6934565B2 (ja) 情報処理装置および被写体情報取得方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18932887

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020540903

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18932887

Country of ref document: EP

Kind code of ref document: A1