WO2017029886A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2017029886A1
WO2017029886A1 PCT/JP2016/069016 JP2016069016W WO2017029886A1 WO 2017029886 A1 WO2017029886 A1 WO 2017029886A1 JP 2016069016 W JP2016069016 W JP 2016069016W WO 2017029886 A1 WO2017029886 A1 WO 2017029886A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
bird
detected object
processing apparatus
sensor
Prior art date
Application number
PCT/JP2016/069016
Other languages
English (en)
French (fr)
Inventor
雅貴 豊浦
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2017029886A1 publication Critical patent/WO2017029886A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • an object that becomes an obstacle is detected by comparing bird's-eye views based on two captured images captured by two imaging devices having overlapping imaging ranges.
  • the two imaging devices are fixedly installed, and the height, the mounting angle, and the relative positional relationship between the two imaging devices from the ground are set in advance. An object is detected. Therefore, for example, the technique described in Patent Document 1 does not consider that the imaging field of view of each imaging device changes dynamically.
  • Patent Document 1 when the technique described in Patent Document 1 is used, only an object existing in a specific direction corresponding to the imaging field of view of the fixed imaging device can be detected.
  • a new and improved information processing apparatus, information processing method, and information processing apparatus capable of detecting the position of an object to be detected based on a detection result of a sensor capable of detecting a distance from an object, and Suggest a program.
  • the detected object is obtained based on depth information indicating a distance to the detected object acquired from a sensor capable of detecting the distance to the object and posture information regarding the attitude of the sensor.
  • An information processing apparatus includes a detection unit that generates a bird's eye view that is an image of a body projected on the ground plane and detects the position of the detected object.
  • an information processing method executed by an information processing apparatus including a step of generating a bird's eye view that is an image of a detected object projected on the ground plane and detecting the position of the detected object.
  • a program for causing a computer to realize a function of generating a bird's eye view that is an image of a detected object projected on the ground plane and detecting the position of the detected object.
  • the position of the detection target can be detected based on the detection result of the sensor that can detect the distance to the object.
  • Examples of a method for detecting an object based on a captured image include a method using an optical flow.
  • the feature point is detected from the captured image, and the movement of the object that is the subject is detected from the movement amount of the detected feature point.
  • it is difficult to detect a stationary object.
  • the feature point does not always appear in the contour of the object, and thus there is a possibility that the boundary between the object and the object other than the object cannot be accurately captured.
  • it is difficult to supplement the movement of the object in the depth direction viewed from the imaging device from the movement amount of the feature point.
  • a three-dimensional point group obtained from a plurality of captured images (so-called stereo images) captured by a stereo camera or the like.
  • a method of detecting an object that is a subject using the above for example, a three-dimensional point group (hereinafter referred to as “point cloud”) obtained from a plurality of captured images (so-called stereo images) captured by a stereo camera or the like.
  • Patent Document 1 when the technique described in Patent Document 1 is used, an object is detected by comparing bird's-eye views based on two captured images captured by two imaging devices having overlapping imaging ranges.
  • Patent Document 1 when the technique described in Patent Document 1 is used, only an object existing in a specific direction corresponding to the imaging field of view of the fixed imaging device can be detected.
  • FIG. 1 is an explanatory diagram for explaining the outline of the information processing method according to this embodiment.
  • the robot operates autonomously or by an external operation. An example is shown.
  • the robot shown in FIG. 1 includes a stereo camera as a sensor SD that can detect a distance from an object. Further, the robot shown in FIG. 1 includes a pan / tilt mechanism PTM, and the pan / tilt mechanism PTM is driven in one or both of the pan direction and the tilt direction, so that the detection range of the sensor SD, that is, the stereo camera
  • the imaging field of view changes dynamically.
  • the imaging field of view of the stereo camera may be referred to as “the field of view of the stereo camera”.
  • the robot takes action, such as when the robot shown in FIG. 1 moves.
  • the robot takes action, such as when the robot shown in FIG. 1 moves.
  • it is possible to detect the position where an object that can be an obstacle viewed from the robot is present using the detection result of the sensor SD. Conceivable.
  • the detection range of the sensor SD can be expanded by driving the pan / tilt mechanism PTM (for example, by moving the neck of the robot in FIG. 1). Therefore, in the above case, for example, while dynamically changing the detection range of the sensor SD, the position where an object that can be an obstacle as viewed from the robot is present is detected using the detection result of the sensor SD. It is possible to do.
  • a target corresponding to a case where an object can be detected by using a detection result of a sensor whose detection range can dynamically change as described above It can be the target of processing.
  • processing target a robot capable of dynamically changing the detection range of the sensor as illustrated in FIG. 1. Is given as an example.
  • the processing target according to the present embodiment may be the information processing apparatus according to the present embodiment, or may be an external apparatus of the information processing apparatus according to the present embodiment.
  • the processing target is an external apparatus
  • the information processing apparatus according to the present embodiment is based on information acquired through communication (or direct) via the network with the external apparatus. Processing related to the processing method is performed.
  • the technique described in Patent Document 1 can detect only an object that exists in a specific direction corresponding to the imaging field of view of a fixed imaging device. Therefore, even if the technique described in Patent Document 1 is used, it is impossible to detect the position where the object exists while dynamically changing the detection range of the sensor.
  • the information processing apparatus is based on depth information, which is a detection result of a sensor capable of detecting a distance from an object, and posture information regarding the posture of the sensor, based on the position information of the detected object.
  • depth information is a detection result of a sensor capable of detecting a distance from an object
  • posture information regarding the posture of the sensor based on the position information of the detected object.
  • a position on a plane is detected (detection process).
  • the senor according to the present embodiment for example, a stereo camera as shown in the example of FIG. 1, an IR (infrared) camera, a laser range finder, or any other method capable of detecting a distance from an object is used. Corresponding devices are listed.
  • the sensor according to the present embodiment that can detect the distance to the object may be simply referred to as “sensor”.
  • depth information for example, a plurality of captured images captured by a stereo camera (an example of a sensor) or time according to a TOF (Time Of Flight) method (irradiated light is reflected on an object).
  • Data indicating the distance to the detected object such as data indicating the time until return).
  • the depth information according to the present embodiment is not limited to the example described above, and the depth information according to the present embodiment may be data corresponding to the type of sensor or the distance detection method according to the present embodiment. Good.
  • the posture information according to the present embodiment is data indicating the posture of the sensor according to the present embodiment.
  • posture information according to the present embodiment for example, one or more sensors that can be used for posture detection, such as an acceleration sensor, an angular velocity sensor, and a geomagnetic sensor (or can be used for posture estimation).
  • the posture sensor is provided so as to move in conjunction with the movement of the sensor according to the present embodiment, for example.
  • posture information according to the present embodiment is not limited to the example shown above.
  • the posture information according to the present embodiment includes, for example, data indicating the movement of a mechanism that can change the detection range of the sensor such as “pan / tilt mechanism (for example, movement in the pan direction and movement in the tilt direction).
  • the orientation of the sensor according to the present embodiment can be detected, such as “data that can specify one or both)” or “data indicating the detection result of the laser range finder functioning as the sensor according to the present embodiment”. Any possible data is mentioned.
  • the information processing apparatus generates a bird's eye view based on the depth information and the posture information, and detects the position of the detected object.
  • the bird's-eye view according to the present embodiment is an image obtained by projecting the detected object detected by the sensor indicated by the depth information onto the ground plane.
  • the information processing apparatus projects a detected object on the ground plane so as to correspond to the distance to the detected object indicated by the depth information, and thus a two-dimensional view looking down on the space from above. A bird's eye view corresponding to the figure is generated.
  • the information processing apparatus when generating the bird's-eye view, the information processing apparatus according to the present embodiment generates the bird's-eye view in consideration of the elevation angle of the sensor specified based on the posture information. For example, the information processing apparatus according to the present embodiment corrects the distance to the detected object indicated by the depth information based on the elevation angle of the specified sensor so as to correspond to the corrected distance to the detected object.
  • a bird's-eye view is generated by projecting the detected object onto the ground plane.
  • the position of the detected object on the ground plane can be represented by a two-dimensional coordinate system.
  • a two-dimensional coordinate system related to the bird's eye view for example, “the sensor position is the origin, the center direction of sensing by the sensor is the depth direction axis, and the axis orthogonal to the depth direction axis is the horizontal direction. "Coordinate system with axes”.
  • the two-dimensional coordinate system according to the bird's-eye view according to the present embodiment is not limited to the example shown above.
  • the information processing apparatus corrects the bird's eye view based on the horizontal angle of the sensor specified based on the posture information.
  • the information processing apparatus according to the present embodiment corrects the generated bird's-eye view by adding a rotation corresponding to the specified horizontal angle of the sensor.
  • the position of the stationary detection object in the bird's-eye view generated at different points in time is in the same coordinate system. It can be expressed by the same coordinates.
  • the position of the moving object to be detected in the bird's-eye view generated at different points in time is the same coordinate system. It is possible to express with the coordinates. That is, the movement of the detection range of the sensor is corrected by correcting the bird's eye view as described above.
  • the information processing apparatus can specify the position of the detected object on the ground plane as viewed from the sensor by generating the bird's-eye view.
  • the information processing apparatus performs, for example, the detection process as described above as a process related to the information processing method according to the present embodiment.
  • the information processing apparatus captures the position of the detected object in a two-dimensional manner by representing the distance from the detected object detected by the sensor with a bird's eye view.
  • the bird's-eye view is generated by projecting the detected object on the ground plane based on the depth information and the posture information. Therefore, the information processing apparatus according to the present embodiment detects the position of the detected object from the generated bird's-eye view regardless of whether the detected object is a stationary object or the detected object is moving. Is possible.
  • the position of the detected object is captured two-dimensionally, so that the calculation cost is lower than when a point cloud where the object is captured three-dimensionally is used. small.
  • the information processing apparatus generates a bird's eye view in consideration of the elevation angle of the sensor specified based on the posture information. Furthermore, the information processing apparatus according to the present embodiment can correct the bird's eye view based on the horizontal angle of the sensor specified based on the posture information. Therefore, the information processing apparatus according to the present embodiment can detect the position of the detected object from the generated bird's-eye view even if the detection range of the sensor changes dynamically.
  • the information processing apparatus detects a sensor that can detect the distance to the object by performing the detection process as described above as a process related to the information processing method according to the present embodiment. Based on the result, the position of the detection object can be detected.
  • the information processing apparatus can detect the position of the detected object based on the bird's-eye view, the movement of the detected object can be further increased by using a plurality of bird's-eye views corresponding to different time points. It is also possible to detect.
  • processing related to information processing method according to this embodiment is not limited to the above detection processing.
  • the information processing apparatus may further perform processing based on the detection result in the detection processing (execution processing).
  • execution processing An example of the execution process according to the present embodiment will be described later.
  • each of the “detection process” and the “detection process and the execution process” is obtained by separating the process related to the information processing method according to the present embodiment for convenience. Therefore, for example, “the detection process and the execution process” can be regarded as one process in the process related to the information processing method according to the present embodiment.
  • the process according to the information processing method according to the present embodiment includes, for example, “the above detection process” and “the above detection process and the above execution process” each of two or more processes (depending on an arbitrary separation method). It is also possible to grasp.
  • a robot capable of dynamically changing the detection range of the sensor as shown in FIG. 1 will be described as an example of the processing target according to the present embodiment.
  • the processing target according to this embodiment is not limited to the robot.
  • FIG. 2 is a block diagram illustrating an example of the configuration of the information processing apparatus 100 according to the present embodiment.
  • the information processing apparatus 100 includes a detection unit 102 and a processing unit 104, for example.
  • the information processing apparatus 100 includes, for example, a control unit (not shown), a ROM (Read Only Memory. Not shown), a RAM (Random Access Memory. Not shown), a storage unit (not shown), a communication.
  • the information processing apparatus 100 connects the above constituent elements by, for example, a bus as a data transmission path.
  • the control unit (not shown) is configured by one or two or more processors configured by an arithmetic circuit such as an MPU (Micro Processing Unit), various processing circuits, and the like, and controls the information processing apparatus 100 as a whole. Further, in the information processing apparatus 100, the control unit (not shown) may serve as one or both of the detection unit 102 and the processing unit 104, for example.
  • MPU Micro Processing Unit
  • the detection unit 102 and the processing unit 104 is a dedicated (or general-purpose) circuit (for example, a control unit (not shown) that can realize the processing of the detection unit 102 and the processing unit 104. ) And a separate processor).
  • ROM (not shown) stores control data such as programs and calculation parameters used by a control unit (not shown).
  • a RAM (not shown) temporarily stores programs executed by a control unit (not shown).
  • the storage unit (not shown) is a storage unit included in the information processing apparatus 100.
  • data related to the information processing method according to the present embodiment such as generated bird's-eye view data, and various data such as various applications.
  • the bird's-eye view data stored in the storage unit (not shown) corresponds to, for example, data indicating the history of the position of the detected object.
  • examples of the storage unit include a magnetic recording medium such as a hard disk, a non-volatile memory such as a flash memory, and the like. Further, the storage unit (not shown) may be detachable from the information processing apparatus 100.
  • Examples of the communication unit include a communication interface described later.
  • the operation input device mentioned later is mentioned, for example.
  • the display part is mentioned.
  • FIG. 3 is an explanatory diagram illustrating an example of a hardware configuration of the information processing apparatus 100 according to the present embodiment.
  • FIG. 2 illustrates an example of a hardware configuration when the information processing apparatus 100 is a processing target.
  • the information processing apparatus 100 includes, for example, an MPU 150, a ROM 152, a RAM 154, a recording medium 156, an input / output interface 158, an operation input device 160, a display device 162, a communication interface 164, and a pan / tilt mechanism 166.
  • the distance sensor 168 and the posture sensor 170 are provided.
  • the information processing apparatus 100 connects each component with a bus 172 as a data transmission path, for example.
  • the MPU 150 includes, for example, one or more processors configured by an arithmetic circuit such as an MPU, various processing circuits, and the like, and functions as a control unit (not illustrated) that controls the entire information processing apparatus 100.
  • the MPU 150 serves as, for example, the detection unit 102 and the processing unit 104 in the information processing apparatus 100.
  • the detection unit 102 and the processing unit 104 is a dedicated (or general-purpose) circuit (for example, separate from the MPU 150) that can realize the processing of the detection unit 102 and the processing unit 104. Or a processor).
  • the ROM 152 stores programs used by the MPU 150, control data such as calculation parameters, and the like.
  • the RAM 154 temporarily stores a program executed by the MPU 150, for example.
  • the recording medium 156 functions as a storage unit (not shown), and stores, for example, data related to the information processing method according to the present embodiment, such as generated bird's-eye view data, and various data such as various applications.
  • examples of the recording medium 156 include a magnetic recording medium such as a hard disk and a non-volatile memory such as a flash memory. Further, the recording medium 156 may be detachable from the information processing apparatus 100.
  • the input / output interface 158 connects, for example, the operation input device 160 and the display device 162.
  • the operation input device 160 functions as an operation unit (not shown)
  • the display device 162 functions as a display unit (not shown).
  • examples of the input / output interface 158 include a USB (Universal Serial Bus) terminal, a DVI (Digital Visual Interface) terminal, an HDMI (High-Definition Multimedia Interface) (registered trademark) terminal, and various processing circuits. .
  • the operation input device 160 is provided on the information processing apparatus 100, for example, and is connected to the input / output interface 158 inside the information processing apparatus 100.
  • Examples of the operation input device 160 include a button, a direction key, a rotary selector such as a jog dial, or a combination thereof.
  • the display device 162 is provided on the information processing apparatus 100, for example, and is connected to the input / output interface 158 inside the information processing apparatus 100.
  • Examples of the display device 162 include a liquid crystal display (Liquid Crystal Display), an organic EL display (Organic Electro-Luminescence Display, or an OLED display (Organic Light Emitting Diode Display)), and the like.
  • the input / output interface 158 can be connected to an external device such as an operation input device (for example, a keyboard or a mouse) external to the information processing apparatus 100 or an external display device.
  • the display device 162 may be a device capable of display and user operation, such as a touch panel.
  • the communication interface 164 is a communication unit included in the information processing apparatus 100, and is a communication for performing wireless or wired communication with an external apparatus such as a processing target apparatus or server via a network (or directly). Functions as a unit (not shown).
  • a network for example, a wired network such as a LAN (Local Area Network) and a WAN (Wide Area Network), a wireless network such as a wireless LAN (WLAN), or TCP / IP ( Internet using a communication protocol such as Transmission Control Protocol / Internet Protocol).
  • the communication interface 164 for example, a communication antenna and an RF (Radio Frequency) circuit (wireless communication), an IEEE 802.15.1 port and a transmission / reception circuit (wireless communication), an IEEE 802.11 port and a transmission / reception circuit (wireless communication). ), Or a LAN terminal and a transmission / reception circuit (wired communication).
  • RF Radio Frequency
  • the pan / tilt mechanism 166 is a device that is driven in one or both of the pan direction and the tilt direction, and a distance sensor 168 is installed on the pan / tilt mechanism 166.
  • the pan / tilt mechanism 166 serves to dynamically change the detection range of the distance sensor 168 (an example of the detection range of the sensor according to the present embodiment) by driving in one or both of the pan direction and the tilt direction.
  • Examples of the pan / tilt mechanism 166 include a robot neck mechanism and a pan head.
  • the distance sensor 168 is a sensor for obtaining a distance between the information processing apparatus 100 and an object existing in the surrounding space of the information processing apparatus 100.
  • the information processing apparatus 100 performs detection processing using data indicating the sensing result of the distance sensor 168 as depth information.
  • Examples of the distance sensor 168 include a plurality of imaging devices that constitute a stereo camera.
  • the imaging device includes, for example, a lens / imaging device and a signal processing circuit.
  • the lens / imaging device includes, for example, an optical lens and an image sensor using a plurality of imaging devices such as CMOS (Complementary Metal Oxide Semiconductor).
  • the signal processing circuit includes, for example, an AGC (Automatic Gain Control) circuit and an ADC (Analog to Digital Converter), and converts an analog signal generated by the image sensor into a digital signal (image data).
  • the signal processing circuit performs various processes related to, for example, RAW development.
  • the signal processing circuit may perform various signal processing such as, for example, White Balance correction processing, color tone correction processing, gamma correction processing, YCbCr conversion processing, and edge enhancement processing.
  • the distance sensor 168 is not limited to the example shown above.
  • the distance sensor 168 includes a light source such as an infrared light emitting diode and an image sensor such as a CMOS image sensor.
  • the distance sensor 168 includes a configuration related to the TOF method, a configuration including an infrared camera, a configuration including a laser range finder, and the like. A configuration according to an arbitrary method capable of obtaining the distance may be used.
  • the attitude sensor 170 is a sensor for detecting the attitude of the distance sensor 168.
  • the posture sensor 170 is provided to move in conjunction with the movement of the distance sensor 168, for example. Further, the posture sensor 170 may be provided so as to detect the movement of the pan / tilt mechanism 166 on which the distance sensor 168 is installed, for example.
  • the information processing apparatus 100 performs detection processing using, for example, data indicating the attitude of the distance sensor 168 estimated based on the sensing result of the attitude sensor 170 as attitude information.
  • the posture sensor 170 for example, one or two or more sensors that can be used for posture detection (or one or two that can be used for posture estimation, such as an acceleration sensor, an angular velocity sensor, and a geomagnetic sensor). The above sensors) are mentioned.
  • the information processing apparatus 100 performs processing related to the information processing method according to the present embodiment, for example, with the configuration illustrated in FIG. Note that the hardware configuration of the information processing apparatus 100 according to the present embodiment is not limited to the configuration illustrated in FIG. 3.
  • the information processing apparatus 100 when the information processing apparatus 100 performs processing using an external distance sensor connected to the information processing apparatus 100 or a sensing result of an external posture sensor, the information processing apparatus 100 is It is not necessary to provide a sensor corresponding to the sensor connected to the.
  • the information processing apparatus 100 may not include one or both of the distance sensor 168 and the posture sensor 170.
  • the information processing apparatus 100 can take a configuration in which the pan / tilt mechanism 166 is replaced with an arbitrary device that can dynamically change the detection range of the distance sensor 168.
  • the information processing apparatus 100 can be configured not to include the recording medium 156, the operation input device 160, the display device 162, and the communication interface 164, for example.
  • the configuration shown in FIG. 3 may be realized by one or two or more ICs (Integrated Circuits).
  • the depth information is a plurality of captured images captured by a stereo camera (an example of a sensor according to the present embodiment) will be described as an example.
  • the posture information indicates the movement of a pan / tilt mechanism that can change the direction of the stereo camera.
  • the depth information according to the present embodiment and the posture information according to the present embodiment are not limited to the examples described above.
  • the detection unit 102 plays a role of performing the detection process in a leading manner. For example, the detection unit 102 generates a bird's-eye view based on the depth information and the posture information, and detects the position of the detected object.
  • the detection unit 102 generates a bird's-eye view by projecting the detected object on the ground plane so as to correspond to the distance to the detected object indicated by the depth information, for example.
  • the depth information is a plurality of captured images captured by a stereo camera
  • the detection unit 102 obtains a distance from the detected object for each pixel by stereo matching using the plurality of captured images.
  • the detection unit 102 generates a bird's eye view by projecting the detected object on the ground plane based on the distance corresponding to the obtained detected object.
  • the detection unit 102 when generating the bird's-eye view, the detection unit 102 generates the bird's-eye view in consideration of the elevation angle of the sensor specified based on the posture information.
  • the elevation angle of the sensor is specified based on, for example, the angle in the tilt direction of the pan / tilt mechanism indicated by the posture information.
  • the elevation angle of the sensor may be, for example, an angle in the tilt direction of the pan / tilt mechanism, or may be an angle corrected by a value in which the angle in the tilt direction of the pan / tilt mechanism is set.
  • FIG. 4 is an explanatory diagram for explaining an example of processing related to the information processing method according to the present embodiment, and an example of generation of a bird's-eye view in consideration of the elevation angle ⁇ specified based on the posture information in the detection unit 102. Show.
  • FIG. 4A shows an example of the space of the detection range of the sensor
  • B shown in FIG. 4 shows an example of the depth image obtained by the stereo camera as the sensor.
  • C shown in FIG. 4 shows an example of the distance to the detected object in consideration of the elevation angle ⁇
  • D shown in FIG. 4 shows the detected object obtained in consideration of the elevation angle ⁇ .
  • An example of a bird's-eye view based on distance is shown.
  • the detecting unit 102 corrects the distance to the detected object indicated by the depth information, for example, based on the elevation angle ⁇ of the identified sensor.
  • the detection unit 102 refers to a table (or database) in which the elevation angle and the distance correction value are associated with each other, identifies the correction value corresponding to the identified elevation angle ⁇ , and is identified.
  • the distance from the detected object indicated by the depth information is corrected by the correction value.
  • the detection unit 102 generates a bird's eye view by projecting the detected object on the ground plane so as to correspond to the corrected distance to the detected object.
  • the processing related to the generation of the bird's-eye view in consideration of the elevation angle ⁇ in the detection unit 102 is not limited to the example shown above.
  • the detecting unit 102 generates a bird's eye view based on the depth information and the posture information, for example, as described above.
  • processing related to the generation of the bird's-eye view in the detection unit 102 is not limited to the above.
  • the detection unit 102 can limit the detection target to be reflected in the bird's-eye view.
  • the detection unit 102 does not reflect the detected object detected at a low position such as the floor or the ground part or the detected object detected at a high position such as the ceiling in the bird's eye view, thereby detecting the object to be reflected in the bird's eye view. Limit your body.
  • the detection unit 102 limits the detected objects to be reflected in the bird's-eye view by threshold processing in the height direction using one or more thresholds in the height direction (vertical direction in space). For example, the detection unit 102 limits the detection target at a position lower than the first threshold for limiting the detection target at a low position. Moreover, the detection part 102 restrict
  • examples of the threshold value in the height direction according to the present embodiment include preset fixed values.
  • the threshold value in the height direction according to the present embodiment may be a variable value adjusted based on the elevation angle ⁇ of the sensor specified based on the posture information. By adjusting the threshold value in the height direction based on the elevation angle ⁇ of the sensor specified based on the posture information, it is possible to realize threshold processing in the height direction corresponding to the posture in the height direction of the sensor. .
  • the detection unit 102 can correct the generated bird's-eye view, for example, as shown in the following (a) to (c).
  • the detection unit 102 corrects the bird's-eye view based on the horizontal angle specified based on the posture information.
  • the horizontal angle of the sensor is specified based on, for example, the angle in the pan direction of the pan / tilt mechanism indicated by the posture information.
  • the horizontal angle of the sensor may be, for example, an angle in the pan direction of the pan / tilt mechanism, or may be an angle corrected by a value in which the pan direction angle of the pan / tilt mechanism is set.
  • the detection unit 102 reflects the change in the horizontal angle in the generated bird's-eye view, for example, by performing a correction to the generated bird's-eye view by adding a rotation corresponding to the horizontal angle of the specified sensor. Correct the bird's eye view.
  • FIG. 5 is an explanatory diagram for explaining an example of processing related to the information processing method according to the present embodiment, and shows an example of bird's-eye view correction based on the horizontal angle specified based on the posture information in the detection unit 102. Yes.
  • FIG. 5A shows an example of the space of the detection range of the sensor at the first time point
  • B shown in FIG. 5 is a corrected bird's-eye view based on the depth information and the posture information at the first time point.
  • An example is shown.
  • C shown in FIG. 5 shows an example of the space of the detection range of the sensor at the second time point (time point after the first time point)
  • D shown in FIG. 5 shows the depth at the second time point.
  • An example of the corrected bird's-eye view based on information and posture information is shown.
  • the visual field of the stereo camera at the first time point is different from the visual field of the stereo camera at the first time point. That is, in the example illustrated in FIG. 5, the stereo camera posture based on the posture information at the first time point is different from the stereo camera posture based on the posture information at the second time point.
  • the detection unit 102 corrects the bird's-eye view reflecting the change in the horizontal angle based on the horizontal angle specified based on the posture information, and as shown in FIG. 5B and FIG. Even if the field of view (an example of the detection range of the sensor) changes, it is possible to represent the position of the detected object in the same coordinate system in bird's-eye views at different points in time.
  • the processing target itself can move, such as when the processing target is the robot shown in FIG. 1, an example of the sensor according to the present embodiment by moving the processing target itself.
  • the position of the stereo camera is changed.
  • the detection unit 102 can also correct the bird's eye view based on the change in the sensor position.
  • the detection unit 102 corrects the bird's-eye view reflecting the change in the position of the stereo camera so as to cancel the motion component of the robot (an example of a processing target).
  • the detection unit 102 includes, for example, a detection result of a motion sensor capable of detecting the movement of the robot such as an acceleration sensor provided in the robot, and a wheel (an example of a mechanism related to the movement) provided for the movement of the robot.
  • the movement component of the robot is specified based on one or both of the detection results of the rotary encoder that detects the movement. Then, the detection unit 102 corrects the bird's-eye view so as to cancel the identified motion component.
  • (C) Third Example of Bird's-eye View Correction The detection unit 102 performs processing related to the correction according to the first example shown in (a) and processing related to the correction according to the second example shown in (b).
  • the bird's eye view may be corrected by performing both processes.
  • the detection unit 102 can generate the bird's-eye view as described above, or correct the generated bird's-eye view so that the position of the detected object can be expressed in a two-dimensional coordinate system. Therefore, the detection unit 102 generates the bird's-eye view as described above, or corrects the generated bird's-eye view, thereby detecting the position of the detected object.
  • the process in the detection part 102 is not restricted to the example shown above.
  • the detection unit 102 performs one of the processing shown in (A) below and the processing shown in (B) below. Alternatively, both processes can be further performed.
  • the detection unit 102 detects the movement of the detected object based on a plurality of bird's-eye views.
  • the plurality of bird's-eye views related to the detection of the movement of the detected object for example, a time-series bird's-eye view, that is, a plurality of bird's-eye views generated at different time points (for example, a bird's-eye view generated at a certain time point, and Bird's-eye view generated at one or two or more time points before the time point). That is, the plurality of bird's-eye views relating to the detection of the movement of the detection target corresponds to the history of the generated bird's-eye view.
  • the detection unit 102 performs, for example, the following process (A-1) to the following process (A-3) as the process related to the detection of the motion of the detection target.
  • the detection unit 102 detects, for example, whether there is a motion of the detected object based on a plurality of bird's-eye views. Specifically, for example, the detection unit 102 detects whether or not there is a motion in the detected object by comparing time-series bird's-eye views for each pixel.
  • FIG. 6 is an explanatory diagram for explaining an example of processing related to the information processing method according to the present embodiment.
  • a shown in FIG. 6 shows an example of the space of the detection range of the sensor at a certain time.
  • the bird's-eye view generated at a certain time point is compared with the bird's-eye view generated immediately before the bird's-eye view generated at the certain point of time for each pixel, and the presence or absence of motion is visually confirmed.
  • “S” shown in B of FIG. 6 shows an example of the detected object determined to have no movement
  • “M” shown in B of FIG. 6 shows the detected object determined to have movement. An example is shown.
  • FIG. 7 is an explanatory diagram for explaining an example of processing related to the information processing method according to the present embodiment. By comparing time-series bird's-eye views for each pixel, the presence / absence of motion of the detection target is determined. An overview of the processing to be performed is shown.
  • the detection unit 102 compares the time-series bird's-eye view for each pixel using binary values. By comparing the time-series bird's-eye view for each pixel based on the binary value, it is possible to determine the presence / absence of the motion of the detection target at higher speed.
  • the detection unit 102 scans the pixel values of each pixel for n frames in time series. . Then, the detection unit 102 determines, for example, a pixel in which the detection target for n frames is detected as a pixel in a region corresponding to the detection target that is stationary. For example, the detection unit 102 is a pixel that has not been determined to be a region corresponding to a stationary detection object, and the detection object is detected in the current frame (corresponding to the nth frame). Are determined to be pixels in a region corresponding to the moving detection object.
  • stationary region the region corresponding to the stationary detection object in the bird's-eye view
  • moving region the region corresponding to the moving detection object in the bird's-eye view
  • the detection unit 102 compares the time-series bird's-eye view for each pixel and determines the stationary region and the moving region, thereby determining the presence or absence of the motion of the detection target.
  • the method for determining the presence or absence of the movement of the detection object according to the present embodiment is not limited to the method for determining based on the binary value described above.
  • A-2) Second Example of Process Related to Detection of Motion of Detected Object The detection unit 102, for example, based on a plurality of bird's-eye views, the direction of motion of the detected object, the speed of motion of the detected object, And 1 or 2 or more of the movement amount of a to-be-detected body is detected.
  • the process related to the detection of the motion of the detected object according to the second example corresponds to the process of analyzing the motion component of the detected object.
  • FIG. 8 is an explanatory diagram for explaining an example of processing related to the information processing method according to the present embodiment.
  • a shown in FIG. 8 shows an example of the space of the detection range of the sensor at a certain time.
  • B shown in FIG. 8 is a time-series bird's-eye view that is superimposed so that the region of the detected object based on the past bird's-eye view is thin and the region of the detected object based on the latest bird's-eye view is dark. Shows an example in which the trajectory of the movement of the detected object is represented by shading.
  • FIG. 8C is an enlarged view of part of B in FIG.
  • the gradient ( ⁇ x, ⁇ y) is obtained.
  • a method of obtaining the color gradient for example, a method of performing gradient calculation using a Sobel filter in each of the x direction and the y direction can be cited. Needless to say, the method of obtaining the color gradient is not limited to the method using the Sobel filter.
  • the detecting unit 102 detects the direction of movement of the detected object by, for example, calculating the direction angle ⁇ from the calculated gradient ( ⁇ x, ⁇ y) and obtaining the direction angle ⁇ .
  • the detection unit 102 detects the speed of movement of the detected object, for example, by performing the calculation shown in the following Equation 2 from the calculated gradient ( ⁇ x, ⁇ y).
  • the detection unit 102 can calculate the amount of movement of the detected object based on the magnitude of the speed of movement of the detected object obtained in Equation 2 above and the time that the detected object has moved.
  • the detection unit 102 includes a process related to detection of motion of the detected object according to the first example shown in (A-1). It is also possible to perform both of the processes related to the detection of the motion of the detected object according to the second example shown in (A-2).
  • (B) Process for Predicting Motion of Detected Object The detection unit 102 predicts the motion of the detected object based on a plurality of bird's-eye views.
  • the process (A) it is possible to specify the direction of movement of the detected object and the speed of movement of the detected object based on a plurality of bird's-eye views. Also, if the direction of movement of the detected object and the speed of movement of the detected object are specified, how the detected object moves (how much, in what direction, how much, and how much it moves) It is possible to predict.
  • the detection unit 102 specifies the direction of movement of the detected object and the speed of movement of the detected object based on a plurality of bird's-eye views, and estimates the position of the detected object in the future, Predict the movement of the detected object.
  • FIG. 9 is an explanatory diagram for explaining an example of processing related to the information processing method according to the present embodiment.
  • a shown in FIG. 9 shows an example of the space of the detection range of the sensor at a certain time.
  • B shown in FIG. 9 shows an example in which the locus of movement of the detected object is represented by shading as in B of FIG.
  • S shown in B of FIG. 9 shows an example of the detected object determined to have no movement, similar to B of FIG. 6, and “M” shown in B of FIG.
  • B an example of a detected object determined to have movement is shown.
  • “D” shown in B of FIG. 9 indicates the direction of movement of the detected object.
  • FIG. 9C shows an example of the prediction result of the motion of the detected object.
  • “P” shown in C of FIG. 9 indicates the prediction result of the detection target indicated by “M” in B of FIG.
  • the detection unit 102 detects the direction of movement of the detection target (“D” shown in B of FIG. 9) and the speed of movement of the detection target. By specifying each of these, motion is predicted.
  • Processing unit 104 plays a role of leading the execution processing, and performs processing based on the detection result of the detection processing in the detection unit 102.
  • the processing unit 104 can specify the stationary region and the moving region where the detection target exists by obtaining the detection result of the detection processing from the detection unit 102. Further, the processing unit 104 obtains the detection result of the detection process from the detection unit 102, and thus can predict the movement of the detected object when the detected object is moving. Therefore, taking the case where the processing target is the robot shown in FIG. 1 as an example, the processing unit 104 should take, for example, what path the robot should take in order to move around the detected object. Can be planned.
  • the process based on the detection result of the detection process is not limited to the process of planning the action to be processed.
  • the processing unit 104 may further perform a control process that causes a planned action to be performed on a processing target. Taking the case where the processing target is the robot shown in FIG. 1 as an example, the processing unit 104 transmits the information indicating the movement route and the movement command to the robot, for example. Let a robot do it.
  • the processing unit 104 can perform one or more arbitrary processes using the detection result of the detection process, such as a notification control process for notifying the detection result of the detection process in the detection unit 102, for example. .
  • a notification control process for notifying the detection result of the detection process in the detection unit 102, for example.
  • the processing unit 104 visually notifies the detection result of the detection process, for example, by displaying the detection result of the detection process on the display screen of the display device.
  • the processing unit 104 can also audibly notify the detection result of the detection process by, for example, outputting sound (including music) from a sound output device such as a speaker. It is.
  • the information processing apparatus 100 performs processing (for example, the detection processing and the execution processing) according to the information processing method according to the present embodiment with the configuration illustrated in FIG. 1, for example.
  • the information processing apparatus according to the present embodiment may not include the processing unit 104 illustrated in FIG.
  • the information processing apparatus according to the present embodiment may be connected to the external apparatus via the communication unit (not shown) or an external communication device, for example. Data indicating the detection result of the detection process is transmitted.
  • the information processing apparatus according to the present embodiment may transmit, for example, a processing command for performing execution processing to the external apparatus.
  • the information processing apparatus can perform the detection process.
  • the information processing apparatus according to the present embodiment can achieve the effects that are achieved by performing the processing according to the information processing method according to the present embodiment. .
  • each of the “detection process” and the “detection process and the execution process” is obtained by dividing the process related to the information processing method according to the present embodiment for convenience. Therefore, the configuration for realizing the processing according to the information processing method according to the present embodiment is not limited to the detection unit 102 and the processing unit 104 illustrated in FIG. 1, and the processing according to the information processing method according to the present embodiment is separated. It is possible to take a configuration according to the direction.
  • FIG. 10 is a flowchart showing an example of processing related to the information processing method according to the present embodiment, and shows an example of processing in the information processing apparatus 100 shown in FIG.
  • steps S100 to S110 shown in FIG. 10 correspond to the detection process.
  • the processing of steps S100 to S110 is performed by the detection unit 102, for example.
  • the information processing apparatus 100 acquires depth information and posture information (S100).
  • the information processing apparatus 100 passively acquires depth information and posture information, for example, by acquiring depth information transmitted from a sensor. Further, the information processing apparatus 100 can actively acquire depth information and posture information, for example, by acquiring a depth information by transmitting a command for transmitting depth information to a sensor.
  • the information processing apparatus 100 generates a bird's-eye view by projecting the detected object on the ground plane based on the depth information and the posture information (S102). For example, the information processing apparatus 100 considers the elevation angle of the sensor specified based on the posture information, and projects the detected object on the ground plane so as to correspond to the distance to the detected object indicated by the depth information. To generate a bird's eye view.
  • the information processing apparatus 100 corrects the bird's eye view based on the posture information and corrects the movement of the field of view of the stereo camera (S104).
  • the information processing apparatus 100 corrects the movement of the field of view of the stereo camera, for example, by performing processing according to the first example of the bird's eye view correction shown in (a) above.
  • the information processing apparatus 100 can further perform, for example, the processing according to the second example of the bird's eye view correction illustrated in (b) above.
  • the information processing apparatus 100 determines whether the detected object is stationary (S106).
  • the information processing apparatus 100 performs, for example, the process of detecting the motion of the detected object according to the first example shown in (A-1) based on the time-series bird's-eye view, thereby statically detecting the detected object. Perform dynamic judgment.
  • the information processing apparatus 100 determines whether the detected object is a moving object as a result of the determination in step S106 (S108).
  • the process after step S108 is performed for each non-detected body included in the bird's-eye view.
  • step S108 If it is not determined that the object is a moving object in step S108, the information processing apparatus 100 does not perform the process of step S110 described later on a non-detected object that is not determined to be a moving object.
  • the information processing apparatus 100 performs one or both of motion component analysis and motion prediction on the non-detected body determined to be a moving body ( S110).
  • the information processing apparatus 100 analyzes the motion component of the non-detected body, for example, by performing processing related to the detection of the motion of the detected body according to the second example shown in (A-2) above. Further, the information processing apparatus 100 predicts the motion of the non-detected body, for example, by performing the process related to the motion prediction of the detected body shown in (B) above.
  • the information processing apparatus 100 performs, for example, the processing illustrated in FIG. 10 as processing related to the information processing method according to the present embodiment.
  • the information processing apparatus 100 may further perform the execution process.
  • the execution process is performed in an external device
  • the information processing apparatus 100 stores data indicating the detection result of the detection process illustrated in FIG. 10 (for example, the result of the process in step S106 and the result of the process in step S110).
  • transmission control processing for transmitting data indicating one or both of the data to the external device.
  • the information processing apparatus 100 can exhibit the following effects (i) to (v), for example. Needless to say, the effects achieved by using the information processing method according to the present embodiment are not limited to the effects shown in the following (i) to (v).
  • the information processing apparatus 100 generates a bird's-eye view based on a plurality of captured images (so-called stereo images, an example of depth information) captured by a stereo camera, for example, and is detected by the bird's-eye view I can catch the body. Therefore, the information processing apparatus 100 can grasp the movement of the detection target in the horizontal direction and the depth direction by referring to the time-series bird's-eye view.
  • the information processing method according to the present embodiment it is possible to detect a non-detected object even when the non-detected object is stationary, unlike the case of using an optical flow.
  • the information processing apparatus 100 does not need to reflect a bird's-eye view such as a detected object detected at a low position such as a floor or a ground portion or a detected object detected at a high position such as a ceiling. It is possible to exclude these detected objects from the detection target without reflecting the detected objects in the bird's-eye view.
  • the information processing apparatus 100 generates a bird's-eye view based on posture information and corrects the bird's-eye view based on posture information. Therefore, the information processing apparatus 100 can detect the position of the detection body more accurately by referring to the bird's eye view. Further, the information processing apparatus 100 can discriminate between a stationary non-detecting body and a moving non-detecting body by referring to a time-series bird's-eye view. Furthermore, the information processing apparatus 100 can detect one or more of the direction of movement, the speed of movement, and the amount of movement of the moving non-detecting body.
  • the processing target is the robot shown in FIG. 1
  • the boundary of a non-detected body that can be an obstacle is grasped as an area by using the information processing method according to the present embodiment. Therefore, the result of the detection process according to the information processing method according to the present embodiment can be effectively used for, for example, planning a robot action plan such as moving while avoiding an obstacle.
  • the information processing apparatus 100 detects the position of a non-detected object that can be an obstacle even while the viewing direction of the stereo camera is dynamically changed. Can do. Further, when the non-detecting body is moving, the information processing apparatus 100 can detect one or more of the direction of movement, the speed of movement, and the amount of movement of the non-detecting body. . Furthermore, the information processing apparatus 100 can also predict the position and movement of a moving non-detected body based on, for example, the detected direction of movement of the detected object, the speed of movement, and the history of movement.
  • the information processing apparatus has been described as the present embodiment, but the present embodiment is not limited to such an embodiment.
  • This embodiment is, for example, a robot that operates autonomously or by an external operation, a moving body such as an automobile or a motorcycle, an eyewear-type wearable device, a wearable device that is used by being worn on the user's head, and the like.
  • Various processes capable of performing the processing related to the information processing method according to the present embodiment such as a wearable device, a computer such as a PC (Personal Computer) and a server, a tablet device, and a communication device such as a mobile phone and a smartphone. It can be applied to equipment.
  • the present embodiment can be applied to a processing IC that can be incorporated in the above-described device, for example.
  • the information processing apparatus may be applied to a system including a plurality of apparatuses based on a connection to a network (or communication between apparatuses) such as cloud computing.
  • the information processing apparatus according to the present embodiment described above can be realized as an information processing system that performs processing according to the information processing method according to the present embodiment using a plurality of apparatuses, for example.
  • an information processing system that performs processing related to the information processing method according to the present embodiment using a plurality of devices for example, “the above detection processing” or “the above detection processing and the above execution processing” is the information processing. Examples include a system that is performed in cooperation with a plurality of devices that constitute the system.
  • a program for causing a computer to function as the information processing apparatus according to the present embodiment (for example, “the detection process”, “the detection process, and the execution process”, etc.)
  • the position of the detected object is detected based on the detection result of the sensor capable of detecting the distance to the object by being executed by a processor or the like in the computer. Can do.
  • an effect produced by the processing related to the information processing method according to the above-described embodiment by executing a program for causing the computer to function as the information processing apparatus according to the present embodiment by a processor or the like in the computer. Can be played.
  • a program for causing a computer to function as the information processing apparatus according to the present embodiment is provided.
  • the present embodiment further includes a recording in which the program is stored.
  • a medium can also be provided.
  • the detected object is placed on the ground plane based on depth information obtained from a sensor capable of detecting the distance to the object and indicating the distance to the detected object and posture information regarding the attitude of the sensor.
  • An information processing apparatus comprising: a detection unit that generates a bird's eye view that is a projected image and detects a position of the detected object.
  • the detection unit further detects a movement of the detected object based on a plurality of the bird's-eye views.
  • the information processing apparatus detects whether or not the detected object is moving by comparing the bird's eye view in time series for each pixel. (5) The detection unit detects one or more of the direction of movement of the detected object, the speed of movement of the detected object, and the amount of movement of the detected object based on the plurality of bird's eye views. (2) The information processing apparatus according to any one of (4). (6) The information processing apparatus according to any one of (2) to (5), wherein the detection unit predicts a motion of the detected object based on a plurality of the bird's-eye views. (7) The information processing apparatus according to any one of (1) to (6), wherein the detection unit restricts the detection target to be reflected in the bird's eye view.
  • the information processing apparatus corrects the bird's eye view based on a horizontal angle specified based on the posture information.
  • the depth information is a plurality of captured images captured by a stereo camera as the sensor, The detection unit generates the bird's-eye view by projecting the detected object on a ground plane based on the distance for each pixel obtained from the plurality of captured images, and any one of (1) to (9) Information processing apparatus described in one.
  • the information processing apparatus (11) The information processing apparatus according to (10), wherein the posture information indicates a movement of a pan / tilt mechanism capable of changing a direction of the stereo camera. (12) The information processing apparatus according to any one of (1) to (11), further including a processing unit that performs processing based on a detection result of the detection unit. (13) The detected object is placed on the ground plane based on depth information obtained from a sensor capable of detecting the distance to the object and indicating the distance to the detected object and posture information regarding the attitude of the sensor. An information processing method executed by an information processing apparatus, comprising: generating a bird's eye view that is a projected image and detecting a position of the detected object.
  • the detected object is placed on the ground plane based on depth information obtained from a sensor capable of detecting the distance to the object and indicating the distance to the detected object and posture information regarding the attitude of the sensor.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

物体との距離を検出することが可能なセンサから取得された、被検出体との距離を示す奥行情報と、センサの姿勢に関する姿勢情報とに基づいて、被検出体が地平面上に投影された画像である鳥瞰図を生成して、被検出体の位置を検出する検出部を備える、情報処理装置が提供される。

Description

情報処理装置、情報処理方法、およびプログラム
　本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
　撮像デバイスにより撮像された撮像画像に基づいて、障害物を検出する技術が開発されている。撮像範囲が重複する２つの撮像デバイスにより撮像された２つの撮像画像それぞれを、鳥瞰図に変換し、２つの鳥瞰図の差分をとることにより障害物を検出する技術としては、例えば下記の特許文献１に記載の技術が挙げられる。
特開２００８－８５７１０号公報
　例えば特許文献１に記載の技術では、撮像範囲が重複する２つの撮像デバイスにより撮像された２つの撮像画像に基づく鳥瞰図を比較することによって、障害物となる物体を検出する。ここで、例えば特許文献１に記載の技術では、２つの撮像デバイスは固定して設置され、２つの撮像デバイスの地面からの高さ、取り付け角度、および相対位置関係は、予め設定された状態で物体が検出される。そのため、例えば特許文献１に記載の技術では、各撮像デバイスの撮像視野が動的に変化することは考慮されていない。
　よって、例えば特許文献１に記載の技術が用いられる場合には、固定された撮像デバイスの撮像視野に対応する特定の方向に存在する物体しか検出することができない。
　本開示では、物体との距離を検出することが可能なセンサの検出結果に基づいて、被検出体の位置を検出することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
　本開示によれば、物体との距離を検出することが可能なセンサから取得された、被検出体との距離を示す奥行情報と、上記センサの姿勢に関する姿勢情報とに基づいて、上記被検出体が地平面上に投影された画像である鳥瞰図を生成して、上記被検出体の位置を検出する検出部を備える、情報処理装置が提供される。
　また、本開示によれば、物体との距離を検出することが可能なセンサから取得された、被検出体との距離を示す奥行情報と、上記センサの姿勢に関する姿勢情報とに基づいて、上記被検出体が地平面上に投影された画像である鳥瞰図を生成して、上記被検出体の位置を検出するステップを有する、情報処理装置により実行される情報処理方法が提供される。
　また、本開示によれば、物体との距離を検出することが可能なセンサから取得された、被検出体との距離を示す奥行情報と、上記センサの姿勢に関する姿勢情報とに基づいて、上記被検出体が地平面上に投影された画像である鳥瞰図を生成して、上記被検出体の位置を検出する機能を、コンピュータに実現させるためのプログラムが提供される。
　本開示によれば、物体との距離を検出することが可能なセンサの検出結果に基づいて、被検出体の位置を検出することができる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。
本実施形態に係る情報処理方法の概要を説明するための説明図である。 本実施形態に係る情報処理装置の構成の一例を示すブロック図である。 本実施形態に係る情報処理装置のハードウェア構成の一例を示す説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を示す流れ図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、以下では、下記に示す順序で説明を行う。
　　１．本実施形態に係る情報処理方法
　　２．本実施形態に係る情報処理装置
　　３．本実施形態に係るプログラム
（本実施形態に係る情報処理方法）
　まず、本実施形態に係る情報処理方法について説明する。以下では、本実施形態に係る情報処理方法に係る処理を、本実施形態に係る情報処理装置が行う場合を例に挙げる。
［１］既存の方法について
　撮像デバイスにより撮像された撮像画像に基づいて物体を検出する方法が存在する。
　撮像画像に基づいて物体を検出する方法としては、例えば、オプティカルフローを用いる方法が挙げられる。
　ここで、オプティカルフローが用いられる場合、撮像画像から特徴点が検出され、検出された特徴点の移動量から、被写体である物体の動きが検出される。しかしながら、オプティカルフローが用いられる場合には、静止している物体を検出することは、困難である。また、オプティカルフローが用いられる場合には、特徴点が物体の輪郭に現れるとは限らないため、物体と物体以外との間の境界を正確に補足することができない恐れがある。また、オプティカルフローが用いられる場合には、物体の撮像デバイスからみた奥行方向の動きを、特徴点の移動量から補足することは困難である。
　よって、オプティカルフローを用いたとしても、撮像画像から物体を検出することができるとは限らない。
　また、撮像画像に基づいて物体を検出する他の方法としては、例えば、ステレオカメラなどにより撮像された複数の撮像画像（いわゆるステレオ画像）から得られる３次元点群（以下、「ポイントクラウド」と示す場合がある。）を利用して、被写体である物体を検出する方法が、挙げられる。
　ここで、ポイントクラウドが用いられる場合には、被写体である物体を３次元的に捉えるので、計算コストが大きくなる。また、被写体である物体の動きを検出するためには、多大な計算コストを要する場合が多い。
　また、例えば特許文献１に記載の技術が用いられる場合には、撮像範囲が重複する２つの撮像デバイスにより撮像された２つの撮像画像に基づく鳥瞰図を比較することによって、物体が検出される。
　しかしながら、上述したように、特許文献１に記載の技術が用いられる場合には、固定された撮像デバイスの撮像視野に対応する特定の方向に存在する物体しか検出することができない。
［２］本実施形態に係る情報処理方法の概要
　図１は、本実施形態に係る情報処理方法の概要を説明するための説明図であり、自律的にまたは外部からの操作によって動作するロボットの一例を示している。
　図１に示すロボットは、ステレオカメラを、物体との距離を検出することが可能なセンサＳＤとして備えている。また、図１に示すロボットは、パン・チルト機構ＰＴＭを備え、パン・チルト機構ＰＴＭがパン方向とチルト方向との一方または双方に駆動することによって、センサＳＤの検出範囲、すなわち、ステレオカメラの撮像視野は、動的に変わる。以下では、ステレオカメラの撮像視野を、「ステレオカメラの視野」と示す場合がある。
　図１に示すロボットが移動する場合など、ロボットが行動を起こす場合を想定する。上記の場合には、例えばロボットの円滑な行動を実現するために、ロボットからみて障害物となりうる物体がどの位置に存在しているかを、センサＳＤの検出結果を利用して検出することが、考えられる。
　また、パン・チルト機構ＰＴＭを駆動させること（例えば図１のロボットの首を動かすこと）によって、センサＳＤの検出範囲を広げることが可能となる。よって、上記の場合には、例えば、センサＳＤの検出範囲を動的に変えつつ、ロボットからみて障害物となりうる物体がどの位置に存在しているかを、センサＳＤの検出結果を利用して検出することが、考えられる。
　なお、検出範囲が動的に変わりうるセンサの検出結果を利用して物体を検出することが可能であると考えられるケースは、図１に示すようなロボットに限られない。検出範囲が動的に変わりうるセンサの検出結果を利用して物体を検出することが可能であると考えられるケースとしては、例えば下記のような様々なケースが挙げられる。
　　・複数のセンサが搭載されている移動体（例えば、自動車や自動二輪車など）
　　・複数台の撮像デバイス（いわゆる防犯カメラ。センサに該当する。）を有する防犯システム
　　・複数のセンサが搭載されている眼鏡型のウェアラブル装置のような、アイウェア型のウェアラブル装置
　　・複数のセンサが搭載されているＨＭＤ（Head　Mounted　Display）などの、ユーザの頭部に装着して用いられるウェアラブル装置
　本実施形態に係る情報処理方法は、上記のような、検出範囲が動的に変わりうるセンサの検出結果を利用して物体を検出することが可能であると考えられるケースに対応する対象を、処理の対象とすることが可能である。以下では、本実施形態に係る情報処理方法に係る処理の対象（以下、「処理対象」と示す。）として、図１に示すような、センサの検出範囲を動的に変えることが可能なロボットを、例に挙げる。
　ここで、本実施形態に係る処理対象は、本実施形態に係る情報処理装置であってもよいし、本実施形態に係る情報処理装置の外部装置であってもよい。処理対象が外部装置である場合、本実施形態に係る情報処理装置は、当該外部装置とのネットワークを介した（または直接的な）通信により取得された情報に基づいて、本実施形態に係る情報処理方法に係る処理を行う。
　上述したように、オプティカルフローを用いたとしても、撮像画像から物体を検出することができるとは限られず、また、ポイントクラウドを用いたとしても、物体の検出に要する計算コストが大きくなる。
　また、上述したように、特許文献１に記載の技術では、固定された撮像デバイスの撮像視野に対応する特定の方向に存在する物体しか検出することができない。よって、特許文献１に記載の技術を用いたとしても、センサの検出範囲を動的に変えつつ物体がどの位置に存在しているかを検出することは、できない。
　そこで、本実施形態に係る情報処理装置は、物体との距離を検出することが可能なセンサの検出結果である奥行情報と、当該センサの姿勢に関する姿勢情報とに基づいて、被検出体の地平面上の位置を検出する（検出処理）。
　本実施形態に係るセンサとしては、例えば、図１の例に示したようなステレオカメラや、ＩＲ（infrared）カメラ、レーザーレンジファインダなど、物体との距離を検出することが可能な任意の方法に対応するデバイスが挙げられる。以下では、物体との距離を検出することが可能な、本実施形態に係るセンサを、単に「センサ」と示す場合がある。
　また、本実施形態に係る奥行情報としては、例えば、ステレオカメラ（センサの一例）により撮像された複数の撮像画像や、ＴＯＦ（Time　Of　Flight）方式に係る時間（照射した光が物体に反射して、帰ってくるまでの時間）を示すデータなど、被検出体との距離を示すデータが挙げられる。なお、本実施形態に係る奥行情報は、上記に示す例に限られず、本実施形態に係る奥行情報は、本実施形態に係るセンサの種類や、距離の検出方式に対応するデータであってもよい。
　また、本実施形態に係る姿勢情報とは、本実施形態に係るセンサの姿勢を示すデータである。本実施形態に係る姿勢情報としては、例えば、加速度センサ、角速度センサ、および地磁気センサなどの、姿勢の検出に用いることが可能な１または２以上のセンサ（または、姿勢の推定に用いることが可能な１または２以上のセンサ。以下、本実施形態に係るセンサと区別するために「姿勢センサ」と示す。）の検出結果を示すデータが挙げられる。上記姿勢センサは、例えば、本実施形態に係るセンサの動きと連動して動くように設けられる。
　なお、本実施形態に係る姿勢情報は、上記に示す例に限られない。
　本実施形態に係る姿勢情報は、例えば、“パン・チルト機構などの、センサの検出範囲を変えることが可能な機構の動きを示すデータ（例えば、パン方向の動きと、チルト方向の動きとの一方または双方を特定することが可能なデータ）”や、“本実施形態に係るセンサとして機能するレーザーレンジファインダの検出結果を示すデータ”など、本実施形態に係るセンサの姿勢を検出することが可能な、任意のデータが挙げられる。
　より具体的には、本実施形態に係る情報処理装置は、奥行情報と姿勢情報とに基づいて鳥瞰図を生成して、被検出体の位置を検出する。
　ここで、本実施形態に係る鳥瞰図とは、奥行情報が示すセンサにより検出された被検出体が地平面上に投影された画像である。
　本実施形態に係る情報処理装置は、例えば、奥行情報が示す被検出体との距離に対応するように、被検出体を地平面上に投影することによって、空間を上から見下ろした２次元の図に該当する鳥瞰図を生成する。
　また、本実施形態に係る情報処理装置は、鳥瞰図を生成する際に、姿勢情報に基づき特定されるセンサの仰俯角を考慮して、鳥瞰図を生成する。本実施形態に係る情報処理装置は、例えば、特定されたセンサの仰俯角に基づいて、奥行情報が示す被検出体との距離を補正し、補正した被検出体との距離に対応するように、被検出体を地平面上に投影することによって、鳥瞰図を生成する。
　上記のように鳥瞰図が生成されることによって、被検出体の地平面上の位置を、２次元の座標系で表すことが可能となる。ここで、鳥瞰図に係る２次元の座標系としては、例えば、“センサの位置を原点とし、センサによるセンシングの中心方向を奥行方向の軸とし、当該奥行方向の軸に直交する軸を水平方向の軸とする座標系”が挙げられる。なお、本実施形態に係る鳥瞰図に係る２次元の座標系が、上記に示す例に限られないことは、言うまでもない。
　さらに、本実施形態に係る情報処理装置は、姿勢情報に基づき特定されるセンサの水平角に基づいて、鳥瞰図を補正する。本実施形態に係る情報処理装置は、生成された鳥瞰図に対して、特定されたセンサの水平角分の回転を加える補正を行う。
　上記のように鳥瞰図が補正されることによって、センサの検出範囲が動的に変わったとしても、異なる時点において生成された鳥瞰図において、静止している被検出体の位置は、同一の座標系における同一の座標で表すことが可能となる。また、上記のように鳥瞰図が補正されることによって、センサの検出範囲が動的に変わったとしても、異なる時点において生成された鳥瞰図において、動いている被検出体の位置は、同一の座標系の座標で表すことが可能となる。つまり、上記のように鳥瞰図が補正されることによって、センサの検出範囲の移動が補正される。
　よって、本実施形態に係る情報処理装置は、鳥瞰図を生成することによって、センサからみた被検出体の地平面上の位置を特定することができる。
　本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば上記のような検出処理を行う。
　ここで、本実施形態に係る情報処理装置は、センサにより検出された被検出体との距離を鳥瞰図で表すことによって、被検出体の位置を２次元的に捉える。鳥瞰図は、奥行情報および姿勢情報に基づき被検出体を地平面上に投影することによって、生成される。よって、本実施形態に係る情報処理装置は、被検出体が静止している物体であっても、被検出体が動いている物体であっても、生成した鳥瞰図から被検出体の位置を検出することが可能である。また、本実施形態に係る情報処理方法に係る検出処理では、被検出体の位置が２次元的に捉えられるので、物体が３次元的に捉えられるポイントクラウドが用いられる場合よりも、計算コストは小さい。
　また、本実施形態に係る情報処理装置は、姿勢情報に基づき特定されるセンサの仰俯角を考慮して、鳥瞰図を生成する。さらに、本実施形態に係る情報処理装置は、姿勢情報に基づき特定されるセンサの水平角に基づいて、鳥瞰図を補正することが可能である。よって、本実施形態に係る情報処理装置は、センサの検出範囲が動的に変わったとしても、生成した鳥瞰図から被検出体の位置を検出することができる。
　したがって、本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、上記のような検出処理を行うことによって、物体との距離を検出することが可能なセンサの検出結果に基づいて、被検出体の位置を検出することができる。
　また、本実施形態に係る情報処理装置は、鳥瞰図に基づき被検出体の位置を検出することが可能であるので、異なる時点に対応する複数の鳥瞰図を用いることによって、被検出体の動きをさらに検出することも可能である。
［３］本実施形態に係る情報処理方法に係る処理の他の例
　なお、本実施形態に係る情報処理方法に係る処理は、上記検出処理に限られない。
　例えば、本実施形態に係る情報処理装置は、検出処理における検出結果に基づく処理を、さらに行ってもよい（実行処理）。本実施形態に係る実行処理の一例については、後述する。
　なお、“上記検出処理”と、“上記検出処理、および上記実行処理”とのそれぞれは、便宜上、本実施形態に係る情報処理方法に係る処理を切り分けたものである。よって、本実施形態に係る情報処理方法に係る処理は、例えば、“上記検出処理、および上記実行処理”を、１つの処理と捉えることが可能である。また、本実施形態に係る情報処理方法に係る処理は、例えば、“上記検出処理”と、“上記検出処理、および上記実行処理”とのそれぞれを、（任意の切り分け方によって）２以上の処理と捉えることも可能である。
（本実施形態に係る情報処理装置）
　次に、上述した本実施形態に係る情報処理方法に係る処理を行うことが可能な本実施形態に係る情報処理装置の構成の一例を説明しつつ、本実施形態に係る情報処理方法に係る処理について、より具体的に説明する。
　また、以下では、本実施形態に係る処理対象として、図１に示すようなセンサの検出範囲を動的に変えることが可能なロボットを、例に挙げる。なお、上述したように、本実施形態に係る処理対象は、ロボットに限られない。
　図２は、本実施形態に係る情報処理装置１００の構成の一例を示すブロック図である。情報処理装置１００は、例えば、検出部１０２と、処理部１０４とを備える。
　また、情報処理装置１００は、例えば、制御部（図示せず）や、ＲＯＭ（Read　Only　Memory。図示せず）、ＲＡＭ（Random　Access　Memory。図示せず）、記憶部（図示せず）、通信部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）などを備えていてもよい。情報処理装置１００は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。
　制御部（図示せず）は、ＭＰＵ（Micro　Processing　Unit）などの演算回路で構成される、１または２以上のプロセッサや、各種処理回路などで構成され、情報処理装置１００全体を制御する。また、制御部（図示せず）は、情報処理装置１００において、例えば、検出部１０２、および処理部１０４のうちの一方または双方の役目を果たしてもよい。
　なお、検出部１０２、および処理部１０４のうちの一方または双方は、検出部１０２、および処理部１０４それぞれの処理を実現可能な専用の（または汎用の）回路（例えば、制御部（図示せず）とは別体のプロセッサなど）で構成されていてもよい。
　ＲＯＭ（図示せず）は、制御部（図示せず）が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部（図示せず）により実行されるプログラムなどを一時的に記憶する。
　記憶部（図示せず）は、情報処理装置１００が備える記憶手段であり、例えば、生成された鳥瞰図のデータなどの、本実施形態に係る情報処理方法に係るデータや、各種アプリケーションなど様々なデータを記憶する。記憶部（図示せず）に記憶されている鳥瞰図のデータは、例えば、被検出体の位置の履歴を示すデータに該当する。
　ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard　Disk）などの磁気記録媒体や、フラッシュメモリ（flash　memory）などの不揮発性メモリ（nonvolatile　memory）などが挙げられる。また、記憶部（図示せず）は、情報処理装置１００から着脱可能であってもよい。
　通信部（図示せず）としては、例えば後述する通信インタフェースが挙げられる。また、操作部（図示せず）としては、例えば後述する操作入力デバイスが挙げられる。また、表示部（図示せず）としては、後述する表示デバイスが挙げられる。
［情報処理装置１００のハードウェア構成例］
　図３は、本実施形態に係る情報処理装置１００のハードウェア構成の一例を示す説明図である。図２は、情報処理装置１００が処理対象である場合における、ハードウェア構成の一例を示している。
　情報処理装置１００は、例えば、ＭＰＵ１５０と、ＲＯＭ１５２と、ＲＡＭ１５４と、記録媒体１５６と、入出力インタフェース１５８と、操作入力デバイス１６０と、表示デバイス１６２と、通信インタフェース１６４と、パン・チルト機構１６６と、距離センサ１６８と、姿勢センサ１７０とを備える。また、情報処理装置１００は、例えば、データの伝送路としてのバス１７２で各構成要素間を接続する。
　ＭＰＵ１５０は、例えば、ＭＰＵなどの演算回路で構成される、１または２以上のプロセッサや、各種処理回路などで構成され、情報処理装置１００全体を制御する制御部（図示せず）として機能する。また、ＭＰＵ１５０は、情報処理装置１００において、例えば、検出部１０２、および処理部１０４の役目を果たす。
　なお、検出部１０２、および処理部１０４のうちの一方または双方は、検出部１０２、および処理部１０４それぞれの処理を実現可能な専用の（または汎用の）回路（例えば、ＭＰＵ１５０とは別体のプロセッサなど）で構成されていてもよい。
　ＲＯＭ１５２は、ＭＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。ＲＡＭ１５４は、例えば、ＭＰＵ１５０により実行されるプログラムなどを一時的に記憶する。
　記録媒体１５６は、記憶部（図示せず）として機能し、例えば、生成された鳥瞰図のデータなどの本実施形態に係る情報処理方法に係るデータや、各種アプリケーションなどの様々なデータを記憶する。ここで、記録媒体１５６としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体１５６は、情報処理装置１００から着脱可能であってもよい。
　入出力インタフェース１５８は、例えば、操作入力デバイス１６０や、表示デバイス１６２を接続する。操作入力デバイス１６０は、操作部（図示せず）として機能し、また、表示デバイス１６２は、表示部（図示せず）として機能する。ここで、入出力インタフェース１５８としては、例えば、ＵＳＢ（Universal　Serial　Bus）端子や、ＤＶＩ（Digital　Visual　Interface）端子、ＨＤＭＩ（High-Definition　Multimedia　Interface）（登録商標）端子、各種処理回路などが挙げられる。
　操作入力デバイス１６０は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。操作入力デバイス１６０としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクタ、あるいは、これらの組み合わせなどが挙げられる。
　表示デバイス１６２は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。表示デバイス１６２としては、例えば、液晶ディスプレイ（Liquid　Crystal　Display）や有機ＥＬディスプレイ（Organic　Electro-Luminescence　Display。または、ＯＬＥＤディスプレイ（Organic　Light　Emitting　Diode　Display）ともよばれる。）などが挙げられる。
　なお、入出力インタフェース１５８が、情報処理装置１００の外部の操作入力デバイス（例えば、キーボードやマウスなど）や外部の表示デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス１６２は、例えばタッチパネルなど、表示とユーザ操作とが可能なデバイスであってもよい。
　通信インタフェース１６４は、情報処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、処理対象の装置やサーバなどの外部装置と、無線または有線で通信を行うための通信部（図示せず）として機能する。本実施形態に係るネットワークとしては、例えば、ＬＡＮ（Local　Area　Network）やＷＡＮ（Wide　Area　Network）などの有線ネットワーク、無線ＬＡＮ（ＷＬＡＮ：Wireless　Local　Area　Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission　Control　Protocol/Internet　Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。
　ここで、通信インタフェース１６４としては、例えば、通信アンテナおよびＲＦ（Radio　Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ポートおよび送受信回路（無線通信）、あるいはＬＡＮ端子および送受信回路（有線通信）などが挙げられる。
　パン・チルト機構１６６は、パン方向とチルト方向との一方または双方に駆動するデバイスであり、パン・チルト機構１６６上には距離センサ１６８が設置される。パン・チルト機構１６６は、パン方向とチルト方向との一方または双方に駆動することによって、距離センサ１６８の検出範囲（本実施形態に係るセンサの検出範囲の一例）を動的に変える役目を果たす。パン・チルト機構１６６としては、例えば、ロボットの首機構や、雲台などが挙げられる。
　距離センサ１６８は、情報処理装置１００と情報処理装置１００の周辺空間に存在する物体との距離を得るためのセンサである。情報処理装置１００は、距離センサ１６８によるセンシング結果を示すデータを奥行情報として用いて、検出処理を行う。
　距離センサ１６８としては、例えば、ステレオカメラを構成する複数の撮像デバイスが挙げられる。撮像デバイスは、例えば、レンズ／撮像素子と信号処理回路とを含んで構成される。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）などの撮像素子を複数用いたイメージセンサとで構成される。信号処理回路は、例えば、ＡＧＣ（Automatic　Gain　Control）回路やＡＤＣ（Analog　to　Digital　Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換する。また、信号処理回路は、例えばＲＡＷ現像に係る各種処理を行う。さらに、信号処理回路は、例えば、Ｗｈｉｔｅ　Ｂａｌａｎｃｅ補正処理や、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理など各種信号処理を行ってもよい。
　なお、距離センサ１６８は、上記に示す例に限られない。例えば、距離センサ１６８は、赤外線発光ダイオードなどの光源と、ＣＭＯＳイメージセンサなどのイメージセンサとを含む、ＴＯＦ方式に係る構成や、赤外線カメラを含む構成、レーザーレンジファインダを含む構成など、物体との距離を得ることが可能な、任意の方式に係る構成であってもよい。
　姿勢センサ１７０は、距離センサ１６８の姿勢を検出するためのセンサである。姿勢センサ１７０は、例えば、距離センサ１６８の動きと連動して動くように設けられる。また、姿勢センサ１７０は、例えば、距離センサ１６８が設置されるパン・チルト機構１６６の動きを検出するように設けられていてもよい。情報処理装置１００は、例えば、姿勢センサ１７０によるセンシング結果に基づき推定される距離センサ１６８の姿勢を示すデータを、姿勢情報として用いて、検出処理を行う。
　姿勢センサ１７０としては、例えば、加速度センサ、角速度センサ、および地磁気センサなどの、姿勢の検出に用いることが可能な１または２以上のセンサ（または、姿勢の推定に用いることが可能な１または２以上のセンサ）が挙げられる。
　情報処理装置１００は、例えば図３に示す構成によって、本実施形態に係る情報処理方法に係る処理を行う。なお、本実施形態に係る情報処理装置１００のハードウェア構成は、図３に示す構成に限られない。
　例えば、情報処理装置１００が、情報処理装置１００に接続されている外部の距離センサや、外部の姿勢センサのセンシング結果を用いて処理を行う場合には、情報処理装置１００は、情報処理装置１００に接続されているセンサに対応するセンサを備えていなくてもよい。
　また、例えば、処理対象が情報処理装置１００の外部装置である場合には、情報処理装置１００は、距離センサ１６８、および姿勢センサ１７０のうちの一方または双方を備えていなくてもよい。
　また、例えば、情報処理装置１００は、パン・チルト機構１６６を、距離センサ１６８の検出範囲を動的に変えることが可能な任意のデバイスに置き換えた構成をとることが可能である。
　また、情報処理装置１００は、例えば、記録媒体１５６や、操作入力デバイス１６０、表示デバイス１６２、通信インタフェース１６４を備えない構成をとることが可能である。
　また、例えば、図３に示す構成（または変形例に係る構成）は、１または２以上のＩＣ（Integrated　Circuit）で実現されてもよい。
　再度図２を参照して、情報処理装置１００の構成の一例について説明する。以下では、奥行情報が、ステレオカメラ（本実施形態に係るセンサの一例）により撮像された複数の撮像画像である場合を例に挙げる。また、以下では、姿勢情報が、ステレオカメラの向きを変えることが可能なパン・チルト機構の動きを示す場合を例に挙げる。なお、上述したように、本実施形態に係る奥行情報、および本実施形態に係る姿勢情報は、上記に示す例に限られない。
［Ｉ］検出部１０２
　検出部１０２は、上記検出処理を主導的に行う役目を果たす。検出部１０２は、例えば、奥行情報と姿勢情報とに基づいて、鳥瞰図を生成して、被検出体の位置を検出する。
　検出部１０２は、例えば、奥行情報が示す被検出体との距離に対応するように、被検出体を地平面上に投影することによって鳥瞰図を生成する。例えば、奥行情報がステレオカメラにより撮像された複数の撮像画像である場合、検出部１０２は、複数の撮像画像を用いたステレオマッチングにより、画素ごとに被検出体との距離を得る。そして、検出部１０２は、得られた被検出体に対応する距離に基づいて、被検出体を地平面上に投影することによって鳥瞰図を生成する。
　また、検出部１０２は、鳥瞰図を生成する際に、姿勢情報に基づき特定されるセンサの仰俯角を考慮して、鳥瞰図を生成する。センサの仰俯角は、例えば、姿勢情報が示すパン・チルト機構のチルト方向の角度に基づき特定される。センサの仰俯角は、例えば、パン・チルト機構のチルト方向の角度であってもよいし、パン・チルト機構のチルト方向の角度が設定されている値により補正された角度であってもよい。
　図４は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、検出部１０２における姿勢情報に基づき特定された仰俯角θを考慮した鳥瞰図の生成の一例を示している。
　図４に示すＡは、センサの検出範囲の空間の一例を示しており、図４に示すＢは、センサであるステレオカメラにより得られたデプス画像の一例を示している。また、図４に示すＣは、仰俯角θを考慮した被検出体との距離の一例を示しており、図４に示すＤは、仰俯角θを考慮して得られた被検出体との距離に基づく鳥瞰図の一例を示している。
　検出部１０２は、例えば、特定されたセンサの仰俯角θに基づいて、奥行情報が示す被検出体との距離を補正する。検出部１０２は、例えば、仰俯角と距離の補正値とが対応付けられているテーブル（または、データベース）を参照して、特定された仰俯角θに対応する補正値を特定し、特定された補正値によって奥行情報が示す被検出体との距離を補正する。そして、検出部１０２は、補正した被検出体との距離に対応するように、被検出体を地平面上に投影することによって、鳥瞰図を生成する。
　なお、検出部１０２における仰俯角θを考慮した鳥瞰図の生成に係る処理が、上記に示す例に限られないことは、言うまでもない。
　検出部１０２は、例えば上記のように、奥行情報と姿勢情報とに基づいて鳥瞰図を生成する。
　なお、検出部１０２における鳥瞰図の生成に係る処理は、上記に限られない。
　例えば、検出部１０２は、鳥瞰図に反映させる被検出体を制限することも可能である。検出部１０２は、例えば、床や地面部分などの低い位置で検出された被検出体や、天井などの高い位置で検出された被検出体を、鳥瞰図に反映させないことによって、鳥瞰図に反映させる被検出体を制限する。
　具体的には、検出部１０２は、１または２以上の高さ方向（空間における垂直方向）の閾値を用いた、高さ方向の閾値処理によって、鳥瞰図に反映させる被検出体を制限する。例えば、検出部１０２は、低い位置の被検出体を制限するための第１の閾値より低い位置の被検出体を制限する。また、検出部１０２は、例えば、高い位置の被検出体を制限するための第２の閾値より高い位置の被検出体を制限する。
　ここで、上記第１の閾値や上記第２の閾値などの本実施形態に係る高さ方向の閾値としては、例えば、予め設定されている固定値が挙げられる。また、本実施形態に係る高さ方向の閾値は、姿勢情報に基づき特定されたセンサの仰俯角θに基づき調整される可変値であってもよい。姿勢情報に基づき特定されたセンサの仰俯角θに基づき高さ方向の閾値が調整されることによって、センサの高さ方向の姿勢に対応する高さ方向の閾値処理を実現することが可能となる。
　また、検出部１０２は、例えば下記の（ａ）～（ｃ）に示すように、生成した鳥瞰図を補正することも可能である。
（ａ）鳥瞰図の補正の第１の例
　検出部１０２は、姿勢情報に基づき特定される水平角に基づいて、鳥瞰図を補正する。
　ここで、センサの水平角は、例えば、姿勢情報が示すパン・チルト機構のパン方向の角度に基づき特定される。センサの水平角は、例えば、パン・チルト機構のパン方向の角度であってもよいし、パン・チルト機構のパン方向の角度が設定されている値により補正された角度であってもよい。
　具体的には、検出部１０２は、例えば、生成された鳥瞰図に対して、特定されたセンサの水平角分の回転を加える補正を行うことによって、生成された鳥瞰図を、水平角の変化を反映させた鳥瞰図に補正する。
　図５は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、検出部１０２における姿勢情報に基づき特定された水平角に基づく鳥瞰図の補正の一例を示している。
　図５に示すＡは、第１の時点におけるセンサの検出範囲の空間の一例を示しており、図５に示すＢは、第１の時点における奥行情報および姿勢情報に基づく、補正された鳥瞰図の一例を示している。また、図５に示すＣは、第２の時点（第１の時点より後の時点）におけるセンサの検出範囲の空間の一例を示しており、図５に示すＤは、第２の時点における奥行情報および姿勢情報に基づく、補正された鳥瞰図の一例を示している。ここで、図５のＡ、Ｃに示すように、第１の時点におけるステレオカメラの視野と、第１の時点におけるステレオカメラの視野とは、異なっている。すなわち、図５に示す例では、第１の時点における姿勢情報に基づくステレオカメラの姿勢と、第２の時点における姿勢情報に基づくステレオカメラの姿勢とは、異なっている。
　検出部１０２が、姿勢情報に基づき特定される水平角に基づいて、水平角の変化を反映させた鳥瞰図に補正することによって、図５のＢ、図５のＤに示すように、ステレオカメラの視野（センサの検出範囲の一例）が変わったとしても、異なる時点における鳥瞰図において、被検出体の位置を、同一の座標系で表すことが可能となる。
（ｂ）鳥瞰図の補正の第２の例
　例えば、処理対象が図１に示すロボットであるときなど、処理対象自体が動きうるときには、処理対象自体が動くことによって、本実施形態に係るセンサの一例であるステレオカメラの位置が変わる場合がある。
　処理対象自体が動くことなどによって、センサの位置が変わる場合には、検出部１０２は、センサの位置の変化に基づいて、鳥瞰図を補正することも可能である。
　処理対象が図１に示すロボットである場合を例に挙げると、ステレオカメラの位置は、ロボットの動きによって変化する。そこで、検出部１０２は、例えば、ロボット（処理対象の一例）の動き成分をキャンセルするように、ステレオカメラの位置の変化を反映させた鳥瞰図に補正する。検出部１０２は、例えば、ロボットが備えている加速度センサなどのロボットの動きを検出することが可能な動きセンサの検出結果と、ロボットが移動のために備える車輪（移動に係る機構の一例）の動きを検出するロータリエンコーダの検出結果との、一方または双方に基づいて、ロボットの動き成分を特定する。そして、検出部１０２は、特定された動き成分をキャンセルするように、鳥瞰図に補正する。
　検出部１０２が、上記に示す例のように、センサの位置の変化に基づいてセンサの位置の変化を反映させた鳥瞰図を補正することによって、ステレオカメラの位置が変わったとしても、異なる時点における鳥瞰図において被検出体の位置を同一の座標系で表すことが、可能となる。
（ｃ）鳥瞰図の補正の第３の例
　検出部１０２は、上記（ａ）に示す第１の例に係る補正に係る処理と、上記（ｂ）に示す第２の例に係る補正に係る処理との双方の処理を行うことによって、鳥瞰図を補正してもよい。
　検出部１０２が、上記のように、鳥瞰図を生成すること、または、生成した鳥瞰図を補正することによって、被検出体の位置を２次元の座標系で表すことができる。よって、検出部１０２が、上記のように、鳥瞰図を生成すること、または、生成した鳥瞰図を補正することによって、被検出体の位置が検出される。
　なお、検出部１０２における処理は、上記に示す例に限られない。
　例えば、検出部１０２は、生成された鳥瞰図（または、補正された鳥瞰図。以下、同様とする。）に基づいて、下記の（Ａ）に示す処理と下記の（Ｂ）に示す処理との一方または双方の処理を、さらに行うことも可能である。
（Ａ）被検出体の動きの検出に係る処理
　検出部１０２は、複数の鳥瞰図に基づいて、被検出体の動きを検出する。
　ここで、被検出体の動きの検出に係る複数の鳥瞰図としては、例えば、時系列の鳥瞰図、すなわち、異なる時点において生成された複数の鳥瞰図（例えば、ある時点において生成された鳥瞰図、および当該ある時点よりも前の、１または２以上の時点においてそれぞれ生成された鳥瞰図）が挙げられる。つまり、被検出体の動きの検出に係る複数の鳥瞰図とは、生成された鳥瞰図の履歴に該当する。
　より具体的には、検出部１０２は、被検出体の動きの検出に係る処理として、例えば、下記の（Ａ－１）の処理～下記の（Ａ－３）の処理を行う。
（Ａ－１）被検出体の動きの検出に係る処理の第１の例
　検出部１０２は、例えば、複数の鳥瞰図に基づいて、被検出体に動きがあるか否かを検出する。具体的には、検出部１０２は、例えば、時系列の鳥瞰図を画素ごとに比較することによって、被検出体に動きがあるか否かを検出する。
　図６は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。図６に示すＡは、ある時点におけるセンサの検出範囲の空間の一例を示している。また、図６に示すＢは、上記ある時点において生成された鳥瞰図と、上記ある時点において生成された鳥瞰図の１つ前に生成された鳥瞰図とを画素ごとに比較して、動きの有無を視覚的に示した図の一例である。図６のＢに示す“Ｓ”が、動きがないと判定された被検出体の一例を示しており、図６のＢに示す“Ｍ”が、動きがあると判定された被検出体の一例を示している。
　また、図７は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、時系列の鳥瞰図を画素ごとに比較することにより被検出体の動きの有無を判定する処理の概要を示している。
　検出部１０２は、例えば図７に示すように、バイナリ値によって、時系列の鳥瞰図を画素ごとの比較を行う。バイナリ値によって時系列の鳥瞰図を画素ごとの比較を行うことによって、被検出体の動きの有無の判定を、より高速に行うことが可能となる。
　具体的には、検出部１０２は、例えば、動きの有無の検出に用いるｎ（ｎは、２以上の整数）フレーム分の鳥瞰図について、各画素の画素値をｎフレーム分、時系列に走査する。そして、検出部１０２は、例えば、ｎフレーム間被検出体が検出された画素を、静止している被検出体に対応する領域の画素であると判定する。また、検出部１０２は、例えば、静止している被検出体に対応する領域と判定されなかった画素であって、かつ、現フレーム（ｎフレーム目に該当する。）において被検出体が検出されている画素を、動いている被検出体に対応する領域の画素であると判定する。
　以下では、鳥瞰図における静止している被検出体に対応する領域を「静止領域」と示し、鳥瞰図における動いている被検出体に対応する領域を「動領域」と示す場合がある。
　検出部１０２は、例えば上記のように、画素ごとに時系列の鳥瞰図を画素ごとに比較して、静止領域と動領域とを判定することによって、被検出体の動きの有無を判定する。なお、本実施形態に係る被検出体の動きの有無を判定する方法が、上記に示すバイナリ値により判定する方法に限られないことは、言うまでもない。
（Ａ－２）被検出体の動きの検出に係る処理の第２の例
　検出部１０２は、例えば、複数の鳥瞰図に基づいて、被検出体の動きの方向、被検出体の動きの速度、および、被検出体の動き量の１または２以上を、検出する。ここで、第２の例に係る被検出体の動きの検出に係る処理は、被検出体の動き成分を分析する処理に相当する。
　図８は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。図８に示すＡは、ある時点におけるセンサの検出範囲の空間の一例を示している。また、図８に示すＢは、時系列の鳥瞰図を、過去の鳥瞰図に基づく被検出体の領域は薄く、より直近の鳥瞰図に基づく被検出体の領域は濃くなるように表した上で重ねることによって、被検出体の動きの軌跡を濃淡で表した例を示している。また、図８のＣは、図８のＢの一部分を拡大した図である。
　検出部１０２は、例えば、例えば図８のＢ、Ｃに示すような被検出体の動きの軌跡に対して、鳥瞰図における２次元の座標系のｘ方向とｙ方向との微分によりそれぞれの色の勾配（Δｘ，Δｙ）を得る。ここで、色の勾配を得る方法としては、例えば、ｘ方向およびｙ方向それぞれに対してＳｏｂｅｌフィルタを用いた勾配算出を行う方法が挙げられる。なお、色の勾配を得る方法が、Ｓｏｂｅｌフィルタを用いる方法に限られないことは、言うまでもない。
　検出部１０２は、例えば、算出された勾配（Δｘ，Δｙ）から下記の数式１に示す演算を行い方向角φを求めることによって、被検出体の動きの方向を検出する。
Figure JPOXMLDOC01-appb-M000001
 ・・・（数式１）
　また、検出部１０２は、例えば、算出された勾配（Δｘ，Δｙ）から下記の数式２に示す演算を行うことによって、被検出体の動きの速度を検出する。
Figure JPOXMLDOC01-appb-M000002
 ・・・（数式２）
　また、検出部１０２は、上記数式２において求められた被検出体の動きの速度の大きさと、被検出体が動いた時間とによって、被検出体の動き量を算出することが可能である。
（Ａ－３）被検出体の動きの検出に係る処理の第３の例
　検出部１０２は、上記（Ａ－１）に示す第１の例に係る被検出体の動きの検出に係る処理と、上記（Ａ－２）に示す第２の例に係る被検出体の動きの検出に係る処理との双方の処理を行うことも可能である。
（Ｂ）被検出体の動きの予測に係る処理
　検出部１０２は、複数の鳥瞰図に基づいて、被検出体の動きを予測する。
　例えば上記（Ａ）の処理を行うことによって、複数の鳥瞰図に基づいて、被検出体の動きの方向と、被検出体の動きの速度とを特定することができる。また、被検出体の動きの方向と、被検出体の動きの速度とが特定されれば、被検出体がどのように動くのか（どの方向に、どの位の速度で、どの位の量動くのか）を予測することが可能である。
　よって、検出部１０２は、複数の鳥瞰図に基づいて、被検出体の動きの方向と、被検出体の動きの速度とをそれぞれ特定し、将来的な被検出体の位置を推定することによって、被検出体の動きを予測する。
　図９は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。図９に示すＡは、ある時点におけるセンサの検出範囲の空間の一例を示している。また、図９に示すＢは、図８のＢと同様に、被検出体の動きの軌跡を濃淡で表した例を示している。図９のＢに示す“Ｓ”は、図６のＢと同様に、動きがないと判定された被検出体の一例を示しており、図９のＢに示す“Ｍ”は、図６のＢと同様に、動きがあると判定された被検出体の一例を示している。また、図９のＢに示す“Ｄ”は、被検出体の動きの方向を示している。
　また、図９のＣは、被検出体の動きの予測結果の一例を示している。図９のＣに示す“Ｐ”が、図９のＢにおいて“Ｍ”で示される被検出体の予測結果を示している。
　検出部１０２は、例えば、図９のＢにおいて“Ｍ”で示される被検出体について、被検出体の動きの方向（図９のＢに示す“Ｄ”）と、被検出体の動きの速度とをそれぞれ特定することによって、動きを予測する。
［ＩＩ］処理部１０４
　再度図２を参照して、情報処理装置１００の構成の一例について説明する。処理部１０４は、上記実行処理を主導的に行う役目を果たし、検出部１０２における検出処理の検出結果に基づく処理を行う。
　検出処理の検出結果に基づく処理としては、例えば、処理対象の行動を計画する処理が挙げられる。例えば、処理部１０４は、検出処理の検出結果を検出部１０２から得ることによって、被検出体が存在する静止領域と動領域を特定することができる。また、処理部１０４は、検出処理の検出結果を検出部１０２から得ることによって、被検出体が動いている場合には、被検出体の動きを予測することができる。よって、処理対象が図１に示すロボットである場合を例に挙げると、処理部１０４は、例えば、被検出体を避けて移動するために、ロボットがどのような移動経路をとるべきであるかを、計画することが可能である。
　なお、検出処理の検出結果に基づく処理は、上記処理対象の行動を計画する処理に限られない。
　例えば、処理部１０４は、計画された行動を処理対象に行わせる制御処理を、さらに行ってもよい。処理対象が図１に示すロボットである場合を例に挙げると、処理部１０４は、例えば、移動経路を示す情報と移動命令とを、ロボットに送信することによって、計画された行動を処理対象であるロボットに行わせる。
　また、処理部１０４は、例えば、検出部１０２における検出処理の検出結果を通知させる通知制御処理など、検出処理の検出結果を用いた、１または２以上の任意の処理を行うことが可能である。通知制御処理を行う場合、処理部１０４は、例えば、表示デバイスの表示画面に検出処理の検出結果を表示させることなどによって、検出処理の検出結果を視覚的に通知させる。また、通知制御処理を行う場合、処理部１０４は、例えば、スピーカなどの音声出力デバイスから音声（音楽も含む）を出力させることによって、検出処理の検出結果を、聴覚的に通知させることも可能である。
　情報処理装置１００は、例えば図１に示す構成によって、本実施形態に係る情報処理方法に係る処理（例えば、上記検出処理、および上記実行処理）を行う。
　なお、本実施形態に係る情報処理装置の構成は、図１に示す構成に限られない。
　例えば、上記実行処理が本実施形態に係る情報処理装置の外部装置において行われる場合には、本実施形態に係る情報処理装置は、図１に示す処理部１０４を備えていなくてもよい。上記実行処理が外部装置において行われる場合には、本実施形態に係る情報処理装置は、例えば、通信部（図示せず）や外部の通信デバイスを介して、当該外部装置に、検出部１０２における検出処理の検出結果を示すデータを送信する。また、本実施形態に係る情報処理装置は、例えば、実行処理を行わせるための処理命令を、上記外部装置に対して送信してもよい。
　処理部１０４を備えない構成であっても、本実施形態に係る情報処理装置は、上記検出処理を行うことが可能である。
　よって、処理部１０４を備えない構成であっても、本実施形態に係る情報処理装置は、例えば、物体との距離を検出することが可能なセンサの検出結果に基づいて、被検出体の位置を検出することができる。また、処理部１０４を備えない構成であっても、本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理が行われることより奏される効果を、奏することができる。
　また、上述したように、“上記検出処理”と、“上記検出処理、および上記実行処理”とのそれぞれは、便宜上、本実施形態に係る情報処理方法に係る処理を切り分けたものである。よって、本実施形態に係る情報処理方法に係る処理を実現するための構成は、図１に示す検出部１０２、および処理部１０４に限られず、本実施形態に係る情報処理方法に係る処理の切り分け方に応じた構成をとることが可能である。
［ＩＩＩ］本実施形態に係る情報処理方法に係る処理の一例
　次に、図２に示す情報処理装置１００における、本実施形態に係る情報処理方法に係る処理の一例を挙げる。以下では、情報処理装置１００が図１に示すロボットを処理対象とする場合の処理を、例に挙げる。
　図１０は、本実施形態に係る情報処理方法に係る処理の一例を示す流れ図であり、図１に示す情報処理装置１００における処理の一例を示している。ここで、図１０に示すステップＳ１００～Ｓ１１０は、上記検出処理に該当する。図２に示す情報処理装置１００では、ステップＳ１００～Ｓ１１０の処理は、例えば検出部１０２により行われる。
　情報処理装置１００は、奥行情報と姿勢情報とを取得する（Ｓ１００）。情報処理装置１００は、例えばセンサから送信される奥行情報を取得するなど、受動的に奥行情報と姿勢情報とを取得する。また、情報処理装置１００は、例えばセンサに対して奥行情報を送信させる命令を送信して奥行情報を取得するなど、能動的に奥行情報と姿勢情報とを取得することも可能である。
　情報処理装置１００は、奥行情報と姿勢情報とに基づいて、被検出体を地平面上に投影して鳥瞰図を生成する（Ｓ１０２）。情報処理装置１００は、例えば、姿勢情報に基づき特定されるセンサの仰俯角を考慮し、奥行情報が示す被検出体との距離に対応するように、被検出体を地平面上に投影することによって鳥瞰図を生成する。
　情報処理装置１００は、姿勢情報に基づいて鳥瞰図を補正し、ステレオカメラの視野の移動を補正する（Ｓ１０４）。情報処理装置１００は、例えば、上記（ａ）に示す鳥瞰図の補正の第１の例に係る処理を行うことによって、ステレオカメラの視野の移動を補正する。なお、情報処理装置１００は、例えば、上記（ｂ）に示す鳥瞰図の補正の第２の例に係る処理をさらに行うことも可能である。
　情報処理装置１００は、被検出体の静動判定を行う（Ｓ１０６）。情報処理装置１００は、例えば、時系列の鳥瞰図に基づいて、上記（Ａ－１）に示す第１の例に係る被検出体の動きの検出に係る処理を行うことによって、被検出体の静動判定を行う。
　情報処理装置１００は、ステップＳ１０６の判定の結果、被検出体が動体であるか否かを判定する（Ｓ１０８）。ここで、ステップＳ１０８以降の処理は、鳥瞰図に含まれる非検出体ごとに行われる。
　ステップＳ１０８において動体であると判定されない場合、情報処理装置１００は、動体であると判定されない非検出体に対して、後述するステップＳ１１０の処理を行わない。
　また、ステップＳ１０８において動体であると判定された場合、情報処理装置１００は、動体であると判定された非検出体に対して、動き成分の分析と動きの予測との一方または双方を行う（Ｓ１１０）。情報処理装置１００は、例えば、上記（Ａ－２）に示す第２の例に係る被検出体の動きの検出に係る処理を行うことによって、非検出体の動き成分を分析する。また、情報処理装置１００は、例えば、上記（Ｂ）に示す被検出体の動きの予測に係る処理を行うことによって、非検出体の動きを予測する。
　情報処理装置１００は、本実施形態に係る情報処理方法に係る処理として、例えば図１０に示す処理を行う。
　なお、本実施形態に係る情報処理方法に係る処理は、図１０に示す処理に限られない。
　例えば、情報処理装置１００は、上記実行処理をさらに行ってもよい。また、上記実行処理が外部装置において行われる場合には、情報処理装置１００は、図１０に示す検出処理の検出結果を示すデータ（例えば、ステップＳ１０６の処理の結果と、ステップＳ１１０の処理の結果との一方または双方などを示すデータ）を、当該外部装置に対して送信するための送信制御処理を、行ってもよい。
［ＩＶ］本実施形態に係る情報処理方法が用いられることにより奏される効果の一例
　情報処理装置１００は、例えば下記の（ｉ）～（ｖ）に示す効果を奏することができる。なお、本実施形態に係る情報処理方法が用いられることにより奏される効果が、下記の（ｉ）～（ｖ）に示す効果に限られないことは、言うまでもない。
（ｉ）地平面上の動きの把握
　情報処理装置１００は、例えばステレオカメラにより撮像された複数の撮像画像（いわゆる、ステレオ画像。奥行情報の一例）に基づいて鳥瞰図を生成し、鳥瞰図によって被検出体を捉えることができる。よって、情報処理装置１００は、時系列の鳥瞰図を参照することによって、被検出体の水平方向と奥行方向の動きを把握することができる。
　ここで、本実施形態に係る情報処理方法が用いられる場合には、オプティカルフローを用いる場合とは異なり、非検出体が静止していたとしても、非検出体を検出することが可能である。また、情報処理装置１００は、床や地面部分などの低い位置で検出された被検出体や、天井などの高い位置で検出された被検出体など、鳥瞰図に反映させることが不要であると考えられる被検出体を、鳥瞰図に反映させず、これらの被検出体を検出対象から除外することが可能である。
（ｉｉ）センサの動きを考慮した非検出体の検出
　情報処理装置１００は、姿勢情報に基づいて鳥瞰図を生成し、また、姿勢情報に基づいて鳥瞰図を補正する。よって、情報処理装置１００は、鳥瞰図を参照することによって、検出体の位置をより正確に検出することができる。また、情報処理装置１００は、時系列の鳥瞰図を参照することによって、静止している非検出体と動いている非検出体とを判別することができる。さらに、情報処理装置１００は、動いている非検出体について、動きの方向、動きの速度、および動き量の１または２以上を、検出することが可能である。
（ｉｉｉ）計算コストの低減
　情報処理装置１００は、鳥瞰図に基づき被検出体を検出するので、被検出体を２次元で検出することが可能である。よって、情報処理装置１００は、ポイントクラウドが用いられる場合よりも、より計算コストを低減した処理によって、被検出体の位置、動きを検出することができる。
（ｉｖ）被検出体を領域で捉えることによる、非検出体の境界の明確化
　オプティカルフローが用いられる場合には、撮像画像から被写体の特徴点を捉えて動きを追うことが多く、物体の境界領域がはっきりしないことが多い。これに対して、本実施形態に係る情報処理方法が用いられる場合には、奥行情報に基づき生成された鳥瞰図を参照して非検出体を捉えるので、非検出体の地平面上の境界が明確である。
　例えば処理対象が図１に示すロボットである場合を想定すると、本実施形態に係る情報処理方法が用いられることによって、障害物となりうる非検出体の境界が領域として把握される。よって、本実施形態に係る情報処理方法に係る検出処理の結果は、例えば障害物を避けて移動するなどのロボットの行動計画の立案などに、効果的に利用することができる。
（ｖ）他の効果
　本実施形態に係る情報処理方法が用いられることによって、例えば、ステレオカメラ一組を本実施形態に係るセンサとすることによって、様々な方向に対して、障害物の検出を行うことができる。また、例えば、ステレオカメラを３６０［°］回転させることによって、ステレオカメラをレーザーレンジファインダのように全周囲の障害物とその動きを把握するために用いることができるので、周囲の障害物を補足する場合のコストをより低減することが可能である。
　また、本実施形態に係る情報処理方法が用いられることによって、情報処理装置１００は、ステレオカメラの視野方向を動的に変えている最中でも、障害物となりうる非検出体の位置を検出することができる。また、上記非検出体が動いている場合には、情報処理装置１００は、上記非検出体の動きの方向、動きの速度、および動き量の１または２以上を、検出することが可能である。さらに、情報処理装置１００は、例えば、検出される被検出体の動きの方向、動きの速度、動きの履歴によって、動いている非検出体の位置や動きの予測を行うことも可能である。
［Ｖ］本実施形態に係る情報処理装置の適用例
　以上、本実施形態として、情報処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、自律的にまたは外部からの操作によって動作するロボットや、自動車や自動二輪車などの移動体、アイウェア型のウェアラブル装置やユーザの頭部に装着して用いられるウェアラブル装置などのウェアラブル装置、ＰＣ（Personal　Computer）やサーバなどのコンピュータ、タブレット型の装置、携帯電話やスマートフォンなどの通信装置など、本実施形態に係る情報処理方法に係る処理を行うことが可能な、様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理ＩＣに適用することもできる。
　また、本実施形態に係る情報処理装置は、例えばクラウドコンピューティングなどのように、ネットワークへの接続（または各装置間の通信）を前提とした、複数の装置からなるシステムに適用されてもよい。つまり、上述した本実施形態に係る情報処理装置は、例えば、複数の装置により本実施形態に係る情報処理方法に係る処理を行う情報処理システムとして実現することも可能である。複数の装置により本実施形態に係る情報処理方法に係る処理を行う情報処理システムの一例としては、例えば、“上記検出処理”、または、“上記検出処理、および上記実行処理”が、当該情報処理システムを構成する複数の装置において連携して行われるシステムが、挙げられる。
（本実施形態に係るプログラム）
　コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム（例えば、“上記検出処理”や、“上記検出処理、および上記実行処理”など、本実施形態に係る情報処理方法に係る処理を実行することが可能なプログラム）が、コンピュータにおいてプロセッサなどにより実行されることによって、物体との距離を検出することが可能なセンサの検出結果に基づいて、被検出体の位置を検出することができる。
　また、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る情報処理方法に係る処理によって奏される効果を、奏することができる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記では、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
　上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　物体との距離を検出することが可能なセンサから取得された、被検出体との距離を示す奥行情報と、前記センサの姿勢に関する姿勢情報とに基づいて、前記被検出体が地平面上に投影された画像である鳥瞰図を生成して、前記被検出体の位置を検出する検出部を備える、情報処理装置。
（２）
　前記検出部は、複数の前記鳥瞰図に基づいて、前記被検出体の動きをさらに検出する、（１）に記載の情報処理装置。
（３）
　前記検出部は、複数の前記鳥瞰図に基づいて、前記被検出体に動きがあるか否かを検出する、（２）に記載の情報処理装置。
（４）
　前記検出部は、時系列の前記鳥瞰図を画素ごとに比較することによって、前記被検出体に動きがあるか否かを検出する、（３）に記載の情報処理装置。
（５）
　前記検出部は、複数の前記鳥瞰図に基づいて、前記被検出体の動きの方向、前記被検出体の動きの速度、および、前記被検出体の動き量の１または２以上を、検出する、（２）～（４）のいずれか１つに記載の情報処理装置。
（６）
　前記検出部は、複数の前記鳥瞰図に基づいて、前記被検出体の動きを予測する、（２）～（５）のいずれか１つに記載の情報処理装置。
（７）
　前記検出部は、前記鳥瞰図に反映させる前記被検出体を制限する、（１）～（６）のいずれか１つに記載の情報処理装置。
（８）
　前記検出部は、前記姿勢情報に基づき特定される水平角に基づいて、前記鳥瞰図を補正する、（１）～（７）のいずれか１つに記載の情報処理装置。
（９）
　前記検出部は、前記センサの位置の変化に基づいて、前記鳥瞰図を補正する、（１）～（８）のいずれか１つに記載の情報処理装置。
（１０）
　前記奥行情報は、前記センサであるステレオカメラにより撮像された複数の撮像画像であり、
　前記検出部は、複数の前記撮像画像から得られる画素ごとの距離に基づいて、前記被検出体を地平面上に投影して前記鳥瞰図を生成する、（１）～（９）のいずれか１つに記載の情報処理装置。
（１１）
　前記姿勢情報は、前記ステレオカメラの向きを変えることが可能なパン・チルト機構の動きを示す、（１０）に記載の情報処理装置。
（１２）
　前記検出部の検出結果に基づく処理を行う処理部をさらに備える、（１）～（１１）のいずれか１つに記載の情報処理装置。
（１３）
　物体との距離を検出することが可能なセンサから取得された、被検出体との距離を示す奥行情報と、前記センサの姿勢に関する姿勢情報とに基づいて、前記被検出体が地平面上に投影された画像である鳥瞰図を生成して、前記被検出体の位置を検出するステップを有する、情報処理装置により実行される情報処理方法。
（１４）
　物体との距離を検出することが可能なセンサから取得された、被検出体との距離を示す奥行情報と、前記センサの姿勢に関する姿勢情報とに基づいて、前記被検出体が地平面上に投影された画像である鳥瞰図を生成して、前記被検出体の位置を検出する機能を、コンピュータに実現させるためのプログラム。
　１００　　情報処理装置
　１０２　　検出部
　１０４　　処理部

Claims (14)

  1. 　物体との距離を検出することが可能なセンサから取得された、被検出体との距離を示す奥行情報と、前記センサの姿勢に関する姿勢情報とに基づいて、前記被検出体が地平面上に投影された画像である鳥瞰図を生成して、前記被検出体の位置を検出する検出部を備える、情報処理装置。
  2. 　前記検出部は、複数の前記鳥瞰図に基づいて、前記被検出体の動きをさらに検出する、請求項１に記載の情報処理装置。
  3. 　前記検出部は、複数の前記鳥瞰図に基づいて、前記被検出体に動きがあるか否かを検出する、請求項２に記載の情報処理装置。
  4. 　前記検出部は、時系列の前記鳥瞰図を画素ごとに比較することによって、前記被検出体に動きがあるか否かを検出する、請求項３に記載の情報処理装置。
  5. 　前記検出部は、複数の前記鳥瞰図に基づいて、前記被検出体の動きの方向、前記被検出体の動きの速度、および、前記被検出体の動き量の１または２以上を、検出する、請求項２に記載の情報処理装置。
  6. 　前記検出部は、複数の前記鳥瞰図に基づいて、前記被検出体の動きを予測する、請求項２に記載の情報処理装置。
  7. 　前記検出部は、前記鳥瞰図に反映させる前記被検出体を制限する、請求項１に記載の情報処理装置。
  8. 　前記検出部は、前記姿勢情報に基づき特定される水平角に基づいて、前記鳥瞰図を補正する、請求項１に記載の情報処理装置。
  9. 　前記検出部は、前記センサの位置の変化に基づいて、前記鳥瞰図を補正する、請求項１に記載の情報処理装置。
  10. 　前記奥行情報は、前記センサであるステレオカメラにより撮像された複数の撮像画像であり、
    　前記検出部は、複数の前記撮像画像から得られる画素ごとの距離に基づいて、前記被検出体を地平面上に投影して前記鳥瞰図を生成する、請求項１に記載の情報処理装置。
  11. 　前記姿勢情報は、前記ステレオカメラの向きを変えることが可能なパン・チルト機構の動きを示す、請求項１０に記載の情報処理装置。
  12. 　前記検出部の検出結果に基づく処理を行う処理部をさらに備える、請求項１に記載の情報処理装置。
  13. 　物体との距離を検出することが可能なセンサから取得された、被検出体との距離を示す奥行情報と、前記センサの姿勢に関する姿勢情報とに基づいて、前記被検出体が地平面上に投影された画像である鳥瞰図を生成して、前記被検出体の位置を検出するステップを有する、情報処理装置により実行される情報処理方法。
  14. 　物体との距離を検出することが可能なセンサから取得された、被検出体との距離を示す奥行情報と、前記センサの姿勢に関する姿勢情報とに基づいて、前記被検出体が地平面上に投影された画像である鳥瞰図を生成して、前記被検出体の位置を検出する機能を、コンピュータに実現させるためのプログラム。
PCT/JP2016/069016 2015-08-20 2016-06-27 情報処理装置、情報処理方法、およびプログラム WO2017029886A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015162683A JP2017041125A (ja) 2015-08-20 2015-08-20 情報処理装置、情報処理方法、およびプログラム
JP2015-162683 2015-08-20

Publications (1)

Publication Number Publication Date
WO2017029886A1 true WO2017029886A1 (ja) 2017-02-23

Family

ID=58050958

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/069016 WO2017029886A1 (ja) 2015-08-20 2016-06-27 情報処理装置、情報処理方法、およびプログラム

Country Status (2)

Country Link
JP (1) JP2017041125A (ja)
WO (1) WO2017029886A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210255326A1 (en) * 2018-10-01 2021-08-19 Pioneer Corporation Information processing device
WO2021254233A1 (zh) * 2020-06-15 2021-12-23 杭州海康微影传感科技有限公司 对象检测方法和摄像设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005092820A (ja) * 2003-09-19 2005-04-07 Sony Corp 環境認識装置及び方法、経路計画装置及び方法、並びにロボット装置
JP2007216350A (ja) * 2006-02-17 2007-08-30 Toyota Motor Corp 移動型ロボット
JP2009135663A (ja) * 2007-11-29 2009-06-18 Clarion Co Ltd 車両周辺監視システム
WO2014162554A1 (ja) * 2013-04-04 2014-10-09 株式会社Ａｍａｔｅｌ 画像処理システムおよび画像処理用プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005092820A (ja) * 2003-09-19 2005-04-07 Sony Corp 環境認識装置及び方法、経路計画装置及び方法、並びにロボット装置
JP2007216350A (ja) * 2006-02-17 2007-08-30 Toyota Motor Corp 移動型ロボット
JP2009135663A (ja) * 2007-11-29 2009-06-18 Clarion Co Ltd 車両周辺監視システム
WO2014162554A1 (ja) * 2013-04-04 2014-10-09 株式会社Ａｍａｔｅｌ 画像処理システムおよび画像処理用プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210255326A1 (en) * 2018-10-01 2021-08-19 Pioneer Corporation Information processing device
WO2021254233A1 (zh) * 2020-06-15 2021-12-23 杭州海康微影传感科技有限公司 对象检测方法和摄像设备

Also Published As

Publication number Publication date
JP2017041125A (ja) 2017-02-23

Similar Documents

Publication Publication Date Title
US20210279444A1 (en) Systems and methods for depth map sampling
EP4198694A1 (en) Positioning and tracking method and platform, head-mounted display system, and computer-readable storage medium
US10169880B2 (en) Information processing apparatus, information processing method, and program
US9256324B2 (en) Interactive operation method of electronic apparatus
WO2016088418A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2019019819A1 (zh) 一种用于处理任务区域的任务的移动电子设备以及方法
US9886769B1 (en) Use of 3D depth map with low and high resolution 2D images for gesture recognition and object tracking systems
TW201926141A (zh) 影像目標追蹤方法及裝置
JP2016085602A (ja) センサ情報統合方法、及びその装置
WO2013121215A1 (en) Video tracking apparatus and method
WO2015093130A1 (ja) 情報処理装置、情報処理方法およびプログラム
TWI726278B (zh) 行車偵測方法、車輛及行車處理裝置
JP2013124972A (ja) 位置推定装置及び方法、並びにテレビジョン受信機
WO2017029886A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6447521B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US20180186287A1 (en) Image processing device and image processing method
US9761009B2 (en) Motion tracking device control systems and methods
WO2016129154A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2021103410A (ja) 移動体及び撮像システム
WO2016199508A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JPWO2019026390A1 (ja) 情報処理装置、情報処理方法、記録媒体、及び撮像装置
US11689702B2 (en) Information processing apparatus and information processing method
KR101695727B1 (ko) 스테레오 비전을 이용한 위치검출 시스템 및 위치검출 방법
EP2908219A1 (en) Gesture recognition apparatus and control method of gesture recognition apparatus
KR20230152146A (ko) 위치 검지 장치, 위치 검지 방법, 및 위치 검지 프로그램

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16836878

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16836878

Country of ref document: EP

Kind code of ref document: A1