WO2021177085A1 - 情報処理装置及び情報処理方法 - Google Patents

情報処理装置及び情報処理方法 Download PDF

Info

Publication number
WO2021177085A1
WO2021177085A1 PCT/JP2021/006727 JP2021006727W WO2021177085A1 WO 2021177085 A1 WO2021177085 A1 WO 2021177085A1 JP 2021006727 W JP2021006727 W JP 2021006727W WO 2021177085 A1 WO2021177085 A1 WO 2021177085A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
divided
unit
recognition
information processing
Prior art date
Application number
PCT/JP2021/006727
Other languages
English (en)
French (fr)
Inventor
慶太 石川
住広　博
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US17/905,170 priority Critical patent/US20230093035A1/en
Priority to CN202180015007.9A priority patent/CN115136188A/zh
Publication of WO2021177085A1 publication Critical patent/WO2021177085A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Definitions

  • This disclosure relates to an information processing device and an information processing method.
  • Patent Document 1 Japanese Unexamined Patent Publication No. 2012-23546 proposes a method for performing object recognition using a fisheye image as it is. This method recognizes an object in an image by dividing the fisheye image according to the direction of distortion and collating each divided image with a database.
  • An object of the present disclosure is to provide an information processing device, an information processing method, and an information processing program capable of improving the recognition accuracy of a distorted image such as a fisheye image.
  • the information processing apparatus includes a division unit that divides an input image into a plurality of divided images of the same size, and a rotating unit that rotates the plurality of divided images according to a position on the input image before division. , A recognition unit that recognizes a plurality of divided images after rotation.
  • the input image is divided into a plurality of divided images of the same size, the plurality of divided images are rotated according to the position on the input image before the division, and the plurality of divided images after the rotation are rotated.
  • an NN for human detection or object detection learned using a distorted circumferential image
  • the NN having the input resolution when the n-divided image is used is learned by using the n-divided training data set.
  • the image to be inferred is divided into n and rotated in the same way as the number of learned n divisions, and the image is input to the pre-learned n division NN to recognize the image (object detection, etc.). Including). This improves the recognition accuracy, as will be described later. Further, by dividing the image, the NN can be made smaller as compared with the case where the image is not divided. As a result, low memory consumption and high speed are realized.
  • Embodiment 2.1 Configuration example of an image pickup device (one aspect of an information processing device)
  • the image pickup device is an electronic device such as a camera, and is also an information processing device that processes the acquired image data as a signal.
  • the camera may be a fisheye camera.
  • the imaging device is not limited to such electronic devices.
  • FIG. 1 is a block diagram showing a configuration example of an imaging device.
  • the image pickup apparatus 2 includes an image pickup block 20 and a signal processing block 30.
  • the imaging block 20 and the signal processing block 30 are connected by connecting lines CL1 to CL3.
  • the image pickup block 20 generates image data by executing an image pickup operation.
  • the image pickup block 20 includes an image pickup unit 21, an image pickup processing unit 22, an output control unit 23, an output I / F 24, and an image pickup control unit 25.
  • the imaging unit 21 includes a plurality of pixels arranged in two dimensions. When light from an optical system (not shown) is incident on the imaging unit 21, photoelectric conversion is performed on each pixel, and an analog pixel signal corresponding to the incident light is output.
  • the image pickup processing unit 22 drives the image pickup unit 21. Further, the imaging processing unit 22 converts the analog pixel signal from the imaging unit 21 into a digital pixel signal, and outputs the digitally converted pixel signal for one frame as the captured image 40.
  • the captured image 40 is sent to the output control unit 23 and also sent to the signal processing block 30 via the connection line CL2.
  • the captured image 40 may be one frame in the moving image.
  • the captured image 40 may be a fisheye image.
  • the fisheye image may be a circumferential fisheye image.
  • the output control unit 23 outputs the captured image 40 from the image pickup processing unit 22 and / or the signal processing result 60 (described later) from the signal processing block 30 to the outside via the output I / F 24.
  • the output I / F 24 is an I / F that outputs the captured image 40 and the signal processing result 60 to the outside.
  • a relatively high-speed I / F such as MIPI (Mobile Industry Processor Interface) may be adopted.
  • the image pickup control unit 25 includes a communication I / F 26 and a register group 27.
  • the communication I / F 26 exchanges necessary information such as information to be read / written from the register group 27 with the outside of the image pickup apparatus 2.
  • a first communication I / F such as a serial communication I / F such as I2C (Inter-Integrated Circuit) may be adopted.
  • the register group 27 stores information related to imaging by the imaging unit 21 and various other information.
  • the image pickup control unit 25 controls the image pickup processing unit 22 according to the image pickup information stored in the register group 27, thereby controlling the image pickup by the image pickup unit 21.
  • the image pickup control unit 25 is connected to the CPU 31 of the signal processing block 30 via the connection line CL1. Reading and writing of information to the register group 27 may be performed by the CPU 31.
  • the signal processing block 30 performs predetermined signal processing using the captured image 40 or the like obtained by the imaging block 20.
  • the signal processing block 30 includes a CPU (Central Processing Unit) 31, a DSP (Digital Signal Processor), a memory 33, a communication I / F 34, an image compression unit 35, an input I / F 36, and a difference generation unit 37.
  • the components of these signal processing blocks 30 are connected to each other via a bus, and information is exchanged as needed.
  • the CPU 31 functions as an imaging information calculation unit that calculates imaging information by using the signal processing result 60 obtained by the signal processing in the DSP 32 by executing the program.
  • the CPU 31 feeds back the calculated imaging information to the register group 27 of the imaging control unit 25 via the connection line CL1 and stores it.
  • the DSP 32 By executing the program stored in the memory 33, the DSP 32 receives information received from the outside by the captured image 40 and the input I / F 36 supplied from the imaging processing unit 22 to the signal processing block 30 via the connection line CL2. Signal processing is performed using.
  • the memory 33 is composed of SRAM (Static Random Access Memory), DRAM (Dynamic RAM), etc., and stores programs and the like necessary for processing the signal processing block 30.
  • the programs required for the operation of the image pickup apparatus 2, the learned model 330 and the information processing program 335, which will be described later, are also stored in the memory 33.
  • the communication I / F 34 is, for example, a second communication I / F such as a serial communication I / F such as SPI (Serial Peripheral Interface), and requires a program or the like executed by the CPU 31 or DSP 32 with the outside. Exchange information.
  • a second communication I / F such as a serial communication I / F such as SPI (Serial Peripheral Interface)
  • SPI Serial Peripheral Interface
  • the image compression unit 35 is supplied with the captured image 40 from the image processing unit 22 via the connection line CL2.
  • the image compression unit 35 performs a compression process for compressing the captured image 40, and generates a compressed image having a smaller amount of data than the captured image 40.
  • the generated compressed image is supplied to the bus.
  • An uncompressed image that is not compressed by the image compression unit 35 may be supplied to the bus.
  • both the compressed image and the uncompressed image are referred to as a captured image 40.
  • the input I / F 36 is an I / F that receives information from the outside.
  • the input I / F 36 receives, for example, the output of the external sensor (external sensor output) from the external sensor, supplies it to the memory 33 via the bus, and stores it.
  • FIG. 2 is a perspective view showing an outline of an external configuration example of the image pickup apparatus 2 of FIG.
  • the image pickup device 2 can be configured as a one-chip semiconductor device having a laminated structure in which a plurality of dies are laminated.
  • the image pickup apparatus 2 is configured by stacking two dies, dies 51 and 52.
  • the upper die 51 is equipped with an imaging unit 21, and the lower die 52 is equipped with an imaging processing unit 22 to an imaging control unit 25, and a CPU 31 to an input I / F 36.
  • the upper die 51 and the lower die 52 are, for example, a Cu wiring exposed on the lower surface side of the die 51 by forming a through hole that penetrates the die 51 and reaches the die 52, and the die 52. It is electrically connected by performing Cu-Cu bonding that directly connects to the Cu wiring exposed on the upper surface side of the above.
  • a column parallel AD method or an area AD method can be adopted as a method for AD conversion of the image signal output by the image pickup unit 21 in the image pickup processing unit 22.
  • an ADC AD Converter
  • the ADC in each row is in charge of AD conversion of the pixel signals of the pixels in the row.
  • AD conversion of the image signal of the pixels of each column in one row is performed in parallel.
  • a part of the imaging processing unit 22 that performs AD conversion of the column-parallel AD method may be mounted on the upper die 51.
  • the pixels constituting the imaging unit 21 are divided into a plurality of blocks, and an ADC is provided for each block. Then, the ADC of each block is in charge of the AD conversion of the pixel signals of the pixels of the block, so that the AD conversion of the image signals of the pixels of the plurality of blocks is performed in parallel.
  • the AD conversion (reading and AD conversion) of the image signal can be performed only on the necessary pixels among the pixels constituting the imaging unit 21 with the block as the minimum unit.
  • the image pickup device 2 can be composed of one die.
  • FIG. 2 it is decided that two dies 51 and 52 are laminated to form a one-chip image pickup device 2, but the one-chip image pickup device 2 is configured by stacking three or more dies. can do.
  • the memory 33 of FIG. 2 can be mounted on another die.
  • an imaging device in which sensor chips, memory chips, and DSP chip chips are connected in parallel by a plurality of bumps (hereinafter, also referred to as bump-connected imaging devices), imaging of one chip configured in a laminated structure is performed. Compared with the device 2, the thickness is greatly increased, and the device is enlarged.
  • the bump connection imaging device it may be difficult to secure a sufficient rate for outputting the captured image from the imaging processing unit 22 to the output control unit 23 due to signal deterioration or the like at the bump connecting portion. could be.
  • the image pickup device 2 having a laminated structure, it is possible to prevent the above-mentioned increase in size of the device and the inability to secure a sufficient rate as the rate between the image pickup processing unit 22 and the output control unit 23. be able to.
  • the image pickup device 2 having a laminated structure it is possible to realize that the image pickup device that outputs the information required by the user can be configured in a small size.
  • the imaging device 2 can output the captured image.
  • the imaging device 2 When the information required by the user is obtained by signal processing using the captured image, the imaging device 2 performs the signal processing in the DSP 32 to process the signal as the information required by the user. The result can be obtained and output.
  • the signal processing performed by the image pickup apparatus 2 that is, the signal processing of the DSP 32, for example, a recognition process for recognizing a predetermined recognition target from the captured image can be adopted.
  • the image pickup device 2 can receive the output of a distance sensor such as a ToF (Time of Flight) sensor arranged so as to have a predetermined positional relationship with the image pickup device 2 at the input I / F 36.
  • a distance sensor such as a ToF (Time of Flight) sensor arranged so as to have a predetermined positional relationship with the image pickup device 2 at the input I / F 36.
  • the signal processing of the DSP 32 for example, the output of the distance sensor and the imaging such as the processing of removing the noise of the distance image obtained from the output of the distance sensor received at the input I / F36 by using the captured image. Fusion processing that integrates with the image to obtain an accurate distance can be adopted.
  • the image pickup device 2 can receive an image output by an image sensor arranged so as to have a predetermined positional relationship with the image pickup device 2 at the input I / F 36.
  • a self-position estimation process (SLAM (Simultaneously Localization and Mapping)) using the image received by the input I / F 36 and the captured image as a stereo image can be adopted. ..
  • SLAM Simultaneously Localization and Mapping
  • the image pickup image 40 acquired by the image pickup block 20 is processed by the signal processing block 30, and the signal processing result 60 which is the processing result is an external element (AP) of the image pickup device 2. Etc.) can be output.
  • the processing of the signal processing block 30 in the present embodiment includes the recognition processing for the captured image 40.
  • the recognition process is performed by DSP32. An example of such a form will be described below.
  • FIG. 3 is a functional block diagram showing an example of the configuration of DSP32.
  • the DSP 32 includes an input unit 321, a division unit 322, a selection unit 323, a rotation unit 324, a recognition unit 325, a synthesis unit 326, and an output unit 327.
  • the captured image 40 (input image) is input to the input unit 321.
  • the input unit 321 acquires the captured image 40 from the imaging block 20 via the bus (FIG. 1).
  • the dividing unit 322 divides the captured image 40.
  • the division unit 322 divides the captured image 40 into a plurality of divided images of the same size.
  • the same size means that when a plurality of divided images are aligned in a predetermined direction, each of them has the same shape.
  • the predetermined orientation is the orientation when the other divided image is rotated and moved to the position on the captured image 40 of one of the plurality of divided images.
  • the captured image 410 exemplified is, for example, a circumferential fisheye image having rotational symmetry, and is divided into four divided images 411 to 414.
  • the object T1 such as a person or an object is included in the divided image 414.
  • the captured image 410 is divided along the dividing line L1 (pointing to all the linear broken lines in the figure).
  • the dividing line L1 extends in a predetermined direction so that each divided image has the same size.
  • the dividing line L1 includes four dividing lines extending from the center of the captured image 410 toward the outside. Since the degree of distortion of the circumferential fisheye image changes from the center to the outside, the divided images 411 to 414 obtained by the dividing line L1 have the same degree of distortion at the corresponding positions in each divided image.
  • the figures show plane coordinates (X, Y) and polar coordinates (r, ⁇ ).
  • the r direction corresponds to the radial direction of the circumferential fisheye image.
  • ⁇ corresponds to the circumferential direction of the circumferential fisheye image.
  • the dividing lines L1 adjacent to each other in the ⁇ direction extend in different directions by 90 degrees (360 degrees / number of divisions).
  • the division unit 322 may set the number of divisions of the captured image 40.
  • the number of divisions is an integer n of 2 or more.
  • the number of divisions may be set statically, and in this case, the division unit 322 may set a number specified by a predetermined parameter as the number of divisions.
  • the number of divisions may be set dynamically.
  • the division unit 322 may analyze the captured image 40 input to the input unit 321 and set the number of divisions based on the analysis result.
  • An example of the analysis result of the captured image 40 is the resolution of the captured image 40.
  • the division unit 322 may set an appropriate number of divisions based on the memory size of the image pickup apparatus 2, the required processing speed, and the like, in addition to the resolution of the captured image 40.
  • the division unit 322 may set the number of divisions based on the recognition result (object detection result, etc.) of the recognition unit 325.
  • the recognition result of the recognition unit 325 may be the recognition result of the captured image 40 of the current frame or the recognition result of the captured image 40 of the previous frame.
  • the recognition unit 325 may set the number of divisions so that the number of divisions increases as the number of objects in the captured image 40 decreases. As a result, as the number of divisions increases and the size of the divided image decreases, the ratio of objects to the divided images increases accordingly. Therefore, the recognition accuracy of the object by the recognition unit 325 is improved.
  • 5A and 5B are diagrams showing an example of division as described above.
  • the captured image 410 is divided into eight divided images 411a, divided image 411b, divided image 412a, divided image 412b, divided image 413a, divided image 413b, divided image 414a, and divided image 414b along the dividing line L1a. Will be done.
  • the object T1 is included in the divided image 414a. Since the size of the divided image 414a is half the size of the divided image 414 (FIG. 4B), the ratio of the object T1 in the divided image 414a is twice the ratio of the object T1 in the divided image 414 (FIG. 4B). Become.
  • the selection unit 323 selects a plurality of divided images obtained by the division unit 322.
  • the selection by the selection unit 323 is to select a divided image to be recognized by the recognition unit 325 from a plurality of divided images (including a rotation target by the rotating unit 324), and to recognize the recognition unit 325 from the plurality of divided images. This includes excluding the divided images that are not the target, and assigning the priority of recognition by the recognition unit 325 to the plurality of divided images.
  • the divided image may be statically selected.
  • the selection unit 323 may select, for example, a divided image corresponding to a predetermined position (specific quadrant, etc.) in the image.
  • the divided image may be dynamically selected.
  • the selection unit 323 may select a plurality of divided images based on the recognition result of the recognition unit 325. For example, the selection unit 323 may select a divided image including a predetermined object based on the recognition result of the recognition unit 325. The selection unit 323 may exclude the divided image including a predetermined object based on the recognition result of the recognition unit 325. The selection unit 323 may give a higher priority to the divided image including the predetermined object than the other divided images based on the recognition result of the recognition unit 325. Based on the recognition result of the recognition unit 325, the selection unit 323 may give a higher priority than the other divided images to the divided image including the object existing in the predetermined range from the image pickup device 2.
  • an object having a low need for image recognition may be excluded from the recognition target of the selection unit 323, or the selection unit 323 may be used.
  • a plurality of divided images may be selected so as to lower the priority of recognition by.
  • An example of such a use case is a SmartHome display. Since the SmartHome display is arranged in a living room or the like and monitors people, animals, etc. around it, the need for recognizing objects other than people, animals, etc. is low.
  • 6A and 6B are diagrams showing an example of selection of the divided image as described above.
  • the left half of the captured image 420 divided into four by the dividing line L2 is occupied by the wall W1.
  • the selection unit 323 selects the divided image 421 and the divided image 422 located in the right half of the image, that is, the portion of the captured image 420 excluding the portion occupied by the wall W1.
  • Examples other than the SmartHome display are surveillance cameras and watching cameras (nursing care, for babies, etc.). Since the surveillance camera is used for image recognition only in the vicinity of the door, for example, the necessity (priority) of image recognition of the divided image not including the door is low. Similarly, since the watching camera is used for image recognition only in the vicinity of the bed, for example, the necessity (priority) of image recognition of the divided image not including the bed is low.
  • the divided image may be selected based on information other than the captured image 40.
  • An example of such information is distance information.
  • the selection unit 323 may select a divided image including an object existing within a predetermined range (for example, within 1 m) from the image pickup apparatus 2.
  • the distance information may be acquired by, for example, a Depth camera. That is, when the image pickup device 2 has the function of the Depath camera, or when the information from the Depath camera is configured to be available, it exists within a predetermined range (for example, within 1 m) from the image pickup device 2. Only split images containing objects can be selected.
  • FIGS. 7A and 7B are diagrams showing an example of selection of the divided image as described above.
  • the Depth map corresponding to the captured image 430 one aspect of the captured image 40
  • the objects existing within the predetermined range are displayed as the object T2 and the object T3.
  • the object T2 exists in the lower left portion of the captured image 430 divided into four by the dividing line L3, and the object T3 exists in the upper right portion of the image.
  • the selection unit 323 selects only the portion of the captured image 430 in which the object exists, that is, the divided image 431 and the divided image 432 of the image, or gives a higher priority than the other divided images.
  • infrared map information In addition to the distance information, infrared map information, animal body map, difference image, DVS (Dynamic Vision Sensor) image, and ROI (Region Of Interest) information may be used.
  • infrared map information for example, only a divided image (quadrant) in which an object having a specific infrared intensity or higher exists may be selected.
  • the recognition process can be applied only to the divided image in which the animal body exists. By executing the recognition process only for a specific divided image, the processing load can be reduced as compared with the case of processing the entire image area, and a high frame rate and low power consumption can be realized.
  • the rotating unit 324 rotates the plurality of divided images so that, for example, the directions of gravity in each divided image are aligned.
  • the rotating unit 324 rotates the plurality of divided images so that the directions in which the degree of distortion of each divided image changes are aligned. Therefore, the rotating unit 324 rotates each of the plurality of divided images by a predetermined angle according to the position on the captured image 430 before the division.
  • the rotating unit 324 rotates the divided image 411 by ⁇ 90 ° and rotates the divided image 413 by 90 °, for example, when the divided image 412 is used as a reference. Rotate and rotate the divided image 414 180 ° in the ⁇ direction. In addition to the divided image 412, any of the divided image 411, the divided image 413, and the divided image 414 may be used as a reference.
  • the rotation direction of the divided image may be either the + ⁇ direction or the ⁇ direction.
  • the head of the person is located on the center side of the circle in each of the divided images (quadrants). This is because the person's foot is located on the outer peripheral side of the circle, so that the top and bottom do not reverse depending on the direction of rotation.
  • the divided image is rotated after being converted to a circumferential fisheye image whose center is sky / ceiling by geometric transformation. May be good.
  • the rotating unit 324 may rotate the divided image in the ⁇ direction, or instead, rotate the divided image around the dividing line. Rotation around the dividing line flips the divided image. For example, to explain with reference to the divided image 411a and the divided image 411b shown in FIG. The divided image 411b may be inverted around FIG. 5A).
  • FIGS. 8A to 8D are diagrams showing an example of rotation of the divided image.
  • the orientations of the divided images 411 to 414 are aligned with the orientations of the divided images 411. Therefore, the rotating unit 324 rotates the divided image 412 by 90 ° (360 ° / number of divisions ⁇ 1) and rotates the divided image 413 by 180 ° (360 ° / number of divisions ⁇ 2) without rotating the divided image 411.
  • the divided image 414 is rotated by 270 ° (360 ° / number of divisions ⁇ 3) in the ⁇ direction.
  • the recognition unit 325 recognizes the plurality of divided images after rotation.
  • the recognition unit 325 recognizes a plurality of rotated divided images using the trained model 330.
  • the trained model 330 is a trained model generated by using training data so as to output an image recognition result when a divided image is input.
  • FIG. 9 is an example of how to use the trained model.
  • the trained model 330 illustrated in FIG. 9 is a neural network (NN: Neural Network) configured to perform image recognition. Examples of image recognition by the trained model 330 are, but are not limited to, classification, object detection, and segmentation segmentation.
  • the rotated divided images 411 to 414 are input to the trained model 330. Each divided image may be input to the same recognition network.
  • the trained model 330 is configured with a single recognition network, which has an advantage that the memory size can be saved.
  • Each split image may be input to a different recognition network (eg, a network trained to have different parameters). In either case, the trained model 330 outputs the (plural) image recognition results corresponding to each of the divided images 411 to 414.
  • a set of training data may be used in which a divided image obtained by dividing a distorted circumferential image (for example, a fisheye circumferential image) into n is used as an input image.
  • the trained model 330 may have an input resolution corresponding to the resolution of the n-divided divided image.
  • the recognition unit 325 may recognize the divided image based on the selection result of the selection unit 323. For example, the recognition unit 325 may input only the divided image selected by the selection unit 323 into the trained model 330. Explaining an example in which priority is given to the divided image by the selection unit 323, the recognition unit 325 recognizes the divided image with high priority with high frequency and recognizes the divided image with low priority with low frequency. You can. For example, the recognition unit 325 performs recognition processing as many as 5 times per second for a divided image having a door with many people coming and going, and 1 per second for a divided image without such a door. The recognition process may be performed only once. For example, by changing the recognition frequency according to the priority in this way, it is possible to allocate the calculation resource to the divided image that requires high-speed (real-time) recognition processing.
  • the compositing unit 326 synthesizes the recognition results of each of the plurality of divided images by the recognition unit 325. For example, the compositing unit 326 uses the recognition results corresponding to each of the above-mentioned divided images 411 to 414, and has the same recognition results as when image recognition is performed on the entire divided images, that is, the captured image 410. To generate.
  • the output unit 327 outputs the recognition result of the recognition unit 325 (may be the synthesis result of the synthesis unit 326).
  • the recognition result output by the output unit 327 is output as a signal processing result 60 (or a part thereof).
  • the recognition result of the recognition unit 325 output by the output unit 327 may be fed back to the control of the image pickup processing unit 22 and the image pickup unit 21 by the image pickup control unit 25 (FIG. 1).
  • the imaging unit 21 may be configured to be able to drive pixels for each pixel region, and in that case, the corresponding pixels are driven so that only the pixel region necessary for recognition is exposed and the pixel region not necessary for recognition is not exposed. You can do it.
  • An example of a pixel area required for recognition is a pixel area corresponding to an image in which an object exists
  • an example of an area not requiring recognition is a pixel area corresponding to an image in which only a wall (wall W1 in FIG. 6A or the like) exists. ..
  • FIG. 10 is a flowchart showing an example of image recognition processing executed in the image pickup apparatus 2.
  • the image recognition process is performed by the DSP 32 executing the information processing program 335 (FIG. 1) stored in the memory 33.
  • step S1 an image is input. That is, the input unit 321 acquires the captured image 40 from the imaging block 20 via the bus (FIG. 1).
  • step S2 the division process is executed. That is, the dividing unit 322 divides the captured image 40 acquired in the previous step S1 as described above with reference to, for example, FIGS. 4A, 4B, 5A, and 5B.
  • step S3 the selection process is executed. That is, the selection unit 323 selects a plurality of divided images obtained in the previous step S2, for example, as described above with reference to FIGS. 6A, 6B, 7A, and 7B.
  • step S4 the rotation process is executed. That is, the rotating unit 324 rotates the plurality of divided images selected in the previous step S3 so that the directions of the respective shapes are aligned, for example, as described above with reference to FIGS. 8A to 8D.
  • step S5 the recognition process is executed. That is, the recognition unit 325 recognizes the plurality of divided images after the rotation in the previous step S4, for example, as described above with reference to FIG.
  • step S6 the synthesis process is executed. That is, the synthesizing unit 326 synthesizes the recognition results of each of the plurality of divided images obtained in the previous step S5, for example, as described above.
  • step S7 the recognition result is output. That is, the output unit 327 outputs the recognition result of the captured image 40 obtained in the previous step S6 as the signal processing result 60 (or a part thereof).
  • step S7 After the process of step S7 is completed, the process of the flowchart ends.
  • the captured image may be divided so that the adjacent divided images of the plurality of divided images overlap (overlap) at least in part.
  • the objects existing in the boundary region of the division (the area on the division line and the region near the division line) are included in the plurality of divided images, and therefore the recognition accuracy of the objects can be improved.
  • the captured image 440 is divided into four divided images 441 to 444 along the dividing line L4. Each divided image partially overlaps with any of the other divided images.
  • the object T4 exists in the boundary region of the divided image 443 and the divided image 444 (without being divided in this example), and is included in both the divided image 443 and the divided image 444.
  • the captured image 450 is divided into a divided image 451 and a divided image 452 along the dividing line L5.
  • the divided image 451 and the divided image 452 partially overlap each other.
  • the object T4 exists in the boundary region of the divided image 451 and the divided image 452 (without being divided in this example), and is included in both the divided image 451 and the divided image 452.
  • the dividing line does not extend along the r direction (the radial direction of the circumferential fisheye image) as described above, but extends along other directions (for example, the X direction and / or the Y direction). You may.
  • the captured image 460 is divided into four divided images 461 to 464 along the dividing line L6 (pointing to all the linear broken lines in the figure).
  • the dividing line L6 extends along the X-axis direction and the Y-axis direction.
  • Each divided image partially overlaps with a part of the divided images among the other divided images.
  • the divided image 461 partially overlaps with the divided image 462 and the divided image 464.
  • the divided image 463 partially overlaps with the divided image 462 and the divided image 464.
  • the object T1 is included in both the divided image 463 and the divided image 464.
  • the captured image 470 is divided into eight divided images 471 to 477 along the dividing line L7. Each divided image partially overlaps with a part of the divided images among the other divided images.
  • the divided image 471 partially overlaps with the divided images other than the opposing divided images 475, the divided images 472 to 474, and the divided images 476 to 478. The same applies to the divided images 472 to 478.
  • the object T1 is included in both the divided image 475 and the divided image 476.
  • the processing load in the subsequent stage is lightened by performing all the processing in the imaging device 2 and sending only the result to the subsequent stage, that is, to the outside of the imaging device 2 (including the application processor (AP) and the like).
  • AP application processor
  • NPU Neurological network Processing Unit
  • a part of the image recognition process may be executed outside the image pickup apparatus 2.
  • FIG. 15 is a diagram showing an example of a schematic configuration of an imaging device according to such a modified example.
  • the trained model 330B and the information processing program 335B stored in the memory 33B execute the rotation of the divided image by the rotating unit 324 described above in the imaging apparatus 2B.
  • the rotated divided image is sent to the application processor 70B via the output I / F 24 as a signal processing result 60.
  • the image pickup apparatus 2B includes a configuration corresponding to the recognition unit 325 and the synthesis unit 326 in the application processor 70B.
  • the application processor 70B is configured by using, for example, a CPU (Central Processing Unit) or the like, and executes an operating system, various application software, or the like.
  • the application processor 70B may be equipped with functions such as a GPU (Graphics Processing Unit) and a baseband processor.
  • the application processor 70B executes various processes as necessary for image data and machine learning results, executes display to the user, and externally via a predetermined network 80. It sends to the cloud server 90 of.
  • the application processor 70B can perform recognition processing according to various use cases, so that the versatility is enhanced.
  • FIG. 16 is a diagram showing a schematic configuration of an imaging device according to such a modified example.
  • the image pickup apparatus 2C shown in FIG. 16 is different from the image pickup apparatus 2 (FIG. 1) in that the signal processing block 30C is provided instead of the signal processing block 30.
  • the signal processing block 30C also does not have the trained model 330 and the information processing program 335 (FIG. 1) in the memory 33C.
  • the image pickup apparatus 2C includes a configuration corresponding to the division unit 322, the selection unit 323, the rotation unit 324, the recognition unit 325, and the synthesis unit 326 in the application processor 70C.
  • the image pickup apparatus 2C all the image recognition processes are executed by the application processor 70C.
  • a dedicated imaging device (or DSP) configured to execute the image recognition processing is not required, and the image recognition processing can be realized by combining a general-purpose imaging device and an application processor.
  • the recognition unit 325 may recognize the divided image using, for example, various established algorithms without using the trained model.
  • the image pickup apparatus 2 includes a division unit 322, a rotation unit 324, and a recognition unit 325.
  • the division unit 322 divides the captured image 40 (input image) into a plurality of divided images 411 to 414 having the same size.
  • the rotating unit 324 rotates the divided images 411 to 414 according to the position of the captured image 40 before the division.
  • the recognition unit 325 recognizes the rotated divided image 411 to the divided image 414.
  • the divided images 411 to 414 of the same size obtained from the captured image 40 are rotated according to the position of the captured image 40 before the division, and then the divided images are recognized. Is done.
  • the divided images of the same size are recognized in a desired direction. This makes it possible to improve the image recognition accuracy as compared with the case of recognizing a plurality of divided images having different sizes or not having the same orientation, for example.
  • the NN can be made smaller than when it is not divided. As a result, low memory consumption and high speed are realized.
  • the recognition unit 325 may recognize the rotated divided image 411 to 414 using the trained model 330.
  • the trained model 330 may be a trained model generated by using the training data so as to output the image recognition result when the divided image is input. By using the trained model 330 corresponding to the divided image in this way, the image recognition accuracy can be improved.
  • the division unit 322 may divide the captured image 40 by the number of divisions according to the recognition result of the recognition unit 325. As a result, the captured image 40 can be divided by an appropriate number of divisions according to the captured image 40.
  • the recognition unit 325 may detect the object T1 in the divided images 411 to 414.
  • the division unit 322 may divide the captured image 40 by a number of divisions such that the ratio of the object T1 detected by the recognition unit 325 to the divided image 414a is large. Thereby, the recognition accuracy of the object T1 can be improved.
  • the divided portion 322 includes at least a part of adjacent divided images among the plurality of divided images.
  • the captured image (input image) may be divided so as to overlap with. As a result, the recognition accuracy of the object T4 existing in the boundary region of the division can be improved.
  • the image pickup apparatus 2 may further include a selection unit 323. As illustrated in FIGS. 6A, 6B, 7A and 7B, the selection unit 323 may select a plurality of divided images.
  • the recognition unit 325 may recognize a plurality of divided images after rotation based on the selection result by the selection unit 323. By selecting the divided image to be recognized by the recognition unit 325 in this way, the recognition process can be made more efficient.
  • the selection by the selection unit 323 selects the divided image to be recognized by the recognition unit 325 from the plurality of divided images, and from the plurality of divided images. It may include at least one of excluding the divided image which is not the recognition target of the recognition unit 325. As a result, the divided images to be recognized by the recognition unit 325 can be narrowed down, and the burden of recognition processing can be reduced, for example.
  • the selection unit 323 may select a divided image including a predetermined object based on the recognition result of the recognition unit 325. This is useful, for example, when it is desired to improve the recognition accuracy of a predetermined object.
  • the selection unit 323 may select a divided image including an object existing within a predetermined range from the image pickup apparatus 2. This is useful, for example, when it is desired to improve the recognition accuracy of an object existing near the image pickup device 2 (for example, within 1 m).
  • the selection unit 323 may exclude the divided image including a predetermined object (for example, wall W1) based on the recognition result of the recognition unit 325. This is useful, for example, when a given object is an object that does not need to be recognized.
  • a predetermined object for example, wall W1
  • the priority of recognition by the recognition unit 325 may be given to a plurality of divided images. As a result, it is possible to improve the recognition accuracy of the divided image having a relatively high priority and reduce the recognition processing load of the divided image having a relatively low priority.
  • the selection unit 323 may give a higher priority to the divided image including the predetermined object than the other divided images based on the recognition result of the recognition unit 325. This is useful, for example, when a given object is an object that you want to recognize.
  • the selection unit 323 may give a higher priority than other divided images to a divided image including an object existing within a predetermined range from the image pickup device 2. This is useful, for example, when it is desired to improve the recognition accuracy of an object existing near the image pickup device 2 (for example, within 1 m).
  • the selection unit 323 may give a lower priority to the divided image including the predetermined object than the other divided images based on the recognition result of the recognition unit 325. This is useful, for example, when the need to recognize a given object is low.
  • the image pickup apparatus 2 may further include a compositing unit 326.
  • the synthesizing unit 326 may synthesize the recognition result of each of the plurality of divided images by the recognizing unit 325. As a result, the same recognition result as when image recognition is performed on the entire divided image, that is, the input image can be obtained.
  • the captured image 40 may be a circumferential fisheye image. 4A, 4B, 5A, 5B, 6A, 6B, 7A, 7B, 11A, 11B, 12A, 12B, 13A, 13B, 14A and 14B.
  • the dividing unit 322 may divide the captured image along the dividing line extending outward from the center of the captured image (input image). Since the degree of distortion of the circumferential fisheye image changes from the center to the outside, the plurality of divided images have the same degree of distortion at the corresponding positions in each divided image. By recognizing such a divided image by the recognition unit 325, the recognition accuracy can be improved.
  • the information processing method shown in FIG. 10 is also an embodiment of the present disclosure. That is, in the information processing method, the input image is divided into a plurality of divided images of the same size (step S2), the plurality of divided images are rotated according to the position on the input image before the division (step S4), and after the rotation. Recognize a plurality of divided images (step S5). Even with such an information processing method, it is possible to improve the image recognition accuracy as in the information processing apparatus described above.
  • the information processing program 335 stored in the memory 33 shown in FIG. 1 is also an embodiment of the present disclosure. That is, the information processing program is a program for operating a computer, in which a step of dividing an input image into a plurality of divided images of the same size (step S2) and a plurality of divided images on the input image before division.
  • the computer is made to execute the step of rotating according to the position of (step S4) and the step of recognizing a plurality of divided images after rotation (step S5). Even with such an information processing method, it is possible to improve the image recognition accuracy as in the information processing apparatus described above.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device mounted on a moving body of any kind such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. You may.
  • FIG. 17 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technique according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via the communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside information detection unit 12030, an in-vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (Interface) 12053 are shown as a functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 provides a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating a braking force of a vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, blinkers or fog lamps.
  • the body system control unit 12020 may be input with radio waves transmitted from a portable device that substitutes for the key or signals of various switches.
  • the body system control unit 12020 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the vehicle outside information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the image pickup unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle outside information detection unit 12030 causes the image pickup unit 12031 to capture an image of the outside of the vehicle and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or a character on the road surface based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of the light received.
  • the image pickup unit 12031 can output an electric signal as an image or can output it as distance measurement information. Further, the light received by the imaging unit 12031 may be visible light or invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects the in-vehicle information.
  • a driver state detection unit 12041 that detects the driver's state is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether the driver is dozing.
  • the microcomputer 12051 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit.
  • a control command can be output to 12010.
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. It is possible to perform cooperative control for the purpose of.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform coordinated control for the purpose of automatic driving, etc., which runs autonomously without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12030 based on the information outside the vehicle acquired by the vehicle exterior information detection unit 12030.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the external information detection unit 12030, and performs coordinated control for the purpose of anti-glare such as switching the high beam to the low beam. It can be carried out.
  • the audio image output unit 12052 transmits the output signal of at least one of the audio and the image to the output device capable of visually or audibly notifying the passenger of the vehicle or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are exemplified as output devices.
  • the display unit 12062 may include, for example, at least one of an onboard display and a heads-up display.
  • FIG. 18 is a diagram showing an example of the installation position of the imaging unit 12031.
  • the imaging unit 12031 includes imaging units 12101, 12102, 12103, 12104, and 12105.
  • the imaging units 12101, 12102, 12103, 12104, 12105 are provided at positions such as, for example, the front nose, side mirrors, rear bumpers, back doors, and the upper part of the windshield in the vehicle interior of the vehicle 12100.
  • the image pickup unit 12101 provided on the front nose and the image pickup section 12105 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirrors mainly acquire images of the side of the vehicle 12100.
  • the imaging unit 12104 provided on the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
  • the imaging unit 12105 provided on the upper part of the windshield in the vehicle interior is mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 18 shows an example of the photographing range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors, respectively
  • the imaging range 12114 indicates the imaging range of the imaging units 12102 and 12103.
  • the imaging range of the imaging unit 12104 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, a bird's-eye view image of the vehicle 12100 as viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the image pickup units 12101 to 12104 may be a stereo camera composed of a plurality of image pickup elements, or may be an image pickup element having pixels for phase difference detection.
  • the microcomputer 12051 has a distance to each three-dimensional object within the imaging range 12111 to 12114 based on the distance information obtained from the imaging units 12101 to 12104, and a temporal change of this distance (relative velocity with respect to the vehicle 12100). By obtaining can. Further, the microcomputer 12051 can set an inter-vehicle distance to be secured in front of the preceding vehicle in advance, and can perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform coordinated control for the purpose of automatic driving or the like in which the vehicle travels autonomously without depending on the operation of the driver.
  • automatic brake control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • the microcomputer 12051 converts three-dimensional object data related to a three-dimensional object into two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, utility poles, and other three-dimensional objects based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles that can be seen by the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be provided.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the captured image of the imaging units 12101 to 12104.
  • pedestrian recognition includes, for example, a procedure for extracting feature points in an image captured by an imaging unit 12101 to 12104 as an infrared camera, and pattern matching processing for a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian. It is done by the procedure to determine.
  • the audio image output unit 12052 When the microcomputer 12051 determines that a pedestrian is present in the captured images of the imaging units 12101 to 12104 and recognizes the pedestrian, the audio image output unit 12052 outputs a square contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to superimpose and display. Further, the audio image output unit 12052 may control the display unit 12062 so as to display an icon or the like indicating a pedestrian at a desired position.
  • the above is an example of a vehicle control system to which the technology according to the present disclosure can be applied.
  • the technique according to the present disclosure can be applied to the imaging unit 12031 among the configurations described above.
  • By applying the technique according to the present disclosure to the image capturing unit 12031 it is possible to obtain a captured image that is easier to see, and thus it is possible to reduce driver fatigue.
  • the present technology can also have the following configurations.
  • a division part that divides the input image into multiple divided images of the same size, A rotating unit that rotates the plurality of divided images according to the position on the input image before division, and A recognition unit that recognizes a plurality of divided images after rotation, and Information processing device.
  • the recognition unit recognizes the plurality of divided images after the rotation using the trained model, and recognizes the plurality of divided images after the rotation.
  • the trained model is a trained model generated by using training data so as to output an image recognition result when a divided image is input.
  • the information processing device according to (1).
  • the division unit divides the input image by the number of divisions according to the recognition result of the recognition unit.
  • the information processing device according to (1) or (2).
  • the recognition unit detects an object in the divided image and The division unit divides the input image by a number of divisions such that the ratio of the object detected by the recognition unit to the divided image becomes large.
  • the information processing device according to (3).
  • the division portion divides the input image so that adjacent divided images of the plurality of divided images overlap at least a part of the divided images.
  • the information processing device according to any one of (1) to (4).
  • a selection unit for selecting the plurality of divided images is further provided.
  • the recognition unit recognizes a plurality of divided images after the rotation based on the selection result by the selection unit.
  • the information processing device according to any one of (1) to (5).
  • the selection by the selection unit is to select a divided image to be recognized by the recognition unit from the plurality of divided images, and to exclude the divided image to be recognized by the recognition unit from the plurality of divided images. Including at least one The information processing device according to (6). (8) The selection unit selects a divided image including a predetermined object based on the recognition result of the recognition unit. The information processing device according to (7). (9) The selection unit selects a divided image including an object existing within a predetermined range from the information processing device. The information processing device according to (7). (10) The selection unit excludes the divided image including a predetermined object based on the recognition result of the recognition unit. The information processing device according to (8).
  • the selection by the selection unit gives the priority of recognition by the recognition unit to the plurality of divided images.
  • the information processing device according to any one of (6) to (10).
  • (12) Based on the recognition result of the recognition unit, the selection unit gives a higher priority to the divided image including a predetermined object than the other divided images.
  • the information processing device according to (11). (13)
  • the selection unit gives a higher priority than other divided images to a divided image including an object existing within a predetermined range from the information processing device.
  • the selection unit Based on the recognition result of the recognition unit, the selection unit gives a lower priority to the divided image including a predetermined object than the other divided images.
  • a compositing unit for synthesizing the recognition results of each of the plurality of divided images by the recognition unit is further provided.
  • the information processing device according to any one of (1) to (14).
  • the input image is a circumferential fisheye image.
  • the dividing portion divides the input image along a dividing line extending outward from the center of the input image.
  • the information processing device according to any one of (1) to (15).
  • (17) Divide the input image into multiple split images of the same size, The plurality of divided images are rotated according to the positions on the input image before division. Recognizing the plurality of divided images after rotation, Information processing methods, including that.
  • a program to make a computer work The process of dividing the input image into multiple divided images of the same size, A step of rotating the plurality of divided images according to a position on the input image before division, and The step of recognizing a plurality of divided images after rotation and A program for causing the computer to execute.
  • Imaging device 20 Imaging block 21 Imaging unit 22 Imaging processing unit 23 Output control unit 24 Output I / F 25 Imaging control unit 26 Communication I / F 27 Register group 30 Signal processing block 31 CPU 32 DSP 33 Memory 34 Communication I / F 35 Image compression unit 36 Input I / F 40 Captured image 51 Die 52 Die 60 Signal processing result 70 Application processor 80 Network 90 Cloud server 321 Input unit 322 Division unit 323 Selection unit 324 Rotation unit 325 Recognition unit 326 Synthesis unit 327 Output unit 330 Learned model 335 Information processing program

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Vascular Medicine (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

情報処理装置（２）は、入力画像を同じサイズの複数の分割画像に分割する分割部（３２２）と、複数の分割画像を分割前の入力画像上の位置に応じて回転させる回転部（３２４）と、回転後の複数の分割画像を認識する認識部（３２５）と、を備える。

Description

情報処理装置及び情報処理方法
　本開示は、情報処理装置及び情報処理方法に関する。
　特許文献１（特開２０１２－２３０５４６号公報）は、魚眼画像をそのまま用いて物体認識を行う手法を提案する。この手法は、魚眼画像をひずみの方向に合わせて分割し、分割された各画像をデータベースと照合することによって、画像中の物体を認識する。
特開２０１２－２３０５４６号公報
　魚眼画像のような歪んだ画像の認識精度の向上には、依然として改善の余地が残る。本開示は、魚眼画像のような歪んだ画像の認識精度を向上させることが可能な、情報処理装置、情報処理方法および情報処理プログラムを提供することを目的とする。
　本開示の一側面に係る情報処理装置は、入力画像を同じサイズの複数の分割画像に分割する分割部と、複数の分割画像を分割前の入力画像上の位置に応じて回転させる回転部と、回転後の複数の分割画像を認識する認識部と、を備える。
　本開示の一側面に係る情報処理方法は、入力画像を同じサイズの複数の分割画像に分割し、複数の分割画像を分割前の入力画像上の位置に応じて回転させ、回転後の複数の分割画像を認識する、ことを含む。
実施形態に係る撮像装置（情報処理装置の一態様）の概略構成の例を示す図である。 撮像装置の外観構成例の概要を示す斜視図である。 ＤＳＰの構成の例を示す機能ブロック図である。 画像の分割の例を示す図である。 画像の分割の例を示す図である。 画像の分割の例を示す図である。 画像の分割の例を示す図である。 分割画像の選定の例を示す図である。 分割画像の選定の例を示す図である。 分割画像の選定の例を示す図である。 分割画像の選定の例を示す図である。 分割画像の回転の例を示す図である。 分割画像の回転の例を示す図である。 分割画像の回転の例を示す図である。 分割画像の回転の例を示す図である。 分割画像の学習済みモデルへの入力の例を示す図である。 認識処理の例を示すフローチャートである。 画像の分割の例を示す図である。 画像の分割の例を示す図である。 画像の分割の例を示す図である。 画像の分割の例を示す図である。 画像の分割の例を示す図である。 画像の分割の例を示す図である。 画像の分割の例を示す図である。 画像の分割の例を示す図である。 変形例に係る撮像装置の概略構成の例を示す図である。 変形例に係る撮像装置の概略構成の例を示す図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　以下に示す項目順序に従って本開示を説明する。
　　１．　はじめに
　　２．　実施形態
　　　２．１　撮像装置（情報処理装置の一態様）の構成例
　　　２．２　ＤＳＰの構成の例
　　　２．３　画像認識処理の例
　　３．　変形例
　　４．　効果
　　５．　移動体への応用例
１．　はじめに
　魚眼／全天球カメラを用いることで、広範囲を一度に撮像することが可能となる。撮像画像（例えば円周画像）は歪んでいるため、通常は画像変換を行い物体や人物認識や検出などを行う。ただし処理が重いため、歪んだ画像をそのまま用いるニーズもある。その場合には、認識・検出精度が低下し、それを解決するために複数の認識部を持つとメモリ量や計算量が増大してしまう。認識・検出精度が高く、かつ、高速、低消費メモリの実現が望まれている。
　必須ではないが、本開示の一側面においては、歪みのある円周画像を使って学習された人検出や物体検出用のＮＮ(ニューラルネット)が用いられる。円周画像の回転対称性を利用して、ｎ分割した画像を入力画像として使用する場合は、ｎ分割した際の入力解像度を持つＮＮを、ｎ分割した訓練データセットを使って学習する。推論する際は、学習したｎ分割数と同じように推論の対象となる画像をｎ分割して回転させて、事前に学習済みのｎ分割用ＮＮに入力して画像の認識（オブジェクト検出等を含む）を行う。これにより、後に説明するように、認識精度が向上する。また、画像を分割することで、分割しない場合と比較して、ＮＮを小さくできる。それにより、低消費メモリ、高速化が実現される。
２．　実施形態
２．１　撮像装置（情報処理装置の一態様）の構成例
　以下、実施形態に係る撮像装置について説明する。以下の実施形態では、撮像装置は、カメラなどの電子機器であって、取得された画像データを信号処理する情報処理装置でもある。カメラは、魚眼カメラであってもよい。ただし、撮像装置はそのような電子機器に限定されない。
　図１は、撮像装置の構成例を示すブロック図である。撮像装置２は、撮像ブロック２０及び信号処理ブロック３０を含む。撮像ブロック２０及び信号処理ブロック３０は、接続線ＣＬ１～ＣＬ３によって接続される。
　撮像ブロック２０は、撮像動作を実行することで画像データを生成する。撮像ブロック２０は、撮像部２１、撮像処理部２２、出力制御部２３、出力Ｉ／Ｆ２４及び撮像制御部２５を含む。
　撮像部２１は、二次元に配置された複数の画素を含む。撮像部２１に光学系（不図示）からの光が入射すると、各画素で光電変換が行われ、入射光に対応するアナログの画素信号が出力される。
　撮像処理部２２は、撮像部２１を駆動する。また、撮像処理部２２は、撮像部２１からのアナログの画素信号をディジタルの画素信号に変換し、ディジタルに変換された１フレーム分の画素信号を撮像画像４０として出力する。撮像画像４０は、出力制御部２３に送られるとともに、接続線ＣＬ２を介して信号処理ブロック３０に送られる。撮像画像４０は、動画像における１つのフレームであってよい。撮像装置２が魚眼カメラの場合、撮像画像４０は魚眼画像であってよい。魚眼画像は、円周魚眼画像であってよい。
　出力制御部２３は、撮像処理部２２からの撮像画像４０及び／又は信号処理ブロック３０からの信号処理結果６０（後述）を、出力Ｉ／Ｆ２４を介して外部に出力する。
　出力Ｉ／Ｆ２４は、撮像画像４０及び信号処理結果６０を外部に出力するＩ／Ｆである。出力Ｉ／Ｆ２４として、例えばＭＩＰＩ（Mobile　Industry　Processor　Interface）等の比較的高速なＩ／Ｆ等が採用されてよい。
　撮像制御部２５は、通信Ｉ／Ｆ２６及びレジスタ群２７を含む。通信Ｉ／Ｆ２６は、撮像装置２の外部との間で、レジスタ群２７に読み書きする情報等の必要な情報のやり取りを行う。通信Ｉ／Ｆ２６として、例えばＩ２Ｃ（Inter-Integrated　Circuit）等のシリアル通信Ｉ／Ｆ等の第１の通信Ｉ／Ｆが採用されてよい。レジスタ群２７は、撮像部２１による撮像に関する情報、その他の各種情報を記憶する。
　撮像制御部２５は、レジスタ群２７に記憶された撮像情報に従って、撮像処理部２２を制御し、これにより、撮像部２１での画像の撮像を制御する。撮像制御部２５は、接続線ＣＬ１を介して、信号処理ブロック３０のＣＰＵ３１と接続されている。レジスタ群２７に対する情報の読み書きは、ＣＰＵ３１によって行われてよい。
　信号処理ブロック３０は、撮像ブロック２０で得られた撮像画像４０等を用いて、所定の信号処理を行う。信号処理ブロック３０は、ＣＰＵ（Central　Processing　Unit）３１、ＤＳＰ（Digital　Signal　Processor）、メモリ３３、通信Ｉ／Ｆ３４、画像圧縮部３５、入力Ｉ／Ｆ３６及び差分生成部３７を含む。これらの信号処理ブロック３０の構成要素は、相互にバスを介して接続され、必要に応じて情報のやり取りを行う。
　ＣＰＵ３１は、プログラムを実行することにより、ＤＳＰ３２での信号処理により得られる信号処理結果６０を用いて、撮像情報を算出する撮像情報算出部として機能する。ＣＰＵ３１は、算出した撮像情報を、接続線ＣＬ１を介して、撮像制御部２５のレジスタ群２７にフィードバックして記憶させる。
　ＤＳＰ３２は、メモリ３３に記憶されたプログラムを実行することで、撮像処理部２２から、接続線ＣＬ２を介して、信号処理ブロック３０に供給される撮像画像４０、入力Ｉ／Ｆ３６が外部から受け取る情報を用いた信号処理を行う。
　メモリ３３は、ＳＲＡＭ（Static　Random　Access　Memory）、ＤＲＡＭ（Dynamic　RAM）等で構成され、信号処理ブロック３０の処理上必要なプログラム等を記憶する。撮像装置２の動作に必要なプログラム、後述の学習済みモデル３３０及び情報処理プログラム３３５も、メモリ３３に記憶される。
　通信Ｉ／Ｆ３４は、例えば、ＳＰＩ（Serial　Peripheral　Interface）等のシリアル通信Ｉ／Ｆ等の第２の通信Ｉ／Ｆであり、外部との間で、ＣＰＵ３１、ＤＳＰ３２が実行するプログラム等の必要な情報のやりとりを行う。
　画像圧縮部３５には、撮像処理部２２から接続線ＣＬ２を介して、撮像画像４０が供給される。画像圧縮部３５は、撮像画像４０を圧縮する圧縮処理を行い、その撮像画像４０よりもデータ量が少ない圧縮画像を生成する。生成された圧縮画像は、バスに供給される。なお、画像圧縮部３５によって圧縮されない非圧縮画像がバスに供給されてもよい。以下、とくに説明がある場合を除き、圧縮画像及び非圧縮画像をいずれも撮像画像４０と称する。
　入力Ｉ／Ｆ３６は、外部から情報を受け取るＩ／Ｆである。入力Ｉ／Ｆ３６は、例えば、外部のセンサから、その外部のセンサの出力（外部センサ出力）を受け取り、バスを介して、メモリ３３に供給して記憶させる。
　図２は、図１の撮像装置２の外観構成例の概要を示す斜視図である。
　撮像装置２は、例えば、図２に示すように、複数のダイが積層された積層構造を有する１チップの半導体装置として構成することができる。
　図２では、撮像装置２は、ダイ５１及び５２の２枚のダイが積層されて構成される。
　図２において、上側のダイ５１には、撮像部２１が搭載され、下側のダイ５２には、撮像処理部２２ないし撮像制御部２５、及び、ＣＰＵ３１ないし入力Ｉ／Ｆ３６が搭載されている。
　上側のダイ５１と下側のダイ５２とは、例えば、ダイ５１を貫き、ダイ５２にまで到達する貫通孔を形成することにより、又は、ダイ５１の下面側に露出したＣｕ配線と、ダイ５２の上面側に露出したＣｕ配線とを直接接続するＣｕ－Ｃｕ接合を行うこと等により、電気的に接続される。
　ここで、撮像処理部２２において、撮像部２１が出力する画像信号のＡＤ変換を行う方式としては、例えば、列並列ＡＤ方式やエリアＡＤ方式を採用することができる。
　列並列ＡＤ方式では、例えば、撮像部２１を構成する画素の列に対してＡＤＣ(AD　Converter)が設けられ、各列のＡＤＣが、その列の画素の画素信号のＡＤ変換を担当することで、１行の各列の画素の画像信号のＡＤ変換が並列に行われる。列並列ＡＤ方式を採用する場合には、その列並列ＡＤ方式のＡＤ変換を行う撮像処理部２２の一部が、上側のダイ５１に搭載されることがある。
　エリアＡＤ方式では、撮像部２１を構成する画素が、複数のブロックに区分され、各ブロックに対して、ＡＤＣが設けられる。そして、各ブロックのＡＤＣが、そのブロックの画素の画素信号のＡＤ変換を担当することで、複数のブロックの画素の画像信号のＡＤ変換が並列に行われる。エリアＡＤ方式では、ブロックを最小単位として、撮像部２１を構成する画素のうちの必要な画素についてだけ、画像信号のＡＤ変換（読み出し及びＡＤ変換）を行うことができる。
　なお、撮像装置２の面積が大になることが許容されるのであれば、撮像装置２は、１枚のダイで構成することができる。
　また、図２では、２枚のダイ５１及び５２を積層して、１チップの撮像装置２を構成することとしたが、１チップの撮像装置２は、３枚以上のダイを積層して構成することができる。例えば、３枚のダイを積層して、１チップの撮像装置２を構成する場合には、図２のメモリ３３を、別のダイに搭載することができる。
　ここで、センサチップ、メモリチップ、及び、ＤＳＰチップのチップどうしを、複数のバンプで並列に接続した撮像装置（以下、バンプ接続撮像装置ともいう）では、積層構造に構成された１チップの撮像装置２に比較して、厚みが大きく増加し、装置が大型化する。
　さらに、バンプ接続撮像装置では、バンプの接続部分での信号劣化等により、撮像処理部２２から出力制御部２３に撮像画像を出力するレートとして、十分なレートを確保することが困難になることがあり得る。
　積層構造の撮像装置２によれば、以上のような装置の大型化や、撮像処理部２２と出力制御部２３との間のレートとして、十分なレートを確保することができなくなることを防止することができる。
　したがって、積層構造の撮像装置２によれば、ユーザが必要とする情報を出力する撮像装置を小型に構成することを実現することができる。
　ユーザが必要とする情報が、撮像画像である場合には、撮像装置２は、撮像画像を出力することができる。
　また、ユーザが必要とする情報が、撮像画像を用いた信号処理により得られる場合には、撮像装置２は、ＤＳＰ３２において、その信号処理を行うことにより、ユーザが必要とする情報としての信号処理結果を得て出力することができる。
　撮像装置２で行われる信号処理、すなわち、ＤＳＰ３２の信号処理としては、例えば、撮像画像から、所定の認識対象を認識する認識処理を採用することができる。
　また、例えば、撮像装置２は、その撮像装置２と所定の位置関係になるように配置されたＴｏＦ(Time　of　Flight)センサ等の距離センサの出力を、入力Ｉ／Ｆ３６で受け取ることができる。この場合、ＤＳＰ３２の信号処理としては、例えば、入力Ｉ／Ｆ３６で受け取った距離センサの出力から得られる距離画像のノイズを、撮像画像を用いて除去する処理のような、距離センサの出力と撮像画像とを統合して、精度の良い距離を求めるフュージョン処理を採用することができる。
　さらに、例えば、撮像装置２は、その撮像装置２と所定の位置関係になるように配置されたイメージセンサが出力する画像を、入力Ｉ／Ｆ３６で受け取ることができる。この場合、ＤＳＰ３２の信号処理としては、例えば、入力Ｉ／Ｆ３６で受け取った画像と、撮像画像とをステレオ画像として用いた自己位置推定処理(ＳＬＡＭ(Simultaneously　Localization　and　Mapping))を採用することができる。
　以上の構成を備える撮像装置２では、撮像ブロック２０によって取得された撮像画像４０を信号処理ブロック３０で処理し、また、その処理結果である信号処理結果６０を撮像装置２の外部の要素（ＡＰ等を含む）に出力することができる。本実施形態における信号処理ブロック３０の処理は、撮像画像４０に対する認識処理を含む。一実施形態において、認識処理は、ＤＳＰ３２によって実行される。以下では、そのような形態の例を説明する。
２．２　ＤＰＳの構成の例
　図３は、ＤＳＰ３２の構成の例を示す機能ブロック図である。ＤＳＰ３２は、入力部３２１と、分割部３２２と、選定部３２３と、回転部３２４と、認識部３２５と、合成部３２６と、出力部３２７とを含む。
　入力部３２１には、撮像画像４０（入力画像）が入力される。入力部３２１は、バス（図１）を介して、撮像ブロック２０からの撮像画像４０を取得する。
　分割部３２２は、撮像画像４０を分割する。分割部３２２は、撮像画像４０を同じサイズの複数の分割画像に分割する。同じサイズとは、複数の分割画像を所定の向きに揃えた場合に、各々が同一形状を有することを意味する。所定の向きは、複数の分割画像のうちの一つの分割画像の撮像画像４０上における位置に、他の分割画像を回転移動させたときの向きである。
　図４Ａ及び図４Ｂは、画像の分割の例を示す図である。例示される撮像画像４１０は、例えば回転対称性を有する円周魚眼画像であり、分割画像４１１～分割画像４１４に４分割される。人、物体等のオブジェクトＴ１は、分割画像４１４に含まれる。図４Ａに示すように、撮像画像４１０は、分割線Ｌ１（図中のすべての直線状の破線を指し示す）に沿って分割される。分割線Ｌ１は、各分割画像が同じサイズを有するように、所定方向に延在する。
　図４Ａの例では、分割線Ｌ１は、撮像画像４１０の中心から外側に向かう方向に沿って延在する４つの分割線を含む。円周魚眼画像は中心から外側に向かうにつれて歪の程度が変化するので、分割線Ｌ１によって得られる分割画像４１１～分割画像４１４は、各分割画像中の対応する位置において、同程度の歪を有する。説明の便宜のため、図には平面座標（Ｘ、Ｙ）及び極座標（ｒ、θ）が示される。ｒ方向は、円周魚眼画像の径方向に対応する。θは、円周魚眼画像の周方向に対応する。極座標でみた場合、θ方向に隣り合う分割線Ｌ１どうしは、互いに９０度（３６０度／分割数）異なる方向に延在する。
　図３に戻り、分割部３２２は、撮像画像４０の分割数を設定してよい。分割数は、２以上の整数ｎである。例えば分割数は静的に設定されてよく、この場合、分割部３２２は、予め定められたパラメータによって指定される数を、分割数として設定してよい。
　分割数は動的に設定されてもよい。例えば、分割部３２２は、入力部３２１に入力された撮像画像４０を解析し、その解析結果に基づいて分割数を設定してよい。撮像画像４０の解析結果の例は、撮像画像４０の解像度である。分割部３２２は、撮像画像４０の解像度に加えて、撮像装置２のメモリサイズ、必要とされる処理速度等に基づいて適切な分割数を設定してよい。
　分割部３２２は、認識部３２５の認識結果（オブジェクト検出結果等）に基づいて分割数を設定してもよい。認識部３２５の認識結果は、現フレームの撮像画像４０の認識結果であってもよいし、前フレームの撮像画像４０の認識結果であってもよい。例えば、認識部３２５は、撮像画像４０中のオブジェクトの数が少なくなるにつれて、分割数が増加するように分割数を設定してよい。これにより、分割数が増加して分割画像のサイズが小さくなると、その分、分割画像に占めるオブジェクトの比率が大きくなる。したがって、認識部３２５によるオブジェクトの認識精度が向上する。
　図５Ａ及び図５Ｂは、上述のような分割の例を示す図である。この例では、撮像画像４１０は、分割線Ｌ１ａに沿って、分割画像４１１ａ、分割画像４１１ｂ、分割画像４１２ａ、分割画像４１２ｂ、分割画像４１３ａ、分割画像４１３ｂ、分割画像４１４ａ及び分割画像４１４ｂに８分割される。オブジェクトＴ１は、分割画像４１４ａに含まれる。分割画像４１４ａのサイズは、分割画像４１４（図４Ｂ）のサイズの半分であるので、分割画像４１４ａに占めるオブジェクトＴ１の比率は、分割画像４１４（図４Ｂ）に占めるオブジェクトＴ１の比率の２倍になる。
　この他にもさまざまな分割態様が存在し、これについては後に図１１Ａ以降を参照して説明する。
　図３に戻り、選定部３２３は、分割部３２２によって得られた複数の分割画像を選定する。ここで、選定部３２３による選定は、複数の分割画像から認識部３２５の認識対象（回転部３２４による回転対象も含みうる）となる分割画像を選び出すこと、複数の分割画像から認識部３２５の認識対象とならない分割画像を除外すること、及び、複数の分割画像に対して認識部３２５による認識の優先度を付与することを含む。
　分割画像は、静的に選定されてよい。この場合、選定部３２３は、例えば画像中の予め定められた位置（特定の象限等）に対応する分割画像を選定してよい。
　分割画像は、動的に選定されてもよい。この場合、選定部３２３は、認識部３２５の認識結果に基づいて、複数の分割画像を選定してよい。例えば、選定部３２３は、認識部３２５の認識結果に基づいて、所定のオブジェクトを含む分割画像を選び出してよい。選定部３２３は、認識部３２５の認識結果に基づいて、所定のオブジェクトを含む分割画像を除外してもよい。選定部３２３は、認識部３２５の認識結果に基づいて、所定のオブジェクトを含む分割画像に対して他の分割画像よりも高い優先度を付与してもよい。選定部３２３は、認識部３２５の認識結果に基づいて、撮像装置２から所定範囲内に存在するオブジェクトを含む分割画像に対して他の分割画像よりも高い優先度を付与してもよい。
　具体例について述べると、例えば撮像画像４０が、同じ場所を長期間撮像することで得られる画像の場合、画像認識の必要性が低いオブジェクトを選定部３２３の認識対象から除外したり、選定部３２３による認識の優先度を下げたりするように、複数の分割画像が選定されてよい。そのようなユースケースとして、ＳｍａｒｔＨｏｍｅディスプレイが挙げられる。ＳｍａｒｔＨｏｍｅディスプレイは、例えばリビング等に配置されその周囲の人、動物等をモニタリングするので、人、動物等以外のオブジェクトの認識の必要性が低い。
　図６Ａ及び図６Ｂは、上述のような分割画像の選定の例を示す図である。分割線Ｌ２によって４分割される撮像画像４２０の左半分が、壁Ｗ１で占められている。この場合、選定部３２３は、撮像画像４２０のうち、壁Ｗ１で占められた部分を除く部分、すなわち画像の右半分に位置する分割画像４２１及び分割画像４２２を選定する。
　ＳｍａｒｔＨｏｍｅディスプレイ以外の例は、監視カメラ及び見守りカメラ（介護、乳児用等）である。監視カメラは、例えばドア付近のみの画像認識に用いられるので、ドアが含まれない分割画像の画像認識の必要性（優先度）は低い。同様に、見守りカメラは、例えばベッド付近のみの画像認識に用いられるので、ベッドが含まれない分割画像の画像認識の必要性（優先度）は低い。
　分割画像は、撮像画像４０以外の情報に基づいて選定されてもよい。そのような情報の一例は、距離情報である。この場合、選定部３２３は、撮像装置２から所定範囲内（例えば１ｍ以内）に存在するオブジェクトを含む分割画像を選び出してよい。距離情報は、例えばＤｅｐｔｈカメラによって取得されてよい。すなわち、撮像装置２がＤｅｐａｔｈカメラの機能を備えている場合、又は、Ｄｅｐａｔｈカメラからの情報を利用可能に構成されている場合には、撮像装置２から所定範囲内（例えば１ｍ以内）に存在するオブジェクトを含む分割画像のみを選定することができる。
　図７Ａ及び図７Ｂは、上述のような分割画像の選定の例を示す図である。撮像画像４３０（撮像画像４０の一態様）に対応するＤｅｐｔｈマップにおいて、所定範囲内に存在するオブジェクトが、オブジェクトＴ２及びオブジェクトＴ３として表示される。この例では、分割線Ｌ３によって４分割された撮像画像４３０の左下部分にオブジェクトＴ２が存在し、画像の右上部分にオブジェクトＴ３が存在する。画像の他の部分にはオブジェクトは存在しない。選定部３２３は、撮像画像４３０のうち、オブジェクトの存在する部分、すなわち画像の分割画像４３１及び分割画像４３２のみを選び出すか、または他の分割画像よりも高い優先度を付与する。
　距離情報以外にも、赤外線マップの情報、動物体マップ、差分画像、ＤＶＳ（Dynamic　Vision　Sensor）画像、ＲＯＩ（Region　Of　Interest）情報が用いられてよい。赤外線マップの情報が用いられる場合には、例えば特定の赤外線強度以上のオブジェクトが存在する分割画像（象限）のみが選定されてよい。この場合、後の認識部３２５による認識処理等において、例えば、温度が３７．５度以上のオブジェクトだけを認識し、その属性（人である、人ではない、男性である、女性である、既知の人物である等）を識別することができる。動物体マップが用いられる場合には、例えば動物体が存在する分割画像だけに認識処理を適用することができる。特定の分割画像に対してのみ認識処理を実行することで、全ての画像領域を処理する場合よりも処理負荷を軽減させ、高速なフレームレート、低消費電力を実現することができる。
　図３に戻り、回転部３２４は、複数の分割画像を、それぞれの分割画像における例えば重力方向が揃うように、回転させる。円周魚眼画像のような歪んだ画像の場合には、回転部３２４は、複数の分割画像を、それぞれの分割画像の歪の程度が変化する方向が揃うように回転させる。そこで、回転部３２４は、複数の分割画像それぞれを、分割前の撮像画像４３０上の位置に応じて、所定角度回転させる。これを、図４Ｂに示す分割画像４１１～４１４を用いて説明すると、回転部３２４は、例えば、分割画像４１２を基準とする場合、分割画像４１１を－９０°回転させ、分割画像４１３を９０°回転させ、分割画像４１４を１８０°、θ方向に回転させる。分割画像４１２以外にも、分割画像４１１、分割画像４１３及び分割画像４１４のいずれかが基準とされてよい。
　分割画像の回転方向は、＋θ方向及び－θ方向のいずれであってもよい。例えば画像中心が空／天井になるような円周魚眼画像から得られた複数の分割画像であれば、いずれの分割画像（象限）においても人物の頭部が円の中心側に位置し、人物の足が円の外周側に位置するため、回転方向によって天地が逆転することがないからである。なお、画像中心が空/天井にならないような円周魚眼画像の場合には、幾何変換によって円中心が空/天井になるような円周魚眼画像に変換した後に分割画像を回転させてもよい。
　回転部３２４は、分割画像を、θ方向に回転させるとともに、あるいはこれに代えて、分割線を中心に回転させてもよい。分割線を中心とする回転は、分割画像を反転（フリップ）させる。例えば先に説明した図５Ｂに示す分割画像４１１ａ及び分割画像４１１ｂで説明すると、回転部３２４は、分割画像４１１ｂが分割画像４１１ａに揃うように（分割画像４１１ａが基準の場合）、分割線Ｌ１ａ（図５Ａ）を中心に分割画像４１１ｂを反転させてよい。
　図８Ａ～図８Ｄは、分割画像の回転の例を示す図である。この例では、分割画像４１１～分割画像４１４の向きは、分割画像４１１の向きに揃えられる。したがって、回転部３２４は、分割画像４１１を回転させることなく、分割画像４１２を９０°（３６０°／分割数×１）回転させ、分割画像４１３を１８０°（３６０°／分割数×２）回転させ、分割画像４１４を２７０°（３６０°／分割数×３）、θ方向に回転させる。
　図３に戻り、認識部３２５は、回転後の複数の分割画像を認識する。一実施形態において、認識部３２５は、学習済みモデル３３０を用いて回転後の複数の分割画像を認識する。学習済みモデル３３０は、分割画像が入力されると、画像認識結果を出力するように、訓練データを用いて生成された学習済みモデルである。
　図９は、学習済みモデルの利用態様の例である。図９に例示される学習済みモデル３３０は、画像認識を実行するように構成されたニューラルネットワーク（ＮＮ：Neural　Network）である。学習済みモデル３３０による画像認識の例は、クラス分類・、オブジェクト検出、セメンティックセグメンテーションであるが、これらに限定されない。回転後の分割画像４１１～分割画像４１４は、学習済みモデル３３０に入力される。各分割画像は、同一の認識ネットワークに入力されてよい。この場合、学習済みモデル３３０を単一の認識ネットワークで構成し、メモリサイズを節約できるといったメリットがある。各分割画像は、異なる認識ネットワーク（例えば異なるパラメータを有するように学習されたネットワーク）に入力されてもよい。いずれにおいても、学習済みモデル３３０は、分割画像４１１～分割画像４１４の各々に対応する（複数の）画像認識結果を出力する。
　学習済みモデル３３０の生成には、例えば、歪のある円周画像（例えば魚眼円周画像）がｎ分割された分割画像を入力画像とする訓練データのセットが用いられてよい。学習済みモデル３３０は、ｎ分割された分割画像の解像度に対応する入力解像度を有してよい。ｎ分割された分割画像を用いて訓練データのセットを準備することで、分割しない場合と比較して、ｎ倍のデータセットが得られる。
　認識部３２５は、選定部３２３の選定結果に基づいて、分割画像を認識してよい。例えば、認識部３２５は、選定部３２３によって選び出された分割画像のみを学習済みモデル３３０に入力してよい。選定部３２３によって分割画像に優先度が付与される場合の例を説明すると、認識部３２５は、優先度が高い分割画像を高頻度で認識し、優先度が低い分割画像を低頻度で認識してよい。例えば、認識部３２５は、人の出入りが多いドアが存在する分割画像に対しては１秒間に５回もの認識処理を行い、そのようなドアが存在しない分割画像に対しては１秒間に１回だけ認識処理を行ってよい。例えばこのようにして優先度に応じて認識頻度を変えることによって、高速な（リアルタイムで）認識処理が必要な分割画像に計算リソースを割り当てることができる。
　図３に戻り、合成部３２６は、認識部３２５による複数の分割画像の各々の認識結果を合成する。例えば、合成部３２６は、上述の分割画像４１１～分割画像４１４の各々に対応する認識結果を用いて、それらの分割画像全体すなわち撮像画像４１０に対して画像認識を行った場合と同様の認識結果を生成する。
　出力部３２７は、認識部３２５の認識結果（合成部３２６の合成結果であってもよい）を出力する。出力部３２７によって出力された認識結果は、信号処理結果６０（あるいはその一部）として出力される。
　出力部３２７によって出力された認識部３２５の認識結果は、撮像制御部２５（図１）による撮像処理部２２及び撮像部２１の制御にフィードバックされてよい。例えば撮像部２１が画素領域ごとに画素駆動可能に構成されていてよく、その場合、認識に必要な画素領域のみが露光され、認識に必要でない画素領域が露光されないように、対応する画素を駆動してよい。認識に必要な画素領域の例はオブジェクトが存在する画像に対応する画素領域であり、認識が不要な領域の例は壁（図６Ａの壁Ｗ１等）しか存在しない画像に対応する画素領域である。認識不要な画像に対応する画素領域の画素駆動をＯＦＦにすることにより（露光画素領域を制御することにより）、撮像装置２の消費電力を低減することができる。
２．３　画像認識処理の例
　図１０は、撮像装置２において実行される画像認識処理の例を示すフローチャートである。画像認識処理は、ＤＳＰ３２がメモリ３３に記憶された情報処理プログラム３３５(図１)を実行することによって行われる。
　ステップＳ１において、画像が入力される。すなわち、入力部３２１が、バス（図１）を介して、撮像ブロック２０からの撮像画像４０を取得する。
　ステップＳ２において、分割処理が実行される。すなわち、分割部３２２が、例えば先に図４Ａ、ず４Ｂ、図５Ａ及び図５Ｂを参照して説明したように、先のステップＳ１で取得された撮像画像４０を分割する。
　ステップＳ３において、選定処理が実行される。すなわち、選定部３２３が、例えば先に図６Ａ、図６Ｂ、図７Ａ及び図７Ｂを参照して説明したように、先のステップＳ２で得られた複数の分割画像を選定する。
　ステップＳ４において、回転処理が実行される。すなわち、回転部３２４が、例えば先に図８Ａ～図８Ｄを参照して説明したように、先のステップＳ３で選定された複数の分割画像を各々の形状の向きが揃うように回転させる。
　ステップＳ５において、認識処理が実行される。すなわち、認識部３２５が、例えば先に図９を参照して説明したように、先のステップＳ４で回転した後の複数の分割画像を認識する。
　ステップＳ６において、合成処理が実行される。すなわち、合成部３２６が、例えばこれまで説明したように、先のステップＳ５で得られた複数の分割画像の各々の認識結果を合成する。
　ステップＳ７において、認識結果が出力される。すなわち、出力部３２７が、先のステップＳ６で得られた撮像画像４０の認識結果を、信号処理結果６０（あるいはその一部として出力する。
　ステップＳ７の処理が完了した後、フローチャートの処理は終了する。
　以上、本開示の実施形態について説明したが、本開示の実施形態は上述の例に限定されない。
３．　変形例
　分割部３２２による分割態様の変形例について説明する。
　複数の分割画像のうちの隣接する分割画像どうしが少なくとも一部で重複（オーバーラップ）するように、撮像画像が分割されてよい。これにより、例えば分割の境界領域（分割線上及び分割線付近の領域）に存在するオブジェクトが複数の分割画像に含まれるようになり、したがって、オブジェクトの認識精度を向上させることができる。図１１Ａ及び図１１Ｂに示す例では、撮像画像４４０は、分割線Ｌ４に沿って、分割画像４４１～分割画像４４４に４分割される。各分割画像は、他のいずれの分割画像とも一部重複する。オブジェクトＴ４は、分割画像４４３及び分割画像４４４の境界領域に（この例では分断されることなく）存在し、分割画像４４３及び分割画像４４４のいずれにも含まれる。
　図１２Ａ及び図１２Ｂに示す例では、撮像画像４５０は、分割線Ｌ５に沿って、分割画像４５１及び分割画像４５２に２分割される。分割画像４５１及び分割画像４５２は、互いに一部重複する。オブジェクトＴ４は、分割画像４５１及び分割画像４５２の境界領域に（この例では分断されることなく）存在し、分割画像４５１及び分割画像４５２のいずれにも含まれる。
　分割線は、これまで説明したようなｒ方向（円周魚眼画像の径方向）に沿って延在するのではなく、他の方向（例えばＸ方向及び／又はＹ方向）に沿って延在してもよい。
　図１３Ａ及び図１３Ｂに示す例では、撮像画像４６０が、分割線Ｌ６（図中のすべての直線状の破線を指し示す）に沿って、分割画像４６１～分割画像４６４に４分割される。分割線Ｌ６は、Ｘ軸方向及びＹ軸方向に沿って延在する。各分割画像は、他の分割画像のうちの一部の分割画像と一部重複する。分割画像４６１は、分割画像４６２及び分割画像４６４と一部重複する。分割画像４６３は、分割画像４６２及び分割画像４６４と一部重複する。オブジェクトＴ１は、分割画像４６３及び分割画像４６４のいずれにも含まれる。
　図１４Ａ及び図１４Ｂに示す例では、撮像画像４７０が、分割線Ｌ７に沿って、分割画像４７１～分割画像４７７に８分割される。各分割画像は、他の分割画像のうちの一部の分割画像と一部重複する。分割画像４７１は、対向する分割画像４７５以外の分割画像、分割画像４７２～分割画像４７４及び分割画像４７６～分割画像４７８と一部重複する。分割画像４７２～分割画像４７８についても同様である。オブジェクトＴ１は、分割画像４７５及び分割画像４７６のいずれにも含まれる。
　上記実施形態では、撮像画像４０に対する画像認識処理が、撮像装置２内で実行される例について説明した。この場合、撮像装置２においてすべての処理を行い、その結果のみを後段、すなわち撮像装置２の外部（アプリケーションプロセッサ（Application　Processor：ＡＰ）等を含む）に送ることで、後段での処理負荷が軽くなるというメリットがある。送られる情報量が少ないので、低速ＩＦで良く、また、ＡＰ側でＩＳＰを起動する必要がなく、ＮＰＵ（Neural　network　Processing　Unit）などに直接入力できるというメリットもある。ただし、画像認識処理の一部が撮像装置２の外部で実行されてもよい。
　例えば、ＤＳＰ３２の機能の一部が撮像装置の外部（後段）が撮像装置の外部（後段）に設けられた構成とすることもできる。図１５は、そのような変形例に係る撮像装置の概略構成の例を示す図である。図１５に示す撮像装置２Ｂでは、メモリ３３Ｂに記憶された学習済みモデル３３０Ｂ及び情報処理プログラム３３５Ｂによって、先に説明した回転部３２４による分割画像の回転までが撮像装置２Ｂ内で実行される。回転後の分割画像は、信号処理結果６０として、出力Ｉ／Ｆ２４を介して、アプリケーションプロセッサ７０Ｂに送られる。撮像装置２Ｂは、認識部３２５及び合成部３２６に相当する構成を、アプリケーションプロセッサ７０Ｂ内に備えている。アプリケーションプロセッサ７０Ｂは、例えば、ＣＰＵ（Central　Processing　Unit）等を用いて構成され、オペレーティングシステムや各種アプリケーションソフトウエア等を実行する。このアプリケーションプロセッサ７０Ｂには、ＧＰＵ（Graphics　Processing　Unit）やベースバンドプロセッサなどの機能が搭載されていてもよい。アプリケーションプロセッサ７０Ｂは、撮像画像中のオブジェクト検出の他、画像データや機械学習結果に対し必要に応じた種々処理を実行したり、ユーザへの表示を実行したり、所定のネットワーク８０を介して外部のクラウドサーバ９０へ送信したりする。
　撮像装置２Ｂの構成によれば、アプリケーションプロセッサ７０Ｂにおいて各種ユースケースに合わせた認識処理ができるので、汎用性が高まる。
　また、例えば、すべてのオブジェクト認識処理が撮像装置の後段で実行されてよい。図１６は、そのような変形例に係る撮像装置の概略構成を示す図である。図１６に示す撮像装置２Ｃは、撮像装置２（図１）と比較して、信号処理ブロック３０に代えて信号処理ブロック３０Ｃを備える点において相違する。信号処理ブロック３０Ｃは、メモリ３３Ｃ内に学習済みモデル３３０及び情報処理プログラム３３５（図１）を有してもいない。撮像装置２Ｃは、分割部３２２、選定部３２３、回転部３２４、認識部３２５及び合成部３２６に対応する構成を、アプリケーションプロセッサ７０Ｃ内に備えている。すなわち撮像装置２Ｃにおいては、すべての画像認識処理がアプリケーションプロセッサ７０Ｃで実行される。この場合、画像認識処理を実行するように構成された専用の撮像装置（あるいはＤＳＰ）は不要であり、汎用の撮像装置とアプリケーションプロセッサとを組み合わせることによって、画像認識処理が実現できる。
　上記実施形態では、認識部３２５が学習済みモデル３３０を用いて分割画像を認識する例について説明した。ただし、認識部３２５は、学習済みモデルを用いることなく、例えばさまざまな確立されたアルゴリズムを用いて分割画像を認識してよい。
４．　効果
　以上説明した撮像装置２（情報処理装置の一態様）は、例えば次のように特定される。図１～図３に例示するように、撮像装置２は、分割部３２２と、回転部３２４と、認識部３２５と備える。図４Ａ及び図４Ｂに例示するように、分割部３２２は、撮像画像４０（入力画像）を同じサイズの複数の分割画像４１１～分割画像４１４に分割する。図８Ａ～図８Ｄに例示するように、回転部３２４は、分割画像４１１～分割画像４１４を分割前の撮像画像４０の位置に応じて回転させる。認識部３２５は、回転後の分割画像４１１～分割画像４１４を認識する。
　上記の撮像装置２によれば、撮像画像４０から得られた同じサイズの分割画像４１１～分割画像４１４を分割前の撮像画像４０の位置に応じて回転させた後で、それらの分割画像の認識が行われる。この場合、いずれの分割画像の認識においても、同じサイズの分割画像を所望の向きで認識することになる。これにより、例えばサイズが異なっていたり、向きが揃っていなかったりする複数の分割画像を認識する場合よりも、画像の認識精度を向上させることが可能になる。
　また、画像を分割することで、分割しない場合と比較して、ＮＮを小さくできる。それにより、低消費メモリ、高速化が実現される。
　図９に例示するように、認識部３２５は、学習済みモデル３３０を用いて回転後の分割画像４１１～分割画像４１４を認識してよい。学習済みモデル３３０は、分割画像が入力されると、画像認識結果を出力するように、訓練データを用いて生成された学習済みモデルであってよい。このように分割画像に対応した学習済みモデル３３０を用いることによって、画像認識精度を向上させることができる。
　図５Ａ及び図５Ｂに例示するように、分割部３２２は、認識部３２５の認識結果に応じた分割数で、撮像画像４０を分割してよい。これにより、撮像画像４０に応じた適切な分割数で撮像画像４０を分割することができる。
　図５Ａ及び図５Ｂに例示するように、認識部３２５は、分割画像４１１～分割画像４１４中のオブジェクトＴ１を検出してよい。分割部３２２は、認識部３２５によって検出されたオブジェクトＴ１の分割画像４１４ａに占める割合が大きくなるような分割数で、撮像画像４０を分割してよい。これにより、オブジェクトＴ１の認識精度を向上させることができる。
　図１１Ａ、図１１Ｂ、図１２Ａ、図１２Ｂ、図１３Ａ、図１３Ｂ、図１４Ａ及び図１４Ｂに例示するように、分割部３２２は、複数の分割画像のうちの隣接する分割画像どうしが少なくとも一部でオーバーラップするように、撮像画像（入力画像）を分割してよい。これにより、分割の境界領域に存在するオブジェクトＴ４の認識精度を向上させることができる。
　図３に例示するように、撮像装置２は、選定部３２３をさらに備えてよい。図６Ａ、図６Ｂ、図７Ａ及び図７Ｂに例示するように、選定部３２３は、複数の分割画像を選定してよい。認識部３２５は、選定部３２３による選定結果に基づいて、回転後の複数の分割画像を認識してよい。このように認識部３２５による認識の対象となる分割画像を選定することにより、認識処理を効率化することができる。
　図６Ａ、図６Ｂ、図７Ａ及び図７Ｂに例示するように、選定部３２３による選定は、複数の分割画像から認識部３２５の認識対象となる分割画像を選び出すこと、及び、複数の分割画像から認識部３２５の認識対象とならない分割画像を除外することの少なくとも一つを含んでよい。これにより、認識部３２５の認識の対象となる分割画像を絞り込み、例えば認識処理の負担を軽減することができる。
　図７Ａ及び図７Ｂに例示するように、選定部３２３は、認識部３２５の認識結果に基づいて、所定のオブジェクトを含む分割画像を選び出してよい。これは例えば所定のオブジェクトの認識精度を向上させたい場合に有用である。
　図７Ａ及び図７Ｂに例示するように、選定部３２３は、撮像装置２から所定範囲内に存在するオブジェクトを含む分割画像を選び出してよい。これは例えば撮像装置２の近く（例えば１ｍ以内）に存在するオブジェクトの認識精度を向上させたい場合に有用である。
　図６Ａ及び図６Ｂに例示するように、選定部３２３は、認識部３２５の認識結果に基づいて、所定のオブジェクト（例えば壁Ｗ１）を含む分割画像を除外してよい。これは例えば所定のオブジェクトが認識不要なオブジェクトの場合に有用である。
　選定部３２３による選定は、認識部３２５による認識の優先度を、複数の分割画像に対して付与してよい。これにより、優先度が比較的高い分割画像の認識精度を向上させたり、優先度が比較的低い分割画像の認識処理負担を減らしたりすることができる。
　選定部３２３は、認識部３２５の認識結果に基づいて、所定のオブジェクトを含む分割画像に対して他の分割画像よりも高い優先度を付与してよい。これは例えば所定のオブジェクトが認識したいオブジェクトの場合に有用である。
　選定部３２３は、撮像装置２から所定範囲内に存在するオブジェクトを含む分割画像に対して他の分割画像よりも高い優先度を付与してよい。これは例えば撮像装置２の近く（例えば１ｍ以内）に存在するオブジェクトの認識精度を向上させたい場合に有用である。
　選定部３２３は、認識部３２５の認識結果に基づいて、所定のオブジェクトを含む分割画像に対して他の分割画像よりも低い優先度を付与してよい。これは例えば所定のオブジェクトの認識の必要性が低い場合に有用である。
　図１～図３に例示するように、撮像装置２は、合成部３２６をさらに備えてよい。合成部３２６は、認識部３２５による複数の分割画像の各々の認識結果を合成してよい。これにより、分割画像全体、すなわち入力画像に対して画像認識を行った場合と同様の認識結果が得られる。
　撮像画像４０は、円周魚眼画像であってよい。図４Ａ、図４Ｂ、図５Ａ、図５Ｂ、図６Ａ、図６Ｂ、図７Ａ、図７Ｂ、図１１Ａ、図１１Ｂ、図１２Ａ、図１２Ｂ、図１３Ａ、図１３Ｂ、図１４Ａ及び図１４Ｂに例示するように、分割部３２２は、撮像画像（入力画像）の中心から外側に向かって延在する分割線に沿って撮像画像を分割してよい。円周魚眼画像は中心から外側に向かうにつれて歪の程度が変化するので、複数の分割画像は、各分割画像中の対応する位置において、同程度の歪を有する。このような分割画像を認識部３２５によって認識することで、認識精度を向上させることができる。
　例えば図１０に示す情報処理方法も、本開示の一実施形態である。すなわち、情報処理方法は、入力画像を同じサイズの複数の分割画像に分割し（ステップＳ２）、複数の分割画像を分割前の入力画像上の位置に応じて回転させ（ステップＳ４）、回転後の複数の分割画像を認識する（ステップＳ５）、ことを含む。このような情報処理方法によっても、これまで説明した情報処理装置と同様に、画像の認識精度を向上させることが可能になる。
　例えば図１に示すメモリ３３に記憶される情報処理プログラム３３５も、本開示の一実施形態である。すなわち、情報処理プログラムは、コンピュータを機能させるためのプログラムであって、入力画像を同じサイズの複数の分割画像に分割する工程（ステップＳ２）と、複数の分割画像を分割前の前記入力画像上の位置に応じて回転させる工程（ステップＳ４）と、回転後の複数の分割画像を認識する工程（ステップＳ５）と、をコンピュータに実行させる。このような情報処理方法によっても、これまで説明した情報処理装置と同様に、画像の認識精度を向上させることが可能になる。
　５．移動体への応用例
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１７は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１７に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０３０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１０の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図１８は、撮像部１２０３１の設置位置の例を示す図である。
　図１８では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
　撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１８には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１に適用され得る。撮像部１２０３１に本開示に係る技術を適用することにより、より見やすい撮像画像を得ることができるため、ドライバの疲労を軽減することが可能になる。
　なお、本開示に記載された効果は、あくまで例示であって、開示された内容に限定されない。他の効果があってもよい。
　以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
　また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　入力画像を同じサイズの複数の分割画像に分割する分割部と、
　前記複数の分割画像を分割前の前記入力画像上の位置に応じて回転させる回転部と、
　前記回転後の複数の分割画像を認識する認識部と、
　を備える、情報処理装置。
（２）
　前記認識部は、学習済みモデルを用いて前記回転後の複数の分割画像を認識し、
　前記学習済みモデルは、分割画像が入力されると、画像認識結果を出力するように、訓練データを用いて生成された学習済みモデルである、
　（１）に記載の情報処理装置。
（３）
　前記分割部は、前記認識部の認識結果に応じた分割数で、前記入力画像を分割する、
　（１）又は（２）に記載の情報処理装置。
（４）
　前記認識部は、前記分割画像中のオブジェクトを検出し、
　前記分割部は、前記認識部によって検出されたオブジェクトの分割画像に占める割合が大きくなるような分割数で、前記入力画像を分割する、
　（３）に記載の情報処理装置。
（５）
　前記分割部は、前記複数の分割画像のうちの隣接する分割画像どうしが少なくとも一部でオーバーラップするように、前記入力画像を分割する、
　（１）～（４）のいずれかに記載の情報処理装置。
（６）
　前記複数の分割画像を選定する選定部をさらに備え、
　前記認識部は、前記選定部による選定結果に基づいて、前記回転後の複数の分割画像を認識する、
　（１）～（５）のいずれかに記載の情報処理装置。
（７）
　前記選定部による選定は、前記複数の分割画像から前記認識部の認識対象となる分割画像を選び出すこと、及び、前記複数の分割画像から前記認識部の認識対象とならない分割画像を除外することの少なくとも一つを含む、
　（６）に記載の情報処理装置。
（８）
　前記選定部は、前記認識部の認識結果に基づいて、所定のオブジェクトを含む分割画像を選び出す、
　（７）に記載の情報処理装置。
（９）
　前記選定部は、前記情報処理装置から所定範囲内に存在するオブジェクトを含む分割画像を選び出す、
　（７）に記載の情報処理装置。
（１０）
　前記選定部は、前記認識部の認識結果に基づいて、所定のオブジェクトを含む分割画像を除外する、
　（８）に記載の情報処理装置。
（１１）
　前記選定部による選定は、前記認識部による認識の優先度を、前記複数の分割画像に対して付与する、
　（６）～（１０）のいずれか１項に記載の情報処理装置。
（１２）
　前記選定部は、前記認識部の認識結果に基づいて、所定のオブジェクトを含む分割画像に対して他の分割画像よりも高い優先度を付与する、
　（１１）に記載の情報処理装置。
（１３）
　前記選定部は、前記情報処理装置から所定範囲内に存在するオブジェクトを含む分割画像に対して他の分割画像よりも高い優先度を付与する、
　（１１）に記載の情報処理装置。
（１４）
　前記選定部は、前記認識部の認識結果に基づいて、所定のオブジェクトを含む分割画像に対して他の分割画像よりも低い優先度を付与する、
　（１１）に記載の情報処理装置。
（１５）
　前記認識部による前記複数の分割画像の各々の認識結果を合成する合成部をさらに備える、
　（１）～（１４）のいずれかに記載の情報処理装置。
（１６）
　前記入力画像は、円周魚眼画像であり、
　前記分割部は、前記入力画像の中心から外側に向かって延在する分割線に沿って入力画像を分割する、
　（１）～（１５）のいずれかに記載の情報処理装置。
（１７）
　入力画像を同じサイズの複数の分割画像に分割し、
　前記複数の分割画像を分割前の前記入力画像上の位置に応じて回転させ、
　前記回転後の複数の分割画像を認識する、
　ことを含む、情報処理方法。
（１８）
　コンピュータを機能させるためのプログラムであって、
　入力画像を同じサイズの複数の分割画像に分割する工程と、
　前記複数の分割画像を分割前の前記入力画像上の位置に応じて回転させる工程と、
　前記回転後の複数の分割画像を認識する工程と、
　を前記コンピュータに実行させるためのプログラム。
　　２　撮像装置
　２０　撮像ブロック
　２１　撮像部
　２２　撮像処理部
　２３　出力制御部
　２４　出力Ｉ／Ｆ
　２５　撮像制御部
　２６　通信Ｉ／Ｆ
　２７　レジスタ群
　３０　信号処理ブロック
　３１　ＣＰＵ
　３２　ＤＳＰ
　３３　メモリ
　３４　通信Ｉ／Ｆ
　３５　画像圧縮部
　３６　入力Ｉ／Ｆ
　４０　撮像画像
　５１　ダイ
　５２　ダイ
　６０　信号処理結果
　７０　アプリケーションプロセッサ
　８０　ネットワーク
　９０　クラウドサーバ
３２１　入力部
３２２　分割部
３２３　選定部
３２４　回転部
３２５　認識部
３２６　合成部
３２７　出力部
３３０　学習済みモデル
３３５　情報処理プログラム

Claims (17)

  1. 　入力画像を同じサイズの複数の分割画像に分割する分割部と、
    　前記複数の分割画像を分割前の前記入力画像上の位置に応じて回転させる回転部と、
    　前記回転後の複数の分割画像を認識する認識部と、
    　を備える、情報処理装置。
  2. 　前記認識部は、学習済みモデルを用いて前記回転後の複数の分割画像を認識し、
    　前記学習済みモデルは、分割画像が入力されると、画像認識結果を出力するように、訓練データを用いて生成された学習済みモデルである、
    　請求項１に記載の情報処理装置。
  3. 　前記分割部は、前記認識部の認識結果に応じた分割数で、前記入力画像を分割する、
    　請求項１に記載の情報処理装置。
  4. 　前記認識部は、前記分割画像中のオブジェクトを検出し、
    　前記分割部は、前記認識部によって検出されたオブジェクトの分割画像に占める割合が大きくなるような分割数で、前記入力画像を分割する、
    　請求項３に記載の情報処理装置。
  5. 　前記分割部は、前記複数の分割画像のうちの隣接する分割画像どうしが少なくとも一部でオーバーラップするように、前記入力画像を分割する、
    　請求項１に記載の情報処理装置。
  6. 　前記複数の分割画像を選定する選定部をさらに備え、
    　前記認識部は、前記選定部による選定結果に基づいて、前記回転後の複数の分割画像を認識する、
    　請求項１に記載の情報処理装置。
  7. 　前記選定部による選定は、前記複数の分割画像から前記認識部の認識対象となる分割画像を選び出すこと、及び、前記複数の分割画像から前記認識部の認識対象とならない分割画像を除外することの少なくとも一つを含む、
    　請求項６に記載の情報処理装置。
  8. 　前記選定部は、前記認識部の認識結果に基づいて、所定のオブジェクトを含む分割画像を選び出す、
    　請求項７に記載の情報処理装置。
  9. 　前記選定部は、前記情報処理装置から所定範囲内に存在するオブジェクトを含む分割画像を選び出す、
    　請求項７に記載の情報処理装置。
  10. 　前記選定部は、前記認識部の認識結果に基づいて、所定のオブジェクトを含む分割画像を除外する、
    　請求項７に記載の情報処理装置。
  11. 　前記選定部による選定は、前記認識部による認識の優先度を、前記複数の分割画像に対して付与する、
    　請求項６に記載の情報処理装置。
  12. 　前記選定部は、前記認識部の認識結果に基づいて、所定のオブジェクトを含む分割画像に対して他の分割画像よりも高い優先度を付与する、
    　請求項１１に記載の情報処理装置。
  13. 　前記選定部は、前記情報処理装置から所定範囲内に存在するオブジェクトを含む分割画像に対して他の分割画像よりも高い優先度を付与する、
    　請求項１１に記載の情報処理装置。
  14. 　前記選定部は、前記認識部の認識結果に基づいて、所定のオブジェクトを含む分割画像に対して他の分割画像よりも低い優先度を付与する、
    　請求項１１に記載の情報処理装置。
  15. 　前記認識部による前記複数の分割画像の各々の認識結果を合成する合成部をさらに備える、
    　請求項１に記載の情報処理装置。
  16. 　前記入力画像は、円周魚眼画像であり、
    　前記分割部は、前記入力画像の中心から外側に向かって延在する分割線に沿って入力画像を分割する、
    　請求項１に記載の情報処理装置。
  17. 　入力画像を同じサイズの複数の分割画像に分割し、
    　前記複数の分割画像を分割前の前記入力画像上の位置に応じて回転させ、
    　前記回転後の複数の分割画像を認識する、
    　ことを含む、情報処理方法。
PCT/JP2021/006727 2020-03-05 2021-02-24 情報処理装置及び情報処理方法 WO2021177085A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/905,170 US20230093035A1 (en) 2020-03-05 2021-02-24 Information processing device and information processing method
CN202180015007.9A CN115136188A (zh) 2020-03-05 2021-02-24 信息处理装置和信息处理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-038034 2020-03-05
JP2020038034 2020-03-05

Publications (1)

Publication Number Publication Date
WO2021177085A1 true WO2021177085A1 (ja) 2021-09-10

Family

ID=77613481

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/006727 WO2021177085A1 (ja) 2020-03-05 2021-02-24 情報処理装置及び情報処理方法

Country Status (3)

Country Link
US (1) US20230093035A1 (ja)
CN (1) CN115136188A (ja)
WO (1) WO2021177085A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023181783A1 (ja) * 2022-03-24 2023-09-28 ソニーグループ株式会社 センサ装置、センサ制御システム、制御方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012230546A (ja) * 2011-04-26 2012-11-22 Hitachi Information & Communication Engineering Ltd 物体認識方法及び認識装置
JP2014002940A (ja) * 2012-06-19 2014-01-09 Hitachi Ltd 照明制御装置
WO2017195650A1 (ja) * 2016-05-13 2017-11-16 ソニー株式会社 生成装置および生成方法、並びに、再生装置および再生方法
JP2019057849A (ja) * 2017-09-21 2019-04-11 株式会社リコー プログラム、情報処理装置、画像処理システム
JP2019080252A (ja) * 2017-10-26 2019-05-23 株式会社リコー プログラム、画像表示方法、画像表示システム、情報処理装置
JP2019193110A (ja) * 2018-04-25 2019-10-31 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012230546A (ja) * 2011-04-26 2012-11-22 Hitachi Information & Communication Engineering Ltd 物体認識方法及び認識装置
JP2014002940A (ja) * 2012-06-19 2014-01-09 Hitachi Ltd 照明制御装置
WO2017195650A1 (ja) * 2016-05-13 2017-11-16 ソニー株式会社 生成装置および生成方法、並びに、再生装置および再生方法
JP2019057849A (ja) * 2017-09-21 2019-04-11 株式会社リコー プログラム、情報処理装置、画像処理システム
JP2019080252A (ja) * 2017-10-26 2019-05-23 株式会社リコー プログラム、画像表示方法、画像表示システム、情報処理装置
JP2019193110A (ja) * 2018-04-25 2019-10-31 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MISTRY PRANAV, MAES PATTIE, SEIGNEUR JEAN-MARC, NANAYAKKARA SURANGA, PARADISO JOE, NAKAZAWA MASAKAZU, KOIKE HIDEKI: "Synthesizing fixed point of views from a spinning omnidirectional ball", JOURNAL OF THE VIRTUAL REALITY SOCIETY OF JAPAN, 4 .1 COORDINATE CORRESPONDENCE BASED ON FEATURE MATCHIN G, vol. 22, no. 4, 31 December 2017 (2017-12-31), pages 485 - 491, XP055852835, Retrieved from the Internet <URL:https://doi.org/10.18974/tvrsj.22.4_485> [retrieved on 20210409] *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023181783A1 (ja) * 2022-03-24 2023-09-28 ソニーグループ株式会社 センサ装置、センサ制御システム、制御方法

Also Published As

Publication number Publication date
CN115136188A (zh) 2022-09-30
US20230093035A1 (en) 2023-03-23

Similar Documents

Publication Publication Date Title
JP6937443B2 (ja) 撮像装置及び撮像装置の制御方法
US10366512B2 (en) Around view provision apparatus and vehicle including the same
US20120069153A1 (en) Device for monitoring area around vehicle
JP2002083285A (ja) 画像合成装置および画像合成方法
EP3299994A1 (en) A method for advanced and low cost cross traffic alert, related processing system, cross traffic alert system and vehicle
JP6699427B2 (ja) 車両用表示装置および車両用表示方法
WO2021085128A1 (ja) 測距装置、測定方法、および、測距システム
WO2019142660A1 (ja) 画像処理装置および画像処理方法、並びにプログラム
JPWO2020116194A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
Kemsaram et al. A stereo perception framework for autonomous vehicles
WO2021177085A1 (ja) 情報処理装置及び情報処理方法
WO2021005105A1 (en) Imaging systems, devices and methods
WO2020209079A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2020246264A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2020230635A1 (ja) 撮像装置および撮像方法
WO2022153896A1 (ja) 撮像装置、画像処理方法及び画像処理プログラム
WO2021192682A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2017086057A1 (ja) 車両用表示装置および車両用表示方法
US20220351505A1 (en) Information processing device, information processing method, and information processing program
US20240078803A1 (en) Information processing apparatus, information processing method, computer program, and sensor apparatus
WO2020153262A1 (ja) 計測装置および測距装置
JP2022163882A (ja) 信号処理装置および方法、並びにプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21764599

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21764599

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP