WO2024096087A1 - 電子機器、電子機器の制御方法、及びプログラム - Google Patents

電子機器、電子機器の制御方法、及びプログラム Download PDF

Info

Publication number
WO2024096087A1
WO2024096087A1 PCT/JP2023/039528 JP2023039528W WO2024096087A1 WO 2024096087 A1 WO2024096087 A1 WO 2024096087A1 JP 2023039528 W JP2023039528 W JP 2023039528W WO 2024096087 A1 WO2024096087 A1 WO 2024096087A1
Authority
WO
WIPO (PCT)
Prior art keywords
point cloud
sensor
image
electronic device
center position
Prior art date
Application number
PCT/JP2023/039528
Other languages
English (en)
French (fr)
Inventor
裕 香島
淳 黒田
徹 佐原
拓也 本間
哲哉 高松
洋平 村上
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Publication of WO2024096087A1 publication Critical patent/WO2024096087A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V3/00—Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation
    • G01V3/12—Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation operating with electromagnetic waves

Definitions

  • This disclosure relates to an electronic device, a control method for an electronic device, and a program.
  • the electronic device includes: a first coordinate point corresponding to a predetermined position of an object in a point cloud obtained by detecting an object reflecting the transmission wave based on a transmission signal transmitted as a transmission wave and a reception signal received as a reflected wave of the transmission wave; a second coordinate point corresponding to the predetermined position in an image of the object; Based on this, a deviation between the position of the object in the point cloud and the position of the object in the image is corrected.
  • a method for controlling an electronic device includes: a first coordinate point corresponding to a predetermined position of an object in a point cloud obtained by detecting an object reflecting the transmission wave based on a transmission signal transmitted as a transmission wave and a reception signal received as a reflected wave of the transmission wave; a second coordinate point corresponding to the predetermined position in an image of the object; and correcting a deviation between a position of the object in the point cloud and a position of the object in the image based on the difference between the position of the object in the point cloud and the position of the object in the image.
  • a program includes: On the computer, a first coordinate point corresponding to a predetermined position of an object in a point cloud obtained by detecting an object reflecting the transmission wave based on a transmission signal transmitted as a transmission wave and a reception signal received as a reflected wave of the transmission wave; a second coordinate point corresponding to the predetermined position in an image of the object; and correcting a deviation between a position of the object in the point cloud and a position of the object in the image based on the difference.
  • FIG. 1 is a block diagram showing a functional configuration of an electronic device according to an embodiment
  • FIG. 2 is a block diagram showing a functional configuration of a sensor according to an embodiment.
  • FIG. 4 illustrates an example of a transmission signal transmitted by a sensor according to an embodiment.
  • FIG. 2 is a diagram illustrating an example of a configuration of a detection device according to an embodiment.
  • FIG. 2 is a diagram illustrating an example of object detection by a sensor according to an embodiment.
  • FIG. 1 is a diagram illustrating an equipment configuration when performing calibration according to an embodiment.
  • FIG. 11 is a diagram illustrating an example of an operation of the electronic device according to an embodiment.
  • FIG. 11 is a diagram illustrating an example of an operation of the electronic device according to an embodiment.
  • FIG. 10 is a flowchart illustrating an operation of an electronic device according to an embodiment.
  • FIG. 11 is a diagram illustrating an example of processing by an electronic device according to an embodiment.
  • FIG. 11 is a diagram illustrating an example of processing performed by an electronic device according to an embodiment.
  • FIG. 11 is a diagram illustrating an example of an operation of the electronic device according to an embodiment.
  • FIG. 11 is a diagram illustrating an example of an operation of the electronic device according to an embodiment.
  • FIG. 11 is a diagram illustrating an example of an operation of the electronic device according to an embodiment.
  • 10 is a flowchart illustrating an operation of an electronic device according to an embodiment.
  • Patent Document 1 proposes a technology that can calibrate a laser scanner without using a dedicated special device.
  • the purpose of the present disclosure is to provide an electronic device, a control method for an electronic device, and a program that can easily calibrate a sensor that detects an object and a camera that captures the object.
  • an electronic device, a control method for an electronic device, and a program that can easily calibrate a sensor that detects an object and a camera that captures the object can be provided.
  • an "electronic device” may be a device that is powered by electricity.
  • a “system” may include a device that is powered by electricity.
  • a "user” may be a person (typically a human) who uses a system and/or electronic device according to an embodiment.
  • a user may include a person who enjoys the benefits of detecting various objects by using a system and/or electronic device according to an embodiment.
  • the electronic device can generate two-dimensionally processable point cloud information from point cloud information in three-dimensional space detected by a sensor based on technology such as millimeter wave radar.
  • the electronic device can determine the presence or absence of misalignment between the optical axis of the sensor and the optical axis of the camera based on the point cloud information acquired from the sensor described above and the image (video) information captured by the camera.
  • the electronic device can also determine the degree of misalignment between the optical axis of the sensor and the optical axis of the camera. Therefore, the electronic device according to the embodiment can correct the misalignment between the optical axis of the sensor and the optical axis of the camera.
  • the electronic device may be capable of detecting the presence and position of an object based on two-dimensionally processable point cloud information by employing a technology such as image recognition.
  • a technology such as image recognition.
  • the electronic device according to the embodiment will be described in detail below with reference to the drawings.
  • the electronic device, method, and program disclosed herein can be used to detect a person, object, or animal present in a specified space such as a room, bed, bathroom, toilet, car, bus, train, passage, or road.
  • the electronic device 1 is a functional block diagram showing a schematic configuration of an electronic device 1 according to an embodiment.
  • the electronic device 1 includes a controller 10.
  • the electronic device 1 may include at least one of a memory unit 20, a communication unit 30, a display unit 40, and a notification unit 50, as appropriate.
  • the controller 10, the memory unit 20, the communication unit 30, the display unit 40, and the notification unit 50 described above may be disposed or built into any location in the electronic device 1.
  • at least one of the controller 10, the memory unit 20, the communication unit 30, the display unit 40, and the notification unit 50 described above may be disposed outside the electronic device 1 and connected to each other by a network that is a wired or wireless connection or a combination of these.
  • the electronic device 1 according to an embodiment may omit at least some of the functional units shown in FIG. 1, or may include other functional units other than the functional units shown in FIG. 1 as appropriate.
  • the electronic device 1 may be various devices.
  • the electronic device according to an embodiment may be any device, such as a dedicated terminal, a general-purpose smartphone, a tablet, a phablet, a notebook computer (notebook PC), a computer, or a server.
  • the electronic device according to an embodiment may have a function of communicating with other electronic devices, such as a mobile phone or a smartphone.
  • the above-mentioned “other electronic device” may be, for example, an electronic device such as a mobile phone or a smartphone, or may be any device, such as a base station, a server, a dedicated terminal, or a computer.
  • the “other electronic device” may be, for example, the sensor 100 and/or the imaging unit 300 described below.
  • the “other electronic device” in the present disclosure may also be a device or apparatus driven by power.
  • the communication may be wired and/or wireless.
  • the electronic device 1 according to one embodiment may be connected to the sensor 100 by wire and/or wirelessly. With such a connection, the electronic device 1 according to one embodiment can obtain information on the results detected by the sensor 100. Furthermore, the electronic device 1 according to one embodiment may be connected to the imaging unit 300 by wire and/or wirelessly. With such a connection, the electronic device 1 according to one embodiment can obtain information on the image captured by the imaging unit 300.
  • the sensor 100 and the imaging unit 300 will be described further below.
  • the controller 10 controls and/or manages the entire electronic device 1, including each functional unit constituting the electronic device 1.
  • the controller 10 may include at least one processor, such as a CPU (Central Processing Unit) or a DSP (Digital Signal Processor), to provide control and processing power for executing various functions.
  • the controller 10 may be realized as a single processor, as a number of processors, or as individual processors.
  • the processor may be realized as a single integrated circuit. An integrated circuit is also called an IC (Integrated Circuit).
  • the processor may be realized as multiple communicatively connected integrated circuits and discrete circuits.
  • the processor may be realized based on various other known technologies.
  • the controller 10 may be configured as, for example, a CPU or DSP and a program executed by the CPU or DSP.
  • the program executed in the controller 10 and the results of the processing executed in the controller 10 may be stored in, for example, the storage unit 20.
  • the controller 10 may include memory necessary for the operation of the controller 10 as appropriate.
  • the controller 10 can perform various processes on information output as a result of detection by the sensor 100, for example. For this reason, in the electronic device 1, the controller 10 may be connected to the sensor 100 by wire and/or wirelessly. Also, in the electronic device 1 according to one embodiment, the controller 10 can perform various processes on information (images) output as a result of imaging by the imaging unit 300, for example. For this reason, in the electronic device 1, the controller 10 may be connected to the imaging unit 300 by wire and/or wirelessly. The operation of the controller 10 of the electronic device 1 according to one embodiment will be described further below.
  • the storage unit 20 may function as a memory that stores various information.
  • the storage unit 20 may store, for example, a program executed in the controller 10 and the results of processing executed in the controller 10.
  • the storage unit 20 may store or accumulate the detection results by the sensor 100 and/or the images captured by the imaging unit 300.
  • the storage unit 20 may also function as a work memory for the controller 10.
  • the storage unit 20 may be configured, for example, by a semiconductor memory or the like, but is not limited to this, and may be any storage device.
  • the storage unit 20 may be a storage medium such as a memory card inserted into the electronic device 1 according to one embodiment.
  • the storage unit 20 may also be configured to include, for example, a hard disk drive (Hard Disk Drive, HDD) and/or a solid state drive (Solid State Drive, SSD).
  • the storage unit 20 may be an internal memory of a CPU used as the controller 10 described below, or may be connected to the controller 10 as a separate unit.
  • the storage unit 20 may store, for example, machine learning data.
  • the machine learning data may be data generated by machine learning.
  • machine learning may be based on AI (Artificial Intelligence) technology that enables specific tasks to be performed through training. More specifically, machine learning may be a technology in which an information processing device such as a computer learns a large amount of data and automatically constructs an algorithm or model that performs tasks such as classification and/or prediction. In this specification, machine learning may be included as part of AI.
  • AI Artificial Intelligence
  • machine learning may include supervised learning, which learns the characteristics or rules of input data based on correct answer data.
  • Machine learning may also include unsupervised learning, which learns the characteristics or rules of input data in the absence of correct answer data.
  • Machine learning may also include reinforcement learning, which learns the characteristics or rules of input data by giving rewards or punishments.
  • machine learning may also be any combination of supervised learning, unsupervised learning, and reinforcement learning.
  • the concept of machine learning data in this embodiment may include an algorithm that outputs a predetermined inference (estimation) result using an algorithm learned for input data.
  • this algorithm for example, linear regression that predicts the relationship between a dependent variable and an independent variable, a neural network (NN) that mathematically models the neurons of the human brain nervous system, the least squares method that calculates by squaring the error, a decision tree that solves problems in a tree structure, and regularization that transforms data in a predetermined manner, and other appropriate algorithms can be used.
  • This embodiment may use deep learning, which is a type of neural network. Deep learning is a type of neural network, and a neural network with a deep network hierarchy is called deep learning.
  • the computer learning phase in this disclosure may include, for example, a training phase for generating parameters to be used in the result output process.
  • the communication unit 30 has an interface function for wired or wireless communication.
  • the communication method performed by the communication unit 30 in one embodiment may be a wireless communication standard.
  • the wireless communication standard includes cellular phone communication standards such as 2G, 3G, 4G, and 5G.
  • the cellular phone communication standards include LTE (Long Term Evolution), W-CDMA (Wideband Code Division Multiple Access), CDMA2000, PDC (Personal Digital Cellular), GSM (registered trademark) (Global System for Mobile communications), and PHS (Personal Handy-phone System), etc.
  • the wireless communication standards include WiMAX (Worldwide Interoperability for Microwave Access), IEEE 802.11, WiFi, Bluetooth (registered trademark), IrDA (Infrared Data Association), and NFC (Near Field Communication), etc.
  • the communication unit 30 may include, for example, a modem whose communication method is standardized by the International Telecommunication Union Telecommunication Standardization Sector (ITU-T).
  • ITU-T International Telecommunication Union Telecommunication Standardization Sector
  • the communication unit 30 can support one or more of the above communication standards.
  • the communication unit 30 may be configured to include, for example, an antenna for transmitting and receiving radio waves and an appropriate RF unit.
  • the communication unit 30 may perform wireless communication with, for example, a communication unit of another electronic device, for example, via an antenna.
  • the communication unit 30 may also be configured as an interface, such as a connector for wired connection to the outside.
  • the communication unit 30 may be configured using known technology for performing wireless communication, and therefore a more detailed description of the hardware, etc. will be omitted.
  • the various information received by the communication unit 30 may be supplied to, for example, the storage unit 20 and/or the controller 10.
  • the various information received by the communication unit 30 may be stored in, for example, a memory built into the controller 10.
  • the communication unit 30 may also transmit, for example, the results of processing by the controller 10 and/or information stored in the storage unit 20 to the outside.
  • the display unit 40 may be any display device, such as a liquid crystal display (LCD), an organic electro-luminescence panel, or an inorganic electro-luminescence panel.
  • the display unit 40 may display various information such as characters, figures, or symbols.
  • the display unit 40 may also display objects and icon images constituting various GUIs, for example, to prompt the user to operate the electronic device 1.
  • Various data necessary for displaying on the display unit 40 may be supplied, for example, from the controller 10 or the storage unit 20.
  • the display unit 40 may be configured to include a backlight, as appropriate.
  • the display unit 40 may display information based on the results of detection by the sensor 100, for example.
  • the display unit 40 may display information based on the results of imaging by the imaging unit 300, for example.
  • the notification unit 50 may issue a predetermined warning to alert the user of the electronic device 1, based on a predetermined signal output from the controller 10.
  • the notification unit 50 may be any functional unit that stimulates at least one of the user's hearing, vision, and touch, such as sound, voice, light, text, video, and vibration as the predetermined warning.
  • the notification unit 50 may be at least one of a sound output unit such as a buzzer or speaker, a light-emitting unit such as an LED, a display unit such as an LCD, and a tactile sensation providing unit such as a vibrator.
  • the notification unit 50 may issue a predetermined warning based on a predetermined signal output from the controller 10.
  • the notification unit 50 may issue a predetermined alarm as information that acts on at least one of the hearing, vision, and touch senses.
  • the electronic device 1 shown in FIG. 1 has a built-in notification unit 50.
  • the notification unit 50 may be provided outside the electronic device 1.
  • the notification unit 50 and the electronic device 1 may be connected by wire or wirelessly, or by a combination of wire and wireless.
  • At least a portion of the functional units constituting the electronic device 1 may be constituted by specific means in which software and hardware resources work together.
  • the sensor 100 shown in FIG. 1 is configured to detect an object (target) such as an automobile or a human body as point cloud information in a three-dimensional space.
  • object such as an automobile or a human body
  • the sensor 100 according to one embodiment will be described in more detail below.
  • the sensor 100 shown in FIG. 2 is, as an example, a millimeter wave radar sensor based on millimeter wave radar (RADAR (Radio Detecting and Ranging)) technology.
  • RADAR Radio Detecting and Ranging
  • the sensor 100 according to an embodiment is not limited to a millimeter wave radar sensor.
  • the sensor 100 according to an embodiment may be, for example, a quasi-millimeter wave radar sensor.
  • the sensor 100 according to an embodiment is not limited to a millimeter wave radar sensor or a quasi-millimeter wave radar sensor, and may be any type of radar sensor that transmits and receives radio waves.
  • the sensor 100 according to an embodiment may be, for example, a microwave sensor, an ultrasonic sensor, or a sensor based on technology such as LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging).
  • LIDAR Light Detection and Ranging, Laser Imaging Detection and Ranging
  • a frequency modulated continuous wave radar (hereinafter referred to as FMCW radar) may be used.
  • FMCW radar the transmission signal is generated by sweeping the frequency of the radio waves to be transmitted. Therefore, in a millimeter wave FMCW radar using radio waves in the 79 GHz frequency band, for example, the frequency of the radio waves used has a frequency bandwidth of 4 GHz, such as 77 GHz to 81 GHz.
  • a radar in the 79 GHz frequency band has the characteristic that it has a wider usable frequency bandwidth than other millimeter wave/quasi-millimeter wave radars, such as those in the 24 GHz, 60 GHz, and 76 GHz frequency bands.
  • the FMCW radar system used in the present disclosure may include an FCM (Fast-Chirp Modulation) system that transmits a chirp signal at a shorter period than normal.
  • the signal generated by the sensor 100 is not limited to a signal of the FMCW system.
  • the signal generated by the sensor 100 may be a signal of various systems other than the FMCW system.
  • the transmission signal sequence stored as the signal to be transmitted may differ depending on these various systems. For example, in the case of a radar signal of the FMCW system described above, a signal whose frequency increases and decreases for each time sample may be used. Since the various systems described above can be appropriately applied using publicly known technologies, a more detailed description will be omitted as appropriate.
  • the sensor 100 may include a radar control unit 110, a transmission unit 120, and a reception unit 130.
  • the above-mentioned radar control unit 110, transmission unit 120, reception unit 130, etc. may be disposed or built into any location in the sensor 100.
  • at least one of the above-mentioned radar control unit 110, transmission unit 120, reception unit 130, etc. may be disposed outside the sensor 100.
  • the sensor 100 according to one embodiment may omit at least some of the functional units shown in FIG. 2, or may include other functional units as appropriate in addition to the functional units shown in FIG. 2.
  • the radar control unit 110 controls and/or manages the entire sensor 100, including each functional unit constituting the sensor 100.
  • the radar control unit 110 may include at least one processor, such as a CPU (Central Processing Unit) or a DSP (Digital Signal Processor), to provide control and processing power for performing various functions.
  • the radar control unit 110 may be realized as a single processor, as a number of processors, or as individual processors.
  • the processor may be realized as a single integrated circuit. An integrated circuit is also called an IC (Integrated Circuit).
  • the processor may be realized as multiple communicatively connected integrated circuits and discrete circuits.
  • the processor may be realized based on various other known technologies.
  • the radar control unit 110 may be configured as, for example, a CPU or DSP and a program executed by the CPU or DSP.
  • the program executed in the radar control unit 110 and the results of the processing executed in the radar control unit 110 may be stored, for example, in any storage unit built into the radar control unit 110.
  • the radar control unit 110 may include memory necessary for the operation of the radar control unit 110 as appropriate.
  • the radar control unit 110 may appropriately perform various types of processing, such as distance FFT (Fast Fourier Transform) processing, speed FFT processing, arrival angle estimation processing, and clustering processing. Since each of these types of processing performed by the radar control unit 110 is known as general radar technology, a detailed description will be omitted.
  • distance FFT Fast Fourier Transform
  • speed FFT Speed FFT
  • arrival angle estimation processing arrival angle estimation processing
  • clustering processing clustering processing. Since each of these types of processing performed by the radar control unit 110 is known as general radar technology, a detailed description will be omitted.
  • the transmitting unit 120 may include a signal generating unit 121, a synthesizer 122, a phase control unit 123, an amplifier 124, and a transmitting antenna 125.
  • the sensor 100 may include a plurality of transmitting antennas 125.
  • the sensor 100 may also include a plurality of phase control units 123 and amplifiers 124 corresponding to each of the plurality of transmitting antennas 125.
  • the plurality of transmitting antennas 125 may form a transmitting antenna array (transmitting array antenna).
  • the receiving unit 130 may include a receiving antenna 131, an LNA 132, a mixer 133, an IF unit 134, and an AD conversion unit 135.
  • the sensor 100 may include multiple receiving units 130 corresponding to the multiple transmitting antennas 125, respectively.
  • the radar control unit 110 can control at least one of the transmitting unit 120 and the receiving unit 130.
  • the radar control unit 110 may control at least one of the transmitting unit 120 and the receiving unit 130 based on various information stored in an arbitrary storage unit.
  • an arbitrary storage unit built into the radar control unit 110 may store various parameters for setting the range in which an object is detected by the transmission wave transmitted from the transmitting antenna 125 and the reflected wave received from the receiving antenna 131.
  • the radar control unit 110 may instruct the signal generating unit 121 to generate a signal, or control the signal generating unit 121 to generate a signal.
  • the signal generating unit 121 generates a signal (transmission signal) to be transmitted as a transmission wave from the transmitting antenna 125 under the control of the radar control unit 110.
  • the signal generating unit 121 may assign the frequency of the transmission signal, for example, based on the control by the radar control unit 110.
  • the signal generating unit 121 may assign the frequency of the transmission signal, for example, according to parameters set by the radar control unit 110.
  • the signal generating unit 121 receives frequency information from the radar control unit 110 or an arbitrary storage unit, and generates a signal of a predetermined frequency in a frequency band such as 77 to 81 GHz.
  • the signal generating unit 121 may be configured to include a functional unit such as a voltage controlled oscillator (VCO).
  • VCO voltage controlled oscillator
  • the signal generating unit 121 may be configured as hardware having the relevant function, or may be configured as a microcomputer, for example, or may be configured as a processor such as a CPU or DSP and a program executed by the processor.
  • Each of the functional units described below may also be configured as hardware having the relevant function, or may be configured as a microcomputer, for example, if possible, or may be configured as a processor such as a CPU or DSP and a program executed by the processor.
  • the signal generating unit 121 may generate a transmission signal (transmission chirp signal) such as a chirp signal.
  • the signal generating unit 121 may generate a signal (linear chirp signal) whose frequency changes periodically and linearly.
  • the signal generating unit 121 may generate a chirp signal whose frequency increases periodically and linearly from 77 GHz to 81 GHz over time.
  • the signal generating unit 121 may generate a signal whose frequency periodically repeats a linear increase (up chirp) and decrease (down chirp) from 77 GHz to 81 GHz over time.
  • the signal generated by the signal generating unit 121 may be set in advance in, for example, the radar control unit 110.
  • the signal generated by the signal generating unit 121 may be stored in advance in, for example, an arbitrary storage unit. Since chirp signals used in technical fields such as radar are known, a more detailed description will be simplified or omitted as appropriate.
  • the signal generated by the signal generating unit 121 is supplied to the synthesizer 122.
  • FIG. 3 is a diagram illustrating an example of a chirp signal generated by the signal generating unit 121.
  • the horizontal axis represents the elapsed time
  • the vertical axis represents the frequency.
  • the signal generating unit 121 generates a linear chirp signal whose frequency changes periodically and linearly.
  • each chirp signal is shown as c1, c2, ..., c8.
  • the frequency increases linearly as time passes.
  • subframe 1 and subframe 2 shown in FIG. 3 are each composed of eight chirp signals such as c1, c2, ..., c8.
  • 16 subframes such as subframe 1 to subframe 16 are included in one frame. That is, frame 1 and frame 2 shown in FIG. 3 are each composed of 16 subframes.
  • a frame interval of a predetermined length may be included between frames.
  • One frame shown in FIG. 3 may be, for example, about 30 to 50 milliseconds long.
  • the same configuration may be used for frames 2 and onward. Also, in FIG. 3, the same configuration may be used for frames 3 and onward.
  • the signal generating unit 121 may generate a transmission signal as any number of frames. Also, in FIG. 3, some chirp signals are omitted. In this way, the relationship between time and frequency of the transmission signal generated by the signal generating unit 121 may be stored in, for example, any storage unit.
  • the senor 100 may transmit a transmission signal consisting of subframes including multiple chirp signals. Also, the sensor 100 according to one embodiment may transmit a transmission signal consisting of a frame including a predetermined number of subframes.
  • the sensor 100 will be described as transmitting a transmission signal having a frame structure as shown in FIG. 3.
  • the frame structure as shown in FIG. 3 is an example, and the number of chirp signals included in one subframe is not limited to eight.
  • the signal generating unit 121 may generate a subframe including any number of chirp signals (for example, any multiple).
  • the subframe structure as shown in FIG. 3 is also an example, and the number of subframes included in one frame is not limited to 16.
  • the signal generating unit 121 may generate a frame including any number of subframes (for example, any multiple).
  • the signal generating unit 121 may generate signals of different frequencies.
  • the signal generating unit 121 may generate multiple discrete signals with frequencies f each having a different bandwidth.
  • the synthesizer 122 increases the frequency of the signal generated by the signal generating unit 121 to a frequency in a predetermined frequency band.
  • the synthesizer 122 may increase the frequency of the signal generated by the signal generating unit 121 to a frequency selected as the frequency of the transmission wave to be transmitted from the transmitting antenna 125.
  • the frequency selected as the frequency of the transmission wave to be transmitted from the transmitting antenna 125 may be set, for example, by the radar control unit 110.
  • the frequency selected as the frequency of the transmission wave to be transmitted from the transmitting antenna 125 may be stored, for example, in any memory unit.
  • the signal whose frequency has been increased by the synthesizer 122 is supplied to the phase control unit 123 and the mixer 133.
  • the signal whose frequency has been increased by the synthesizer 122 may be supplied to each of the multiple phase control units 123. Furthermore, if there are multiple receiving units 130, the signal whose frequency has been increased by the synthesizer 122 may be supplied to each mixer 133 in the multiple receiving units 130.
  • the phase control unit 123 controls the phase of the transmission signal supplied from the synthesizer 122. Specifically, the phase control unit 123 may adjust the phase of the transmission signal by appropriately advancing or delaying the phase of the signal supplied from the synthesizer 122 based on, for example, the control by the radar control unit 110. In this case, the phase control unit 123 may adjust the phase of each transmission signal based on the path difference of each transmission wave transmitted from the multiple transmission antennas 125. By the phase control unit 123 appropriately adjusting the phase of each transmission signal, the transmission waves transmitted from the multiple transmission antennas 125 reinforce each other in a predetermined direction to form a beam (beamforming).
  • the correlation between the direction of beamforming and the phase amount to be controlled of the transmission signal transmitted by each of the multiple transmission antennas 125 may be stored in, for example, an arbitrary storage unit.
  • the transmission signal phase-controlled by the phase control unit 123 is supplied to the amplifier 124.
  • the amplifier 124 amplifies the power (electricity) of the transmission signal supplied from the phase control section 123, for example, based on control by the radar control section 110. If the sensor 100 has multiple transmission antennas 125, the multiple amplifiers 124 may each amplify the power (electricity) of the transmission signal supplied from a corresponding one of the multiple phase control sections 123, for example, based on control by the radar control section 110. Since the technology itself for amplifying the power of the transmission signal is already known, a more detailed description will be omitted.
  • the amplifier 124 is connected to the transmission antenna 125.
  • the transmitting antenna 125 outputs (transmits) the transmission signal amplified by the amplifier 124 as a transmission wave. If the sensor 100 is equipped with multiple transmitting antennas 125, the multiple transmitting antennas 125 may each output (transmit) the transmission signal amplified by a corresponding one of the multiple amplifiers 124 as a transmission wave.
  • the transmitting antenna 125 can be configured in the same way as a transmitting antenna used in known radar technology, so a detailed description will be omitted.
  • the senor 100 includes a transmitting antenna 125, and can transmit a transmission signal (e.g., a transmitting chirp signal) as a transmission wave from the transmitting antenna 125.
  • a transmission signal e.g., a transmitting chirp signal
  • at least one of the functional units constituting the sensor 100 may be housed in a single housing.
  • the single housing may have a structure that makes it difficult to open.
  • the transmitting antenna 125, the receiving antenna 131, and the amplifier 124 are housed in a single housing, and that this housing has a structure that makes it difficult to open.
  • the sensor 100 shown in FIG. 2 shows an example having one transmitting antenna 125.
  • the sensor 100 may have any number of transmitting antennas 125.
  • the sensor 100 may have multiple transmitting antennas 125 when the transmission wave transmitted from the transmitting antenna 125 forms a beam in a predetermined direction.
  • the sensor 100 may have any number of transmitting antennas 125.
  • the sensor 100 may also have multiple phase control units 123 and amplifiers 124 corresponding to the multiple transmitting antennas 125.
  • the multiple phase control units 123 may each control the phase of the multiple transmitting waves supplied from the synthesizer 122 and transmitted from the multiple transmitting antennas 125.
  • the multiple amplifiers 124 may each amplify the power of the multiple transmitting signals transmitted from the multiple transmitting antennas 125.
  • the sensor 100 may be configured to include multiple transmitting antennas.
  • each of the multiple transmission antennas 125 may also be configured to include multiple functional units required to transmit transmission waves.
  • the receiving antenna 131 receives the reflected wave.
  • the reflected wave may be a transmitted wave reflected by a predetermined object 200.
  • the receiving antenna 131 may be configured to include multiple antennas.
  • the multiple receiving antennas 131 may form a receiving antenna array (receiving array antenna).
  • the receiving antenna 131 may be configured in the same manner as a receiving antenna used in known radar technology, and therefore a detailed description will be omitted.
  • the receiving antenna 131 is connected to the LNA 132. A received signal based on the reflected wave received by the receiving antenna 131 is supplied to the LNA 132. In this way, when the sensor 100 includes multiple receiving antennas 131, the sensor 100 may also be configured to include multiple functional units required for receiving and processing the reflected waves from the multiple receiving antennas 131.
  • the sensor 100 can receive a reflected wave that is a result of a transmission wave transmitted as a transmission signal (transmission chirp signal), such as a chirp signal, from a plurality of receiving antennas 131 and reflected by a specific object 200.
  • a transmission chirp signal such as a chirp signal
  • a reception signal based on the received reflected wave is also referred to as a reception chirp signal.
  • the sensor 100 receives a reception signal (e.g., a reception chirp signal) as a reflected wave from the receiving antenna 131.
  • the LNA 132 amplifies, with low noise, the received signal based on the reflected wave received by the receiving antenna 131.
  • the LNA 132 may be a low noise amplifier, and amplifies, with low noise, the received signal supplied from the receiving antenna 131.
  • the received signal amplified by the LNA 132 is supplied to the mixer 133.
  • the mixer 133 generates a beat signal by mixing (multiplying) the RF frequency reception signal supplied from the LNA 132 with the transmission signal supplied from the synthesizer 122.
  • the beat signal mixed by the mixer 133 is supplied to the IF unit 134.
  • the IF unit 134 performs frequency conversion on the beat signal supplied from the mixer 133, thereby lowering the frequency of the beat signal to an intermediate frequency (IF (Intermediate Frequency) frequency).
  • IF Intermediate Frequency
  • the AD conversion unit 135 digitizes the analog beat signal supplied from the IF unit 134.
  • the AD conversion unit 135 may be configured with any analog-to-digital conversion circuit (Analog to Digital Converter (ADC)).
  • ADC Analog to Digital Converter
  • the beat signal digitized by the AD conversion unit 135 is supplied to the radar control unit 110.
  • each of the beat signals digitized by the multiple AD conversion units 135 may be supplied to the radar control unit 110.
  • the radar control unit 110 may perform FFT processing (hereinafter referred to as "distance FFT processing" as appropriate) on the beat signal digitized by the AD conversion unit 135.
  • the radar control unit 110 may perform FFT processing on the complex signal supplied from the AD conversion unit 135.
  • the beat signal digitized by the AD conversion unit 135 can be expressed as a time change in signal strength (power). By performing FFT processing on such a beat signal, the radar control unit 110 can express it as a signal strength (power) corresponding to each frequency.
  • distance FFT processing in the radar control unit 110 a complex signal corresponding to distance can be obtained based on the beat signal digitized by the AD conversion unit 135.
  • the radar control unit 110 may determine that a predetermined object 200 is present at the distance corresponding to the peak. For example, a method is known in which, when a peak value equal to or greater than a threshold is detected from the average power or amplitude of a disturbance signal, such as in a detection process using a constant false alarm rate (CFAR), an object reflecting the transmitted wave (a reflecting object) is present.
  • CFAR constant false alarm rate
  • the senor 100 can detect an object 200 that reflects a transmission wave as a target based on a transmission signal that is transmitted as a transmission wave and a reception signal that is received as a reflected wave.
  • the radar control unit 110 can estimate the distance to a specified object based on one chirp signal (e.g., c1 shown in FIG. 3). That is, the sensor 100 can measure (estimate) the distance between the sensor 100 and a specified object 200 by performing distance FFT processing.
  • the technology itself for measuring (estimating) the distance to a specified object by performing FFT processing on a beat signal is well known, so a more detailed explanation will be simplified or omitted as appropriate.
  • the radar control unit 110 may further perform FFT processing (hereinafter referred to as "velocity FFT processing" as appropriate) on the beat signal that has been subjected to distance FFT processing.
  • the radar control unit 110 may perform FFT processing on the complex signal that has been subjected to distance FFT processing.
  • the radar control unit 110 can estimate the relative velocity with respect to a specified object based on a subframe of the chirp signal (e.g., subframe 1 shown in FIG. 3). By performing velocity FFT processing on multiple chirp signals in the radar control unit 110, a complex signal corresponding to the relative velocity can be obtained based on the complex signal corresponding to the distance obtained by distance FFT processing.
  • the electronic device 1 can measure (estimate) the relative velocity between the sensor 100 and the specified object 200. Since the technology itself of measuring (estimating) the relative velocity with respect to a specified object by performing velocity FFT processing on the result of distance FFT processing is well known, a more detailed explanation will be simplified or omitted as appropriate.
  • the presence or absence of a target can be determined based on the results of performing fast Fourier transform processing on beat frequencies extracted from a received signal.
  • the results of extracting beat frequencies from a received signal and performing fast Fourier transform processing also contain noise components due to clutter (unwanted reflected components). Therefore, processing may be performed to remove noise components from the results of processing the received signal and extract only the target signal.
  • the radar control unit 110 may also estimate the direction (arrival angle) in which the reflected wave arrives from a specific object 200 based on the determination of whether or not a target exists.
  • the radar control unit 110 may estimate the arrival angle for a point where it is determined that a target exists.
  • the sensor 100 can estimate the direction in which the reflected wave arrives by receiving reflected waves from multiple receiving antennas 131.
  • the multiple receiving antennas 131 are assumed to be arranged at a predetermined interval. In this case, the transmission wave transmitted from the transmission antenna 125 is reflected by the specific object 200 to become a reflected wave, and the multiple receiving antennas 131 arranged at a predetermined interval each receive the reflected wave R.
  • the radar control unit 110 can estimate the direction in which the reflected wave arrives at the receiving antenna 131 based on the phase of the reflected wave received by each of the multiple receiving antennas 131 and the path difference of each reflected wave. That is, the sensor 100 can measure (estimate) the arrival angle ⁇ , which indicates the direction in which the reflected wave reflected by the target arrives, based on the result of the velocity FFT processing.
  • the radar control unit 110 detects objects present within the range where the transmission wave is transmitted based on at least one of distance FFT processing, speed FFT processing, and arrival angle estimation.
  • the radar control unit 110 may perform object detection by, for example, performing clustering processing based on the supplied distance information, speed information, and angle information.
  • clustering processing for example, the average power of the points that make up the detected object may be calculated.
  • the sensor 100 can detect an object reflecting the transmission wave in three-dimensional space as point cloud information. That is, in one embodiment, based on the detection result output from the sensor 100, it can determine (detect) whether or not an object reflecting the transmission wave exists at a certain coordinate in three-dimensional space. Also, in one embodiment, the sensor 100 can detect the signal strength and speed of each point in three-dimensional space. As described above, the sensor 100 according to one embodiment may detect an object reflecting the transmission wave as point cloud information in three-dimensional space based on a transmission signal transmitted as a transmission wave and a reception signal received as a reflected wave of the transmission wave. In the present disclosure, the sensor 100 may detect an object as point cloud information in two-dimensional space.
  • the electronic device 1 may be configured to include an imaging unit 300.
  • the electronic device 1 and the imaging unit 300 may be connected by wire or wirelessly, or by a combination of wire and wireless.
  • the imaging unit 300 may be configured to include an image sensor that electronically captures an image, such as a digital camera.
  • the imaging unit 300 may be configured to include an imaging element that performs photoelectric conversion, such as a CCD (Charge Coupled Device Image Sensor) or a CMOS (Complementary Metal Oxide Semiconductor) sensor.
  • the imaging unit 300 may capture an image of an object that exists in front of the imaging unit 300, for example.
  • the object that exists in front of the imaging unit 300 may be, for example, a car, a person, and/or any object that exists in the surroundings.
  • the imaging unit 300 may convert the captured image into a signal and transmit it to the electronic device 1.
  • the imaging unit 300 may transmit a signal based on the captured image to the extraction unit 11, the memory unit 20, and/or the controller 10 of the electronic device 1.
  • the imaging unit 300 is not limited to an imaging device such as a digital camera, and may be any device that can capture an image of an object.
  • the imaging unit 300 may be, for example, a LIDAR (Light Detection And Ranging) sensor.
  • the imaging unit 300 may capture still images at predetermined intervals (e.g., 15 frames per second). Also, in one embodiment, the imaging unit 300 may capture continuous video.
  • FIGS. 4(A) and 4(B) are diagrams showing an example of the configuration of a detection device in which a sensor 100 and an imaging unit 300 are arranged.
  • FIG. 4(A) is a front view showing an example of the detection device 3 according to one embodiment as viewed from the front.
  • FIG. 4(B) is a side view showing an example of the detection device 3 according to one embodiment as viewed from the side (left).
  • the coordinate axes shown in FIG. 4(A) and FIG. 4(B) are aligned with the coordinate axes showing the propagation direction of the transmitted wave and/or reflected wave of the sensor 100 shown in FIG. 2.
  • the detection device 3 may include a sensor 100 and an imaging unit 300. Also, as shown in Figs. 4(A) and 4(B), the detection device 3 according to one embodiment may include at least one of a stand unit 5 and a ground unit 7, as appropriate. Also, the detection device 3 according to one embodiment may be disposed on any other device or the housing of another device, without including at least one of the stand unit 5 and the ground unit 7.
  • the sensor 100 shown in FIG. 4(A) and FIG. 4(B) may be the sensor 100 described in FIG. 1 and/or FIG. 2.
  • the sensor 100 may include a radio wave input unit 101 that receives a reflected wave of a transmitted wave reflected by an object.
  • the radio wave input unit 101 may be oriented along the optical axis Ra of the sensor 100.
  • the optical axis of the sensor 100 may be, for example, a direction perpendicular to a surface on which at least one of the transmitting antenna 125 and the receiving antenna 131 of the sensor 100 is installed.
  • the optical axis of the sensor 100 may be a direction perpendicular to a surface on which at least one of the plurality of antennas is installed.
  • the sensor 100 can transmit a transmitted wave and/or receive a reflected wave with the optical axis Ra as the center. That is, the sensor 100 can detect an object as a point cloud within a range centered on the optical axis Ra.
  • the sensor 100 may be directional, for example. That is, the sensor 100 may detect an object using directional radio waves.
  • directivity may be the relationship between the radiation direction and radiation strength of radio waves as a characteristic of an antenna. The presence or absence of directivity is related to the use of the antenna.
  • An antenna with strong directivity strongly radiates radio waves in a specific direction.
  • the directivity may be the same characteristic in both transmission and reception.
  • the electric field strength of the radio waves radiated by the antenna can be expressed in decibels (dB) as the gain of the antenna.
  • the sensor 100 according to one embodiment may be directional, and may have a main lobe (main beam) in the direction of the optical axis Ra shown in FIG. 4B. That is, the sensor 100 according to one embodiment may have the strongest radiation level in the direction of the optical axis Ra, for example.
  • the imaging unit 300 shown in Fig. 4(A) and Fig. 4(B) may be the imaging unit 300 described in Fig. 1.
  • the imaging unit 300 may include a light input unit 301 that receives light reflected by an object.
  • the light input unit 301 may face the optical axis La of the imaging unit 300.
  • the light input unit 301 may also be a position where a lens is placed in the imaging unit 300.
  • the optical axis of the imaging unit 300 may be, for example, a direction perpendicular to a surface on which a light receiving element (or imaging element) used for imaging in the imaging unit 300 is installed. With this configuration, the imaging unit 300 can capture an image centered on the optical axis La.
  • the stand unit 5 maintains the sensor 100 and the imaging unit 300 at a predetermined height from the ground in the detection device 3.
  • the stand unit 5 may maintain the sensor 100 at a height at which the sensor 100 can easily detect a predetermined object.
  • the stand unit 5 may also maintain the sensor 100 at a height at which the imaging unit 300 can easily image a predetermined object.
  • the stand unit 5 may be provided with a mechanism that can adjust the sensor 100 and the imaging unit 300, for example, in the height direction, in the detection device 3.
  • the grounding part 7 fixes the sensor 100 and the imaging part 300 to the ground surface in the detection device 3.
  • the grounding part 7 can assume various configurations, such as a pedestal shape, in order to stabilize the detection device 3 equipped with the sensor 100 and the imaging part 300.
  • the senor 100 and the imaging unit 300 may be disposed adjacent to each other in the vicinity.
  • the sensor 100 and the imaging unit 300 are disposed adjacent to each other in the up-down direction.
  • the sensor 100 and the imaging unit 300 may be disposed adjacent to each other in the left-right direction or diagonally, for example.
  • the senor 100 and the imaging unit 300 may be arranged so that their respective optical axes Ra and La are parallel. That is, in the electronic device 1 according to one embodiment, the optical axis La of the imaging unit 300 may be set parallel to the optical axis Ra of the sensor 100, and the point cloud information from the sensor 100 and the image information from the imaging unit 300 may be used.
  • the sensor 100 and the imaging unit 300 may be arranged so that the distance between their respective optical axes Ra and La is maintained at G. By arranging them in this manner, the point cloud information from the sensor 100 and the image information from the imaging unit 300 are shifted from each other by the distance G. For example, in the arrangement shown in FIG. 4(B), the image information from the imaging unit 300 is shifted upward by the distance G from the point cloud information from the sensor 100. Also, in the arrangement shown in FIG. 4(B), the point cloud information from the sensor 100 is shifted downward by the distance G from the image information from the imaging unit 300.
  • the position of the point cloud information from the sensor 100 can be made to correspond to the position of the image information from the imaging unit 300.
  • the position of the image information from the imaging unit 300 can be made to correspond to the position of the point cloud information from the sensor 100.
  • the electronic device 1 may correct at least one of the point cloud information from the sensor 100 and the image information from the imaging unit 300 so that the point cloud information from the sensor 100 and the image information from the imaging unit 300 positionally correspond to each other.
  • the electronic device 1 may use information obtained by aligning the point cloud information from the sensor 100 and the image information from the imaging unit 300 through correction or calibration.
  • the correction or calibration of the point cloud information from the sensor 100 and the image information from the imaging unit 300 will be described further below.
  • the electronic device 1 may adjust the wider range (angle) of the point cloud information by the sensor 100 and the image information by the imaging unit 300 to the narrower range (angle) so that they positionally correspond to each other. In other words, the electronic device 1 may use information only on the overlapping range between the imaging range of the imaging unit 300 and the detectable range of the sensor 100, and delete or ignore information on the non-overlapping ranges.
  • information that positionally corresponds to the point cloud information obtained by the sensor 100 detecting an object may be used as image information obtained by the imaging unit 300 capturing an image of the object.
  • the sensor 100 has directivity as described above, and has a main lobe (main beam) in the direction of the optical axis Ra shown in Fig. 4(B). That is, the sensor 100 according to one embodiment has the strongest radiation level in the direction of the optical axis Ra. In this case, the sensor 100 can output a point cloud representing a detected object by irradiating a directional transmission wave and receiving the reflected wave.
  • the sensor 100 performing such detection has a characteristic that it is easiest to detect the point cloud of an object in the direction of the optical axis Ra shown in Fig.
  • FIGS. 5(A) and 5(B) are diagrams for explaining whether there is a misalignment between the optical axis Ra of the sensor 100 and the optical axis La of the imaging unit 300.
  • a detection device 3 such as that shown in FIG. 4(A) and FIG. 4(B) detects an automobile located a short distance away from the detection device 3 in the positive direction of the X-axis.
  • a point cloud PT based on the detection of the object 200 by the sensor 100 is output at a position corresponding to the area of the object 200 (in this case, an automobile) included in the image IM captured by the imaging unit 300.
  • the optical axis Ra of the sensor 100 and the optical axis La of the imaging unit 300 are not misaligned, there is no need to calibrate these optical axes. Coordinates may be set in the image IM shown in FIG. 5A and FIG. 5B. In addition, in the image IM shown in FIG. 5A and FIG.
  • the first coordinates of a point corresponding to a predetermined position of the point cloud PT based on the detection of the object 200 by the sensor 100 are converted into coordinates on the image IM and projected onto the image IM.
  • the control unit (e.g., controller 10) of the present disclosure may determine whether or not the distance between a second coordinate point corresponding to a predetermined position of object 200 among points on an image of object 200 and a corresponding point on the image of object 200 of a first coordinate point of point cloud PT based on detection of object 200 by sensor 100 is equal to or greater than a predetermined distance. Coordinates may be set on image IM on two mutually orthogonal axes, for example.
  • the direction of the optical axis Ra of the sensor 100 is not parallel to the direction of the optical axis La of the imaging unit 300.
  • a point cloud PT based on the detection of the object 200 by the sensor 100 is output at a position shifted from the area of the object 200 (in this case, a car) included in the image IM captured by the imaging unit 300.
  • the optical axis Ra of the sensor 100 and the optical axis La of the imaging unit 300 are shifted, it is desirable to calibrate these optical axes. More specifically, the direction of at least one of the optical axes Ra and La may be changed by changing at least one of the angle at which the sensor 100 is disposed on the detection device 3 and the angle at which the imaging unit 300 is disposed on the detection device 3.
  • the electronic device 1 determines whether or not the above-mentioned calibration is necessary, and performs the calibration if necessary.
  • FIG. 6 is a diagram showing the arrangement of the detection device 3 and other components when calibration is performed by the electronic device 1 according to one embodiment.
  • a flat plate BD is placed as a calibration board at a position slightly away in the positive direction of the X-axis from the detection device 3 shown in FIGS. 4(A) and 4(B).
  • the flat plate BD may be imaged by the imaging unit 300 and detectable by the sensor 100.
  • the flat plate BD has a planar portion that includes a component perpendicular to the X-axis direction shown in FIG. 6, and the planar portion may reflect the transmission wave transmitted from the sensor 100 back to the sensor 100 and be imaged by the imaging unit 300.
  • the size of the flat plate BD is not particularly limited, but may be, for example, a size such that the entire planar portion of the flat plate BD is imaged by the imaging unit 300.
  • the size of the flat plate BD may also be a size such that the entire planar portion of the flat plate BD is detected by the sensor 100.
  • the size of the flat plate BD may also be a size such that, when the entire planar portion of the flat plate BD is imaged by the imaging unit 300, the area occupied by the flat plate BD in the imaged image is not excessively small.
  • the distance between the detection device 3 and the flat plate BD (the distance in the X-axis direction shown in FIG. 6) may also be adjusted so that the size of the planar portion of the flat plate BD imaged by the imaging unit 300 and/or the size of the planar portion of the flat plate BD detected by the sensor 100 is appropriate.
  • the material of the flat plate BD is not particularly limited, but may be a material that can be well detected by a sensor 100 such as a millimeter wave radar.
  • materials such as insulating materials may not be used as the material of the flat plate BD.
  • the surface that reflects the transmission wave transmitted by the radar 100 may be finished so as not to weaken the strength of the reflected wave more than necessary.
  • the surface that reflects the transmission wave transmitted by the radar 100 may be a surface with few irregularities or no irregularities.
  • the shape of the flat plate BD is not particularly limited, but may have a planar portion with a shape based on a quadrangle, for example. In the following description, the shape of the flat plate BD is taken to be rectangular as an example.
  • FIGS. 7(A) and 7(B), like FIG. 5(A) and FIG. 5(B), are diagrams showing the presence or absence of misalignment between the optical axis Ra of the sensor 100 and the optical axis La of the imaging unit 300.
  • the detection device 3 detects a flat plate BD that is located a short distance away from the detection device 3 in the positive direction of the X-axis, as in the configuration shown in FIG. 6.
  • a point cloud PT based on the detection of the flat plate BD by the sensor 100 is output at a position corresponding to an area near the center of the flat plate BD contained in the image IM captured by the imaging unit 300.
  • the optical axis Ra of the sensor 100 and the optical axis La of the imaging unit 300 are not misaligned, it is not necessary to calibrate these optical axes.
  • the electronic device 1 determines the degree of deviation between the optical axis Ra of the sensor 100 and the optical axis La of the imaging unit 300.
  • the controller 10 of the electronic device 1 determines the area with the most points among the areas divided at a predetermined interval in the direction in which calibration is performed (the horizontal direction in this case) in the point cloud PT based on the detection of the flat plate BD by the sensor 100 as shown in FIG. 7.
  • FIG. 8 is a diagram for explaining the process of determining the degree of misalignment between the optical axis Ra of the sensor 100 and the optical axis La of the imaging unit 300.
  • the area with the most points among the areas divided horizontally at small intervals is the area Cm shown in FIG. 8.
  • the controller 10 may determine this area Cm as the horizontal center position of the point cloud PT based on the detection of the flat plate BD by the sensor 100.
  • the center position determined in this manner is also referred to as the "center position of the point cloud corresponding to the flat plate BD" or the "center position of the point cloud”.
  • the controller 10 may determine the center position of the point cloud corresponding to the flat plate BD as the position toward which the optical axis Ra of the sensor 100 faces. As described above, the interval between the areas divided in the direction in which the calibration is performed may be appropriately adjusted so that the center position of the point cloud corresponding to the flat plate BD can be appropriately determined.
  • the controller 10 determines the center position of the flat plate BD in the image IM captured by the imaging unit 300 in the direction in which calibration is performed (the horizontal direction in this case).
  • the center position determined in this manner will also be referred to as the "center position of the image of the flat plate BD" or the “center position of the image.”
  • the controller 10 may then determine that the center position of the image of the flat plate BD is the position toward which the optical axis La of the imaging unit 300 points.
  • the controller 10 may determine that the optical axis Ra of the sensor 100 and the optical axis La of the imaging unit 300 are not misaligned (in this case, horizontally). In this case, the controller 10 may determine that there is no need to calibrate the optical axis Ra of the sensor 100 and the optical axis La of the imaging unit 300.
  • the controller 10 may determine that the optical axis Ra of the sensor 100 and the optical axis La of the imaging unit 300 are misaligned (in this case, horizontally). In this case, the controller 10 may determine that there is a need to calibrate the optical axis Ra of the sensor 100 and the optical axis La of the imaging unit 300.
  • the controller 10 may determine that the optical axis Ra of the sensor 100 and the optical axis La of the imaging unit 300 are almost not deviated (in this case, horizontally). In this case, the controller 10 may determine that it is not necessary to calibrate the optical axis Ra of the sensor 100 and the optical axis La of the imaging unit 300.
  • the controller 10 may determine that the optical axis Ra of the sensor 100 and the optical axis La of the imaging unit 300 are deviated (in this case, horizontally). In this case, the controller 10 may determine that it is necessary to calibrate the optical axis Ra of the sensor 100 and the optical axis La of the imaging unit 300.
  • the degree of deviation (amount of deviation) between the center position of the point cloud corresponding to the flat plate BD and the center position of the image of the flat plate BD may be used as a correction value for calibrating the optical axis Ra of the sensor 100 and the optical axis La of the imaging unit 300.
  • the controller 10 may correct the coordinates of the point cloud output from the sensor 100 based on the amount of deviation as described above. Such software correction allows calibration to be performed without changing the physical positioning of the optical axis Ra of the sensor 100 and the optical axis La of the imaging unit 300.
  • the center position of the image IM (the entire image IM) captured by the imaging unit 300 coincides with the center position of the flat plate BD in the image IM captured by the imaging unit 300.
  • the center position of the image IM captured by the imaging unit 300 and the center position of the flat plate BD in the image IM captured by the imaging unit 300 do not necessarily have to coincide.
  • the controller 10 can determine the center position of the image of the flat plate BD.
  • FIG. 9 is a flowchart illustrating the operation of the electronic device 1 according to one embodiment.
  • the operation shown in FIG. 9 may be started, for example, by using the detection device 3 arranged as shown in FIG. 6.
  • the operation shown in FIG. 9 may be started when the electronic device 1 determines whether or not it is necessary to calibrate the optical axis Ra of the sensor 100 and the optical axis La of the imaging unit 300.
  • the imaging unit 300 is assumed to be capturing an image of the flat plate BD. Also, when the operation shown in FIG. 9 starts, the sensor 100 is assumed to be outputting point cloud information obtained by detecting an object (flat plate BD) reflecting the transmission wave, based on a transmission signal transmitted as a transmission wave and a reception signal received as a reflected wave of the transmission wave.
  • the radar control unit 110 may perform a predetermined signal processing on a beat signal based on the transmitted wave and the reflected wave, and generate point cloud information (point cloud data) based on the detection of an object.
  • the radar control unit 110 may perform at least one of the above-mentioned signal processing, such as distance FFT processing, speed FFT processing, detection processing with a constant false alarm probability (CFAR), and a predetermined clustering processing.
  • the radar control unit 110 is not limited to the above-mentioned signal processing, and may perform any processing for generating point cloud data based on object detection. For example, in technologies such as millimeter wave radar, various processing for generating point cloud data based on object detection is known, so a more detailed description will be omitted.
  • the radar control unit 110 may generate point cloud data such as the point cloud PT shown in FIG. 7(B) as point cloud data corresponding to the object (flat plate BD) shown in FIG. 7(B). In this manner, the sensor 100 outputs point cloud data based on the detection of the object.
  • the point cloud data output from the sensor 100 in this manner may be input to the controller 10 of the electronic device 1.
  • the controller 10 acquires an image captured by the imaging unit 300 (step S11).
  • the image acquired in step S11 is assumed to be an image of the flat plate BD.
  • the controller 10 acquires point cloud information (point cloud data) output from the sensor 100 (step S12).
  • the point cloud data acquired in step S12 corresponds to the position of the flat plate BD detected by the sensor 100.
  • the point cloud data acquired in step S12 is information indicating the three-dimensional position of an object detected in three-dimensional space.
  • the controller 10 of the electronic device 1 then converts the three-dimensional point cloud data acquired in step S12 into two-dimensional data (step S13).
  • the controller 10 may generate point cloud information that can be processed two-dimensionally from the point cloud information in three-dimensional space output by the sensor 100.
  • FIG. 10 is a diagram explaining point cloud information in a three-dimensional space output by the sensor 100.
  • FIG. 10 is a diagram showing an example of a situation in which an object (in this case, a human) Tm located at a certain location is three-dimensionally detected by the sensor 100 installed at the origin O.
  • an object in this case, a human
  • the position where the sensor 100 is installed is taken as the reference (origin O), the direction approaching the object Tm is taken as the positive X-axis direction, and the direction moving away from the object Tm is taken as the negative X-axis direction.
  • the position where the sensor 100 is installed is taken as the reference (origin O)
  • the right side of the sensor 100 is taken as the positive Y-axis direction
  • the left side of the sensor 100 is taken as the negative Y-axis direction.
  • the position where the sensor 100 is installed is taken as the reference (origin O)
  • the upper side of the sensor 100 is taken as the positive Z-axis direction
  • the lower side of the sensor 100 is taken as the negative Z-axis direction.
  • the output of the sensor 100 may be four-channel data of data elements (signal strength and speed) of the position (X, Y, Z) in three-dimensional space at a certain moment.
  • the controller 10 converts the information detected in this three-dimensional space into two-dimensional information.
  • FIG. 11 is a diagram illustrating an example of generating point cloud information that can be processed two-dimensionally from point cloud information in three-dimensional space output by the sensor 100.
  • FIG. 11 is a diagram illustrating an example of an object (a human being in this case) Tm located at a certain location that is detected three-dimensionally (spatially) by the sensor 100 installed at the origin O, and then converted into two-dimensional (planar) data by the electronic device 1.
  • the right side of origin O is the positive X-axis direction
  • the bottom side of origin O is the positive Y-axis direction. That is, in FIG. 11, px indicates the horizontal coordinate, and py indicates the vertical coordinate.
  • the output of sensor 100 at a certain moment is converted from the above-mentioned four-channel data into three-channel data of data elements (signal strength and speed) of position (X, Y) on a two-dimensional plane.
  • electronic device 1 converts information detected in three-dimensional space into information on a two-dimensional plane.
  • the coordinates of the two-dimensional plane may be calculated based on, for example, the following formulas (1) and (2).
  • lx i , ly i , and lz i indicate outputs based on the results of detection by the sensor 100, i.e., point cloud information in three-dimensional space.
  • lx i indicates the x-direction distance of the i-th piece of information detected by the sensor 100.
  • ly i indicates the y-direction distance of the i-th piece of information detected by the sensor 100.
  • lz i indicates the z-direction distance of the i-th piece of information detected by the sensor 100.
  • px i and py i indicate the coordinates of the point cloud converted into two-dimensional plane information by the controller 10 of the electronic device 1.
  • px i indicates the x-coordinate of the i-th piece of information detected by the sensor 100.
  • py i indicates the y-coordinate of the i-th piece of information detected by the sensor 100.
  • M indicates the number of pixels in the horizontal direction when the image is assumed to be a two-dimensional plane
  • ⁇ x indicates the horizontal angle of view when the image is assumed to be a two-dimensional plane
  • N indicates the number of pixels in the vertical direction when the image is assumed to be a two-dimensional plane
  • ⁇ y indicates the vertical angle of view when the image is assumed to be a two-dimensional plane.
  • px i and py i may be rounded off to integers so as to function as coordinate values. Also, in the above formulas (1) and (2), data that does not satisfy, for example, 0 ⁇ px i ⁇ M or 0 ⁇ py i ⁇ N may be discarded so that px i and py i fit within the size of the image after conversion onto a two-dimensional plane.
  • the electronic device 1 may generate point cloud information that can be processed two-dimensionally from the output of the sensor 100.
  • the electronic device 1 may convert the point cloud information detected by the sensor 100 into point cloud information that can be processed two-dimensionally based on at least one of a predetermined number of pixels and a predetermined angle of view in a two-dimensional image.
  • the electronic device 1 according to one embodiment may use a conversion formula other than the above-mentioned formula (1) and formula (2) when generating point cloud information that can be processed two-dimensionally from the output of the sensor 100.
  • the point cloud information in step S12 is reduced in dimension in step S13, so that, for example, the amount of calculations by the controller 10 can be significantly reduced. Therefore, in the electronic device 1 according to one embodiment, the processing load of the controller 10 can be reduced, for example.
  • Each point constituting the two-dimensional point cloud data generated in step S13 may include three channels of information, namely, reflection intensity, distance, and speed at that point.
  • the controller 10 determines the area with the most points among the areas divided at a predetermined interval in the direction in which calibration is performed (in this case, the horizontal direction) in the point cloud data based on the detection of the flat plate BD (step S14).
  • the area with the most points may be a "column" such as the area Cm shown in FIG. 8. That is, in step S14, the controller 10 determines the center position of the point cloud corresponding to the flat plate BD.
  • the controller 10 determines whether the center position of the column with the most points, i.e., the point cloud corresponding to the flat plate BD, coincides with the center position of the image of the flat plate BD (step S15). In step S15, the controller 10 may determine whether the positions of both are within a predetermined range, rather than determining whether the center position of the point cloud corresponding to the flat plate BD coincides with the center position of the image of the flat plate BD, as described above.
  • step S15 if the center position of the point cloud corresponding to the flat plate BD coincides with the center position of the image of the flat plate BD (or is within a predetermined range), the controller 10 may determine that calibration is not necessary. In this case, the controller 10 may end the operation shown in FIG. 9. In this case, the controller 10 may also notify the user that the center position of the point cloud corresponding to the flat plate BD coincides with the center position of the image of the flat plate BD and/or that calibration is not necessary.
  • step S15 the controller 10 may determine that calibration (or correction) is necessary (step S16).
  • step S16 the controller 10 may correct the coordinates of the point cloud detected by the sensor 100 based on the amount by which the center position of the point cloud corresponding to the flat plate BD is shifted from the center position of the image of the flat plate BD.
  • the controller 10 may notify the user that the center position of the point cloud corresponding to the flat plate BD did not match (or was shifted from) the center position of the image of the flat plate BD and/or that the coordinates of the point cloud output from the sensor 100 have been corrected.
  • the controller 10 may also correct the coordinates of the center position of the image of the flat plate BD based on the amount of shift from the center position of the image of the flat plate BD.
  • the controller 10 may determine the center position of the point cloud from the information of the point cloud obtained by detecting an object (e.g., a flat plate BD) that reflects the transmission wave based on the transmission signal transmitted as a transmission wave and the reception signal received as a reflected wave of the transmission wave.
  • the controller 10 may also determine the center position of an object in an image based on information of an image in which the object (flat plate BD) is captured.
  • the controller 10 may determine whether the distance between the center position of the point cloud and the center position of the object (flat plate BD) in the image is greater than or equal to a predetermined distance.
  • the controller 10 may determine that the area with the largest number of points among the areas divided horizontally or vertically in the point cloud information is the center position of the point cloud.
  • the controller 10 may also convert the point cloud information detected in three-dimensional space into two-dimensional information.
  • the controller 10 may also correct the center position (coordinates of) the point cloud and/or the center position (coordinates of) the object (flat plate BD) in the image based on a determination of whether the distance between the center position of the point cloud and the center position of the object (flat plate BD) in the image is greater than or equal to a predetermined value.
  • the controller 10 may determine the center position of the point cloud from information of the point cloud obtained by detecting a plate-like member having a flat portion, such as a flat plate BD, as an object that reflects the transmitted wave. In this case, the controller 10 may determine the center position of the plate-like member in the image from information of an image in which the plate-like member is captured. The controller 10 may also determine whether the distance between the center position of the point cloud and the center position of the plate-like member in the image is equal to or greater than a predetermined value.
  • the misalignment between the optical axis of the sensor and the optical axis of the camera can be easily calibrated. Therefore, according to the electronic device 1 of one embodiment, it is possible to easily calibrate the sensor that detects an object and the camera that captures the object.
  • the electronic device 1 of one embodiment by applying AI technology to information that combines, for example, point cloud information of an object detected by a millimeter wave radar sensor and image information of the object captured by a camera, the object can be detected with good accuracy.
  • the controller 10 may learn the position of the object by machine learning based on the point cloud information and image information of the object.
  • the center position of the point cloud corresponding to the flat plate BD is determined based on the area (area Cm) with the largest number of points among the areas divided horizontally at small intervals as shown in Fig. 8.
  • the center position of the point cloud corresponding to the flat plate BD may be determined based on other information.
  • the information actually output from the sensor 100 includes not only the original point cloud (indicated by ⁇ ) based on the detection of the flat plate BD, but also points detected as noise (indicated by ⁇ ). If there are a large number of such points detected as noise, there is a concern that the area with the largest number of points (area Cm) among the areas divided horizontally at small intervals as described above will not be correctly determined.
  • FIG. 13 is a diagram showing an example of a heat map representing the frequency with which the point cloud appears when integrating the point cloud information output from the sensor 100 for multiple frames of the transmission wave.
  • the controller 10 may apply a heat map such as that shown in FIG. 13 when integrating the point cloud information output from the sensor 100 as shown in FIG. 12 for multiple frames of the transmission wave.
  • FIG. 14 is a diagram showing an example of the result of applying a heat map representing the occurrence frequency of a point cloud when integrating point cloud information output from the sensor 100 for multiple frames of a transmission wave. As shown in FIG. 14, the effect of noise can be reduced by applying a heat map that represents the frequency of occurrence of a point cloud.
  • the controller 10 may calculate the integral value of the reflection intensity (power) of each point constituting the point cloud PT based on the detection of the flat plate BD.
  • the controller 10 may determine the area in the point cloud PT based on the detection of the flat plate BD by the sensor 100, which is divided at a predetermined interval in the direction in which the calibration is performed (in this case, the horizontal direction), where the integral value of the reflection intensity (power) is maximum.
  • the area in which the integral value of the reflection intensity (power) is maximum is the area Em shown in FIG. 14.
  • the controller 10 may determine this area Em as the horizontal center position of the point cloud PT based on the detection of the flat plate BD by the sensor 100 (the center position of the point cloud corresponding to the flat plate BD). In this case, the interval between the areas divided in the direction in which the calibration is performed may be appropriately adjusted so that the center position of the point cloud corresponding to the flat plate BD can be appropriately determined.
  • FIG. 15 is a flowchart explaining the operation of the electronic device 1 according to the other embodiment described above.
  • the explanation will focus on the parts that are different from FIG. 9, and the explanation of the same or similar parts to FIG. 9 will be simplified or omitted as appropriate.
  • step S11 to step S13 may be performed in the same manner as the operations from step S11 to step S13 shown in FIG. 9.
  • step S13 the controller 10 integrates the point cloud data converted to two dimensions in step S13 on a frame-by-frame basis (step S21).
  • step S21 the controller 10 determines whether the number of frames integrated in step S21 has reached a predetermined number (N frames) (step S22).
  • N frames a predetermined number
  • the number of frames to be integrated may be set appropriately.
  • step S22 If the number of frames integrated has not reached the predetermined number in step S22, the controller 10 repeats the operations from step S11 to step S13 and step S21. If the number of frames integrated has reached the predetermined number in step S22, the controller 10 applies a heat map showing the frequency of occurrence of point clouds as shown in FIG. 14 to the point cloud data integrated with N frames (step S23).
  • step S23 the controller 10 determines the area where the integral value of the reflection intensity (power) is maximum among the areas divided at a predetermined interval in the direction in which the calibration is performed (in this case, the horizontal direction) in the point cloud data based on the detection of the flat plate BD (step S24).
  • the area where the integral value of the reflection intensity (power) is maximum may be a "column" as shown as area Em in FIG. 14. That is, in step S24, the controller 10 determines the center position of the point cloud corresponding to the flat plate BD.
  • step S25 the controller 10 determines whether the area where the integral value of the reflection intensity (power) is maximum, that is, the center position of the point cloud corresponding to the flat plate BD, coincides with the center position of the image of the flat plate BD (step S25).
  • the controller 10 may determine whether the positions of both are within a predetermined range, rather than determining whether the center position of the point cloud corresponding to the flat plate BD coincides with the center position of the image of the flat plate BD, as described above. Subsequent operations may be the same as those in FIG. 9.
  • the controller 10 may determine that the area in the point cloud information divided horizontally or vertically, in which the integral value of the power indicated by the point cloud contained in that area is maximum, is the center position of the point cloud. In this case, the controller 10 may make the above-mentioned determination regarding the result of superimposing a predetermined number of frames of the transmission wave. The controller 10 may also make the above-mentioned determination regarding the result of superimposing a predetermined number of frames of the transmission wave, based on the frequency with which the point cloud is detected.
  • the above-described embodiments are not limited to implementation as the electronic device 1.
  • the above-described embodiments may be implemented as the electronic device 1 included in the electronic device 1.
  • the above-described embodiments may also be implemented as a monitoring method using an apparatus such as the electronic device 1.
  • the above-described embodiments may also be implemented as a program executed by an apparatus such as the electronic device 1 or an information processing apparatus (e.g., a computer), or as a storage medium or recording medium on which such a program is recorded.

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Geophysics (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

電子機器は、送信波として送信される送信信号、及び送信波が反射された反射波として受信される受信信号に基づいて、送信波を反射する物体を検出することにより得られる点群における、物体の所定位置に対応する第１の座標点と、物体が撮像された画像における、所定位置に対応する第２の座標点と、に基づいて、点群における前記物体の位置と画像における物体の位置とのズレを補正する。

Description

電子機器、電子機器の制御方法、及びプログラム 関連出願の相互参照
　本出願は、２０２２年１１月２日に日本国に特許出願された特願２０２２－１７６６６７の優先権を主張するものであり、この先の出願の開示全体を、ここに参照のために取り込む。
　本開示は、電子機器、電子機器の制御方法、及びプログラムに関する。
　例えば自動車に関連する産業などの分野において、自車両と所定の物体との間の距離などを測定する技術が重要視されている。特に、近年、ミリ波のような電波を送信し、障害物などの物体に反射した反射波を受信することで、物体との間の距離などを測定するレーダ（RADAR（Radio Detecting and Ranging））の技術が、種々研究されている。このような距離などを測定する技術の重要性は、運転者の運転をアシストする技術、及び、運転の一部又は全部を自動化する自動運転に関連する技術の発展に伴い、今後ますます高まると予想される。このような、物体との間の距離などを測定する技術は、交通のような分野に限られず、様々な分野における利用が期待されている。例えば、介護施設又は医療現場などにおいて、要看護者又は要介護者などのような被監視者の位置を検出できれば、当該被監視者の行動を追跡又は監視するような用途にも役立つ。
　また、最近、ミリ波レーダのような技術を用いたセンサによって物体を検出することで得られる点群の情報を、デジタルカメラなどで撮像した画像（又は映像）の情報に統合した情報を活用する研究が進められている。例えば、ミリ波レーダのセンサによって検出される物体の点群の情報と、当該物体をカメラで撮像した画像の情報とを統合した情報にＡＩ（Artificial Intelligence）の技術を適用することで、当該物体を良好な精度で検出する技術も研究されている。
特開２００９－１６８４７２号公報
　一実施形態に係る電子機器は、
　送信波として送信される送信信号、及び前記送信波が反射された反射波として受信される受信信号に基づいて、前記送信波を反射する物体を検出することにより得られる点群における、前記物体の所定位置に対応する第１の座標点と、
　前記物体が撮像された画像における、前記所定位置に対応する第２の座標点と、
　に基づいて、前記点群における前記物体の位置と前記画像における前記物体の位置とのズレを補正する。
　一実施形態に係る電子機器の制御方法は、
　送信波として送信される送信信号、及び前記送信波が反射された反射波として受信される受信信号に基づいて、前記送信波を反射する物体を検出することにより得られる点群における、前記物体の所定位置に対応する第１の座標点と、
　前記物体が撮像された画像における、前記所定位置に対応する第２の座標点と、
　に基づいて、前記点群における前記物体の位置と前記画像における前記物体の位置とのズレを補正するステップを含む。、
　一実施形態に係るプログラムは、
　コンピュータに、
　送信波として送信される送信信号、及び前記送信波が反射された反射波として受信される受信信号に基づいて、前記送信波を反射する物体を検出することにより得られる点群における、前記物体の所定位置に対応する第１の座標点と、
　前記物体が撮像された画像における、前記所定位置に対応する第２の座標点と、
　に基づいて、前記点群における前記物体の位置と前記画像における前記物体の位置とのズレを補正するステップ
　を実行させる。
一実施形態に係る電子機器の機能的な構成を示すブロック図である。 一実施形態に係るセンサの機能的な構成を示すブロック図である。 一実施形態に係るセンサによって送信される送信信号の例を示す図である。 一実施形態に係る検出機器の構成の例を示す図である。 一実施形態に係るセンサによる物体検出の例を示す図である。 一実施形態に係るキャリブレーションを行う際の機器構成を示す図である。 一実施形態に係る電子機器による動作の例を示す図である。 一実施形態に係る電子機器による動作の例を示す図である。 一実施形態に係る電子機器の動作を説明するフローチャートである。 一実施形態に係る電子機器による処理の例を示す図である。 一実施形態に係る電子機器による処理の例を示す図である。 一実施形態に係る電子機器による動作の例を示す図である。 一実施形態に係る電子機器による動作の例を示す図である。 一実施形態に係る電子機器による動作の例を示す図である。 一実施形態に係る電子機器の動作を説明するフローチャートである。
　上述のように、ミリ波レーダのセンサによって検出される物体の点群の情報を、当該物体をカメラで撮像した画像の情報に統合する場合、センサの光軸とカメラとの光軸が正しく調整されていないと、それらを統合した情報を適切に活用できなくなり得る。したがって、このような技術を活用する場合、センサの光軸とカメラの光軸とのずれが簡便にキャリブレーションされることが望ましい。例えば、レーザスキャナをキャリブレーションする技術として、特許文献１は、専用の特殊な機器を使用することなくレーザスキャナのキャリブレーションを行い得る技術を提案している。本開示の目的は、物体を検出するセンサ及び当該物体を撮像するカメラを簡便にキャリブレーションし得る電子機器、電子機器の制御方法、及びプログラムを提供することにある。一実施形態によれば、物体を検出するセンサ及び当該物体を撮像するカメラを簡便にキャリブレーションし得る電子機器、電子機器の制御方法、及びプログラムを提供することができる。
　本開示において、「電子機器」とは、電力により駆動する機器としてよい。また、「システム」とは、電力により駆動する機器を含むものとしてよい。また、「ユーザ」とは、一実施形態に係るシステム及び／又は電子機器を使用する者（典型的には人間）としてよい。ユーザは、一実施形態に係るシステム及び／又は電子機器を用いることで、各種物体を検出することによる利益を享受する者を含んでよい。
　以下説明する一実施形態に係る電子機器は、例えばミリ波レーダのような技術に基づくセンサによって検出される３次元空間における点群の情報から、２次元的に処理可能な点群の情報を生成することができる。また、一実施形態に係る電子機器は、前述のようなセンサから取得される点群の情報と、カメラで撮像する画像（映像）の情報とに基づいて、センサの光軸とカメラの光軸とのずれの有無を判定することができる。さらに、一実施形態に係る電子機器は、センサの光軸とカメラの光軸とのずれの度合いを判定することもできる。したがって、一実施形態に係る電子機器は、センサの光軸とカメラの光軸とのずれを補正することができる。一実施形態に係る電子機器は、例えば画像認識のような技術を採用することにより、２次元的に処理可能な点群の情報に基づいて、物体の存在及び位置を検出することができるようにしてよい。以下、一実施形態に係る電子機器について、図面を参照して詳細に説明する。本開示の電子機器、方法、及びプログラムは、例えば、部屋、ベッド、浴室、トイレ、自動車、バス、電車、通路、又は路上など所定空間内に存在する人、物、又は動物などを検出する際に利用することができる。
　図１は、一実施形態に係る電子機器１の構成を概略的に示す機能ブロック図である。図１に示すように、一実施形態に係る電子機器１は、コントローラ１０を備える。一実施形態において、電子機器１は、例えば、記憶部２０、通信部３０、表示部４０、及び報知部５０などの少なくともいずれかを、適宜備えてもよい。上述したコントローラ１０、記憶部２０、通信部３０、表示部４０、及び報知部５０などは、電子機器１における任意の箇所に配置又は内蔵してよい。また、上述したコントローラ１０、記憶部２０、通信部３０、表示部４０、及び報知部５０などの少なくともいずれかは、電子機器１の外部に配置されて、互いに有線若しくは無線、又はこれらの組み合わせによるネットワークにより、互いに接続されていてもよい。一実施形態に係る電子機器１は、図１に示した機能部の少なくても一部を省略してもよいし、図１に示した機能部以外の他の機能部を適宜備えてもよい。
　一実施形態に係る電子機器１は、各種の機器としてよい。例えば、一実施形態に係る電子機器は、専用に設計された端末の他、汎用のスマートフォン、タブレット、ファブレット、ノートパソコン（ノートＰＣ）、コンピュータ、又はサーバなどのように、任意の機器としてよい。また、一実施形態に係る電子機器は、例えば携帯電話又はスマートフォンのように、他の電子機器と通信を行う機能を有してもよい。ここで、上述の「他の電子機器」とは、例えば携帯電話又はスマートフォンのような電子機器としてもよいし、例えば基地局、サーバ、専用端末、又はコンピュータのように、任意の機器としてもよい。「他の電子機器」とは、例えば後述のセンサ１００及び／又は撮像部３００などとしてもよい。また、本開示における「他の電子機器」も、電力によって駆動される機器又は装置などとしてよい。一実施形態に係る電子機器が、他の電子機器と通信を行う際には、有線及び／又は無線による通信を行うものとしてよい。
　図１に示すように、一実施形態に係る電子機器１は、センサ１００に、有線及び／又は無線によって接続されてよい。このような接続により、一実施形態に係る電子機器１は、センサ１００によって検出された結果の情報を取得することができる。また、一実施形態に係る電子機器１は、撮像部３００に、有線及び／又は無線によって接続されてよい。このような接続により、一実施形態に係る電子機器１は、撮像部３００によって撮像された画像の情報を取得することができる。センサ１００及び撮像部３００については、さらに後述する。
　コントローラ１０は、電子機器１を構成する各機能部をはじめとして、電子機器１の全体を制御及び／又は管理する。コントローラ１０は、種々の機能を実行するための制御及び処理能力を提供するために、例えばＣＰＵ（Central Processing Unit）又はＤＳＰ（Digital Signal Processor）のような、少なくとも１つのプロセッサを含んでよい。コントローラ１０は、まとめて１つのプロセッサで実現してもよいし、いくつかのプロセッサで実現してもよいし、それぞれ個別のプロセッサで実現してもよい。プロセッサは、単一の集積回路として実現されてよい。集積回路は、ＩＣ（Integrated Circuit）ともいう。プロセッサは、複数の通信可能に接続された集積回路及びディスクリート回路として実現されてよい。プロセッサは、他の種々の既知の技術に基づいて実現されてよい。
　一実施形態において、コントローラ１０は、例えばＣＰＵ又はＤＳＰ及び当該ＣＰＵ又はＤＳＰで実行されるプログラムとして構成されてよい。コントローラ１０において実行されるプログラム、及び、コントローラ１０において実行された処理の結果などは、例えば記憶部２０に記憶されてよい。コントローラ１０は、コントローラ１０の動作に必要なメモリを適宜含んでもよい。
　一実施形態に係る電子機器１において、コントローラ１０は、例えばセンサ１００による検出の結果として出力される情報について、種々の処理を行うことができる。このため、電子機器１において、コントローラ１０は、センサ１００と有線及び／又は無線によって接続されてよい。また、一実施形態に係る電子機器１において、コントローラ１０は、例えば撮像部３００による撮像の結果として出力される情報（画像）について、種々の処理を行うことができる。このため、電子機器１において、コントローラ１０は、撮像部３００と有線及び／又は無線によって接続されてよい。一実施形態に係る電子機器１のコントローラ１０の動作については、さらに後述する。
　記憶部２０は、各種の情報を記憶するメモリとしての機能を有してよい。記憶部２０は、例えばコントローラ１０において実行されるプログラム、及び、コントローラ１０において実行された処理の結果などを記憶してよい。記憶部２０は、センサ１００による検出結果、及び／又は、撮像部３００によって撮像された画像などを記憶又は蓄積してもよい。また、記憶部２０は、コントローラ１０のワークメモリとして機能してよい。記憶部２０は、例えば半導体メモリ等により構成することができるが、これに限定されず、任意の記憶装置とすることができる。例えば、記憶部２０は、一実施形態に係る電子機器１に挿入されたメモリカードのような記憶媒体としてもよい。また、記憶部２０は、例えば、ハードディスクドライブ（Hard Disk Drive，ＨＤＤ）及び／又はソリッドステートドライブ（Solid State Drive，ＳＳＤ）などを含んで構成されてもよい。また、記憶部２０は、後述のコントローラ１０として用いられるＣＰＵの内部メモリであってもよいし、コントローラ１０に別体として接続されるものとしてもよい。
　記憶部２０は、例えば機械学習データを記憶してもよい。ここで、機械学習データは、機械学習によって生成されるデータとしてよい。また、機械学習とは、特定のタスクをトレーニングによって実行可能になるＡＩ（Artificial Intelligence）の技術に基づくものとしてよい。より具体的には、機械学習とは、コンピュータのような情報処理装置が多くのデータを学習し、分類及び／又は予測などのタスクを遂行するアルゴリズム又はモデルを自動的に構築する技術としてよい。本明細書において、ＡＩの一部には、機械学習が含まれるとしてもよい。
　本明細書において、機械学習には、正解データをもとに入力データの特徴又はルールを学習する教師あり学習が含まれるものとしてよい。また、機械学習には、正解データがない状態で入力データの特徴又はルールを学習する教師なし学習が含まれるものとしてもよい。さらに、機械学習には、報酬又は罰などを与えて入力データの特徴又はルールを学習する強化学習などが含まれるものとしてもよい。また、本明細書において、機械学習は、教師あり学習、教師なし学習、及び強化学習を任意に組み合わせたものとしてもよい。本実施形態の機械学習データの概念は、入力データに対して学習されたアルゴリズムを用いて所定の推論（推定）結果を出力するアルゴリズムを含むとしてもよい。本実施形態は、このアルゴリズムとして、例えば、従属変数と独立変数との関係を予測する線形回帰、人の脳神経系ニューロンを数理モデル化したニューラルネットワーク（ＮＮ）、誤差を二乗して算出する最小二乗法、問題解決を木構造にする決定木、及びデータを所定の方法で変形する正則化などその他適宜なアルゴリズムを用いることができる。本実施形態は、ニューラルネットワークの一種であるディープラーニングを利用するものとしてよい。ディープラーニングは、ニューラルネットワークの一種であり、ネットワークの階層が深いニューラルネットワークがディープラーニングと呼ばれている。なお、本開示におけるコンピュータの学習のフェーズは、例えば、結果出力処理に利用されるパラメータを生成する訓練フェーズ(training phase)を含むとしてもよい。
　通信部３０は、有線又は無線により通信するためのインタフェースの機能を有する。一実施形態の通信部３０によって行われる通信方式は無線通信規格としてよい。例えば、無線通信規格は２Ｇ、３Ｇ、４Ｇ、及び５Ｇ等のセルラーフォンの通信規格を含む。例えばセルラーフォンの通信規格は、ＬＴＥ（Long Term Evolution）、Ｗ－ＣＤＭＡ（Wideband Code Division Multiple Access）、ＣＤＭＡ２０００、ＰＤＣ（Personal Digital Cellular）、ＧＳＭ（登録商標）（Global System for Mobile communications）、及びＰＨＳ（Personal Handy-phone System）等を含む。例えば、無線通信規格は、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）、ＩＥＥＥ８０２．１１、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Infrared Data Association）、及びＮＦＣ（Near Field Communication）等を含む。通信部３０は、例えばＩＴＵ－Ｔ(International Telecommunication Union Telecommunication Standardization Sector)において通信方式が標準化されたモデムを含んでよい。通信部３０は、上記の通信規格の１つ又は複数をサポートすることができる。
　通信部３０は、例えば電波を送受信するアンテナ及び適当なＲＦ部などを含めて構成してよい。通信部３０は、例えばアンテナを介して、例えば他の電子機器の通信部と無線通信してもよい。また、通信部３０は、外部に有線接続するためのコネクタなどのようなインタフェースとして構成してもよい。通信部３０は、無線通信を行うための既知の技術により構成することができるため、より詳細なハードウェアなどの説明は省略する。
　通信部３０が受信する各種の情報は、例えば記憶部２０及び／又はコントローラ１０に供給されてよい。通信部３０が受信する各種の情報は、例えばコントローラ１０に内蔵されたメモリに記憶してもよい。また、通信部３０は、例えばコントローラ１０による処理結果、及び／又は、記憶部２０に記憶された情報などを外部に送信してもよい。
　表示部４０は、例えば、液晶ディスプレイ（Liquid Crystal Display：ＬＣＤ）、有機ＥＬディスプレイ（Organic Electro-Luminescence panel）、又は無機ＥＬディスプレイ（Inorganic Electro-Luminescence panel）等の任意の表示デバイスとしてよい。表示部４０は、文字、図形、又は記号等の各種の情報を表示してよい。また、表示部４０は、例えばユーザに電子機器１の操作を促すために、種々のＧＵＩを構成するオブジェクト、及びアイコン画像などを表示してもよい。表示部４０において表示を行うために必要な各種データは、例えばコントローラ１０又は記憶部２０などから供給されてよい。また、表示部４０は、例えばＬＣＤなどを含む場合、適宜、バックライトなどを含んで構成されてもよい。一実施形態において、表示部４０は、例えばセンサ１００による検出の結果に基づく情報を表示してもよい。また、一実施形態において、表示部４０は、例えば撮像部３００による撮像の結果に基づく情報を表示してもよい。
　報知部５０は、コントローラ１０から出力される所定の信号に基づいて、電子機器１のユーザなどに注意を促すための所定の警告を報知してよい。報知部５０は、所定の警告として、例えば音、音声、光、文字、映像、及び振動など、ユーザの聴覚、視覚、触覚の少なくともいずれかを刺激する任意の機能部としてよい。具体的には、報知部５０は、例えばブザー又はスピーカのような音声出力部、ＬＥＤのような発光部、ＬＣＤのような表示部、及びバイブレータのような触感呈示部などの少なくともいずれかとしてよい。このように、報知部５０は、コントローラ１０から出力される所定の信号に基づいて、所定の警告を報知してよい。一実施形態において、報知部５０は、所定の警報を、聴覚、視覚、及び触覚の少なくともいずれかに作用する情報として報知してもよい。
　図１に示す電子機器１は、報知部５０を内蔵している。しかしながら、一実施形態において、報知部５０は、電子機器１の外部に設けられてもよい。この場合、報知部５０と電子機器１とは、有線若しくは無線、又は有線及び無線の組合せにより接続されてよい。
　図１に示すような、一実施形態に係る電子機器１を構成する各機能部の少なくとも一部は、ソフトウェアとハードウェア資源とが協働した具体的手段によって構成されてもよい。
　図１に示すセンサ１００は、例えば自動車又は人体などのような物体（物標）を、３次元空間における点群の情報として検出するように構成される。以下、一実施形態に係るセンサ１００について、より詳細に説明する。
　図２は、一実施形態に係るセンサ１００の構成を概略的に示す機能ブロック図である。図２に示すセンサ１００は、一例として、ミリ波レーダ（RADAR（Radio Detecting and Ranging））の技術に基づくもの（ミリ波レーダセンサ）とする。しかしながら、一実施形態に係るセンサ１００は、ミリ波レーダセンサに限定されない。一実施形態に係るセンサ１００は、例えば、準ミリ波レーダセンサとしてよい。また、一実施形態に係るセンサ１００は、ミリ波レーダセンサ又は準ミリ波レーダセンサに限定されず、電波を送受信する各種のレーダセンサとしてよい。また、一実施形態に係るセンサ１００は、例えば、マイクロ波センサ、超音波センサ、又はLIDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）のような技術に基づくセンサとしてもよい。
　ミリ波方式のレーダによって距離などを測定する際、周波数変調連続波レーダ（以下、ＦＭＣＷレーダ（Frequency Modulated Continuous Wave radar）と記す）が用いられることがある。ＦＭＣＷレーダは、送信する電波の周波数を掃引して送信信号が生成される。したがって、例えば７９ＧＨｚの周波数帯の電波を用いるミリ波方式のＦＭＣＷレーダにおいて、使用する電波の周波数は、例えば７７ＧＨｚ～８１ＧＨｚのように、４ＧＨｚの周波数帯域幅を持つものとなる。７９ＧＨｚの周波数帯のレーダは、例えば２４ＧＨｚ、６０ＧＨｚ、７６ＧＨｚの周波数帯などの他のミリ波／準ミリ波レーダよりも、使用可能な周波数帯域幅が広いという特徴がある。以下、例として、このようなＦＭＣＷレーダを採用する場合について説明する。本開示で利用されるＦＭＣＷレーダの方式は、通常より短い周期でチャープ信号を送信するＦＣＭ方式（Fast-Chirp Modulation）を含むとしてもよい。センサ１００が生成する信号はＦＭＣＷ方式の信号に限定されない。センサ１００が生成する信号はＦＭＣＷ方式以外の各種の方式の信号としてもよい。送信される信号として記憶される送信信号列は、これら各種の方式によって異なるものとしてよい。例えば、上述のＦＭＣＷ方式のレーダ信号の場合、時間サンプルごとに周波数が増加する信号及び減少する信号を使用してよい。上述の各種の方式は、公知の技術を適宜適用することができるため、より詳細な説明は、適宜省略する。
　図２に示すように、一実施形態に係るセンサ１００は、レーダ制御部１１０、送信部１２０、及び受信部１３０を含んで構成されてよい。上述したレーダ制御部１１０、送信部１２０、及び受信部１３０などは、センサ１００における任意の箇所に配置又は内蔵してよい。また、上述したレーダ制御部１１０、送信部１２０、及び受信部１３０などの少なくともいずれかは、センサ１００の外部に配置してもよい。一実施形態に係るセンサ１００は、図２に示した機能部の少なくても一部を省略してもよいし、図２に示した機能部以外の他の機能部を適宜備えてもよい。
　レーダ制御部１１０は、センサ１００を構成する各機能部をはじめとして、センサ１００の全体を制御及び／又は管理する。レーダ制御部１１０は、種々の機能を実行するための制御及び処理能力を提供するために、例えばＣＰＵ（Central Processing Unit）又はＤＳＰ（Digital Signal Processor）のような、少なくとも１つのプロセッサを含んでよい。レーダ制御部１１０は、まとめて１つのプロセッサで実現してもよいし、いくつかのプロセッサで実現してもよいし、それぞれ個別のプロセッサで実現してもよい。プロセッサは、単一の集積回路として実現されてよい。集積回路は、ＩＣ（Integrated Circuit）ともいう。プロセッサは、複数の通信可能に接続された集積回路及びディスクリート回路として実現されてよい。プロセッサは、他の種々の既知の技術に基づいて実現されてよい。
　一実施形態において、レーダ制御部１１０は、例えばＣＰＵ又はＤＳＰ及び当該ＣＰＵ又はＤＳＰで実行されるプログラムとして構成されてよい。レーダ制御部１１０において実行されるプログラム、及び、レーダ制御部１１０において実行された処理の結果などは、例えばレーダ制御部１１０に内蔵される任意の記憶部に記憶されてよい。レーダ制御部１１０は、レーダ制御部１１０の動作に必要なメモリを適宜含んでもよい。
　一実施形態に係るセンサ１００において、レーダ制御部１１０は、距離ＦＦＴ（Fast Fourier Transform）処理、速度ＦＦＴ処理、到来角推定処理、及びクラスタリング処理などの各種の処理を、適宜行ってよい。これらのようなレーダ制御部１１０が行う各処理は、一般的なレーダ技術として既知であるため、より詳細な説明は省略する。
　図２に示すように、送信部１２０は、信号生成部１２１、シンセサイザ１２２、位相制御部１２３、増幅器１２４、及び送信アンテナ１２５を備えてよい。一実施形態に係るセンサ１００は、送信アンテナ１２５を複数含んでもよい。この場合、センサ１００は、複数の送信アンテナ１２５のそれぞれに対応する位相制御部１２３及び増幅器１２４も複数含んでも良い。一実施形態に係るセンサ１００が複数の送信アンテナ１２５を含む場合、当該複数の送信アンテナ１２５は送信アンテナアレイ（送信アレイアンテナ）を構成してよい。
　受信部１３０は、図２に示すように、受信アンテナ１３１、ＬＮＡ１３２、ミキサ１３３、ＩＦ部１３４、及びＡＤ変換部１３５を備えてよい。一実施形態に係るセンサ１００は、複数の送信アンテナ１２５のそれぞれに対応して、受信部１３０を複数含んでもよい。
　一実施形態に係るセンサ１００において、レーダ制御部１１０は、送信部１２０及び受信部１３０の少なくとも一方を制御することができる。この場合、レーダ制御部１１０は、任意の記憶部に記憶された各種情報に基づいて、送信部１２０及び受信部１３０の少なくとも一方を制御してよい。例えば、レーダ制御部１１０に内蔵された任意の記憶部は、送信アンテナ１２５から送信する送信波及び受信アンテナ１３１から受信する反射波によって物体を検出する範囲を設定するための各種パラメータを記憶してよい。また、一実施形態に係るセンサ１００において、レーダ制御部１１０は、信号生成部１２１に信号の生成を指示したり、信号生成部１２１が信号を生成するように制御したりしてもよい。
　信号生成部１２１は、レーダ制御部１１０の制御により、送信アンテナ１２５から送信波として送信される信号（送信信号）を生成する。信号生成部１２１は、送信信号を生成する際に、例えばレーダ制御部１１０による制御に基づいて、送信信号の周波数を割り当ててよい。具体的には、信号生成部１２１は、例えばレーダ制御部１１０によって設定されたパラメータにしたがって、送信信号の周波数を割り当ててよい。例えば、信号生成部１２１は、レーダ制御部１１０又は任意の記憶部から周波数情報を受け取ることにより、例えば７７～８１ＧＨｚのような周波数帯域の所定の周波数の信号を生成する。信号生成部１２１は、例えば電圧制御発振器（ＶＣＯ）のような機能部を含んで構成してよい。
　信号生成部１２１は、当該機能を有するハードウェアとして構成してもよいし、例えばマイコンなどで構成してもよいし、例えばＣＰＵ又はＤＳＰのようなプロセッサ及び当該プロセッサで実行されるプログラムなどとして構成してもよい。以下説明する各機能部も、当該機能を有するハードウェアとして構成してもよいし、可能な場合には、例えばマイコンなどで構成してもよいし、例えばＣＰＵ又はＤＳＰのようなプロセッサ及び当該プロセッサで実行されるプログラムなどとして構成してもよい。
　一実施形態に係るセンサ１００において、信号生成部１２１は、例えばチャープ信号のような送信信号（送信チャープ信号）を生成してよい。特に、信号生成部１２１は、周波数が周期的に線形に変化する信号（線形チャープ信号）を生成してもよい。例えば、信号生成部１２１は、周波数が時間の経過に伴って７７ＧＨｚから８１ＧＨｚまで周期的に線形に増大するチャープ信号としてもよい。また、例えば、信号生成部１２１は、周波数が時間の経過に伴って７７ＧＨｚから８１ＧＨｚまで線形の増大（アップチャープ）及び減少（ダウンチャープ）を周期的に繰り返す信号を生成してもよい。信号生成部１２１が生成する信号は、例えばレーダ制御部１１０において予め設定されていてもよい。また、信号生成部１２１が生成する信号は、例えば任意の記憶部などに予め記憶されていてもよい。レーダのような技術分野で用いられるチャープ信号は既知であるため、より詳細な説明は、適宜、簡略化又は省略する。信号生成部１２１によって生成された信号は、シンセサイザ１２２に供給される。
　図３は、信号生成部１２１が生成するチャープ信号の例を説明する図である。
　図３において、横軸は経過する時間を表し、縦軸は周波数を表す。図３に示す例において、信号生成部１２１は、周波数が周期的に線形に変化する線形チャープ信号を生成する。図３においては、各チャープ信号を、ｃ１，ｃ２，…，ｃ８のように示してある。図３に示すように、それぞれのチャープ信号において、時間の経過に伴って周波数が線形に増大する。
　図３に示す例において、ｃ１，ｃ２，…，ｃ８のように８つのチャープ信号を含めて、１つのサブフレームとしている。すなわち、図３に示すサブフレーム１及びサブフレーム２などは、それぞれｃ１，ｃ２，…，ｃ８のように８つのチャープ信号を含んで構成されている。また、図３に示す例において、サブフレーム１～サブフレーム１６のように１６のサブフレームを含めて、１つのフレームとしている。すなわち、図３に示すフレーム１及びフレーム２などは、それぞれ１６のサブフレームを含んで構成されている。また、図３に示すように、フレーム同士の間には、所定の長さのフレームインターバルを含めてもよい。図３に示す１つのフレームは、例えば３０ミリ秒から５０ミリ秒程度の長さとしてよい。
　図３において、フレーム２以降も同様の構成としてよい。また、図３において、フレーム３以降も同様の構成としてよい。一実施形態に係るセンサ１００において、信号生成部１２１は、任意の数のフレームとして送信信号を生成してよい。また、図３においては、一部のチャープ信号は省略して示している。このように、信号生成部１２１が生成する送信信号の時間と周波数との関係は、例えば任意の記憶部などに記憶しておいてよい。
　このように、一実施形態に係るセンサ１００は、複数のチャープ信号を含むサブフレームから構成される送信信号を送信してよい。また、一実施形態に係るセンサ１００は、サブフレームを所定数含むフレームから構成される送信信号を送信してよい。
　以下、センサ１００は、図３に示すようなフレーム構造の送信信号を送信するものとして説明する。しかしながら、図３に示すようなフレーム構造は一例であり、例えば１つのサブフレームに含まれるチャープ信号は８つに限定されない。一実施形態において、信号生成部１２１は、任意の数（例えば任意の複数）のチャープ信号を含むサブフレームを生成してよい。また、図３に示すようなサブフレーム構造も一例であり、例えば１つのフレームに含まれるサブフレームは１６に限定されない。一実施形態において、信号生成部１２１は、任意の数（例えば任意の複数）のサブフレームを含むフレームを生成してよい。信号生成部１２１は、異なる周波数の信号を生成してよい。信号生成部１２１は、周波数ｆがそれぞれ異なる帯域幅の複数の離散的な信号を生成してもよい。
　図２に戻り、シンセサイザ１２２は、信号生成部１２１が生成した信号の周波数を、所定の周波数帯の周波数まで上昇させる。シンセサイザ１２２は、送信アンテナ１２５から送信する送信波の周波数として選択された周波数まで、信号生成部１２１が生成した信号の周波数を上昇させてよい。送信アンテナ１２５から送信する送信波の周波数として選択される周波数は、例えばレーダ制御部１１０によって設定されてもよい。また、送信アンテナ１２５から送信する送信波の周波数として選択される周波数は、例えば任意の記憶部に記憶されていてもよい。シンセサイザ１２２によって周波数が上昇された信号は、位相制御部１２３及びミキサ１３３に供給される。位相制御部１２３が複数の場合、シンセサイザ１２２によって周波数が上昇された信号は、複数の位相制御部１２３のそれぞれに供給されてよい。また、受信部１３０が複数の場合、シンセサイザ１２２によって周波数が上昇された信号は、複数の受信部１３０におけるそれぞれのミキサ１３３に供給されてよい。
　位相制御部１２３は、シンセサイザ１２２から供給された送信信号の位相を制御する。具体的には、位相制御部１２３は、例えばレーダ制御部１１０による制御に基づいて、シンセサイザ１２２から供給された信号の位相を適宜早めたり遅らせたりすることにより、送信信号の位相を調整してよい。この場合、位相制御部１２３は、複数の送信アンテナ１２５から送信されるそれぞれの送信波の経路差に基づいて、それぞれの送信信号の位相を調整してもよい。位相制御部１２３がそれぞれの送信信号の位相を適宜調整することにより、複数の送信アンテナ１２５から送信される送信波は、所定の方向において強め合ってビームを形成する（ビームフォーミング）。この場合、ビームフォーミングの方向と、複数の送信アンテナ１２５がそれぞれ送信する送信信号の制御すべき位相量との相関関係は、例えば任意の記憶部に記憶しておいてよい。位相制御部１２３によって位相制御された送信信号は、増幅器１２４に供給される。
　増幅器１２４は、位相制御部１２３から供給された送信信号のパワー（電力）を、例えばレーダ制御部１１０による制御に基づいて増幅させる。センサ１００が複数の送信アンテナ１２５を備える場合、複数の増幅器１２４は、複数の位相制御部１２３のうちそれぞれ対応するものから供給された送信信号のパワー（電力）を、例えばレーダ制御部１１０による制御に基づいてそれぞれ増幅させてよい。送信信号のパワーを増幅させる技術自体は既に知られているため、より詳細な説明は省略する。増幅器１２４は、送信アンテナ１２５に接続される。
　送信アンテナ１２５は、増幅器１２４によって増幅された送信信号を、送信波として出力（送信）する。センサ１００が複数の送信アンテナ１２５を備える場合、複数の送信アンテナ１２５は、複数の増幅器１２４のうちそれぞれ対応するものによって増幅された送信信号を、それぞれ送信波として出力（送信）してよい。送信アンテナ１２５は、既知のレーダ技術に用いられる送信アンテナと同様に構成することができるため、より詳細な説明は省略する。
　このようにして、一実施形態に係るセンサ１００は、送信アンテナ１２５を備え、送信アンテナ１２５から送信波として送信信号（例えば送信チャープ信号）を送信することができる。ここで、センサ１００を構成する各機能部のうちの少なくとも１つは、１つの筐体に収められてもよい。また、この場合、当該１つの筐体は、容易に開けることができない構造としてもよい。例えば送信アンテナ１２５、受信アンテナ１３１、増幅器１２４が１つの筐体に収められ、かつ、この筐体が容易に開けられない構造となっているとよい。さらに、
　図２に示すセンサ１００は、送信アンテナ１２５を１つ備える例を示している。しかしながら、一実施形態において、センサ１００は、任意の数の送信アンテナ１２５を備えてもよい。一方、一実施形態において、センサ１００は、送信アンテナ１２５から送信される送信波が所定方向にビームを形成するようにする場合、複数の送信アンテナ１２５を備えてよい。一実施形態において、センサ１００は、任意の複数の送信アンテナ１２５を備えてもよい。この場合、センサ１００は、複数の送信アンテナ１２５に対応させて、位相制御部１２３及び増幅器１２４もそれぞれ複数備えてよい。そして、複数の位相制御部１２３は、シンセサイザ１２２から供給されて複数の送信アンテナ１２５から送信される複数の送信波の位相を、それぞれ制御してよい。また、複数の増幅器１２４は、複数の送信アンテナ１２５から送信される複数の送信信号のパワーを、それぞれ増幅してよい。また、この場合、センサ１００は、複数の送信アンテナを含んで構成してよい。このように、センサ１００は、複数の送信アンテナ１２５を備える場合、当該複数の送信アンテナ１２５から送信波を送信するのに必要な機能部も、それぞれ複数含んで構成してよい。
　受信アンテナ１３１は、反射波を受信する。反射波は、送信波が所定の物体２００に反射したものとしてよい。受信アンテナ１３１は、複数のアンテナを含んで構成してもよい。一実施形態に係るセンサ１００が複数の受信アンテナ１３１を含む場合、当該複数の受信アンテナ１３１は受信アンテナアレイ（受信アレイアンテナ）を構成してよい。受信アンテナ１３１は、既知のレーダ技術に用いられる受信アンテナと同様に構成することができるため、より詳細な説明は省略する。受信アンテナ１３１は、ＬＮＡ１３２に接続される。受信アンテナ１３１によって受信された反射波に基づく受信信号は、ＬＮＡ１３２に供給される。このように、センサ１００は、複数の受信アンテナ１３１を備える場合、当該複数の受信アンテナ１３１から反射波を受信して処理するのに必要な機能部も、それぞれ複数含んで構成してよい。
　一実施形態に係るセンサ１００は、複数の受信アンテナ１３１から、例えばチャープ信号のような送信信号（送信チャープ信号）として送信された送信波が所定の物体２００によって反射された反射波を受信することができる。このように、送信波として送信チャープ信号を送信する場合、受信した反射波に基づく受信信号は、受信チャープ信号とも記す。すなわち、センサ１００は、受信アンテナ１３１から反射波として受信信号（例えば受信チャープ信号）を受信する。
　ＬＮＡ１３２は、受信アンテナ１３１によって受信された反射波に基づく受信信号を低ノイズで増幅する。ＬＮＡ１３２は、低雑音増幅器（Low Noise Amplifier）としてよく、受信アンテナ１３１から供給された受信信号を低雑音で増幅する。ＬＮＡ１３２によって増幅された受信信号は、ミキサ１３３に供給される。
　ミキサ１３３は、ＬＮＡ１３２から供給されるＲＦ周波数の受信信号を、シンセサイザ１２２から供給される送信信号に混合する（掛け合わせる）ことにより、ビート信号を生成する。ミキサ１３３によって混合されたビート信号は、ＩＦ部１３４に供給される。
　ＩＦ部１３４は、ミキサ１３３から供給されるビート信号に周波数変換を行うことにより、ビート信号の周波数を中間周波数（ＩＦ（Intermediate Frequency）周波数）まで低下させる。ＩＦ部１３４によって周波数を低下させたビート信号は、ＡＤ変換部１３５に供給される。
　ＡＤ変換部１３５は、ＩＦ部１３４から供給されたアナログのビート信号をデジタル化する。ＡＤ変換部１３５は、任意のアナログ－デジタル変換回路（Analog to Digital Converter（ＡＤＣ））で構成してよい。ＡＤ変換部１３５によってデジタル化されたビート信号は、レーダ制御部１１０に供給される。受信部１３０が複数の場合、複数のＡＤ変換部１３５によってデジタル化されたそれぞれのビート信号は、レーダ制御部１１０に供給されてよい。
　レーダ制御部１１０は、ＡＤ変換部１３５によってデジタル化されたビート信号に対してＦＦＴ処理（以下、適宜「距離ＦＦＴ処理」と記す）を行ってよい。例えば、レーダ制御部１１０は、ＡＤ変換部１３５から供給された複素信号にＦＦＴ処理を行ってよい。ＡＤ変換部１３５によってデジタル化されたビート信号は、信号強度（電力）の時間変化として表すことができる。レーダ制御部１１０は、このようなビート信号にＦＦＴ処理を行うことにより、各周波数に対応する信号強度（電力）として表すことができる。レーダ制御部１１０において距離ＦＦＴ処理を行うことにより、ＡＤ変換部１３５によってデジタル化されたビート信号に基づいて、距離に対応する複素信号を得ることができる。
　レーダ制御部１１０は、距離ＦＦＴ処理によって得られた結果においてピークが所定の閾値以上である場合、そのピークに対応する距離に、所定の物体２００があると判断してもよい。例えば、一定誤警報確率（ＣＦＡＲ（Constant False Alarm Rate））による検出処理のように、外乱信号の平均電力又は振幅から閾値以上のピーク値が検出された場合、送信波を反射する物体（反射物体）が存在するものと判断する方法が知られている。
　このように、一実施形態に係るセンサ１００は、送信波として送信される送信信号、及び、反射波として受信される受信信号に基づいて、送信波を反射する物体２００をターゲットとして検出することができる。
　レーダ制御部１１０は、１つのチャープ信号（例えば図３に示すｃ１）に基づいて、所定の物体との間の距離を推定することができる。すなわち、センサ１００は、距離ＦＦＴ処理を行うことにより、センサ１００と所定の物体２００との間の距離を測定（推定）することができる。ビート信号にＦＦＴ処理を行うことにより、所定の物体との間の距離を測定（推定）する技術自体は公知のため、より詳細な説明は、適宜、簡略化又は省略する。
　また、レーダ制御部１１０は、距離ＦＦＴ処理が行われたビート信号に対してさらにＦＦＴ処理を（以下、適宜「速度ＦＦＴ処理」と記す）行ってよい。例えば、レーダ制御部１１０は、距離ＦＦＴ処理された複素信号にＦＦＴ処理を行ってよい。レーダ制御部１１０は、チャープ信号のサブフレーム（例えば図３に示すサブフレーム１）に基づいて、所定の物体との相対速度を推定することができる。レーダ制御部１１０において複数のチャープ信号について速度ＦＦＴ処理を行うことにより、距離ＦＦＴ処理によって得られる距離に対応する複素信号に基づいて、相対速度に対応する複素信号が得られる。
　上述のようにビート信号に距離ＦＦＴ処理を行うと、複数のベクトルを生成することができる。これら複数のベクトルに対して速度ＦＦＴ処理を行った結果におけるピークの位相を求めることにより、所定の物体との相対速度を推定することができる。すなわち、電子機器１は、速度ＦＦＴ処理を行うことにより、センサ１００と所定の物体２００との相対速度を測定（推定）することができる。距離ＦＦＴ処理を行った結果に対して速度ＦＦＴ処理を行うことにより、所定の物体との相対速度を測定（推定）する技術自体は公知のため、より詳細な説明は、適宜、簡略化又は省略する。
　一般的なＦＭＣＷレーダの技術においては、受信信号からビート周波数を抽出したものに高速フーリエ変換処理を行うなどした結果に基づいて、ターゲットが存在するか否かを判定することができる。ここで、受信信号からビート周波数を抽出して高速フーリエ変換処理を行うなどした結果には、クラッタ（不要反射成分）などによる雑音（ノイズ）の成分も含まれる。したがって、受信信号を処理した結果から雑音成分を取り除き、ターゲットの信号のみを抽出するための処理を実行してもよい。
　また、レーダ制御部１１０は、ターゲットが存在するか否かの判定に基づいて、所定の物体２００から反射波が到来する方向（到来角）を推定してもよい。レーダ制御部１１０は、ターゲットが存在すると判定された点について、到来角の推定を行ってよい。センサ１００は、複数の受信アンテナ１３１から反射波を受信することで、反射波が到来する方向を推定することができる。例えば、複数の受信アンテナ１３１は、所定の間隔で配置されているものとする。この場合、送信アンテナ１２５から送信された送信波が所定の物体２００に反射されて反射波となり、所定の間隔で配置された複数の受信アンテナ１３１はそれぞれ反射波Ｒを受信する。そして、レーダ制御部１１０は、複数の受信アンテナ１３１がそれぞれ受信した反射波の位相、及びそれぞれの反射波の経路差に基づいて、反射波が受信アンテナ１３１に到来する方向を推定することができる。すなわち、センサ１００は、速度ＦＦＴ処理が行われた結果に基づいて、ターゲットによって反射された反射波が到来する方向を示す到来角θを測定（推定）することができる。
　速度ＦＦＴ処理が行われた結果に基づいて、反射波Ｒが到来する方向を推定する技術は各種提案されている。例えば、既知の到来方向推定のアルゴリズムとしては、ＭＵＳＩＣ（MUltiple SIgnal Classification）、及びＥＳＰＲＩＴ（Estimation of Signal Parameters via Rotational Invariance Technique）などが知られている。したがって、公知の技術についてのより詳細な説明は、適宜、簡略化又は省略する。
　レーダ制御部１１０は、距離ＦＦＴ処理、速度ＦＦＴ処理、及び到来角推定の少なくともいずれかに基づいて、送信波が送信された範囲に存在する物体を検出する。レーダ制御部１１０は、供給された距離の情報、速度の情報、及び角度情報に基づいて例えばクラスタリング処理を行うことにより、物体検出を行ってもよい。データをクラスタリングする際に用いるアルゴリズムとして、例えばＤＢＳＣＡＮ（Density-based spatial clustering of applications with noise）などが知られている。クラスタリング処理においては、例えば検出される物体を構成するポイントの平均電力を算出してもよい。
　上述のようにして、センサ１００は、３次元空間において、送信波を反射する物体を、点群の情報として検出することができる。すなわち、一実施形態において、センサ１００から出力される検出結果に基づいて、３次元空間のある座標において、送信波を反射する物体が存在するか否かを判定（検出）することができる。また、一実施形態において、センサ１００は、３次元空間における各点の信号強度及び速度を検出することができる。以上説明したように、一実施形態に係るセンサ１００は、送信波として送信される送信信号、及び送信波が反射された反射波として受信される受信信号に基づいて、送信波を反射する物体を、３次元空間における点群の情報として検出してよい。本開示において、センサ１００は、物体を、２次元空間における点群の情報として検出してよい。
　また、図１に示すように、一実施形態に係る電子機器１は、撮像部３００を含んで構成されてよい。電子機器１と撮像部３００とは、有線若しくは無線、又は有線及び無線の組合せにより接続されてよい。
　撮像部３００は、例えばデジタルカメラのような、電子的に画像を撮像するイメージセンサを含んで構成されてよい。撮像部３００は、ＣＣＤ（Charge Coupled Device Image Sensor）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等のように、光電変換を行う撮像素子を含んで構成されてよい。撮像部３００は、例えば撮像部３００の前方に存在する物体を撮像してよい。ここで、撮像部３００の前方に存在する物体は、例えば、自動車、人間、及び／又は、周囲に存在する任意の物体などとしてよい。撮像部３００は、撮像した画像を信号に変換して、電子機器１に送信してよい。例えば、撮像部３００は、撮像した画像に基づく信号を、電子機器１の抽出部１１、記憶部２０、及び／又は、コントローラ１０などに送信してよい。撮像部３００は、物体を撮像できるものであれば、デジタルカメラのような撮像デバイスに限定されず、任意のデバイスとしてよい。撮像部３００は、例えばＬＩＤＡＲ（Light Detection And Ranging)としてもよい。
　一実施形態において、撮像部３００は、例えば所定時間ごと（例えば秒間１５フレーム）の静止画を撮像してもよい。また、一実施形態において、撮像部３００は、例えば連続した動画を撮像してもよい。
　次に、一実施形態に係る電子機器１に接続されるセンサ１００及び撮像部３００の配置について説明する。
　図４（Ａ）及び図４（Ｂ）は、センサ１００及び撮像部３００が配置された検出機器の構成の例を示す図である。
　図４（Ａ）は、一実施形態に係る検出機器３を前方から正面視した例を示す正面図である。図４（Ｂ）は、一実施形態に係る検出機器３を側方（左方）から側面視した例を示す側面図である。図４（Ａ）及び図４（Ｂ）に示す座標軸は、図２に示したセンサ１００の送信波及び／又は反射波の伝搬方向を示す座標軸に整合させてある。
　図４（Ａ）及び図４（Ｂ）に示すように、一実施形態に係る検出機器３は、センサ１００及び撮像部３００を備えてよい。また、図４（Ａ）及び図４（Ｂ）に示すように、一実施形態に係る検出機器３は、スタンド部５及び接地部７の少なくとも一方などを、適宜備えてもよい。また、一実施形態に係る検出機器３は、スタンド部５及び接地部７の少なくとも一方を備えずに、任意の他の機器又は他の機器の筐体などに配置されてもよい。
　図４（Ａ）及び図４（Ｂ）に示すセンサ１００は、図１及び／又は図２において説明したセンサ１００としてよい。図４（Ａ）及び図４（Ｂ）に示すように、センサ１００は、送信波が物体によって反射された反射波を受信する電波入力部１０１を備えるものとしてよい。図４（Ｂ）に示すように、電波入力部１０１は、センサ１００の光軸Ｒａを向くものとしてよい。ここで、センサ１００の光軸とは、例えば、センサ１００の送信アンテナ１２５及び受信アンテナ１３１の少なくとも一方が設置された面に垂直な方向としてよい。また、センサ１００の光軸とは、送信アンテナ１２５及び受信アンテナ１３１の少なくとも一方が複数含まれる場合、当該複数のアンテナの少なくともいずれかが設置された面に垂直な方向としてもよい。このような構成により、センサ１００は、光軸Ｒａを中心として、送信波を送信及び／又は反射波を受信することができる。すなわち、センサ１００は、光軸Ｒａを中心とした範囲で物体を点群として検出することができる。
　一実施形態に係るセンサ１００は、例えば指向性を有するものとしてもよい。すなわち、センサ１００は、指向性を有する電波によって物体の検出を行うものとしてよい。ここで、指向性とは、アンテナの特性として、電波の放射方向と放射強度との関係としてよい。指向性の有無は、アンテナの用途と関係している。指向性が鋭いアンテナは、特定の方向に強く電波を放射する。指向性は、送信の場合と受信の場合とで同じ特性になるものとしてよい。アンテナが放射する電波の電界強度は、アンテナの利得（ゲイン）としてデシベル（ｄＢ）で表すことができる。一実施形態に係るセンサ１００は、指向性を有することにより、例えば図４（Ｂ）に示す光軸Ｒａの方向にメインローブ（メインビーム）を有するものとしてよい。すなわち、一実施形態に係るセンサ１００は、例えば光軸Ｒａの方向に最も強い放射レベルを有するものとしてよい。
　また、図４（Ａ）及び図４（Ｂ）に示す撮像部３００は、図１において説明した撮像部３００としてよい。図４（Ａ）及び図４（Ｂ）に示すように、撮像部３００は、物体によって反射された光を受信する光入力部３０１を備えるものとしてよい。図４（Ｂ）に示すように、光入力部３０１は、撮像部３００の光軸Ｌａを向くものとしてよい。また、光入力部３０１は、撮像部３００においてレンズが配置される位置としてもよい。ここで、撮像部３００の光軸とは、例えば、撮像部３００において撮像に用いられる受光素子（又は撮像素子）が設置された面に垂直な方向としてよい。このような構成により、撮像部３００は、光軸Ｌａを中心とした画像を撮像することができる。
　図４（Ａ）及び図４（Ｂ）に示すように、スタンド部５は、検出機器３において、センサ１００及び撮像部３００を接地点から所定の高さに維持する。スタンド部５は、例えばセンサ１００が所定の物体を検出し易い高さにセンサ１００を維持してよい。また、スタンド部５は、例えば撮像部３００が所定の物体を撮像し易い高さにセンサ１００を維持してよい。スタンド部５は、検出機器３において、センサ１００及び撮像部３００を例えば高さ方向などに調節可能な機構を備えてもよい。
　図４（Ａ）及び図４（Ｂ）に示すように、接地部７は、検出機器３において、センサ１００及び撮像部３００を接地面に対して固定する。接地部７は、センサ１００及び撮像部３００を備える検出機器３を安定させるために、例えば台座のような形状にするなど、種々の構成を想定することができる。
　図４（Ａ）及び図４（Ｂ）に示すように、一実施形態に係る検出機器３において、センサ１００と撮像部３００とは、互いの近傍に隣接させて配置されてよい。図４（Ａ）及び図４（Ｂ）に示す例において、センサ１００と撮像部３００とは、互いに上下方向に隣接して配置されている。一実施形態に係る検出機器３において、センサ１００と撮像部３００とは、例えば、互いに左右方向に又は斜め方向に隣接して配置されてもよい。
　また、図４（Ｂ）に示すように、一実施形態に係る検出機器３において、センサ１００と撮像部３００とは、それぞれの光軸Ｒａと光軸Ｌａとが平行になるように配置されてよい。すなわち、一実施形態に係る電子機器１において、撮像部３００の光軸Ｌａがセンサ１００の光軸Ｒａに平行になるように設置された状態で、センサ１００による点群の情報と撮像部３００による画像の情報とが用いられるようにしてもよい。
　また、図４（Ｂ）に示すように、一実施形態に係る検出機器３において、センサ１００と撮像部３００とは、それぞれの光軸Ｒａと光軸Ｌａとの間が距離Ｇに保たれるように配置されてもよい。このように配置することにより、センサ１００による点群の情報と、撮像部３００による画像の情報とは、互いに距離Ｇだけずれた情報となる。例えば、図４（Ｂ）に示す配置構成において、撮像部３００による画像の情報は、センサ１００による点群の情報よりも距離Ｇだけ上側にずれた情報になる。また、図４（Ｂ）に示す配置構成において、センサ１００による点群の情報は、撮像部３００による画像の情報よりも距離Ｇだけ下側にずれた情報になる。
　したがって、図４（Ｂ）に示す配置構成において、例えば、センサ１００による点群の情報を距離Ｇだけ上側にずらすように補正することにより、センサ１００による点群の情報の位置を撮像部３００による画像の情報の位置に対応させることができる。また、図４（Ｂ）に示す配置構成において、例えば、撮像部３００による画像の情報を距離Ｇだけ下側にずらすように補正することにより、撮像部３００による画像の情報の位置をセンサ１００による点群の情報の位置に対応させることができる。このように、電子機器１は、センサ１００による点群の情報及び撮像部３００による画像の情報の少なくとも一方を補正することより、センサ１００による点群の情報及び撮像部３００による画像の情報が互いに位置的に対応するようにしてもよい。
　すなわち、一実施形態に係る電子機器１において、センサ１００が物体（物標）を検出することにより得られる点群の情報及び撮像部３００が当該物体（物標）を撮像することにより得られる画像の情報の少なくとも一方を補正又はキャリブレーションしてもよい。一実施形態に係る電子機器１は、センサ１００による点群の情報と撮像部３００による画像の情報とを補正又はキャリブレーションにより整合させた情報を用いてもよい。センサ１００による点群の情報と撮像部３００による画像の情報との補正又はキャリブレーションについては、さらに後述する。
　また、センサ１００による点群の検出範囲（角度）と、撮像部３００による画像の撮像範囲（角度又は画角）とは、同じにならないことも想定される。このような場合、電子機器１は、センサ１００による点群の情報及び撮像部３００による画像の情報が互いに位置的に対応するように、両者のうち広い方の範囲（角度）を狭い方の範囲（角度）に合わせてもよい。すなわち、電子機器１は、撮像部３００の撮像可能範囲と、センサ１００の検出可能範囲との重複する範囲のみの情報を用いて、重複しない範囲の情報は削除又は無視してもよい。
　以上のように、一実施形態に係る電子機器１において、撮像部３００が物体を撮像することにより得られる画像の情報として、センサ１００が当該物体を検出することにより得られる点群の情報に位置的に対応した情報を用いてもよい。
　以下、図４（Ａ）及び図４（Ｂ）に示したような検出機器３を用いて行う物体の検出について説明する。検出機器３において、センサ１００は、上述のように、指向性を有することにより、図４（Ｂ）に示す光軸Ｒａの方向にメインローブ（メインビーム）を有するものとする。すなわち、一実施形態に係るセンサ１００は、光軸Ｒａの方向に最も強い放射レベルを有するものとする。この場合、センサ１００は、指向性を有する送信波を照射して、その反射波を受信することにより、検出された物体を表す点群を出力することができる。ここで、このような検出を行うセンサ１００は、図４（Ｂ）に示す光軸Ｒａの方向、すなわちセンサ１００の正面にある物体の点群を最も検出し易い特性がある。したがって、例えば２つの同じ反射特性を有する物体がセンサ１００から等距離に存在する場合でも、センサ１００の正面に位置する物体と、センサ１００の正面以外に位置する物体とでは、検出により出力される点群の数が異なる。
　図５（Ａ）及び図５（Ｂ）は、センサ１００の光軸Ｒａと、撮像部３００の光軸Ｌａとのずれの有無について説明する図である。ここでは、一例として、図４（Ａ）及び図４（Ｂ）に示したような検出機器３によって、検出機器３からＸ軸正方向に少し離れた位置に存在する自動車を検出する場合を想定する。
　例えば、センサ１００の光軸Ｒａの方向が、撮像部３００の光軸Ｌａの方向に平行である場合を想定する。この場合、図５（Ａ）に示すように、撮像部３００によって撮像された画像ＩＭに含まれる物体２００（この場合は自動車）の領域に対応する位置に、センサ１００による物体２００の検出に基づく点群ＰＴが出力される。このような場合、センサ１００の光軸Ｒａと、撮像部３００の光軸Ｌａとは、ずれていないため、これらの光軸のキャリブレーションを行う必要はない。図５（Ａ）及び図５（Ｂ）に示す画像ＩＭには、座標が設定されているとしてよい。また、図５（Ａ）及び図５（Ｂ）に示す画像ＩＭには、センサ１００による物体２００の検出に基づく点群ＰＴの所定位置に対応する点の第１の座標が、画像ＩＭ上の座標に変換されて画像ＩＭ上に投影されている。本開示の制御部（例えばコントローラ１０）は、物体２００が撮像された画像上の点のうちの、物体２００の所定位置に対応する第２の座標点と、センサ１００による物体２００の検出に基づく点群ＰＴの第１の座標点の、物体２００が撮像された画像上の対応する点との距離が所定以上であるか否か判定するとしてよい。画像ＩＭには、例えば互いに直交する２つの軸で座標が設定されているとしてよい。
　一方、例えば、センサ１００の光軸Ｒａの方向が、撮像部３００の光軸Ｌａの方向に平行でない場合を想定する。この場合、図５（Ｂ）に示すように、撮像部３００によって撮像された画像ＩＭに含まれる物体２００（この場合は自動車）の領域からずれた位置に、センサ１００による物体２００の検出に基づく点群ＰＴが出力される。このような場合、センサ１００の光軸Ｒａと、撮像部３００の光軸Ｌａとは、ずれているため、これらの光軸のキャリブレーションを行うことが望ましい。より具体的には、センサ１００が検出機器３に配置される角度、及び、撮像部３００が検出機器３に配置される角度の少なくとも一方を変更する等により、光軸Ｒａ及び光軸Ｌａの少なくとも一方の方向を変更してよい。
　このようなキャリブレーションが行われないと、センサ１００から出力される点群の情報と、撮像部３００によって撮像される画像の情報とを統合した情報を、適切に活用できなくなり得る。例えば、このように統合した情報にＡＩの技術を適用しても、センサ１００によって検出される物体を良好な精度で検出することが困難になり得る。したがって、一実施形態に係る電子機器１は、前述のようなキャリブレーションが必要か否かを判定し、必要な場合にはキャリブレーションを行う。
　図５（Ａ）及び図５（Ｂ）に示す例においては、左右方向つまり横方向（Ｙ軸方向）のみの光軸のずれの有無及びキャリブレーションの必要性について説明した。すなわち、図５（Ａ）及び図５（Ｂ）に示す例においては、すでに上下方向つまり縦方向（Ｚ軸方向）のキャリブレーションが適宜行われる等して、縦方向（Ｚ軸方向）の光軸のずれはないものとする。図４（Ｂ）に示すように、センサ１００の光軸Ｒａと、撮像部３００の光軸Ｌａとの間が距離Ｇに保たれている場合、縦方向（Ｚ軸方向）のキャリブレーションを行わないと、図５（Ｂ）に示す点群ＰＴの位置は、距離Ｇに対応して縦方向にさらにずれて出力される。このような縦方向（Ｚ軸方向）のずれについても、一実施形態に係る電子機器１によれば、横方向（Ｙ軸方向）のずれと同様の原理に従って、キャリブレーションを行うことができる。
　したがって、以下、説明を簡略化するために、一実施形態に係る電子機器１において、すでに縦方向（Ｚ軸方向）のキャリブレーションが適宜行われる等して、縦方向（Ｚ軸方向）の光軸はずれていないものとする。すなわち、以下、一実施形態に係る電子機器１において、横方向（Ｙ軸方向）のみの光軸のずれの検出及びキャリブレーションについて説明する。
　図６は、一実施形態に係る電子機器１によってキャリブレーションを行う際の検出機器３などの配置構成を示す図である。図６に示すように、一実施形態に係る電子機器１によってキャリブレーションを行う際は、図４（Ａ）及び図４（Ｂ）に示した検出機器３からＸ軸正方向に少し離れた位置に、キャリブレーション用ボードとして、平板ＢＤを配置する。一実施形態において、平板ＢＤは、撮像部３００によって撮像可能であるとともに、センサ１００によって検出可能であるものとしてよい。例えば、平板ＢＤは、図６に示すＸ軸方向に垂直な成分を含む平面部分を有し、当該平面部分は、センサ１００から送信される送信波をセンサ１００に反射するとともに、撮像部３００によって撮像されるものとしてよい。
　平板ＢＤのサイズは、特に限定されないが、例えば撮像部３００によって平板ＢＤの平面部分の全体が撮像されるような大きさとしてよい。また、平板ＢＤのサイズは、例えばセンサ１００によって平板ＢＤの平面部分の全体が検出されるような大きさとしてよい。さらに、平板ＢＤのサイズは、例えば撮像部３００によって平板ＢＤの平面部分の全体が撮像される際に、撮像された画像において平板ＢＤの占める面積が過度に小さくならないような大きさとしてよい。また、撮像部３００によって撮像される平板ＢＤの平面部分の大きさ、及び／又は、センサ１００によって検出される平板ＢＤの平面部分の大きさが適切になるように、検出機器３と平板ＢＤとの間の距離（図６に示すＸ軸方向の距離）を調整してもよい。
　平板ＢＤの素材は、特に限定されないが、例えばミリ波レーダのようなセンサ１００によって良好に検出される素材としてよい。例えば、平板ＢＤの素材として、絶縁材料のような素材は用いないようにしてもよい。また、平板ＢＤにおいて、レーダ１００によって送信される送信波を反射する面は、反射波の強度を必要以上に弱めないように仕上げされていてもよい。例えば、平板ＢＤにおいて、レーダ１００によって送信される送信波を反射する面は、凹凸の少ない面又は凹凸ないの面としてもよい。また、平板ＢＤの形状は、特に限定されないが、例えば四角形に基づく形状の平面部分を有してよい。以下の説明においては、平板ＢＤの形状は、一例として矩形状とする。
　次に、一実施形態に係る電子機器１の動作原理について説明する。
　図７（Ａ）及び図７（Ｂ）は、図５（Ａ）及び図５（Ｂ）と同様に、センサ１００の光軸Ｒａと、撮像部３００の光軸Ｌａとのずれの有無を示す図である。ここでは、図６に示した構成のように、検出機器３によって、検出機器３からＸ軸正方向に少し離れた位置に存在する平板ＢＤを検出する場合を想定する。
　例えば、センサ１００の光軸Ｒａの方向が、撮像部３００の光軸Ｌａの方向に平行であるとする。この場合、図７（Ａ）に示すように、撮像部３００によって撮像された画像ＩＭに含まれる平板ＢＤの中央付近の領域に対応する位置に、センサ１００による平板ＢＤの検出に基づく点群ＰＴが出力される。このような場合、センサ１００の光軸Ｒａと、撮像部３００の光軸Ｌａとは、ずれていないため、これらの光軸のキャリブレーションを行わなくてもよい。
　一方、例えば、センサ１００の光軸Ｒａの方向が、撮像部３００の光軸Ｌａの方向に平行でない場合を想定する。この場合、図７（Ｂ）に示すように、撮像部３００によって撮像された画像ＩＭに含まれる平板ＢＤの中央付近の領域からずれた位置に、センサ１００による平板ＢＤの検出に基づく点群ＰＴが出力される。このような場合、センサ１００の光軸Ｒａと、撮像部３００の光軸Ｌａとは、ずれているため、これらの光軸のキャリブレーションを行うことが望ましい。
　そこで、一実施形態に係る電子機器１は、光軸のキャリブレーションを行うために、センサ１００の光軸Ｒａと、撮像部３００の光軸Ｌａとのずれがどの程度なのかを判定する。電子機器１のコントローラ１０は、図７に示すようなセンサ１００による平板ＢＤの検出に基づく点群ＰＴにおいて、キャリブレーションを行う方向（この場合は水平方向）に所定の間隔で区分した領域のうち最も点群の多い領域を判定する。
　図８は、センサ１００の光軸Ｒａと撮像部３００の光軸Ｌａとのずれの程度を判定する処理を説明する図である。図７に示すようなセンサ１００による平板ＢＤの検出に基づく点群ＰＴにおいて、微小な間隔で水平方向に区分した領域のうち最も点群の多い領域は、図８に示す領域Ｃｍとなる。コントローラ１０は、この領域Ｃｍを、センサ１００による平板ＢＤの検出に基づく点群ＰＴの水平方向における中心位置と判定してよい。以下、このようにして判定される中心位置を、「平板ＢＤに対応する点群の中心位置」又は「点群の中心位置」とも記す。また、コントローラ１０は、平板ＢＤに対応する点群の中心位置を、センサ１００の光軸Ｒａの向く位置と判定してよい。上述のようにキャリブレーションを行う方向に区分する領域の間隔は、平板ＢＤに対応する点群の中心位置が適切に判定できるように適宜調整された間隔としてよい。
　さらに、コントローラ１０は、撮像部３００によって撮像された画像ＩＭにおける平板ＢＤにおいて、キャリブレーションを行う方向（この場合は水平方向）の中心位置を判定する。以下、このようにして判定される中心位置を、「平板ＢＤの画像の中心位置」又は「画像の中心位置」とも記す。そして、コントローラ１０は、平板ＢＤの画像の中心位置を、撮像部３００の光軸Ｌａの向く位置と判定してよい。
　一実施形態において、コントローラ１０は、平板ＢＤに対応する点群の中心位置と、平板ＢＤの画像の中心位置とが一致していれば、センサ１００の光軸Ｒａと撮像部３００の光軸Ｌａとは、（この場合水平方向に）ずれていないと判定してよい。この場合、コントローラ１０は、センサ１００の光軸Ｒａと撮像部３００の光軸Ｌａとのキャリブレーションを行う必要はないと判定してもよい。一方、コントローラ１０は、平板ＢＤに対応する点群の中心位置と、平板ＢＤの画像の中心位置とが一致していなければ、センサ１００の光軸Ｒａと撮像部３００の光軸Ｌａとは、（この場合水平方向に）ずれていると判定してよい。この場合、コントローラ１０は、センサ１００の光軸Ｒａと撮像部３００の光軸Ｌａとのキャリブレーションを行う必要があると判定してもよい。
　また、一実施形態において、コントローラ１０は、平板ＢＤに対応する点群の中心位置と、平板ＢＤの画像の中心位置とのずれが所定の範囲内であれば、センサ１００の光軸Ｒａと撮像部３００の光軸Ｌａとは、（この場合水平方向に）ほぼずれていないと判定してよい。この場合、コントローラ１０は、センサ１００の光軸Ｒａと撮像部３００の光軸Ｌａとのキャリブレーションを行う必要はないと判定してもよい。一方、コントローラ１０は、平板ＢＤに対応する点群の中心位置と、平板ＢＤの画像の中心位置とのずれが所定の範囲を超えていれば、センサ１００の光軸Ｒａと撮像部３００の光軸Ｌａとは、（この場合水平方向に）ずれていると判定してよい。この場合、コントローラ１０は、センサ１００の光軸Ｒａと撮像部３００の光軸Ｌａとのキャリブレーションを行う必要があると判定してもよい。
　さらに、平板ＢＤに対応する点群の中心位置と、平板ＢＤの画像の中心位置とのずれの程度（ずれ量）は、センサ１００の光軸Ｒａと撮像部３００の光軸Ｌａとのキャリブレーションのための補正値としてよい。一実施形態において、コントローラ１０は、前述のようなずれ量に基づいて、センサ１００から出力される点群の座標を補正してもよい。このようなソウトウェア的な補正により、センサ１００の光軸Ｒａと撮像部３００の光軸Ｌａとの物理的な配置を変更せずに、キャリブレーションを行うことができる。
　図７（Ｂ）及び図８に示した例においては、撮像部３００によって撮像された画像ＩＭ（画像ＩＭ全体）の中心の位置は、撮像部３００によって撮像された画像ＩＭにおける平板ＢＤの中心の位置と一致している。しかしながら、撮像部３００によって撮像された画像ＩＭの中心の位置と、撮像部３００によって撮像された画像ＩＭにおける平板ＢＤの中心の位置とは、必ずしも一致していなくてもよい。例えば平板ＢＤのように、ある程度の大きさの平面部分を有する物体をセンサ１００によって検出すると、当該検出により得られる点群は、平面部分の中心に近いほど密になる。したがって、撮像部３００によって撮像された画像ＩＭの中心の位置と、撮像部３００によって撮像された画像ＩＭにおける平板ＢＤの中心の位置が一致していなくても、コントローラ１０は、平板ＢＤの画像の中心位置を判定することができる。
　図９は、一実施形態に係る電子機器１の動作を説明するフローチャートである。図９に示す動作は、例えば図６に示したような配置構成の検出機器３を用いて開始してよい。また、図９に示す動作は、電子機器１が、センサ１００の光軸Ｒａと撮像部３００の光軸Ｌａとのキャリブレーションを行う必要があるか否かを判定する際に開始してよい。
　図９に示す動作が開始する時点で、撮像部３００は、平板ＢＤの画像を撮像しているものとする。また、図９に示す動作が開始する時点で、センサ１００は、送信波として送信される送信信号、及び送信波が反射された反射波として受信される受信信号に基づいて、送信波を反射する物体（平板ＢＤ）を検出することにより得られる点群の情報を出力しているものとする。
　ここで、レーダ制御部１１０は、送信波及び反射波に基づくビート信号に所定の信号処理を行い、物体の検出に基づく点群の情報（点群データ）を生成してよい。
この場合、レーダ制御部１１０は、上述した信号処理、例えば、距離ＦＦＴ処理、速度ＦＦＴ処理、一定誤警報確率（ＣＦＡＲ）による検出処理、及び所定のクラスタリング処理など少なくともいずれかを実行してよい。また、レーダ制御部１１０は、前述の信号処理に限定されず、物体の検出に基づく点群データを生成するための任意の処理を実行してよい。例えばミリ波レーダのような技術において、物体の検出に基づいて点群データを生成する種々の処理が知られているため、より詳細な説明は省略する。
　レーダ制御部１１０は、例えば、図７（Ｂ）に示した物体（平板ＢＤ）に対応する点群データとして、図７（Ｂ）に示した点群ＰＴのような点群データを生成してよい。以上のようにして、センサ１００は、物体の検出に基づく点群データを出力する。このようにしてセンサ１００から出力された点群データは、電子機器１のコントローラ１０に入力されてよい。
　図９に示す動作が開始すると、コントローラ１０は、撮像部３００によって撮像される画像を取得する（ステップＳ１１）。ステップＳ１１において取得される画像は、平板ＢＤが撮像されているものとする。
　次に、コントローラ１０は、センサ１００から出力される点群の情報（点群データ）を取得する（ステップＳ１２）。ステップＳ１２において取得される点群データは、センサ１００によって検出された平板ＢＤの位置に対応するものとする。
　ステップＳ１２において取得される点群データは、３次元空間において検出された物体の３次元的な位置を示す情報である。そこで、電子機器１のコントローラ１０は、ステップＳ１２において取得された３次元の点群データを、２次元のデータに変換する（ステップＳ１３）。ステップＳ１３において、コントローラ１０は、センサ１００によって出力される３次元空間における点群の情報から、２次元的に処理可能な点群の情報を生成してよい。
　図１０は、センサ１００によって出力される３次元空間における点群の情報について説明する図である。図１０は、ある場所に位置する物体（この場合は人間）Ｔｍを、原点Ｏに設置されたセンサ１００によって３次元的に検出する状況の一例を示す図である。
　図１０に示すように、センサ１００が設置された位置を基準（原点Ｏ）として、物体Ｔｍに近づく方向をＸ軸正方向とし、物体Ｔｍから遠ざかる方向をＸ軸負方向とする。また、図１０に示すように、センサ１００が設置された位置を基準（原点Ｏ）として、センサ１００の右側をＹ軸正方向とし、センサ１００の左側をＹ軸負方向とする。また、図１０に示すように、センサ１００が設置された位置を基準（原点Ｏ）として、センサ１００の上側をＺ軸正方向とし、センサ１００の下側をＺ軸負方向とする。すなわち、図１０において、ｌｘは奥行方向の距離を示し、ｌｙは水平方向の距離を示し、ｌｚは垂直（高さ）方向の距離を示す。図１０に示すような状況において、センサ１００の出力は、ある瞬間において、３次元空間における位置（Ｘ，Ｙ，Ｚ）のデータ要素（信号強度及び速度）の４チャンネルのデータとしてよい。図９に示すステップＳ１３において、コントローラ１０は、このような３次元空間において検出した情報を、２次元の情報に変換する。
　図１１は、センサ１００によって出力される３次元空間における点群の情報から、２次元的に処理可能な点群の情報を生成する例を説明する図である。図１１は、ある場所に位置する物体（この場合は人間）Ｔｍを、原点Ｏに設置されたセンサ１００によって３次元的（空間的）に検出したものを、電子機器１において２次元的（平面的）に変換した一例を示す図である。
　図１１に示すように、原点Ｏの位置を基準として、原点Ｏの右側をＸ軸正方向とし、原点Ｏの下側をＹ軸正方向とする。すなわち、図１１において、ｐｘは水平方向の座標を示し、ｐｙは垂直方向の座標を示す。図１１に示すような状況において、センサ１００の出力は、ある瞬間において、上述した４チャンネルのデータから、２次元平面における位置（Ｘ，Ｙ）のデータ要素（信号強度及び速度）の３チャンネルのデータに変換されている。このように、図９に示すステップＳ１３において、電子機器１は、３次元空間において検出した情報を、２次元平面の情報に変換する。
　上述のように３次元空間において検出した情報を、２次元平面の情報に変換する際には、２次元平面の座標を、例えば以下の式（１）及び式（２）に基づいて算出してよい。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　上述の式（１）及び式（２）において、ｌｘｉ，ｌｙｉ，ｌｚｉは、センサ１００による検出の結果に基づく出力、すなわち３次元空間における点群の情報を示す。特に、ｌｘｉは、センサ１００によって検出されるｉ番目の情報のｘ方向の距離を示す。また、ｌｙｉは、センサ１００によって検出されるｉ番目の情報のｙ方向の距離を示す。また、ｌｚｉは、センサ１００によって検出されるｉ番目の情報のｚ方向の距離を示す。
　また、上述の式（１）及び式（２）において、ｐｘｉ，ｐｙｉは、電子機器１のコントローラ１０によって２次元平面の情報に変換された点群の座標を示す。特に、ｐｘｉは、センサ１００によって検出されるｉ番目の情報のｘ座標を示す。また、ｐｙｉは、センサ１００によって検出されるｉ番目の情報のｙ座標を示す。
　さらに、上述の式（１）において、Ｍは、２次元平面の画像を想定した場合における水平方向の画素数を示し、αｘは、２次元平面の画像を想定した場合における水平方向の画角を示す。また、上述の式（２）において、Ｎは、２次元平面の画像を想定した場合における垂直方向の画素数を示し、αｙは、２次元平面の画像を想定した場合における垂直方向の画角を示す。
　上述の式（１）及び式（２）において、ｐｘｉ，ｐｙｉは座標の値として機能するように、小数点第一位を四捨五入して整数化してもよい。また、上述の式（１）及び式（２）において、ｐｘｉ，ｐｙｉは２次元平面に変換した後の画像のサイズに収まるように、例えば０≦ｐｘｉ≦Ｍ、又は０≦ｐｙｉ≦Ｎを満たさないデータは破棄してもよい。
　このように、一実施形態に係る電子機器１は、センサ１００の出力から、２次元的に処理可能な点群の情報を生成してよい。特に、一実施形態に係る電子機器１は、センサ１００によって検出される点群の情報を、２次元的な画像における所定の画素数及び所定の画角の少なくとも一方に基づいて、２次元的に処理可能な点群の情報に変換してもよい。一実施形態に係る電子機器１は、センサ１００の出力から、２次元的に処理可能な点群の情報を生成する際に、上述の式（１）及び式（２）以外の変換式に基づいてもよい。
　一実施形態に係る電子機器１によれば、ステップＳ１２における点群の情報を、ステップＳ１３において低次元化するため、例えばコントローラ１０による計算量を相当に削減することができる。したがって、一実施形態に係る電子機器１によれば、例えばコントローラ１０の処理負荷を軽減することができる。ステップＳ１３において生成される２次元の点群データを構成する各点は、それぞれ、当該点における反射強度、距離、及び速度の３チャンネルの情報を含むものとしてよい。
　ステップＳ１３の後、コントローラ１０は、平板ＢＤの検出に基づく点群データにおいて、キャリブレーションを行う方向（この場合は水平方向）に所定の間隔で区分した領域のうち最も点群の多い領域を判定する（ステップＳ１４）。ここで、最も点群の多い領域とは、図８において領域Ｃｍとして示したような「列」としてもよい。すなわち、ステップＳ１４において、コントローラ１０は、平板ＢＤに対応する点群の中心位置を判定する。次に、コントローラ１０は、点群が最多の列、すなわち、平板ＢＤに対応する点群の中心位置が、平板ＢＤの画像の中心位置と一致するか否か判定する（ステップＳ１５）。ステップＳ１５において、コントローラ１０は、上述のように、平板ＢＤに対応する点群の中心位置が、平板ＢＤの画像の中心位置と一致するか否かを判定するのではなく、両者の位置が所定の範囲内であるか否かを判定してもよい。
　ステップＳ１５において、平板ＢＤに対応する点群の中心位置が、平板ＢＤの画像の中心位置と一致する（又は所定の範囲内の）場合、コントローラ１０は、キャリブレーションは必要ないと判定してもよい。この場合、コントローラ１０は、図９に示す動作を終了してよい。また、この場合、コントローラ１０は、平板ＢＤに対応する点群の中心位置が、平板ＢＤの画像の中心位置と一致している旨、及び／又は、キャリブレーションは必要ないと旨を、ユーザに通知してもよい。
　一方、ステップＳ１５において、平板ＢＤに対応する点群の中心位置が、平板ＢＤの画像の中心位置と一致しない（又は所定の範囲を超える）場合、コントローラ１０は、キャリブレーション（又は補正）が必要であると判定してもよい（ステップＳ１６）。ステップＳ１６において、コントローラ１０は、平板ＢＤに対応する点群の中心位置が、平板ＢＤの画像の中心位置からずれている量に基づいて、センサ１００によって検出される点群の座標を補正してよい。このような場合、コントローラ１０は、平板ＢＤに対応する点群の中心位置が、平板ＢＤの画像の中心位置と一致していなかった（若しくはずれていた）旨、及び／又は、センサ１００から出力される点群の座標を補正した旨を、ユーザに通知してもよい。また、コントローラ１０は、平板ＢＤの画像の中心位置からずれている量に基づいて、平板ＢＤの画像の中心位置の座標を補正してもよい。
　以上説明したように、コントローラ１０は、送信波として送信される送信信号、及び送信波が反射された反射波として受信される受信信号に基づいて、送信波を反射する物体（例えば平板ＢＤ）を検出することにより得られる点群の情報から、点群の中心位置を判定してよい。また、コントローラ１０は、物体（平板ＢＤ）が撮像された画像の情報から、画像における物体の中心位置を判定してよい。さらに、コントローラ１０は、点群の中心位置と画像における物体（平板ＢＤ）の中心位置との距離が所定以上であるか否か判定してよい。
　また、一実施形態において、コントローラ１０は、点群の情報において水平方向又は垂直方向に区分された領域のうち、最も点群の数が多い領域を、点群の中心位置と判定してもよい。また、コントローラ１０は、３次元空間において検出された点群の情報を、２次元の情報に変換してもよい。また、コントローラ１０は、点群の中心位置と、画像における物体（平板ＢＤ）の中心位置との距離が所定以上であるか否かの判定に基づいて、点群の中心位置（の座標）及び／又は画像における物体（平板ＢＤ）の中心位置（の座標）を補正してもよい。
　また、一実施形態において、コントローラ１０は、送信波を反射する物体として、例えば平板ＢＤのような平面部分を有する板状部材を検出することにより得られる点群の情報から、点群の中心位置を判定してもよい。この場合、コントローラ１０は、板状部材が撮像された画像の情報から、画像における板状部材の中心位置を判定してもよい。また、コントローラ１０は、点群の中心位置と画像における板状部材の中心位置との距離が所定以上であるか否か判定してもよい。
　このように、一実施形態に係る電子機器１によれば、センサの光軸とカメラの光軸とのずれが簡便にキャリブレーションされる。したがって、一実施形態に係る電子機器１によれば、物体を検出するセンサ及び当該物体を撮像するカメラを簡便にキャリブレーションすることができる。一実施形態に係る電子機器１によれば、例えばミリ波レーダのセンサによって検出される物体の点群の情報と、当該物体をカメラで撮像した画像の情報とを統合した情報にＡＩの技術を適用することで、当該物体を良好な精度で検出することができる。この場合、コントローラ１０は、点群の情報、及び物体が撮像された画像の情報に基づいて、物体の位置を機械学習してもよい。
（他の実施形態）
　上述した実施形態においては、図８に示したように、微小な間隔で水平方向に区分した領域のうち最も点群の多い領域（領域Ｃｍ）に基づいて、平板ＢＤに対応する点群の中心位置を判定した。しかしながら、一実施形態において、他の情報に基づいて、平板ＢＤに対応する点群の中心位置を判定してもよい。
　例えば、実際にセンサ１００から出力される情報は、図１２に示すように、平板ＢＤの検出に基づく本来の点群（●で示す）の他に、ノイズとして検出される点（〇で示す）なども含まれる。このような、ノイズとして検出される点が多くなると、上述のように微小な間隔で水平方向に区分した領域のうち最も点群の多い領域（領域Ｃｍ）が正しく判定されないことも懸念される。
　そこで、図１２に示すようなセンサ１００から出力される点群の情報を送信波の複数フレームぶん統合する際に、当該複数のフレームにおいて点群が出現する頻度を考慮してもよい。図１３は、センサ１００から出力される点群の情報を送信波の複数フレームぶん統合した際に点群が出現する頻度を表すヒートマップの一例を示す図である。一実施形態において、コントローラ１０は、図１２に示すようなセンサ１００から出力される点群の情報を送信波の複数フレームぶん統合する際に、図１３に示すようなヒートマップを適用してもよい。
　図１４は、センサ１００から出力される点群の情報を送信波の複数フレームぶん統合する際に、点群の出現頻度を表すヒートマップを適用した結果の例を示す図である。
図１４に示すように、点群の出現頻度を表すヒートマップを適用することにより、ノイズの影響を低減することができる。
　図１４に示すように、コントローラ１０は、平板ＢＤの検出に基づく点群ＰＴを構成する各点の反射強度（電力）の積分値を算出してもよい。この場合、コントローラ１０は、センサ１００による平板ＢＤの検出に基づく点群ＰＴにおいて、キャリブレーションを行う方向（この場合は水平方向）に所定の間隔で区分した領域のうち、反射強度（電力）の積分値が最大となる領域を判定してよい。図１４に示すように、センサ１００による平板ＢＤの検出に基づく点群ＰＴにおいて、微小な間隔で水平方向に区分した領域のうち、反射強度（電力）の積分値が最大となる領域は、図１４に示す領域Ｅｍとなる。コントローラ１０は、この領域Ｅｍを、センサ１００による平板ＢＤの検出に基づく点群ＰＴの水平方向における中心位置（平板ＢＤに対応する点群の中心位置）と判定してよい。この場合も、キャリブレーションを行う方向に区分する領域の間隔は、平板ＢＤに対応する点群の中心位置が適切に判定できるように適宜調整された間隔としてよい。
　図１５は、上述した他の実施形態に係る電子機器１の動作を説明するフローチャートである。図１５において、図９と異なる部分について重点的に説明し、図９と同様又は類似となる説明は、適宜、簡略化又は省略する。
　図１５に示す動作が開始すると、ステップＳ１１からステップＳ１３までの動作は、図９に示すステップＳ１１からステップＳ１３までの動作と同様に行ってよい。
　ステップＳ１３の後、コントローラ１０は、ステップＳ１３において２次元に変換された点群データを、フレームを単位として統合する（ステップＳ２１）。ステップＳ２１の後、コントローラ１０は、ステップＳ２１において統合されたフレームが所定数（Ｎフレーム）に達したか否か判定する（ステップＳ２２）。ここで、統合するフレームの数は、適宜設定してよい。
　ステップＳ２２においてフレームの統合が所定数に達していない場合、コントローラ１０は、ステップＳ１１からステップＳ１３まで及びステップＳ２１の動作を繰り返す。ステップＳ２２においてフレームの統合が所定数に達した場合、コントローラ１０は、図１４に例示したような点群の出現頻度を表すヒートマップを、Ｎフレーム統合した点群データに適用する（ステップＳ２３）。
　ステップＳ２３の後、コントローラ１０は、平板ＢＤの検出に基づく点群データにおいて、キャリブレーションを行う方向（この場合は水平方向）に所定の間隔で区分した領域のうち反射強度（電力）の積分値が最大となる領域を判定する（ステップＳ２４）。ここで、反射強度（電力）の積分値が最大となる領域とは、図１４において領域Ｅｍとして示したような「列」としてもよい。すなわち、ステップＳ２４において、コントローラ１０は、平板ＢＤに対応する点群の中心位置を判定する。次に、コントローラ１０は、反射強度（電力）の積分値が最大となる領域、すなわち、平板ＢＤに対応する点群の中心位置が、平板ＢＤの画像の中心位置と一致するか否か判定する（ステップＳ２５）。ステップＳ２５において、コントローラ１０は、上述のように、平板ＢＤに対応する点群の中心位置が、平板ＢＤの画像の中心位置と一致するか否かを判定するのではなく、両者の位置が所定の範囲内であるか否かを判定してもよい。以降の動作は、図９の動作と同様としてよい。
　以上説明したように、コントローラ１０は、点群の情報において水平方向又は垂直方向に区分された領域のうち、当該領域に含まれる点群が示す電力の積分値が最大となる領域を、点群の中心位置と判定してもよい。この場合、コントローラ１０は、送信波の所定数のフレームを重ねた結果について、前述のような判定を行ってもよい。また、コントローラ１０は、送信波の所定数のフレームを重ねた結果について、点群が検出された頻度に基づいて、前述のような判定を行ってもよい。
　本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部又はステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態について装置を中心に説明してきたが、本開示に係る実施形態は装置の各構成部が実行するステップを含む方法としても実現し得るものである。本開示に係る実施形態は装置が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。
　上述した実施形態は、電子機器１としての実施のみに限定されるものではない。例えば、上述した実施形態は、電子機器１に含まれる電子機器１として実施してもよい。また、上述した実施形態は、例えば、電子機器１のような機器による監視方法として実施してもよい。さらに、上述した実施形態は、例えば、電子機器１のような機器又は情報処理装置（例えばコンピュータ）が実行するプログラムとして実施してもよく、そのようなプログラムを記録した記憶媒体若しくは記録媒体として実施してもよい。
　１　電子機器
　３　検出機器
　５　スタンド部
　７　接地部
　１０　コントローラ
　２０　記憶部
　３０　通信部
　４０　表示部
　５０　報知部
　１００　センサ
　１０１　電波入力部
　１１０　レーダ制御部
　１２０　送信部
　１２１　信号生成部
　１２２　シンセサイザ
　１２３　位相制御部
　１２４　増幅器
　１２５　送信アンテナ
　１３０　受信部
　１３１　受信アンテナ
　１３２　ＬＮＡ
　１３３　ミキサ
　１３４　ＩＦ部
　１３５　ＡＤ変換部
　３００　撮像部
　３０１　光入力部

Claims (12)

  1. 　送信波として送信される送信信号、及び前記送信波が反射された反射波として受信される受信信号に基づいて、前記送信波を反射する物体を検出することにより得られる点群における、前記物体の所定位置に対応する第１の座標点と、
    　前記物体が撮像された画像における、前記所定位置に対応する第２の座標点と、
    　に基づいて、前記点群における前記物体の位置と前記画像における前記物体の位置とのズレを補正する、電子機器。
  2. 　前記制御部は、
    　送信波として送信される送信信号、及び前記送信波が反射された反射波として受信される受信信号に基づいて、前記送信波を反射する物体を検出することにより得られる点群の情報から、前記点群の中心位置を判定し、
    　前記物体が撮像された画像の情報から、前記画像における前記物体の中心位置を判定して、
    　前記点群の中心位置と前記画像における前記物体の中心位置との距離が所定以上であるか否か判定する請求項１に記載の電子機器。
  3. 　前記制御部は、前記点群の情報において水平方向又は垂直方向に区分された領域のうち最も点群の数が多い領域を前記点群の中心位置と判定する、請求項２に記載の電子機器。
  4. 　前記制御部は、前記点群の情報において水平方向又は垂直方向に区分された領域のうち、当該領域に含まれる点群が示す電力の積分値が最大となる領域を、前記点群の中心位置と判定する、請求項２に記載の電子機器。
  5. 　前記制御部は、前記送信波の所定数のフレームを重ねた結果について、前記点群の情報において水平方向又は垂直方向に区分された領域のうち、当該領域に含まれる点群が示す電力の積分値が最大となる領域を、前記点群の中心位置と判定する、請求項４に記載の電子機器。
  6. 　前記制御部は、前記送信波の所定数のフレームを重ねた結果について、前記点群が検出された頻度に基づいて、前記点群の情報において水平方向又は垂直方向に区分された領域のうち、当該領域に含まれる点群が示す電力の積分値が最大となる領域を、前記点群の中心位置と判定する、請求項５に記載の電子機器。
  7. 　前記制御部は、３次元空間において検出された前記点群の情報を、２次元の情報に変換する、請求項１に記載の電子機器。
  8. 　前記制御部は、前記点群の中心位置と前記画像における前記物体の中心位置との距離が所定以上であるか否かの判定に基づいて、前記点群の中心位置及び／又は前記画像における前記物体の中心位置の座標を補正する、請求項２に記載の電子機器。
  9. 　前記制御部は、前記点群の情報、及び前記物体が撮像された画像の情報に基づいて、前記物体の位置を機械学習する、請求項２に記載の電子機器。
  10. 　前記制御部は、
    　前記送信波を反射する物体として、平面部分を有する板状部材を検出することにより得られる点群の情報から、前記点群の中心位置を判定し、
    　前記板状部材が撮像された画像の情報から、前記画像における前記板状部材の中心位置を判定して、
    　前記点群の中心位置と前記画像における前記板状部材の中心位置との距離が所定以上であるか否か判定する、請求項２に記載の電子機器。
  11. 　送信波として送信される送信信号、及び前記送信波が反射された反射波として受信される受信信号に基づいて、前記送信波を反射する物体を検出することにより得られる点群における、前記物体の所定位置に対応する第１の座標点と、
    　前記物体が撮像された画像における、前記所定位置に対応する第２の座標点と、
    　に基づいて、前記点群における前記物体の位置と前記画像における前記物体の位置とのズレを補正するステップを含む、電子機器の制御方法。
  12. 　コンピュータに、
    　送信波として送信される送信信号、及び前記送信波が反射された反射波として受信される受信信号に基づいて、前記送信波を反射する物体を検出することにより得られる点群における、前記物体の所定位置に対応する第１の座標点と、
    　前記物体が撮像された画像における、前記所定位置に対応する第２の座標点と、
    　に基づいて、前記点群における前記物体の位置と前記画像における前記物体の位置とのズレを補正するステップと実行させる、プログラム。
PCT/JP2023/039528 2022-11-02 2023-11-01 電子機器、電子機器の制御方法、及びプログラム WO2024096087A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-176667 2022-11-02
JP2022176667A JP2024066886A (ja) 2022-11-02 2022-11-02 電子機器、電子機器の制御方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2024096087A1 true WO2024096087A1 (ja) 2024-05-10

Family

ID=90930752

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/039528 WO2024096087A1 (ja) 2022-11-02 2023-11-01 電子機器、電子機器の制御方法、及びプログラム

Country Status (2)

Country Link
JP (1) JP2024066886A (ja)
WO (1) WO2024096087A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007240208A (ja) * 2006-03-06 2007-09-20 Toyota Central Res & Dev Lab Inc 環境認識装置
JP2011123071A (ja) * 2009-12-10 2011-06-23 Honda Motor Co Ltd 撮像装置、オクルージョン領域の探索方法、及びプログラム
US20140233023A1 (en) * 2013-02-18 2014-08-21 Volvo Car Corporation Method for calibrating a sensor cluster in a motor vehicle
US20180313940A1 (en) * 2017-04-28 2018-11-01 SZ DJI Technology Co., Ltd. Calibration of laser and vision sensors
JP2018535402A (ja) * 2016-01-12 2018-11-29 三菱電機株式会社 異なる分解能を有するセンサーの出力を融合するシステム及び方法
JP2022515225A (ja) * 2019-11-18 2022-02-17 商▲湯▼集▲團▼有限公司 センサキャリブレーション方法及び装置、記憶媒体、キャリブレーションシステム並びにプログラム製品
JP2022039906A (ja) * 2020-08-28 2022-03-10 中国計量大学 マルチセンサによる複合キャリブレーション装置及び方法
JP2022101310A (ja) * 2020-12-24 2022-07-06 株式会社日立エルジーデータストレージ 測距システム及びその座標キャリブレーション方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007240208A (ja) * 2006-03-06 2007-09-20 Toyota Central Res & Dev Lab Inc 環境認識装置
JP2011123071A (ja) * 2009-12-10 2011-06-23 Honda Motor Co Ltd 撮像装置、オクルージョン領域の探索方法、及びプログラム
US20140233023A1 (en) * 2013-02-18 2014-08-21 Volvo Car Corporation Method for calibrating a sensor cluster in a motor vehicle
JP2018535402A (ja) * 2016-01-12 2018-11-29 三菱電機株式会社 異なる分解能を有するセンサーの出力を融合するシステム及び方法
US20180313940A1 (en) * 2017-04-28 2018-11-01 SZ DJI Technology Co., Ltd. Calibration of laser and vision sensors
JP2022515225A (ja) * 2019-11-18 2022-02-17 商▲湯▼集▲團▼有限公司 センサキャリブレーション方法及び装置、記憶媒体、キャリブレーションシステム並びにプログラム製品
JP2022039906A (ja) * 2020-08-28 2022-03-10 中国計量大学 マルチセンサによる複合キャリブレーション装置及び方法
JP2022101310A (ja) * 2020-12-24 2022-07-06 株式会社日立エルジーデータストレージ 測距システム及びその座標キャリブレーション方法

Also Published As

Publication number Publication date
JP2024066886A (ja) 2024-05-16

Similar Documents

Publication Publication Date Title
US10576328B2 (en) System and method for contactless sensing on a treadmill
US11340332B2 (en) Method and apparatus for processing radar data
KR20190005740A (ko) 레이더 센서를 사용하여 타겟을 식별하는 시스템 및 방법
CN110782465B (zh) 一种基于激光雷达的地面分割方法、装置及存储介质
US20240053469A1 (en) Method and device to process radar signal
US10996316B1 (en) Vehicle sensor alignment using photogrammetry
CN111801718B (zh) 物体探测装置、物体探测方法、以及记录介质
EP3394633B1 (en) Device in a car for communicating with at least one neighboring device, corresponding method and computer program product.
US20220397675A1 (en) Imaging systems, devices and methods
WO2024096087A1 (ja) 電子機器、電子機器の制御方法、及びプログラム
WO2024096081A1 (ja) 電子機器、電子機器の制御方法、及びプログラム
Ziegler et al. Helicopter near-field obstacle warning system based on low-cost millimeter-wave radar technology
KR101444523B1 (ko) 차량 주변 정보 제공 시스템
WO2023109795A1 (zh) 波束扫描方法及装置、计算机可读存储介质
US20210373124A1 (en) Electronic device, control method of electronic device, and control program of electronic device
KR20200107380A (ko) 레이더 장치, 레이더 장치의 제어 방법 및 레이더 장치를 이용한 감지 시스템
Lu et al. Signal-source trackers on infrared-based dedicated short-range communication
JP2022130177A (ja) 電子機器、電子機器の制御方法、及びプログラム
JP2009047633A (ja) レーダ装置
WO2018021025A1 (ja) 歩行者位置検出装置
WO2020261526A1 (ja) レーダシステム、イメージング方法およびイメージングプログラム
KR20190023463A (ko) 차량용 물체 식별 장치 및 그것의 동작 방법
US20240144416A1 (en) Occupancy grid determination
WO2022249881A1 (ja) 電子機器、電子機器の制御方法、及びプログラム
TWI834771B (zh) 相機與雷達訊框之早期融合