WO2023190075A1 - 観察装置及び観察方法 - Google Patents

観察装置及び観察方法 Download PDF

Info

Publication number
WO2023190075A1
WO2023190075A1 PCT/JP2023/011629 JP2023011629W WO2023190075A1 WO 2023190075 A1 WO2023190075 A1 WO 2023190075A1 JP 2023011629 W JP2023011629 W JP 2023011629W WO 2023190075 A1 WO2023190075 A1 WO 2023190075A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
coordinate system
sensor
observation
feature point
Prior art date
Application number
PCT/JP2023/011629
Other languages
English (en)
French (fr)
Inventor
敦 吉川
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Publication of WO2023190075A1 publication Critical patent/WO2023190075A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Definitions

  • the present disclosure relates to an observation device and an observation method.
  • observation devices that use multiple sensors have been widely used.
  • a plurality of sensors are used to detect objects such as vehicles and pedestrians over a wide range.
  • Patent Document 1 a method of calibrating each of a plurality of sensors is known (for example, Patent Document 1).
  • An observation device includes: a first area corresponding to the observation areas of both the first sensor and the second sensor; a second area that corresponds to the observation area of the first sensor and does not overlap with the first area; A third area that corresponds to the observation area of the second sensor and does not overlap with the first area, Calibration is performed based on the feature points set for the first region and information regarding the positions of the feature points in real space, and the It includes a control unit that acquires information regarding a position in real space.
  • An observation method includes: a first area corresponding to the observation areas of both the first sensor and the second sensor; a second area that corresponds to the observation area of the first sensor and does not overlap with the first area; A third area that corresponds to the observation area of the second sensor and does not overlap with the first area, performing calibration based on feature points set for the first region and information regarding the positions of the feature points in real space; The method includes acquiring information regarding the position in real space of a predetermined point of the observation area of the first sensor or the second sensor.
  • FIG. 1 is a block diagram of an observation system according to an embodiment of the present disclosure.
  • 2 is a diagram showing an installed state of the observation device shown in FIG. 1.
  • FIG. It is a figure showing a 1st image and a 2nd image.
  • FIG. 3 is a diagram showing a first region, a second region, and a third region.
  • FIG. 3 is a diagram for explaining setting of feature points.
  • FIG. 3 is a diagram for explaining a first input and a second input.
  • 2 is a flowchart showing the flow of an observation method of the observation system shown in FIG. 1.
  • FIG. FIG. 6 is a diagram for explaining calibration according to a comparative example.
  • sensor fusion is a technology that integrates and processes detection results from multiple sensors. If calibration is performed for each of the plurality of sensors, the detection accuracy by sensor fusion may decrease. According to one embodiment of the present disclosure, techniques for performing improved calibration can be provided.
  • the observation device of the present disclosure observes an observation area using a plurality of sensors.
  • the observation device of the present disclosure may be applied to any purpose.
  • the observation device of the present disclosure may be a roadside device, a surveillance camera device, or the like.
  • observation device is a roadside device.
  • the observation system 1 includes an observation device 10.
  • the observation system 1 further includes a terminal device 20 when performing calibration of the observation device 10.
  • the observation device 10 and the terminal device 20 are communicably connected via a communication line.
  • the communication line includes at least one of wired and wireless communication lines.
  • the observation device 10 is a roadside device.
  • the observation device 10 is included in a communication system.
  • the communication system including the observation device 10 is, for example, a safe driving support communication system for Intelligent Transport Systems (ITS).
  • ITS Intelligent Transport Systems
  • the safe driving support communication system is sometimes called a safe driving support system or a safe driving support radio system.
  • the observation device 10 is placed, for example, on a roadside strip such as an intersection.
  • the observation device 10 detects objects present in the observation area.
  • the observation area is, for example, a road surface 2 such as a road as shown in FIG.
  • the observation device 10 is fixed to a structure 3 so as to be able to observe a road surface 2, which is an observation area.
  • the structure 3 is, for example, a signal device, a utility pole, a street light, or the like.
  • the observation device 10 detects objects such as vehicles and pedestrians existing in the observation area.
  • the observation device 10 notifies surrounding moving objects of the detection results.
  • the user of the terminal device 20 is a worker.
  • the operator connects the terminal device 20 to the observation device 10 when performing calibration of the observation device 10 .
  • the operator inputs information used for calibrating the observation device 10 from the terminal device 20.
  • the observation device 10 includes a first sensor 11, a second sensor 12, a communication section 13, a storage section 14, and a control section 15.
  • the observation device 10 as shown in FIG. 1 includes two sensors. However, the number of sensors included in the observation device 10 is not limited to two.
  • the observation device 10 may include three or more sensors depending on the application, for example.
  • the first sensor 11 images the observation area and generates a first image 30 as shown in FIG. 3.
  • the second sensor 12 images the observation area and generates a second image 31 as shown in FIG.
  • a part of the observation area of the first sensor 11 and a part of the observation area of the second sensor 12 overlap.
  • sensor fusion is performed in which the detection results of the first sensor 11 and the detection results of the second sensor 12 are combined. can do.
  • the other part of the observation area of the first sensor 11 and the other part of the observation area of the second sensor 12 do not need to overlap.
  • the positional relationship between the first image 30 and the second image 31 is shown in correspondence with the positional relationship between the observation area of the first sensor 11 and the observation area of the second sensor 12. Therefore, in FIG. 3, the area where the first image 30 and the second image 31 overlap is the area where the observation area of the first sensor 11 and the observation area of the second sensor 12 overlap, that is, the area where the first sensor 11 and the second sensor 12 overlap. corresponds to both observation areas.
  • image 32 the first image 30 and the second image 31 are particularly distinguished, they will also be collectively referred to as "image 32.”
  • the first sensor 11 and the second sensor 12 are, for example, monocular cameras.
  • the monocular camera may be, for example, an imaging device such as a visible light camera or a FIR (Far Infrared Rays) camera.
  • the first sensor 11 and the second sensor 12 may be image sensors such as CMOS (Complementary Metal Oxide Semiconductor) or CCD (Charge Coupled Device) that constitute a visible light camera and an FIR camera, respectively.
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • the first sensor 11 and the second sensor 12 may be of the same type or may be of different types.
  • one of the first sensor 11 and the second sensor 12 may be a visible light camera, and the other may be an FIR camera.
  • Each of the first sensor 11 and the second sensor 12 may generate the image 32 at a predetermined frame rate.
  • the first sensor 11 and the second sensor 12 may be any sensor other than a monocular camera and an image sensor.
  • the first sensor 11 and the second sensor 12 may be LiDAR (Light Detection And Ranging).
  • the control unit 15 may generate the image 32 in the observation area from point cloud data obtained by LiDAR measurement.
  • one of the first sensor 11 and the second sensor 12 may be a visible light camera or an FIR camera, and the other may be a LiDAR.
  • the communication unit 13 is configured to include at least one communication module capable of communicating with moving objects on the road surface 2.
  • the communication module is, for example, a communication module compatible with a road-to-vehicle communication standard.
  • the communication unit 13 may perform wireless communication with a mobile object on the road surface 2 using this communication module, for example, in the 700 MHz band allocated to the ITS.
  • the communication unit 13 is configured to include at least one communication module that can communicate with the terminal device 20 via a communication line.
  • the communication module is a communication module compatible with communication line standards.
  • the standard of the communication line is, for example, a wired communication standard or a short-range wireless communication standard including Bluetooth (registered trademark), infrared rays, NFC (Near Field Communication), and the like.
  • the storage unit 14 is configured to include at least one semiconductor memory, at least one magnetic memory, at least one optical memory, or a combination of at least two of these.
  • the semiconductor memory is, for example, RAM (Random Access Memory) or ROM (Read Only Memory).
  • the RAM is, for example, SRAM (Static Random Access Memory) or DRAM (Dynamic Random Access Memory).
  • the ROM is, for example, an EEPROM (Electrically Erasable Programmable Read Only Memory).
  • the storage unit 14 may function as a main storage device, an auxiliary storage device, or a cache memory.
  • the storage unit 14 stores data used for the operation of the observation device 10 and data obtained by the operation of the observation device 10.
  • the control unit 15 is configured to include at least one processor, at least one dedicated circuit, or a combination thereof.
  • the processor is, for example, a general-purpose processor such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit), or a dedicated processor specialized for specific processing.
  • the dedicated circuit is, for example, an FPGA (Field-Programmable Gate Array) or an ASIC (Application Specific Integrated Circuit).
  • the control unit 15 executes processing related to the operation of the observation apparatus 10 while controlling each part of the observation apparatus 10.
  • the control unit 15 acquires data of the image 32 from the first sensor 11 or the second sensor 12.
  • the control unit 15 detects an object from the data of the image 32 by performing image recognition processing on the data of the image 32.
  • the image recognition process is, for example, a process such as pattern matching or machine learning such as deep learning.
  • the control unit 15 When the control unit 15 detects an object from the data of the image 32, it acquires information regarding the position of the object in real space.
  • the information regarding the position of the object in real space may be any information that can specify the position of the object in real space.
  • the information regarding the position of the object in real space may be the position information of the object in real space, or may be the information on the distance from the observation device 10 to the object in real space.
  • Position information of an object in real space may be given by coordinates in a world coordinate system.
  • the world coordinate system is a coordinate system set in three-dimensional real space.
  • information regarding the position of the object in real space will be explained as information about the distance from the observation device 10 to the object in real space.
  • the control unit 15 acquires information on the distance from the observation device 10 to the object in real space based on the correspondence data.
  • Corresponding data is generated during calibration, which will be described later.
  • the correspondence data is a correspondence between the coordinates in the image 32 as shown in FIG. 3 and the distance data from the observation device 10 in real space to the object reflected in the pixel at the coordinates in the image 32. Coordinates within the image 32 are given by a first coordinate system, a second coordinate system, or a third coordinate system, as described below. For example, assume that an object appearing at a pixel at coordinates p1 in an image 32 as shown in FIG. 3 exists at a position p2 on the road surface 2 as shown in FIG.
  • the coordinate p1 in the image 32 is associated with the data of the distance d1 from the observation device 10 to the position p2.
  • the position p2 on the road surface 2 is calculated from the virtual surface 4 in a calibration described later.
  • the virtual surface 4 is formed, for example, by regarding the road surface 2 in the real space, which is the observation area, as a single plane in the calibration described later. Further, the virtual surface 4 may be formed by regarding the road surface 2 in real space as a combination of a plurality of planes. Note that in this embodiment, the virtual surface 4 is assumed to be formed as a single plane.
  • the control unit 15 determines the distance from the observation device 10 to the object in real space by identifying the coordinates of the pixel in which the object appears in the image 32 and acquiring distance data associated with the identified coordinates from the corresponding data. Get information.
  • the control unit 15 receives information on feature points used for calibration from the terminal device 20 through the communication unit 13 .
  • Feature points are also called calibration points.
  • the feature point is an arbitrary point (arbitrary point) appropriately selected by the operator from a structure on the road surface 2 in real space.
  • the operator operates the terminal device 20 and appropriately selects structures etc. reflected in the image 32 from among the structures etc. on the road surface 2 as feature points.
  • the feature points are set by the operator in a first region 40, a second region 41, and a third region 42, as shown in FIG.
  • the feature point set for the first region 40 is also described as “feature point P1.”
  • the feature point set for the second area 41 is also described as “feature point P2.”
  • the feature point set for the third area 42 is also described as "feature point P3.”
  • At least a portion of the plurality of feature points P1 may be set at the boundary between the first region 40 and the second region 41.
  • the feature point P1 set at the boundary between the first region 40 and the second region 41 can also be the feature point P2.
  • At least a portion of the plurality of feature points P1 may be set at the boundary between the first region 40 and the third region 42.
  • the feature point P1 set at the boundary between the first region 40 and the third region 42 can also be the feature point P3.
  • the first area 40 is an area corresponding to the observation areas of both the first sensor 11 and the second sensor 12.
  • FIG. 4 as in FIG. 3, the positional relationship between the first image 30 and the second image 31 is shown in correspondence with the positional relationship between the observation area of the first sensor 11 and the observation area of the second sensor 12. That is, in FIG. 4, as in FIG. 3, the area where the first image 30 and the second image 31 overlap corresponds to the observation area of both the first sensor 11 and the second sensor 12. Therefore, in FIG. 4, the first area 40 is shown as an area where the first image 30 and the second image 31 overlap.
  • the second area 41 is an area corresponding to the observation area of the first sensor 11 and is an area that does not overlap with the first area 40.
  • the first image 30 includes a first area 40 and a second area 41.
  • the third area 42 is an area corresponding to the observation area of the second sensor, and is an area that does not overlap with the first area 40.
  • the second image 31 includes a first area 40 and a third area 42.
  • the information on the feature points used for calibration includes information regarding the position of the feature points in real space.
  • the information regarding the position of the feature point in real space may be any information that allows the position of the feature point to be specified in real space.
  • the information regarding the position of the feature point in the real space may be the position information of the feature point in the real space, or may be the information on the distance from the observation device 10 to the feature point in the real space.
  • information regarding the position of a feature point in real space is assumed to be position information of the feature point in real space.
  • the position information of the feature point in real space may be position information specified by GNSS (Global Navigation Satellite System).
  • Position information of a feature point in real space may be given by coordinates in a world coordinate system.
  • the information on the feature points used for calibration includes position information of the feature points in the first region 40, second region 41, or third region 42.
  • the first area 40, the second area 41, and the third area 42 are partial areas of the first image 30 or the second image 31. Therefore, the first area 40, the second area 41, and the third area 42 include pixels.
  • the positional information of the feature point in the first area 40, second area 41, or third area 42 is the positional information of a pixel in the first area 40, second area 41, or third area 42 where the feature point is captured.
  • the position information of the feature point in the first area 40, second area 41, and third area 42 is any information that can specify the position of the feature point in each of the first area 40, second area 41, and third area 42. It may be.
  • the control unit 15 sets the first coordinate system based on the position information of the feature point P1 in the first region 40.
  • the first coordinate system is a coordinate system set with the first area 40 as a reference.
  • the first coordinate system may be a two-dimensional coordinate system. Note that the control unit 15 sets the first coordinate system when there is no existing first coordinate system. For example, when a worker newly places the observation device 10 on a roadside strip such as an intersection, there is no existing first coordinate system. Therefore, the control unit 15 newly sets the first coordinate system, for example, when a worker newly places the observation device 10 on a roadside strip such as an intersection. Further, if an existing first coordinate system exists, the control unit 15 corrects the existing first coordinate system based on the position information of the feature point P1 in the first region 40.
  • control unit 15 corrects the existing first coordinate system based on the position information of the feature point P1 in the first region 40.
  • the control unit 15 sets the second coordinate system based on the position information of the feature point P2 in the second region 41.
  • the second coordinate system is a coordinate system set with the second area 41 as a reference.
  • the second coordinate system is a coordinate system independent of the first coordinate system.
  • the second coordinate system may be a two-dimensional coordinate system. Note that the control unit 15 sets the second coordinate system when there is no existing second coordinate system. For example, when a worker newly places the observation device 10 on a roadside strip such as an intersection, there is no existing second coordinate system. Therefore, the control unit 15 newly sets the second coordinate system, for example, when a worker newly places the observation device 10 on a roadside strip such as an intersection.
  • the control unit 15 corrects the existing second coordinate system based on the position information of the feature point P2 in the second region 41. For example, when a worker performs maintenance work on the observation device 10 that has already been installed, an existing second coordinate system exists. Therefore, for example, when a worker performs maintenance work on the already installed observation device 10, the control unit 15 corrects the existing second coordinate system based on the position information of the feature point P2 in the second region 41.
  • the control unit 15 sets the third coordinate system based on the position information of the feature point P3 in the third region 42.
  • the third coordinate system is a coordinate system set with the third area 42 as a reference.
  • the third coordinate system is a coordinate system independent of the first coordinate system and the second coordinate system.
  • the third coordinate system may be a two-dimensional coordinate system. Note that the control unit 15 sets the third coordinate system when there is no existing third coordinate system. For example, when a worker newly places the observation device 10 on a roadside strip such as an intersection, there is no existing third coordinate system. Therefore, the control unit 15 newly sets the third coordinate system, for example, when a worker newly places the observation device 10 on a roadside strip such as an intersection.
  • the control unit 15 corrects the existing third coordinate system based on the position information of the feature point P3 in the third region 42. For example, when a worker performs maintenance work on the observation device 10 that has already been installed, an existing third coordinate system exists. Therefore, for example, when a worker performs maintenance work on the already installed observation device 10, the control unit 15 corrects the existing third coordinate system based on the position information of the feature point P3 in the third region 42.
  • the control unit 15 regards the road surface 2 in the real space as a single plane, and forms the virtual surface 4 based on the position information in the real space of each of the feature points P1, P2, and P3.
  • the control unit 15 generates corresponding data based on the formed virtual plane 4 and the set or corrected first coordinate system, second coordinate system, and third coordinate system.
  • the control unit 15 uses the virtual plane 4 to calculate the distance from the observation device 10 to the object reflected in the pixels at the coordinates of each of the first coordinate system, the second coordinate system, and the third coordinate system.
  • the control unit 15 generates correspondence data by associating each coordinate of the first coordinate system, the second coordinate system, and the third coordinate system with the calculated distance data from the observation device 10.
  • control unit 15 may form the virtual surface 4 only based on the position information of the feature point P1 in real space.
  • the control unit 15 may generate correspondence data based on the formed virtual plane 4 and the set or corrected first coordinate system.
  • control unit 15 may form the virtual surface 4 using the position information of the feature point P1 in real space and the position information of the feature point P2 in real space.
  • the control unit 15 may generate correspondence data using the formed virtual plane 4 and the set or corrected first coordinate system and second coordinate system.
  • control unit 15 may form the virtual surface 4 based on the position information of the feature point P1 in real space and the position information of the feature point P3 in real space.
  • the control unit 15 may generate correspondence data using the formed virtual plane 4 and the set or corrected first coordinate system and third coordinate system.
  • the terminal device 20 includes a communication section 21, an input section 22, a display section 23, a storage section 24, and a control section 25.
  • the communication unit 21 is configured to include at least one communication module that can communicate with the observation device 10 via a communication line.
  • the communication module is a communication module compatible with communication line standards.
  • the standard of the communication line is, for example, a wired communication standard or a short-range wireless communication standard including Bluetooth (registered trademark), infrared rays, NFC, and the like.
  • the input unit 22 can accept input from the user.
  • the input unit 22 includes at least one input interface that can accept input from a user.
  • the input interface is, for example, a physical key, a capacitive key, a pointing device, a touch screen provided integrally with the display, or a microphone.
  • the input interface is not limited to this.
  • the display unit 23 includes a display.
  • the display is, for example, an LCD (Liquid Crystal Display) or an organic EL (Electro Luminescence) display.
  • the display may be configured as a touch panel display or a touch screen display, for example, together with a touch screen included in the input section 22.
  • the storage unit 24 is configured to include at least one semiconductor memory, at least one magnetic memory, at least one optical memory, or a combination of at least two of these.
  • the semiconductor memory is, for example, RAM or ROM.
  • the RAM is, for example, SRAM or DRAM.
  • the ROM is, for example, an EEPROM.
  • the storage unit 24 may function as a main storage device, an auxiliary storage device, or a cache memory.
  • the storage unit 24 stores data used for the operation of the terminal device 20 and data obtained by the operation of the terminal device 20.
  • the control unit 25 is configured to include at least one processor, at least one dedicated circuit, or a combination thereof.
  • the processor is, for example, a general-purpose processor such as a CPU or GPU, or a dedicated processor specialized for specific processing.
  • the dedicated circuit is, for example, an FPGA or an ASIC.
  • the control unit 25 executes processing related to the operation of the terminal device 20 while controlling each part of the terminal device 20 .
  • the control unit 25 receives the data of the image 32 from the observation device 10 by the communication unit 21 based on the user input received by the input unit 22, and displays the received image 32 on the display unit 23 as shown in FIG. It's fine. In FIG. 5, the first image 30 is displayed on the display section 23.
  • the control unit 25 receives, through the input unit 22, an input for setting feature points for at least one of the first area 40, the second area 41, and the third area 42.
  • the control unit 25 may accept a point in the image 32 designated via the input unit 22 as a feature point.
  • the control unit 25 receives each of the points Q11 to Q24 in the first image 30 designated via the input unit 22 as feature points P11 to P24.
  • the operator operates, for example, a pointing device on the input section 22 to specify points Q11 to Q24 from the first image 30 displayed on the display section 23.
  • the control unit 25 receives setting inputs for the received feature points P11 to P24 through the input unit 22, as will be described later with reference to FIG.
  • the control unit 25 may receive the first input through the input unit 22 as the feature point setting input.
  • the first input is an input indicating which of the first coordinate system, second coordinate system, and third coordinate system the received feature point is used for setting or correction.
  • the control unit 25 may display information as shown in FIG. 6 on the display unit 23.
  • FIG. 6 columns for a first coordinate system, a second coordinate system, and a third coordinate system associated with each of the feature points P11 to P24 are displayed.
  • the feature points P11 to P24 are feature points received from the user as described above with reference to FIG.
  • the first input is to check the column of the coordinate system used for setting or correction of the feature point among the columns of the first coordinate system, second coordinate system, and third coordinate system associated with the feature point. It is to include.
  • the operator operates the pointing device or the like of the input unit 22, and selects, as a first input, the characteristics of the feature point from among the columns of the first coordinate system, second coordinate system, and third coordinate system associated with the feature point.
  • Feature points P16, P17, and P18 are set at the boundary between the first region 40 and the second region 41, as shown in FIG. That is, the feature points P16, P17, and P18 can be used for setting or correcting both the first coordinate system and the second coordinate system. Therefore, for feature points P16, P17, and P18, both the first coordinate system and second coordinate system columns are checked.
  • the control unit 25 A warning display may be displayed on the display unit 23.
  • the control unit 25 may cause the speaker to output a buzzer sound instead of displaying the warning.
  • the second coordinate system cannot be set or corrected by feature points set only for the first region 40 or the third region 42. Therefore, with respect to a feature point set only for the first region 40 or the third region 42, if the first input indicates that the feature point is to be used for setting or correcting the second coordinate system, the control unit 25 A warning display may be displayed on the display unit 23. When the terminal device 20 includes a speaker, the control unit 25 may cause the speaker to output a buzzer sound instead of displaying the warning.
  • the third coordinate system cannot be set or corrected by feature points set only for the first region 40 or the second region 41. Therefore, with respect to a feature point set only for the first region 40 or the second region 41, if the first input indicates that the feature point is to be used for setting or correcting the third coordinate system, the control unit 25 A warning display may be displayed on the display unit 23. When the terminal device 20 includes a speaker, the control unit 25 may cause the speaker to output a buzzer sound instead of displaying the warning.
  • the control unit 25 may receive a second input through the input unit 22 as a feature point setting input.
  • the second input is an input indicating information regarding the position of the feature point in real space.
  • the second input is an input indicating the position information of the feature point in real space.
  • the second input may be an input indicating any information that allows the position of the feature point to be specified in real space.
  • the second input may be information on the distance from the observation device 10 to the feature point in real space.
  • the control unit 25 may cause the display unit 23 to display the first input information and the second input information in association with each other for each feature point. For example, as shown in FIG. 6, for each of the feature points P11 to P24, the control unit 25 displays the columns of the first coordinate system, the second coordinate system, and the third coordinate system, and the position information of the feature point in real space. may be displayed on the display unit 23 in association with each other.
  • the control unit 25 may receive, through the input unit 22, a third input indicating selection of a feature point not to be used for calibration from among the plurality of feature points that have received the first input and the second input.
  • the third input is to uncheck all the columns of the first coordinate system, second coordinate system, and third coordinate system associated with the feature point selected not to be used for calibration.
  • the operator refers to information such as that shown in FIG. 6 and selects not to use feature points with low measurement accuracy of position information in real space for calibration. Further, the operator selects not to use feature points located at a high position from the road surface 2 for calibration.
  • the operator operates the pointing device of the input unit 22, and inputs the first coordinate system, second coordinate system, and 3. Uncheck all columns for the coordinate system. For example, when the operator selects not to use the feature points P12 and P14 for calibration, the operator removes the check mark in the second coordinate system column associated with each of the feature points P12 and P14.
  • the control unit 25 receives an input of an instruction to transmit feature point information through the input unit 22. This input is input by the operator from the input unit 22 after completing the setting input of the feature points. Upon receiving the input of the transmission instruction, the control unit 25 acquires information on feature points used for calibration.
  • the feature points used for calibration are, for example, feature points for which at least one of the columns of the first coordinate system, the second coordinate system, and the third coordinate system as shown in FIG. 6 is checked.
  • the information on the feature points used for calibration includes the position information of the feature points in real space and the position information of the feature points in the first area 40, the second area 41, or the third area 42.
  • the control unit 25 acquires position information in real space of the feature points used for calibration using the second input information.
  • the control unit 25 displays the positional information of the feature point in the first area 40, second area 41, or third area 42 used for calibration with the information of the first input and the display unit 23 of the feature point as shown in FIG. The location information on the screen is obtained.
  • the first coordinate system is set or corrected based on position information in the first region 40 of feature points set for the first region 40.
  • the control unit 25 converts the position information of the feature point on the screen of the display unit 23 into position information within the first area 40. By doing so, position information of the feature point in the first region 40 is acquired.
  • the second coordinate system is set or corrected based on position information in the second region 41 of feature points set for the second region 41.
  • the control unit 25 converts the position information of the feature point on the screen of the display unit 23 into position information in the second area 41. By doing so, position information of the feature point in the second region 41 is acquired.
  • the third coordinate system is set or corrected based on position information in the third region 42 of feature points set for the third region 42.
  • the control unit 25 converts the position information of the feature point on the screen of the display unit 23 into position information in the third area 42 By doing so, position information of the feature point in the third region 42 is acquired.
  • control unit 25 Upon acquiring the information on the feature points used for calibration, the control unit 25 transmits the information on the feature points used for calibration to the observation device 10 via the communication unit 21.
  • FIG. 7 is a flowchart showing the flow of the observation method of the observation system 1 shown in FIG.
  • the processing in steps S1, S2, and S3 corresponds to an example of the operating method of the terminal device 20 according to the present embodiment.
  • the observation system 1 starts processing in step S1.
  • the control unit 25 receives an input for setting a feature point for at least one of the first area 40, the second area 41, and the third area 42 through the input unit 22 (step S1).
  • the control unit 25 receives an input of an instruction to transmit feature point information through the input unit 22 (step S2).
  • the control unit 25 acquires information on the feature points used for calibration, and transmits the information on the acquired feature points to the observation device 10 by the communication unit 21 (step S3).
  • the control unit 15 receives feature point information from the terminal device 20 through the communication unit 13 (step S4).
  • the control unit 15 sets or corrects the first coordinate system, the second coordinate system, and the third coordinate system based on the position information of the feature points in the image 32 (step S5).
  • the control unit 15 forms the virtual surface 4 based on the position information of the feature points in real space (step S6).
  • the control unit 15 generates corresponding data based on the formed virtual plane 4 and the set or corrected first coordinate system, second coordinate system, and third coordinate system (step S7).
  • the control unit 15 acquires information regarding the position in real space of a predetermined point of the observation area of the first sensor 11 or the second sensor 12 based on the corresponding data (step S8). For example, when the control unit 15 detects an object from the data of the image 32, it acquires information regarding the position of the object in real space as information regarding the position of a predetermined point in real space.
  • the control unit 15 sets the settings for the first region 40 of the first region 40, the second region 41, and the third region 42 as shown in FIG. Calibration is performed based on the feature point P1 and the position information of the feature point P1 in real space. Further, the control unit 15 acquires information regarding the position of a predetermined point of the observation area of the first sensor 11 or the second sensor 12 in real space. For example, the control unit 15 performs calibration using information on the feature point P1 and generates corresponding data. Furthermore, the control unit 15 acquires information regarding the position in real space of a predetermined point of the observation area of the first sensor 11 or the second sensor 12 based on the corresponding data.
  • the feature point Px1 is set for the first image 30.
  • the coordinate system of the first image 30 is corrected based on the position information of the feature point Px1 in the first image 30.
  • the feature point Px2 is set for the second image 31.
  • the coordinate system of the second image 31 is corrected based on the position information of the feature point Px2 in the second image 31.
  • the feature point Px1 is set without considering the second image 31 and the observation area of the second sensor 12. Further, the feature point Px2 is set without considering the first image 30 and the observation area of the first sensor 11. Therefore, in the comparative example, the coordinate system of the first image 30 corrected by the feature point Px1 may deviate from the coordinate system of the second image 31 corrected by the feature point Px2. If the coordinate system of the first image 30 and the coordinate system of the second image 31 deviate, when sensor fusion is performed by combining the detection results of the first sensor 11 and the second sensor 12, the detection by sensor fusion Accuracy decreases.
  • the distance from the observation device 10 to the object is measured using the first image 30, and the distance is measured using the second image 31.
  • the distance from the observed observation device 10 to the object may deviate.
  • the calibration is continued until the deviation between the coordinate system of the first image 30 and the coordinate system of the second image 31 is reduced to some extent. It may be necessary to perform the application repeatedly.
  • the feature point P1 is set for the first region 40.
  • the first coordinate system which is set based on the first area 40, can be set or corrected using the position information of the feature point P1 in the first area 40.
  • the first region 40 is included in both the first image 30 and the second image 31.
  • the first coordinate system is a common coordinate system that corresponds to a partial area of the first image 30 and a partial area of the second image 31, respectively.
  • this embodiment it is possible to suppress a decrease in detection accuracy due to sensor fusion. Further, in this embodiment, unlike the comparative example, it is not necessary to repeatedly perform calibration until the deviation between the coordinate system of the first image 30 and the coordinate system of the second image 31 is reduced to some extent. Therefore, according to this embodiment, a technique for performing improved calibration can be provided.
  • the control unit 15 further controls, based on information regarding another feature point P2 or P3 different from the feature point P1 and the position of the other feature point P2 or P3 in real space, Information regarding the location of a predetermined point may also be acquired.
  • the second coordinate system set for the second region 41 that does not overlap with the first region 40 included in the first image 30 can be set or corrected using the feature point P2. With such a configuration, it is possible to reduce the deviation between the first coordinate system and the second coordinate system.
  • the feature point P3 it is possible to set or correct a third coordinate system that is set for a third region 42 that does not overlap with the first region 40 included in the second image 31. With such a configuration, it is possible to reduce the deviation between the first coordinate system and the third coordinate system.
  • the plurality of feature points P1 may be set at the boundary between the first region 40 and the second region 41, as shown in FIG.
  • Each of the first coordinate system and the second coordinate system can be set or corrected by the feature point P1, that is, the feature point P2 set at the boundary between the first region 40 and the second region 41.
  • the first coordinate system after setting or correction and the second coordinate system after setting or correction are continuous at the boundary between the first area 40 and the second area 41.
  • the first coordinate system after setting or correction and the second coordinate system after setting or correction are continuous, so that detection by the first sensor 11 is possible at the boundary between the first area 40 and the second area 41.
  • the possibility that the result and the detection result of the second sensor 12 deviate can be reduced.
  • the distance from the observation device 10 to the object measured using the first image 30, and the distance from the observation device 10 measured using the second image 31 is possible to reduce the possibility of deviation from the distance to the object.
  • the plurality of feature points P1 may be set at the boundary between the first region 40 and the third region 42, as shown in FIG.
  • Each of the first coordinate system and the third coordinate system can be set or corrected by the feature point P1, that is, the feature point P3 set at the boundary between the first region 40 and the third region 42.
  • the first coordinate system after setting or correction and the third coordinate system after setting or correction are continuous at the boundary between the first area 40 and the third area 42.
  • the first coordinate system after setting or correction and the third coordinate system after setting or correction are continuous, so that detection by the first sensor 11 at the boundary between the first area 40 and the third area 42 is possible.
  • the possibility that the result and the detection result of the second sensor 12 deviate can be reduced.
  • the distance from the observation device 10 to the object measured using the first image 30, and the distance from the observation device 10 measured using the second image 31 is possible to reduce the possibility of deviation from the distance to the object.
  • the control unit 25 receives, through the input unit 22 , an input for setting a feature point for at least one of the first area 40 , the second area 41 , and the third area 42 .
  • the operator can input feature point settings once for the first area 40, and then There is no need to input and set the feature points for each of the two images 31. Therefore, according to this embodiment, the burden on the worker can be reduced.
  • the control unit 25 may cause the display unit 23 to display the first input information and the second input information in association with each other for each feature point, as shown in FIG.
  • the control unit 25 may receive, through the input unit 22, a third input indicating selection of a feature point not to be used for calibration from among the plurality of feature points that have received the first input and the second input.
  • the operator can easily select the feature points that will not be used for calibration. For example, a worker may easily choose not to use a feature point with low measurement accuracy of position information in real space for calibration, or choose not to use a feature point located at a high position from the road surface 2 for calibration.
  • the terminal device 20 when the terminal device 20 receives the third input, the terminal device 20 sends information such as a feature point with high measurement accuracy of position information in real space selected by the operator to the observation device 10 as information of a feature point to be used for calibration. Can be sent. Therefore, the observation device 10 can perform calibration with high accuracy.
  • each functional unit, each means, each step, etc. may be added to other embodiments so as not to be logically contradictory, or each functional unit, each means, each step, etc. of other embodiments may be added to other embodiments to avoid logical contradiction. It is possible to replace it with Further, in each embodiment, it is possible to combine or divide a plurality of functional units, means, steps, etc. into one. Further, each embodiment of the present disclosure described above is not limited to being implemented faithfully to each described embodiment, but may be implemented by combining each feature or omitting a part as appropriate. You can also do that.
  • the information regarding the position of the feature point in the real space is described as the position information of the feature point in the real space.
  • the information regarding the position of the feature point in real space may be information about the distance from the observation device 10 to the feature point in real space.
  • the second input may be information on the distance from the observation device 10 to the feature point in real space.
  • the control unit 25 may transmit information on the distance from the observation device 10 to the feature point in the real space, which is received as the second input by the input unit 22 , to the observation device 10 via the communication unit 21 .
  • the control unit 15 may form the virtual surface 4 based on information about the distance from the observation device 10 to the feature point in real space, which is received from the terminal device 20 .
  • the control unit 15 receives a predetermined information from the observation device 10 in real space as information regarding the position in real space of a predetermined point of the observation area of the first sensor 11 or the second sensor 12.
  • the explanation has been made assuming that information on the distance to a point is acquired.
  • the control unit 15 may acquire positional information of a predetermined point in real space as information regarding the position of the predetermined point of the observation area of the first sensor 11 or the second sensor 12 in real space.
  • the control unit 15 generates correspondence data by associating the coordinates of the first coordinate system, the second coordinate system, and the third coordinate system with the position information in real space of the object reflected in the pixel of the coordinates. It's fine.
  • the observation device 10 has been described as including two sensors, the first sensor 11 and the second sensor 12.
  • the observation device 10 may include three or more sensors.
  • the control unit 15 may perform the same or similar processing as in the embodiment described above.
  • An example of processing when the observation device 10 includes three or more sensors will be described below.
  • a case where a part of the observation area of one sensor among the plurality of sensors included in the observation device 10 overlaps with a part of the observation area of all two or more other sensors will be referred to as the "first case". be written.
  • the control unit 15 sets a coordinate system that is the same as or similar to the first coordinate system described above in the overlapping region of the observation regions of the plurality of sensors included in the observation device 10. It's fine.
  • the control unit 15 may set different coordinate systems in the observation area of each sensor of the observation device 10 that does not overlap with other sensors.
  • the control unit 15 may set the coordinate system as described above, and perform the calibration process in the same or similar manner as in the embodiment described above.
  • the control unit 15 may execute both the process for the first case 1 and the process for the second case.
  • descriptions such as “first” and “second” are identifiers for distinguishing the configurations.
  • the numbers in the configurations can be exchanged.
  • the first sensor can exchange the identifiers “first” and “second” with the second sensor.
  • the exchange of identifiers takes place simultaneously.
  • the configurations are distinguished.
  • Identifiers may be removed.
  • Configurations with removed identifiers are distinguished by codes.
  • the description of identifiers such as “first” and “second” in this disclosure should not be used to interpret the order of the configuration or to determine the existence of lower-numbered identifiers.
  • observation system 2 road surface 3 structure 4 virtual surface 10 observation device 11 first sensor 12 second sensor 13 communication section 14 storage section 15 control section 20 terminal device 21 communication section 22 input section 23 display section 24 storage section 25 control section 30 1st image 31 2nd image 32 Image 40 1st area 41 2nd area 42 3rd area P1 to P3, P11 to P24 Feature points Q11 to Q24 Point d1 Distance p1 Coordinate p2 Position

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

観察装置は、制御部を備える。制御部は、第１領域と、第２領域と、第３領域とのうち、第１領域に対して設定される特徴点と、特徴点の実空間における位置に関する情報とに基づいて、キャリブレーションを実行する。制御部は、第１センサ又は第２センサの観察領域の所定地点の実空間における位置に関する情報を取得する。第１領域は、第１センサ及び第２センサの両方の観察領域に対応する。第２領域は、第１センサの観察領域に対応し、第１領域と重ならない。第３領域は、第２センサの観察領域に対応し、第１領域と重ならない。

Description

観察装置及び観察方法 関連出願へのクロスリファレンス
　本出願は、２０２２年３月２９日に日本国に特許出願された特願２０２２－０５４５８２の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。
　本開示は、観察装置及び観察方法に関する。
　近年、複数のセンサを用いる観察装置が広く利用されている。例えば、路側帯に配置される観察装置では、広範囲にわたって車両及び歩行者等の物体を検出するために、複数のセンサが用いられている。
　複数のセンサを用いる観察装置では、複数のセンサのそれぞれの検出精度を向上させるために、複数のセンサのそれぞれのキャリブレーションを実行することが求められる。そこで、複数のセンサのそれぞれのキャリブレーションを実行する方法が知られている（例えば、特許文献１）。
特開２０１０－１５６６０９号公報
　本開示の一実施形態に係る観察装置は、
　　第１センサ及び第２センサの両方の観察領域に対応する第１領域と、
　　前記第１センサの観察領域に対応し、前記第１領域と重ならない第２領域と、
　　前記第２センサの観察領域に対応し、前記第１領域と重ならない第３領域とのうち、
　前記第１領域に対して設定される特徴点と、前記特徴点の実空間における位置に関する情報とに基づいて、キャリブレーションを実行し、前記第１センサ又は第２センサの観察領域の所定地点の実空間における位置に関する情報を取得する制御部を備える。
　本開示の一実施形態に係る観察方法は、
　　第１センサ及び第２センサの両方の観察領域に対応する第１領域と、
　　前記第１センサの観察領域に対応し、前記第１領域と重ならない第２領域と、
　　前記第２センサの観察領域に対応し、前記第１領域と重ならない第３領域とのうち、
　前記第１領域に対して設定される特徴点と、前記特徴点の実空間における位置に関する情報とに基づいて、キャリブレーションを実行することと、
　前記第１センサ又は第２センサの観察領域の所定地点の実空間における位置に関する情報を取得することと、を含む。
本開示の一実施形態に係る観察システムのブロック図である。 図１に示す観察装置の設置状態を示す図である。 第１画像及び第２画像を示す図である。 第１領域、第２領域及び第３領域を示す図である。 特徴点の設定を説明するための図である。 第１入力及び第２入力を説明するための図である。 図１に示す観察システムの観察方法の流れを示すフローチャートである。 比較例に係るキャリブレーションを説明するための図である。
　従来のキャリブレーションを実行するための技術には、改善の余地がある。例えば、複数のセンサを用いる観察装置では、センサフュージョンが実行される場合がある。センサフュージョンは、複数のセンサの検出結果を統合して処理する技術である。複数のセンサのそれぞれにおいてキャリブレーションを実行すると、センサフュージョンによる検出精度が低下する場合がある。本開示の一実施形態によれば、改善されたキャリブレーションを実行するための技術を提供することができる。
　本開示の観察装置は、複数のセンサによって観察領域を観察する。本開示の観察装置は、任意の用途に適用されてよい。例えば、本開示の観察装置は、路側機又は監視カメラ装置等であってよい。
　以下、本開示を適用した観察装置の実施形態について、図面を参照して説明する。以下の実施形態では、観察装置は、路側機であるものとする。
　（観察システムの構成）
　図１に示すように、観察システム１は、観察装置１０を含む。観察システム１は、観察装置１０のキャリブレーションの実行時、端末装置２０をさらに含む。観察装置１０と端末装置２０とは、通信線を介して通信可能に接続される。通信線は、有線及び無線の少なくとも何れかを含む。
　観察装置１０は、路側機である。観察装置１０は、通信システムに備えられる。観察装置１０を備える通信システムは、例えば、高度道路交通システム（ＩＴＳ：Intelligent Transport Systems）の安全運転支援通信システムである。安全運転支援通信システムは、安全運転支援システムと呼ばれたり、安全運転支援無線システムと呼ばれたりする。
　観察装置１０は、例えば、交差点等の路側帯に配置される。観察装置１０は、観察領域に存在する物体を検出する。観察領域は、例えば、図２に示すような道路等の路面２である。観察装置１０は、例えば、図２に示すように、観察領域である路面２を観察可能に構造物３に固定される。構造物３は、例えば、信号装置、電柱又は街灯等である。観察装置１０は、観察領域に存在する車両及び歩行者等の物体を検出する。観察装置１０は、検出結果を周囲の移動体等に通知する。
　端末装置２０のユーザは、作業者である。作業者は、観察装置１０のキャリブレーション実行時、端末装置２０を観察装置１０に接続させる。作業者は、観察装置１０のキャリブレーションに用いる情報を端末装置２０から入力する。
　（観察装置の構成）
　図１に示すように、観察装置１０は、第１センサ１１と、第２センサ１２と、通信部１３と、記憶部１４と、制御部１５とを備える。図１に示すような観察装置１０は、２つのセンサを備える。ただし、観察装置１０が備えるセンサの数は、２つに限定されない。観察装置１０は、例えば用途に応じて、３つ以上のセンサを備えてよい。
　第１センサ１１は、観察領域を撮像して図３に示すような第１画像３０を生成する。第２センサ１２は、観察領域を撮像して図３に示すような第２画像３１を生成する。第１センサ１１の観察領域の一部と第２センサ１２の観察領域の一部とは、重なる。第１センサ１１の観察領域の一部と第２センサ１２の観察領域の一部とが重なることにより、第１センサ１１の検出結果と第２センサ１２の検出結果とを組み合わせたセンサフュージョンを実行することができる。ただし、第１センサ１１の観察領域の他の一部と第２センサ１２の観察領域の他の一部とは、重ならなくてよい。図３では、第１画像３０と第２画像３１との位置関係は、第１センサ１１の観察領域と第２センサ１２の観察領域との位置関係に対応させて示される。そのため、図３において、第１画像３０と第２画像３１とが重なる領域は、第１センサ１１の観察領域と第２センサ１２の観察領域とが重なる領域すなわち第１センサ１１及び第２センサ１２の両方の観察領域に対応する。以下、第１画像３０と第２画像３１とを特に区別しない場合、これらは、まとめて「画像３２」とも記載される。
　第１センサ１１及び第２センサ１２は、例えば、単眼カメラである。単眼カメラは、例えば、可視光カメラ、ＦＩＲ（Far Infrared Rays）カメラ等の撮像装置であってもよい。第１センサ１１及び第２センサ１２は、それぞれ、可視光カメラ、ＦＩＲカメラを構成するＣＭＯＳ（Complementary Metal Oxide Semiconductor）又はＣＣＤ（Charge Coupled Device）等のイメージセンサであってもよい。第１センサ１１と第２センサ１２とは、同じ種類のセンサであってもよいし、異なる種類のセンサであってもよい。例えば、第１センサ１１及び第２センサ１２のうちの、一方が可視光カメラであって、他方がＦＩＲカメラであってもよい。第１センサ１１及び第２センサ１２のそれぞれは、所定のフレームレートで画像３２を生成してよい。ただし、第１センサ１１及び第２センサ１２は、単眼カメラ及びイメージセンサ以外の任意のセンサであってよい。例えば、第１センサ１１及び第２センサ１２は、ＬｉＤＡＲ（Light Detection And Ranging）であってもよい。この場合、制御部１５は、ＬｉＤＡＲによる測定で得られた点群データから観察領域における画像３２を生成してよい。また、第１センサ１１及び第２センサ１２のうち、一方が可視光カメラ又はＦＩＲカメラであって、他方がＬｉＤＡＲであってもよい。
　通信部１３は、路面２上の移動体と通信可能な少なくとも１つの通信モジュールを含んで構成される。通信モジュールは、例えば、路車間通信の規格に対応した通信モジュールである。通信部１３は、この通信モジュールによって、例えばＩＴＳに割り当てられている７００ＭＨｚ帯において路面２上の移動体と無線通信を実行してよい。
　通信部１３は、通信線を介して端末装置２０と通信可能な少なくとも１つの通信モジュールを含んで構成される。通信モジュールは、通信線の規格に対応した通信モジュールである。通信線の規格は、例えば、有線通信規格であるか、又は、Bluetooth（登録商標）、赤外線及びＮＦＣ（Near Field Communication）等を含む近距離無線通信規格である。
　記憶部１４は、少なくとも１つの半導体メモリ、少なくとも１つの磁気メモリ、少なくとも１つの光メモリ又はこれらのうちの少なくとも２種類の組み合わせを含んで構成される。半導体メモリは、例えば、ＲＡＭ（Random Access Memory）又はＲＯＭ（Read Only Memory）等である。ＲＡＭは、例えば、ＳＲＡＭ（Static Random Access Memory）又はＤＲＡＭ（Dynamic Random Access Memory）等である。ＲＯＭは、例えば、ＥＥＰＲＯＭ(Electrically Erasable Programmable Read Only Memory)等である。記憶部１４は、主記憶装置、補助記憶装置又はキャッシュメモリとして機能してよい。記憶部１４には、観察装置１０の動作に用いられるデータと、観察装置１０の動作によって得られたデータとが記憶される。
　制御部１５は、少なくとも１つのプロセッサ、少なくとも１つの専用回路又はこれらの組み合わせを含んで構成される。プロセッサは、例えば、ＣＰＵ（Central Processing Unit）若しくはＧＰＵ（Graphics Processing Unit）等の汎用プロセッサ又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、ＦＰＧＡ（Field-Programmable Gate Array）又はＡＳＩＣ（Application Specific Integrated Circuit）等である。制御部１５は、観察装置１０の各部を制御しながら、観察装置１０の動作に関わる処理を実行する。
　＜距離の測定処理＞
　制御部１５は、第１センサ１１又は第２センサ１２から、画像３２のデータを取得する。制御部１５は、画像３２のデータに対して画像認識処理を実行することにより、画像３２のデータから物体を検出する。画像認識処理は、例えば、パターンマッチング又は深層学習等の機械学習等の処理である。
　制御部１５は、画像３２のデータから物体を検出すると、その物体の実空間における位置に関する情報を取得する。物体の実空間における位置に関する情報は、物体の位置を実空間において特定可能な任意の情報であってよい。一例として、物体の実空間における位置に関する情報は、物体の実空間における位置情報であってもよいし、実空間における観察装置１０から物体までの距離の情報であってもよい。物体の実空間における位置情報は、ワールド座標系の座標によって与えられてよい。ワールド座標系は、３次元実空間において設定される座標系である。以下、物体の実空間における位置に関する情報は、実空間における観察装置１０から物体までの距離の情報であるものとして説明する。
　制御部１５は、対応データによって、実空間における観察装置１０から物体までの距離の情報を取得する。対応データは、後述するキャリブレーションにおいて生成される。対応データは、図３に示すような画像３２内の座標と、実空間における観察装置１０から画像３２内のその座標の画素に写る物体までの距離のデータとを対応付けたものである。画像３２内の座標は、後述するように、第１座標系、第２座標系又は第３座標系によって与えられる。例えば、図３に示すような画像３２内の座標ｐ１の画素に写る物体が、図２に示すような路面２上の位置ｐ２に存在するものとする。この場合、対応データでは、画像３２内の座標ｐ１と、観察装置１０から位置ｐ２までの距離ｄ１のデータとが対応付けられる。路面２上の位置ｐ２は、後述するキャリブレーションにおいて仮想面４から算出される。仮想面４は、後述するキャリブレーションにおいて、例えば、観察領域である実空間における路面２を単一の平面とみなして形成される。また、仮想面４は、実空間における路面２を、複数の平面の組み合わせとみなして形成されてもよい。なお、本実施形態では、仮想面４は、単一の平面とみなして形成されるものとする。制御部１５は、画像３２において物体が写る画素の座標を特定し、対応データから特定した座標に対応付けられた距離のデータを取得することにより、実空間における観察装置１０から物体までの距離の情報を取得する。
　＜キャリブレーション処理＞
　制御部１５は、端末装置２０から、キャリブレーションに用いる特徴点の情報を通信部１３によって受信する。特徴点は、キャリブレーションポイントとも呼ばれる。特徴点は、作業者によって、実空間における路面２上の構造物等から適宜選択される任意の点（任意点）である。作業者は、端末装置２０を操作し、路面２上の構造物等のうち、画像３２に写り込む構造物等を特徴点に適宜選択する。
　特徴点は、作業者によって、図４に示すような、第１領域４０、第２領域４１及び第３領域４２に分けて設定される。第１領域４０に対して設定される特徴点は、「特徴点Ｐ１」とも記載される。第２領域４１に対して設定される特徴点は、「特徴点Ｐ２」とも記載される。第３領域４２に対して設定される特徴点は、「特徴点Ｐ３」とも記載される。複数の特徴点Ｐ１の少なくとも一部は、第１領域４０と第２領域４１との間の境界に設定されてよい。第１領域４０と第２領域４１との間の境界に設定される特徴点Ｐ１は、特徴点Ｐ２ともなり得る。複数の特徴点Ｐ１の少なくとも一部は、第１領域４０と第３領域４２との間の境界に設定されてよい。第１領域４０と第３領域４２との間の境界に設定される特徴点Ｐ１は、特徴点Ｐ３ともなり得る。
　第１領域４０は、第１センサ１１及び第２センサ１２の両方の観察領域に対応する領域である。図４では、図３と同じく、第１画像３０と第２画像３１との位置関係は、第１センサ１１の観察領域と第２センサ１２の観察領域との位置関係に対応させて示される。つまり、図４では、図３と同じく、第１画像３０と第２画像３１とが重なる領域が第１センサ１１及び第２センサ１２の両方の観察領域に対応する。そのため、図４では、第１領域４０は、第１画像３０と第２画像３１とが重なる領域として示される。
　第２領域４１は、第１センサ１１の観察領域に対応する領域であって、第１領域４０と重ならない領域である。第１画像３０は、第１領域４０及び第２領域４１を含む。
　第３領域４２は、第２センサの観察領域に対応する領域であって、第１領域４０とは重ならない領域である。第２画像３１は、第１領域４０及び第３領域４２を含む。
　キャリブレーションに用いる特徴点の情報は、特徴点の実空間における位置に関する情報を含む。特徴点の実空間における位置に関する情報は、特徴点の位置を実空間において特定可能な任意の情報であってよい。一例として、特徴点の実空間における位置に関する情報は、特徴点の実空間における位置情報であってもよいし、実空間における観察装置１０から特徴点までの距離の情報であってもよい。以下、特徴点の実空間における位置に関する情報は、特徴点の実空間における位置情報であるものとする。特徴点の実空間における位置情報は、ＧＮＳＳ（Global Navigation Satellite System）によって特定された位置情報であってよい。特徴点の実空間における位置情報は、ワールド座標系の座標によって与えられてよい。
　キャリブレーションに用いる特徴点の情報は、特徴点の第１領域４０、第２領域４１又は第３領域４２における位置情報を含む。第１領域４０、第２領域４１及び第３領域４２は、第１画像３０又は第２画像３１の一部領域となる。そのため、第１領域４０、第２領域４１及び第３領域４２は、画素を含む。特徴点の第１領域４０、第２領域４１又は第３領域４２における位置情報は、特徴点が写る第１領域４０、第２領域４１又は第３領域４２における画素の位置情報である。特徴点の第１領域４０、第２領域４１及び第３領域４２における位置情報は、第１領域４０、第２領域４１及び第３領域４２のそれぞれにおいて特徴点の位置を特定可能な任意の情報であってよい。
　制御部１５は、特徴点Ｐ１の第１領域４０における位置情報によって、第１座標系を設定する。第１座標系は、第１領域４０を基準として設定される座標系である。第１座標系は、２次元座標系であってよい。なお、制御部１５は、既存の第１座標系が存在しない場合、第１座標系を設定する。例えば、作業者が交差点等の路側帯に観察装置１０を新規に配置する場合、既存の第１座標系が存在しない。そのため、制御部１５は、例えば作業者が交差点等の路側帯に観察装置１０を新規に配置する場合、第１座標系を新たに設定する。また、制御部１５は、既存の第１座標系が存在する場合、特徴点Ｐ１の第１領域４０における位置情報によって、既存の第１座標系を補正する。例えば、作業者が既に設置されている観察装置１０のメンテナンス作業を行う場合、既存の第１座標系が存在する。そのため、制御部１５は、例えば作業者が既に設置されている観察装置１０のメンテナンス作業を行う場合、特徴点Ｐ１の第１領域４０における位置情報によって、既存の第１座標系を補正する。
　制御部１５は、特徴点Ｐ２の第２領域４１における位置情報によって、第２座標系を設定する。第２座標系は、第２領域４１を基準として設定される座標系である。第２座標系は、第１座標系とは独立した座標系である。第２座標系は、２次元座標系であってよい。なお、制御部１５は、既存の第２座標系が存在しない場合、第２座標系を設定する。例えば、作業者が交差点等の路側帯に観察装置１０を新規に配置する場合、既存の第２座標系が存在しない。そのため、制御部１５は、例えば作業者が交差点等の路側帯に観察装置１０を新規に配置する場合、第２座標系を新たに設定する。また、制御部１５は、既存の第２座標系が存在する場合、特徴点Ｐ２の第２領域４１における位置情報によって、既存の第２座標系を補正する。例えば、作業者が既に設置されている観察装置１０のメンテナンス作業を行う場合、既存の第２座標系が存在する。そのため、制御部１５は、例えば作業者が既に設置されている観察装置１０のメンテナンス作業を行う場合、特徴点Ｐ２の第２領域４１における位置情報によって、既存の第２座標系を補正する。
　制御部１５は、特徴点Ｐ３の第３領域４２における位置情報によって、第３座標系を設定する。第３座標系は、第３領域４２を基準として設定される座標系である。第３座標系は、第１座標系及び第２座標系とは独立した座標系である。第３座標系は、２次元座標系であってよい。なお、制御部１５は、既存の第３座標系が存在しない場合、第３座標系を設定する。例えば、作業者が交差点等の路側帯に観察装置１０を新規に配置する場合、既存の第３座標系が存在しない。そのため、制御部１５は、例えば作業者が交差点等の路側帯に観察装置１０を新規に配置する場合、第３座標系を新たに設定する。また、制御部１５は、既存の第３座標系が存在する場合、特徴点Ｐ３の第３領域４２における位置情報によって、既存の第３座標系を補正する。例えば、作業者が既に設置されている観察装置１０のメンテナンス作業を行う場合、既存の第３座標系が存在する。そのため、制御部１５は、例えば作業者が既に設置されている観察装置１０のメンテナンス作業を行う場合、特徴点Ｐ３の第３領域４２における位置情報によって、既存の第３座標系を補正する。
　制御部１５は、実空間における路面２を単一の平面とみなし、特徴点Ｐ１、特徴点Ｐ２及び特徴点Ｐ３のそれぞれの実空間における位置情報によって仮想面４を形成する。制御部１５は、形成した仮想面４と、設定後又は補正後の第１座標系、第２座標系及び第３座標系とによって、対応データを生成する。例えば、制御部１５は、観察装置１０から、第１座標系、第２座標系及び第３座標系のそれぞれの座標の画素に写る物体までの距離を、仮想面４によって算出する。制御部１５は、観察装置１０から、第１座標系、第２座標系及び第３座標系のそれぞれの座標と、算出した距離のデータとを対応付けることにより、対応データを生成する。
　ただし、制御部１５は、特徴点Ｐ１の実空間における位置情報のみによって仮想面４を形成してもよい。制御部１５は、形成した仮想面４と、設定後又は補正後の第１座標系とによって、対応データを生成してもよい。
　また、制御部１５は、特徴点Ｐ１の実空間における位置情報と、特徴点Ｐ２の実空間における位置情報とによって、仮想面４を形成してもよい。制御部１５は、形成した仮想面４と、設定後又は補正後の第１座標系及び第２座標系とによって、対応データを生成してもよい。
　また、制御部１５は、特徴点Ｐ１の実空間における位置情報と、特徴点Ｐ３の実空間における位置情報とによって、仮想面４を形成してもよい。制御部１５は、形成した仮想面４と、設定後又は補正後の第１座標系及び第３座標系とによって、対応データを生成してもよい。
　（端末装置の構成）
　図１に示すように、端末装置２０は、通信部２１と、入力部２２と、表示部２３と、記憶部２４と、制御部２５とを備える。
　通信部２１は、通信線を介して観察装置１０と通信可能な少なくとも１つの通信モジュールを含んで構成される。通信モジュールは、通信線の規格に対応した通信モジュールである。通信線の規格は、例えば、有線通信規格であるか、又は、Bluetooth（登録商標）、赤外線及びＮＦＣ等を含む近距離無線通信規格である。
　入力部２２は、ユーザからの入力を受け付け可能である。入力部２２は、ユーザからの入力を受け付け可能な少なくとも１つの入力用インタフェースを含んで構成される。入力用インタフェースは、例えば、物理キー、静電容量キー、ポインティングデバイス、ディスプレイと一体的に設けられたタッチスクリーン又はマイク等である。ただし、入力用インタフェースは、これに限定されない。
　表示部２３は、ディスプレイを含んで構成される。ディスプレイは、例えば、ＬＣＤ（Liquid Crystal Display）又は有機ＥＬ（Electro Luminescence）ディスプレイ等である。ディスプレイは、例えば、入力部２２に含まれるタッチスクリーンとともに、タッチパネルディスプレイ又はタッチスクリーンディスプレイとして構成されてもよい。
　記憶部２４は、少なくとも１つの半導体メモリ、少なくとも１つの磁気メモリ、少なくとも１つの光メモリ又はこれらのうちの少なくとも２種類の組み合わせを含んで構成される。半導体メモリは、例えば、ＲＡＭ又はＲＯＭ等である。ＲＡＭは、例えば、ＳＲＡＭ又はＤＲＡＭ等である。ＲＯＭは、例えば、ＥＥＰＲＯＭ等である。記憶部２４は、主記憶装置、補助記憶装置又はキャッシュメモリとして機能してよい。記憶部２４には、端末装置２０の動作に用いられるデータと、端末装置２０の動作によって得られたデータとが記憶される。
　制御部２５は、少なくとも１つのプロセッサ、少なくとも１つの専用回路又はこれらの組み合わせを含んで構成される。プロセッサは、例えば、ＣＰＵ若しくはＧＰＵ等の汎用プロセッサ又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、ＦＰＧＡ又はＡＳＩＣ等である。制御部２５は、端末装置２０の各部を制御しながら、端末装置２０の動作に関わる処理を実行する。
　制御部２５は、入力部２２によって受け付けたユーザ入力に基づき、画像３２のデータを観察装置１０から通信部２１によって受信し、図５に示すように、受信した画像３２を表示部２３に表示させてよい。図５では、第１画像３０が表示部２３に表示されている。
　制御部２５は、第１領域４０、第２領域４１及び第３領域４２のうちの少なくとも何れかに対する特徴点の設定入力を入力部２２によって受け付ける。制御部２５は、図５に示すように画像３２を表示部２３に表示させた場合、入力部２２を介して指定された画像３２内の点を特徴点として受け付けてよい。例えば、図５では、制御部２５は、入力部２２を介して指定された第１画像３０内の点Ｑ１１～Ｑ２４のそれぞれを特徴点Ｐ１１～Ｐ２４として受け付ける。作業者は、例えば、入力部２２のポインティングデバイス等を操作し、表示部２３に表示された第１画像３０から点Ｑ１１～Ｑ２４を指定する。制御部２５は、図６を参照して後述するように、受け付けた特徴点Ｐ１１～Ｐ２４の設定入力を入力部２２によって受け付ける。
　制御部２５は、特徴点の設定入力として、第１入力を入力部２２によって受け付けてよい。第１入力は、受け付けた特徴点を第１座標系、第２座標系及び第３座標系の何れの設定又は補正に用いるかを示す入力である。例えば、制御部２５は、図６に示すような情報を表示部２３に表示させてよい。図６では、特徴点Ｐ１１～Ｐ２４のそれぞれに対応付けられた第１座標系、第２座標系及び第３座標系の欄が表示されている。特徴点Ｐ１１～Ｐ２４は、図５を参照して上述したようにユーザから受け付けた特徴点である。図６では、第１入力は、特徴点に対応付けられた第１座標系、第２座標系及び第３座標系の欄のうち、その特徴点を設定又は補正に用いる座標系の欄にチェックを入れることである。つまり、作業者は、入力部２２のポインティングデバイス等を操作し、第１入力として、特徴点に対応付けられた第１座標系、第２座標系及び第３座標系の欄のうち、その特徴点を設定又は補正に用いる座標系の欄にチェックを入れる。特徴点Ｐ１６，Ｐ１７，Ｐ１８は、図５に示すように第１領域４０と第２領域４１との間の境界に設定される。つまり、特徴点Ｐ１６，Ｐ１７，Ｐ１８は、第１座標系及び第２座標系の両方の設定又は補正に用いることができる。そのため、特徴点Ｐ１６，Ｐ１７，Ｐ１８では、第１座標系及び第２座標系の両方の欄にチェックが入れられる。
　ここで、第１座標系は、第２領域４１又は第３領域４２のみに対して設定された特徴点によって設定又は補正できない。そこで、制御部２５は、第２領域４１又は第３領域４２のみに対して設定された特徴点について、第１入力がその特徴点を第１座標系の設定又は補正に用いることを示す場合、警告表示を表示部２３に表示させてよい。端末装置２０がスピーカを備える場合、警告表示の代わりに、制御部２５は、スピーカからブザー音を出力させてもよい。
　また、第２座標系は、第１領域４０又は第３領域４２のみに対して設定された特徴点によって設定又は補正できない。そこで、制御部２５は、第１領域４０又は第３領域４２のみに対して設定された特徴点について、第１入力がその特徴点を第２座標系の設定又は補正に用いることを示す場合、警告表示を表示部２３に表示させてよい。端末装置２０がスピーカを備える場合、警告表示の代わりに、制御部２５は、スピーカからブザー音を出力させてもよい。
　また、第３座標系は、第１領域４０又は第２領域４１のみに対して設定された特徴点によって設定又は補正できない。そこで、制御部２５は、第１領域４０又は第２領域４１のみに対して設定された特徴点について、第１入力がその特徴点を第３座標系の設定又は補正に用いることを示す場合、警告表示を表示部２３に表示させてよい。端末装置２０がスピーカを備える場合、警告表示の代わりに、制御部２５は、スピーカからブザー音を出力させてもよい。
　制御部２５は、特徴点の設定入力として、第２入力を入力部２２によって受け付けてよい。第２入力は、特徴点の実空間における位置に関する情報を示す入力である。本実施形態では、第２入力は、特徴点の実空間における位置情報を示す入力である。ただし、第２入力は、特徴点の位置を実空間において特定可能な任意の情報を示す入力であってよい。他の例として、第２入力は、実空間における観察装置１０から特徴点までの距離の情報であってもよい。
　制御部２５は、各特徴点について第１入力の情報と第２入力の情報とを対応付けて表示部２３に表示させてよい。例えば、図６に示すように、制御部２５は、特徴点Ｐ１１～Ｐ２４のそれぞれについて、第１座標系、第２座標系及び第３座標系の欄と、特徴点の実空間における位置情報とを対応付けて表示部２３に表示させてよい。
　制御部２５は、第１入力及び第２入力を受け付けた複数の特徴点のうちから、キャリブレーションに用いない特徴点の選択を示す第３入力を入力部２２によって受け付けてもよい。図６では、第３入力は、キャリブレーションに用いないと選択した特徴点に対応付けられた第１座標系、第２座標系及び第３座標系の全ての欄のチェックを外すことである。例えば、作業者は、図６に示すような情報を参照し、実空間における位置情報の測定精度が低い特徴点をキャリブレーションに用いないと選択する。また、作業者は、路面２から高い位置にある特徴点をキャリブレーションに用いないと選択する。図６では、作業者は、入力部２２のポインティングデバイス等を操作し、第３入力として、キャリブレーションに用いないと選択した特徴点に対応付けられた第１座標系、第２座標系及び第３座標系の全ての欄のチェックを外す。例えば、作業者は、特徴点Ｐ１２，Ｐ１４をキャリブレーションに用いないと選択した場合、特徴点Ｐ１２，Ｐ１４のそれぞれに対応付けられた第２座標系の欄に入れられたチェックを外す。
　制御部２５は、特徴点の情報の送信指示の入力を入力部２２によって受け付ける。この入力は、特徴点の設定入力が完了した後、作業者によって入力部２２から入力される。制御部２５は、送信指示の入力を受け付けると、キャリブレーションに用いる特徴点の情報を取得する。キャリブレーションに用いる特徴点は、例えば、図６に示すような第１座標系、第２座標系及び第３座標系の欄のうちの少なくとも何れかにチェックが入れられた特徴点である。キャリブレーションに用いる特徴点の情報は、上述したように、特徴点の実空間における位置情報と、特徴点の第１領域４０、第２領域４１又は第３領域４２における位置情報とを含む。
　制御部２５は、キャリブレーションに用いる特徴点の実空間における位置情報を、第２入力の情報によって取得する。
　制御部２５は、キャリブレーションに用いる特徴点の第１領域４０、第２領域４１又は第３領域４２における位置情報を、第１入力の情報と、特徴点の図５に示すような表示部２３の画面における位置情報とによって取得する。
　例えば、第１座標系は、第１領域４０に対して設定された特徴点の第１領域４０における位置情報によって設定又は補正される。第１入力が特徴点を第１座標系の設定又は補正に用いることを示す場合、制御部２５は、当該特徴点の表示部２３の画面における位置情報を第１領域４０内の位置情報に変換することにより、特徴点の第１領域４０における位置情報を取得する。
　例えば、第２座標系は、第２領域４１に対して設定された特徴点の第２領域４１における位置情報によって設定又は補正される。第１入力が特徴点を第２座標系の設定又は補正に用いることを示す場合、制御部２５は、当該特徴点の表示部２３の画面における位置情報を第２領域４１における位置情報に変換することにより、特徴点の第２領域４１における位置情報を取得する。
　例えば、第３座標系は、第３領域４２に対して設定された特徴点の第３領域４２における位置情報によって設定又は補正される。第１入力が特徴点を第３座標系の設定又は補正に用いることを示す場合、制御部２５は、当該特徴点の表示部２３の画面における位置情報を第３領域４２における位置情報に変換することにより、特徴点の第３領域４２における位置情報を取得する。
　制御部２５は、キャリブレーションに用いる特徴点の情報を取得すると、キャリブレーションに用いる特徴点の情報を、観察装置１０に通信部２１によって送信する。
　（観察システムの動作）
　図７は、図１に示す観察システム１の観察方法の流れを示すフローチャートである。ステップＳ１，Ｓ２，Ｓ３の処理は、本実施形態に係る端末装置２０の動作方法の一例に相当する。例えば、端末装置２０が観察装置１０に接続されると、観察システム１は、ステップＳ１の処理を開始する。
　端末装置２０では、制御部２５は、第１領域４０、第２領域４１及び第３領域４２のうちの少なくとも何れかに対する特徴点の設定入力を入力部２２によって受け付ける（ステップＳ１）。制御部２５は、特徴点の情報の送信指示の入力を入力部２２によって受け付ける（ステップＳ２）。制御部２５は、送信指示の入力を受け付けると、キャリブレーションに用いる特徴点の情報を取得し、取得した特徴点の情報を観察装置１０に通信部２１によって送信する（ステップＳ３）。
　観察装置１０では、制御部１５は、端末装置２０から特徴点の情報を通信部１３によって受信する（ステップＳ４）。制御部１５は、特徴点の画像３２における位置情報によって、第１座標系、第２座標系及び第３座標系を設定又は補正する（ステップＳ５）。制御部１５は、特徴点の実空間における位置情報によって仮想面４を形成する（ステップＳ６）。制御部１５は、形成した仮想面４と、設定後又は補正後の第１座標系、第２座標系及び第３座標系とによって、対応データを生成する（ステップＳ７）。制御部１５は、対応データによって第１センサ１１又は第２センサ１２の観察領域の所定地点の実空間における位置に関する情報を取得する（ステップＳ８）。例えば、制御部１５は、画像３２のデータから物体を検出すると、その物体の実空間における位置に関する情報を所定地点の実空間における位置に関する情報として取得する。
　このように観察装置１０では、制御部１５は、図４に示すような第１領域４０と、第２領域４１と、第３領域４２とのうちの、第１領域４０に対して設定される特徴点Ｐ１と、特徴点Ｐ１の実空間における位置情報とに基づいて、キャリブレーションを実行する。さらに、制御部１５は、第１センサ１１又は第２センサ１２の観察領域の所定地点の実空間における位置に関する情報を取得する。例えば、制御部１５は、特徴点Ｐ１の情報によってキャリブレーションを実行し、対応データを生成する。さらに、制御部１５は、対応データによって第１センサ１１又は第２センサ１２の観察領域の所定地点の実空間における位置に関する情報を取得する。
　ここで、比較例として、図８に示すような特徴点Ｐｘ１及び特徴点Ｐｘ２を設定する場合を考える。なお、ここでは座標系を補正する場合を比較例として説明するが、座標系を設定する場合も同じ又は類似の状況が生じることが考えられる。特徴点Ｐｘ１は、第１画像３０に対して設定される。比較例では、特徴点Ｐｘ１の第１画像３０における位置情報によって、第１画像３０の座標系が補正される。特徴点Ｐｘ２は、第２画像３１に対して設定される。比較例では、特徴点Ｐｘ２の第２画像３１における位置情報によって、第２画像３１の座標系が補正される。ここで、特徴点Ｐｘ１は、第２画像３１及び第２センサ１２の観察領域を考慮せずに設定される。また、特徴点Ｐｘ２は、第１画像３０及び第１センサ１１の観察領域を考慮せずに設定される。そのため、比較例では、特徴点Ｐｘ１によって補正される第１画像３０の座標系と、特徴点Ｐｘ２によって補正される第２画像３１の座標系とがずれる場合がある。第１画像３０の座標系と第２画像３１の座標系とがずれると、第１センサ１１の検出結果と第２センサ１２の検出結果とを組み合わせたセンサフュージョンを実行した場合、センサフュージョンによる検出精度が低下する。例えば、第１センサ１１及び第２センサ１２の両方の観察領域に存在する物体について、第１画像３０を用いて測定した観察装置１０から当該物体までの距離と、第２画像３１を用いて測定した観察装置１０から当該物体までの距離とがずれる場合がある。また、第１画像３０の座標系と第２画像３１の座標系とがずれた場合、第１画像３０の座標系と第２画像３１の座標系との間のずれがある程度低減するまで、キャリブレーションを繰り返し実行することが求められる場合がある。
　このような比較例に対し、本実施形態に係る観察装置１０では、特徴点Ｐ１が第１領域４０に対して設定される。特徴点Ｐ１の第１領域４０における位置情報によって、第１領域４０を基準に設定される第１座標系を設定又は補正することができる。第１領域４０は、第１画像３０及び第２画像３１の両方に含まれる。つまり、第１座標系は、第１画像３０の一部領域及び第２画像３１の一部領域のそれぞれに対応する共通の座標系となる。このような第１座標系を用いることにより、比較例のような第１画像３０の座標系と第２画像３１の座標系とがずれるといった事態を回避することができる。このような構成により、本実施形態では、センサフュージョンによる検出精度の低下を抑制することができる。また、本実施形態では、比較例のように第１画像３０の座標系と第２画像３１の座標系との間のずれがある程度低減するまでキャリブレーションを繰り返し実行しなくても済む。よって、本実施形態によれば、改善されたキャリブレーションを実行するための技術を提供することができる。
　さらに、観察装置１０では、制御部１５は、特徴点Ｐ１とは異なる他の特徴点Ｐ２又は特徴点Ｐ３と、他の特徴点Ｐ２又は特徴点Ｐ３の実空間における位置に関する情報とさらに基づいて、所定地点の位置に関する情報を取得してもよい。特徴点Ｐ２によって、第１画像３０に含まれる第１領域４０とは重ならない第２領域４１に対して設定される第２座標系を設定又は補正することができる。このような構成により、第１座標系と第２座標系との間のずれを低減することができる。特徴点Ｐ３によって、第２画像３１に含まれる第１領域４０とは重ならない第３領域４２に対して設定される第３座標系を設定又は補正することができる。このような構成により、第１座標系と第３座標系との間のずれを低減することができる。
　また、複数の特徴点Ｐ１のうちの少なくとも一部は、図４に示すように、第１領域４０と第２領域４１との間の境界に設定されてよい。第１領域４０と第２領域４１との間の境界に設定された特徴点Ｐ１すなわち特徴点Ｐ２によって、第１座標系及び第２座標系のそれぞれを設定又は補正することができる。このような構成により、設定後又は補正後の第１座標系と設定後又は補正後の第２座標系とが第１領域４０と第２領域４１との間の境界において連続するようになる。設定後又は補正後の第１座標系と設定後又は補正後の第２座標系とが連続することにより、第１領域４０と第２領域４１との間の境界において、第１センサ１１の検出結果と第２センサ１２の検出結果とがずれる可能性を低減することができる。例えば、第１領域４０と第２領域４１との間の境界において、第１画像３０を用いて測定した観察装置１０から物体までの距離と、第２画像３１を用いて測定した観察装置１０から当該物体までの距離とがずれる可能性を低減することができる。
　また、複数の特徴点Ｐ１のうちの少なくとも一部は、図４に示すように、第１領域４０と第３領域４２との間の境界に設定されてもよい。第１領域４０と第３領域４２との間の境界に設定された特徴点Ｐ１すなわち特徴点Ｐ３によって、第１座標系及び第３座標系のそれぞれを設定又は補正することができる。このような構成により、設定後又は補正後の第１座標系と設定後又は補正後の第３座標系とが第１領域４０と第３領域４２との間の境界において連続するようになる。設定後又は補正後の第１座標系と設定後又は補正後の第３座標系とが連続することにより、第１領域４０と第３領域４２との間の境界において、第１センサ１１の検出結果と第２センサ１２の検出結果とがずれる可能性を低減することができる。例えば、第１領域４０と第３領域４２との間の境界において、第１画像３０を用いて測定した観察装置１０から物体までの距離と、第２画像３１を用いて測定した観察装置１０から当該物体までの距離とがずれる可能性を低減することができる。
　また、端末装置２０では、制御部２５は、第１領域４０、第２領域４１及び第３領域４２のうちの少なくとも何れかに対する特徴点の設定入力を入力部２２によって受け付ける。このような構成により、作業者が図８に示すような第１画像３０及び第２画像３１のそれぞれに対して特徴点Ｐｘ１，Ｐｘ２の設定入力をする場合よりも、作業者の特徴点の設定入力の負担を低減することができる。例えば、第１画像３０及び第２画像３１の両方に含まれる第１領域４０については、作業者は、第１領域４０対して特徴点の設定入力を１回すれば、第１画像３０及び第２画像３１のそれぞれに対して特徴点の入力設定をしなくて済む。よって、本実施形態によれば、作業者の負担を軽減することができる。
　また、端末装置２０では、制御部２５は、図６に示すように、各特徴点について第１入力の情報と第２入力の情報とを対応付けて表示部２３に表示させてよい。制御部２５は、第１入力及び第２入力を受け付けた複数の特徴点のうちから、キャリブレーションに用いない特徴点の選択を示す第３入力を入力部２２によって受け付けてよい。各特徴点について第１入力の情報と第２入力の情報とを対応付けて表示部２３に表示されることにより、作業者は、キャリブレーションに用いない特徴点を容易に選択することができる。例えば、作業者は、容易に、実空間における位置情報の測定精度が低い特徴点をキャリブレーションに用いないと選択したり、路面２から高い位置にある特徴点をキャリブレーションに用いないと選択したりすることができる。よって、作業者のキャリブレーションの作業効率を上げることができる。また、端末装置２０は、第３入力を受け付けた場合、作業者によって選択された実空間における位置情報の測定精度が高い特徴点等の情報をキャリブレーションに用いる特徴点の情報として観察装置１０に送信することができる。よって、観察装置１０は、キャリブレーションを精度良く実行することができる。
　本開示を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。したがって、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各機能部に含まれる機能等は論理的に矛盾しないように再配置可能である。複数の機能部等は、１つに組み合わせられたり、分割されたりしてよい。上述した本開示に係る各実施形態は、それぞれ説明した各実施形態に忠実に実施することに限定されるものではなく、適宜、各特徴を組み合わせたり、一部を省略したりして実施され得る。つまり、本開示の内容は、当業者であれば本開示に基づき種々の変形及び修正を行うことができる。したがって、これらの変形及び修正は本開示の範囲に含まれる。例えば、各実施形態において、各機能部、各手段、各ステップ等は論理的に矛盾しないように他の実施形態に追加し、若しくは、他の実施形態の各機能部、各手段、各ステップ等と置き換えることが可能である。また、各実施形態において、複数の各機能部、各手段、各ステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。また、上述した本開示の各実施形態は、それぞれ説明した各実施形態に忠実に実施することに限定されるものではなく、適宜、各特徴を組み合わせたり、一部を省略したりして実施することもできる。
　例えば、上述した実施形態では、特徴点の実空間における位置に関する情報は、特徴点の実空間における位置情報であるものとして説明した。ただし、上述したように、特徴点の実空間における位置に関する情報は、実空間における観察装置１０から特徴点までの距離の情報であってもよい。この場合、第２入力は、実空間における観察装置１０から特徴点までの距離の情報であってもよい。端末装置２０では、制御部２５は、入力部２２によって第２入力として受け付けた実空間における観察装置１０から特徴点までの距離の情報を、観察装置１０に通信部２１によって送信してよい。観察装置１０では、制御部１５は、端末装置２０から受信した実空間における観察装置１０から特徴点までの距離の情報によって、仮想面４を形成してよい。
　例えば、上述した実施形態に係る観察装置１０では、制御部１５は、第１センサ１１又は第２センサ１２の観察領域の所定地点の実空間における位置に関する情報として、実空間における観察装置１０から所定地点までの距離の情報を取得するものとして説明した。ただし、制御部１５は、第１センサ１１又は第２センサ１２の観察領域の所定地点の実空間における位置に関する情報として、所定地点の実空間における位置情報を取得してもよい。この場合、制御部１５は、第１座標系、第２座標系及び第３座標系の座標と、その座標の画素に写る物体の実空間における位置情報とを対応付けることにより、対応データを生成してよい。
　例えば、上述した実施形態に係る観察装置１０は、第１センサ１１及び第２センサ１２の２つのセンサを備えるものとして説明した。ただし、観察装置１０は、３つ以上のセンサを備えてよい。観察装置１０が３つ以上のセンサを備える場合、制御部１５は、上述した実施形態と同じ又は類似の処理を実行してもよい。以下、観察装置１０が３つ以上のセンサを備える場合の処理の一例について説明する。以下、観察装置１０が備える複数のセンサのうち、１つのセンサの観察領域の一部が、他の２つ以上の全てのセンサの観察領域の一部と重なる場合は、「第１ケース」と記載される。また、観察装置１０が備える複数のセンサのうち、１つのセンサの観察領域の一部が、他の一部のセンサの観察領域の一部と重なる場合は、「第２ケース」と記載される。第１ケース及び第２ケースにおいて、制御部１５は、観察装置１０が備える複数のセンサの観察領域のうちの重なる部分の領域において、上述した第１座標系と同じ又は類似の座標系を設定してよい。第１ケース及び第２ケースにおいて、制御部１５は、観察装置１０が備える各センサの観察領域のうちの他のセンサと重ならない部分の領域において、それぞれ異なる座標系を設定してよい。第１ケース及び第２ケースにおいて、制御部１５は、上述したように座標系を設定し、上述した実施形態と同じ又は類似にキャリブレーション処理を実行してもよい。また、観察装置１０において、上述した第１ケースと第２ケースが同時に生じる場合、制御部１５は、第１ケース１に対する処理及び第２ケースに対する処理の両方を実行してもよい。
　本開示において「第１」及び「第２」等の記載は、当該構成を区別するための識別子である。本開示における「第１」及び「第２」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第１センサは、第２センサと識別子である「第１」と「第２」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第１」及び「第２」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。
　１　観察システム
　２　路面
　３　構造物
　４　仮想面
　１０　観察装置
　１１　第１センサ
　１２　第２センサ
　１３　通信部
　１４　記憶部
　１５　制御部
　２０　端末装置
　２１　通信部
　２２　入力部
　２３　表示部
　２４　記憶部
　２５　制御部
　３０　第１画像
　３１　第２画像
　３２　画像
　４０　第１領域
　４１　第２領域
　４２　第３領域
　Ｐ１～Ｐ３，Ｐ１１～Ｐ２４　特徴点
　Ｑ１１～Ｑ２４　点
　ｄ１　距離
　ｐ１　座標
　ｐ２　位置

Claims (13)

  1. 　　第１センサ及び第２センサの両方の観察領域に対応する第１領域と、
    　　前記第１センサの観察領域に対応し、前記第１領域と重ならない第２領域と、
    　　前記第２センサの観察領域に対応し、前記第１領域と重ならない第３領域とのうち、
    　前記第１領域に対して設定される特徴点と、前記特徴点の実空間における位置に関する情報とに基づいて、キャリブレーションを実行し、前記第１センサ又は第２センサの観察領域の所定地点の実空間における位置に関する情報を取得する制御部を備える、観察装置。
  2. 　前記特徴点の実空間における位置に関する情報は、前記特徴点の実空間における位置情報であり、
    　前記制御部は、
    　前記特徴点の実空間における位置情報によって仮想面を形成し、
    　前記特徴点の前記第１領域における位置情報によって、前記第１領域を基準とする第１座標系を設定し、
    　前記仮想面と設定後の前記第１座標系とによって、前記所定地点の実空間における位置に関する情報を取得する、請求項１に記載の観察装置。
  3. 　前記第１領域を基準とする第１座標系が設定され、
    　前記特徴点の実空間における位置に関する情報は、前記特徴点の実空間における位置情報であり、
    　前記制御部は、
    　前記特徴点の実空間における位置情報によって仮想面を形成し、
    　前記特徴点の前記第１領域における位置情報によって、前記第１座標系を補正し、
    　前記仮想面と補正後の前記第１座標系とによって、前記所定地点の実空間における位置に関する情報を取得する、請求項１又は２に記載の観察装置。
  4. 　前記制御部は、前記特徴点とは異なる他の特徴点であって、前記第２領域又は前記第３領域に対して設定される他の特徴点と、前記他の特徴点の実空間における位置に関する情報とさらに基づいて、前記所定地点の位置に関する情報を取得する、請求項２又は３に記載の観察装置。
  5. 　複数の前記特徴点のうちの少なくとも一部は、前記第１領域と前記第２領域との間の境界又は前記第１領域と前記第３領域との間の境界に設定される、請求項４に記載の観察装置。
  6. 　前記他の特徴点の実空間における位置に関する情報は、前記他の特徴点の実空間における位置情報であり、
    　前記制御部は、
    　前記特徴点及び前記他の特徴点のそれぞれの実空間における位置情報によって仮想面を形成し、
    　前記他の特徴点の前記第２領域又は前記第３領域における位置情報によって、前記第２領域を基準とする第２座標系、又は、前記第３領域を基準とする第３座標系を設定し、
    　前記仮想面と、設定後の前記第１座標系と、設定後の前記第２座標系又は前記第３座標系とによって、前記所定地点の実空間における位置に関する情報を取得する、請求項４又は５に記載の観察装置。
  7. 　前記第２領域を基準とする第２座標系が設定され、
    　前記第３領域を基準とする第３座標系が設定され、
    　前記他の特徴点の実空間における位置に関する情報は、前記他の特徴点の実空間における位置情報であり、
    　前記制御部は、
    　前記特徴点及び前記他の特徴点のそれぞれの実空間における位置情報によって仮想面を形成し、
    　前記他の特徴点の前記第２領域又は前記第３領域における位置情報によって、前記第２座標系又は前記第３座標系を補正し、
    　前記仮想面と、補正後の前記第１座標系と、補正後の前記第２座標系又は前記第３座標系とによって、前記所定地点の実空間における位置に関する情報を取得する、請求項４又は５に記載の観察装置。
  8. 　前記第１センサは、前記第１センサの観察領域を観察して第１画像を生成し、
    　前記第２センサは、前記第２センサの観察領域を観察して第２画像を生成し、
    　前記第１画像は、前記第１領域及び前記第２領域を含み、
    　前記第２画像は、前記第１領域及び前記第３領域を含む、請求項４から７までの何れか一項に記載の観察装置。
  9. 　前記第１センサ及び前記第２センサのうち、一方が可視光カメラであり、他方がＦＩＲ（Far Infrared Rays）カメラである、請求項１から８までの何れか一項に記載の観察装置。
  10. 　前記第１センサ及び前記第２センサは、それぞれ、可視光カメラ又はＦＩＲカメラである、請求項１から８までの何れか一項に記載の観察装置。
  11. 　前記第１センサ及び前記第２センサのうち、一方が可視光カメラ又はＦＩＲカメラであり、他方がＬｉＤＡＲ（light Detection And Ranging）である、請求項１から８までの何れか一項に記載の観察装置。
  12. 　前記第１センサ及び前記第２センサは、それぞれ、ＬｉＤＡＲである、請求項１から８までの何れか一項に記載の観察装置。
  13. 　　第１センサ及び第２センサの両方の観察領域に対応する第１領域と、
    　　前記第１センサの観察領域に対応し、前記第１領域と重ならない第２領域と、
    　　前記第２センサの観察領域に対応し、前記第１領域と重ならない第３領域とのうち、
    　前記第１領域に対して設定される特徴点と、前記特徴点の実空間における位置に関する情報とに基づいて、キャリブレーションを実行することと、
    　前記第１センサ又は第２センサの観察領域の所定地点の実空間における位置に関する情報を取得することと、を含む、観察方法。
PCT/JP2023/011629 2022-03-29 2023-03-23 観察装置及び観察方法 WO2023190075A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022054582 2022-03-29
JP2022-054582 2022-03-29

Publications (1)

Publication Number Publication Date
WO2023190075A1 true WO2023190075A1 (ja) 2023-10-05

Family

ID=88202123

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/011629 WO2023190075A1 (ja) 2022-03-29 2023-03-23 観察装置及び観察方法

Country Status (1)

Country Link
WO (1) WO2023190075A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004317507A (ja) * 2003-04-04 2004-11-11 Omron Corp 監視装置の軸調整方法
JP2008187564A (ja) * 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
JP2009236569A (ja) * 2008-03-26 2009-10-15 Zynas Corp 接地点推定装置、接地点推定方法、動線表示システムおよびサーバ
WO2019093136A1 (ja) * 2017-11-08 2019-05-16 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2021117087A (ja) * 2020-01-24 2021-08-10 京セラ株式会社 情報処理装置、検出装置、路側機、および較正方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004317507A (ja) * 2003-04-04 2004-11-11 Omron Corp 監視装置の軸調整方法
JP2008187564A (ja) * 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
JP2009236569A (ja) * 2008-03-26 2009-10-15 Zynas Corp 接地点推定装置、接地点推定方法、動線表示システムおよびサーバ
WO2019093136A1 (ja) * 2017-11-08 2019-05-16 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2021117087A (ja) * 2020-01-24 2021-08-10 京セラ株式会社 情報処理装置、検出装置、路側機、および較正方法

Similar Documents

Publication Publication Date Title
US20190028632A1 (en) Camera parameter set calculation apparatus, camera parameter set calculation method, and recording medium
US11017558B2 (en) Camera registration in a multi-camera system
US9967526B2 (en) Image processing device and storage medium
JP5615441B2 (ja) 画像処理装置及び画像処理方法
US11214248B2 (en) In-vehicle monitoring camera device
US8134608B2 (en) Imaging apparatus
JP2018535402A (ja) 異なる分解能を有するセンサーの出力を融合するシステム及び方法
US20150203036A1 (en) Information processing device, information processing method, and non-transitory computer-readable recording medium
JP5003395B2 (ja) 車両周辺画像処理装置及び車両周辺状況提示方法
JP2009085651A (ja) 画像処理システム
US8482482B2 (en) Display system and method
JP6277933B2 (ja) 表示制御装置、表示システム
US20160169662A1 (en) Location-based facility management system using mobile device
US11953602B2 (en) Detecting three-dimensional structure models at runtime in vehicles
AU2018410435B2 (en) Port area monitoring method and system, and central control system
KR20210038462A (ko) 전용 차도 주행 알림 방법, 장치, 기기 및 저장매체
CN112967344A (zh) 相机外参标定的方法、设备、存储介质及程序产品
KR20150041334A (ko) Avm 시스템의 이미지 처리 방법
KR20170007146A (ko) 반도체 장치, 제어 시스템 및 관측 방법
CN110942023A (zh) 车辆视觉盲区的指示方法、装置、设备及存储介质
WO2023190075A1 (ja) 観察装置及び観察方法
JP2013108830A (ja) 天候情報処理システム、天候情報処理サーバ、情報処理装置
WO2023190076A1 (ja) 端末装置及び端末装置の動作方法
US20220172490A1 (en) Image processing apparatus, vehicle control apparatus, method, and program
US20190050959A1 (en) Machine surround view system and method for generating 3-dimensional composite surround view using same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23780085

Country of ref document: EP

Kind code of ref document: A1