WO2024004770A1 - センシングシステム及びセンシング方法 - Google Patents

センシングシステム及びセンシング方法 Download PDF

Info

Publication number
WO2024004770A1
WO2024004770A1 PCT/JP2023/022835 JP2023022835W WO2024004770A1 WO 2024004770 A1 WO2024004770 A1 WO 2024004770A1 JP 2023022835 W JP2023022835 W JP 2023022835W WO 2024004770 A1 WO2024004770 A1 WO 2024004770A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor
visible light
information
unit
sensing system
Prior art date
Application number
PCT/JP2023/022835
Other languages
English (en)
French (fr)
Inventor
悠 中山
Original Assignee
国立大学法人東京農工大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人東京農工大学 filed Critical 国立大学法人東京農工大学
Publication of WO2024004770A1 publication Critical patent/WO2024004770A1/ja

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C15/00—Arrangements characterised by the use of multiplexing for the transmission of a plurality of signals over a common path
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C23/00—Non-electrical signal transmission systems, e.g. optical systems
    • G08C23/04—Non-electrical signal transmission systems, e.g. optical systems using light waves, e.g. infrared
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114—Indoor or close-range type systems
    • H04B10/116—Visible light communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom

Definitions

  • the disclosed technology relates to a sensing system and a sensing method.
  • optical space communications are highly flexible because they use space rather than optical fibers as the transmission medium for optical signals.
  • This is also an alternative technology to wireless communication that uses radio waves, and is expected to be used in IoT and other applications as frequency resources are becoming increasingly scarce.
  • visible light communication using LEDs has been actively studied in recent years. The use of visible light such as LEDs has the advantage of reducing costs and allowing flexible operation, such as combined use with lighting applications such as ceiling lighting.
  • OCC optical camera communication
  • Optical camera communication is one method of optical space communication using visible light.
  • OCC is visible light communication that uses a light source such as an LED or a display as a transmitter and a camera as a receiver.
  • the most common application is to use a three-color LED as a transmitter to modulate and transmit data into an optical signal.
  • pixels occupied by the light source are extracted from a moving image photographed by a camera, and a signal is demodulated from the RGB values of the relevant area.
  • OCC optical coherence control
  • Non-Patent Document 1 As a technology related to OCC, there is a method called Blooming effect that avoids interference due to light diffusion (Non-Patent Document 1).
  • a CMOS image sensor is used to receive an optical signal, and the signal is demodulated using RGB values for each pixel in an area corresponding to a light source within an image.
  • RGB values for each pixel in an area corresponding to a light source within an image.
  • interference will occur due to the overlap of the lights or the blocking of the light sources themselves.
  • interference may occur due to a light diffusion phenomenon called Blooming effect.
  • Non-Patent Document 1 takes into account camera parameters such as the number of pixels, CMOS image sensor size, and angle of view, in addition to the coordinates and approximate size of the camera and object, and performs mathematical calculations such as perspective transformation.
  • the interference conditions on the image are formulated theoretically using a method based on the following.
  • CSK Color Shift Keying
  • Non-Patent Document 2 a method for improving the communication rate of OCC
  • CSK which takes advantage of the characteristics of three-color LEDs, is attracting attention from the perspective of improving throughput.
  • CSK is a modulation method that expresses a plurality of colors, such as 8 colors or 16 colors, by changing the emission intensity of three-color LEDs of RGB, and makes each color correspond to a bit string.
  • the color space defined by CIE1931 is used to represent colors used in CSK.
  • CIE 1931 is a quantitative color space defined for the first time by the International Commission on Illumination between the distribution of wavelengths in the electromagnetic visible spectrum and the perceived colors of human color vision.
  • the triangle of the constellation differs depending on the camera, and colors outside the triangle are corrected to the inside of the triangle.
  • CSK by providing symbols with the maximum distance within this triangle, communication is performed while preventing interference between symbols.
  • OCC the area occupied by the light source in the entire image is identified and the signal is demodulated from the RGB values within that area.
  • the external environment e.g. outdoors
  • Non-Patent Document 2 proposes an adaptive CSK that prepares extra color symbols and changes the color used for communication depending on the environment.
  • Yukito Onodera Hiroki Takano, Daisuke Hisano, Yu Nakayama, "Avoiding Inter Light Sources Interference in Optical Camera Communication", IEEE Global Telecommunications Conference (GLOBECOM), Madrid, Spain, Dec. 2021. Yukito Onodera, Hiroki Takano, Daisuke Hisano, Yu Nakayama, "Adaptive N+1 Color Shift Keying for Optical Camera Communication", IEEE 94th Vehicular Technology Conference (VTC Fall), Virtual, Sep. 2021.
  • the transmission distance and transmission rate are limited by the light source size, modulation method, camera resolution, etc.
  • the disclosed technology aims to provide a sensing system and a sensing method that can collect sensor information from multiple sensor nodes using visible light communication.
  • a first aspect of the present disclosure is a sensing system that includes a mobile body equipped with a camera, a plurality of sensor nodes installed at different installation locations within a sensing range, and an information processing device.
  • Each of the sensor nodes includes a sensor section that detects sensor information at a location where the sensor node is installed, an irradiation section that irradiates visible light, and an irradiation section that irradiates visible light according to the sensor information.
  • the mobile body sequentially moves to each of the sensor nodes, photographs the visible light irradiated by the irradiation unit of each of the sensor nodes with the camera, and records the sensor information.
  • the information processing device performs visible light communication to acquire the sensor information of the sensor node based on the transmission rate of the visible light communication and the maximum data size of the sensor information for each of the plurality of sensor nodes.
  • a maximum transmission time required for visible light communication of information is determined, and the mobile body outputs a driving command so that each of the plurality of sensor nodes photographs the visible light using the camera for a period longer than the maximum transmission time.
  • a second aspect of the present disclosure is a sensing method, which is a sensing method in a sensing system including a moving body equipped with a camera, a plurality of sensor nodes provided at different installation locations within a sensing range, and an information processing device.
  • each sensor section of the sensor node detects sensor information of an installation location of the sensor node, and the control section irradiates visible light so as to irradiate visible light according to the sensor information.
  • the mobile body sequentially moves to each of the sensor nodes, photographs the visible light emitted by the irradiation unit of each of the sensor nodes with the camera, and acquires the sensor information.
  • the information processing device transmits the sensor information of the sensor node based on the transmission rate of the visible light communication and the maximum data size of the sensor information for each of the plurality of sensor nodes.
  • a maximum transmission time required for visible light communication is determined, and the mobile body outputs a driving command so that the camera captures the visible light at each of the plurality of sensor nodes for a period longer than the maximum transmission time.
  • sensor information can be collected from multiple sensor nodes using visible light communication.
  • FIG. 1 is a schematic diagram showing the configuration of a sensing system according to this embodiment.
  • FIG. 2 is a block diagram showing the configuration of a control unit of a sensor node according to the present embodiment.
  • FIG. 2 is a side view showing the configuration of a flying object of the sensing system according to the present embodiment.
  • FIG. 2 is a block diagram showing the configuration of a flight control device for an aircraft.
  • FIG. 2 is a block diagram showing the configuration of a control section of a flight control device for an aircraft.
  • FIG. 1 is a block diagram showing the configuration of an information processing device of a sensing system according to the present embodiment.
  • FIG. 3 is a diagram showing an example of a moving route of a flying object.
  • FIG. 3 is a diagram illustrating a method for extracting an irradiation part from a moving image photographed by a photographing part.
  • FIG. 2 is a diagram for explaining a coordinate system used in this embodiment.
  • FIG. 3 is a diagram for explaining a virtual sensor node.
  • 3 is a flowchart showing a route determination processing routine by the information processing apparatus according to the present embodiment.
  • 3 is a flowchart showing a sensing processing routine by a control unit of a sensor node according to the present embodiment. It is a flowchart which shows the flow of communication processing by the control part of the sensor node concerning this embodiment.
  • 2 is a flowchart showing a flight control processing routine by the flight control device for an aircraft according to the present embodiment. It is a schematic diagram showing the composition of the sensing system concerning a modification.
  • a sensing system 10 includes an information processing device 18, an aircraft 20 flying within a sensing range, and a plurality of sensors provided at different locations within the sensing range.
  • the node 40 is also provided.
  • the sensing range is, for example, a farm.
  • the flying object 20 and the information processing device 18 are connected via wireless communication.
  • the sensor node 40 includes an irradiation section 42, a control section 44, and a sensor section 46.
  • the sensor unit 46 uses some kind of sensor to detect sensor information about a desired target at the location where the sensor node is installed. For example, temperature, humidity, illuminance, or soil moisture is detected as sensor information. Note that the type of sensor information is not limited to this, and any type of sensor information may be used, such as atmospheric pressure measured by a barometer, temperature distribution measured by an infrared sensor, etc. Further, a plurality of sensor sections 46 may be provided.
  • FIG. 1A shows an example in which each sensor node 40 includes two sensor sections 46A and 46B, two control sections 44A and 44B, and two irradiation sections 42A and 42B.
  • the irradiation unit 42 irradiates visible light using a panel with a plurality of LEDs lined up, a display, etc. in addition to general three-color LEDs.
  • the control unit 44 controls the irradiation unit 42 to emit light to transmit an optical signal.
  • a modulation method in addition to a method called on-off keying, which expresses 1 and 0 by turning on and off light emission, a method such as color shift keying, which expresses a bit string by the color of emitted light, can be used.
  • a method called spatial modulation using multiple light sources may be used. In this way, the control unit 44 plays the role of converting the sensor information acquired by the sensor unit 46 into an optical signal using a specified modulation method.
  • the light source used in the irradiation unit 42 includes an LED light, an LED panel, a display, etc.
  • Sensor information detected by the sensor section 46 is encoded and modulated as an optical signal, and transmitted from the light source.
  • a plurality of sensor nodes 40 are installed within the sensing range.
  • the position of the sensor node 40 may be arbitrarily determined depending on the object to be sensed. However, it is assumed that the position of the sensor node 40 is known.
  • the position of the sensor node 40 may be measured in advance using GPS or the like.
  • the sensor nodes 40 each transmit sensor information acquired using the sensor section 46 as an optical signal using the irradiation section 42 . Regarding the transmission time of the sensor information, the light may be emitted at all times or may be emitted at a predetermined time.
  • the control unit 44 includes a sensor information acquisition unit 70, an approach detection unit 72, a sensor node number transmission control unit 74, and a sensor information transmission control unit 76.
  • the sensor information acquisition unit 70 acquires sensor information detected by the sensor unit 46.
  • the approach detection unit 72 detects the approach of the flying object 20.
  • the sensor unit 46 includes an infrared sensor, and detects the approach of the aircraft 20 by detecting infrared rays from the aircraft 20.
  • the flying object 20 may further include a light irradiation section, and the sensor section 46 may detect the approach of the flying object 20 by receiving light from the light irradiation section of the flying object 20.
  • the sensor node number transmission control section 74 causes the irradiation section 42 to start emitting light when the approach of the flying object 20 is detected, and at this time, causes the irradiation section 42 to transmit an identification number for identifying the sensor node 40. Control light emission.
  • the sensor information transmission control unit 76 controls the sensor information acquired using each sensor unit 46 to be transmitted as an optical signal using the irradiation unit 42.
  • the flying object 20 includes a flight main body 21, an arm 22, and four rotary wings 23.
  • the flight main body section 21 is provided at the center of the flying object 20 in plan view, and the flight main body section 21 is equipped with a communication antenna, a battery, a photographing section 26, etc. (not shown).
  • Each arm 22 protrude radially outward from the flight main body 21 in plan view.
  • a rotary blade 23 is attached to the tip of each arm 22.
  • the arm 22 is hollow, and houses a motor for operating the rotary blade 23, control wiring, power wiring, and the like.
  • a photographing section 26 is mounted on the lower surface side of the flight main body section 21.
  • the photographing unit 26 is installed so as to be able to capture images of the sensor node 40.
  • the photographing unit 26 includes parameters such as the number of pixels, angle of view, frame rate, and exposure amount.
  • the flight main body section 21 is equipped with a flight control device 30 shown in FIG. 3A.
  • the flight control device 30 includes a CPU, ROM, RAM, a port for inputting and outputting signals transmitted and received by a communication antenna, and stores various processing programs and data for controlling the flight object 20. has been done.
  • the flight control device 30 recognizes the position of the aircraft and controls the rotary wing 23 to automatically fly along a designated travel route.
  • the flight control device 30 is functionally configured as shown below.
  • the flight control device 30 includes a communication section 32, an autonomous attitude control section 34, a position measurement section 36, a control section 38, and a sensor information storage section 39.
  • the communication unit 32 transmits and receives signals to and from the information processing device 18 by wireless communication.
  • the autonomous attitude control unit 34 controls the four rotary wings 23 to perform hovering.
  • the position measurement unit 36 measures the current position of the aircraft 20 using a GPS sensor (not shown) provided on the aircraft 20.
  • the control unit 38 includes a movement control unit 80, an imaging control unit 82, a sensor node detection unit 84, and a sensor information acquisition unit 86, as shown in FIG. 3B.
  • the movement control unit 80 controls the autonomous attitude control unit 34 to sequentially move to each of the sensor nodes 40 along the movement route and automatically fly based on the current position measured by the position measurement unit 36.
  • the photographing control unit 82 controls the photographing unit 26 to photograph each of the circulating sensor nodes 40.
  • the control unit 38 performs the following control when the flying object 20 moves to a position corresponding to the installation location of the sensor node 40.
  • the control unit 38 directs the imaging direction of the imaging unit 26 toward the sensor node 40 based on the position of the sensor node 40 and the current position of the aircraft 20, and causes the irradiation unit 42 of each sensor node 40 to irradiate the sensor node 40.
  • the photographing unit 26 photographs the visible light for a predetermined period of time.
  • control may be performed to change the orientation of the imaging unit 26 such that the imaging direction of the imaging unit 26 is directed toward the sensor node 40, or the orientation of the flying object 20 may be controlled to be changed. It's okay.
  • the sensor node detection unit 84 detects a region representing visible light irradiated by each irradiation unit 42 of the sensor node 40 from the image photographed by the imaging unit 26.
  • the sensor information acquisition section 86 demodulates the sensor information from the region representing visible light of the image photographed by the photographing section 26 and stores it in the sensor information storage section 39 .
  • the information processing device 18 is composed of a computer including a CPU, ROM, RAM, and HDD.
  • the information processing device 18 is functionally configured as shown below. As shown in FIG. 4, the information processing device 18 includes a communication section 50, an acquisition section 52, a route determination section 54, a flight control section 56, a collection section 58, and a sensor information storage section 60.
  • the communication unit 50 receives sensor information from the flying object 20 via wireless communication.
  • the acquisition unit 52 acquires the transmission rate of visible light communication and the maximum data size of the sensor information input by the user.
  • the route determining unit 54 determines a moving route and moving speed for sequentially moving to each sensor node 40. At this time, the route determination unit 54 determines the maximum transmission time required for visible light communication of sensor information based on the transmission rate of visible light communication and the maximum data size of sensor information. The route determining unit 54 determines a moving route and a moving speed of the flying object 20 so that the photographing unit 26 photographs visible light at the sensor node 40 for a period longer than the maximum transmission time.
  • the route determination unit 54 determines the transmission rate for visible light communication of the sensor information based on the transmission rate of visible light communication and the maximum data size of the sensor information of the sensor node 40. Find the maximum transmission time.
  • the route determining unit 54 determines a moving route and a moving speed of the flying object 20 so that the photographing unit 26 photographs visible light at each of the plurality of sensor nodes 40 for a period longer than the maximum transmission time for the sensor node 30. . More specifically, the moving route and movement of the flying object 20 are determined so that each of the plurality of sensor nodes 40 stays at a position where visible light can be photographed by the photographing unit 26 for a period longer than the maximum transmission time for the sensor node 30. Determine speed. As a result, the flying object 20 hovers at each of the plurality of sensor nodes 40 so as to stay at a position and attitude that allows the imaging unit 26 to capture visible light for longer than the maximum transmission time for the sensor node 30 .
  • the flying object 20 can hover.
  • the flying object 20 when the flying object 20 is hovering and receiving sensor information by photographing the visible light emitted by the irradiation section 42 of the sensor node 40 by the photographing section 26, when a bird or the like crosses or If it is detected that part of the visible light communication within the transmission time has been lost due to the sensor node 40 being temporarily removed from the imaging range of the imaging unit 26 due to a gust of wind, etc., the imaging unit 26 will again detect the sensor node 40. Hovering can be continued so that the visible light emitted by the irradiation unit 42 of the node 40 is photographed and sensor information without omission is received.
  • the collection unit 58 collects the sensor information of each sensor node 40 received from the aircraft 20 by wireless communication, and stores it in the sensor information storage unit 60.
  • the flight control unit 56 transmits a driving command to the flying object 20 via the communication unit 50 instructing it to move at the determined moving route and moving speed.
  • the flying object 20 moves while photographing a moving image using the photographing unit 26 according to the travel route and travel speed of the driving command (see FIG. 5).
  • the flying object 20 uses the imaging unit 26 to emit visible light for longer than the maximum transmission time for the sensor node 30. It can hover so that it stays in a position and posture that allows it to take pictures.
  • the photographing unit 26 receives sensor information by photographing the optical signal emitted by the irradiation unit 42 of the sensor node 40 and demodulating the optical signal from the photographed moving image. Note that demodulation of the captured moving image may be performed by the flying object 20 or by the information processing device 18.
  • the x-axis and y-axis are determined as the image coordinate system on the moving image photographed by the photographing unit 26 (see FIG. 6).
  • the x and y ranges are determined by the resolution.
  • the pixels occupied by the irradiation unit 42 on the image are expressed as image coordinates, which can be easily converted from real-world coordinates using parameters such as the angle of view of the imaging unit 26.
  • Any method may be used to extract the pixel area; for example, image coordinates may be calculated and extracted from the real world coordinates and orientation of the imaging unit 26 of the aircraft 20 and the coordinates of the sensor node 40, or deep learning may be used. Dynamic extraction may be performed by mechanically detecting a specific form using a method such as .
  • the RGB values within the region are totaled.
  • the distribution of values for each pixel may be used.
  • the signal is demodulated based on the aggregated values. At this time, the demodulation method depends on the modulation method.
  • the moving speeds v x and v y of the irradiation unit 42 in the image coordinate system are defined. These values can be calculated from the coordinates, moving direction, and speed of the flying object 20 in the real world, the resolution and angle of the imaging unit 26, and the coordinates of the sensor node 40.
  • the existence time of the irradiation part 42 in the image that is, the time from when the irradiation part 42 appears in the image until it disappears due to the movement of the aircraft 20, is determined by the appearance position of the irradiation part 42 and the image coordinates of the irradiation part 42. It can be calculated from the moving speeds v x and v y in the system. Then, the maximum transmission data amount is determined from the transmission bit rate from the irradiation section 42 determined by the modulation method and the existence time of the irradiation section 42.
  • the actual amount of data to be transmitted is determined by the type of data to be sensed and the requirements of the system, so by determining the route and speed of movement of the aircraft 20 so that the actual amount of data to be transmitted does not exceed the maximum amount of data to be transmitted. , constitute a sensing system.
  • a route determination algorithm for the aircraft 20 is used to efficiently collect sensor information.
  • a moving route and moving speed are calculated based on the position and size of the irradiation unit 42 and the specifications of the imaging unit 26.
  • the route determination algorithm will be explained in detail below.
  • FIG. 7 shows a coordinate system used in this embodiment.
  • the global coordinate system as (x, y, z).
  • the camera coordinate system is defined as (X, Y, Z).
  • the Y axis corresponds to the center line of the image. Note that the origin is set at (x c (t), y c (t), z c (t)) of the photographing unit 26.
  • the elevation angle of the imaging unit 26 is defined as ⁇ .
  • Table 1 summarizes variables used in this embodiment.
  • I is a set of sensor nodes 40, and i and j are identifiers of sensor nodes 40.
  • the position of the i-th sensor node 40 in the global coordinate system is defined as (x i , y i , z i ).
  • the sensor node 40 is approximated by a sphere with radius r i .
  • Let (u i , v i ) represent the coordinates of the center of the i-th sensor node 40 on the image plane.
  • the horizontal resolution of the image be l h and the vertical resolution be l v .
  • the horizontal angle of view and vertical angle of view of the camera are expressed as ⁇ h and ⁇ v .
  • the focal length of the photographing unit 26 is expressed as f.
  • the image sensor size is defined as image ⁇ .
  • the position of the sensor node 40 on the image plane is calculated by coordinate transformation. Since the moving aircraft 20 is assumed, the relative position between (x i , y i , z i ) and the origin (x c (t), y c (t), z c (t)) is calculated. Ru. The position of the i-th sensor node 40 in the camera coordinate system is determined using parallel movement and rotation by the elevation angle. (1) It is formulated as follows.
  • the position of the i-th sensor node 40 on the image plane is (2) It is calculated by perspective transformation as follows.
  • the perspective transformation is depicted as shown in FIG.
  • p i is the radius of the projection circle (3) It is calculated as follows.
  • conditional expression that the i-th sensor node 40 is included in the photographable range by the photographing unit 26 of the flying object 20 is as follows: (4) It is formulated as follows.
  • transmission time the transmission time of sensor information from the sensor node 40 is formulated.
  • the transmission rate of OCC is determined by the number of modulations and the symbol rate.
  • Optical spatial modulation and color shift keying (CSK) are employed to increase data transfer rates.
  • CSK color shift keying
  • a plurality of irradiation units 42 are used.
  • CSK utilizes an LED tricolor luminaire design.
  • a predefined constellation symbol is generated by modulating the light intensity of the optical signal (see Non-Patent Document 2).
  • the range of symbol rates is limited by the frame rate and image processing speed of the imaging unit 26.
  • R i is the data rate (transmission rate)
  • S i is the optical spatial multiplicity
  • D is the symbol rate
  • N i is the number of constellation symbols.
  • the maximum transmission time T i is defined as the maximum data size as M i . (6) It is calculated as follows.
  • the photographing unit 26 of the aircraft 20 needs to photograph each sensor node 40 for a sufficient period of time in order to receive sensor information.
  • ⁇ i be the length of time that satisfies equation (4).
  • ⁇ i is (7) need to be met.
  • the route determination algorithm of this embodiment includes the following steps a to c.
  • Step a Clustering of sensor nodes
  • the sensor nodes 40 are clustered based on the installation locations of the sensor nodes 40, the sensor nodes 40 included in each cluster obtained by the clustering are grouped, and a virtual sensor node 140 representing each cluster is created. (see Figure 8). Adjacent sensor nodes 40 are grouped so as to satisfy the conditions included in the photographable range of equation (4) above.
  • Step c Determination of travel route and travel speed
  • the travel route is calculated by solving the traveling salesman problem (TSP) using graph G. Furthermore, the moving speed is determined so that the imaging time of each virtual sensor node 140 satisfies the above equation (6).
  • the user inputs the installation location of each sensor node 40, the transmission rate of visible light communication, and the maximum data size of sensor information to the information processing device 18 as information regarding each sensor node 40.
  • the information processing device 18 then executes the route determination processing routine shown in FIG.
  • step S100 the acquisition unit 52 acquires the transmission rate of visible light communication and the maximum data size of sensor information input by the user.
  • step S102 the route determining unit 54 determines the maximum transmission time required for visible light communication of sensor information for each sensor node 40 based on the transmission rate of visible light communication and the maximum data size of sensor information.
  • step S104 the route determining unit 54 determines the moving route and moving speed based on the installation location of each sensor node 40 and the maximum transmission time at each sensor node 40. Specifically, the route determining unit 54 determines the movement of the flying object 20 so that the photographing unit 26 photographs visible light at each sensor node 40 for longer than the maximum transmission time, and the aircraft 20 sequentially moves to each sensor node 40 . Determine route and travel speed.
  • step S106 the flight control unit 56 transmits to the flying object 20 via the communication unit 50 a driving command instructing it to move at the determined moving route and moving speed.
  • the flying object 20 moves while photographing a moving image using the photographing unit 26 according to the moving route and moving speed of the driving command.
  • the sensing processing routine shown in FIG. 10 is executed by the control unit 44.
  • step S110 the control unit 44 acquires sensor information about the installation location of the sensor node 40 detected by the sensor unit 46.
  • step S112 the control unit 44 converts the acquired sensor information into an optical signal using the specified modulation method.
  • step S114 the control unit 44 controls the irradiation unit 42 to emit light to transmit an optical signal.
  • step S114 is realized by the processing routine shown in FIG.
  • step S120 the approach detection unit 72 determines whether the approach of the flying object 20 is detected using a sensor such as an infrared sensor. If the approach of the flying object 20 is detected, the process advances to step S122.
  • step S122 the sensor node number transmission control unit 74 starts the irradiation unit 42 to emit light and controls the light emission by the irradiation unit 42 so as to transmit an identification number that identifies the sensor node 40.
  • step S124 the sensor information transmission control unit 76 controls the sensor information acquired using each sensor unit 46 to be transmitted as an optical signal using the irradiation unit 42.
  • step S126 the sensor information transmission control unit 76 controls light emission by the irradiation unit 42 so as to notify the end of the sensor information.
  • step S1208 the approach detection unit 72 uses a sensor such as an infrared sensor to determine whether the flying object 20 has moved away. If it is determined that the aircraft 20 is not far away, the process returns to step S122. On the other hand, if it is determined that the flying object 20 has left, the processing routine ends.
  • a sensor such as an infrared sensor
  • control unit 38 of the flying object 20 executes a movement control processing routine shown in FIG. 12.
  • step S130 the movement control unit 80 obtains the movement route included in the driving command received from the information processing device 18.
  • step S132 the movement control unit 80 moves along the movement route to a position where visible light communication is possible with the next sensor node 40 based on the current position measured by the position measurement unit 36, and automatically flies. Controls the autonomous attitude control unit 34.
  • step S134 the control unit 38 directs the photographing direction of the photographing unit 26 toward the sensor node 40 based on the position of the sensor node 40 and the current position of the aircraft 20, and directs the photographing direction of the photographing unit 26 to the irradiation unit 42 of the sensor node 40.
  • the photographing section 26 starts photographing the visible light irradiated by.
  • step S136 the sensor node detection unit 84 detects an area representing visible light emitted by the irradiation unit 42 of the sensor node 40 from the image captured by the image capture unit 26, and The sensor node number is demodulated and obtained from the region representing visible light.
  • step S138 the sensor information acquisition unit 86 and the sensor node detection unit 84 detect an area representing visible light irradiated by the irradiation unit 42 of the sensor node 40 from the video imaged by the imaging unit 26.
  • the sensor information acquisition section 86 demodulates the sensor information from the region representing visible light of the image photographed by the photographing section 26 and stores it in the sensor information storage section 39 .
  • step S140 the control unit 38 determines whether or not the processes of steps S132 to S138 have been completed for all sensor nodes 40. If there is a sensor node 40 that has not undergone the processes of steps S132 to S138 above, the process returns to step S132 and moves to a position where visible light communication can be performed with the sensor node 40. On the other hand, if the processing of steps S132 to S138 is completed for all sensor nodes 40, the process moves to step S142.
  • step S142 the movement control unit 80 controls the autonomous attitude control unit 34 to move along the movement route to the end point of the movement route and automatically fly based on the current position measured by the position measurement unit 36. do.
  • the communication unit 32 of the aircraft 20 transmits the sensor information stored in the sensor information storage unit 39 to the information processing device 18 by wireless communication.
  • the collection unit 58 of the information processing device 18 collects the sensor information of each sensor node 40 received from the aircraft 20 by wireless communication, and stores it in the sensor information storage unit 60.
  • each of the sensor nodes detects sensor information of the installation location of the sensor node, and irradiates visible light according to the sensor information. control the department.
  • the flying object sequentially moves to each of the sensor nodes, photographs the visible light emitted by the irradiation unit of each sensor node with a camera, and performs visible light communication to acquire sensor information.
  • sensor information can be collected from multiple sensor nodes.
  • a camera mounted on the aircraft is used to efficiently receive optical signals transmitted from a large number of scattered irradiation units. That is, based on the known arrangement of the irradiation parts, the moving route and speed of the aircraft are controlled according to parameters such as the irradiation part size, modulation method, data size, and camera resolution. This makes it possible to configure a sensing system that collects sensor information through optical camera communication with the flying object. Since visible light communication does not use radio waves, it is possible to deploy a sensing system using a large number of sensors even in radio wave blind areas.
  • a large number of sensor nodes 40 can be accommodated without interference in the time domain and frequency domain due to OCC. Additionally, since it does not use radio waves at all, it can be deployed in areas with quiet radio waves or where infrastructure is underdeveloped.
  • near-real-time environmental sensing will be performed by installing numerous sensor units on the farm and collecting sensor information.
  • sensor nodes By directly communicating between sensor nodes and aircraft using visible light communication, it is possible to construct a wide sensor network even in areas where there are no LTE/5G or LPWA base stations nearby.
  • sensing can be performed at the same time as photographing crops using the photographing unit of the flying vehicle, it is possible to also sense the condition of leaves, pests and diseases, growth conditions, etc.
  • the sensor node transmits a beacon
  • the aircraft receives the beacon to confirm the sensor node's position
  • the sensor information communicated with visible light may be emitted all the time or may be emitted in a manner that matches the time period in which the flying object passes.
  • the visible light communication may include a signal that identifies the start and end of communication of sensor information
  • the beacon may include identification information of the sensor node.
  • the aircraft may estimate its position using a self-position estimation method based on the position determined in advance for the sensor node and the positional relationship of the sensor node on the image taken by the imaging unit. .
  • the position coordinates of the aircraft are determined using a relational expression for coordinate transformation between real world coordinates and image coordinates.
  • each irradiation unit may be able to be identified from the aircraft side by transmitting information such as a sensor node number assigned in advance together with the sensor information.
  • the current position of the aircraft measured using the GPS sensor may be corrected using the position of the aircraft estimated by the self-position estimation method.
  • each irradiation unit may further transmit position information of the sensor node given in advance together with the sensor information. Further, the flying object may estimate the relative position of the next sensor node from the current sensor node position and the next sensor node position, and move to the next sensor node.
  • the sensing range may be a radio wave dead zone other than a farm.
  • Typical examples of radio wave dead zones include underground spaces such as tunnels and caves, and underwater environments where radio wave attenuation is large.
  • a submersible object 220 such as an underwater drone may be used as the moving object.
  • the submersible object 220 includes a photographing section 26 similarly to the flying object 20.
  • sensing can be performed in environments where it has been difficult to collect sensor information in the past.
  • GNSS does not function sufficiently, making it difficult to use a GPS sensor. Therefore, the submersible uses a self-position estimation method to estimate the position of the submersible based on the position determined in advance for the sensor node and the positional relationship of the sensor node on the image taken by the imaging unit. do. This enables wide-ranging sensing even underwater, where radio wave attenuation is large and wireless communication is difficult, and can be applied to environmental conservation, resource exploration, aquaculture, maintenance of port facilities, etc.
  • data transmission may not be completed within the time calculated based on the transmission rate and transmission distance input by the user in advance. In that case, you can continue shooting until you detect that data transmission has ended, or you can move closer to the light source. Furthermore, the stored transmission rate may be modified. As means for detecting the end of data transmission, the light source may not emit light for a certain period of time, or a signal indicating the end of data transmission may be emitted.
  • the transmission rate and transmission distance may be corrected by detecting turbidity in the water from the image photographed by the photographing unit 26.
  • the turbidity of the water can be determined by measuring the brightness of the light source and comparing it with the brightness of the light source expected from the input transmission rate and transmission distance. If the brightness is below a predetermined brightness, the transmission rate and transmission distance may be modified.
  • the sensing range may be indoors.
  • a self-propelled moving body as the moving body.
  • a self-propelled mobile object uses the predetermined position of the sensor node and the positional relationship of the sensor node on the image taken by the imaging unit.
  • the position of a self-propelled mobile object is estimated using a self-position estimation method. Note that in order to identify the position of the sensor node in a short time, a beacon may be transmitted from the sensor node side, as described above.
  • the photographing unit starts photographing when the flying object moves to a position corresponding to the installation location of the sensor node
  • the present invention is not limited to this.
  • the imaging unit may continue to take pictures while the flying object is moving.
  • a sensing system comprising: Each of the sensor nodes includes a sensor unit that detects sensor information at a location where the sensor node is installed, an irradiation unit that irradiates visible light, and controls the irradiation unit to irradiate visible light according to the sensor information.
  • the mobile object sequentially moves to each of the sensor nodes, photographs the visible light emitted by the irradiation unit of each of the sensor nodes with the camera, and performs visible light communication to acquire the sensor information
  • the information processing device includes: Based on the transmission rate of the visible light communication and the maximum data size of the sensor information, determine the maximum transmission time required for visible light communication of the sensor information, The sensing system wherein the mobile body outputs a driving command so that the camera captures the visible light for the maximum transmission time or more at the sensor node.
  • the sensing system according to appendix 4 wherein the sensor node is identified based on the visible light signal photographed by the moving body using the camera.
  • the control unit controls the irradiation unit to continuously irradiate the identification information with visible light according to the sensor information.
  • the information processing device determines, for each of the plurality of sensor nodes, a maximum transmission rate for visible light communication of the sensor information based on a transmission rate of the visible light communication and a maximum data size of the sensor information of the sensor node.
  • the sensing system according to any one of Supplementary Notes 1 to 6, wherein the mobile body outputs a driving command for each of the plurality of sensor nodes to photograph the visible light with the camera for the maximum transmission time or more.
  • the information processing device further includes: Clustering the plurality of sensor nodes based on the installation location of the sensor nodes, The sensing system according to supplementary note 7, wherein the moving route of the moving object is determined based on a graph consisting of virtual sensor nodes representing each cluster obtained by the clustering and edges connecting the virtual sensor nodes.
  • the sensing range is a farm, The sensing system according to any one of appendices 1 to 9, wherein the sensor information includes temperature, humidity, illuminance, or soil moisture.
  • the sensing range is underwater; The sensing system according to any one of appendices 1 to 9, wherein the moving body is a submersible body.
  • the sensing range is indoors, The sensing system according to any one of appendices 1 to 9, wherein the mobile body is a self-propelled mobile body.
  • the mobile object sequentially moves to each of the sensor nodes, photographs the visible light emitted by the irradiation unit of each of the sensor nodes with the camera, and performs visible light communication to acquire the sensor information
  • the information processing device includes: Based on the transmission rate of the visible light communication and the maximum data size of the sensor information, determine the maximum transmission time required for visible light communication of the sensor information, A sensing method, wherein the mobile body outputs a driving command so that the camera captures the visible light for the maximum transmission time or more at the sensor node.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Alarm Systems (AREA)

Abstract

センシングシステムは、カメラを搭載した移動体と、センシング範囲内の異なる設置箇所に設置された複数のセンサノードと、を含むセンシングシステムであって、前記センサノードの各々は、前記センサノードの設置箇所のセンサ情報を検出するセンサ部と、可視光を照射する照射部と、前記センサ情報に応じて可視光を照射させるように前記照射部を制御する制御部とを含み、前記移動体は、前記センサノードの各々に順次移動し、前記センサノードの各々の前記照射部によって照射された可視光を、前記カメラにより撮影し、前記センサ情報を取得する可視光通信を行う。

Description

センシングシステム及びセンシング方法
　開示の技術は、センシングシステム及びセンシング方法に関する。
　光信号を用いる通信の中でも、光空間通信（あるいは光無線通信）は、光信号の伝送媒体として光ファイバではなく空間を用いるため、柔軟性に優れている。これは、電波を用いる無線通信の代替技術でもあり、周波数資源の逼迫が課題となっている昨今、ＩｏＴなどにおける活用が期待されている。従来のレーザなどを用いた光空間通信に加えて、近年ではＬＥＤを用いた可視光通信が盛んに検討されるようになった。ＬＥＤのような可視光を用いることで、低コスト化のほか、天井照明などの照明用途との複合的な利用など、柔軟な運用が可能になるメリットがある。
　可視光による光空間通信の一手法として、光カメラ通信（Ｏｐｔｉｃａｌ　Ｃａｍｅｒａ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ：ＯＣＣ）がある。ＯＣＣとは、送信機にＬＥＤやディスプレイのような光源、受信機にカメラを用いた可視光通信のことである。送信機として３色ＬＥＤを用い、データを光信号へ変調して送信するのが、最も一般的な適用形態である。受信側の動作としては、カメラで撮影した動画像の中から光源の占めるピクセルを抽出し、当該領域のＲＧＢ値などから信号を復調する。
　ＯＣＣの適用により、スマートフォン等をはじめとしたＬＥＤライトやカメラを搭載したスマートデバイスのほか、照明やＷｅｂカメラなど既存のデバイスを用いて通信を行えるようになる。すなわち、スマートフォン等を用いた日常生活での簡易的な通信に加え、室内灯などを用いた照明機能と通信機能の両立、自動運転などをサポートするＶ２Ｘ通信など、様々な場面での応用が可能である。
　ＯＣＣの関連技術として、Ｂｌｏｏｍｉｎｇ　ｅｆｆｅｃｔと呼ばれる光の拡散による干渉を回避する手法（非特許文献１）がある。ＯＣＣでは、ＣＭＯＳイメージセンサを用いて光信号を受光し、画像内で光源に該当する領域の画素ごとのＲＧＢ値を用いて信号の復調を行う。このとき、複数の光源が画像上で重なっていれば光の重なり、あるいは光源そのものの遮蔽により干渉が起こる。そして機種や環境によってはさらに、Ｂｌｏｏｍｉｎｇ　ｅｆｆｅｃｔと呼ばれる光の拡散現象による干渉が生じる。この課題に対して非特許文献１の技術では、カメラと物体の座標と近似的なサイズに加えて、画素数やＣＭＯＳイメージセンササイズ、画角などカメラのパラメタを考慮し、透視変換などの数学的手法により画像上での干渉条件を理論的に定式化している。
　さらに、Ｂｌｏｏｍｉｎｇ　ｅｆｆｅｃｔを考慮した画像上での光の減衰を表す近似式を用いて、光源間の干渉を回避することが可能である。
　またＯＣＣの通信レート向上技術として、適応ＣＳＫ（Ｃｏｌｏｒ　Ｓｈｉｆｔ　Ｋｅｙｉｎｇ）と呼ばれる手法（非特許文献２）がある。ＯＣＣの変調方式の中でも、３色ＬＥＤの特徴を生かしたＣＳＫは、スループット向上の観点から注目されている。ＣＳＫとはすなわち、ＲＧＢの３色ＬＥＤの発光強度を変えて８色や１６色など複数の色を表現し、各色をビット列に対応させる変調方式である。ＣＳＫで用いる色の表現には、ＣＩＥ１９３１で定義された色空間を用いる。ＣＩＥ１９３１は、電磁可視スペクトルにおける波長の分布と、人間の色覚における知覚色との間で初めて国際照明委員会によって定義された、定量的な色空間のことである。撮影カメラによってコンスタレーションの三角形は異なり、三角形の外の色に対しては三角形内部に補正される。ＣＳＫではこの三角形内に距離が最大となるようなシンボルを設けることで、シンボル間の干渉を防いだ通信を行う。ただしＯＣＣでは、画像全体の中で光源が占める領域を特定し、当該領域内のＲＧＢ値から信号を復調することから、光源として用いるＬＥＤパネル自体の色や、カメラの機種に依存した特性、屋内か屋外かといった外部環境によって、特定の色を識別しにくくなる場合がある。この課題に対して、非特許文献２では、色シンボルを余分に用意しておき、環境に応じて通信に利用する色を変化させる適応ＣＳＫを提案している。
　従来のＣＳＫに対して１つ多い色シンボルを用意することで、実環境下で読み取り精度が最も低い色シンボルを除外したＮ色でデータ伝送を行い、通常のＣＳＫと比較してＢＥＲ（Ｂｉｔ　Ｅｒｒｏｒ　Ｒａｔｅ）を最大で３～４桁向上させることに成功しており、様々な環境下で高精度な通信を実現することができる。
Yukito Onodera, Hiroki Takano, Daisuke Hisano, Yu Nakayama, "Avoiding Inter Light Sources Interference in Optical Camera Communication", IEEE Global Telecommunications Conference (GLOBECOM), Madrid, Spain, Dec. 2021. Yukito Onodera, Hiroki Takano, Daisuke Hisano, Yu Nakayama, "Adaptive N+1 Color Shift Keying for Optical Camera Communication", IEEE 94th Vehicular Technology Conference (VTC Fall), Virtual, Sep. 2021.
　ＯＣＣでは、光源サイズや変調方式、カメラの解像度などによって、伝送距離や伝送レートが制約される。このような制約を考慮しながら、１台のカメラを用いて多数の送信光源からのデータを受信するための、効率的な一対多通信システムを構成する技術はなかった。すなわち、光源の配置に応じてカメラ搭載デバイスを制御するような方法は従来検討されていなかった。
　開示の技術は、可視光通信を用いて、複数のセンサノードからセンサ情報を収集することができるセンシングシステム及びセンシング方法を提供することを目的とする。
　本開示の第１態様は、センシングシステムであって、カメラを搭載した移動体と、センシング範囲内の異なる設置箇所に設置された複数のセンサノードと、情報処理装置と、を含むセンシングシステムであって、前記センサノードの各々は、前記センサノードの設置箇所のセンサ情報を検出するセンサ部と、可視光を照射する照射部と、前記センサ情報に応じて可視光を照射させるように前記照射部を制御する制御部とを含み、前記移動体は、前記センサノードの各々に順次移動し、前記センサノードの各々の前記照射部によって照射された可視光を、前記カメラにより撮影し、前記センサ情報を取得する可視光通信を行い、前記情報処理装置は、前記複数のセンサノードの各々について、前記可視光通信の伝送レート、及び前記センサ情報の最大データサイズに基づいて、前記センサノードの前記センサ情報の可視光通信にかかる最大伝送時間を求め、前記移動体が、前記複数のセンサノードの各々において前記最大伝送時間以上、前記カメラにより前記可視光を撮影するように運転指令を出力する。
　本開示の第２態様は、センシング方法であって、カメラを搭載した移動体と、センシング範囲内の異なる設置箇所に設けられた複数のセンサノードと、情報処理装置と、を含むセンシングシステムにおけるセンシング方法であって、前記センサノードの各々のセンサ部は、前記センサノードの設置箇所のセンサ情報を検出し、制御部が、前記センサ情報に応じて可視光を照射させるように、可視光を照射する照射部を制御し、前記移動体は、前記センサノードの各々に順次移動し、前記センサノードの各々の前記照射部によって照射された可視光を、前記カメラにより撮影し、前記センサ情報を取得する可視光通信を行い、前記情報処理装置は、前記複数のセンサノードの各々について、前記可視光通信の伝送レート、及び前記センサ情報の最大データサイズに基づいて、前記センサノードの前記センサ情報の可視光通信にかかる最大伝送時間を求め、前記移動体が、前記複数のセンサノードの各々において前記最大伝送時間以上、前記カメラにより前記可視光を撮影するように運転指令を出力する。
　開示の技術によれば、可視光通信を用いて、複数のセンサノードからセンサ情報を収集することができる。
本実施形態に係るセンシングシステムの構成を示す概略図である。 本実施形態に係るセンサノードの制御部の構成を示すブロック図である。 本実施形態に係るセンシングシステムの飛行体の構成を示す側面図である。 飛行体の飛行制御装置の構成を示すブロック図である。 飛行体の飛行制御装置の制御部の構成を示すブロック図である。 本実施形態に係るセンシングシステムの情報処理装置の構成を示すブロック図である。 飛行体の移動ルートの一例を示す図である。 撮影部で撮影した動画像上における照射部の抽出方法について説明した図である。 本実施形態で使用される座標系を説明するための図である。 仮想センサノードを説明するための図である。 本実施形態に係る情報処理装置によるルート決定処理ルーチンを示すフローチャートである。 本実施形態に係るセンサノードの制御部によるセンシング処理ルーチンを示すフローチャートである。 本実施形態に係るセンサノードの制御部による通信処理の流れを示すフローチャートである。 本実施形態に係る飛行体の飛行制御装置による飛行制御処理ルーチンを示すフローチャートである。 変形例に係るセンシングシステムの構成を示す概略図である。
　以下、図面を参照して開示の技術の実施形態を詳細に説明する。農園内の異なる箇所に設置した複数のセンサノードで得られたセンサ情報を収集するように飛行体を飛行させるように制御するセンシングシステムに開示の技術を適用した場合を例に説明する。
＜センシングシステム１０の構成＞
　図１Ａに示すように、開示の技術の実施形態に係るセンシングシステム１０は、情報処理装置１８と、センシング範囲内を飛行する飛行体２０と、センシング範囲内の異なる箇所に設けられた複数のセンサノード４０とを備えている。本発明の実施形態では、センシング範囲は、例えば、農園である。飛行体２０と情報処理装置１８は、無線通信で接続されている。
　センサノード４０は、照射部４２と、制御部４４と、センサ部４６と、を備える。センサ部４６は、何らかセンサを用いて、センサノードの設置箇所の所望の対象についてセンサ情報を検出する。例えば、温度、湿度、照度、又は土壌水分をセンサ情報として検出する。なお、センサ情報の種類はこれに限定されるものではなく、気圧計で計測される気圧、赤外線センサで計測される温度分布など、センサ情報の種類は何でもよい。また複数のセンサ部４６を備えてもよい。図１Ａでは、センサノード４０毎に、２つのセンサ部４６Ａ、４６Ｂ、２つの制御部４４Ａ、４４Ｂ、２つの照射部４２Ａ、４２Ｂを備える例を示している。
　照射部４２は一般的な３色ＬＥＤのほか、複数のＬＥＤを並べたパネルや、ディスプレイなどを用いて可視光を照射する。制御部４４は、照射部４２の発光によって光信号を送信するように制御する。変調方式としては、発光のオン・オフによって１と０を表すＯｎ　Ｏｆｆ　Ｋｅｙｉｎｇと呼ばれる手法のほか、発光する光の色によってビット列を表現するＣｏｌｏｒ　Ｓｈｉｆｔ　Ｋｅｙｉｎｇなどの手法を用いることができる。また、複数の光源を用いる空間変調と呼ばれる方式を用いてもよい。このように、制御部４４は、センサ部４６によって取得されたセンサ情報を、指定された変調方式を用いて光信号へと変換する役割を担う。
　照射部４２で用いる光源には、ＬＥＤライト、ＬＥＤパネル、ディスプレイなどがある。センサ部４６で検出されたセンサ情報は、光信号として符号化・変調され、光源から送信される。
　センシング範囲内に、複数のセンサノード４０が設置される。センサノード４０の位置については、センシングする対象に応じて任意に定めてよい。ただし、センサノード４０の位置は既知とする。センサノード４０の位置を、ＧＰＳなどを用いて予め測定しておけばよい。センサノード４０は、それぞれセンサ部４６を用いて取得したセンサ情報を、照射部４２を用いて光信号として送信する。センサ情報の送信時刻については、常時発光してもよいし、あらかじめ定められた時間に発光するようにしてもよい。
　図１Ｂに示すように、制御部４４は、センサ情報取得部７０、接近検知部７２、センサノード番号発信制御部７４、及びセンサ情報発信制御部７６を備えている。
　センサ情報取得部７０は、センサ部４６によって検出されたセンサ情報を取得する。接近検知部７２は、飛行体２０の接近を検知する。具体的には、センサ部４６が、赤外線センサを含み、飛行体２０からの赤外線を検出することにより、飛行体２０の接近を検知する。なお、飛行体２０が光照射部を更に有し、センサ部４６が、飛行体２０の光照射部からの光を受信して飛行体２０の接近を検知するようにしてもよい。
　センサノード番号発信制御部７４は、飛行体２０の接近を検知したときに、照射部４２による発光を開始し、このとき、当該センサノード４０を識別する識別番号を発信するように照射部４２による発光を制御する。
　センサ情報発信制御部７６は、センサノード４０の識別番号を発信した後に、それぞれセンサ部４６を用いて取得したセンサ情報を、照射部４２を用いて光信号として送信するように制御する。
　図２に示すように、飛行体２０は、飛行本体部２１、アーム２２、及び４基の回転翼２３を備えている。飛行本体部２１は、平面視で飛行体２０の中央部に設けられており、飛行本体部２１には、不図示の通信アンテナ、バッテリ、及び撮影部２６等が搭載されている。
　アーム２２は、４本設けられ、平面視で飛行本体部２１から外側に放射状に突出されている。アーム２２の各々の先端には、回転翼２３が取り付けられている。アーム２２は中空とされており、内部に回転翼２３を作動させるモータや、制御用、動力用の配線等が収納されている。
　飛行本体部２１の下面側には、撮影部２６が搭載されている。撮影部２６は、センサノード４０の画像を取り込み可能なように設置されている。撮影部２６は、画素数や画角、フレームレート、露光量などのパラメタを備える。
　飛行本体部２１には、図３Ａに示す飛行制御装置３０が搭載されている。飛行制御装置３０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信アンテナで送受信する信号の入出力用のポート等を含んで構成されており、飛行体２０を制御するための各種処理プログラムや、データ等が記憶されている。
　飛行制御装置３０は、自機の位置を認識し指定された移動ルートに沿って自動飛行するように回転翼２３を制御する。飛行制御装置３０は、機能的には次に示すように構成されている。図３Ａに示すように、飛行制御装置３０は、通信部３２と、自律姿勢制御部３４と、位置計測部３６と、制御部３８と、センサ情報記憶部３９とを備えている。
　通信部３２は、無線通信により情報処理装置１８との間で信号の送受信を行う。
　自律姿勢制御部３４は、４基の回転翼２３によってホバーリングを行うように制御する。
　位置計測部３６は、飛行体２０に設けられているＧＰＳセンサ（図示省略）を用いて、飛行体２０の現在位置を計測する。
　制御部３８は、図３Ｂに示すように、移動制御部８０、撮影制御部８２、センサノード検出部８４、及びセンサ情報取得部８６を備えている。
　移動制御部８０は、位置計測部３６によって計測された現在位置に基づいて、移動ルートに沿ってセンサノード４０の各々に順次移動し、自動飛行するように自律姿勢制御部３４を制御する。
　また、撮影制御部８２は、巡回するセンサノード４０の各々を撮影するように撮影部２６を制御する。具体的には、制御部３８は、飛行体２０が、センサノード４０の設置箇所に対応する位置まで移動した際に、以下のように制御する。制御部３８は、センサノード４０の位置と飛行体２０の現在位置とに基づいて、当該センサノード４０に対して撮影部２６の撮影方向を向けて、センサノード４０の各々の照射部４２によって照射された可視光を、撮影部２６により所定時間だけ撮影する。ここで、当該センサノード４０に対して撮影部２６の撮影方向を向けるように、撮影部２６の向きを変更するように制御してもよいし、飛行体２０の向きを変更するように制御してもよい。
　センサノード検出部８４は、撮影部２６により撮影された映像から、センサノード４０の各々の照射部４２によって照射された可視光を表す領域を検出する。センサ情報取得部８６は、撮影部２６により撮影された映像の可視光を表す領域から、センサ情報に復調し、センサ情報記憶部３９に格納する。
＜情報処理装置の構成＞
　情報処理装置１８は、ＣＰＵ、ＲＯＭ、ＲＡＭ、及びＨＤＤを備えたコンピュータで構成されている。
　情報処理装置１８は、機能的には次に示すように構成されている。図４に示すように、情報処理装置１８は、通信部５０、取得部５２、ルート決定部５４、飛行制御部５６、収集部５８、及びセンサ情報記憶部６０を備えている。
　通信部５０は、無線通信により飛行体２０からセンサ情報を受信する。
　取得部５２は、ユーザにより入力された、可視光通信の伝送レート、及び前記センサ情報の最大データサイズを取得する。
　ルート決定部５４は、センサノード４０の各々に順次移動するための移動ルート及び移動速度を決定する。このとき、ルート決定部５４は、可視光通信の伝送レート、及びセンサ情報の最大データサイズに基づいて、センサ情報の可視光通信にかかる最大伝送時間を求める。ルート決定部５４は、飛行体２０が、センサノード４０において最大伝送時間以上、撮影部２６により可視光を撮影するように移動ルート及び移動速度を決定する。
　具体的には、ルート決定部５４は、複数のセンサノード４０の各々について、可視光通信の伝送レート、及びセンサノード４０のセンサ情報の最大データサイズに基づいて、センサ情報の可視光通信にかかる最大伝送時間を求める。ルート決定部５４は、飛行体２０が、複数のセンサノード４０の各々において、当該センサノード３０についての最大伝送時間以上、撮影部２６により可視光を撮影するように移動ルート及び移動速度を決定する。より具体的には、飛行体２０が、複数のセンサノード４０の各々において、当該センサノード３０についての最大伝送時間以上、撮影部２６により可視光を撮影可能な位置で留まるように移動ルート及び移動速度を決定する。これにより、飛行体２０は、複数のセンサノード４０の各々において、当該センサノード３０についての最大伝送時間以上、撮影部２６により可視光を撮影可能な位置及び姿勢で留まるようにホバーリングを行う。
　また、センサノード４０毎にセンサ情報の種類が異なる場合であっても、センサ情報の種類に応じた最大伝送時間以上、当該センサノード３０において、撮影部２６により可視光を撮影可能な位置及び姿勢で留まるように飛行体２０はホバーリングを行うことができる。
　なお、前述のように飛行体２０がホバーリングし、センサノード４０の照射部４２によって照射された可視光を撮影部２６により撮影してセンサ情報を受信している際に、鳥などが横切るあるいは突風などで、一時的に撮影部２６の撮影範囲からセンサノード４０が外れる等により、伝送時間内の可視光通信が一部欠落したことを検知した場合には、再度、撮影部２６により、センサノード４０の照射部４２によって照射された可視光を撮影して欠落のないセンサ情報を受信するようにホバーリングを継続させることができる。
　収集部５８は、無線通信により飛行体２０から受信した各センサノード４０のセンサ情報を収集し、センサ情報記憶部６０に格納する。
　飛行制御部５６は、決定された移動ルート及び移動速度で移動するように指示する運転指令を、通信部５０により飛行体２０に対して送信する。
　これにより、飛行体２０は、運転指令の移動ルート及び移動速度に従って、撮影部２６を用いて動画像を撮影しながら移動する（図５参照）。このとき、飛行体２０は、センサノード４０の各々において、外部環境（例えば、風速、風向）が異なる場合であっても、当該センサノード３０についての最大伝送時間以上、撮影部２６により可視光を撮影可能な位置及び姿勢で留まるようにホバーリングを行うことができる。撮影部２６は、センサノード４０の照射部４２が発する光信号を撮影し、撮影された動画像から光信号を復調することでセンサ情報を受信する。なお、撮影した動画像の復調は、飛行体２０が行ってもよいし、情報処理装置１８が行ってもよい。
　次に、図６を用いて、撮影部２６で撮影した動画像上における照射部４２の抽出および、光信号の読み取りについて説明する。
　撮影部２６で撮影した動画像上における画像座標系としてｘ軸、ｙ軸を定める（図６参照）。ｘ、ｙの範囲は、解像度によって定まる。画像上で照射部４２が占めるピクセルは画像座標として表されるが、これは、撮影部２６の画角などのパラメタを用いることで、実世界座標とは容易に相互変換が可能である。あるフレームにおいて照射部４２の占めるピクセル領域を特定、抽出し、これを領域ｋ（ｋ＝１，２，……）とする。ピクセル領域の抽出方法は、何れの方法でもよく、例えば、飛行体２０の撮影部２６の実世界座標や向きとセンサノード４０の座標から画像座標を計算して抽出してもよいし、深層学習などの手法を用いて特定の形態などを機械的に検出することで動的な抽出を行ってもよい。
　各領域ｋについて、それぞれ領域内のＲＧＢ値を集計する。集計方法については、領域内のＲＧＢ値の平均値をとるほか、ピクセルごとの値の分布を用いてもよい。集計された値をもとに信号の復調を行う。このとき、復調方法は変調時の方法に依存する。
　また、図６に示すように、画像座標系における照射部４２の移動速度ｖｘ、ｖｙが定義される。これらの値は、実世界における飛行体２０の座標、移動方向、及び速度と、撮影部２６の解像度及び角度と、センサノード４０の座標とから算出できる。そして、画像内における照射部４２の存在時間、すなわち画像内に照射部４２が出現してから飛行体２０の移動により消失するまでの時間は、照射部４２の出現位置と照射部４２の画像座標系での移動速度ｖｘ、ｖｙから算出できる。そして、変調方法から定まる照射部４２からの送信ビットレートと、照射部４２の存在時間とから、最大伝送データ量が定まる。
　実際の伝送データ量は、センシングするデータの種類やシステムの要求条件から定まるため、実際の伝送データ量が最大伝送データ量を超えないように、飛行体２０の移動ルートや移動速度を定めることによって、センシングシステムを構成する。
　センサ情報を効率的に収集するために、飛行体２０のルート決定アルゴリズムを用いる。ルート決定アルゴリズムでは、照射部４２の位置や大きさ、撮影部２６の仕様に基づいて移動ルートと移動速度を計算する。ルート決定アルゴリズムについて、以下に詳細を説明する。
（座標系）
　まず、本実施形態で使用される座標系を図７に示す。グローバル座標系を（ｘ，ｙ，ｚ）と定義する。また、カメラ座標系を（Ｘ，Ｙ，Ｚ）と定義する。Ｙ軸は画像の中心線に相当する。なお、原点は撮影部２６の（ｘｃ（ｔ），ｙｃ（ｔ），ｚｃ（ｔ））に設定されている。撮影部２６の仰角はθと定義される。
（変数定義）
　本実施形態で使用する変数を表１にまとめる。
　ここで、Ｉをセンサノード４０の集合、ｉ、ｊをセンサノード４０の識別子とする。また、ｉ番目のセンサノード４０のグローバル座標系における位置を（ｘｉ，ｙｉ，ｚｉ）と定義する。簡単のため、センサノード４０は半径ｒｉの球体で近似する。（ｕｉ，ｖｉ）は画像平面におけるｉ番目のセンサノード４０の中心の座標を示すとする。画像の水平解像度をｌｈ、垂直解像度をｌｖとする。また、カメラの水平画角と垂直画角をφｈとφｖと表記する。撮影部２６の焦点距離をｆと表記する。また、撮像素子サイズをｉｍａｇｅ　ρと定義する。
（座標変換）
　画像平面上のセンサノード４０の位置は、座標変換により計算される。移動する飛行体２０を想定しているため、（ｘｉ，ｙｉ，ｚｉ）と原点（ｘｃ（ｔ），ｙｃ（ｔ），ｚｃ（ｔ））間の相対位置が計算される。カメラ座標系におけるｉ番目のセンサノード４０の位置は、並行移動と仰角による回転を用いて

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（１）
のように定式化される。
　そして、画像平面におけるｉ番目のセンサノード４０の位置は、

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（２）
のように透視変換して計算される。
　透視変換は図７のように描かれる。ｐｉは画像平面におけるセンサノード４０の大きさを表すとする。ｐｉは投影円の半径を用いて

　　　　　　　　　　　　　　　　　　　　（３）
のように計算される。
　ｉ番目のセンサノード４０が飛行体２０の撮影部２６による撮影可能範囲に含まれる、という条件式は、

　　　　　　　　　　　　　　　　　　　　（４）
のように定式化される。
（伝送時間）
　ここでは、センサノード４０からのセンサ情報の伝送時間を定式化する。ＯＣＣの伝送レートは、変調数とシンボルレートとによって決定される。データ転送速度を上げるために、光空間変調とカラーシフトキーイング（ＣＳＫ）が採用される。光空間変調では、複数の照射部４２を使用する。ＣＳＫは、ＬＥＤの３色照明器具の設計を利用する。光信号を光量変調し、あらかじめ定義されたコンステレーションシンボルを生成する（非特許文献２を参照）。シンボルレートの範囲は、撮影部２６のフレームレートと画像処理速度によって制限される。
　Ｒｉをデータレート（伝送レート）、Ｓｉを光空間多重度、Ｄをシンボルレート、Ｎｉをコンスタレーションシンボル数として、

　　　　　　　　　　　　　（５）
で定式化される。
　最大伝送時間Ｔｉは、最大データサイズをＭｉと定義すると、

　　　　　　　　　　　（６）
のように計算される。
（トラジェクトリー要件）
　飛行体２０の撮影部２６はセンサ情報を受信するために、十分な時間、各センサノード４０を撮影する必要がある。ここで、τｉを（４）式を満たす時間の長さとする。ｉ番目のセンサノード４０から最大データサイズを確実に受信するためには、τｉは

　　　　　　　　　　　　　　（７）
を満たす必要がある。
（ルート決定アルゴリズム）
　本実施形態のルート決定アルゴリズムでは、全てのセンサノード４０からのデータ送信を保証する近似的な最短ルートを決定する。具体的には、本実施形態のルート決定アルゴリズムは以下のステップａ～ステップｃを含む。
（ステップａ）　センサノードのクラスタリング
　センサノード４０を、センサノード４０の設置箇所に基づいてクラスタリングし、クラスタリングにより得られた各クラスタに含まれるセンサノード４０をグループ化し、各クラスタを表す仮想センサノード１４０を生成する（図８参照）。隣接するセンサノード４０は、上記（４）式の撮影可能範囲に含まれる条件を満足するようにグループ化される。
（ステップｂ）　グラフ生成
　仮想センサノード１４０を表す頂点と、仮想センサノード１４０間を結ぶエッジとからなるグラフＧ＝（Ｖ，Ｅ）が生成される。
（ステップｃ）　移動ルート及び移動速度の決定
　移動ルートはグラフＧを用いた巡回セールスマン問題（ＴＳＰ）を解くことによって計算される。また、各仮想センサノード１４０の撮影時間が上記（６）式を満たすように移動速度が決定される。
＜センシングシステム１０の作用＞
　次に、本発明の実施形態に係るセンシングシステム１０の作用について説明する。
　まず、ユーザが、情報処理装置１８に対して各センサノード４０に関する情報として、各センサノード４０の設置箇所、可視光通信の伝送レート、及びセンサ情報の最大データサイズを入力する。そして、情報処理装置１８は、図９に示すルート決定処理ルーチンを実行する。
　ステップＳ１００において、取得部５２は、ユーザにより入力された、可視光通信の伝送レート、及びセンサ情報の最大データサイズを取得する。
　ステップＳ１０２において、ルート決定部５４は、各センサノード４０について、可視光通信の伝送レート、及びセンサ情報の最大データサイズに基づいて、センサ情報の可視光通信にかかる最大伝送時間を求める。
　ステップＳ１０４において、ルート決定部５４は、各センサノード４０の設置箇所、及び各センサノード４０における最大伝送時間に基づいて、移動ルート及び移動速度を決定する。具体的には、ルート決定部５４は、飛行体２０が、各センサノード４０において最大伝送時間以上、撮影部２６により可視光を撮影し、かつ、センサノード４０の各々に順次移動するための移動ルート及び移動速度を決定する。
　ステップＳ１０６において、飛行制御部５６は、決定された移動ルート及び移動速度で移動するように指示する運転指令を、通信部５０により飛行体２０に対して送信する。
　そして、飛行体２０の通信部３２が、運転指令を受信すると、飛行体２０は、運転指令の移動ルート及び移動速度に従って、撮影部２６を用いて動画像を撮影しながら移動する。
　そして、センサノード４０において、制御部４４により、図１０に示すセンシング処理ルーチンが実行される。
　まず、ステップＳ１１０において、制御部４４は、センサ部４６によって検出された、センサノード４０の設置箇所のセンサ情報を取得する。
　ステップＳ１１２において、制御部４４は、取得したセンサ情報を、指定された変調方式を用いて光信号へ変換する。
　ステップＳ１１４において、制御部４４は、照射部４２の発光によって光信号を送信するように制御する。
　上記ステップＳ１１４は、図１に示す処理ルーチンによって実現される。
　まず、ステップＳ１２０において、接近検知部７２は、赤外線センサなどのセンサを用いて飛行体２０の接近を検知したか否かを判定する。飛行体２０の接近を検知した場合に、ステップＳ１２２へ進む。
　ステップＳ１２２において、センサノード番号発信制御部７４は、照射部４２による発光を開始し、当該センサノード４０を識別する識別番号を発信するように照射部４２による発光を制御する。
　ステップＳ１２４において、センサ情報発信制御部７６は、それぞれセンサ部４６を用いて取得したセンサ情報を、照射部４２を用いて光信号として送信するように制御する。
　ステップＳ１２６において、センサ情報発信制御部７６は、センサ情報の終了を通知するように照射部４２による発光を制御する。
　ステップＳ１２８において、接近検知部７２は、赤外線センサなどのセンサを用いて飛行体２０が離れたか否かを判定する。飛行体２０が離れていないと判定された場合には、上記ステップＳ１２２へ戻る。一方、飛行体２０が離れたと判定された場合には、当該処理ルーチンを終了する。
　また、飛行体２０の制御部３８により、図１２に示す移動制御処理ルーチンが実行される。
　まず、ステップＳ１３０において、移動制御部８０は、情報処理装置１８から受信した運転指令に含まれる移動ルートを取得する。
　ステップＳ１３２において、移動制御部８０は、位置計測部３６によって計測された現在位置に基づいて、移動ルートに沿って、次のセンサノード４０と可視光通信できる位置まで移動し、自動飛行するように自律姿勢制御部３４を制御する。
　ステップＳ１３４において、制御部３８は、センサノード４０の位置と飛行体２０の現在位置とに基づいて、当該センサノード４０に対して撮影部２６の撮影方向を向けて、センサノード４０の照射部４２によって照射された可視光を、撮影部２６により撮影することを開始する。
　ステップＳ１３６において、センサノード検出部８４は、撮影部２６により撮影された映像から、センサノード４０の照射部４２によって照射された可視光を表す領域を検出し、撮影部２６により撮影された映像の可視光を表す領域から、センサノード番号に復調して取得する。
　ステップＳ１３８において、センサ情報取得部８６は、センサノード検出部８４は、撮影部２６により撮影された映像から、センサノード４０の照射部４２によって照射された可視光を表す領域を検出する。センサ情報取得部８６は、撮影部２６により撮影された映像の可視光を表す領域から、センサ情報に復調し、センサ情報記憶部３９に格納する。
　ステップＳ１４０において、制御部３８は、全てのセンサノード４０について、上記ステップＳ１３２～Ｓ１３８の処理を終了したか否かを判定する。上記ステップＳ１３２～Ｓ１３８の処理を行っていないセンサノード４０が存在する場合、上記ステップＳ１３２へ戻り、当該センサノード４０と可視光通信できる位置まで移動する。一方、全てのセンサノード４０について、上記ステップＳ１３２～Ｓ１３８の処理を終了した場合には、ステップＳ１４２へ移行する。
　ステップＳ１４２において、移動制御部８０は、位置計測部３６によって計測された現在位置に基づいて、移動ルートに沿って、移動ルートの終点まで移動し、自動飛行するように自律姿勢制御部３４を制御する。
　そして、飛行体２０の通信部３２は、無線通信により、センサ情報記憶部３９に格納されたセンサ情報を、情報処理装置１８へ送信する。
　情報処理装置１８の収集部５８は、無線通信により飛行体２０から受信した各センサノード４０のセンサ情報を収集し、センサ情報記憶部６０に格納する。
　以上説明したように、本発明の実施形態に係るセンシングシステムによれば、センサノードの各々は、センサノードの設置箇所のセンサ情報を検出し、センサ情報に応じて可視光を照射させるように照射部を制御する。飛行体は、センサノードの各々に順次移動し、センサノードの各々の照射部によって照射された可視光を、カメラにより撮影し、センサ情報を取得する可視光通信を行う。これにより、複数のセンサノードからセンサ情報を収集することができる。
　また、飛行体に搭載したカメラを用いて、散在する多数の照射部から送信される光信号を、効率的に受信する。すなわち、既知の照射部の配置に基づき、照射部サイズや変調方式、データサイズ、カメラの解像度などのパラメタに応じて、飛行体の移動ルートや速度を制御する。これにより、飛行体と光カメラ通信によりセンサ情報を収集するセンシングシステムを構成することが可能となる。可視光通信は、電波を使わないため、電波不感地帯においても、多数のセンサを用いたセンシングシステムを配備することが可能になる。
　また、本実施形態では、ＯＣＣにより時間領域と周波数領域の干渉を受けることなく、多数のセンサノード４０を収容することができる。また、電波を一切使用しないため、電波の静かな場所やインフラが未整備な場所でも展開することができる。
　また、農園に、多数のセンサ部を設置し、センサ情報を回収することで、準リアルタイムな環境センシングを行う。可視光通信によってセンサノードと飛行体との間で直接通信することで、近くにＬＴＥ／５ＧやＬＰＷＡ基地局が整備されてないエリアでも面的なセンサネットワークを構成できる。
　また、本実施形態では、飛行体と可視光通信によりセンサ情報を収集するセンサネットワークシステムを構成することが可能となる。可視光通信は電波を使わないため、電波不感地帯においても、多数のセンサを用いたセンサネットワークシステムを配備することが可能になる。
　また、センシングと同時に、飛行体の撮影部による作物の撮影を同時に実施できるため、葉などの状態からの病虫害や生育状態などのセンシングを兼ねることが可能である。
　なお、上記の実施形態において、飛行体は、飛行体に設けられているＧＰＳセンサを用いて、飛行体の現在位置を計測する場合を例に説明したが、これに限定されるものではない。例えば、センサノードの位置を短時間で特定させるために、センサノード側からビーコンを発信し、それを飛行体側で受信することでセンサノードの位置を確認し、撮影部によりセンサノードを識別したら撮影を開始するようにしてもよい。その場合、可視光通信されるセンサ情報は、常時発光でもよいし飛行体が通過する時間帯に合わせる形で発光させてもよい。なおこの場合、可視光通信にはセンサ情報の通信開始と通信終了を識別する信号を盛り込んでもよいし、ビーコンにはセンサノードの識別情報を入れておいてもよい。また、飛行体は、センサノードについて予め求められた位置と、撮影部によって撮影された画像上でのセンサノードの位置関係とから、自己位置推定方法により、飛行体の位置を推定してもよい。具体的には、実世界座標と画像座標との座標変換の関係式を用いて、飛行体の位置座標を求める。特に、画像上に同時に撮影される照射部の数が多くなるほど、正確な測位が可能である。このとき、各照射部は、あらかじめ付与されたセンサノード番号などの情報を、センサ情報と合わせて送信することで、飛行体側から照射部を識別可能としてもよい。また、ＧＰＳセンサを用いて計測された飛行体の現在位置を、自己位置推定方法により推定された飛行体の位置を用いて補正するようにしてもよい。また、各照射部は、更に、あらかじめ付与されたセンサノードの位置情報を、センサ情報と合わせて送信するようにしてもよい。また、飛行体は、次のセンサノードの相対位置を、現在のセンサノード位置と次のセンサノード位置から推定し、次のセンサノードへ移動するようにしてもよい。
　また、センシング範囲が農園である場合を例に説明したが、これに限定されるものではない。例えば、農園以外の電波不感地帯を、センシング範囲としてもよい。電波不感地帯の代表例としては、トンネルや洞窟などの地下空間、電波減衰の大きい水中環境が挙げられる。
　水中環境の場合、図１３に示すように、移動体として水中ドローンの様な潜水体２２０を用いればよい。潜水体２２０は、飛行体２０と同様に撮影部２６を備えている。このように、従来はセンサ情報の収集が難しかった環境におけるセンシングが可能となる。また、潜水体では、ＧＮＳＳが十分に機能せず、ＧＰＳセンサを用いることは難しい。このため、潜水体は、センサノードについて予め求められた位置と、撮影部によって撮影された画像上でのセンサノードの位置関係とから、自己位置推定方法により、潜水体の位置を推定するようにする。これにより、電波減衰が大きく、無線通信が困難な水中であっても、広範囲のセンシングが可能となり、環境保全や資源探査、養殖や港湾設備の保守等、に応用することが可能である。
　また、水中の場合、何らかの理由で水中の視界が想定より悪かった場合には、予めユーザが入力した伝送レートや伝送距離により算出した時間内ではデータの伝送が終わらないこともあり得る。そのときは、データの伝送が終了したことを検知するまで撮影を続行する、または、より光源に接近することができる。さらに、記憶されている伝送レートを修正するようにしても良い。データの伝送が終了したことを検知する手段としては、一定時間光源が光らない、あるいは伝送の終了を示す信号を発光することができる。
　また、水中の場合、撮影部２６により撮影した画像から水中の濁りを検知して、伝送レートや伝送距離を修正してもよい。このとき、光源の明るさを測定し、入力されている伝送レート、伝送距離から想定される光源の明るさと比較することにより、水中の濁りを判定できる。所定の明るさ以下であれば、伝送レートや伝送距離を修正するようにしても良い。
　また、センシング範囲が屋内であってもよい。この場合には、移動体として、自走式の移動体を用いることが考えられる。また、屋内では、ＧＰＳセンサの精度が低くなるため、自走式の移動体は、センサノードについて予め求められた位置と、撮影部によって撮影された画像上でのセンサノードの位置関係とから、自己位置推定方法により、自走式の移動体の位置を推定するようにする。なお、センサノードの位置を短時間で特定させるために、前述したように、センサノード側からビーコンを発信させてもよい。
　また、飛行体は、センサノードの設置箇所に対応する位置まで移動した際に、撮影部による撮影を開始する場合を例に説明したが、これに限定されるものではない。飛行体が移動している間、撮影部により撮影し続けてもよい。
　以上の実施形態に関し、更に以下の付記を開示する。
［付記１］
　カメラを搭載した移動体と、
　センシング範囲内の異なる設置箇所に設置された複数のセンサノードと、
　情報処理装置と、
　を含むセンシングシステムであって、
　前記センサノードの各々は、前記センサノードの設置箇所のセンサ情報を検出するセンサ部と、可視光を照射する照射部と、前記センサ情報に応じて可視光を照射させるように前記照射部を制御する制御部とを含み、
　前記移動体は、前記センサノードの各々に順次移動し、前記センサノードの各々の前記照射部によって照射された可視光を、前記カメラにより撮影し、前記センサ情報を取得する可視光通信を行い、
　前記情報処理装置は、
　前記可視光通信の伝送レート、及び前記センサ情報の最大データサイズに基づいて、前記センサ情報の可視光通信にかかる最大伝送時間を求め、
　前記移動体が、前記センサノードにおいて前記最大伝送時間以上、前記カメラにより前記可視光を撮影するように運転指令を出力する
　センシングシステム。
［付記２］
　前記制御部は、前記センサ部が前記センサノードの設置箇所において前記移動体を検知したときに、前記センサ情報に応じて可視光を照射させるように前記照射部を制御する付記１記載のセンシングシステム。
［付記３］
　前記センサ部は、前記移動体の発する赤外線を検知することにより、前記移動体を検知する付記２記載のセンシングシステム。
［付記４］
　前記複数のセンサノードの前記制御部は、前記センサノードの各々に固有の識別情報を含む可視光信号を照射させるように前記照射部を制御する付記１～付記３の何れか１つに記載のセンシングシステム。
［付記５］
　前記移動体が前記カメラにより撮影した前記可視光信号に基づき前記センサノードを識別する付記４記載のセンシングシステム。
［付記６］
　前記制御部は、前記識別情報に連続して前記センサ情報に応じた可視光を照射させるように前記照射部を制御する付記４記載のセンシングシステム。
［付記７］
　前記情報処理装置は、前記複数のセンサノードの各々について、前記可視光通信の伝送レート、及び前記センサノードの前記センサ情報の最大データサイズに基づいて、前記センサ情報の可視光通信にかかる最大伝送時間を求め、
　前記移動体が、前記複数のセンサノードの各々において前記最大伝送時間以上、前記カメラにより前記可視光を撮影するように運転指令を出力する付記１～付記６の何れか１つに記載のセンシングシステム。
［付記８］
　前記情報処理装置は、更に、
　前記複数のセンサノードを、前記センサノードの設置箇所に基づいてクラスタリングし、
　前記クラスタリングにより得られた各クラスタを表す仮想センサノードと、前記仮想センサノード間を結ぶエッジとからなるグラフに基づいて、前記移動体の移動ルートを決定する付記７記載のセンシングシステム。
［付記９］
　前記移動体は、飛行体である付記１～付記７の何れか１つに記載のセンシングシステム。
［付記１０］
　前記センシング範囲は、農園であり、
　前記センサ情報は、温度、湿度、照度、又は土壌水分を含む付記１～付記９の何れか１つに記載のセンシングシステム。
［付記１１］
　前記センシング範囲は、水中であり、
　前記移動体は、潜水体である付記１～付記９の何れか１つに記載のセンシングシステム。
［付記１２］
　前記センシング範囲は、屋内であり、
　前記移動体は、自走式の移動体である付記１～付記９の何れか１つに記載のセンシングシステム。
［付記１３］
　前記センサノードについて予め求められた位置と、前記カメラによって撮影された画像上でのセンサノードの位置関係から前記移動体の位置を推定する付記１～付記１２の何れか１つに記載のセンシングシステム。
［付記１４］
　カメラを搭載した移動体と、
　センシング範囲内の異なる設置箇所に設けられた複数のセンサノードと、
　情報処理装置と、
　を含むセンシングシステムにおけるセンシング方法であって、
　前記センサノードの各々のセンサ部は、前記センサノードの設置箇所のセンサ情報を検出し、制御部が、前記センサ情報に応じて可視光を照射させるように、可視光を照射する照射部を制御し、
　前記移動体は、前記センサノードの各々に順次移動し、前記センサノードの各々の前記照射部によって照射された可視光を、前記カメラにより撮影し、前記センサ情報を取得する可視光通信を行い、
　前記情報処理装置は、
　前記可視光通信の伝送レート、及び前記センサ情報の最大データサイズに基づいて、前記センサ情報の可視光通信にかかる最大伝送時間を求め、
　前記移動体が、前記センサノードにおいて前記最大伝送時間以上、前記カメラにより前記可視光を撮影するように運転指令を出力する
　センシング方法。
　日本出願２０２２－１０７３６８の開示はその全体が参照により本明細書に取り込まれる。
　本明細書に記載された全ての文献、特許出願、及び技術規格は、個々の文献、特許出願、及び技術規格が参照により取り込まれることが具体的かつ個々に記載された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (13)

  1. 　カメラを搭載した移動体と、
    　センシング範囲内の異なる設置箇所に設置された複数のセンサノードと、
    　情報処理装置と、
    　を含むセンシングシステムであって、
    　前記センサノードの各々は、前記センサノードの設置箇所のセンサ情報を検出するセンサ部と、可視光を照射する照射部と、前記センサ情報に応じて可視光を照射させるように前記照射部を制御する制御部とを含み、
    　前記移動体は、前記センサノードの各々に順次移動し、前記センサノードの各々の前記照射部によって照射された可視光を、前記カメラにより撮影し、前記センサ情報を取得する可視光通信を行い、
    　前記情報処理装置は、
    　前記複数のセンサノードの各々について、前記可視光通信の伝送レート、及び前記センサ情報の最大データサイズに基づいて、前記センサノードの前記センサ情報の可視光通信にかかる最大伝送時間を求め、
    　前記移動体が、前記複数のセンサノードの各々において前記最大伝送時間以上、前記カメラにより前記可視光を撮影するように運転指令を出力する
    　センシングシステム。
  2. 　前記制御部は、前記センサ部が前記センサノードの設置箇所において前記移動体を検知したときに、前記センサ情報に応じて可視光を照射させるように前記照射部を制御する請求項１記載のセンシングシステム。
  3. 　前記センサ部は、前記移動体の発する赤外線を検知することにより、前記移動体を検知する請求項２記載のセンシングシステム。
  4. 　前記複数のセンサノードの前記制御部は、前記センサノードの各々に固有の識別情報を含む可視光信号を照射させるように前記照射部を制御する請求項１記載のセンシングシステム。
  5. 　前記移動体が前記カメラにより撮影した前記可視光信号に基づき前記センサノードを識別する請求項４記載のセンシングシステム。
  6. 　前記制御部は、前記識別情報に連続して前記センサ情報に応じた可視光を照射させるように前記照射部を制御する請求項４記載のセンシングシステム。
  7. 　前記情報処理装置は、更に、
    　前記複数のセンサノードを、前記センサノードの設置箇所に基づいてクラスタリングし、
    　前記クラスタリングにより得られた各クラスタを表す仮想センサノードと、前記仮想センサノード間を結ぶエッジとからなるグラフに基づいて、前記移動体の移動ルートを決定する請求項１記載のセンシングシステム。
  8. 　前記移動体は、飛行体である請求項１記載のセンシングシステム。
  9. 　前記センシング範囲は、農園であり、
    　前記センサ情報は、温度、湿度、照度、又は土壌水分を含む請求項１記載のセンシングシステム。
  10. 　前記センシング範囲は、水中であり、
    　前記移動体は、潜水体である請求項１記載のセンシングシステム。
  11. 　前記センシング範囲は、屋内であり、
    　前記移動体は、自走式の移動体である請求項１記載のセンシングシステム。
  12. 　前記センサノードについて予め求められた位置と、前記カメラによって撮影された画像上でのセンサノードの位置関係から前記移動体の位置を推定する請求項１記載のセンシングシステム。
  13. 　カメラを搭載した移動体と、
    　センシング範囲内の異なる設置箇所に設けられた複数のセンサノードと、
    　情報処理装置と、
    　を含むセンシングシステムにおけるセンシング方法であって、
    　前記センサノードの各々のセンサ部は、前記センサノードの設置箇所のセンサ情報を検出し、制御部が、前記センサ情報に応じて可視光を照射させるように、可視光を照射する照射部を制御し、
    　前記移動体は、前記センサノードの各々に順次移動し、前記センサノードの各々の前記照射部によって照射された可視光を、前記カメラにより撮影し、前記センサ情報を取得する可視光通信を行い、
    　前記情報処理装置は、
    　前記複数のセンサノードの各々について、前記可視光通信の伝送レート、及び前記センサ情報の最大データサイズに基づいて、前記センサノードの前記センサ情報の可視光通信にかかる最大伝送時間を求め、
    　前記移動体が、前記複数のセンサノードの各々において前記最大伝送時間以上、前記カメラにより前記可視光を撮影するように運転指令を出力する
    　センシング方法。
PCT/JP2023/022835 2022-07-01 2023-06-20 センシングシステム及びセンシング方法 WO2024004770A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-107368 2022-07-01
JP2022107368 2022-07-01

Publications (1)

Publication Number Publication Date
WO2024004770A1 true WO2024004770A1 (ja) 2024-01-04

Family

ID=89382231

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/022835 WO2024004770A1 (ja) 2022-07-01 2023-06-20 センシングシステム及びセンシング方法

Country Status (1)

Country Link
WO (1) WO2024004770A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160253595A1 (en) * 2015-01-14 2016-09-01 Accenture Global Services Limited Precision agriculture system
JP2018166256A (ja) * 2017-03-28 2018-10-25 株式会社日立情報通信エンジニアリング 可視光通信システムおよび可視光通信方法
JP2020174287A (ja) * 2019-04-11 2020-10-22 学校法人加計学園 可視光通信装置及び可視光通信方法
JP2021169958A (ja) * 2020-04-15 2021-10-28 朝日航洋株式会社 照明通信システムおよび照明通信システムの制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160253595A1 (en) * 2015-01-14 2016-09-01 Accenture Global Services Limited Precision agriculture system
JP2018166256A (ja) * 2017-03-28 2018-10-25 株式会社日立情報通信エンジニアリング 可視光通信システムおよび可視光通信方法
JP2020174287A (ja) * 2019-04-11 2020-10-22 学校法人加計学園 可視光通信装置及び可視光通信方法
JP2021169958A (ja) * 2020-04-15 2021-10-28 朝日航洋株式会社 照明通信システムおよび照明通信システムの制御方法

Similar Documents

Publication Publication Date Title
Walter et al. Fast mutual relative localization of uavs using ultraviolet led markers
US10139837B2 (en) Unmanned aerial vehicle system and method with environmental sensing
CN110261823B (zh) 基于单个led灯的可见光室内通信定位方法及系统
CN102238986B (zh) 配有识别信标的无人驾驶飞机套件
CN106595639B (zh) 定位系统及其定位方法和装置及机器人
US10554308B2 (en) System and method for communication by means of visible light for underground tunnels
US20190007670A1 (en) Estimation system and automobile
US10997668B1 (en) Providing shade for optical detection of structural features
CN109116298B (zh) 一种定位方法、存储介质及定位系统
JP2017509981A (ja) センサデータの選択的処理
CN111307291B (zh) 基于无人机的地表温度异常检测和定位方法、装置及系统
US20180054876A1 (en) Out of plane sensor or emitter for commissioning lighting devices
Mount et al. 2d visual place recognition for domestic service robots at night
US20190280770A1 (en) Method and apparatus for free-space optical transmission
WO2024004770A1 (ja) センシングシステム及びセンシング方法
JP2020507854A (ja) 画像解析技法
Jalajamony et al. Drone aided thermal mapping for selective irrigation of localized dry spots
TWI823982B (zh) 用於識別空中交通對象之系統及方法
TWI656422B (zh) 無人機控制方法及其系統
WO2022110159A1 (zh) 定位方法、装置、可移动平台、地标及地标阵列
CN117110160A (zh) 一种基于多数据融合的夜间pm2.5监测方法及系统
KR102542556B1 (ko) 고해상도 드론 동영상과 딥러닝 객체 인식기술을 활용한 실시간 습지 지역 주요 식생 탐지와 식생 객체 위치 확인 방법 및 그 시스템
JP2017062124A (ja) 撮像装置
CN210155326U (zh) 一种基于近红外信标的相对位姿测量系统
Islam Convolutional Neural Network-based Optical Camera Communication System for Internet of Vehicles

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23831216

Country of ref document: EP

Kind code of ref document: A1