WO2023084982A1 - 情報処理装置、移動体および情報処理方法 - Google Patents

情報処理装置、移動体および情報処理方法 Download PDF

Info

Publication number
WO2023084982A1
WO2023084982A1 PCT/JP2022/038017 JP2022038017W WO2023084982A1 WO 2023084982 A1 WO2023084982 A1 WO 2023084982A1 JP 2022038017 W JP2022038017 W JP 2022038017W WO 2023084982 A1 WO2023084982 A1 WO 2023084982A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
control unit
imaging
automatic
tracking
Prior art date
Application number
PCT/JP2022/038017
Other languages
English (en)
French (fr)
Inventor
裕崇 田中
遼太 澤橋
大輔 石井
拓 八重樫
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023084982A1 publication Critical patent/WO2023084982A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to an information processing device, a mobile object, and an information processing method.
  • Patent Literature 1 if the target has similar features in both the image obtained by the stereo camera and the image obtained by the infrared camera, the target is similar to the target. There is a possibility of erroneously recognizing the target as a target. Therefore, it is desirable to provide an information processing apparatus, a moving object, and an information processing method that can reduce the possibility of erroneously recognizing an object similar to a target as a target.
  • An information processing apparatus automatically follows a target in an imaging area such that a target at a position corresponding to a characteristic temperature distribution included in thermography image data is included in the imaging area of a visible image.
  • a control unit for controlling the Thermography image data is data obtained by photographing in response to an automatic follow-up start command.
  • a moving body automatically follows a target in an imaging area such that a target located at a position corresponding to a characteristic temperature distribution included in thermography image data is included in the imaging area of a visible image. It has a control unit for controlling.
  • Thermography image data is data obtained by photographing in response to an automatic follow-up start command.
  • An information processing method includes the following procedures. ⁇ To control automatic tracking of the target in the imaging area so that the target in the position corresponding to the characteristic temperature distribution included in the thermography image data is included in the imaging area of the visible image. This data is obtained by shooting in response to the follow-up start command.
  • the target located at the position corresponding to the characteristic temperature distribution included in the thermography image data is included in the imaging area of the visible image. Automatic tracking of targets in the imaging area is controlled. As a result, for example, even if something similar to the target exists in the imaging area of the visible image, the target has a characteristic temperature distribution that is not found in the target-like object, so that the target-like object can be captured. Misidentification of an object as a target is reduced.
  • FIG. 1 is a diagram illustrating a schematic configuration example of an information processing system according to an embodiment of the present disclosure
  • FIG. 2 depicts an example of a characteristic temperature distribution produced by the cooling/heat generating device of FIG. 1;
  • FIG. 2 is a diagram showing a schematic configuration example of the cooling/heating device of FIG. 1;
  • FIG. 2 is a diagram showing a schematic configuration example of the tracking device of FIG. 1;
  • FIG. 2 is a diagram showing a schematic configuration example of a host device in FIG. 1;
  • FIG. 2 is a diagram illustrating an example of a processing procedure in the information processing system of FIG. 1;
  • FIG. FIG. 7 is a diagram showing an example of a processing procedure in automatic tracking in FIG. 6;
  • FIG. 10 is a diagram showing a state in which multiple targets exist;
  • 9 is a diagram showing an example of a processing procedure in the information processing system of FIG. 8;
  • FIG. 9 is a diagram showing an example of a follow-up mode switching procedure in the information processing system of FIG. 8.
  • FIG. 9 is a diagram showing an example of a processing procedure when temperature is abnormal in the information processing system of FIGS. 1 and 8;
  • FIG. 5 is a diagram showing a modification of the schematic configuration of the tracking device of FIG. 4; 1. It is a figure showing the example of a changed completely type of schematic structure of the information processing system of FIG.
  • FIG. 2 is a diagram showing a schematic configuration example of a command device that can be used in place of the cooling/heating device of FIG. 1;
  • FIG. 1 shows a schematic configuration example of an information processing system 1 .
  • the information processing system 1 includes, for example, two cooling/heating devices 10, a tracking device 20 and a host device 30, as shown in FIG.
  • the two cooling/heating devices 10 are configured to communicate with the tracking device 20 and the host device 30 via the network 40.
  • Tracking device 20 is configured to communicate with two cooling/heating devices 10 and host device 30 via network 40 .
  • Host device 30 is configured to communicate with two cooling/heating devices 10 and tracking device 20 via network 40 .
  • the network 40 is, for example, a communication network conforming to standards such as LAN (Local Area Network).
  • the number of cooling/heating devices 10 is not limited to two, and may be one or three or more.
  • the cooling/heating device 10 includes, for example, a Peltier element, and is a device that can perform either cooling or heat generation by changing the direction of current flow.
  • a thermographic image obtained by observing the human body including the cooling/heating device 10 with an infrared camera includes, for example, characteristic temperatures as shown in FIG. A distribution CTD may be included.
  • the characteristic temperature distribution CTD the location where the cooling/heating device 10 is placed is locally low or high temperature, and the surroundings of the cooling/heating device 10 are approximately the same as the skin temperature of the human body.
  • a temperature distribution in which a local low temperature or high temperature region exists in a temperature distribution that is approximately the same as the skin temperature of the human body is referred to as a characteristic temperature distribution CTD.
  • FIG. 3 shows a schematic configuration example of the cooling/heating device 10.
  • the cooling/heating device 10 has, for example, a cooling/heating unit 11, a drive unit 12, an input unit 13, a control unit 14, and a communication unit 15, as shown in FIG.
  • the cooling/heating unit 11 is, for example, a Peltier element, and is brought into a cooling state or a heat generating state by the flow of current supplied from the driving unit 12 .
  • the drive unit 12 has a circuit for supplying a predetermined current to the cooling/heat generation unit 11 under the control of the control unit 14 .
  • the input unit 13 receives an input from the user and outputs a signal corresponding to the received input to the control unit 14 .
  • the input unit 13 is composed of, for example, a plurality of buttons, and receives various commands from the user as follows by turning on/off the plurality of buttons by the user.
  • Command 1 Command to turn on/off cooling/heating device 10
  • Command 2 Command to start/end flight of tracking device 20
  • Command 3 Command to start/end photography in tracking device 20
  • Command 4 Tracking device 20 command to start/end automatic tracking of the target TG in the shooting area ⁇ of
  • the target TG is a person to whom the cooling/heating device 10 whose cooling/heating part 11 is in the cooling state or heat generation state is attached.
  • the control unit 14 executes processing according to user's commands input via the input unit 13 .
  • a command to turn on the power of the cooling/heating device 10 is input to the input unit 13 .
  • power is supplied from the power supply (for example, battery) in the cooling/heating device 10 to the driving unit 12 , the control unit 14 and the communication unit 15 . is supplied, and the drive unit 12, the control unit 14 and the communication unit 15 are activated.
  • the power supply for example, battery
  • the power supply for example, battery
  • the control unit 14 transmits the command to start the flight to the tracking device 20 via the communication unit 15 and the network 40 .
  • the control unit 14 transmits a flight end command to the tracking device 20 via the communication unit 15 and the network 40 .
  • the control unit 14 transmits a photographing start command to the tracking device 20 via the communication unit 15 and the network 40 .
  • the control unit 14 transmits a photography end command to the tracking device 20 via the communication unit 15 and the network 40 .
  • the control unit 14 When a command to start automatically following the target TG with the imaging region ⁇ of the tracking device 20 is input to the input unit 13 , the control unit 14 automatically causes the tracking device 20 via the communication unit 15 and the network 40 . Send a tracking start command. In the following, automatically following the target TG with the imaging region ⁇ of the tracking device 20 is referred to as "automatic following".
  • the control unit 14 transmits an automatic tracking termination command to the tracking device 20 via the communication unit 15 and the network 40 .
  • the control unit 14 transmits the tracking mode change command to the tracking device 20 via the communication unit 15 and the network 40 .
  • the communication unit 15 is an interface that communicates with the tracking device 20 and the host device 30 via the network 40.
  • FIG. 4 shows a schematic configuration example of the tracking device 20.
  • the tracking device 20 includes two cameras (RGB camera 21, infrared camera 22), two gimbal mechanisms 23 and 24, a storage unit 25, a flight mechanism 26, and a control unit. 27 and a communication unit 28 .
  • the RGB camera 21 is a device that generates visible image data (RGB (Red, Green, Blue) image data) by detecting externally incident light in the visible wavelength band.
  • the RGB camera 21 outputs visible moving image data (RGB moving image data) by generating RGB image data at a predetermined frame rate.
  • the infrared camera 22 is a device that generates thermographic image data by detecting light in the infrared wavelength band incident from the outside.
  • a CCD image sensor or a CMOS image sensor sensitive to light in the infrared wavelength band is composed of
  • the infrared camera 22 outputs thermography video data by generating thermography image data at a predetermined frame rate.
  • the infrared camera 22 performs, for example, the start/end of photographing and the adjustment of the angle of view under the control of the control unit 27 . By adjusting the angle of view, the width of the photographing area ⁇ of the infrared camera 22 changes.
  • the gimbal mechanism 23 is configured including one or more gimbals.
  • the gimbal mechanism 23 includes, for example, a gimbal that rotates the RGB camera 21 in the horizontal direction and a gimbal that rotates the RGB camera 21 in the vertical direction.
  • the gimbal mechanism 23 rotates these two gimbals under the control of the control unit 27, for example, so that the shooting area ⁇ of the RGB camera 21 can be moved in at least one of the horizontal direction and the vertical direction. ing.
  • the gimbal mechanism 24 includes one or more gimbals.
  • the gimbal mechanism 24 includes, for example, a gimbal that rotates the infrared camera 22 in the horizontal direction and a gimbal that rotates the infrared camera 22 in the vertical direction.
  • the gimbal mechanism 23 rotates these two gimbals under the control of the control unit 27, for example, so that the photographing area ⁇ of the infrared camera 22 can be moved in at least one of the horizontal direction and the vertical direction. ing.
  • the storage unit 25 includes, for example, a ROM (Read Only Memory) that stores various programs executed by the control unit 27, and a RAM (Random Access Memory) that stores various parameters, calculation results, sensor values, etc. ing.
  • the storage unit 25 stores, for example, a follow-up program 25a.
  • the tracking program 25a includes a series of procedures for controlling automatic tracking of the shooting area ⁇ of the RGB camera 21 with respect to the target TG.
  • the storage unit 25 stores, for example, information obtained by executing the tracking program 25a in the control unit 27 (for example, target information 25b).
  • the target information 25 b is position information corresponding to the characteristic temperature distribution CTD included in the thermography image data, specifically, position information of the target TG in the coordinate system of the RGB camera 21 .
  • the flight mechanism 26 includes an unmanned aerial vehicle.
  • the flight mechanism 26 has, for example, multiple sets of motors and propellers, and a drive section that drives each motor.
  • one propeller is provided for each motor, and the propellers are rotated by driving the motors according to control by the control unit 27 .
  • the lift force generated by the rotation of the propeller can cause the tracker 20 to lift off the ground or land on the ground.
  • the flight mechanism 26 moves the imaging area ⁇ of the infrared camera 22 and the imaging area ⁇ of the RGB camera 21 in at least one of the horizontal and vertical directions or rotates in the horizontal plane according to the control by the control unit 27. It is possible to let
  • the control unit 27 controls two cameras (RGB camera 21, infrared camera 22), two gimbal mechanisms 23, 24, storage unit 25, flight mechanism 26, and communication unit 28.
  • the control unit 27 controls automatic tracking of the shooting area ⁇ of the RGB camera 21 with respect to the target TG, for example, by loading the tracking program 25a.
  • the control unit 27 executes processing according to commands input from each cooling/heating device 10 or the host device 30, for example.
  • the control unit 27 when a flight start command is input from each cooling/heating device 10 or host device 30, the control unit 27 causes the flight mechanism 26 to take off, for example, the tracking device 20 to a predetermined height above the ground. Output command to levitate. For example, when a flight end command is input from each cooling/heating device 10 or host device 30, the control unit 27 outputs a command to return the tracking device 20 to the departure point to the flight mechanism 26, for example. For example, when a shooting start command is input from each cooling/heating device 10 or the host device 30, the control unit 27 outputs a shooting start command to the RGB camera 21. FIG. For example, when a shooting end command is input from each cooling/heating device 10 or host device 30 , the control unit 27 outputs a shooting end command to the RGB camera 21 .
  • the control unit 27 when an auto-following start command is input from each cooling/heating device 10 or host device 30, the control unit 27 sends a series of commands for auto-following to two cameras (RGB camera 21, infrared camera 22). , the two gimbal mechanisms 23 and 24 and the flight mechanism 26 .
  • the control unit 27 stops outputting the command for automatic follow-up.
  • the control unit 27 changes the follow-up mode.
  • the communication unit 28 is an interface that communicates with each cooling/heating device 10 and the host device 30 via the network 40 .
  • control unit 27 may give priority to the commands from the cooling/heating devices 10 when the commands from the cooling/heating devices 10 and the host device 30 conflict.
  • FIG. 5 shows a schematic configuration example of the host device 30.
  • the host device 30 has, for example, an input section 31, a storage section 32, a control section 33 and a communication section 34 as shown in FIG.
  • the input unit 31 receives input from the user and outputs a signal corresponding to the received input to the control unit 33 .
  • the input unit 13 is composed of an input interface such as a keyboard, a mouse, and a touch panel.
  • the storage unit 32 includes, for example, a ROM that stores various programs executed by the control unit 33, and a RAM that stores various parameters, calculation results, sensor values, and the like.
  • the storage unit 32 stores, for example, a follow-up program 32a.
  • the tracking program 32a includes a series of procedures for controlling automatic tracking of the shooting area ⁇ of the RGB camera 21 with respect to the target TG.
  • the control unit 33 controls the input unit 31, the storage unit 32 and the communication unit 34.
  • the control unit 33 controls automatic tracking of the shooting area ⁇ of the RGB camera 21 with respect to the target TG by loading the tracking program 32a.
  • the control unit 33 executes processing according to commands input from the input unit 31 .
  • the control unit 33 executes processing according to a user's command input via the input unit 31 .
  • the control unit 33 transmits the command to start the flight to the tracking device 20 via the communication unit 34 and the network 40 .
  • the control unit 33 transmits a flight end command to the tracking device 20 via the communication unit 34 and the network 40 .
  • the control unit 33 transmits a photographing start command to the tracking device 20 via the communication unit 34 and the network 40 .
  • the control unit 33 transmits a photography end command to the tracking device 20 via the communication unit 34 and the network 40 .
  • the control unit 33 transmits an automatic tracking start command to the tracking device 20 via the communication unit 34 and the network 40.
  • the control unit 33 transmits an automatic tracking termination command to the tracking device 20 via the communication unit 34 and the network 40 .
  • the control unit 33 transmits the tracking mode change command to the tracking device 20 via the communication unit 34 and the network 40 .
  • the communication unit 34 is an interface that communicates with each cooling/heating device 10 and the host device 30 via the network 40 .
  • FIG. 6 shows an example of a processing procedure in the information processing system 1.
  • the tracking device 20 determines whether or not a flight start command has been input from each cooling/heating device 10 or host device 30 to the tracking device 20 (step S101). As a result, if the flight start command has not been input, the tracking device 20 (control unit 27) waits for the flight start command to be input (step S102).
  • the tracking device 20 When a flight start command is input, the tracking device 20 (control unit 27) outputs a command to the flight mechanism 26, for example, to take off the tracking device 20 and float to a predetermined height above the ground.
  • the flight mechanism 26, for example, drives the drive unit based on the command and rotates the propeller, thereby causing the tracking device 20 to take off and float to a predetermined height from the ground (step S103).
  • the tracking device 20 determines whether or not a shooting start command has been input from each cooling/heating device 10 or host device 30 to the tracking device 20 (step S104). As a result, when the imaging start command has not been input, the tracking device 20 (control unit 27) waits for input of the imaging start command (step S105). When a shooting start command is input, the tracking device 20 (control unit 27) outputs a shooting start command to the RGB camera 21. FIG. The RGB camera 21 starts shooting based on the command, and acquires RGB image data (RGB moving image data) at a predetermined frame rate (step S106).
  • the tracking device 20 determines whether or not an automatic tracking start command has been input from each cooling/heating device 10 or host device 30 to the tracking device 20 (step S107). As a result, when the automatic follow-up start command has not been input, the tracking device 20 (control unit 27) waits for the input of the automatic follow-up start command (step S108).
  • the tracking device 20 sends a series of commands for executing automatic tracking to two cameras (RGB camera 21, infrared camera 22), two gimbal Outputs to mechanisms 23 , 24 and flight mechanism 26 .
  • the two cameras (RGB camera 21, infrared camera 22), the two gimbal mechanisms 23 and 24, and the flight mechanism 26 start automatic tracking based on the command (step S109).
  • the tracking device 20 determines whether an automatic follow-up end command has been input from each cooling/heating device 10 or host device 30 to the tracking device 20 (step S110). As a result, if the automatic follow-up end command has not been input, the tracking device 20 (control unit 27) waits for the input of the automatic follow-up end command (step S111).
  • the tracking device 20 sends various commands for stopping auto-tracking to two cameras (RGB camera 21, infrared camera 22), two gimbal Outputs to mechanisms 23 , 24 and flight mechanism 26 .
  • the two cameras (RGB camera 21, infrared camera 22), the two gimbal mechanisms 23 and 24, and the flight mechanism 26 terminate automatic tracking based on the instruction (step S112).
  • the tracking device 20 determines whether or not an imaging end command has been input from each cooling/heating device 10 or host device 30 to the tracking device 20 (step S113). As a result, if the imaging end command has not been input, the tracking device 20 (control unit 27) waits for input of the imaging end command (step S114). When the photographing end command is input, the tracking device 20 (control unit 27) outputs a photographing end command to the RGB camera 21. FIG. The RGB camera 21 ends the shooting based on the instruction (step S115).
  • the tracking device 20 determines whether or not a flight end command has been input from each cooling/heating device 10 or host device 30 to the tracking device 20 (step S116). As a result, when the end-of-flight command has not been input, the tracking device 20 (control unit 27) waits for the input of the end-of-flight command (step S117). When the flight end command is input, the tracking device 20 (control unit 27) outputs to the flight mechanism 26, for example, a command to return the tracking device 20 to the departure point. The flight mechanism 26 returns the tracking device 20 to the departure point by, for example, driving the drive unit based on the command and rotating the propeller (step S118).
  • FIG. 7 shows an example of a processing procedure in automatic tracking.
  • the tracking device 20 (control unit 27) first sets the imaging area ⁇ of the infrared camera 22 to an initial value (step S201). Next, the tracking device 20 (control unit 27) transmits an imaging start command to the infrared camera 22. FIG. The infrared camera 22 starts photographing based on the command, and generates thermography image data (thermography moving image data) at a predetermined frame rate. The tracking device 20 (control unit 27) acquires thermography image data (thermography moving image data) from the infrared camera 22 (step S202).
  • the tracking device 20 determines whether or not the acquired thermography image data (thermography video data) contains the characteristic temperature distribution CTD (target TG) (step S203). As a result, when the characteristic temperature distribution CTD (target TG) is not included in the thermography image data (thermography video data), the tracking device 20 (control unit 27) changes the imaging area ⁇ of the infrared camera 22. (Step S204). When the thermography image data (thermography moving image data) includes the characteristic temperature distribution CTD (target TG), it corresponds to the characteristic temperature distribution CTD (target TG) included in the thermography image data (thermography moving image data). Position information is derived (step S205). Specifically, the tracking device 20 (control unit 27) derives the position information of the target TG in the coordinate system of the RGB camera 21. FIG.
  • the tracking device 20 controls automatic tracking of the target in the shooting area ⁇ so that the target TG is included in the shooting area ⁇ of the RGB camera 21. Specifically, the tracking device 20 (control unit 27) sets the imaging region ⁇ such that the target TG is included in the imaging region ⁇ of the RGB camera 21 (for example, the central region of the imaging region ⁇ ) (step S206 ). Next, the tracking device 20 (control unit 27) acquires RGB image data (RGB moving image data) obtained by photographing the newly set photographing area ⁇ from the RGB camera 21 (step S207). Tracking device 20 (control unit 27 ) transmits the acquired RGB image data (RGB moving image data) to host device 30 via communication unit 28 and network 40 .
  • RGB image data RGB moving image data
  • the tracking device 20 acquires thermography image data (thermography video data) from the infrared camera 22 (step S208).
  • the tracking device 20 derives position information corresponding to the characteristic temperature distribution CTD (target TG) included in the acquired thermography image data (thermography moving image data) (step S209).
  • the tracking device 20 determines whether the target TG is moving (step S210).
  • the tracking device 20 compares the position information acquired in step S205 with the position information acquired in step S209, and if the difference is substantially negligible (for example, If the target TG is within the central area of the imaging area ⁇ ), the process moves to step S207 without resetting the imaging area ⁇ (as it is).
  • the difference is of a size that cannot be substantially ignored (for example, when the target TG is out of the central region of the imaging region ⁇ )
  • the imaging region ⁇ is changed so that the target TG is centered in the imaging region ⁇ . (Step S211), the process proceeds to step S207.
  • automatic tracking of the target TG in the imaging region ⁇ is controlled so that the target TG at a position corresponding to the characteristic temperature distribution CTD included in the thermography image data is included in the imaging region ⁇ of the RGB image data. be done.
  • the target TG has similar characteristics in both the RGB image data and the thermography image data, there is a possibility of erroneously recognizing something similar to the target TG as the target TG. can be eliminated.
  • automatic tracking is controlled by changing at least one of the orientation, angle of view, and position of the RGB camera 21 that acquires visible image data through photography.
  • the orientation of the RGB camera 21 can be adjusted by a gimbal mechanism 23, for example.
  • the angle of view of the RGB camera 21 can be adjusted by changing the focal length of the RGB camera 21, for example.
  • the position of RGB camera 21 can be adjusted by flight mechanism 26, for example. Thereby, automatic follow-up can be performed smoothly.
  • a gimbal mechanism 23 for adjusting the orientation of the RGB camera 21 is provided. Thereby, automatic follow-up can be performed smoothly. Further, in this embodiment, a flight mechanism 26 for adjusting the position of the RGB camera 21 is provided. Thereby, automatic follow-up can be performed smoothly.
  • FIG. 8 illustrates a case where four targets TG1, TG2, TG3, and TG4 are targets of automatic tracking.
  • FIG. 9 shows an example of an automatic follow-up processing procedure in this modified example.
  • the tracking device 20 (control unit 27) first sets the imaging area ⁇ of the infrared camera 22 to an initial value (step S301). Next, the tracking device 20 (control unit 27) transmits an imaging start command to the infrared camera 22. FIG. The infrared camera 22 starts photographing based on the command, and generates thermography image data (thermography moving image data) at a predetermined frame rate. The tracking device 20 (control unit 27) acquires thermography image data (thermography moving image data) from the infrared camera 22 (step S302).
  • the tracking device 20 determines whether or not a plurality of automatic follow-up start commands have been received (step S303). As a result, when only one automatic tracking start command is received, the tracking device 20 (control unit 27) adds one characteristic temperature distribution CTD (target TG) to the acquired thermography image data (thermography moving image data). is included (step S304).
  • CTD characteristic temperature distribution
  • thermography image data thermography moving image data
  • the tracking device 20 sets the imaging region ⁇ of the infrared camera 22 to change (step S305).
  • Information on the corresponding position is derived (step S306).
  • the tracking device 20 derives the position information of the target TG in the coordinate system of the RGB camera 21.
  • step S303 when a plurality of automatic tracking start commands have been received, the tracking device 20 (control unit 27) adds the number of automatic tracking targets (received automatic It is determined whether or not the number of characteristic temperature distributions CTD (target TG) equal to the number of tracking start commands is included (step S307).
  • the tracking device 20 when the thermography image data (thermography moving image data) does not include a number of characteristic temperature distributions CTD (targets TG) equal to the number of targets for automatic tracking, the tracking device 20 (control unit 27) The photographing area ⁇ of the infrared camera 22 is changed (step S307).
  • thermography image data includes a number of characteristic temperature distributions CTD (target TG) equal to the number of targets for automatic tracking
  • each feature included in the thermography image data (thermography video data) Information on the position corresponding to the target temperature distribution CTD (target TG) is derived (step S308).
  • the tracking device 20 (control unit 27) derives position information of each target TG in the coordinate system of the RGB camera 21.
  • the tracking device 20 controls automatic tracking of targets in the shooting area ⁇ of the RGB camera 21 so that all targets TG are included in the shooting area ⁇ . Specifically, the tracking device 20 (control unit 27) sets the imaging region ⁇ such that all the targets TG are included in the imaging region ⁇ of the RGB camera 21 (step S309). Next, the tracking device 20 (control unit 27) acquires RGB image data (RGB moving image data) obtained by photographing the newly set photographing area ⁇ from the RGB camera 21 (step S310). Tracking device 20 (control unit 27 ) transmits the acquired RGB image data (RGB moving image data) to host device 30 via communication unit 28 and network 40 .
  • RGB image data RGB moving image data
  • the tracking device 20 acquires thermography image data (thermography video data) from the infrared camera 22 (step S311).
  • the tracking device 20 derives position information corresponding to each characteristic temperature distribution CTD (target TG) included in the acquired thermography image data (thermography video data) (step S312).
  • the tracking device 20 determines whether each target TG is moving (step S313).
  • the tracking device 20 compares the position information acquired in step S306 with the position information acquired in step S312, and if the difference is substantially negligible (for example, If all the targets TG are within the central area of the imaging area ⁇ ), the imaging area ⁇ is not reset (as it is), and the process proceeds to step S310. If the difference is of a size that cannot be substantially ignored (for example, if at least one target TG is out of the central region of the imaging region ⁇ ), imaging is performed so that all target TGs are within the center of the imaging region ⁇ . The area ⁇ is changed (step S314), and the process proceeds to step S310.
  • each target TG in the imaging region ⁇ is arranged so that all of the plurality of targets TG at positions corresponding to the plurality of characteristic temperature distributions CTD included in the thermography image data are included in the imaging region ⁇ of the RGB image data. is controlled.
  • the target TG has similar characteristics in both the RGB image data and the thermography image data, there is a possibility of erroneously recognizing something similar to the target TG as the target TG. can be eliminated.
  • the follow-up mode A is automatic follow-up in which all of the targets TG to be automatically followed are within the photographing area ⁇ .
  • a follow-up mode B is defined as automatic follow-up in which a plurality of targets TG to be automatically followed are sequentially placed in the photographing area ⁇ one by one.
  • the tracking device 20 controls the tracking mode when a command to change the tracking mode (a signal for switching the automatic tracking method) is input from the cooling/heating device 10 or the host device 30, for example. Control automatic follow-up so that the method of automatic follow-up is switched according to the input of the command to change.
  • FIG. 10 shows an example of a series of processing procedures for changing the follow mode.
  • the tracking device 20 determines whether the following mode included in the command to change the following mode is the following mode A (step S401). As a result, when the follow-up mode included in the command to change the follow-up mode is the follow-up mode A, the tracking device 20 (control unit 27) sets all the targets TG to the imaging region ⁇ (or the center of the imaging region ⁇ ). (step S402). The tracking device 20 (control unit 27) acquires RGB image data (RGB moving image data) obtained by photographing the set photographing area ⁇ from the RGB camera 21, and transmits the data to the host device 30 via the communication unit 28 and the network 40. Send (step S403).
  • RGB image data RGB moving image data
  • the tracking device 20 determines whether the follow-up mode included in the command to change the follow-up mode is follow-up mode B. (step S404). As a result, when the following mode included in the command to change the following mode is the following mode B, the tracking device 20 (control unit 27) shoots each target TG to be automatically tracked one by one. A region ⁇ is set (step S405). The tracking device 20 (control unit 27) selects a plurality of set shooting regions ⁇ in a predetermined order, and acquires RGB image data (RGB moving image data) obtained by shooting the selected shooting regions ⁇ from the RGB camera 21. and transmitted to the host device 30 via the communication unit 28 and the network 40 (step S406).
  • RGB image data RGB moving image data
  • the tracking device 20 controls automatic tracking so that a plurality of targets TG are photographed in order according to the positional relationship of each target TG. good too.
  • the tracking device 20 selects a plurality of Automatic tracking may be controlled so that the target TG is photographed. In this way, by controlling automatic tracking based on some kind of relationship among a plurality of characteristic temperature distributions CTD, labor can be reduced compared to manual tracking.
  • the tracking device 20 (control unit 27) adds an abnormal temperature distribution different from the characteristic temperature distribution CTD (hereinafter referred to as "abnormal temperature distribution”) is detected, the following processing may be performed.
  • FIG. 11 shows an example of a series of processing procedures when an abnormal temperature distribution is detected.
  • the tracking device 20 (control unit 27) first sets the imaging area ⁇ of the infrared camera 22 to an initial value (step S501). Next, the tracking device 20 (control unit 27) transmits an imaging start command to the infrared camera 22. FIG. The infrared camera 22 starts photographing based on the command, and generates thermography image data (thermography moving image data) at a predetermined frame rate. The tracking device 20 (control unit 27) acquires thermography image data (thermography moving image data) from the infrared camera 22 (step S502).
  • the tracking device 20 determines whether or not the acquired thermography image data (thermography video data) contains an abnormal temperature distribution (step S503). As a result, when the abnormal temperature distribution is not included in the thermography image data (thermography video data), the tracking device 20 (control unit 27) changes the photographing area ⁇ of the infrared camera 22 (step S504). If the thermography image data (thermography moving image data) contains an abnormal temperature distribution, information on the position corresponding to the abnormal temperature distribution included in the thermography image data (thermography moving image data) is derived (step S505). Specifically, the tracking device 20 (control unit 27) derives position information of the abnormal temperature distribution in the coordinate system of the RGB camera 21. FIG.
  • the tracking device 20 controls automatic tracking of the source of the abnormal temperature distribution in the imaging region ⁇ so that the source of the abnormal temperature distribution is included in the imaging region ⁇ of the RGB camera 21. Specifically, the tracking device 20 (control unit 27) sets the imaging region ⁇ such that the source of the abnormal temperature distribution is included in the imaging region ⁇ of the RGB camera 21 (for example, the central region of the imaging region ⁇ ). (step S506). Next, the tracking device 20 (control unit 27) acquires RGB image data (RGB moving image data) obtained by photographing the newly set photographing area ⁇ from the RGB camera 21 (step S507). Tracking device 20 (control unit 27 ) transmits the acquired RGB image data (RGB moving image data) to host device 30 via communication unit 28 and network 40 .
  • RGB image data RGB moving image data
  • the user of the information processing system 1 can identify the source of the abnormal temperature distribution. If the source of the abnormal temperature distribution is, for example, the cooling/heating device 10, the user determines that an abnormality has occurred in the cooling/heating device 10 with the abnormal temperature, and collects the cooling/heating device 10. be able to. As a result, failures and accidents such as thermal runaway of robots (electronic devices) can be prevented. If the source of the abnormal temperature distribution is, for example, a patient suffering from heat stroke, the user can treat the patient suffering from heat stroke early.
  • the flight mechanism 26 may be omitted.
  • the tracking device 20 may be fixed, for example, at the venue where the target TG is. Even in this case, the same effects as those of the above embodiment and its modification can be obtained, except that the positions of the RGB camera 21 and the infrared camera 22 cannot be greatly changed.
  • the cooling/heat generating device 10 may be omitted.
  • the same effects as those of the above embodiment and its modification can be obtained.
  • the present disclosure can have the following configurations.
  • the information processing apparatus wherein the thermography image data is data obtained by photographing in response to the automatic follow-up start command.
  • the control unit controls the automatic follow-up by changing at least one of an orientation, an angle of view, and a position of an imaging unit that acquires visible image data by imaging.
  • thermography image data includes a plurality of characteristic temperature distributions
  • the control unit controls the imaging area so that all of the plurality of targets at positions corresponding to the plurality of characteristic temperature distributions are included in the imaging region.
  • the information processing apparatus according to (1) or (2) which controls automatic follow-up.
  • the control unit controls the automatic imaging so that the plurality of targets are photographed in order according to the temperature magnitude relationship of each of the characteristic temperature distributions.
  • the information processing apparatus according to (1) or (2) which controls tracking.
  • (5) The information processing according to any one of (1) to (4), wherein the control unit controls the automatic tracking such that the automatic tracking method is switched in response to an input of a signal for switching the automatic tracking method. Device.
  • thermographic image data is data obtained by photographing in response to the automatic follow-up start command.
  • control unit controls the automatic tracking by changing at least one of a direction, an angle of view, and a position of an imaging unit that acquires visible image data by imaging.
  • the imaging unit an adjustment unit that adjusts at least one of the orientation, angle of view, and position of the imaging unit; (7) The moving body according to (7), wherein the control section controls the automatic tracking by controlling the adjustment section to change at least one of orientation, angle of view, and position of the photographing section.
  • the adjusting unit includes one or more gimbal mechanisms.
  • the adjustment unit includes a flight mechanism that changes the spatial position of the moving object.
  • thermography image data includes a plurality of the characteristic temperature distributions
  • the control unit controls the automatic imaging so that the plurality of targets are photographed in order according to the temperature magnitude relationship of each of the characteristic temperature distributions.
  • thermography image data is data obtained by photographing in response to the automatic follow-up start command.
  • the target located at the position corresponding to the characteristic temperature distribution included in the thermography image data is included in the imaging area of the visible image. Automatic tracking of targets in the imaging area is controlled. As a result, for example, even if something similar to the target exists in the imaging area of the visible image, the target has a characteristic temperature distribution that is not found in the target-like object, so that the target-like object can be captured. It is possible to reduce misidentification of what is targeted as a target.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Radiation Pyrometers (AREA)

Abstract

本開示の一実施の形態に係る情報処理装置は、サーモグラフィ画像データに含まれる特徴的温度分布に対応する位置にあるターゲットが可視画像の撮影領域に含まれるように、撮影領域のターゲットに対する自動追従を制御する制御部を備えている。サーモグラフィ画像データは、自動追従の開始指令に応じて撮影を行うことにより得られるデータである。

Description

情報処理装置、移動体および情報処理方法
　本開示は、情報処理装置、移動体および情報処理方法に関する。
　近年、人や自動車などのターゲットを自動追従しながら撮影を行う移動体（いわゆるドローン）が実用化されている。この移動体では、移動体が自律移動により障害物を回避しつつ、ターゲットとの距離を一定に保ちながら飛行・撮影が行われる。この移動体では、追従のための認識がステレオカメラによるセンシングによって行われているため、周囲が明るすぎたり暗すぎたりする場合や、ターゲットに類似したものがセンシング領域に現れたとき、ターゲットを見失うことがある。
　このような問題に対しては、例えば、ステレオカメラおよび赤外線カメラの両方を用いて、ターゲットを追跡することが考えられる（例えば、特許文献１参照）。
特表２０１７－２０４７５７号公報
　しかし、特許文献１に記載の方法では、ターゲットがステレオカメラで得られた画像と、赤外線カメラで得られた画像のいずれにおいても似たような特徴を有している場合には、ターゲットに類似したものをターゲットと誤認識してしまう可能性がある。従って、ターゲットに類似したものをターゲットと誤認識する可能性を低減することの可能な情報処理装置、移動体および情報処理方法を提供することが望ましい。
　本開示の一実施の形態に係る情報処理装置は、サーモグラフィ画像データに含まれる特徴的温度分布に対応する位置にあるターゲットが可視画像の撮影領域に含まれるように、撮影領域のターゲットに対する自動追従を制御する制御部を備えている。サーモグラフィ画像データは、自動追従の開始指令に応じて撮影を行うことにより得られるデータである。
　本開示の一実施の形態に係る移動体は、サーモグラフィ画像データに含まれる特徴的温度分布に対応する位置にあるターゲットが可視画像の撮影領域に含まれるように、撮影領域のターゲットに対する自動追従を制御する制御部を備えている。サーモグラフィ画像データは、自動追従の開始指令に応じて撮影を行うことにより得られるデータである。
　本開示の一実施の形態に係る情報処理方法は、以下の手順を含む。
・サーモグラフィ画像データに含まれる特徴的温度分布に対応する位置にあるターゲットが可視画像の撮影領域に含まれるように、撮影領域のターゲットに対する自動追従を制御すること
　ここで、サーモグラフィ画像データは、自動追従の開始指令に応じて撮影を行うことにより得られるデータである
　本開示の一実施の形態に係る情報処理装置、移動体および情報処理方法では、サーモグラフィ画像データに含まれる特徴的温度分布に対応する位置にあるターゲットが可視画像の撮影領域に含まれるように、撮影領域のターゲットに対する自動追従が制御される。これにより、例えば、ターゲットに類似したものが可視画像の撮影領域に存在する場合であっても、ターゲットが、ターゲットに類似したものには無い特徴的温度分布を持っていることにより、ターゲットに類似したものをターゲットと誤認することが低減される。
本開示の一実施の形態に係る情報処理システムの概略構成例を表す図である。 図１の冷却／発熱デバイスによって生成される特徴的温度分布の一例を表す図である。 図１の冷却／発熱デバイスの概略構成例を表す図である。 図１の追跡装置の概略構成例を表す図である。 図１のホスト装置の概略構成例を表す図である。 図１の情報処理システムにおける処理手順の一例を表す図である。 図６の自動追従における処理手順の一例を表す図である。 複数のターゲットが存在する様子を表す図である。 図８の情報処理システムにおける処理手順の一例を表す図である。 図８の情報処理システムにおける追従モードの切り替え手順の一例を表す図である。 図１，図８の情報処理システムにおける温度異常時の処理手順の一例を表す図である。 図４の追跡装置の概略構成の一変形例を表す図である。 図１の情報処理システムの概略構成の一変形例を表す図である。 図１の冷却／発熱デバイスの代わりに用いられ得る指令装置の概略構成例を表す図である。
　以下、本開示を実施するための形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。

１．実施の形態（図１～図７）
２．変形例
　　　変形例Ａ：複数のターゲットを撮像領域に収める例（図８，図９）
　　　変形例Ｂ：複数のターゲットを順番に撮像領域に収める例（図１０）
　　　変形例Ｃ：温度異常を検出する例（図１１）
　　　変形例Ｄ：飛行機構を省略した例（図１２）
　　　変形例Ｅ：ホスト装置を省略した例（図１３）
　　　変形例Ｆ：冷却部を省略した例（図１４）
＜１．実施の形態＞
[構成]
　本開示の一実施の形態に係る情報処理システム１について説明する。図１は、情報処理システム１の概略構成例を表したものである。情報処理システム１は、例えば、図１に示したように、２つの冷却／発熱デバイス１０、追跡装置２０およびホスト装置３０を備えている。
　２つの冷却／発熱デバイス１０は、ネットワーク４０を介して追跡装置２０およびホスト装置３０と通信可能に構成されている。追跡装置２０は、ネットワーク４０を介して２つの冷却／発熱デバイス１０およびホスト装置３０と通信可能に構成されている。ホスト装置３０は、ネットワーク４０を介して２つの冷却／発熱デバイス１０および追跡装置２０と通信可能に構成されている。ネットワーク４０は、例えば、ＬＡＮ（Local　Area　Network）などの規格に準拠した通信ネットワークである。情報処理システム１において、冷却／発熱デバイス１０の数は２つに限定されるものではなく、１つまたは３つ以上であってもよい。
（冷却／発熱デバイス１０）
　冷却／発熱デバイス１０は、例えば、ペルチェ素子を含んで構成されており、電流の方向を変えることで冷却および発熱のいずれか一方を行うことが可能なデバイスである。冷却／発熱デバイス１０が人体の表面に配置されたとき、冷却／発熱デバイス１０を含む人体を赤外線カメラで観察することにより得られるサーモグラフィ画像には、例えば、図２に示したような特徴的温度分布ＣＴＤが含まれ得る。特徴的温度分布ＣＴＤでは、冷却／発熱デバイス１０を配置した箇所が局所的に低温もしくは高温となっており、冷却／発熱デバイス１０の周囲が人体の皮膚温度と同程度となっている。本実施の形態では、人体の皮膚温度と同程度の温度分布の中に、局所的な低温もしくは高温の領域が存在する温度分布を特徴的温度分布ＣＴＤと称するものとする。
　図３は、冷却／発熱デバイス１０の概略構成例を表したものである。冷却／発熱デバイス１０は、例えば、図３に示したように、冷却／発熱部１１、駆動部１２、入力部１３、制御部１４および通信部１５を有している。
　冷却／発熱部１１は、例えば、ペルチェ素子であり、駆動部１２から供給される電流が流れることにより、冷却状態になったり、発熱状態になったりする。駆動部１２は、制御部１４からの制御に従って、冷却／発熱部１１に対して所定の電流を流す回路を有している。入力部１３は、ユーザからの入力を受け付け、受け付けた入力に応じた信号を制御部１４に出力する。入力部１３は、例えば、複数のボタンによって構成されており、ユーザによって複数のボタンがオン・オフされることにより、ユーザから下記のような各種指令を受け付ける。
　指令１：冷却／発熱デバイス１０の電源をオン・オフする指令
　指令２：追跡装置２０の飛行を開始・終了する指令
　指令３：追跡装置２０における撮影を開始・終了する指令
　指令４：追跡装置２０の撮影領域βの、ターゲットＴＧに対する
　　　　　自動追従を開始・終了する指令
　ターゲットＴＧは、冷却／発熱部１１が冷却状態もしくは発熱状態となっている冷却／発熱デバイス１０が取り付けられている人である。なお、冷却／発熱部１１に電流がながれておらず、冷却状態にも発熱状態にもなっていない冷却／発熱デバイス１０が取り付けられている人は、非ターゲットＵＴＧである（つまり、ターゲットＴＧではない）。
　制御部１４は、例えば、入力部１３を介して入力されたユーザの指令に応じた処理を実行する。冷却／発熱デバイス１０の電源をオンする指令が入力部１３に入力されると、冷却／発熱デバイス１０内の電源（例えば、電池）から駆動部１２，制御部１４および通信部１５に対して電力が供給され、駆動部１２，制御部１４および通信部１５が起動する。冷却／発熱デバイス１０の電源をオフする指令が入力部１３に入力されると、冷却／発熱デバイス１０内の電源（例えば、電池）から駆動部１２，制御部１４および通信部１５に対する電力供給が停止され、駆動部１２，制御部１４および通信部１５の動作が停止する。
　追跡装置２０の飛行を開始する指令が入力部１３に入力されると、制御部１４は、通信部１５、ネットワーク４０を介して追跡装置２０に飛行開始指令を送信する。追跡装置２０の飛行を終了する指令が入力部１３に入力されると、制御部１４は、通信部１５、ネットワーク４０を介して追跡装置２０に飛行終了指令を送信する。追跡装置２０における撮影を開始する指令が入力部１３に入力されると、制御部１４は、通信部１５、ネットワーク４０を介して追跡装置２０に撮影開始指令を送信する。追跡装置２０における撮影を終了する指令が入力部１３に入力されると、制御部１４は、通信部１５、ネットワーク４０を介して追跡装置２０に撮影終了指令を送信する。
　追跡装置２０の撮影領域βをターゲットＴＧに対して自動追従させることを開始する指令が入力部１３に入力されると、制御部１４は、通信部１５、ネットワーク４０を介して追跡装置２０に自動追従開始指令を送信する。以下では、追跡装置２０の撮影領域βをターゲットＴＧに対して自動追従させることを「自動追従」と称する。自動追従を終了する指令が入力部１３に入力されると、制御部１４は、通信部１５、ネットワーク４０を介して追跡装置２０に自動追従終了指令を送信する。追従モードを変更する指令が入力部１３に入力されると、制御部１４は、通信部１５、ネットワーク４０を介して追跡装置２０に追従モード変更指令を送信する。
　通信部１５は、ネットワーク４０を介して追跡装置２０やホスト装置３０と通信するインターフェースである。
（追跡装置２０）
　図４は、追跡装置２０の概略構成例を表したものである。追跡装置２０は、例えば、図４に示したように、２つのカメラ（ＲＧＢカメラ２１，赤外線カメラ２２）と、２つのジンバル機構２３，２４と、記憶部２５と、飛行機構２６と、制御部２７と、通信部２８とを有している。
　ＲＧＢカメラ２１は、外部から入射する可視波長帯の光を検出することにより可視画像データ（ＲＧＢ（Red,Green,Blue）画像データ）を生成するデバイスであり、例えば、可視波長帯の光に感度を有するＣＣＤ（Charge Coupled Devices）イメージセンサもしくはＣＭＯＳ（complementary metal oxide semiconductor）イメージセンサを含んで構成されている。ＲＧＢカメラ２１は、所定のフレームレートでＲＧＢ画像データを生成することにより可視動画データ（ＲＧＢ動画データ）を出力する。ＲＧＢカメラ２１は、例えば、制御部２７からの制御に従って、撮影の開始・終了を行ったり、画角の調整を行ったりする。画角の調整により、ＲＧＢカメラ２１の撮影領域βの広さが変化する。
　赤外線カメラ２２は、外部から入射する赤外波長帯の光を検出することによりサーモグラフィ画像データを生成するデバイスであり、例えば、赤外波長帯の光に感度を有するＣＣＤイメージセンサもしくはＣＭＯＳイメージセンサを含んで構成されている。赤外線カメラ２２は、所定のフレームレートでサーモグラフィ画像データを生成することによりサーモグラフィ動画データを出力する。赤外線カメラ２２は、例えば、制御部２７からの制御に従って、撮影の開始・終了を行ったり、画角の調整を行ったりする。画角の調整により、赤外線カメラ２２の撮影領域αの広さが変化する。
　ジンバル機構２３は、１または複数のジンバルを含んで構成されている。ジンバル機構２３は、例えば、ＲＧＢカメラ２１を水平方向に回転させるジンバルと、ＲＧＢカメラ２１を垂直方向に回転させるジンバルとを含んで構成されている。ジンバル機構２３は、例えば、制御部２７による制御に従って、これら２つのジンバルを回転させることにより、ＲＧＢカメラ２１の撮影領域βを水平方向および垂直方向の少なくとも一方の方向に移動させることが可能となっている。
　ジンバル機構２４は、１または複数のジンバルを含んで構成されている。ジンバル機構２４は、例えば、赤外線カメラ２２を水平方向に回転させるジンバルと、赤外線カメラ２２を垂直方向に回転させるジンバルとを含んで構成されている。ジンバル機構２３は、例えば、制御部２７による制御に従って、これら２つのジンバルを回転させることにより、赤外線カメラ２２の撮影領域αを水平方向および垂直方向の少なくとも一方の方向に移動させることが可能となっている。
　記憶部２５は、例えば、制御部２７により実行される各種プログラムを記憶するＲＯＭ（Read　Only　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random　Access　Memory）を含んで構成されている。記憶部２５には、例えば、追従プログラム２５ａが記憶されている。追従プログラム２５ａは、ＲＧＢカメラ２１の撮影領域βの、ターゲットＴＧに対する自動追従を制御するための一連の手順を含んでいる。
　記憶部２５には、例えば、制御部２７において追従プログラム２５ａが実行されることにより得られる情報（例えば、ターゲット情報２５ｂ）が記憶される。ターゲット情報２５ｂは、サーモグラフィ画像データに含まれる特徴的温度分布ＣＴＤに対応する位置の情報であり、具体的には、ＲＧＢカメラ２１の座標系におけるターゲットＴＧの位置情報である。
　飛行機構２６は、無人航空機を含む。飛行機構２６は、例えば、複数組のモータおよびプロペラと、各モータを駆動する駆動部とを有している。飛行機構２６では、例えば、モータごとにプロペラが１つずつ設けられており、制御部２７による制御に従って、モータが駆動されることによりプロペラが回転する。プロペラの回転によって生じる揚力によって追跡装置２０を地面から浮上させたり、地面に着地させたりすることが可能である。また、各プロペラの回転数の比率を変化させることにより、追跡装置２０を地面から浮上させた状態で、空間内を水平方向や垂直方向に移動させたり、水平面内で回転させたりすることが可能である。従って、飛行機構２６は、制御部２７による制御に従って、赤外線カメラ２２の撮影領域αや、ＲＧＢカメラ２１の撮影領域βを水平方向および垂直方向の少なくとも一方の方向に移動させたり、水平面内で回転させたりすることが可能となっている。
　制御部２７は、２つのカメラ（ＲＧＢカメラ２１，赤外線カメラ２２）、２つのジンバル機構２３，２４、記憶部２５、飛行機構２６および通信部２８を制御する。制御部２７は、例えば、追従プログラム２５ａがロードされることにより、ＲＧＢカメラ２１の撮影領域βの、ターゲットＴＧに対する自動追従を制御する。制御部２７は、例えば、各冷却／発熱デバイス１０またはホスト装置３０から入力される指令に応じた処理を実行する。
　制御部２７は、例えば、各冷却／発熱デバイス１０またはホスト装置３０から飛行開始指令が入力されると、飛行機構２６に対して、例えば、追跡装置２０を離陸させて地面から所定の高さに浮上させる指令を出力する。制御部２７は、例えば、各冷却／発熱デバイス１０またはホスト装置３０から飛行終了指令が入力されると、飛行機構２６に対して、例えば、出発地点に追跡装置２０を戻す指令を出力する。制御部２７は、例えば、各冷却／発熱デバイス１０またはホスト装置３０から撮影開始指令が入力されると、ＲＧＢカメラ２１に対して、撮影を開始する指令を出力する。制御部２７は、例えば、各冷却／発熱デバイス１０またはホスト装置３０から撮影終了指令が入力されると、ＲＧＢカメラ２１に対して、撮影を終了する指令を出力する。
　制御部２７は、例えば、各冷却／発熱デバイス１０またはホスト装置３０から自動追従開始指令が入力されると、自動追従のための一連の指令を、２つのカメラ（ＲＧＢカメラ２１，赤外線カメラ２２）、２つのジンバル機構２３，２４および飛行機構２６に対して出力する。制御部２７は、例えば、各冷却／発熱デバイス１０またはホスト装置３０から自動追従終了指令が入力されると、自動追従のための指令の出力を停止する。制御部２７は、例えば、各冷却／発熱デバイス１０またはホスト装置３０から、追従モードを変更する指令が入力されると、制御部２７は、追従モードを変更する。
　通信部２８は、ネットワーク４０を介して各冷却／発熱デバイス１０やホスト装置３０と通信するインターフェースである。
　なお、制御部２７は、各冷却／発熱デバイス１０およびホスト装置３０からの指令が競合した場合には、各冷却／発熱デバイス１０からの指令を優先してもよい。
（ホスト装置３０）
　図５は、ホスト装置３０の概略構成例を表したものである。ホスト装置３０は、例えば、図５に示したように、入力部３１、記憶部３２、制御部３３および通信部３４を有している。
　入力部３１は、ユーザからの入力を受け付け、受け付けた入力に応じた信号を制御部３３に出力する。入力部１３は、例えば、キーボードやマウス、タッチパネルなどの入力インターフェースで構成されている。記憶部３２は、例えば、制御部３３により実行される各種プログラムを記憶するＲＯＭ、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭを含んで構成されている。記憶部３２には、例えば、追従プログラム３２ａが記憶されている。追従プログラム３２ａは、ＲＧＢカメラ２１の撮影領域βの、ターゲットＴＧに対する自動追従を制御するための一連の手順を含んでいる。
　制御部３３は、入力部３１、記憶部３２および通信部３４を制御する。制御部３３は、例えば、追従プログラム３２ａがロードされることにより、ＲＧＢカメラ２１の撮影領域βの、ターゲットＴＧに対する自動追従を制御する。制御部３３は、例えば、入力部３１から入力される指令に応じた処理を実行する。
　制御部３３は、例えば、入力部３１を介して入力されたユーザの指令に応じた処理を実行する。追跡装置２０の飛行を開始する指令が入力部３１に入力されると、制御部３３は、通信部３４、ネットワーク４０を介して追跡装置２０に飛行開始指令を送信する。追跡装置２０の飛行を終了する指令が入力部３１に入力されると、制御部３３は、通信部３４、ネットワーク４０を介して追跡装置２０に飛行終了指令を送信する。追跡装置２０における撮影を開始する指令が入力部３１に入力されると、制御部３３は、通信部３４、ネットワーク４０を介して追跡装置２０に撮影開始指令を送信する。追跡装置２０における撮影を終了する指令が入力部３１に入力されると、制御部３３は、通信部３４、ネットワーク４０を介して追跡装置２０に撮影終了指令を送信する。
　自動追従を開始する指令が入力部３１に入力されると、制御部３３は、通信部３４、ネットワーク４０を介して追跡装置２０に自動追従開始指令を送信する。自動追従を終了する指令が入力部３１に入力されると、制御部３３は、通信部３４、ネットワーク４０を介して追跡装置２０に自動追従終了指令を送信する。追従モードを変更する指令が入力部３１に入力されると、制御部３３は、通信部３４、ネットワーク４０を介して追跡装置２０に追従モード変更指令を送信する。通信部３４は、ネットワーク４０を介して各冷却／発熱デバイス１０やホスト装置３０と通信するインターフェースである。
[動作]
　次に、情報処理システム１における処理手順について説明する。
　図６は、情報処理システム１における処理手順の一例を表したものである。追跡装置２０（制御部２７）は、各冷却／発熱デバイス１０またはホスト装置３０から追跡装置２０に対して、飛行開始指令が入力されたか否かを判定する（ステップＳ１０１）。その結果、飛行開始指令が入力されていない場合には、追跡装置２０（制御部２７）は、飛行開始指令の入力を待つ（ステップＳ１０２）。飛行開始指令が入力された場合には、追跡装置２０（制御部２７）は、飛行機構２６に対して、例えば、追跡装置２０を離陸させて地面から所定の高さに浮上させる指令を出力する。飛行機構２６は、例えば、その指令に基づいて駆動部を駆動し、プロペラを回転させることにより、追跡装置２０を離陸させて地面から所定の高さに浮上させる（ステップＳ１０３）。
　次に、追跡装置２０（制御部２７）は、各冷却／発熱デバイス１０またはホスト装置３０から追跡装置２０に対して、撮影開始指令が入力されたか否かを判定する（ステップＳ１０４）。その結果、撮影開始指令が入力されていない場合には、追跡装置２０（制御部２７）は、撮影開始指令の入力を待つ（ステップＳ１０５）。撮影開始指令が入力された場合には、追跡装置２０（制御部２７）は、ＲＧＢカメラ２１に対して、撮影を開始する指令を出力する。ＲＧＢカメラ２１は、その指令に基づいて撮影を開始し、所定のフレームレートでＲＧＢ画像データ（ＲＧＢ動画データ）を取得する（ステップＳ１０６）。
　次に、追跡装置２０（制御部２７）は、各冷却／発熱デバイス１０またはホスト装置３０から追跡装置２０に対して、自動追従開始指令が入力されたか否かを判定する（ステップＳ１０７）。その結果、自動追従開始指令が入力されていない場合には、追跡装置２０（制御部２７）は、自動追従開始指令の入力を待つ（ステップＳ１０８）。自動追従開始指令が入力された場合には、追跡装置２０（制御部２７）は、自動追従を実行するための一連の指令を、２つのカメラ（ＲＧＢカメラ２１，赤外線カメラ２２）、２つのジンバル機構２３，２４および飛行機構２６に対して出力する。２つのカメラ（ＲＧＢカメラ２１，赤外線カメラ２２）、２つのジンバル機構２３，２４および飛行機構２６は、その指令に基づいて自動追従を開始する（ステップＳ１０９）。
　次に、追跡装置２０（制御部２７）は、各冷却／発熱デバイス１０またはホスト装置３０から追跡装置２０に対して、自動追従終了指令が入力されたか否かを判定する（ステップＳ１１０）。その結果、自動追従終了指令が入力されていない場合には、追跡装置２０（制御部２７）は、自動追従終了指令の入力を待つ（ステップＳ１１１）。自動追従終了指令が入力された場合には、追跡装置２０（制御部２７）は、自動追従を停止するための種々の指令を、２つのカメラ（ＲＧＢカメラ２１，赤外線カメラ２２）、２つのジンバル機構２３，２４および飛行機構２６に対して出力する。２つのカメラ（ＲＧＢカメラ２１，赤外線カメラ２２）、２つのジンバル機構２３，２４および飛行機構２６は、その指令に基づいて自動追従を終了する（ステップＳ１１２）。
　次に、追跡装置２０（制御部２７）は、各冷却／発熱デバイス１０またはホスト装置３０から追跡装置２０に対して、撮影終了指令が入力されたか否かを判定する（ステップＳ１１３）。その結果、撮影終了指令が入力されていない場合には、追跡装置２０（制御部２７）は、撮影終了指令の入力を待つ（ステップＳ１１４）。撮影終了指令が入力された場合には、追跡装置２０（制御部２７）は、ＲＧＢカメラ２１に対して、撮影を終了する指令を出力する。ＲＧＢカメラ２１は、その指令に基づいて撮影を終了する（ステップＳ１１５）。
　追跡装置２０（制御部２７）は、各冷却／発熱デバイス１０またはホスト装置３０から追跡装置２０に対して、飛行終了指令が入力されたか否かを判定する（ステップＳ１１６）。その結果、飛行終了指令が入力されていない場合には、追跡装置２０（制御部２７）は、飛行終了指令の入力を待つ（ステップＳ１１７）。飛行終了指令が入力された場合には、追跡装置２０（制御部２７）は、飛行機構２６に対して、例えば、出発地点に追跡装置２０を戻す指令を出力する。飛行機構２６は、例えば、その指令に基づいて駆動部を駆動し、プロペラを回転させることにより、追跡装置２０を出発地点に戻す（ステップＳ１１８）。
　次に、上述のステップＳ１０９における自動追従の手順について説明する。図７は、自動追従における処理手順の一例を表したものである。
　追跡装置２０（制御部２７）は、まず、赤外線カメラ２２の撮影領域αを初期値に設定する（ステップＳ２０１）。次に、追跡装置２０（制御部２７）は、赤外線カメラ２２に対して撮影開始指令を送信する。赤外線カメラ２２は、その指令に基づいて撮影を開始し、所定のフレームレートでサーモグラフィ画像データ（サーモグラフィ動画データ）を生成する。追跡装置２０（制御部２７）は、赤外線カメラ２２からサーモグラフィ画像データ（サーモグラフィ動画データ）を取得する（ステップＳ２０２）。
　次に、追跡装置２０（制御部２７）は、取得したサーモグラフィ画像データ（サーモグラフィ動画データ）に特徴的温度分布ＣＴＤ（ターゲットＴＧ）が含まれているか否かを判定する（ステップＳ２０３）。その結果、サーモグラフィ画像データ（サーモグラフィ動画データ）に特徴的温度分布ＣＴＤ（ターゲットＴＧ）が含まれていない場合には、追跡装置２０（制御部２７）は、赤外線カメラ２２の撮影領域αを変更する（ステップＳ２０４）。サーモグラフィ画像データ（サーモグラフィ動画データ）に特徴的温度分布ＣＴＤ（ターゲットＴＧ）が含まれていた場合には、サーモグラフィ画像データ（サーモグラフィ動画データ）に含まれる特徴的温度分布ＣＴＤ（ターゲットＴＧ）に対応する位置の情報を導出する（ステップＳ２０５）。具体的には、追跡装置２０（制御部２７）は、ＲＧＢカメラ２１の座標系におけるターゲットＴＧの位置情報を導出する。
　次に、追跡装置２０（制御部２７）は、ターゲットＴＧがＲＧＢカメラ２１の撮影領域βに含まれるように、撮影領域βのターゲットに対する自動追従を制御する。具体的には、追跡装置２０（制御部２７）は、ターゲットＴＧがＲＧＢカメラ２１の撮影領域β（例えば、撮影領域βの中央領域）に含まれるように、撮影領域βを設定する（ステップＳ２０６）。次に、追跡装置２０（制御部２７）は、新たに設定した撮影領域βの撮影により得られたＲＧＢ画像データ（ＲＧＢ動画データ）をＲＧＢカメラ２１から取得する（ステップＳ２０７）。追跡装置２０（制御部２７）は、取得したＲＧＢ画像データ（ＲＧＢ動画データ）を、通信部２８およびネットワーク４０を介してホスト装置３０に送信する。
　次に、追跡装置２０（制御部２７）は、赤外線カメラ２２からサーモグラフィ画像データ（サーモグラフィ動画データ）を取得する（ステップＳ２０８）。次に、追跡装置２０（制御部２７）は、取得したサーモグラフィ画像データ（サーモグラフィ動画データ）に含まれる特徴的温度分布ＣＴＤ（ターゲットＴＧ）に対応する位置の情報を導出する（ステップＳ２０９）。このとき、追跡装置２０（制御部２７）は、ターゲットＴＧが移動しているか否かを判定する（ステップＳ２１０）。具体的には、追跡装置２０（制御部２７）は、ステップＳ２０５で取得した位置情報と、ステップＳ２０９で取得した位置情報とを対比して、差分が実質的に無視できる程度の場合（例えば、ターゲットＴＧが撮影領域βの中央領域に収まっている場合）は、撮影領域βを再設定せずに（そのままで）、ステップＳ２０７に移行する。差分が実質的に無視できない程度の大きさの場合（例えば、ターゲットＴＧが撮影領域βの中央領域から外れた場合）は、ターゲットＴＧが撮影領域βの中央に収まるように撮影領域βを変更し（ステップＳ２１１）、ステップＳ２０７に移行する。
[効果]
　次に、情報処理システム１の効果について説明する。
　本実施の形態では、サーモグラフィ画像データに含まれる特徴的温度分布ＣＴＤに対応する位置にあるターゲットＴＧがＲＧＢ画像データの撮影領域βに含まれるように、撮影領域βのターゲットＴＧに対する自動追従が制御される。これにより、ターゲットＴＧがＲＧＢ画像データおよびサーモグラフィ画像データのいずれにおいても似たような特徴を有している場合であっても、ターゲットＴＧに類似したものをターゲットＴＧと誤認識してしまう可能性をなくすことができる。
　本実施の形態では、撮影により可視画像データを取得するＲＧＢカメラ２１の向き、画角および位置の少なくとも１つを変化させることにより、自動追従が制御される。ＲＧＢカメラ２１の向きは、例えば、ジンバル機構２３によって調整され得る。ＲＧＢカメラ２１の画角が、例えば、ＲＧＢカメラ２１の焦点距離を変化させることにより調整され得る。ＲＧＢカメラ２１の位置は、例えば、飛行機構２６によって調整され得る。これにより、自動追従を円滑に行うことができる。
　本実施の形態では、ＲＧＢカメラ２１の向きを調整するジンバル機構２３が設けられている。これにより、自動追従を円滑に行うことができる。また、本実施の形態では、ＲＧＢカメラ２１の位置を調整する飛行機構２６が設けられている。これにより、自動追従を円滑に行うことができる。
＜２．変形例＞
　次に、情報処理システム１の変形例について説明する。
[変形例Ａ]
　上記実施の形態では、１つのターゲットＴＧ自動追従の対象となっていたが、例えば、図８に示したように、複数のターゲットＴＧが自動追従の対象となっていてもよい。図８には、４つのターゲットＴＧ１，ＴＧ２，ＴＧ３，ＴＧ４が自動追従の対象となっている場合が例示されている。
　次に、本変形例における自動追従の手順について説明する。図９は、本変形例における自動追従の処理手順の一例を表したものである。
　追跡装置２０（制御部２７）は、まず、赤外線カメラ２２の撮影領域αを初期値に設定する（ステップＳ３０１）。次に、追跡装置２０（制御部２７）は、赤外線カメラ２２に対して撮影開始指令を送信する。赤外線カメラ２２は、その指令に基づいて撮影を開始し、所定のフレームレートでサーモグラフィ画像データ（サーモグラフィ動画データ）を生成する。追跡装置２０（制御部２７）は、赤外線カメラ２２からサーモグラフィ画像データ（サーモグラフィ動画データ）を取得する（ステップＳ３０２）。
　次に、追跡装置２０（制御部２７）は、複数の自動追従開始指令を受信しているか否かを判定する（ステップＳ３０３）。その結果、１つの自動追従開始指令しか受信していない場合には、追跡装置２０（制御部２７）は、取得したサーモグラフィ画像データ（サーモグラフィ動画データ）に１つの特徴的温度分布ＣＴＤ（ターゲットＴＧ）が含まれているか否かを判定する（ステップＳ３０４）。
　その結果、サーモグラフィ画像データ（サーモグラフィ動画データ）に１つの特徴的温度分布ＣＴＤ（ターゲットＴＧ）が含まれていない場合には、追跡装置２０（制御部２７）は、赤外線カメラ２２の撮影領域αを変更する（ステップＳ３０５）。サーモグラフィ画像データ（サーモグラフィ動画データ）に１つの特徴的温度分布ＣＴＤ（ターゲットＴＧ）が含まれていた場合には、サーモグラフィ画像データ（サーモグラフィ動画データ）に含まれる特徴的温度分布ＣＴＤ（ターゲットＴＧ）に対応する位置の情報を導出する（ステップＳ３０６）。具体的には、追跡装置２０（制御部２７）は、ＲＧＢカメラ２１の座標系におけるターゲットＴＧの位置情報を導出する。
　ステップＳ３０３において、複数の自動追従開始指令が受信されている場合には、追跡装置２０（制御部２７）は、取得したサーモグラフィ画像データ（サーモグラフィ動画データ）に、自動追従の対象数（受信した自動追従開始指令の数）に等しい数の特徴的温度分布ＣＴＤ（ターゲットＴＧ）が含まれているか否かを判定する（ステップＳ３０７）。その結果、サーモグラフィ画像データ（サーモグラフィ動画データ）に、自動追従の対象数に等しい数の特徴的温度分布ＣＴＤ（ターゲットＴＧ）が含まれていない場合には、追跡装置２０（制御部２７）は、赤外線カメラ２２の撮影領域αを変更する（ステップＳ３０７）。サーモグラフィ画像データ（サーモグラフィ動画データ）に、自動追従の対象数に等しい数の特徴的温度分布ＣＴＤ（ターゲットＴＧ）が含まれていた場合には、サーモグラフィ画像データ（サーモグラフィ動画データ）に含まれる各特徴的温度分布ＣＴＤ（ターゲットＴＧ）に対応する位置の情報を導出する（ステップＳ３０８）。具体的には、追跡装置２０（制御部２７）は、ＲＧＢカメラ２１の座標系における各ターゲットＴＧの位置情報を導出する。
　次に、追跡装置２０（制御部２７）は、全てのターゲットＴＧがＲＧＢカメラ２１の撮影領域βに含まれるように、撮影領域βのターゲットに対する自動追従を制御する。具体的には、追跡装置２０（制御部２７）は、全てのターゲットＴＧがＲＧＢカメラ２１の撮影領域βに含まれるように、撮影領域βを設定する（ステップＳ３０９）。次に、追跡装置２０（制御部２７）は、新たに設定した撮影領域βの撮影により得られたＲＧＢ画像データ（ＲＧＢ動画データ）をＲＧＢカメラ２１から取得する（ステップＳ３１０）。追跡装置２０（制御部２７）は、取得したＲＧＢ画像データ（ＲＧＢ動画データ）を、通信部２８およびネットワーク４０を介してホスト装置３０に送信する。
　次に、追跡装置２０（制御部２７）は、赤外線カメラ２２からサーモグラフィ画像データ（サーモグラフィ動画データ）を取得する（ステップＳ３１１）。次に、追跡装置２０（制御部２７）は、取得したサーモグラフィ画像データ（サーモグラフィ動画データ）に含まれる各特徴的温度分布ＣＴＤ（ターゲットＴＧ）に対応する位置の情報を導出する（ステップＳ３１２）。このとき、追跡装置２０（制御部２７）は、各ターゲットＴＧが移動しているか否かを判定する（ステップＳ３１３）。具体的には、追跡装置２０（制御部２７）は、ステップＳ３０６で取得した位置情報と、ステップＳ３１２で取得した位置情報とを対比して、差分が実質的に無視できる程度の場合（例えば、全てのターゲットＴＧが撮影領域βの中央領域に収まっている場合）は、撮影領域βを再設定せずに（そのままで）、ステップＳ３１０に移行する。差分が実質的に無視できない程度の大きさの場合（例えば、少なくとも１つのターゲットＴＧが撮影領域βの中央領域から外れた場合）は、全てのターゲットＴＧが撮影領域βの中央に収まるように撮影領域βを変更し（ステップＳ３１４）、ステップＳ３１０に移行する。
　次に、本変形例に係る情報処理システム１の効果について説明する。
　本変形例では、サーモグラフィ画像データに含まれる複数の特徴的温度分布ＣＴＤに対応する位置にある複数のターゲットＴＧが全てＲＧＢ画像データの撮影領域βに含まれるように、撮影領域βの各ターゲットＴＧに対する自動追従が制御される。これにより、ターゲットＴＧがＲＧＢ画像データおよびサーモグラフィ画像データのいずれにおいても似たような特徴を有している場合であっても、ターゲットＴＧに類似したものをターゲットＴＧと誤認識してしまう可能性をなくすことができる。
[変形例Ｂ]
　上記変形例Ａでは、自動追従の対象となっている複数のターゲットＴＧが全て撮影領域βに収まるように自動追従が行われていた。しかし、上記変形例Ａにおいて、自動追従の対象となっている複数のターゲットＴＧが撮影領域βに１つずつ順番に収まるように自動追従が行われてもよい。
　ここで、自動追従の対象となっている複数のターゲットＴＧが全て撮影領域βに収まるような自動追従を追従モードＡとする。また、自動追従の対象となっている複数のターゲットＴＧが撮影領域βに１つずつ順番に収まるような自動追従を追従モードＢとする。このとき、追跡装置２０（制御部２７）は、例えば、冷却／発熱デバイス１０やホスト装置３０から、追従モードを変更する指令（自動追従の方法を切り替える信号）が入力されると、追従モードを変更する指令の入力に応じて自動追従の方法が切り替わるように自動追従を制御する。
　図１０は、追従モードの変更についての一連の処理手順の一例を表したものである。
　追跡装置２０（制御部２７）は、追従モードを変更する指令が入力されると、追従モードを変更する指令に含まれる追従モードが追従モードＡであるか否かを判定する（ステップＳ４０１）。その結果、追従モードを変更する指令に含まれる追従モードが追従モードＡである場合には、追跡装置２０（制御部２７）は、全てのターゲットＴＧが撮影領域β（または撮影領域βの中央）に収まるように撮影領域βを設定する（ステップＳ４０２）。追跡装置２０（制御部２７）は、設定した撮影領域βの撮影により得られたＲＧＢ画像データ（ＲＧＢ動画データ）をＲＧＢカメラ２１から取得し、通信部２８およびネットワーク４０を介してホスト装置３０に送信する（ステップＳ４０３）。
　追従モードを変更する指令に含まれる追従モードが追従モードＡではない場合には、追跡装置２０（制御部２７）は、追従モードを変更する指令に含まれる追従モードが追従モードＢであるか否かを判定する（ステップＳ４０４）。その結果、追従モードを変更する指令に含まれる追従モードが追従モードＢである場合には、追跡装置２０（制御部２７）は、自動追従の対象となっているターゲットＴＧごとに１つずつ撮影領域βを設定する（ステップＳ４０５）。追跡装置２０（制御部２７）は、設定した複数の撮影領域βを所定の順番で選択し、選択した撮影領域βの撮影により得られたＲＧＢ画像データ（ＲＧＢ動画データ）をＲＧＢカメラ２１から取得し、通信部２８およびネットワーク４０を介してホスト装置３０に送信する（ステップＳ４０６）。
　追跡装置２０（制御部２７）は、複数の特徴的温度分布ＣＴＤが検出された場合、各ターゲットＴＧの位置関係に応じた順番で複数のターゲットＴＧが撮影されるように自動追従を制御してもよい。また、追跡装置２０（制御部２７）は、取得した複数の特徴的温度分布ＣＴＤに温度の違いが存在する場合、例えば、各特徴的温度分布ＣＴＤの温度の大小関係に応じた順番で複数のターゲットＴＧが撮影されるように自動追従を制御してもよい。このように、複数の特徴的温度分布ＣＴＤにおける何らかの関係性に基づいて自動追従を制御することにより、手動での追従と比べて手間を削減することができる。
[変形例Ｃ]
　上記実施の形態およびその変形例において、追跡装置２０（制御部２７）は、取得したサーモグラフィ画像データ（サーモグラフィ動画データ）に、特徴的温度分布ＣＴＤとは異なる異常な温度分布（以下、「異常温度分布」と称する。）を検出した場合、以下の処理を行うようになっていてもよい。
　図１１は、異常温度分布を検出したときの一連の処理手順の一例を表したものである。
　追跡装置２０（制御部２７）は、まず、赤外線カメラ２２の撮影領域αを初期値に設定する（ステップＳ５０１）。次に、追跡装置２０（制御部２７）は、赤外線カメラ２２に対して撮影開始指令を送信する。赤外線カメラ２２は、その指令に基づいて撮影を開始し、所定のフレームレートでサーモグラフィ画像データ（サーモグラフィ動画データ）を生成する。追跡装置２０（制御部２７）は、赤外線カメラ２２からサーモグラフィ画像データ（サーモグラフィ動画データ）を取得する（ステップＳ５０２）。
　次に、追跡装置２０（制御部２７）は、取得したサーモグラフィ画像データ（サーモグラフィ動画データ）に、異常温度分布が含まれているか否かを判定する（ステップＳ５０３）。その結果、サーモグラフィ画像データ（サーモグラフィ動画データ）に異常温度分布が含まれていない場合には、追跡装置２０（制御部２７）は、赤外線カメラ２２の撮影領域αを変更する（ステップＳ５０４）。サーモグラフィ画像データ（サーモグラフィ動画データ）に異常温度分布が含まれていた場合には、サーモグラフィ画像データ（サーモグラフィ動画データ）に含まれる異常温度分布に対応する位置の情報を導出する（ステップＳ５０５）。具体的には、追跡装置２０（制御部２７）は、ＲＧＢカメラ２１の座標系における異常温度分布の位置情報を導出する。
　次に、追跡装置２０（制御部２７）は、異常温度分布の発生源がＲＧＢカメラ２１の撮影領域βに含まれるように、撮影領域βの異常温度分布の発生源に対する自動追従を制御する。具体的には、追跡装置２０（制御部２７）は、異常温度分布の発生源がＲＧＢカメラ２１の撮影領域β（例えば、撮影領域βの中央領域）に含まれるように、撮影領域βを設定する（ステップＳ５０６）。次に、追跡装置２０（制御部２７）は、新たに設定した撮影領域βの撮影により得られたＲＧＢ画像データ（ＲＧＢ動画データ）をＲＧＢカメラ２１から取得する（ステップＳ５０７）。追跡装置２０（制御部２７）は、取得したＲＧＢ画像データ（ＲＧＢ動画データ）を、通信部２８およびネットワーク４０を介してホスト装置３０に送信する。
　このように、異常温度分布の発生源の位置を捉えることにより、情報処理システム１のユーザは、異常温度分布の発生源を特定することができる。異常温度分布の発生源が、例えば、冷却／発熱デバイス１０であった場合、ユーザは、異常温度の冷却／発熱デバイス１０に異常が発生したと判断して、その冷却／発熱デバイス１０を回収することができる。これにより、ロボット（電子機器）の熱暴走など、故障・事故を防ぐことができる。異常温度分布の発生源が、例えば、熱中症にかかった患者であった場合、ユーザは、熱中症にかかった患者に早期に手当をすることができる。
[変形例Ｄ]
　上記実施の形態およびその変形例において、例えば、図１２に示したように、飛行機構２６が省略されていてもよい。このとき、追跡装置２０は、例えば、ターゲットＴＧのいる会場に固定されていてもよい。このようにした場合であっても、ＲＧＢカメラ２１や赤外線カメラ２２の位置を大きく変更できないこと以外には、上記実施の形態およびその変形例と同様の効果を得ることができる。
[変形例Ｅ]
　上記実施の形態およびその変形例において、例えば、図１３に示したように、ホスト装置３０が省略されていてもよい。このようにした場合であっても、冷却／発熱デバイス１０から上述の各種指令を送出することができるので、上記実施の形態およびその変形例と同様の効果を得ることができる。
[変形例Ｆ]
　上記実施の形態およびその変形例において、例えば、図１４に示したように、冷却／発熱デバイス１０が省略されていてもよい。この場合、特徴的温度分布ＣＴＤを生成可能な冷却材や発熱材を用いることで、上記実施の形態およびその変形例と同様の効果を得ることができる。
　以上、実施の形態およびその変形例を挙げて本開示を説明したが、本開示は上記実施の形態等に限定されるものではなく、種々変形が可能である。なお、本明細書中に記載された効果は、あくまで例示である。本開示の効果は、本明細書中に記載された効果に限定されるものではない。本開示が、本明細書中に記載された効果以外の効果を持っていてもよい。
　また、例えば、本開示は以下のような構成を取ることができる。
（１）
　サーモグラフィ画像データに含まれる特徴的温度分布に対応する位置にあるターゲットが可視画像の撮影領域に含まれるように、前記撮影領域のターゲットに対する自動追従を制御する制御部を備え、
　前記サーモグラフィ画像データは、前記自動追従の開始指令に応じて撮影を行うことにより得られるデータである
　情報処理装置。
（２）
　前記制御部は、撮影により可視画像データを取得する撮影部の向き、画角および位置の少なくとも１つを変化させることにより、前記自動追従を制御する
　（１）に記載の情報処理装置。
（３）
　前記制御部は、前記サーモグラフィ画像データに複数の前記特徴的温度分布が含まれるとき、複数の前記特徴的温度分布に対応する位置にある複数の前記ターゲットが全て前記撮影領域に含まれるように前記自動追従を制御する
　（１）または（２）に記載の情報処理装置。
（４）
　前記制御部は、前記サーモグラフィ画像データに複数の前記特徴的温度分布が含まれるとき、各前記特徴的温度分布の温度の大小関係に応じた順番で複数の前記ターゲットが撮影されるように前記自動追従を制御する
　（１）または（２）に記載の情報処理装置。
（５）
　前記制御部は、前記自動追従の方法を切り替える信号の入力に応じて前記自動追従の方法が切り替わるように前記自動追従を制御する
　（１）ないし（４）のいずれか１つに記載の情報処理装置。
（６）
　サーモグラフィ画像データに含まれる特徴的温度分布に対応する位置にあるターゲットが可視画像の撮影領域に含まれるように、前記撮影領域のターゲットに対する自動追従を制御する制御部を備え、
　前記サーモグラフィ画像データは、前記自動追従の開始指令に応じて撮影を行うことにより得られるデータである
　移動体。
（７）
　前記制御部は、撮影により可視画像データを取得する撮影部の向き、画角および位置の少なくとも１つを変化させることにより、前記自動追従を制御する
　（６）に記載の移動体。
（８）
　前記撮影部と、
　前記撮影部の向き、画角および位置の少なくとも１つを調整する調整部と
　を備え、
　前記制御部は、前記調整部を制御して前記撮影部の向き、画角および位置の少なくとも１つを変化させることにより、前記自動追従を制御する
　（７）に記載の移動体。
（９）
　前記調整部は、１または複数のジンバル機構を含む
　（８）に記載の移動体。
（１０）
　前記調整部は、当該移動体の空間位置を変化させる飛行機構を含む
　（９）に記載の移動体。
（１１）
　前記制御部は、前記サーモグラフィ画像データに複数の前記特徴的温度分布が含まれるとき、複数の前記特徴的温度分布に対応する位置にある複数の前記ターゲットが全て前記撮影領域に含まれるように前記自動追従を制御する
　（６）ないし（１０）のいずれか１つに記載の移動体。
（１２）
　前記制御部は、前記サーモグラフィ画像データに複数の前記特徴的温度分布が含まれるとき、各前記特徴的温度分布の温度の大小関係に応じた順番で複数の前記ターゲットが撮影されるように前記自動追従を制御する
　（６）ないし（１０）のいずれか１つに記載の移動体。
（１３）
　前記制御部は、前記自動追従の方法を切り替える信号の入力に応じて前記自動追従の方法が切り替わるように前記自動追従を制御する
　（６）ないし（１２）のいずれか１つに記載の移動体。
（１４）
　サーモグラフィ画像データに含まれる特徴的温度分布に対応する位置にあるターゲットが可視画像の撮影領域に含まれるように前記自動追従を制御することを含み、
　前記サーモグラフィ画像データは、前記自動追従の開始指令に応じて撮影を行うことにより得られるデータである
　情報処理方法。
　本開示の一実施の形態に係る情報処理装置、移動体および情報処理方法では、サーモグラフィ画像データに含まれる特徴的温度分布に対応する位置にあるターゲットが可視画像の撮影領域に含まれるように、撮影領域のターゲットに対する自動追従が制御される。これにより、例えば、ターゲットに類似したものが可視画像の撮影領域に存在する場合であっても、ターゲットが、ターゲットに類似したものには無い特徴的温度分布を持っていることにより、ターゲットに類似したものをターゲットと誤認することを低減することができる。
　本出願は、日本国特許庁において２０２１年１１月１２日に出願された日本特許出願番号第２０２１－１８５０１４号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。
　当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (14)

  1. 　サーモグラフィ画像データに含まれる特徴的温度分布に対応する位置にあるターゲットが可視画像の撮影領域に含まれるように、前記撮影領域のターゲットに対する自動追従を制御する制御部を備え、
    　前記サーモグラフィ画像データは、前記自動追従の開始指令に応じて撮影を行うことにより得られるデータである
    　情報処理装置。
  2. 　前記制御部は、撮影により可視画像データを取得する撮影部の向き、画角および位置の少なくとも１つを変化させることにより、前記自動追従を制御する
    　請求項１に記載の情報処理装置。
  3. 　前記制御部は、前記サーモグラフィ画像データに複数の前記特徴的温度分布が含まれるとき、複数の前記特徴的温度分布に対応する位置にある複数の前記ターゲットが全て前記撮影領域に含まれるように前記自動追従を制御する
    　請求項１に記載の情報処理装置。
  4. 　前記制御部は、前記サーモグラフィ画像データに複数の前記特徴的温度分布が含まれるとき、各前記特徴的温度分布の温度の大小関係に応じた順番で複数の前記ターゲットが撮影されるように前記自動追従を制御する
    　請求項１に記載の情報処理装置。
  5. 　前記制御部は、前記自動追従の方法を切り替える信号の入力に応じて前記自動追従の方法が切り替わるように前記自動追従を制御する
    　請求項１に記載の情報処理装置。
  6. 　サーモグラフィ画像データに含まれる特徴的温度分布に対応する位置にあるターゲットが可視画像の撮影領域に含まれるように、前記撮影領域のターゲットに対する自動追従を制御する制御部を備え、
    　前記サーモグラフィ画像データは、前記自動追従の開始指令に応じて撮影を行うことにより得られるデータである
    　移動体。
  7. 　前記制御部は、撮影により可視画像データを取得する撮影部の向き、画角および位置の少なくとも１つを変化させることにより、前記自動追従を制御する
    　請求項６に記載の移動体。
  8. 　前記撮影部と、
    　前記撮影部の向き、画角および位置の少なくとも１つを調整する調整部と
    　を備え、
    　前記制御部は、前記調整部を制御して前記撮影部の向き、画角および位置の少なくとも１つを変化させることにより、前記自動追従を制御する
    　請求項７に記載の移動体。
  9. 　前記調整部は、１または複数のジンバル機構を含む
    　請求項８に記載の移動体。
  10. 　前記調整部は、当該移動体の空間位置を変化させる飛行機構を含む
    　請求項９に記載の移動体。
  11. 　前記制御部は、前記サーモグラフィ画像データに複数の前記特徴的温度分布が含まれるとき、複数の前記特徴的温度分布に対応する位置にある複数の前記ターゲットが全て前記撮影領域に含まれるように前記自動追従を制御する
    　請求項６に記載の移動体。
  12. 　前記制御部は、前記サーモグラフィ画像データに複数の前記特徴的温度分布が含まれるとき、各前記特徴的温度分布の温度の大小関係に応じた順番で複数の前記ターゲットが撮影されるように前記自動追従を制御する
    　請求項６に記載の移動体。
  13. 　前記制御部は、前記自動追従の方法を切り替える信号の入力に応じて前記自動追従の方法が切り替わるように前記自動追従を制御する
    　請求項６に記載の移動体。
  14. 　サーモグラフィ画像データに含まれる特徴的温度分布に対応する位置にあるターゲットが可視画像の撮影領域に含まれるように前記自動追従を制御することを含み、
    　前記サーモグラフィ画像データは、前記自動追従の開始指令に応じて撮影を行うことにより得られるデータである
    　情報処理方法。
PCT/JP2022/038017 2021-11-12 2022-10-12 情報処理装置、移動体および情報処理方法 WO2023084982A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-185014 2021-11-12
JP2021185014 2021-11-12

Publications (1)

Publication Number Publication Date
WO2023084982A1 true WO2023084982A1 (ja) 2023-05-19

Family

ID=86335680

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/038017 WO2023084982A1 (ja) 2021-11-12 2022-10-12 情報処理装置、移動体および情報処理方法

Country Status (1)

Country Link
WO (1) WO2023084982A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012021912A (ja) * 2010-07-15 2012-02-02 Toshiba Corp 目標捕捉追跡装置及び赤外線撮像装置
JP2013168757A (ja) * 2012-02-15 2013-08-29 Hitachi Ltd 映像監視装置、監視システム、監視システム構築方法
JP2019052889A (ja) * 2017-09-13 2019-04-04 サクサ株式会社 画像処理装置
US20200043184A1 (en) * 2017-05-25 2020-02-06 SZ DJI Technology Co., Ltd. Tracking method and device
JP2021052231A (ja) * 2019-09-20 2021-04-01 キヤノン株式会社 制御装置、制御方法、プログラム及び記憶媒体
JP2021185014A (ja) 2019-12-13 2021-12-09 川崎重工業株式会社 ロボットシステム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012021912A (ja) * 2010-07-15 2012-02-02 Toshiba Corp 目標捕捉追跡装置及び赤外線撮像装置
JP2013168757A (ja) * 2012-02-15 2013-08-29 Hitachi Ltd 映像監視装置、監視システム、監視システム構築方法
US20200043184A1 (en) * 2017-05-25 2020-02-06 SZ DJI Technology Co., Ltd. Tracking method and device
JP2019052889A (ja) * 2017-09-13 2019-04-04 サクサ株式会社 画像処理装置
JP2021052231A (ja) * 2019-09-20 2021-04-01 キヤノン株式会社 制御装置、制御方法、プログラム及び記憶媒体
JP2021185014A (ja) 2019-12-13 2021-12-09 川崎重工業株式会社 ロボットシステム

Similar Documents

Publication Publication Date Title
US11914370B2 (en) System and method for providing easy-to-use release and auto-positioning for drone applications
US20200326708A1 (en) Remote control method and terminal
US20230078078A1 (en) Camera ball turret having high bandwidth data transmission to external image processor
US20210105403A1 (en) Method for processing image, image processing apparatus, multi-camera photographing apparatus, and aerial vehicle
US7358498B2 (en) System and a method for a smart surveillance system
TWI634047B (zh) 遠端控制方法及終端
US20190335084A1 (en) System and method for providing autonomous photography and videography
US11611811B2 (en) Video processing method and device, unmanned aerial vehicle and system
CN108351650B (zh) 一种对飞行器的飞行控制方法、装置及飞行器
US10353403B2 (en) Autonomous flying device, control method of autonomous flying device, and non-transitory recording medium
JP6696118B2 (ja) 電子機器
CN109625303A (zh) 摄影用无人机及其控制方法
JP2017062529A (ja) 方向制御方法
US20220303464A1 (en) Systems and methods for obtaining a smart panoramic image
JP6921031B2 (ja) 制御装置及び撮影方法
JP6257308B2 (ja) 自動追尾撮影システム
EP2648406B1 (en) Method for switching viewing modes in a camera
Iida et al. Saccade mirror 3: High-speed gaze controller with ultra wide gaze control range using triple rotational mirrors
WO2023084982A1 (ja) 情報処理装置、移動体および情報処理方法
WO2022141271A1 (zh) 云台系统的控制方法、控制设备、云台系统和存储介质
KR101600699B1 (ko) 비행 촬영 시스템 및 그 운용 방법
JP2007303913A (ja) 異物検知装置、それを用いたロボット装置、異物検知方法および異物検知プログラム
KR20190123095A (ko) 드론 기반의 전방위 열화상 이미지 처리 방법 및 이를 위한 열화상 이미지 처리 시스템
US11431897B1 (en) Context-based detachable modular camera system
US11765454B2 (en) Image control method and device, and mobile platform

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22892482

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023559494

Country of ref document: JP