WO2024116400A1 - 探索支援装置、探索支援システム、探索支援方法、およびプログラム - Google Patents

探索支援装置、探索支援システム、探索支援方法、およびプログラム Download PDF

Info

Publication number
WO2024116400A1
WO2024116400A1 PCT/JP2022/044520 JP2022044520W WO2024116400A1 WO 2024116400 A1 WO2024116400 A1 WO 2024116400A1 JP 2022044520 W JP2022044520 W JP 2022044520W WO 2024116400 A1 WO2024116400 A1 WO 2024116400A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
search
search target
unit
captured
Prior art date
Application number
PCT/JP2022/044520
Other languages
English (en)
French (fr)
Inventor
範行 福井
明▲徳▼ 平
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2022/044520 priority Critical patent/WO2024116400A1/ja
Publication of WO2024116400A1 publication Critical patent/WO2024116400A1/ja

Links

Images

Definitions

  • This disclosure relates to a search support device, a search support system, a search support method, and a program.
  • Patent Document 1 describes a method of photographing a subject using a multi-lens camera and applying a vector median filter to remove unwanted objects from an image in which text is partially obstructed.
  • Patent Document 2 describes a method of extracting a target person from an image and using images from multiple points to identify the person even if part of the person's image is missing due to an obstacle.
  • Non-Patent Document 1 describes a method of integrating images from a visible light camera and an invisible light camera to increase the visibility of the target object.
  • the above-mentioned technology uses images captured by a multi-lens camera, images taken at multiple locations, or multiple types of images to search for objects in remote locations, but there are cases where only images captured from a specific direction can be obtained due to limitations on the number of cameras, etc. in a remote location. If the object to be searched for is hidden by surrounding objects in an image captured from a specific direction, it may not be possible to detect the object to be searched for.
  • the present disclosure has been made to solve the problems described above, and aims to provide a search support device, a search support system, a search support method, and a program that can detect a search target object with a high probability even if the search target object is hidden by surrounding objects.
  • the search support device includes an image capture unit that captures captured video, an object information capture unit that captures object information indicating an object included in the captured video, a setting unit that sets a search target image including a search target object, a determination unit that uses the search target image or the object information to determine whether a part of a search target candidate is hidden by a surrounding object, and an image creation unit that creates a comparison image to be compared to search for the search target object using an image of the captured video that indicates the surrounding object when the determination unit determines that a part of the search target candidate is hidden by the surrounding object.
  • the search support method includes the steps of setting a search target image including a search target object, acquiring a captured image and object information indicating an object included in the captured image, determining whether or not a part of the search target candidate is hidden by a surrounding object using the search target image or the object information, and, if it is determined that a part of the search target candidate is hidden by a surrounding object, creating a comparison image to be compared in order to search for the search target object using an image of the captured image indicating the surrounding object.
  • the program according to the third aspect causes a computer mounted on the search support device to execute the steps of: setting a search target image including a search target object; acquiring a captured image and object information indicating an object included in the captured image; determining whether or not a part of the search target candidate is hidden by a surrounding object using the search target image or the object information; and, if it is determined that a part of the search target candidate is hidden by a surrounding object, creating a comparison image to be compared in order to search for the search target object using an image of the captured image indicating the surrounding object.
  • the search support system includes a search support device including an imaging device that generates an imaged video, an object information generating device that generates object information indicating an object included in the imaged video, a setting unit that sets a search target image including a search target object, a determination unit that uses the search target image or the object information to determine whether a part of the search target candidate is hidden by a surrounding object, and an image creation unit that creates a comparison image to be compared to search for the search target object using an image of the imaged video that indicates the surrounding object when the determination unit determines that a part of the search target candidate is hidden by the surrounding object.
  • FIG. 1 is a block diagram illustrating an example of a search support system according to a first embodiment.
  • 1 is a block diagram showing an example of a functional configuration of a search support device according to a first embodiment.
  • 4 is a diagram for explaining processing of a search support device in the first embodiment;
  • FIG. 1 is a flowchart illustrating an example of a processing procedure in a search support device according to a first embodiment.
  • FIG. 13 is a block diagram showing an example of a functional configuration of a search support device according to a second embodiment. 13 is a diagram for explaining processing of a search support device in a second embodiment.
  • FIG. 13 is a flowchart illustrating an example of a processing procedure in a search support device according to the second embodiment.
  • FIG. 13 is a block diagram showing an example of a functional configuration of a search support device according to a third embodiment.
  • FIG. 13 is a diagram for explaining processing by a search support device in a third embodiment.
  • 13 is a flowchart illustrating an example of a processing procedure in a search support device according to a third embodiment.
  • FIG. 13 is a diagram for explaining a modified example of the search support system.
  • FIG. 13 is a block diagram showing an example of a functional configuration of a search support device according to a fourth embodiment.
  • FIG. 13 is a diagram for explaining processing by a search support device in a fourth embodiment.
  • 23 is a flowchart illustrating an example of a processing procedure in a search support device according to the fourth embodiment.
  • FIG. 13 is a diagram for explaining a modified example of a search support device in the fourth embodiment.
  • FIG. 1 is a block diagram showing an example of a search support system according to a first embodiment.
  • the search support system includes, for example, a search support device 100, a camera system 200, and a searcher's terminal device 300.
  • the search support device 100 and the searcher's terminal device 300 are installed in, for example, a management room that manages search targets such as lost items in a search area.
  • the camera system 200 is placed in a search area in a remote location away from the search support device 100 and the searcher's terminal device 300.
  • the search support device 100 and the camera system 200 are connected via a network NW such as the Internet.
  • NW such as the Internet.
  • the search support device 100, the camera system 200, and the searcher's terminal device 300 are shown as separate devices, but this is not limiting.
  • a single information processing device may have the functions of the search support device 100 and the searcher's terminal device 300, and the camera system 200 may have the functions of the search support device 100.
  • the search support device 100 performs processing to support the search for a search target object.
  • the search support device 100 may be configured, for example, to be connected to multiple camera systems 200 and multiple searcher terminal devices 300, and to provide a cloud service that supports the search for a search target object.
  • the search target object may be, for example, a lost item in a store, but is not limited to this, and may also be a person such as a lost child.
  • the explorer's terminal device 300 is an information processing device such as a personal computer or smartphone that is operated by the explorer who is searching for the object to be searched.
  • the explorer's terminal device 300 is equipped with an operation interface that accepts operations by the explorer, a display interface that presents various information to the explorer, a storage device, and a control unit such as a CPU (Central Processing Unit) that performs various processes.
  • a CPU Central Processing Unit
  • the camera system 200 is installed in the search area.
  • the search area may be, for example, a shopping mall, a restaurant, or other store, but is not limited thereto.
  • the camera system 200 includes a plurality of camera devices 210, an object information generating device 216, and a control unit 220.
  • the object information generating device 216 may be, for example, an infrared camera device 212 and a radar device 214.
  • the camera device 210 generates an image of the search area.
  • the camera device 210 generates an image by irradiating visible light.
  • one or more camera devices 210 are installed in one search area. Each of the camera devices 210 generates an image of the search area from its respective installation location.
  • the camera device 210 generates a time-continuous image, but is not limited thereto, and may generate images that are not time-continuous.
  • the object information generating device 216 includes, for example, an infrared camera device 212 and a radar device 214, but is not limited thereto, and may have another configuration as long as it can generate object information as described below.
  • the object information generating device 216 acquires object information indicating objects contained in the captured image.
  • the infrared camera device 212 generates infrared images as object information by emitting infrared light.
  • the radar device 214 irradiates a search area with pulses of laser light and measures the reflected light to measure distance information to the object as object information.
  • the object information is information indicating the two-dimensional or three-dimensional shape of the search target object.
  • the object information is information indicating the two-dimensional or three-dimensional shape of the search target object or a group of surrounding objects consisting of one surrounding object or multiple surrounding objects that hide a part of the search target object.
  • the object information generating device 216 is an infrared camera device 212
  • the object information is information indicating a two-dimensional shape.
  • the object information is information indicating a three-dimensional shape obtained, for example, by shifting the transmission direction of a radar transmission signal vertically and horizontally.
  • the object information acquisition unit 108 of the search support device 100 described later acquires object information of the search target by separating the search target from the perspective image and the surrounding objects that hide the search target.
  • the object information acquiring unit 108 of the search support device 100 which will be described later, acquires object information about the search object by distinguishing between the search object and surrounding objects that hide the search object based on differences in distance information.
  • the control unit 220 controls the camera device 210, the infrared camera device 212, and the radar device 214.
  • the control unit 220 operates the camera device 210, the infrared camera device 212, and the radar device 214 in time synchronization. In this way, the control unit 220 acquires captured images and object information that are synchronized in time.
  • the control unit 220 transmits the captured images and object information that are synchronized in time to the search support device 100.
  • the control unit 220 may, for example, perform camera control such as changing the imaging direction and zooming the imaging range for the camera device 210, the infrared camera device 212, or the radar device 214 based on the operation of the searcher.
  • FIG. 2 is a block diagram showing an example of the functional configuration of the search support device 100 in the first embodiment.
  • FIG. 3 is a diagram for explaining the processing of the search support device 100 in the first embodiment.
  • the search support device 100 includes, for example, a search area side communication unit 102, a terminal side communication unit 104, a captured image acquisition unit 106, an object information acquisition unit 108, a setting unit 110, a conversion unit 112, a determination unit 114, an image creation unit 116, and a search unit 118.
  • the search area side communication unit 102 is a communication interface such as a NIC (Network Interface Card) or a wireless communication module for connecting to the network NW.
  • the terminal side communication unit 104 is a communication interface that communicates, for example, via a LAN line.
  • Each unit such as the captured image acquisition unit 106, the object information acquisition unit 108, the setting unit 110, the conversion unit 112, the determination unit 114, the image creation unit 116, and the search unit 118 is realized by, for example, a computer such as a CPU mounted on the search support device 100 executing a program stored in a program memory.
  • the captured image acquisition unit 106 acquires the captured image P10.
  • the captured image P10 is supplied via the search area side communication unit 102.
  • the captured image acquisition unit 106 stores, for example, search area information indicating the search area, camera information that uniquely identifies the camera device 210, and the captured image in a storage device (not shown) in association with each other.
  • the object information acquisition unit 108 acquires object information indicating objects included in the captured video P10.
  • the object information is supplied via the search area side communication unit 102.
  • the object information includes object information of the search target and object information of surrounding objects.
  • the object information acquisition unit 108 associates, for example, search area information indicating the search area, device information that uniquely identifies the infrared camera device 212 or the radar device 214, and object information, and stores them in a storage device (not shown).
  • the object information acquisition unit 108 may associate the acquired object information with the search area information or device information and store them.
  • the setting unit 110 sets a search target image P12 including a search target object input via the terminal side communication unit 104.
  • the search target image P12 is a still image viewed from a specific viewpoint provided by a person (search requester) requesting a search for a search target object, such as an image of a lost item or an image of the face of a lost child.
  • the setting unit 110 may obtain, as the search target image P12, an image uploaded to the search support device 100 from another device, such as the search requester's smartphone.
  • the conversion unit 112 converts the search target image P12 set by the setting unit 110 into a viewpoint conversion image P14 viewed from an arbitrary viewpoint.
  • the conversion unit 112 may generate one viewpoint conversion image P14 from the search target image P12, or may generate multiple viewpoint conversion images P14.
  • the conversion unit 112 may, for example, create a viewpoint conversion image P14 in which the viewpoint of the search target is converted by cutting out an area including the search target included in the search target image P12 and performing image processing such as angle correction, rotation, and size change on the area including the search target.
  • the conversion unit 112 may, for example, create a viewpoint conversion image P14 in which the viewpoint of the search target is converted by predicting a portion of the search target image P12 in which the search target does not appear and combining the predicted portion with an area including the search target included in the search target image P12.
  • the conversion unit 112 may, for example, predict the shape, etc. of the search target by searching a search site or the like for an object similar to the search target based on the product name information of the search target.
  • the determination unit 114 uses the search target image P12 or the object information to determine whether a part of the search target candidate is hidden by a surrounding object.
  • the search target candidate may be an object included in the captured video P10.
  • the determination unit 114 may compare the viewpoint converted image P14 obtained by converting the search target image P12 with the object included in the captured video P10 to detect an object included in the captured video P10 that matches one of the viewpoint converted images P14 as a search target candidate, and determine whether a part of the detected search target candidate is hidden by a surrounding object.
  • the determination unit 114 may determine whether a part of the object included in the captured video P10 is hidden by a surrounding object by determining whether a part of the object information is missing.
  • the search target candidate is, for example, an object included in the captured video P10 that matches at least one of the search target image P12 and one or more viewpoint converted images P14.
  • the image creation unit 116 creates a comparison image to be compared to search for the search target object using an image showing the surrounding object from the captured image P10.
  • the image creation unit 116 creates, for example, an overall image P16 that shows the entire search target candidate as a comparison image.
  • the image creation unit 116 interpolates the parts hidden by the surrounding objects by using, for example, an infrared image acquired by the infrared camera device 212 to see through the surrounding objects.
  • the image creation unit 116 identifies the locations where the surrounding objects are located using a distance image acquired by the radar device 214, and interpolates the locations where the surrounding objects are located. In this way, the image creation unit 116 creates the overall image P16.
  • the search unit 118 searches for the object to be searched for by comparing the overall image P16 created by the image creation unit 116 with the viewpoint conversion image P14 converted by the conversion unit 112.
  • the search unit 118 transmits the search results to the searcher's terminal device 300 via the terminal side communication unit 104. For example, when a search target candidate is found, the search unit 118 may transmit the captured image P10 including the search target candidate and position information of the search target candidate as the search results. This allows the searcher to visually recognize the search target by displaying the captured image P10 and to search for the search target by checking the image of the camera device 210 that captures the position of the search target candidate.
  • FIG. 4 is a flowchart showing an example of a processing procedure in the search support device 100 in the first embodiment.
  • the terminal communication unit 104 acquires the search target image P12 from the searcher's terminal device 300, and the setting unit 110 sets the search target image P12 (step S100).
  • the conversion unit 112 creates a viewpoint conversion image P14 from the search target image P12 (step S102).
  • the captured image acquisition unit 106 acquires the captured image P10 of the search area from the camera system 200, and the object information acquisition unit 108 acquires the object information (step S104).
  • the determination unit 114 determines whether or not an object (search target candidate) that matches the viewpoint conversion image P14 among the objects included in the captured image P10 has been detected (step S106).
  • the determination unit 114 may determine that a search target candidate that matches the viewpoint conversion image P14 has been detected when the search target candidate matches the viewpoint conversion image P14 with a degree of match equal to or greater than a predetermined reference value. That is, the determination unit 114 is not limited to determining whether the entire images match, but may determine whether parts of the images match.
  • the reference value is preferably a value that can determine that an object included in the captured video P10 and the viewpoint converted image P14 are the same object, but may be a value that is appropriately changed by the searcher. If the determination unit 114 does not detect an object that matches the viewpoint converted image P14 (step S106: NO), the process returns to step S104 and the search continues.
  • step S106 When the determination unit 114 detects a search target candidate that matches the viewpoint conversion image P14 (step S106: YES), it determines whether or not a part of the search target candidate is hidden by a peripheral object (step S108). When the determination unit 114 determines that a part of the search target candidate is not hidden by a peripheral object (step S108: NO), it notifies the search result (step S116).
  • the video creation unit 116 cuts out and extracts an image including an image showing a peripheral object (peripheral object image) (step S110), and creates an overall video P16 in which the entire search target candidate can be confirmed using the peripheral object image (step S112).
  • the video creation unit 116 recognizes the part of the image showing the search target candidate that is hidden by the peripheral object based on the peripheral object image, and uses the object information to interpolate the part of the image showing the search target candidate that is hidden by the peripheral object.
  • the search unit 118 determines whether the viewpoint converted image P14 matches the overall video P16 (step S114). If the search unit 118 does not detect a viewpoint converted image P14 that matches the overall video P16 (step S114: NO), the process returns to step S104. If the search unit 118 detects a viewpoint converted image P14 that matches the overall video P16 (step S114: YES), the search unit 118 notifies the search result (step S116). In step S116, the search unit 118 transmits, for example, an image showing the search target candidate that was the basis of the overall video P16, position information of the search target candidate, and the like, as the search result to the searcher's terminal device 300.
  • the captured image P10 and object information are acquired, and it is determined whether or not a part of the search target candidate is hidden by a surrounding object. If it is determined that a part of the search target candidate is hidden by a surrounding object, it is possible to create an overall image P16 representing the entire search target candidate using the object information. If the search target candidate is hidden by a surrounding object, there is a high possibility that the true search target cannot be searched for. In addition, if the number of camera devices 210 is limited, there is a high possibility that the true search target cannot be searched for.
  • the search support device 100 if the search target candidate detected based on the comparison between the captured image P10 and the viewpoint conversion image P14 is hidden by a surrounding object, it is possible to create the overall image P16 using the object information.
  • the search support device 100 can, for example, transmit the overall image P16 to the searcher's terminal device 300 and show the overall image P16 to the searcher to allow the searcher to search for whether the search target candidate is the true search target.
  • the search support device 100 of the first embodiment can detect the search target object with a high probability even if the search target object is hidden by surrounding objects.
  • the search support system includes an infrared camera device 212 or a radar device 214 to acquire object information, and can create an overall image P16 using the object information acquired by the infrared camera device 212 or the radar device 214.
  • the search support system and search support device 100 can create an overall image P16 by performing processing such as interpolating parts of the search target candidates that are hidden by surrounding objects.
  • the search support device 100 may convert the search target image P12 into a viewpoint converted image P14 seen from an arbitrary viewpoint, and compare the viewpoint converted image P14 with objects included in the captured video P10 to detect an object included in the captured video P10 that matches one of the viewpoint converted images P14 as a search target candidate.
  • the first embodiment of the search support device 100 includes a search unit 118 that searches for the search target object by comparing the entire video P16 with the viewpoint converted image P14, so that the search target object can be searched for even if it is hidden by surrounding objects.
  • FIG. 5 is a block diagram showing an example of the functional configuration of a search support device 100B in the second embodiment.
  • FIG. 6 is a diagram for explaining the processing of the search support device 100B in the second embodiment.
  • the search support device 100B in the second embodiment differs from the first embodiment in that it creates a composite image P20 by combining an image of a surrounding object that is hiding a part of a search target candidate with a viewpoint conversion image P14, and searches for a search target object by comparing the created composite image P20 with an object included in the captured video P10.
  • the following description will focus on the differences.
  • the image creation unit 116 includes a synthesis unit 120 that creates a synthetic image as a comparison image by synthesizing an image showing a surrounding object that is hiding part of a search target candidate with a converted image.
  • the synthetic image in the second embodiment corresponds to the comparison image that is compared to search for the search target object in the first embodiment.
  • the search support device 100B of the second embodiment includes a search unit 122 that searches for target candidates by comparing objects included in the captured image with the synthetic image created by the synthesis unit 120.
  • the synthesis unit 120 creates multiple viewpoint conversion images P14 from the search target image P12, and synthesizes the surrounding object images with each of the created viewpoint conversion images P14 to create multiple synthetic images P20, which are used as comparison images.
  • the synthetic image P20 may be an image or a video, for example, a still image, or a video including multiple images that are consecutive in time.
  • the synthesis unit 120 cuts out and extracts an image including a surrounding object image from the captured video P10 using object information of the surrounding objects, and creates the synthetic image P20 by superimposing the extracted surrounding object image on the viewpoint conversion image P14.
  • the search unit 118 compares the synthetic image P20 with the captured video P10. As a result, the search unit 122 can detect a search target candidate if at least one of the synthetic images P20 matches a search target candidate included in the captured video P10.
  • FIG. 7 is a flowchart showing an example of a processing procedure in the search support device 100B in the second embodiment.
  • the terminal side communication unit 104 and the setting unit 110 acquire the search target image P12 from the searcher's terminal device 300 (step S200).
  • the conversion unit 112 creates a viewpoint conversion image P14 from the search target image P12 (step S202).
  • the search area side communication unit 102 and the object information acquisition unit 108 acquire the captured image P10 of the search area and object information from the camera system 200 (step S204).
  • the determination unit 114 determines whether or not an object that matches the viewpoint conversion image P14 has been detected among the objects included in the captured image P10 (step S206). If the determination unit 114 does not detect an object that matches the viewpoint conversion image P14 (step S206: NO), the process returns to step S204 and the search continues.
  • the determination unit 114 detects an object (search target candidate) that matches the viewpoint conversion image P14 (step S206: YES), it determines whether the search target candidate is hidden by a surrounding object (step S208). When the search target candidate is not hidden by a surrounding object (step S208: NO), the determination unit 114 notifies the search result (step S216). When the search target candidate is hidden by a surrounding object (step S208: YES), the synthesis unit 120 cuts out and extracts an image including an image showing a surrounding object (surrounding object image) (step S210), and creates a synthetic video P20 by synthesizing the surrounding object image with the viewpoint conversion image P14 (step S212).
  • the search unit 122 determines whether the composite image P20 matches the captured video P10 (step S214). If the composite image P20 does not match the captured video P10 (step S214: NO), the search unit 122 returns the process to step S204. If the composite image P20 matches the captured video P10 (step S214: YES), the search unit 122 notifies the search result (step S216).
  • the search unit 122 transmits, for example, an image showing the search target candidate that matches the composite image P20, location information of the search target candidate, and the like, as the search result to the searcher's terminal device 300.
  • the second embodiment of the search support device 100B includes a synthesis unit 120 that creates a synthetic image P20 by synthesizing an image of a surrounding object that is hiding a part of a search target candidate with a viewpoint conversion image P14, and a search unit 122 that searches for the search target object by comparing an object included in the captured video P10 with the synthetic image P20 created by the synthesis unit 120.
  • the search support device 100B can detect the search target object with a high probability even if the search target object is hidden by surrounding objects.
  • FIG. 8 is a block diagram showing an example of the functional configuration of a search support device 100C in the third embodiment.
  • FIG. 9 is a diagram for explaining the processing of the search support device 100C in the third embodiment.
  • the search support device 100C in the third embodiment performs both the processing of comparing the entire video P16 with the viewpoint conversion image P14 as in the first embodiment, and the processing of comparing the composite image P20 with the captured video P10 as in the second embodiment. This allows the search support device 100C in the third embodiment to detect the search target object with an even higher probability.
  • the image creation unit 130 creates an overall image P16 in which the entire search target candidate can be confirmed from the captured image P10 and the object information, and further creates a composite image P20a by synthesizing the image of the surrounding object included in the captured image P10 with the viewpoint converted image P14.
  • the search unit 132 compares the overall image P16 with the viewpoint converted image P14 as in the first embodiment, and compares the composite image P20a with the captured image P10 as in the second embodiment.
  • the search unit 132 searches for the search target object based on the comparison result between the overall image P20a and the viewpoint converted image P14 and the comparison result between the composite image P20a and the captured image P10.
  • the search unit 132 may determine that the search target object has been found, for example, when both the similarity between the overall image P20 and the viewpoint converted image P14 and the similarity between the composite image P20a and the captured image P10 are equal to or higher than a reference.
  • the search unit 132 may notify that the search target object may have been found if, for example, either the similarity between the entire video P20 and the viewpoint conversion image P14 or the similarity between the composite image P20a and the captured video P10 is equal to or greater than a criterion. This allows the search support device 100C to search for the search target object with higher accuracy.
  • FIG. 10 is a flowchart showing an example of a processing procedure in the search support device 100C in the third embodiment.
  • the search support device 100C performs steps S200 to S206 as described above.
  • the determination unit 114 detects an object (search target candidate) that matches the viewpoint conversion image P14 (step S206: YES), it determines whether the search target candidate is hidden by a peripheral object (step S208). When the search target candidate is not hidden by a peripheral object (step S208: NO), the determination unit 114 notifies the search result (step S216).
  • the image creation unit 130 cuts out and extracts an image including an image showing a peripheral object (peripheral object image) (step S210), creates a composite image P20 by combining the peripheral object image with the viewpoint conversion image P14, and creates an overall image P16 using the peripheral object image (step S300).
  • the search unit 132 determines whether the composite image P20 matches the captured image P10, and whether the viewpoint converted image P14 matches the overall video P16 (step S302). If the composite image P20 does not match the captured image P10 and the viewpoint converted image P14 does not match the overall video P16 (step S302: NO), the search unit 132 returns the process to step S204. If the composite image P20 matches the captured image P10 or the viewpoint converted image P14 matches the overall video P16 (step S302: YES), the search unit 122 notifies the search result (step S304). If the composite image P20 matches the captured image P10, the search unit 132 transmits an image showing the search target candidate and position information of the search target candidate as the search result to the searcher's terminal device 300.
  • the search unit 132 transmits to the searcher's terminal device 300 an image showing the search target candidate that was the basis of the overall video P16, position information of the search target candidate, and the like, as search results.
  • FIG. 11 is a diagram for explaining a modified example of the search support system.
  • the camera system 200 of the search support system in the modified example may include a mobile robot 230 having a camera device.
  • the mobile robot 230 moves, for example, based on control information from the search support device 100 or the operation of the searcher's terminal device 300.
  • the mobile robot 230 moves in the search area, acquires captured images, and transmits them to the search support device 100.
  • the search support device 100 acquires the captured images received from the mobile robot 230 as object information.
  • the search support device 100 creates an overall image P16 of the search target candidate included in the captured images received from the camera device 210 using the object information received from the mobile robot 230.
  • the search support device 100 can create the overall image P16 using captured images captured from an imaging direction different from that of the camera device 210, for example.
  • the mobile robot 230 may move based on the operation of the explorer, and transmit the captured image P10 acquired while moving to the search support device 100. This allows the mobile robot 230 to provide the captured image P10 to the search support device 100 in place of the camera device 210. As a result, the mobile robot 230 can assist in searching for a search target even in a location where a camera device such as the camera device 210 or the infrared camera device 212 is not installed.
  • the exploration support device 100 may control the movement of the mobile robot 230 to acquire captured image P10, for example, to create a 360-degree free viewpoint video.
  • the exploration support device 100 detects a search target candidate using the fixed camera device 210, and when it is desired to check the captured image P10 of the search target candidate in more detail, it transmits to the mobile robot 230 control information for moving the mobile robot 230 to the location where the search target candidate was found.
  • the exploration support device 100 can acquire an image for creating a free viewpoint video by controlling the zoom and imaging direction of the mobile robot 230.
  • the search support device 100D in the fourth embodiment differs from the above-described embodiments in that the search support device 100D searches for a search target based on an object specified by the searcher in the captured image P10.
  • FIG. 12 is a block diagram showing an example of a search support device 100D according to the fourth embodiment.
  • FIG. 13 is a diagram for explaining the processing of the search support device 100D according to the fourth embodiment.
  • the setting unit 110# of the search support device 100D according to the fourth embodiment includes a target image acquisition unit 110a that acquires, as a search target image, an object image P30 specified based on an operation by the searcher from among object images included in the captured video P10.
  • the setting unit 110# sets the object image P30 acquired by the target image acquisition unit 110a as a search target image including the object to be searched.
  • FIG. 14 is a flowchart showing an example of a processing procedure in the search support device 100D in the fourth embodiment.
  • the search support device 100D transmits the captured image P10 received from the camera system 200 by the search area side communication unit 102 to the searcher's terminal device 300 via the terminal side communication unit 104# (step S400).
  • the searcher's terminal device 300 then presents the captured image P10 to the searcher.
  • the searcher's terminal device 300 transmits designation information indicating that an object included in the captured image P10 is designated by the searcher's operation to the search support device 100D.
  • the terminal side communication unit 104# of the search support device 100D receives the designation information (step S402).
  • the target image acquisition unit 110a acquires the object image P30 designated by the searcher based on the designation information as a search target image (step S404).
  • the conversion unit 112# creates a viewpoint-converted image P32 by converting the viewpoint of the object image P30 acquired by the target image acquisition unit 110a as a search target image (step S406).
  • the captured image acquisition unit 106 acquires the captured image P10, and the object information acquisition unit 108 acquires the object information (step S408).
  • the determination unit 114# detects an object included in the captured image P10 that matches one of the viewpoint-converted images P32 as a search target candidate by comparing the viewpoint-converted image P32 with the captured image P10 (step S412: YES), and if the determination unit 114# detects a search target candidate by comparing the viewpoint-converted image P32 with the captured image P10 (step S412: YES), it determines whether the search target candidate is hidden by a surrounding object (step S414). If the determination unit 114# does not detect an object that matches the viewpoint-converted image P32 (step S412: NO), it returns the process to step S408.
  • the overall image creation unit 116# cuts out and extracts an image including the surrounding object image (step S418), and creates an overall image P34 in which the entire search target candidate can be confirmed from the viewpoint conversion image P32 using the surrounding object image (step S420).
  • the terminal side communication unit 104# transmits the overall image P34 to the searcher's terminal device 300 (step S422). If a part of the search target candidate is not hidden by a surrounding object (step S414: NO), the search support device 100D transmits the viewpoint conversion image P32 that matches the object image P30 to the searcher's terminal device 300 via the terminal side communication unit 104# (step S316). This allows the search support device 100D to search for the search target based on the object specified by the searcher in the captured image P10.
  • FIG. 15 is a diagram for explaining a modified example of the fourth embodiment.
  • the camera system 200 of the search support system in the modified example includes a mobile robot 240 having a camera device.
  • the mobile robot 240 moves, for example, based on control information from the search support device 100D or the operation of the searcher's terminal device 300.
  • the mobile robot 240 moves through a search area, for example, based on the operation of the searcher, acquires a captured image P10, and transmits it to the search support device 100D.
  • the search support device 100D acquires the captured image P10 received from the mobile robot 240. This allows the searcher to search for the search target by moving the mobile robot 240.
  • the mobile robot 240 can assist in searching for the search target even in places where a camera device such as the camera device 210 or the infrared camera device 212 is not installed.
  • the search support device 100D may acquire captured image P10 from the camera device 210, and may acquire captured image acquired from the mobile robot 240 as object information.
  • the search support device 100D creates an overall image of the search target candidates included in the captured image P10 received from the camera device 210 using the captured image received from the mobile robot 240. This allows the search support device 100D to create an overall image using captured image captured from a different imaging direction from that of the camera device 210, for example.
  • the exploration support device 100D may control the movement of the mobile robot 240 to acquire captured images, for example, to create a 360-degree free viewpoint video.
  • the exploration support device 100D detects a search target candidate using the fixed camera device 210, and when it is desired to check the captured image of the search target candidate in more detail, it transmits to the mobile robot 240 control information for moving the mobile robot 240 to the location where the search target candidate was found.
  • the exploration support device 100D can acquire images for creating a free viewpoint video by controlling the zoom and image capture direction of the mobile robot 240.
  • the explorer's terminal device 300 has a goggle-type display device (not shown) that is worn on the explorer's head, and may display the captured image P10 on the goggle-type display device.
  • the captured image P10 displayed on the goggle-type display device is preferably a 360-degree free viewpoint image so that the explorer can freely change the viewpoint, but is not limited to this.
  • the captured image P10 may be captured by controlling the imaging direction and imaging range of the camera system 200 to match the explorer's viewpoint, may be captured by controlling the movement of the mobile robot 240 to match the explorer's viewpoint, or may be a virtual reality image that virtually creates an image of the search range.
  • the searcher's terminal device 300 is equipped with a detection device that detects the searcher's gestures, detects finger movements as the searcher's gestures, generates specified information, and transmits it to the search support device 100D.
  • the terminal side communication unit 104# of the search support device 100D receives the specified information, and the target image acquisition unit 110a acquires the object image P30 specified by the searcher based on the specified information as a search target image.
  • the conversion unit 112# creates a viewpoint conversion image P32 by performing viewpoint conversion on the object image P30 specified by the searcher.
  • the determination unit 114# detects search target candidates by comparing the viewpoint conversion image P32 with the captured image P10, and determines whether the search target candidates are hidden by surrounding objects.
  • the overall image creation unit 116# creates an overall image P34 from the viewpoint conversion image P32 using object information of the search target object and object information of the surrounding objects.
  • Overall video creation unit 116# transmits overall video P34 to searcher's terminal device 300 via terminal side communication unit 104#.
  • search support device 100D transmits viewpoint converted image P32 that matches object image P30 to searcher's terminal device 300 via terminal side communication unit 104#. This allows search support device 100D to search for the search target using overall video P34 or viewpoint converted image P32.
  • search support device 100D can have the searcher wear a goggle-type display device to give the searcher the feeling of going to the site and searching.
  • 100, 100B, 100C, 100D...search support device 102...search area side communication unit, 104...terminal side communication unit, 106...captured image acquisition unit, 108...object information acquisition unit, 110...setting unit, 110a...target image acquisition unit, 112...conversion unit, 114...determination unit, 116...image creation unit, 116#...overall image creation unit, 118...search unit, 120...synthesis unit, 122...search unit, 130...image creation unit, 132...search unit, 200...camera system, 210...camera device, 212...infrared camera device, 214...radar device, 216...object information generation device, 220...control unit, 230, 240...mobile robot, 300...searcher terminal device

Landscapes

  • Closed-Circuit Television Systems (AREA)

Abstract

第１の態様に係る探索支援装置は、撮像映像を取得する撮像映像取得部と、撮像映像に含まれる物体を示す物体情報を取得する物体情報取得部と、探索対象物体を含む探索対象画像を設定する設定部と、探索対象画像または物体情報を用いて探索対象候補の一部が周辺物体により隠れているか否かを判定する判定部と、探索対象候補の一部が周辺物体により隠れていると判定された場合、撮像映像のうち周辺物体を示す画像を用いて探索対象物体を探索するために比較される比較映像を作成する映像作成部と、を備える。

Description

探索支援装置、探索支援システム、探索支援方法、およびプログラム
　本開示は、探索支援装置、探索支援システム、探索支援方法、およびプログラムに関する。
　従来、遠隔地に存在する物または人を探索する技術が知られている。例えば、特許文献１には、多眼カメラを用いて被写体を撮影し、ベクトルメディンフィルタを適用して文字の一部が遮られている画像から不要物を取り除くことが記載されている。特許文献２には、画像から対象となる人物を抽出し、複数の地点での画像を用いることで、障害物によって人物の画像の一部が欠ける場合でも、人物を特定することが記載されている。非特許文献１には、可視光カメラと非可視光カメラの画像を統合し、対象物の視認性を高くすることが記載されている。
特開２０１９－２４２５８号公報 特開２０１８－９３４２３号公報
日本電気株式会社、国立大学法人東京工業大学、"ＮＥＣと東京工業大学、ＡＩで悪条件下の視認性を格段に向上する「マルチモーダル画像融合技術」を共同開発～可視光と非可視光の画像を自動で合成～"、[online]、2017年6月5日、[令和４年６月２０日検索]、インターネット<ＵＲＬ：https://www.titech.ac.jp/news/pdf/webtokyotechpr20170605_okutomi.pdf>
　上述した技術では遠隔地に存在する対象物を検索するために多眼カメラにより撮像された画像、複数の地点での画像、または複数種類の画像を用いているが、遠隔地におけるカメラ等の台数制限によって特定の方向から撮像した画像しか取得することができない場合がある。特定の方向から撮像した画像において探索対象物体が周辺物体により隠れている場合、探索対象物体を検出することができない可能性がある。
　本開示は、上記のような課題を解決するためになされたもので、探索対象物体が周辺物体により隠れていても高い確率で探索対象物体を検出することができる探索支援装置、探索支援システム、探索支援方法、およびプログラムを提供することを目的とする。
　第１の態様に係る探索支援装置は、撮像映像を取得する撮像映像取得部と、前記撮像映像に含まれる物体を示す物体情報を取得する物体情報取得部と、探索対象物体を含む探索対象画像を設定する設定部と、前記探索対象画像または前記物体情報を用いて探索対象候補の一部が周辺物体により隠れているか否かを判定する判定部と、前記判定部により前記探索対象候補の一部が周辺物体により隠れていると判定された場合、前記撮像映像のうち前記周辺物体を示す画像を用いて前記探索対象物体を探索するために比較される比較映像を作成する映像作成部と、を備える。
　第２の態様に係る探索支援方法は、探索対象物体を含む探索対象画像を設定するステップと、撮像映像、および前記撮像映像に含まれる物体を示す物体情報を取得するステップと、前記探索対象画像または前記物体情報を用いて探索対象候補の一部が周辺物体により隠れているか否かを判定するステップと、前記探索対象候補の一部が周辺物体により隠れていると判定された場合、前記撮像映像のうち前記周辺物体を示す画像を用いて前記探索対象物体を探索するために比較される比較映像を作成するステップと、を含む。
　第３の態様に係るプログラムは、探索支援装置が搭載するコンピュータに、探索対象物体を含む探索対象画像を設定するステップと、撮像映像、および前記撮像映像に含まれる物体を示す物体情報を取得するステップと、前記探索対象画像または前記物体情報を用いて探索対象候補の一部が周辺物体により隠れているか否かを判定するステップと、前記探索対象候補の一部が周辺物体により隠れていると判定された場合、前記撮像映像のうち前記周辺物体を示す画像を用いて前記探索対象物体を探索するために比較される比較映像を作成するステップと、を実行させる。
　第４の態様に係る探索支援システムは、撮像映像を生成する撮像装置と、前記撮像映像に含まれる物体を示す物体情報を生成する物体情報生成装置と、探索対象物体を含む探索対象画像を設定する設定部と、前記探索対象画像または前記物体情報を用いて探索対象候補の一部が周辺物体により隠れているか否かを判定する判定部と、前記判定部により前記探索対象候補の一部が周辺物体により隠れていると判定された場合、前記撮像映像のうち前記周辺物体を示す画像を用いて前記探索対象物体を探索するために比較される比較映像を作成する映像作成部と、を備える探索支援装置と、を備える。
　本開示によれば、探索対象物体が周辺物体により隠れていても高い確率で探索対象物体を検出することができる。
第１の実施の形態に係る探索支援システムの一例を示すブロック図である。 第１の実施の形態における探索支援装置の機能的な構成の一例を示すブロック図である。 第１の実施の形態における探索支援装置の処理について説明するための図である。 第１の実施の形態における探索支援装置における処理手順の一例を示すフローチャートである。 第２の実施の形態における探索支援装置の機能的な構成の一例を示すブロック図である。 第２の実施の形態における探索支援装置の処理について説明するための図である。 第２の実施の形態における探索支援装置における処理手順の一例を示すフローチャートである。 第３の実施の形態における探索支援装置の機能的な構成の一例を示すブロック図である。 第３の実施の形態における探索支援装置の処理について説明するための図である。 第３の実施の形態における探索支援装置における処理手順の一例を示すフローチャートである。 探索支援システムの変形例について説明するための図である。 第４の実施の形態における探索支援装置の機能的な構成の一例を示すブロック図である。 第４の実施の形態における探索支援装置の処理について説明するための図である。 第４の実施の形態における探索支援装置における処理手順の一例を示すフローチャートである。 第４の実施の形態における探索支援装置の変形例について説明するための図である。
　以下、図面を参照しながら、本開示の実施の形態について説明する。なお、本開示の範囲は、以下の実施の形態に限定されず、本開示の技術的思想の範囲内で任意に変更可能である。例えば、実施の形態における画像は映像に置き換えてよく、実施の形態における映像は画像に置き換えてよい。また、以下の図面においては、各構成をわかりやすくするために、各構造における縮尺および数などを、実際の構造における縮尺および数などと異ならせる場合がある。
　図１は、第１の実施の形態に係る探索支援システムの一例を示すブロック図である。探索支援システムは、例えば、探索支援装置１００と、カメラシステム２００と、探索者用端末装置３００とを備える。探索支援装置１００および探索者用端末装置３００は、例えば、探索エリアにおける落とし物などの探索対象を管理する管理室などに設置される。カメラシステム２００は、探索支援装置１００および探索者用端末装置３００から離れた遠隔地の探索エリアに配置される。探索支援装置１００とカメラシステム２００とは、例えばインターネット等のネットワークＮＷを介して接続される。なお、本実施の形態においては探索支援装置１００とカメラシステム２００と探索者用端末装置３００とを別装置で示したが、これに限定されない。一つの情報処理装置に探索支援装置１００の機能と探索者用端末装置３００の機能とを備えていてよく、カメラシステム２００に探索支援装置１００の機能を備えていてよい。
　探索支援装置１００は、探索対象物体の探索を支援するための処理を行う。探索支援装置１００は、例えば、複数のカメラシステム２００および複数の探索者用端末装置３００と接続され、探索対象物体の探索を支援するクラウドサービスを提供するように構成されてよい。探索対象物体は、例えば店舗の落とし物であるが、これに限定されず、迷子などの人であってよい。
　探索者用端末装置３００は、探索対象物体を探索する探索者により操作されるパーソナルコンピュータまたはスマートフォン等の情報処理装置である。探索者用端末装置３００は、探索者の操作を受け付ける操作インターフェース、探索者に各種情報を提示する表示インターフェース、記憶装置、および各種処理を行うＣＰＵ（Central Processing Unit）等の制御部等を備える。
　カメラシステム２００は、探索エリアに設けられる。探索エリアは、例えば、ショッピングモール、飲食店などの店舗であるが、これに限定されない。カメラシステム２００は、複数のカメラ装置２１０と、物体情報生成装置２１６と、制御部２２０と、を備える。物体情報生成装置２１６は、例えば、赤外線カメラ装置２１２およびレーダ装置２１４である。カメラ装置２１０は、探索エリアにおける撮像映像を生成する。カメラ装置２１０は、可視光を入射することで撮像映像を生成する。カメラ装置２１０は、例えば、一つの探索エリアに１または複数設置される。カメラ装置２１０のそれぞれは、それぞれの設置場所から探索エリアを見た撮像映像を生成する。なお、本実施の形態においてカメラ装置２１０は、時間的に連続した映像を生成するが、これに限定されず、時間的に連続していない画像を生成してよい。また、本実施の形態において物体情報生成装置２１６は赤外線カメラ装置２１２およびレーダ装置２１４を備えるが、これに限定されず、後述するように物体情報を生成することができれば他の構成であってよい。
　物体情報生成装置２１６は、撮像映像に含まれる物体を示す物体情報を取得する。赤外線カメラ装置２１２は、赤外線光を入射することにより、物体情報としての赤外線映像を生成する。レーダ装置２１４は、レーザ光のパルスを探索エリアに照射し、反射光を測定することにより、物体情報としての物体までの距離情報を計測する。
　なお、物体情報は、探索対象物体の２次元または３次元の形を示す情報である。具体的に、物体情報は、探索対象物体または探索対象物体の一部を隠している一つの周辺物体または複数の周辺物体からなる周辺物体群を示す２次元または３次元の形を示す情報である。例えば、物体情報生成装置２１６が赤外線カメラ装置２１２である場合、物体情報は２次元の形を示す情報である。物体情報生成装置２１６がレーダ装置２１４である場合、物体情報は例えば縦横にレーダ送信信号の送信方向を振ることにより取得される３次元の形を示す情報である。例えば、物体情報生成装置２１６が赤外線カメラ装置２１２である場合、後述する探索支援装置１００の物体情報取得部１０８は、透視画像から検索対象物と検索対象物を隠している周辺物体とを分けることで検索対象物の物体情報を取得する。物体情報生成装置２１６がレーダ装置２１４である場合、後述する探索支援装置１００の物体情報取得部１０８は、距離情報の違いから検索対象物と検索対象物を隠している周辺物体とを分けることで検索対象物の物体情報を取得する。
　制御部２２０は、カメラ装置２１０、赤外線カメラ装置２１２、およびレーダ装置２１４を制御する。制御部２２０は、カメラ装置２１０と赤外線カメラ装置２１２とレーダ装置２１４とを時間的に同期させて動作させる。これにより制御部２２０は、時間的に同期した撮像映像および物体情報を取得する。制御部２２０は、時間的に同期した撮像映像および物体情報を探索支援装置１００に送信する。制御部２２０は、例えば、探索者の操作に基づいてカメラ装置２１０、赤外線カメラ装置２１２、またはレーダ装置２１４に対して撮像方向の変更および撮像範囲のズームなどのカメラ制御を行ってよい。
　図２は、第１の実施の形態における探索支援装置１００の機能的な構成の一例を示すブロック図である。図３は、第１の実施の形態における探索支援装置１００の処理について説明するための図である。
　探索支援装置１００は、例えば、探索エリア側通信部１０２と、端末側通信部１０４と、撮像映像取得部１０６と、物体情報取得部１０８と、設定部１１０と、変換部１１２と、判定部１１４と、映像作成部１１６と、探索部１１８とを備える。探索エリア側通信部１０２は、ネットワークＮＷに接続するためのＮＩＣ（Network Interface Card）または無線通信モジュールなどの通信インターフェースである。端末側通信部１０４は、例えばＬＡＮ回線を介して通信を行う通信インターフェースである。撮像映像取得部１０６、物体情報取得部１０８、設定部１１０、変換部１１２、判定部１１４、映像作成部１１６、および探索部１１８といった各部は、例えば探索支援装置１００に搭載されたＣＰＵ等のコンピュータがプログラムメモリに格納されたプログラムを実行することにより実現される。
　撮像映像取得部１０６は、撮像映像Ｐ１０を取得する。撮像映像Ｐ１０は、探索エリア側通信部１０２を介して供給される。撮像映像取得部１０６は、例えば、探索エリアを示す探索エリア情報、カメラ装置２１０を一意に特定するカメラ情報、および撮像映像を対応付けてストレージ装置（不図示）に記憶する。
　物体情報取得部１０８は、撮像映像Ｐ１０に含まれる物体を示す物体情報を取得する。物体情報は、探索エリア側通信部１０２を介して供給される。物体情報には、検索対象物の物体情報および周辺物体の物体情報が含まれる。物体情報取得部１０８は、例えば、探索エリアを示す探索エリア情報、赤外線カメラ装置２１２またはレーダ装置２１４を一意に特定する機器情報、および物体情報を対応付けてストレージ装置（不図示）に記憶する。物体情報取得部１０８は、探索エリア情報または機器情報に、取得した物体情報を対応付けて記憶してよい。
　設定部１１０は、端末側通信部１０４を介して入力した探索対象物体を含む探索対象画像Ｐ１２を設定する。探索対象画像Ｐ１２は、例えば、落とし物の画像、迷子の顔画像などの探索対象物の探索を要求している者（探索要求者）から提供された、特定の視点から見た静止画像である。設定部１１０は、例えば探索要求者のスマートフォン等の他装置から探索支援装置１００にアップロードされた画像を探索対象画像Ｐ１２として取得してよい。
　変換部１１２は、設定部１１０により設定された探索対象画像Ｐ１２を任意の視点から見た視点変換画像Ｐ１４に変換する。変換部１１２は、探索対象画像Ｐ１２から一つの視点変換画像Ｐ１４を生成してよく、複数の視点変換画像Ｐ１４を生成してよい。変換部１１２は、例えば、探索対象画像Ｐ１２に含まれる探索対象物を含む領域を切り抜き、探索対象物を含む領域の角度補正、回転、サイズ変更等の画像処理を行うことで探索対象物の視点を変換した視点変換画像Ｐ１４を作成してよい。変換部１１２は、例えば、探索対象画像Ｐ１２のうち探索対象物が表れていない箇所を予測し、探索対象画像Ｐ１２に含まれる探索対象物を含む領域と予測箇所とを組み合わせることによって探索対象物の視点を変換した視点変換画像Ｐ１４を作成してよい。変換部１１２は、例えば、探索対象物の商品名情報に基づいて探索対象物に類似する物体を検索サイト等で検索することにより探索対象物の形状等を予測してよい。
　判定部１１４は、探索対象画像Ｐ１２または物体情報を用いて探索対象候補の一部が周辺物体により隠れているか否かを判定する。探索対象候補は、撮像映像Ｐ１０に含まれる物体であればよい。判定部１１４は、探索対象画像Ｐ１２を変換した視点変換画像Ｐ１４と撮像映像Ｐ１０に含まれる物体とを比較することにより視点変換画像Ｐ１４の一つと合致する撮像映像Ｐ１０に含まれる物体を探索対象候補として検出し、検出した探索対象候補の一部が周辺物体により隠れているか否かを判定してよい。判定部１１４は、物体情報によって探索対象候補が重複しているか否かを判定することで、撮像映像Ｐ１０に含まれる物体の一部が周辺物体により隠れているか否かを判定してよい。判定部１１４は、物体情報の一部が欠落しているか否かを判定することで、撮像映像Ｐ１０に含まれる物体の一部が周辺物体により隠れているか否かを判定してよい。探索対象候補は、例えば撮像映像Ｐ１０に含まれる物体のうち、探索対象画像Ｐ１２および一または複数の視点変換画像Ｐ１４のうち少なくとも一つと合致する物体である。
　映像作成部１１６は、判定部１１４により探索対象候補の一部が周辺物体により隠れていると判定された場合、撮像映像Ｐ１０のうち周辺物体を示す画像を用いて探索対象物体を探索するために比較される比較映像を作成する。映像作成部１１６は、例えば、探索対象候補の全体を表す全体映像Ｐ１６を、比較映像として作成する。映像作成部１１６は、例えば、赤外線カメラ装置２１２により取得された赤外線画像を用いて周辺物体を透視することにより周辺物体により隠されている箇所を補間する。映像作成部１１６は、レーダ装置２１４により取得された距離画像を用いて周辺物体がある箇所を特定し、周辺物体がある箇所を補間する。これにより映像作成部１１６は全体映像Ｐ１６を作成する。
　探索部１１８は、映像作成部１１６により作成された全体映像Ｐ１６と変換部１１２により変換された視点変換画像Ｐ１４とを比較することで探索対象物体を探索する。探索部１１８は、探索した結果を、端末側通信部１０４を介して探索者用端末装置３００に送信する。探索部１１８は、例えば、探索対象候補が発見された場合、探索対象候補を含む撮像映像Ｐ１０、および探索対象候補の位置情報などを、探索した結果として送信してよい。これにより探索者は、撮像映像Ｐ１０を表示することで探索対象物を視認すること、探索対象候補の位置を撮像するカメラ装置２１０の映像を確認することによって、探索対象物の探索を行うことができる。
　図４は、第１の実施の形態における探索支援装置１００における処理手順の一例を示すフローチャートである。まず端末側通信部１０４は、探索者用端末装置３００から探索対象画像Ｐ１２を取得し、設定部１１０は、探索対象画像Ｐ１２を設定する（ステップＳ１００）。次に変換部１１２は、探索対象画像Ｐ１２から視点変換画像Ｐ１４を作成する（ステップＳ１０２）。次に、撮像映像取得部１０６はカメラシステム２００から探索エリアの撮像映像Ｐ１０を取得し、物体情報取得部１０８は物体情報を取得する（ステップＳ１０４）。次に判定部１１４は、撮像映像Ｐ１０に含まれる物体のうち視点変換画像Ｐ１４に合致する物体（探索対象候補）を検出したか否かを判定する（ステップＳ１０６）。なお、判定部１１４は、所定の基準値以上の合致度で探索対象候補が視点変換画像Ｐ１４に合致した場合に、視点変換画像Ｐ１４に合致する探索対象候補を検出したと判定してよい。すなわち判定部１１４は、画像同士の全部が合致するか否かを判定することに限定されず、画像同士の一部が合致するか否かを判定してよい。基準値は、例えば、撮像映像Ｐ１０に含まれる物体と視点変換画像Ｐ１４が同じ対象物であると認定することができる値であることが望ましいが、探索者によって適宜変更された値であってよい。判定部１１４は、視点変換画像Ｐ１４に合致する物体を検出しない場合（ステップＳ１０６：ＮＯ）、ステップＳ１０４に処理を戻して探索を継続する。
　判定部１１４は、視点変換画像Ｐ１４に合致する探索対象候補を検出した場合（ステップＳ１０６：ＹＥＳ）、探索対象候補の一部が周辺物体により隠されているか否かを判定する（ステップＳ１０８）。判定部１１４は、探索対象候補の一部が周辺物体によって隠されていないと判定した場合（ステップＳ１０８：ＮＯ）、探索結果を通知する（ステップＳ１１６）。探索対象候補の一部が周辺物体によって隠されていると判定した場合（ステップＳ１０８：ＹＥＳ）、映像作成部１１６は、周辺物体を示す画像（周辺物体画像）を含む画像を切り出して抽出し（ステップＳ１１０）、周辺物体画像を用いて探索対象候補の全体が確認できる全体映像Ｐ１６を作成する（ステップＳ１１２）。映像作成部１１６は、周辺物体画像に基づいて探索対象候補を示す画像のうち周辺物体に隠れている箇所を認識し、探索対象候補を示す画像のうち周辺物体に隠れている箇所を、物体情報を用いて補間する。
　次に探索部１１８は、視点変換画像Ｐ１４が全体映像Ｐ１６に合致するか否かを判定する（ステップＳ１１４）。探索部１１８は、全体映像Ｐ１６に合致する視点変換画像Ｐ１４を検出しない場合（ステップＳ１１４：ＮＯ）、ステップＳ１０４に処理を戻す。探索部１１８は、全体映像Ｐ１６に合致する視点変換画像Ｐ１４を検出した場合（ステップＳ１１４：ＹＥＳ）、探索結果を通知する（ステップＳ１１６）。探索部１１８は、ステップＳ１１６において、例えば、全体映像Ｐ１６の元となった探索対象候補を示す画像、探索対象候補の位置情報などを探索結果として探索者用端末装置３００に送信する。
　以上説明したように、第１の実施の形態の探索支援装置１００によれば、撮像映像Ｐ１０および物体情報を取得し、探索対象候補の一部が周辺物体により隠れているか否かを判定し、探索対象候補の一部が周辺物体により隠れていると判定された場合、物体情報を用いて探索対象候補の全体を表す全体映像Ｐ１６を作成することができる。探索対象候補が周辺物体に隠れている場合には高い確率で真の探索対象物を探索することができない可能性がある。また、カメラ装置２１０の台数が制限されている場合、真の探索対象物を探索することができない可能性が高くなってしまう。これに対し、第１の実施の形態の探索支援装置１００によれば、撮像映像Ｐ１０と視点変換画像Ｐ１４との比較に基づいて検出された探索対象候補が周辺物体に隠れている場合、物体情報を用いて全体映像Ｐ１６を作成することができる。これにより探索支援装置１００は、例えば全体映像Ｐ１６を探索者用端末装置３００に送信して探索者に全体映像Ｐ１６を見せることにより探索対象候補が真の探索対象物であるかを探索させることができる。この結果、第１の実施形態の探索支援装置１００によれば、探索対象物体が周辺物体により隠れていても高い確率で探索対象物体を検出することができる。
　第１の実施の形態において、探索支援システムは、物体情報を取得するために赤外線カメラ装置２１２またはレーダ装置２１４を備え、赤外線カメラ装置２１２またはレーダ装置２１４により取得した物体情報を用いて全体映像Ｐ１６を作成することができる。これにより探索支援システムおよび探索支援装置１００によれば、探索対象候補のうち周辺物体に隠れている箇所を補間するなどの処理により全体映像Ｐ１６を作成することができる。
　第１の実施の形態の探索支援装置１００によれば、探索支援装置１００は、探索対象画像Ｐ１２を任意の視点から見た視点変換画像Ｐ１４に変換して視点変換画像Ｐ１４と撮像映像Ｐ１０に含まれる物体とを比較することにより視点変換画像Ｐ１４の一つと合致する撮像映像Ｐ１０に含まれる物体を探索対象候補として検出してよい。第１の実施の形態の探索支援装置１００によれば、全体映像Ｐ１６と視点変換画像Ｐ１４とを比較することで探索対象物体を探索する探索部１１８を備えるので、探索対象物体が周辺物体により隠れていても探索対象物体を探索することができる。
　以下、第２の実施の形態について説明する。図５は、第２の実施の形態における探索支援装置１００Ｂの機能的な構成の一例を示すブロック図である。図６は、第２の実施の形態における探索支援装置１００Ｂの処理について説明するための図である。第２の実施の形態の探索支援装置１００Ｂは、探索対象候補の一部を隠している周辺物体の画像を視点変換画像Ｐ１４に合成した合成画像Ｐ２０を作成し、作成した合成画像Ｐ２０と撮像映像Ｐ１０に含まれる物体を比較することで探索対象物体を探索する点で、第１の実施の形態とは相違する。以下、相違点を中心に説明する。
　探索支援装置１００Ｂにおいて、図５に示すように、映像作成部１１６は、探索対象候補の一部を隠している周辺物体を示す画像を変換画像に合成した合成画像を、比較映像として作成する合成部１２０を備える。第2の実施の形態における合成画像が、第1の実施の形態における探索対象物体を探索するために比較される比較映像に相当する。さらに、第２の実施の形態の探索支援装置１００Ｂは、撮像映像に含まれる物体と合成部１２０により作成された合成画像とを比較することで対象候補を探索する探索部１２２を備える。
　合成部１２０は、図６に示すように、探索対象画像Ｐ１２から複数の視点変換画像Ｐ１４を作成し、作成した視点変換画像Ｐ１４のそれぞれに周辺物体画像を合成することによって複数の合成画像Ｐ２０を作成し、比較映像とする。なお、合成画像Ｐ２０は、画像であっても映像であってよく、例えば、静止画像であってよく、時間的に連続した複数の画像を含む映像であってもよい。合成部１２０は、例えば、撮像映像Ｐ１０から周辺物体の物体情報を用いて周辺物体画像を含む画像を切り出して抽出し、抽出した周辺物体画像を視点変換画像Ｐ１４に重畳することで合成画像Ｐ２０を作成する。探索部１１８は、合成画像Ｐ２０と撮像映像Ｐ１０とを比較する。これにより探索部１２２は、合成画像Ｐ２０の少なくとも一つが撮像映像Ｐ１０に含まれる探索対象候補と合致した場合、探索対象候補を検出することができる。
　図７は、第２の実施の形態における探索支援装置１００Ｂにおける処理手順の一例を示すフローチャートである。まず端末側通信部１０４および設定部１１０は、探索者用端末装置３００から探索対象画像Ｐ１２を取得する（ステップＳ２００）。次に変換部１１２は、探索対象画像Ｐ１２から視点変換画像Ｐ１４を作成する（ステップＳ２０２）。次に探索エリア側通信部１０２および物体情報取得部１０８は、カメラシステム２００から探索エリアの撮像映像Ｐ１０および物体情報を取得する（ステップＳ２０４）。次に判定部１１４は、撮像映像Ｐ１０に含まれる物体のうち視点変換画像Ｐ１４に合致する物体を検出したか否かを判定する（ステップＳ２０６）。判定部１１４は、視点変換画像Ｐ１４に合致する物体を検出しない場合（ステップＳ２０６：ＮＯ）、ステップＳ２０４に処理を戻して探索を継続する。
　判定部１１４は、視点変換画像Ｐ１４に合致する物体（探索対象候補）を検出した場合（ステップＳ２０６：ＹＥＳ）、探索対象候補が周辺物体によって隠されているか否かを判定する（ステップＳ２０８）。判定部１１４は、探索対象候補が周辺物体によって隠されていない場合（ステップＳ２０８：ＮＯ）、探索結果を通知する（ステップＳ２１６）。探索対象候補が周辺物体によって隠されている場合（ステップＳ２０８：ＹＥＳ）、合成部１２０は、周辺物体を示す画像（周辺物体画像）を含む画像を切り出して抽出し（ステップＳ２１０）、周辺物体画像を視点変換画像Ｐ１４に合成した合成映像Ｐ２０を作成する（ステップＳ２１２）。
　次に探索部１２２は、合成画像Ｐ２０が撮像映像Ｐ１０に合致するか否かを判定する（ステップＳ２１４）。探索部１２２は、合成画像Ｐ２０が撮像映像Ｐ１０に合致しない場合（ステップＳ２１４：ＮＯ）、ステップＳ２０４に処理を戻す。探索部１２２は、合成画像Ｐ２０が撮像映像Ｐ１０に合致した場合（ステップＳ２１４：ＹＥＳ）、探索結果を通知する（ステップＳ２１６）。探索部１２２は、例えば、合成画像Ｐ２０に合致した探索対象候補を示す画像、探索対象候補の位置情報などを探索結果として探索者用端末装置３００に送信する。
　第２の実施の形態の探索支援装置１００Ｂによれば、探索対象候補の一部を隠している周辺物体の画像を視点変換画像Ｐ１４に合成した合成画像Ｐ２０を作成する合成部１２０と、撮像映像Ｐ１０に含まれる物体と合成部１２０により作成された合成画像Ｐ２０とを比較することで探索対象物体を探索する探索部１２２とを備える。これにより探索支援装置１００Ｂによれば、探索対象物体が周辺物体により隠れていても高い確率で探索対象物体を検出することができる。
　以下、第３の実施の形態について説明する。図８は、第３の実施の形態における探索支援装置１００Ｃの機能的な構成の一例を示すブロック図である。図９は、第３の実施の形態における探索支援装置１００Ｃの処理について説明するための図である。第３の実施の形態の探索支援装置１００Ｃは、第１の実施の形態のように全体映像Ｐ１６と視点変換画像Ｐ１４とを比較する処理と、第２の実施の形態のように合成画像Ｐ２０と撮像映像Ｐ１０とを比較する処理の双方を行う。これにより第３の実施の形態の探索支援装置１００Ｃは、さらに高い確率で探索対象物体を検出することができる。
　映像作成部１３０は、撮像映像Ｐ１０および物体情報から探索対象候補の全体が確認できる全体映像Ｐ１６を作成し、さらに、撮像映像Ｐ１０に含まれる周辺物体の画像を視点変換画像Ｐ１４に合成して合成画像Ｐ２０ａを作成する。探索部１３２は、第１の実施の形態のように全体映像Ｐ１６と視点変換画像Ｐ１４とを比較すると共に、第２の実施の形態のように合成画像Ｐ２０ａと撮像映像Ｐ１０とを比較する。探索部１３２は、全体映像Ｐ２０ａと視点変換画像Ｐ１４との比較結果、および合成画像Ｐ２０ａと撮像映像Ｐ１０との比較結果に基づいて探索対象物体を探索する。探索部１３２は、例えば全体映像Ｐ２０と視点変換画像Ｐ１４との類似度と合成画像Ｐ２０ａと撮像映像Ｐ１０の類似度の双方が基準以上である場合に、探索対象物体が発見されたと判定してよい。探索部１３２は、例えば全体映像Ｐ２０と視点変換画像Ｐ１４との類似度と合成画像Ｐ２０ａと撮像映像とＰ１０の類似度の一方が基準以上である場合に、探索対象物体が発見された可能性があることを通知してよい。これにより探索支援装置１００Ｃは、より高い精度で探索対象物体を探索することができる。
　図１０は、第３の実施の形態における探索支援装置１００Ｃにおける処理手順の一例を示すフローチャートである。探索支援装置１００Ｃは、上述したようにステップＳ２００からステップＳ２０６を行う。判定部１１４は、視点変換画像Ｐ１４に合致する物体（探索対象候補）を検出した場合（ステップＳ２０６：ＹＥＳ）、探索対象候補が周辺物体によって隠されているか否かを判定する（ステップＳ２０８）。判定部１１４は、探索対象候補が周辺物体によって隠されていない場合（ステップＳ２０８：ＮＯ）、探索結果を通知する（ステップＳ２１６）。探索対象候補が周辺物体によって隠されている場合（ステップＳ２０８：ＹＥＳ）、映像作成部１３０は、周辺物体を示す画像（周辺物体画像）を含む画像を切り出して抽出し（ステップＳ２１０）、周辺物体画像を視点変換画像Ｐ１４に合成した合成映像Ｐ２０を作成し、周辺物体画像を用いて全体映像Ｐ１６を作成する（ステップＳ３００）。
　次に探索部１３２は、合成画像Ｐ２０が撮像画像Ｐ１０に合致するか否かを判定し、視点変換画像Ｐ１４が全体映像Ｐ１６に合致するか否かを判定する（ステップＳ３０２）。探索部１３２は、合成画像Ｐ２０が撮像画像Ｐ１０に合致せず、且つ、視点変換画像Ｐ１４が全体映像Ｐ１６に合致しない場合（ステップＳ３０２：ＮＯ）、ステップＳ２０４に処理を戻す。探索部１２２は、合成画像Ｐ２０が撮像画像Ｐ１０に合致し、または、視点変換画像Ｐ１４が全体映像Ｐ１６に合致した場合（ステップＳ３０２：ＹＥＳ）、探索結果を通知する（ステップＳ３０４）。探索部１３２は、合成画像Ｐ２０が撮像映像Ｐ１０に合致した場合、探索対象候補を示す画像、および探索対象候補の位置情報などを探索結果として探索者用端末装置３００に送信する。探索部１３２は、視点変換画像Ｐ１４が全体映像Ｐ１６に合致した場合、全体映像Ｐ１６の元となった探索対象候補を示す画像、探索対象候補の位置情報などを探索結果として探索者用端末装置３００に送信する。
　以下、第１の実施の形態、第２の実施の形態、および第３の実施の形態の変形例を説明する。図１１は、探索支援システムの変形例について説明するための図である。変形例における探索支援システムのカメラシステム２００は、カメラ装置を持つ移動型ロボット２３０を備えてよい。移動型ロボット２３０は、例えば、探索支援装置１００からの制御情報または探索者用端末装置３００の操作に基づいて移動する。移動型ロボット２３０は、探索エリアを移動し、撮像映像を取得して探索支援装置１００に送信する。探索支援装置１００は、移動型ロボット２３０から受信した撮像映像を、物体情報として取得する。探索支援装置１００は、移動型ロボット２３０から受信した物体情報を用いてカメラ装置２１０から受信した撮像映像に含まれる探索対象候補の全体映像Ｐ１６を作成する。これにより探索支援装置１００は、例えば、カメラ装置２１０の撮像方向とは異なる撮像方向から撮像した撮像映像を用いて全体映像Ｐ１６を作成することができる。
　移動型ロボット２３０は、探索者の操作に基づいて移動し、移動しながら取得した撮像映像Ｐ１０を探索支援装置１００に送信してよい。これにより移動型ロボット２３０は、カメラ装置２１０に代えて撮像映像Ｐ１０を探索支援装置１００に提供することができる。この結果、移動型ロボット２３０は、例えばカメラ装置２１０または赤外線カメラ装置２１２等のカメラ装置が設置されていない場所でも探索対象を探索することを支援することができる。
　探索支援装置１００は、例えば３６０度の自由視点映像を作成するために、移動型ロボット２３０の移動を制御して撮像映像Ｐ１０を取得してよい。探索支援装置１００は、固定されたカメラ装置２１０により探索対象候補を検出し、より詳細に探索対象候補の撮像映像Ｐ１０を確認したい場合、移動型ロボット２３０を探索対象候補が発見された場所まで移動させる制御情報を移動型ロボット２３０に送信する。探索支援装置１００は、移動型ロボット２３０が探索対象候補付近まで移動した場合、移動型ロボット２３０のズームおよび撮像方向を制御することで自由視点映像を作成するための映像を取得することができる。
　以下、第４の実施の形態について説明する。第４の実施の形態における探索支援装置１００Ｄは、探索者が撮像映像Ｐ１０中の物体を指定したことに基づいて探索対象を探索する点で、上述した実施の形態とは相違する。
　図１２は、第４の実施の形態の探索支援装置１００Ｄの一例を示すブロック図である。図１３は、第４の実施の形態の探索支援装置１００Ｄの処理について説明するための図である。第４の実施の形態の探索支援装置１００Ｄの設定部１１０＃は、撮像映像Ｐ１０に含まれる物体画像のうち探索者の操作に基づいて指定された物体画像Ｐ３０を、探索対象画像として取得する対象画像取得部１１０ａを備える。設定部１１０＃は、対象画像取得部１１０ａにより取得された物体画像Ｐ３０を、探索対象物体を含む探索対象画像として設定する。
　図１４は、第４の実施の形態における探索支援装置１００Ｄにおける処理手順の一例を示すフローチャートである。探索支援装置１００Ｄは、探索エリア側通信部１０２によりカメラシステム２００から受信した撮像映像Ｐ１０を、端末側通信部１０４＃を介して探索者用端末装置３００に送信する（ステップＳ４００）。これにより探索者用端末装置３００は、探索者に撮像映像Ｐ１０を提示する。探索者用端末装置３００は、探索者の操作により撮像映像Ｐ１０に含まれる物体を指定することを示す指定情報を探索支援装置１００Ｄに送信する。探索支援装置１００Ｄの端末側通信部１０４＃は、指定情報を受信する（ステップＳ４０２）。対象画像取得部１１０ａは、指定情報に基づいて探索者により指定された物体画像Ｐ３０を、探索対象画像として取得する（ステップＳ４０４）。
　変換部１１２＃は、対象画像取得部１１０ａにより探索対象画像として取得された物体画像Ｐ３０を視点変換することで視点変換画像Ｐ３２を作成する（ステップＳ４０６）。次に撮像映像取得部１０６は、撮像映像Ｐ１０を取得し、物体情報取得部１０８は、物体情報を取得する（ステップＳ４０８）。次に判定部１１４＃は、視点変換画像Ｐ３２と撮像映像Ｐ１０に含まれる物体とを比較することにより視点変換画像Ｐ３２の一つと合致する撮像映像Ｐ１０に含まれる物体を探索対象候補として検出する。判定部１１４＃は、視点変換画像Ｐ３２と撮像映像Ｐ１０とを比較することにより探索対象候補を検出した場合（ステップＳ４１２：ＹＥＳ）、探索対象候補が周辺物体により隠れているか否かを判定する（ステップＳ４１４）。判定部１１４＃は、視点変換画像Ｐ３２に合致する物体を検出しない場合（ステップＳ４１２：ＮＯ）、ステップＳ４０８に処理を戻す。
　探索対象候補の一部が周辺物体に隠れている場合（ステップＳ４１４：ＹＥＳ）、全体映像作成部１１６＃は、周辺物体画像を含む画像を切り出して抽出し（ステップＳ４１８）、周辺物体画像を用いて視点変換画像Ｐ３２から探索対象候補の全体が確認できる全体映像Ｐ３４を作成する（ステップＳ４２０）。端末側通信部１０４＃は、全体映像Ｐ３４を探索者用端末装置３００に送信する（ステップＳ４２２）。探索支援装置１００Ｄは、探索対象候補の一部が周辺物体に隠れていない場合（ステップＳ４１４：ＮＯ）、物体画像Ｐ３０に合致した視点変換画像Ｐ３２を端末側通信部１０４＃を介して探索者用端末装置３００に送信する（ステップＳ３１６）。これにより探索支援装置１００Ｄは、探索者が撮像映像Ｐ１０中の物体を指定したことに基づいて探索対象を探索させることができる。
　以下、第４の実施の形態の変形例を説明する。図１５は、第４の実施の形態の変形例について説明するための図である。変形例における探索支援システムのカメラシステム２００は、カメラ装置を持つ移動型ロボット２４０を備える。移動型ロボット２４０は、例えば、探索支援装置１００Ｄからの制御情報または探索者用端末装置３００の操作に基づいて移動する。移動型ロボット２４０は、例えば探索者の操作に基づいて探索エリアを移動し、撮像映像Ｐ１０を取得して探索支援装置１００Ｄに送信する。探索支援装置１００Ｄは、移動型ロボット２４０から受信した撮像映像Ｐ１０を取得する。これにより探索者は、移動型ロボット２４０を移動させることで、探索対象を探索することができる。この結果、移動型ロボット２４０は、例えばカメラ装置２１０または赤外線カメラ装置２１２等のカメラ装置が設置されていない場所でも探索対象を探索することを支援することができる。
　探索支援装置１００Ｄは、カメラ装置２１０から撮像映像Ｐ１０を取得し、移動型ロボット２４０から取得した撮像映像を物体情報として取得してよい。探索支援装置１００Ｄは、移動型ロボット２４０から受信した撮像映像を用いてカメラ装置２１０から受信した撮像映像Ｐ１０に含まれる探索対象候補の全体映像を作成する。これにより探索支援装置１００Ｄは、例えば、カメラ装置２１０の撮像方向とは異なる撮像方向から撮像した撮像映像を用いて全体映像を作成することができる。
　探索支援装置１００Ｄは、例えば３６０度の自由視点映像を作成するために、移動型ロボット２４０の移動を制御して撮像映像を取得してよい。探索支援装置１００Ｄは、固定されたカメラ装置２１０により探索対象候補を検出し、より詳細に探索対象候補の撮像映像を確認したい場合、移動型ロボット２４０を探索対象候補が発見された場所まで移動させる制御情報を移動型ロボット２４０に送信する。探索支援装置１００Ｄは、移動型ロボット２４０が探索対象候補付近まで移動した場合、移動型ロボット２４０のズームおよび撮像方向を制御することで自由視点映像を作成するための映像を取得することができる。
　以下、第４の実施の形態の他の変形例を説明する。探索者用端末装置３００は、探索者の頭部に装着されるゴーグル型表示装置（不図示）を有し、ゴーグル型表示装置に撮像映像Ｐ１０を表示させてよい。ゴーグル型表示装置に表示させる撮像映像Ｐ１０は、探索者が自由に視点を変更することができるように３６０度の自由視点映像であることが望ましいが、これに限定されず、探索者の視点に合わせてカメラシステム２００の撮像方向および撮像範囲を制御して撮像した撮像映像Ｐ１０であってよく、探索者の視点に合わせて移動型ロボット２４０の移動を制御することで撮像した撮像映像Ｐ１０であってよく、探索範囲の映像を仮想的に作成したバーチャルリアリティ映像であってよい。
　探索者用端末装置３００は、探索者のジェスチャーを検出する検出装置を備え、探索者のジェスチャーとして指の動きを検出して指定情報を生成し、探索支援装置１００Ｄに送信する。探索支援装置１００Ｄの端末側通信部１０４＃は、指定情報を受信し、対象画像取得部１１０ａは、指定情報に基づいて探索者により指定された物体画像Ｐ３０を、探索対象画像として取得する。変換部１１２＃は、探索者により指定された物体画像Ｐ３０に対して視点変換を行うことで視点変換画像Ｐ３２を作成する。判定部１１４＃は、視点変換画像Ｐ３２と撮像映像Ｐ１０とを比較することにより探索対象候補を検出し、探索対象候補が周辺物体により隠れているか否かを判定する。全体映像作成部１１６＃は、探索対象候補が周辺物体に隠れている場合に、探索対象物体の物体情報および周辺物体の物体情報を用いて、視点変換画像Ｐ３２から全体映像Ｐ３４を作成する。全体映像作成部１１６＃は、全体映像Ｐ３４を端末側通信部１０４＃を介して探索者用端末装置３００に送信する。探索支援装置１００Ｄは、探索対象候補が周辺物体に隠れていない場合、物体画像Ｐ３０に合致した視点変換画像Ｐ３２を端末側通信部１０４＃を介して探索者用端末装置３００に送信する。これにより探索支援装置１００Ｄは、全体映像Ｐ３４または視点変換画像Ｐ３２により探索対象を探索させることができる。また、探索支援装置１００Ｄは、探索者にゴーグル型表示装置を装着させて、あたかも現場に行って探索をしているような感覚を与えることができる。
　以上、本開示の実施の形態について図面を参照して詳述してきたが、具体的な構成は上述の実施の形態に限られるものではなく、本開示の要旨を逸脱しない範囲の設計等も含まれる。上述の実施の形態において説明した各構成は、任意に組み合わせることができる。
１００、１００Ｂ、１００Ｃ、１００Ｄ…探索支援装置、１０２…探索エリア側通信部、１０４…端末側通信部、１０６…撮像映像取得部、１０８…物体情報取得部、１１０…設定部、１１０ａ…対象画像取得部、１１２…変換部、１１４…判定部、１１６…映像作成部、１１６＃…全体映像作成部、１１８…探索部、１２０…合成部、１２２…探索部、１３０…映像作成部、１３２…探索部、２００…カメラシステム、２１０…カメラ装置、２１２…赤外線カメラ装置、２１４…レーダ装置、２１６…物体情報生成装置、２２０…制御部、２３０、２４０…移動型ロボット、３００…探索者用端末装置
 

Claims (10)

  1. 　撮像映像を取得する撮像映像取得部と、
    　探索対象物体を含む探索対象画像を設定する設定部と、
    　前記撮像映像に含まれる物体を示す物体情報を取得する物体情報取得部と、
    　前記探索対象画像または前記物体情報を用いて探索対象候補の一部が周辺物体により隠れているか否かを判定する判定部と、
    　前記判定部により前記探索対象候補の一部が周辺物体により隠れていると判定された場合、前記撮像映像のうち前記周辺物体を示す画像を用いて前記探索対象物体を探索するために比較される比較映像を作成する映像作成部と、
    　を備える探索支援装置。
  2. 　前記映像作成部は、前記探索対象候補の全体を表す全体映像を、前記比較映像として作成する、
    　請求項１に記載の探索支援装置。
  3. 　前記物体情報取得部は、赤外線カメラまたはレーダ装置であり、
    　前記映像作成部は、前記赤外線カメラまたは前記レーダ装置により取得した赤外線カメラ画像またはレーダ情報を用いて前記全体映像を作成する、
    　請求項２に記載の探索支援装置。
  4. 　前記設定部により設定された前記探索対象画像を任意の視点から見た変換画像に変換する変換部を備える、請求項１に記載の探索支援装置。
  5. 　前記設定部は、他装置から前記探索対象画像を取得し、
    　前記変換部は、前記探索対象画像を前記変換画像に変換し、
    　前記判定部は、前記変換部により変換された前記変換画像と前記撮像映像に含まれる物体とを比較することにより前記変換画像の一つと合致する前記撮像映像に含まれる物体を前記探索対象候補として検出し、検出した前記探索対象候補の一部が周辺物体により隠れているか否かを判定し、
    　前記映像作成部により作成された前記比較映像と前記変換部により変換された前記変換画像とを比較することで前記探索対象物体を探索する探索部を備える、
    　請求項４に記載の探索支援装置。
  6. 　前記映像作成部は、前記探索対象候補の一部を隠している前記周辺物体を示す画像を前記変換画像に合成した合成画像を、前記比較映像として作成する合成部を備え、
    　前記撮像映像に含まれる物体と前記合成部により作成された前記合成画像とを比較することで前記探索対象物体を探索する探索部と、を備える、
    　請求項４に記載の探索支援装置。
  7. 　前記設定部は、前記撮像映像に含まれる物体画像のうち探索者の操作に基づいて指定された物体画像を、前記探索対象画像として取得する対象画像取得部を備え、
    　前記変換部は、前記対象画像取得部により取得した前記物体画像を複数の前記変換画像に変換し、
    　前記判定部は、前記変換部により変換された前記変換画像と前記撮像映像に含まれる物体とを比較することにより前記変換画像の一つと合致する前記撮像映像に含まれる物体を前記探索対象候補として検出し、検出した前記探索対象候補の一部が周辺物体により隠れているか否かを判定し、
    　前記探索対象候補の一部が周辺物体により隠れている場合、前記映像作成部は、前記比較映像を探索者用端末装置に送信し、前記探索対象候補の一部が周辺物体により隠れていない場合、前記撮像映像と合致した前記変換画像を前記探索者用端末装置に送信する通信部を備える、
    　請求項４に記載の探索支援装置。
  8. 　探索対象物体を含む探索対象画像を設定するステップと、
    　撮像映像、および前記撮像映像に含まれる物体を示す物体情報を取得するステップと、
    　前記探索対象画像または前記物体情報を用いて探索対象候補の一部が周辺物体により隠れているか否かを判定するステップと、
    　前記探索対象候補の一部が周辺物体により隠れていると判定された場合、前記撮像映像のうち前記周辺物体を示す画像を用いて前記探索対象物体を探索するために比較される比較映像を作成するステップと、
    　を含む探索支援方法。
  9. 　探索支援装置が搭載するコンピュータに、
    　探索対象物体を含む探索対象画像を設定するステップと、
    　撮像映像、および前記撮像映像に含まれる物体を示す物体情報を取得するステップと、
    　前記探索対象画像または前記物体情報を用いて探索対象候補の一部が周辺物体により隠れているか否かを判定するステップと、
    　前記探索対象候補の一部が周辺物体により隠れていると判定された場合、前記撮像映像のうち前記周辺物体を示す画像を用いて前記探索対象物体を探索するために比較される比較映像を作成するステップと、
    　を実行させる、プログラム。
  10. 　撮像映像を生成する撮像装置と、
    　前記撮像映像に含まれる物体を示す物体情報を生成する物体情報生成装置と、
    　探索対象物体を含む探索対象画像を設定する設定部と、前記探索対象画像または前記物体情報を用いて探索対象候補の一部が周辺物体により隠れているか否かを判定する判定部と、前記判定部により前記探索対象候補の一部が周辺物体により隠れていると判定された場合、前記撮像映像のうち前記周辺物体を示す画像を用いて前記探索対象物体を探索するために比較される比較映像を作成する映像作成部と、を備える探索支援装置と、
    　を備える、探索支援システム。
PCT/JP2022/044520 2022-12-02 2022-12-02 探索支援装置、探索支援システム、探索支援方法、およびプログラム WO2024116400A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/044520 WO2024116400A1 (ja) 2022-12-02 2022-12-02 探索支援装置、探索支援システム、探索支援方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/044520 WO2024116400A1 (ja) 2022-12-02 2022-12-02 探索支援装置、探索支援システム、探索支援方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2024116400A1 true WO2024116400A1 (ja) 2024-06-06

Family

ID=91323168

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/044520 WO2024116400A1 (ja) 2022-12-02 2022-12-02 探索支援装置、探索支援システム、探索支援方法、およびプログラム

Country Status (1)

Country Link
WO (1) WO2024116400A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007272436A (ja) * 2006-03-30 2007-10-18 Univ Of Electro-Communications 物体追跡装置、異常状態検知装置及び物体追跡方法
JP2010237804A (ja) * 2009-03-30 2010-10-21 Casio Computer Co Ltd 画像検索システム及び画像検索方法
JP2011204111A (ja) * 2010-03-26 2011-10-13 Honda Motor Co Ltd 車両周辺監視装置
JP2012080221A (ja) * 2010-09-30 2012-04-19 Jvc Kenwood Corp 目標追跡装置、目標追跡方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007272436A (ja) * 2006-03-30 2007-10-18 Univ Of Electro-Communications 物体追跡装置、異常状態検知装置及び物体追跡方法
JP2010237804A (ja) * 2009-03-30 2010-10-21 Casio Computer Co Ltd 画像検索システム及び画像検索方法
JP2011204111A (ja) * 2010-03-26 2011-10-13 Honda Motor Co Ltd 車両周辺監視装置
JP2012080221A (ja) * 2010-09-30 2012-04-19 Jvc Kenwood Corp 目標追跡装置、目標追跡方法

Similar Documents

Publication Publication Date Title
EP3340177B1 (en) Method and system for creating virtual message onto a moving object and searching the same
US9898829B2 (en) Monitoring apparatus and system using 3D information of images and monitoring method using the same
KR101303948B1 (ko) 비가시 객체에 대한 증강 현실 정보 제공 장치 및 방법
KR101295714B1 (ko) 3차원 증강 현실 제공 장치 및 방법
US8154616B2 (en) Data processing apparatus and method, and recording medium
US9832447B2 (en) Image processing system and image processing program
KR101561628B1 (ko) 스마트 글래스의 영상 정보를 제공하는 검색 장치 및 검색 방법
US20150213649A1 (en) Three-dimensional environment sharing system and three-dimensional environment sharing method
JP5854806B2 (ja) 映像処理装置および映像処理方法
JP2023502972A (ja) 物品識別および追跡システム
US10970932B2 (en) Provision of virtual reality content
JP2020136882A (ja) 点群データ通信システム、点群データ送信装置および点群データ送信方法
KR101791553B1 (ko) Cctv 영상에 대한 실시간 얼굴 인식 시스템 및 방법
WO2024116400A1 (ja) 探索支援装置、探索支援システム、探索支援方法、およびプログラム
KR20210006627A (ko) 객체 확인 방법 및 이를 위한 시스템
WO2015198284A1 (en) Reality description system and method
KR101611427B1 (ko) 영상 처리 방법 및 이를 수행하는 영상 처리 장치
KR20150117935A (ko) 다중 구역에 대한 카메라 영상파일 통합 시스템
KR20170055147A (ko) 영상 내에서 특정 지점의 위치를 결정하기 위한 장치 및 그 방법
US11758081B2 (en) Server and method for displaying 3D tour comparison
KR20160109828A (ko) 증강 현실 시스템
KR102299902B1 (ko) 증강현실을 제공하기 위한 장치 및 이를 위한 방법
US11076097B2 (en) Method for street view service and apparatus for performing same method
KR101749679B1 (ko) 촬영 영상을 이용한 추적대상의 삼차원 형상 생성시스템 및 그 방법
US11936839B1 (en) Systems and methods for predictive streaming of image data for spatial computing