WO2012153805A1 - 監視システム及び監視方法 - Google Patents

監視システム及び監視方法 Download PDF

Info

Publication number
WO2012153805A1
WO2012153805A1 PCT/JP2012/062005 JP2012062005W WO2012153805A1 WO 2012153805 A1 WO2012153805 A1 WO 2012153805A1 JP 2012062005 W JP2012062005 W JP 2012062005W WO 2012153805 A1 WO2012153805 A1 WO 2012153805A1
Authority
WO
WIPO (PCT)
Prior art keywords
monitoring
image
head
display
data
Prior art date
Application number
PCT/JP2012/062005
Other languages
English (en)
French (fr)
Inventor
雅之 石▲崎▼
Original Assignee
株式会社日立国際電気
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立国際電気 filed Critical 株式会社日立国際電気
Publication of WO2012153805A1 publication Critical patent/WO2012153805A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19691—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19641—Multiple cameras having overlapping views on a single scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Definitions

  • the present invention relates to a monitoring system and a monitoring method for monitoring the monitoring target using a display device that displays a three-dimensional image of the monitoring target.
  • a video monitoring system is realized in which a monitoring object is monitored by photographing a monitoring object such as a factory, a school, or other monitoring object with a camera, and a monitoring person confirms an image of the monitoring object obtained by the imaging.
  • the following operations are performed regarding the display of videos taken by a plurality of cameras.
  • the operator passively confirms the video
  • the display area of the large display serving as the video output destination is divided, and a plurality of videos are output to each divided area and simultaneously displayed.
  • a plurality of large displays are prepared, or a plurality of images are switched in time and displayed.
  • operation devices such as buttons (switches), a joystick, a keyboard, and a mouse prepared as a user interface. Switch the display.
  • an alarm is issued to the operator, and the display is switched to the image of the point where the abnormality is detected.
  • an image is analyzed by image processing technology and an abnormality is detected, an alarm is issued to the operator, and the display is switched to the image where the abnormality is detected.
  • the display includes an image display unit that displays images of the plurality of monitoring cameras, and a map display unit that displays set positions of the plurality of monitoring cameras.
  • a surveillance camera system including a sequence pattern registration list display unit for registering an identification number and display order of a surveillance camera displayed on an image display unit (see Patent Document 1).
  • a sensor that detects an intruder
  • a control unit that calculates the position and movement prediction range of the object detected by the sensor
  • a display unit that displays the movement prediction range calculated by the control unit together with map information.
  • a monitoring device has been proposed (see Patent Document 2).
  • the conventional video surveillance system has the following problems, for example.
  • the present invention has been made in view of the above-described conventional circumstances, and an object thereof is to propose a technique capable of effectively monitoring a monitoring target.
  • the present invention provides an environment for monitoring a monitoring target by the following method using a display device that displays a three-dimensional image of the monitoring target. That is, three-dimensional structure data for displaying the monitoring target as a three-dimensional image is stored in a storage unit, a monitoring unit is installed for the monitoring target, and the display control unit causes the three-dimensional structure to be displayed on the display device.
  • the three-dimensional image to be monitored is displayed based on the image data, and the monitoring result by the monitoring unit is added to the three-dimensional image and displayed corresponding to the installation location of the monitoring unit.
  • the monitoring target may be a building (structure) such as a factory or a school, or may be an area (area) including the periphery thereof.
  • the monitoring target 3D image is an image of the monitoring target represented in the virtual three-dimensional space based on the three-dimensional structure data as viewed from the viewpoint corresponding to the designated position and direction. Virtually reproduce the image that you saw.
  • the designation of the position and direction can be performed by various methods, for example, by an operation using an operation device such as a keyboard or a mouse.
  • an operation device such as a keyboard or a mouse.
  • a detection unit that detects the position and direction of the display device is provided, and the detection result by the detection unit is displayed in the position and direction. You may make it use as designation
  • the viewpoint can be changed corresponding to (following) the movement or rotation of the display device.
  • the detection means for detecting the position and direction of the display device can be realized by various methods.
  • an orientation sensor is provided in the display device, the orientation (direction) is detected by the display device itself, and three or more wireless devices that wirelessly communicate with the display device are installed at different positions, and each wireless device and the display device are The position of the display device may be detected based on the communication result.
  • the monitoring means various means capable of collecting the status of the installation location (and its surroundings) can be used.
  • a camera, an infrared sensor, a microphone or the like is used.
  • the part on the three-dimensional image corresponding to the installation location of the monitoring means (the image portion to which the monitoring result by the monitoring means is added) may be the part corresponding to the location where the monitoring means is actually installed. It may be a part corresponding to a place to be monitored by (for example, a range photographed by a camera).
  • the data for specifying the part on the 3D image corresponding to the installation location of the monitoring means is stored in the storage means common to the monitoring target 3D structure data (for example, attached to the 3D structure data). Alternatively, it may be stored in a storage means separate from the monitored three-dimensional structure data.
  • the operator grasps the monitoring result by the monitoring means installed on the monitoring target only by looking at the display of the three-dimensional image of the monitoring target displayed on the display device. can do. Further, even when a plurality of monitoring means are installed for the monitoring target, it is easy to grasp the monitoring result by each monitoring means. Further, it is not necessary to learn in advance the structure to be monitored, the surrounding environment, the arrangement of monitoring means, and the like. For this reason, it becomes possible to effectively monitor the monitoring target.
  • a head-mounted type (head-mounted type) display device that is worn on a person's head and projects a field image in front of the wearer is used. If the configuration is such that the 3D image (and the monitoring result by the monitoring means) is displayed superimposed on the field image, the operator (monitor) who is the wearer monitors the monitoring target while grasping the situation in the real world. It can be carried out. In addition, when a plurality of people perform cooperative monitoring, it is possible to easily grasp the state of other operators (monitorers) and to easily cooperate with each other.
  • the detection means for detecting the position and direction of the head-mounted display device is provided, and the detection result by the detection means is used as designation of the position and direction, the movement of the operator wearing the display device can be reduced.
  • the three-dimensional image to be monitored can be changed in response (follow-up), and the three-dimensional image to be monitored can be confirmed from a desired viewpoint, thereby reducing the monitoring burden.
  • an instruction device that is held by the user and gives an instruction to the three-dimensional image to be monitored is used, and the display control unit is configured to display the three-dimensional object to be monitored according to the instruction using the instruction device. You may make it perform the predetermined image process which concerns on an image.
  • an instruction is given with the tip portion of the pointing device positioned inside the three-dimensional image to be monitored on the display of the head-mounted display device. Accordingly, the three-dimensional image of the monitoring target displayed on the display device is switched to an image showing the internal structure of the monitoring target.
  • the tip portion of the pointing device is placed on the portion (or within a certain range) of the monitoring result added to the three-dimensional image to be monitored on the display of the head-mounted display device.
  • the information related to the part of the monitoring result (for example, the video of the camera installed in the corresponding place) is displayed on another display device.
  • the operator can operate the pointing device while looking at the display of the head-mounted display device (the three-dimensional image of the monitoring target displayed superimposed on the field image).
  • An instruction for a three-dimensional image to be monitored can be given by an intuitive manner.
  • the position of the tip portion of the pointing device can be detected by a technique similar to the technique for detecting the position of the head-mounted display device. Further, for example, the direction in which the tip portion of the pointing device is directed may be further detected, and image processing corresponding to the position and direction of the tip portion of the pointing device may be performed.
  • the operator can grasp the monitoring result by the monitoring means installed on the monitoring target only by looking at the display of the three-dimensional image of the monitoring target displayed on the display device. Can do. Further, even when a plurality of monitoring means are installed for the monitoring target, it is easy to grasp the monitoring result by each monitoring means. Further, it is not necessary to learn in advance the structure to be monitored, the surrounding environment, the arrangement of monitoring means, and the like. For this reason, it becomes possible to effectively monitor the monitoring target.
  • FIG. 3 is a diagram illustrating an overview of a user interface section. It is a figure which illustrates the external appearance of a head mounted type display. It is a figure which illustrates the external appearance of the stick for monitor position designation. It is a figure which illustrates the information of the detection result by a camera. It is a figure which illustrates the information of the detection result by an infrared sensor. It is a figure which illustrates the information on the detection result by a microphone. It is a figure explaining an example of the operation
  • the monitoring system of this example is a system in which AR (Augmented Reality) technology is applied to video monitoring, and a monitoring area is a three-dimensional image of the monitoring target with an area including a building (structure) and its periphery as a monitoring target.
  • a target image is generated using computer graphic technology, and information about the detection result (monitoring result) is detected when an abnormality is detected by a camera or an infrared sensor installed on the monitoring target.
  • the generated monitoring target image (and information of the detection result added thereto) is displayed on a display device so as to be shown to an operator (monitoring person).
  • a head mounted display mounted on a human head is used as the display device.
  • This head-mounted display is provided with a function for photographing the front (the direction in which the face is facing) of the operator (monitor) who is the wearer and a function for measuring the position and direction of the head-mounted display.
  • the monitoring target image (and the detection result information added to the viewpoint) corresponding to the position and direction of the measurement result is added to the image of the site (place where the wearer is present) photographed with the head mounted display.
  • the monitoring system of this example is further provided with a pointing device (in the following example, a monitor position designation stick) for giving an instruction to the monitoring target image displayed on the head mounted display. Operations such as switching the image to an image showing the internal structure of the monitoring target can be performed intuitively.
  • FIG. 1 illustrates the configuration of the monitoring system of this example.
  • the monitoring system of this example has a configuration in which the information collection section 10, the information processing section 20, and the user interface section 30 are communicably connected via a network (in this example, a LAN (Local Area Network)).
  • a network in this example, a LAN (Local Area Network)
  • the information acquired by the information collection section 10 and the user interface section 30 is processed by the information processing section 20, and the information created by the information processing section 20 is sent to the user interface section 30.
  • LAN Local Area Network
  • the information collection section 10 is a section that collects the situation in the area by various sensors installed at a required location in the monitored area and transmits the collected data to the information processing section 20 via the network.
  • the information collection section 10 of this example includes, as various sensors, L cameras 11 (1) to 11 (L), M infrared sensors 12 (1) to 12 (M), and N microphones 13 (1). To 13 (N). Except for the case where they are described separately, they are simply referred to as a camera 11, an infrared sensor 12, and a microphone 13.
  • the camera 11 captures the vicinity where it is installed, and transmits monitoring image data, which is monitoring image data obtained by the imaging, to the information processing section 20 via the network.
  • monitoring image data which is monitoring image data obtained by the imaging
  • an IP camera that can convert monitoring image data into an IP packet and send it to a network is used.
  • a camera other than the IP camera may be used.
  • an analog signal of a monitoring image taken by an analog camera may be transmitted to the information processing section 20.
  • the infrared sensor 12 detects an abnormality (such as the presence of an intruder) using an infrared laser, and transmits detection result data indicating the detection result to the information processing section 20 via the network.
  • the infrared sensor 12 of this example is a pair of sensors by an infrared laser transmission unit and a reception unit, and when an object blocks between the transmission unit and the reception unit (when the infrared laser cannot be received by the reception unit). Detects that an abnormality has occurred. By adopting a configuration in which data transmission is performed only when an abnormality is detected, the amount of information to be transmitted can be suppressed.
  • the microphone 13 collects sound in the vicinity of the installed sound, and transmits sound data, which is collected sound data obtained by the collection, to the information processing section 20 via the network.
  • Time data necessary for data integration in the information processing section 20 is added to data transmitted from various sensors (in this example, monitoring image data, detection result data, audio data).
  • the time data may be added on the data transmission side (information collection section 10 side) or on the data reception side (information processing section 20 side).
  • FIG. 2 illustrates the arrangement of monitoring targets and various sensors.
  • a rectangular area surrounded by trees on three sides and the other one facing the road and a building in the area are monitored, and 14 cameras 11 (1) to 11 are used as sensors for monitoring this.
  • 11 (14) six infrared sensors 12 (1) to 12 (6), and one microphone 13 (1) are installed.
  • the cameras 11 (1) to 11 (14) are installed outside the building, and the cameras 11 (9) to 11 (14) are installed inside the building. It is.
  • Two infrared sensors 12 (1) to 12 (6) are used as a pair of sensors.
  • FIG. 2 shows an infrared laser 12L (1) transmitted and received by a pair of infrared sensors 12 (1) and 12 (2), and an infrared laser 12L (transmitted and received by a pair of infrared sensors 12 (3) and 12 (4). 2) An infrared laser 12L (3) transmitted and received by a pair of infrared sensors 12 (5) and 12 (6) is also illustrated.
  • the information processing section 20 is a section that generates AR image data, which will be described later, based on various data transmitted from the information collection section 10 and the user interface section 30, and transmits the AR image data to the user interface section 30.
  • the information processing section 20 of this example includes a three-dimensional information integration server 21, a three-dimensional processing server 22, an image processing server 23, an infrared sensor management server 24, a voice analysis server 25, a head-mounted display position positioning server 26, and a monitor position specification. And a 3D video distribution server 29.
  • the three-dimensional processing server 22 manages (stores) three-dimensional structure data for representing the structure and shape of a monitoring target such as a building, a fence on a site or a road outside the site in a virtual three-dimensional space.
  • the three-dimensional processing server 22 receives sensor information data including sensor identification data, installation location data indicating an installation location, monitoring location data indicating a monitoring location (or monitoring range), and the like.
  • Manage (remember) The three-dimensional structure data and the sensor information data may be managed by separate servers. In short, it is only necessary that the positional relationship between the monitoring target and each sensor in the real world can be reproduced in the virtual three-dimensional space.
  • the image processing server 23 performs image analysis processing on the monitoring image data received from the camera 11 of the information collection section 10 to detect the occurrence of an abnormality at the monitoring location (shooting range) by the camera 11 and detect the detection.
  • the detection result data indicating the result is managed (stored).
  • the infrared sensor management server 24 manages (stores) the detection result data received from the infrared sensor 12 of the information collection section 10.
  • the voice analysis server 25 performs voice analysis processing on the voice data received from the microphone 13 of the information collection section 10 to detect the occurrence of an abnormality at the monitoring location (sound collection range) by the microphone 13 and detect the detection.
  • the detection result data indicating the result is managed (stored).
  • the detection result data managed by the image processing server 23, the infrared sensor management server 24, and the voice analysis server 25 include sensor identification data and an abnormality type indicating the detected abnormality type (the presence of an intruder or the occurrence of a fire). Data, time data at the time of abnormality detection, etc. are included. That is, by referring to the detection result data, for example, it is possible to grasp the situation such as “?? number infrared sensor is interrupted from what hour to what hour”.
  • the head-mounted display position positioning server 26 manages (stores) positioning result data of the head-mounted display 31 described later based on information received from the user interface section 30.
  • the positioning result data includes identification data, position data, orientation data, and the like of the head mounted display 31. That is, by referring to the positioning result data, for example, it is possible to grasp the situation such as “the head-mounted display numbered“ ??? ”is in the position of“? ”And the direction of“? ”.
  • the monitor position specifying stick position positioning server 27 manages (stores) positioning result data of the monitor position specifying stick 32 described later based on information received from the user interface section 30.
  • the positioning result data includes identification data of the monitor position designating stick 32, position data, direction data, switch state data indicating the state of the switch, and the like. That is, by referring to the positioning result data, for example, a situation such as “the monitor position designation stick of“ ??? ”is in the state of the position ???, the direction ???, and the switch ???" Can be grasped.
  • the three-dimensional information integration server 21 has three-dimensional structure data and sensor information data managed by the three-dimensional processing server 22, and various detection result data managed by the image processing server 23, the infrared sensor management server 24, and the voice analysis server 25. Based on the positioning result data managed by the head-mounted display position positioning server 26 and the positioning result data managed by the monitor position specifying stick position positioning server 27, all the positional relationships are stored in the three-dimensional information integration server 21. Integrated three-dimensional integrated data is generated. Note that the position data and azimuth data in the positioning result data of the head-mounted display 31 and the positioning result data of the monitor position designating stick 32 are data in the coordinate system of the real space, and therefore are converted into the coordinate system of the virtual three-dimensional space. After being integrated.
  • the 3D video generation server 28 generates AR image data that is AR image data to be displayed on the head mounted display 31 of the user interface section 30 based on the 3D integrated data generated by the 3D information integration server 21. To do. When there are a plurality of head mounted displays 31 in the user interface section 30, different AR image data is generated according to the positioning result data of each head mounted display 31.
  • the 3D video distribution server 29 distributes (transmits) the AR image data generated by the 3D video generation server 28 to the corresponding head mounted display 31 of the user interface section 30.
  • the AR image in this example is an image obtained by superimposing a monitoring target image, which is a three-dimensional image to be monitored, on an on-site image that an operator (monitoring person) sees through the head mounted display 31.
  • the monitoring target image refers to a monitoring target expressed in the virtual three-dimensional space, a viewpoint corresponding to the position and direction of the head-mounted display 31 (the position of the head-mounted display 31 in the coordinate system in the virtual three-dimensional space). And an image viewed from the direction), and changes in conjunction with the movement of the operator (monitor) who is the wearer of the head mounted display 31 in the real space.
  • the detection result information is added to the image portion corresponding to the location to be monitored by the sensor based on the monitoring location data in the sensor information data of the corresponding sensor. Based on the installation location data in the sensor information data, the detection result information may be added to the image portion corresponding to the location where the sensor is installed.
  • an on-site image captured and transmitted by the head-mounted display 31 and a monitoring target image (and information on detection results added thereto) are combined to generate an AR image, and the head-mounted type
  • the information is transmitted to the display 31 and displayed.
  • the destination head mounted display 31 is specified by the identification code of the head mounted display 31.
  • the user interface section 30 is a section for the operator (monitorer) to grasp the status of the monitoring target from the AR image. Further, the operator (monitoring person) can also perform an operation of switching the AR image or displaying the captured image by the camera 11 on the display by his / her own judgment.
  • the user interface section 30 of this example includes Q head-mounted displays 31 (1) to 31 (Q), R monitor position designation sticks 32 (1) to 32 (R), and three radio base stations. 33 (1) to 33 (3) and P camera image display displays 34 (1) to 34 (P). Note that, unless otherwise described, they are simply referred to as a head-mounted display 31, a monitor position designating stick 32, a radio base station 33, and a camera video display 34.
  • the head mounted display 31 and the monitor position designating stick 32 may be collectively referred to as a UI device.
  • FIG. 3 illustrates an overview of the user interface section 30 built in the monitoring room.
  • three wireless base stations 33 are installed at different positions in the monitoring room, one camera video display 34 is installed on the wall surface in the monitoring room, and an operator (monitoring person)
  • a head-mounted display 31 is mounted on the head and a monitor position designating stick 32 is held.
  • FIG. 3 also shows an image of a monitoring target image (and information on detection results added thereto) viewed by the operator (monitoring person) through the head mounted display 31.
  • the head-mounted display 31 and the monitor position designating stick 32 are associated one by one, and the pair of head-mounted display 31 and the monitor position designating stick 32 that are in a corresponding relationship are associated with the same operator (monitoring person). ) Is used. That is, when a certain monitor position designating stick 32 is operated, the display content of the head mounted display 31 corresponding to this is changed.
  • each UI device (head mounted display 31 and monitor position specifying stick 32) to be associated is authenticated by communicating with each other by bringing a predetermined part (for example, infrared communication part) close to within a certain distance.
  • Information (information in which the identification code of each UI device is associated) is transmitted to the information processing section 20 and managed (stored).
  • the head-mounted display 31 is a head-mounted (head-mounted) AR image receiver that is mounted on a person's head like glasses.
  • the head-mounted display 31 of this example is equipped with not only a function of receiving an AR image, but also a sensor for measuring the position and orientation of the own device, a camera adapted to the angle of view that the wearer can see, and the like. Data acquired by these sensors, cameras, and the like is transmitted to the information processing section 20 via the radio base station 33.
  • data transmission / reception to / from the radio base station 33 is performed wirelessly, but may be performed by cable connection to each other.
  • FIG. 4 illustrates the appearance of the head mounted display 31.
  • the head-mounted display 31 shown in FIG. 4 is a glasses-like display device, and includes a right-eye display 41, a left-eye display 42, a camera 43, a three-dimensional orientation sensor 44, and a wireless device 45.
  • the camera 43 is arranged to photograph the front of the wearer (the direction in which the face is facing), and the field image data that is the image data of the scene (the place where the wearer is) photographed by the camera 43
  • the azimuth data indicating the azimuth (direction) detected by the three-dimensional azimuth sensor 44 is transmitted to the radio base station 33 by the radio device 45, and the monitoring target image corresponding to the position and azimuth of the own device (and the detection added thereto).
  • AR image data obtained by combining the result information) with the on-site image is received from the wireless base station 33 by the wireless device 45, and the AR image based on the AR image data is displayed on the right-eye display 41 and the left-eye
  • the wireless device 45 of the head mounted display 31 of this example measures not only the means for transmitting / receiving data to / from each wireless base station 33 but also the position of the head mounted display 31 together with each wireless base station 33.
  • the position measurement (detection) is performed based on a position estimation signal communicated between the wireless device 45 of the head mounted display 31 and each wireless base station 33, TOA (Time Of Arrival; arrival time), RSS (Received Signal). It can be realized by using known techniques such as Strength (reception strength) and AOA (angle of arrival).
  • the monitor position designating stick 32 is an indicating device for giving an instruction for the operator (monitor) to switch the display content of the head mounted display 31 and the like.
  • the monitor position designating stick 32 of this example is equipped with a sensor for measuring the position and orientation of its own device, a switch for instructing the timing for switching the display contents, and the like.
  • the acquired data is transmitted to the information processing section 20 via the radio base station 33.
  • data transmission / reception to / from the radio base station 33 is performed wirelessly, but may be performed by cable connection to each other.
  • a pointing device of another shape may be used.
  • FIG. 5 illustrates the appearance of the monitor position specifying stick 32.
  • a monitor position designating stick 32 shown in FIG. 5 has a stick-like shape having a grip part 51 held by a person, a stick part 53 extending from the grip part 51, and a racket part provided at the tip of the stick part 53.
  • This is a pointing device, and has a configuration in which a switch 52 is provided in the grip 51, and a confirmation position designation plate 54, a three-dimensional orientation sensor 55, and a wireless device 56 are provided in the racket.
  • switch state data indicating the state of the switch 52 (whether or not it is depressed), direction data indicating the direction (direction) detected by the three-dimensional direction sensor 55, and the like are transmitted to the radio base station 33 by the radio device 56.
  • the confirmation position designating plate 54 has a different color scheme so that the front surface and the back surface can be visually distinguished.
  • the wireless device 56 of the monitor position designating stick 32 of this example is not only a means for transmitting / receiving data to / from each radio base station 33, but also the position of the monitor position designating stick 32 together with each radio base station 33.
  • Means for measuring (detecting). The position measurement (detection) is performed based on a position estimation signal communicated between the wireless device 56 of the monitor position designating stick 32 and each wireless base station 33, TOA (arrival time), RSS (reception strength), AOA. It can be realized by using a known technique such as (arrival angle).
  • the radio base station 33 constitutes a means for measuring (detecting) the position of each UI device together with each UI device (the head-mounted display 31 and the monitor position designating stick 32).
  • the data is transmitted to the information processing section 20 via the network together with the identification data of the UI device.
  • the field image data and direction data transmitted from the head mounted display 31 and the switch state data and direction data transmitted from the monitor position designating stick 32, together with the identification data of each UI device are processed via the network into the information processing section 20. Transmit to.
  • the AR image data transmitted from the information processing section 20 via the network is transmitted to the head mounted display 31 designated as the transmission destination (specified by the identification code of the head mounted display 31 in this example).
  • the camera video display 34 is an image receiving device used for displaying an image based on the position (and direction) designated by the monitor position designating stick 32, and displays based on the display data transmitted from the information processing section 20. I do.
  • the monitoring system of this example generally performs the following operation.
  • the three-dimensional processing server 22 manages the three-dimensional structure data to be monitored and the sensor information data of each sensor.
  • the image processing server 23, the infrared sensor management server 24, and the voice analysis server 25 manage detection result data of various sensors (camera 11, infrared sensor 12, microphone 13).
  • the head mounted display position positioning server 26 and the monitor position designating stick position positioning server 27 manage the positioning result data of each UI device (head mounted display 31, monitor position designating stick 32).
  • the three-dimensional information integration server 21 generates three-dimensional integrated data obtained by integrating the data managed by the servers 22 to 27 into the coordinate system of the virtual three-dimensional space.
  • a monitoring target image viewed from (the position and direction of the head-mounted display 31 in the coordinate system in the virtual three-dimensional space) is generated, and the captured image (site image) transmitted from the head-mounted display 31 is monitored.
  • AR image data which is AR image data obtained by superimposing images, is generated.
  • information on the detection result is added to the monitoring target image, and the monitoring target image with the detection result information is superimposed on the field image. .
  • the 3D video distribution server 29 transmits the AR image data generated by the 3D video generation server 28 to the corresponding head mounted display 31. Based on the AR image data transmitted from the 3D video distribution server 29 by the head mounted display 31, the monitoring target image (and the detection result added thereto) are added to the image of the site that the wearer sees through the head mounted display 31. Display) (AR image) is output.
  • the monitoring target image displayed on the head mounted display 31 will be further described.
  • FIG. 6 as an example of a monitoring target image displayed on the head mounted display 31, a detection result based on a captured image of the camera 11 is added to a monitoring target image that represents a building and an area including the periphery thereof in a three-dimensional space.
  • the example which added figure A1, A2 which shows is shown.
  • the figure A1 is a figure added to the image portion corresponding to the installation location of the camera 11 when a sign that an abnormality occurs in the photographed image is detected, and the figure A2 is an abnormality detected in the photographed image. It is a figure added to the image part corresponding to the installation location of the camera 11 corresponding to the case.
  • the figure A1 related to the abnormality sign and the figure A2 related to the complete abnormality are made different from each other so that it is possible to easily distinguish between the abnormality sign and the complete abnormality.
  • the figure A2 related to the abnormality is made larger than the figure A1 related to the sign of the abnormality so as to stand out.
  • FIG. 7 as an example of the monitoring target image displayed on the head-mounted display 31, a graphic showing the detection result by the infrared sensor 12 on the monitoring target image expressing the area including the building and its surroundings in a three-dimensional space.
  • An example with A3 added is shown.
  • the figure A3 is a figure added to the image portion corresponding to the installation location of the infrared sensor 12 corresponding to the case where an abnormality occurs in the infrared laser (when it is blocked). For example, every time something touches an infrared laser, a blinking display or a display for a certain period of time is performed.
  • FIG. 8 as an example of the monitoring target image displayed on the head mounted display 31, detection based on the collected sound of the microphone 13 is performed on the monitoring target image in which the area including the building and its surroundings is expressed in a three-dimensional space.
  • An example in which a figure A4 indicating the result is added is shown.
  • the graphic A4 is a graphic added to the image portion corresponding to the installation location of the microphone 13 when an abnormality is detected in the collected sound.
  • display may be performed by reacting only to a human voice by voice recognition, or an abnormal location may be identified and displayed on an image portion corresponding to the location.
  • the graphics A1 to A4 shown in FIGS. 6 to 8 are merely examples, and graphics of other modes may be used.
  • the type of abnormality for example, abnormality of the captured image, abnormality of the infrared laser, abnormality of the collected sound
  • the degree for example, a sign of abnormality, complete abnormality. It is preferable to use a figure.
  • the shape of the figure is unified for each type of abnormality, and the color and size of the figure are changed according to the degree of abnormality.
  • FIGS. 9 to 11 as an example of the monitoring target image displayed on the head-mounted display 31, the monitoring target image representing the area including the building and its periphery on a three-dimensional space is installed inside the building.
  • FIGS. 9 to 11 An example in which a figure A5 indicating the detection result by the camera 11 is added is shown.
  • a figure A5 is transparently added to the inside of the appearance image T showing the appearance of the building, and as shown in FIG.
  • the switch 52 of the monitor position designating stick 32 is pushed down in the state (inserted state) positioned inside the external image T, as shown in FIG. 11, the internal image T ′ showing the internal structure of the building is switched. Like that.
  • FIG. 12 As an example of the monitoring target image displayed on the head-mounted display 31, a camera 11 installed outside the building is displayed on the monitoring target image in which the area including the building and its periphery is expressed in a three-dimensional space. An example in which a figure A6 indicating the detection result is added is shown.
  • the distal end portion of the monitor position designating stick 32 is positioned in the vicinity (within a certain range) of the figure A6, and the surface (indicating portion) of the confirmation position designating plate 54 provided at the distal end portion of the monitor position designating stick 32
  • the switch 52 of the monitor position designating stick 32 is pushed down with the image A6 facing toward the figure A6, as shown in FIG. 13, the camera 11 (installed toward the gate in this example)
  • the captured image by the fifth camera 11 (5)) is displayed on the video display 11.
  • This captured image may be transmitted directly from the information collection section 10 side to the video display 11 or may be transmitted to the video display 11 via the information processing section 20.
  • the display content of the video display 11 (or the head-mounted display 31) is changed in accordance with the change in the position and direction of the indicating portion (the surface of the confirmation position specifying plate 54) of the monitor position specifying stick 32.
  • the virtual monitoring target image (and the detection result added thereto) are displayed in the real world (image of the site) viewed through the head mounted display 31 by the operator (monitoring person).
  • Information can be monitored from a desired viewpoint, and the display can be switched by an intuitive manner using the monitor position designating stick 32.
  • a person (monitor) can effectively perform monitoring of a monitoring target.
  • a camera is provided on the head-mounted display 31 to capture an on-site image, and an image obtained by superimposing a monitoring target image (and detection result information added thereto) is displayed on the display.
  • a transmissive display that transmits the image on the site and is given to the wearer is used, and the monitoring target image (and information of the detection result added thereto) is displayed on the transmissive display. By doing so, the image may be superimposed on the image at the site.
  • the present invention can be used not only for video surveillance purposes such as facilities and regions, but also for amusement applications such as attractions in theme parks and game centers, for example.
  • 10 Information collection section
  • 20 Information processing section
  • 30 User interface section
  • 29 3D video distribution server

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

課題　監視対象の監視を効果的に実施することが可能な技術を提案する。 解決手段　３次元映像生成サーバ２８が、仮想３次元空間上に表現される監視対象をヘッドマウント型ディスプレイ３１の位置及び方向に対応する視点から見た監視対象画像を生成し、当該ヘッドマウント型ディスプレイ３１から送信される撮影画像（現場の画像）に監視対象画像を重ね合わせてＡＲ画像データを生成する。また、監視対象に対して設けられたセンサーにより異常の発生が検知されている場合には、その検知結果の情報をセンサーの設置位置に対応して監視対象画像に付加する。ヘッドマウント型ディスプレイ３１は、３次元映像配信サーバ２９から送信されるＡＲ画像データに基づいて、装着者がヘッドマウント型ディスプレイ３１を通して見る現場の像に監視対象画像（及びこれに付加された検知結果の情報）を重ねた表示を出力する。

Description

監視システム及び監視方法
　本発明は、監視対象の３次元画像を表示する表示装置を用いて前記監視対象を監視する監視システム及び監視方法に関する。
　工場や学校或いはその他の監視対象をカメラにより撮影し、当該撮影により得られた監視対象の映像を監視者が確認することにより監視対象を監視する映像監視システムが実現されている。
　従来の映像監視システムでは、複数のカメラにより撮影された映像の表示に関し、例えば、以下のような動作を行っていた。
　操作人（監視者）が受動的に映像を確認する場合には、映像の出力先となる大型ディスプレイの表示領域を分割し、複数の映像を各分割領域に出力して同時に表示する。また、カメラの台数が多いときは、大型ディスプレイを複数用意したり、複数の映像を時間的に切り替えて表示したりする。
　操作人が能動的に或る特定箇所の映像を確認する場合には、ユーザインタフェースとして用意されているボタン（スイッチ）、ジョイスティック、キーボード、マウス等の操作機器を用いた操作により、所望の映像へ表示を切り替える。
　センサーで異常を検知した場合には、操作人へのアラームを発報し、異常が検知された地点の映像に表示を切り替える。
　画像処理技術によって映像を解析して異常を検知した場合には、操作人へのアラームを発報し、異常が検知された映像に表示を切り替える。
　上記のような映像監視システムに関し、これまでに種々の発明が提案されている。
　例えば、複数の監視カメラの画像を表示器に表示する監視カメラシステムにおいて、表示器は、複数の監視カメラの画像を表示する画像表示部と、複数の監視カメラの設定位置を表示する地図表示部と、画像表示部に表示する監視カメラの識別番号および表示順番を登録するシーケンスパターン登録リスト表示部で構成された監視カメラシステムが提案されている（特許文献１参照）。
　例えば、侵入物を検出するセンサーと、該センサーが検出した物体の位置と移動予測範囲を算出する制御部と、該制御部が算出した移動予測範囲を地図情報と共に表示する表示部とを備えた監視装置が提案されている（特許文献２参照）。
特開２００９－０１７１７０号公報 特開２００９－２７２９３５号公報
　ここで、従来の映像監視システムでは、例えば、以下のような問題があった。
　大型ディスプレイの表示領域を分割して複数の映像を表示するには、面積的な限界がある。
　一人の操作人が同時に表示される複数の映像を確認するには限界があるため、カメラの台数が多い場合には操作人を増員する必要がある。
　一人の操作人が確認する映像の数に制限を持たせるように、監視対象をエリア毎に分割し、それぞれのエリアに異なる操作人を担当させたとしても、侵入者がエリアを跨って移動する場合には該当するエリアを担当する操作人同士での引継ぎ等が必要になるなど、エリア境界や監視対象全体を通した把握の困難さは解決できない。
　複数のカメラの中から所望するカメラを選択して映像を表示させるには、カメラが設置された位置の把握や煩雑な操作が必要となるため、操作人の事前学習が必要となり、監視システムとしての性能が操作人の熟練度に影響される。
　本発明は、上記従来の事情に鑑みて為されたものであり、監視対象の監視を効果的に実施することが可能な技術を提案することを目的とする。
　本発明は、監視対象の３次元画像を表示する表示装置を用いて、以下のような手法により監視対象を監視するための環境を提供する。
　すなわち、前記監視対象を３次元画像として表示するための３次元構造データを記憶手段に記憶させ、前記監視対象に対して監視手段を設置し、表示制御手段により、前記表示装置に、前記３次元画像データに基づいて前記監視対象の３次元画像を表示すると共に、前記監視手段の設置箇所に対応して、当該３次元画像に前記監視手段による監視結果を付加して表示させる。
　ここで、監視対象としては、工場や学校等の建物（構造物）であってもよく、その周辺を含む区域（エリア）であってもよい。
　監視対象の３次元画像は、３次元構造データに基づいて仮想３次元空間上に表現される監視対象を指定された位置及び方向に対応する視点から見た画像であり、任意の視点から監視対象を見た画像を仮想的に再現する。
　位置及び方向の指定（視点の指定）は、種々の手法により行うことができ、例えば、キーボードやマウス等の操作機器を用いた操作により行うことができる。
　また、監視対象の３次元画像を表示する表示装置として、移動自在な表示装置を用いる場合には、表示装置の位置及び方向を検出する検出手段を設け、当該検出手段による検出結果を位置及び方向の指定として用いるようにしてもよい。この場合には、表示装置の移動や回転等の動きに対応（追従）して視点を変化させることができる。
　なお、表示装置の位置及び方向を検出する検出手段は、種々の手法により実現することができる。例えば、表示装置に方位センサーを設け、表示装置自身で方位（方向）を検出すると共に、表示装置と無線通信する３以上の無線装置をそれぞれ異なる位置に設置し、各無線装置と表示装置との通信結果に基づいて表示装置の位置を検出するようにしてもよい。
　監視手段としては、設置箇所（及びその周辺）の状況を収集可能な種々の手段を用いることができ、例えば、カメラ、赤外線センサー、マイク等が用いられる。
　監視手段の設置箇所に対応する３次元画像上の部位（当該監視手段による監視結果を付加する画像部分）は、当該監視手段が実際に設置されている場所に対応する部位でもよく、当該監視手段による監視対象の場所（例えば、カメラにより撮影する範囲）に対応する部位でもよい。
　監視手段の設置箇所に対応する３次元画像上の部位を特定するためのデータは、監視対象の３次元構造データと共通の記憶手段に（例えば、３次元構造データに付随させて）記憶させてもよく、監視対象の３次元構造データとは別個の記憶手段に記憶させてもよい。
　このような構成によれば、操作人（監視者）は、表示装置に表示された監視対象の３次元画像の表示を見るだけで、監視対象に対して設置された監視手段による監視結果を把握することができる。また、監視対象に対して複数の監視手段が設置されている場合でも、各監視手段による監視結果の把握が容易である。また、監視対象の構造や周辺の環境、監視手段の配置などを事前に学習しておく必要もない。このため、監視対象の監視を効果的に実施することができるようになる。
　ここで、監視対象の３次元画像を表示する表示装置として、人の頭部に装着され、装着者の前方の現場像を映し出すヘッドマウント型（頭部装着型）の表示装置を用い、監視対象の３次元画像（及び監視手段による監視結果）を現場像に重ねて表示する構成とすれば、装着者である操作人（監視者）は、現実世界の状況を把握しながら監視対象の監視を行うことができる。また、複数人で協調的に監視する場合には、他の操作人（監視者）の様子なども容易に把握することができ、互いに連携を取り易くなる。
　また、ヘッドマウント型の表示装置の位置及び方向を検出する検出手段を設け、当該検出手段による検出結果を位置及び方向の指定として用いる構成とすれば、当該表示装置を装着した操作人の動きに対応（追従）して監視対象の３次元画像を変化させることができ、所望の視点から監視対象の３次元画像を確認できるため、監視負担が軽減される。
　また、更に、利用者に把持され、監視対象の３次元画像に対する指示を与えるための指示器具を用いるようにし、表示制御手段は、当該指示器具を用いた指示に応じて、監視対象の３次元画像に係る所定の画像処理を行うようにしてもよい。
　より具体的には、例えば、スティック状の指示器具を用い、ヘッドマウント型の表示装置の表示上において監視対象の３次元画像の内部に指示器具の先端部分を位置させた状態で指示が与えられたことに応じて、表示装置に表示される監視対象の３次元画像を、監視対象の内部構造を示す画像に切り替えるようにする。
　また、例えば、スティック状の指示器具を用い、ヘッドマウント型の表示装置の表示上において監視対象の３次元画像に付加された監視結果の部分（或いは一定の範囲内）に指示器具の先端部分を位置させた状態で指示が与えられたことに応じて、その監視結果の部分に関する情報（例えば、該当する場所に設置されたカメラの映像）を他の表示装置に表示させるようにする。
　このような構成によれば、操作人（監視者）は、ヘッドマウント型の表示装置の表示（現場像に重ねて表示された監視対象の３次元画像）を見ながら指示器具を操作できるため、直感的な作法により監視対象の３次元画像に対する指示を与えることができる。
　ここで、指示器具の先端部分の位置は、ヘッドマウント型の表示装置の位置を検出する手法と同様な手法により検出することができる。
　また、例えば、指示器具の先端部分が向いている方向を更に検出するようにし、指示器具の先端部分の位置及び方向に応じた画像処理を行うようにしてもよい。
　本発明によれば、操作人（監視者）は、表示装置に表示された監視対象の３次元画像の表示を見るだけで、監視対象に対して設置された監視手段による監視結果を把握することができる。また、監視対象に対して複数の監視手段が設置されている場合でも、各監視手段による監視結果の把握が容易である。また、監視対象の構造や周辺の環境、監視手段の配置などを事前に学習しておく必要もない。このため、監視対象の監視を効果的に実施することができるようになる。
本発明の一実施形態に係る監視システムの構成を例示する図である。 監視対象と各種センサーの配置を例示する図である。 ユーザインタフェースセクションの概観を例示する図である。 ヘッドマウント型ディスプレイの外観を例示する図である。 モニタ位置指定用ステッキの外観を例示する図である。 カメラによる検知結果の情報を例示する図である。 赤外線センサーによる検知結果の情報を例示する図である。 マイクによる検知結果の情報を例示する図である。 モニタ位置指定用ステッキを用いて表示内容を切り替える動作の一例を説明する図である。 モニタ位置指定用ステッキを用いて表示内容を切り替える動作の一例を説明する図である。 モニタ位置指定用ステッキを用いて表示内容を切り替える動作の一例を説明する図である。 モニタ位置指定用ステッキを用いて表示内容を切り替える動作の他の例を説明する図である。 モニタ位置指定用ステッキを用いて表示内容を切り替える動作の他の例を説明する図である。
　本発明の一実施形態に係る監視システムについて説明する。
　本例の監視システムは、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）の技術を映像監視に応用したシステムであり、建物（構造物）及びその周辺を含む区域を監視対象として、当該監視対象の３次元画像である監視対象画像をコンピュータグラフィック技術を用いて生成すると共に、当該監視対象に対して設置されたカメラや赤外線センサー等により異常の発生が検知された場合にその検知結果（監視結果）の情報を監視対象画像に付加し、生成された監視対象画像（及びこれに付加された検知結果の情報）を表示装置に表示して操作人（監視者）に見せるようにしている。
　また、本例の監視システムでは、表示装置として、人の頭部に装着されるヘッドマウント型ディスプレイを用いている。このヘッドマウント型ディスプレイには、装着者である操作人（監視者）の前方（顔が向いている方向）を撮影する機能や、ヘッドマウント型ディスプレイの位置及び方向の測定に係る機能が設けられており、ヘッドマウント型ディスプレイで撮影された現場（装着者が在する場所）の画像に、測定結果の位置及び方向に対応する視点による監視対象画像（及びこれに付加された検知結果の情報）を重ねて表示するようにしてある。
　また、本例の監視システムには、更に、ヘッドマウント型ディスプレイに表示された監視対象画像に対する指示を与えるための指示器具（以下の例ではモニタ位置指定用ステッキ）が備えられており、監視対象画像を監視対象の内部構造を示す画像に切り替える等の操作を直感的に行えるようにしてある。
　図１には、本例の監視システムの構成を例示してある。
　本例の監視システムは、情報収集セクション１０、情報処理セクション２０、ユーザインタフェースセクション３０をネットワーク（本例では、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ））により通信可能に接続した構成となっている。
　全体的な動作としては、情報収集セクション１０とユーザインタフェースセクション３０で取得した情報を情報処理セクション２０で処理し、情報処理セクション２０で作成した情報をユーザインタフェースセクション３０に送る、という流れである。
　情報収集セクション１０は、監視対象の区域内の所要箇所に設置された各種センサーによって当該区域内の状況を収集し、収集したデータをネットワーク経由で情報処理セクション２０へ送信するセクションである。
　本例の情報収集セクション１０は、各種センサーとして、Ｌ個のカメラ１１（１）～１１（Ｌ）、Ｍ個の赤外線センサー１２（１）～１２（Ｍ）、Ｎ個のマイク１３（１）～１３（Ｎ）を有する。なお、各々を区別して説明する場合を除き、単に、カメラ１１、赤外線センサー１２、マイク１３と記す。
　カメラ１１は、設置された付近を撮影し、当該撮影により得られた監視画像のデータである監視画像データをネットワーク経由で情報処理セクション２０へ伝送する。本例では、監視画像データをＩＰパケットに変換してネットワークへ送出することが可能なＩＰカメラを用いている。なお、ＩＰカメラ以外のカメラを用いるようにしてもよく、例えば、アナログカメラにより撮影された監視画像のアナログ信号を情報処理セクション２０へ伝送する構成としてもよい。
　赤外線センサー１２は、赤外線レーザーにより異常（侵入者の存在など）を検知し、その検知結果を示す検知結果データをネットワーク経由で情報処理セクション２０へ伝送する。本例の赤外線センサー１２は、赤外線レーザーの送信部及び受信部による一対のセンサーであり、送信部と受信部との間を物体が遮った場合（受信部で赤外線レーザーを受信できなかった場合）に異常が発生したとして検知する。異常の発生を検知したときにのみデータ伝送を行う構成とすることで、伝送する情報量を抑制できる。
　マイク１３は、設置された付近の音声を収集し、当該収集により得られた集音音声のデータである音声データをネットワーク経由で情報処理セクション２０へ伝送する。
　各種センサーから送信されるデータ（本例では、監視画像データ、検知結果データ、音声データ）には、情報処理セクション２０におけるデータ統合に必要な時刻データが付加される。時刻データの付加は、データの送信側（情報収集セクション１０側）で行ってもよく、データの受信側（情報処理セクション２０側）で行ってもよい。
　図２には、監視対象と各種センサーの配置を例示してある。
　本例では、三方を樹木で囲まれ且つ残りの一方が道路に面した矩形状の区域及び当該区域内の建物を監視対象とし、これを監視するセンサーとして、１４個のカメラ１１（１）～１１（１４）、６個の赤外線センサー１２（１）～１２（６）、１個のマイク１３（１）が設置してある。なお、カメラ１１（１）～１１（１４）のうち、カメラ１１（１）～１１（８）は建物外に設置してあり、カメラ１１（９）～１１（１４）は建物内に設置してある。また、赤外線センサー１２（１）～１２（６）は、２個で一対のセンサーとして用いられる。図２には、赤外線センサー１２（１）、１２（２）の対により送受される赤外線レーザー１２Ｌ（１）、赤外線センサー１２（３）、１２（４）の対により送受される赤外線レーザー１２Ｌ（２）、赤外線センサー１２（５）、１２（６）の対により送受される赤外線レーザー１２Ｌ（３）も図示してある。
　情報処理セクション２０は、情報収集セクション１０及びユーザインタフェースセクション３０から送信される各種のデータに基づいて後述のＡＲ画像データを生成し、ユーザインタフェースセクション３０へ送信するセクションである。
　本例の情報処理セクション２０は、３次元情報統合サーバ２１、３次元処理サーバ２２、画像処理サーバ２３、赤外線センサー管理サーバ２４、音声解析サーバ２５、ヘッドマウント型ディスプレイ位置測位サーバ２６、モニタ位置指定用ステッキ位置測位サーバ２７、３次元映像生成サーバ２８、３次元映像配信サーバ２９を有する。
　３次元処理サーバ２２は、建物や敷地外郭の塀や敷地外の道路等の監視対象について、その構造や形状を仮想３次元空間上に表現するための３次元構造データを管理（記憶）する。また、３次元処理サーバ２２は、情報収集セクション１０のセンサー毎に、センサーの識別データ、設置箇所を示す設置箇所データ、監視箇所（或いは監視範囲）を示す監視箇所データなどを含むセンサー情報データを管理（記憶）する。
　なお、３次元構造データとセンサー情報データを別個のサーバに管理させてもよく、要は、現実世界における監視対象と各センサーとの位置関係を仮想３次元空間上で再現できればよい。
　画像処理サーバ２３は、情報収集セクション１０のカメラ１１から受信した監視画像データに対して画像解析処理を施して、当該カメラ１１による監視箇所（撮影範囲）での異常の発生を検知し、その検知結果を示す検知結果データを管理（記憶）する。
　赤外線センサー管理サーバ２４は、情報収集セクション１０の赤外線センサー１２から受信した検知結果データを管理（記憶）する。
　音声解析サーバ２５は、情報収集セクション１０のマイク１３から受信した音声データに対して音声解析処理を施して、当該マイク１３による監視箇所（集音範囲）での異常の発生を検知し、その検知結果を示す検知結果データを管理（記憶）する。
　画像処理サーバ２３及び赤外線センサー管理サーバ２４及び音声解析サーバ２５により管理される検知結果データには、センサーの識別データ、検知した異常の種別（侵入者の存在や火災の発生など）を示す異常種別データ、異常検知時の時刻データなどが含まれている。すなわち、この検知結果データを参照することにより、例えば、「？？番の赤外線センサーが、何時何分から何時何分まで遮られた。」といった状況を把握できる。
　ヘッドマウント型ディスプレイ位置測位サーバ２６は、後述するヘッドマウント型ディスプレイ３１の測位結果データをユーザインタフェースセクション３０から受信する情報に基づいて管理（記憶）する。測位結果データには、ヘッドマウント型ディスプレイ３１の識別データ、位置データ、方位データなどが含まれている。すなわち、この測位結果データを参照することにより、例えば、「？？番のヘッドマウント型ディスプレイが、何時何分に、位置？？、方位？？の状態にある。」といった状況を把握できる。
　モニタ位置指定用ステッキ位置測位サーバ２７は、後述するモニタ位置指定用ステッキ３２の測位結果データをユーザインタフェースセクション３０から受信する情報に基づいて管理（記憶）する。測位結果データには、モニタ位置指定用ステッキ３２の識別データ、位置データ、方位データ、スイッチの状態を示すスイッチ状態データなどが含まれている。すなわち、この測位結果データを参照することにより、例えば、「？？番のモニタ位置指定用ステッキが、何時何分に、位置？？、方位？？、スイッチ？？の状態にある。」といった状況を把握できる。
　３次元情報統合サーバ２１は、３次元処理サーバ２２で管理される３次元構造データ及びセンサー情報データ、画像処理サーバ２３及び赤外線センサー管理サーバ２４及び音声解析サーバ２５で管理される各種の検知結果データ、ヘッドマウント型ディスプレイ位置測位サーバ２６で管理される測位結果データ、モニタ位置指定用ステッキ位置測位サーバ２７で管理される測位結果データに基づいて、３次元情報統合サーバ２１内に全ての位置関係を統合した３次元統合データを生成する。なお、ヘッドマウント型ディスプレイ３１の測位結果データ及びモニタ位置指定用ステッキ３２の測位結果データにおける位置データ及び方位データは、現実空間の座標系のデータであるため、仮想３次元空間の座標系に変換された後に統合される。
　３次元映像生成サーバ２８は、３次元情報統合サーバ２１で生成される３次元統合データに基づいて、ユーザインタフェースセクション３０のヘッドマウント型ディスプレイ３１に表示させるＡＲ画像のデータであるＡＲ画像データを生成する。ユーザインタフェースセクション３０に複数のヘッドマウント型ディスプレイ３１が存在する場合には、それぞれのヘッドマウント型ディスプレイ３１の測位結果データに応じて異なるＡＲ画像データを生成する。
　３次元映像配信サーバ２９は、３次元映像生成サーバ２８で生成されたＡＲ画像データを、ユーザインタフェースセクション３０の該当するヘッドマウント型ディスプレイ３１へ配信（送信）する。
　ここで、本例のＡＲ画像は、操作人（監視者）がヘッドマウント型ディスプレイ３１を通して見る現場像に、監視対象の３次元画像である監視対象画像を重ねた画像である。また、監視対象画像とは、仮想３次元空間上に表現される監視対象をヘッドマウント型ディスプレイ３１の位置及び方向に対応する視点（仮想３次元空間上の座標系におけるヘッドマウント型ディスプレイ３１の位置及び方向）から見た画像であり、ヘッドマウント型ディスプレイ３１の装着者である操作人（監視者）の現実空間の移動に連動して変化する。
　なお、各種センサーにより取得された情報に基づいて異常の発生が検知された場合には、その検知結果（監視結果）の情報が監視対象画像に付加された状態で現場像に重ねられる。本例では、該当するセンサーに係るセンサー情報データ中の監視箇所データに基づいて、当該センサーによる監視対象の場所に対応する画像部分に検知結果の情報を付加するようにしているが、該当するセンサーに係るセンサー情報データ中の設置箇所データに基づいて、当該センサーが設置されている場所に対応する画像部分に検知結果の情報を付加するようにしてもよい。
　本例では、ヘッドマウント型ディスプレイ３１で撮影されて送信される現場の画像と監視対象画像（及びこれに付加された検知結果の情報）とを合成してＡＲ画像を生成し、当該ヘッドマウント型ディスプレイ３１へ送信して表示させるようにしている。本例では、送信先のヘッドマウント型ディスプレイ３１を、ヘッドマウント型ディスプレイ３１の識別コードにより指定している。
　ユーザインタフェースセクション３０は、操作人（監視者）が監視対象の状況をＡＲ画像により把握するためのセクションである。また、操作人（監視者）は、自身の判断により、ＡＲ画像の切り替えや、カメラ１１による撮影画像をディスプレイ表示させる操作を行うことも可能である。
　本例のユーザインタフェースセクション３０は、Ｑ個のヘッドマウント型ディスプレイ３１（１）～３１（Ｑ）、Ｒ個のモニタ位置指定用ステッキ３２（１）～３２（Ｒ）、３個の無線基地局３３（１）～３３（３）、Ｐ個のカメラ映像表示ディスプレイ３４（１）～３４（Ｐ）を有する。なお、各々を区別して説明する場合を除き、単に、ヘッドマウント型ディスプレイ３１、モニタ位置指定用ステッキ３２、無線基地局３３、カメラ映像表示ディスプレイ３４と記す。また、ヘッドマウント型ディスプレイ３１とモニタ位置指定用ステッキ３２とを総称してＵＩ装置と記すこともある。
　図３には、監視室内に構築されたユーザインタフェースセクション３０の概観を例示してある。
　図３の例では、３つの無線基地局３３が監視室内のそれぞれ異なる位置に設置され、１つのカメラ映像表示ディスプレイ３４が監視室内の壁面に設置されており、また、操作人（監視者）がヘッドマウント型ディスプレイ３１を頭部に装着すると共にモニタ位置指定用ステッキ３２を把持している。なお、図３には、ヘッドマウント型ディスプレイ３１を通して操作人（監視者）が見る監視対象画像（及びこれに付加された検知結果の情報）のイメージも示してある。
　本例では、ヘッドマウント型ディスプレイ３１とモニタ位置指定用ステッキ３２を１つずつ対応付けし、対応関係にある一対のヘッドマウント型ディスプレイ３１とモニタ位置指定用ステッキ３２を同一の操作人（監視者）が用いるようにしている。すなわち、或るモニタ位置指定用ステッキ３２の操作がなされた場合に、これと対応関係にあるヘッドマウント型ディスプレイ３１の表示内容が変化するようにしている。
　ヘッドマウント型ディスプレイ３１とモニタ位置指定用ステッキ３２の対応付けは種々の手法により行うことができる。例えば、対応付ける各ＵＩ装置（ヘッドマウント型ディスプレイ３１及びモニタ位置指定用ステッキ３２）の所定部（例えば、赤外線通信部）を一定の距離内に近づけることで互いに通信して認証し、これらの対応付け情報（各ＵＩ装置の識別コードを対応付けた情報）を情報処理セクション２０に送信して管理（記憶）させる。
　ヘッドマウント型ディスプレイ３１は、人の頭部に眼鏡のように装着するヘッドマウント型（頭部装着型）のＡＲ画像受像装置である。本例のヘッドマウント型ディスプレイ３１は、ＡＲ画像を受像する機能だけでなく、自装置の位置や方位を測定するためのセンサーや、装着者が見える画角に合わせたカメラ等が装備されており、これらのセンサーやカメラ等により取得されたデータは無線基地局３３を介して情報処理セクション２０へ伝送される。本例では、無線基地局３３との間におけるデータの送受信を無線により行っているが、互いをケーブル接続して有線により行うようにしてもよい。
　図４には、ヘッドマウント型ディスプレイ３１の外観を例示してある。
　図４に示すヘッドマウント型ディスプレイ３１は、眼鏡状の表示装置であり、右目用ディスプレイ４１、左目用ディスプレイ４２、カメラ４３、３次元方位センサー４４、無線装置４５を設けた構成となっている。カメラ４３は、装着者の前方（顔が向いている方向）を撮影する配置となっており、当該カメラ４３で撮影した現場（装着者が在する場所）の画像のデータである現場画像データや３次元方位センサー４４で検知した方位（方向）を示す方位データなどを無線装置４５により無線基地局３３へ送信し、自装置の位置及び方位に応じた監視対象画像（及びこれに付加された検知結果の情報）を現場の画像に合成して得られるＡＲ画像データを無線装置４５により無線基地局３３から受信し、当該ＡＲ画像データに基づくＡＲ画像を右目用ディスプレイ４１及び左目用ディスプレイ４２により表示出力する。
　ここで、本例のヘッドマウント型ディスプレイ３１の無線装置４５は、各無線基地局３３との間でデータを送受信する手段だけでなく、各無線基地局３３と共にヘッドマウント型ディスプレイ３１の位置を測定（検知）する手段を構成している。
　位置の測定（検知）は、ヘッドマウント型ディスプレイ３１の無線装置４５と各無線基地局３３で通信される位置推定用の信号に基づいて、ＴＯＡ（Ｔｉｍｅ　Ｏｆ　Ａｒｒｉｖａｌ；到来時間）、ＲＳＳ（Ｒｅｃｅｉｖｅｄ　Ｓｉｇｎａｌ　Ｓｔｒｅｎｇｔｈ；受信強度）、ＡＯＡ（Ａｎｇｌｅ　Ｏｆ　Ａｒｒｉｖａｌ；到来角度）などの既知の技術を利用して実現することができる。
　モニタ位置指定用ステッキ３２は、操作人（監視者）がヘッドマウント型ディスプレイ３１の表示内容などを切り替える指示を与えるための指示器具である。本例のモニタ位置指定用ステッキ３２は、自装置の位置や方位を測定するためのセンサーや、表示内容を切り替えるタイミングを指示するためのスイッチ等が装備されており、これらのセンサーやスイッチ等により取得されたデータは無線基地局３３を介して情報処理セクション２０へ伝送される。本例では、無線基地局３３との間におけるデータの送受信を無線により行っているが、互いをケーブル接続して有線により行うようにしてもよい。また、本例のモニタ位置指定用ステッキ３２のようにステッキ状の指示器具ではなく、他の形状の指示器具を用いてもよい。
　図５には、モニタ位置指定用ステッキ３２の外観を例示してある。
　図５に示すモニタ位置指定用ステッキ３２は、人により把持されるグリップ部５１と、グリップ部５１から伸びるステッキ部５３と、ステッキ部５３の先端部分に設けられたラケット部とを有するステッキ状の指示器具であり、グリップ５１部にスイッチ５２を設けると共に、ラケット部に確認位置指定用プレート５４と３次元方位センサー５５と無線装置５６を設けた構成となっている。そして、スイッチ５２の状態（押し下げた状態か否か）を示すスイッチ状態データや３次元方位センサー５５で検知した方位（方向）を示す方位データなどを無線装置５６により無線基地局３３へ送信する。なお、確認位置指定用プレート５４は、表面と裏面を目視で区別できるように異なる配色にしてある。
　ここで、本例のモニタ位置指定用ステッキ３２の無線装置５６は、各無線基地局３３との間でデータを送受信する手段だけでなく、各無線基地局３３と共にモニタ位置指定用ステッキ３２の位置を測定（検知）する手段を構成している。
　位置の測定（検知）は、モニタ位置指定用ステッキ３２の無線装置５６と各無線基地局３３で通信される位置推定用の信号に基づいて、ＴＯＡ（到来時間）、ＲＳＳ（受信強度）、ＡＯＡ（到来角度）などの既知の技術を利用して実現することができる。
　無線基地局３３は、各ＵＩ装置（ヘッドマウント型ディスプレイ３１及びモニタ位置指定用ステッキ３２）と共に各ＵＩ装置の位置を測定（検知）する手段を構成しており、測定結果の位置データを、各ＵＩ装置の識別データと共にネットワーク経由で情報処理セクション２０へ伝送する。
　また、ヘッドマウント型ディスプレイ３１から送信される現場画像データや方位データ、モニタ位置指定用ステッキ３２から送信されるスイッチ状態データや方位データを、各ＵＩ装置の識別データと共にネットワーク経由で情報処理セクション２０へ伝送する。
　また、情報処理セクション２０からネットワーク経由で伝送されるＡＲ画像データを、その送信先に指定（本例では、ヘッドマウント型ディスプレイ３１の識別コードにより指定）されたヘッドマウント型ディスプレイ３１へ送信する。
　カメラ映像表示ディスプレイ３４は、モニタ位置指定用ステッキ３２により指示された位置（及び方向）に基づく画像の表示に使用される受像装置であり、情報処理セクション２０から伝送される表示用データに基づく表示を行う。
　本例の監視システムでは、概略的に、以下のような動作を行う。
　３次元処理サーバ２２が、監視対象の３次元構造データ及び各センサーのセンサー情報データを管理する。
　画像処理サーバ２３、赤外線センサー管理サーバ２４、音声解析サーバ２５が、各種センサー（カメラ１１、赤外線センサー１２、マイク１３）の検知結果データを管理する。
　ヘッドマウント型ディスプレイ位置測位サーバ２６、モニタ位置指定用ステッキ位置測位サーバ２７が、各ＵＩ装置（ヘッドマウント型ディスプレイ３１、モニタ位置指定用ステッキ３２）の測位結果データを管理する。
　３次元情報統合サーバ２１が、上記の各サーバ２２～２７により管理されるデータを仮想３次元空間の座標系に統合した３次元統合データを生成する。
　３次元映像生成サーバ２８が、３次元情報統合サーバ２１で統合された３次元統合データに基づき、仮想３次元空間上に表現される監視対象をヘッドマウント型ディスプレイ３１の位置及び方向に対応する視点（仮想３次元空間上の座標系におけるヘッドマウント型ディスプレイ３１の位置及び方向）から見た監視対象画像を生成し、当該ヘッドマウント型ディスプレイ３１から送信される撮影画像（現場の画像）に監視対象画像を重ね合わせたＡＲ画像のデータであるＡＲ画像データを生成する。また、いずれかのセンサーにより異常の発生が検知されている場合には、その検知結果の情報を監視対象画像に付加し、検知結果の情報を伴う監視対象画像を現場画像に重ね合わせるようにする。
　３次元映像配信サーバ２９が、３次元映像生成サーバ２８で生成されたＡＲ画像データを該当するヘッドマウント型ディスプレイ３１へ送信する。
　ヘッドマウント型ディスプレイ３１が、３次元映像配信サーバ２９から送信されたＡＲ画像データに基づいて、装着者がヘッドマウント型ディスプレイ３１を通して見る現場の像に監視対象画像（及びこれに付加された検知結果の情報）を重ねた表示（ＡＲ画像）を出力する。
　ヘッドマウント型ディスプレイ３１に表示される監視対象画像について更に説明する。
　図６には、ヘッドマウント型ディスプレイ３１に表示される監視対象画像の一例として、建物及びその周辺を含む区域を３次元空間上に表現した監視対象画像に、カメラ１１の撮影画像に基づく検知結果を示す図形Ａ１，Ａ２を付加した例を示してある。図形Ａ１は、撮影画像に異常が発生する予兆が検知された場合に該当するカメラ１１の設置箇所に対応する画像部分に付加される図形であり、図形Ａ２は、撮影画像に異常が検知された場合に該当するカメラ１１の設置箇所に対応する画像部分に付加される図形である。本例では、異常の予兆に係る図形Ａ１と完全な異常に係る図形Ａ２の大きさを異ならせることで、異常の予兆か完全な異常かを容易に区別できるようにしてあり、また、完全な異常に係る図形Ａ２を異常の予兆に係る図形Ａ１より大きくして目立つようにしている。
　図７には、ヘッドマウント型ディスプレイ３１に表示される監視対象画像の一例として、建物及びその周辺を含む区域を３次元空間上に表現した監視対象画像に、赤外線センサー１２による検知結果を示す図形Ａ３を付加した例を示してある。図形Ａ３は、赤外線レーザーに異常が発生した場合（遮られた場合）に該当する赤外線センサー１２の設置箇所に対応する画像部分に付加される図形である。例えば、赤外線レーザーに何かが触れる度に、点滅表示や一定時間表示を行う。
　図８には、ヘッドマウント型ディスプレイ３１に表示される監視対象画像の一例として、建物及びその周辺を含む区域を３次元空間上に表現した監視対象画像に、マイク１３の集音音声に基づく検知結果を示す図形Ａ４を付加した例を示してある。図形Ａ４は、集音音声に異常が検知された場合に該当するマイク１３の設置箇所に対応する画像部分に付加される図形である。例えば、音声認識で人声のみに反応させて表示を行うようにしてもよく、異常の場所を特定してその場所に対応する画像部分に表示を行うようにしてもよい。
　なお、図６～図８に示した図形Ａ１～Ａ４は一例に過ぎず、他の態様の図形を用いるようにしてもよい。その場合、異常の種別（例えば、撮影画像の異常、赤外線レーザーの異常、集音音声の異常）や程度（例えば、異常の予兆、完全な異常）などを区別して把握することが可能な態様の図形を用いることが好ましい。例えば、異常の種別毎に図形の形状を統一し、異常の程度に応じて図形の色や大きさを変化させる、といった具合である。
　次に、モニタ位置指定用ステッキ３２を用いた表示内容の切り替えを説明する。
　モニタ位置指定用ステッキ３２を用いて表示内容を切り替える動作の一例について、図９～１１を参照して説明する。
　図９～１１には、ヘッドマウント型ディスプレイ３１に表示される監視対象画像の一例として、建物及びその周辺を含む区域を３次元空間上に表現した監視対象画像に、建物の内部に設置されたカメラ１１による検知結果を示す図形Ａ５を付加した例を示してある。
　図９に示すように、当初は、建物の外観を示す外観画像Ｔの内部に透過的に図形Ａ５を付加してあり、図１０に示すように、モニタ位置指定用ステッキ３２の先端部分を建物の外観画像Ｔの内部に位置させた状態（差し込んだ状態）でモニタ位置指定用ステッキ３２のスイッチ５２が押し下げられると、図１１に示すように、建物の内部構造を示す内部画像Ｔ’に切り替えるようにする。
　モニタ位置指定用ステッキ３２を用いて表示内容を切り替える動作の他の例について、図１２，１３を参照して説明する。
　図１２には、ヘッドマウント型ディスプレイ３１に表示される監視対象画像の一例として、建物及びその周辺を含む区域を３次元空間上に表現した監視対象画像に、建物の外部に設置されたカメラ１１による検知結果を示す図形Ａ６を付加した例を示してある。この図形Ａ６の近辺（一定の範囲内）にモニタ位置指定用ステッキ３２の先端部分を位置させると共に、モニタ位置指定用ステッキ３２の先端部分に設けられた確認位置指定用プレート５４の表面（指示部）を図形Ａ６側に向けた状態でモニタ位置指定用ステッキ３２のスイッチ５２が押し下げられると、図１３に示すように、該当する場所に設置されたカメラ１１（本例では、門に向けて設置された第５カメラ１１（５））による撮影画像を映像表示用ディスプレイ１１に表示させるようにする。この撮影画像は、情報収集セクション１０側から直接的に映像表示用ディスプレイ１１へ伝送させてもよく、情報処理セクション２０を経由して映像表示用ディスプレイ１１へ伝送させてもよい。
　ここで、モニタ位置指定用ステッキ３２の指示部（確認位置指定用プレート５４の表面）の位置及び方向の変化に応じて、映像表示用ディスプレイ１１（或いはヘッドマウント型ディスプレイ３１）の表示内容を変化させるようにしてもよい。すなわち、例えば、撮影方向が可変なカメラをセンサーとして用い、モニタ位置指定用ステッキ３２の指示部の方向に対応する撮影方向にカメラの向きを制御することで、その撮影方向の撮影画像を映像表示用ディスプレイ１１に表示させたり、映像表示用ディスプレイ１１に表示される撮影画像をモニタ位置指定用ステッキ３２の指示部を図形Ａ６に近づけるほど拡大させたりしてもよい。
　以上のように、本例の監視システムでは、操作人（監視者）がヘッドマウント型ディスプレイ３１を通して見る現実世界（現場の像）に仮想的な監視対象画像（及びこれに付加された検知結果の情報）を融合させることで、所望の視点から監視対象を監視できるようにしてあり、また、モニタ位置指定用ステッキ３２を用いた直感的な作法により表示切り替え等を行えるようにしてあるため、操作人（監視者）は、監視対象の監視を効果的に実施することができる。
　ここで、本例では、ヘッドマウント型ディスプレイ３１にカメラを設けて現場の画像を撮影し、これに監視対象画像（及びこれに付加された検知結果の情報）を重ねた画像をディスプレイに表示するようにしているが、例えば、現場の像を透過させて装着者に与える透過型のディスプレイを用い、当該透過型のディスプレイに監視対象画像（及びこれに付加された検知結果の情報）を映し出すようにすることで、現場の像への重ね合わせを行うようにしてもよい。
　本発明は、施設や地域などの映像監視目的に使用可能であることはもちろんのこと、例えばテーマパークやゲームセンターのアトラクションといったアミューズメント用途などにも使用することが可能である。
　１０：情報収集セクション、　２０：情報処理セクション、　３０：ユーザインタフェースセクション、
　１１（１）～１１（Ｌ）：カメラ、　１２（１）～１２（Ｍ）：赤外線センサー、　１３（１）～１３（Ｎ）：マイク、
　２１：３次元情報統合サーバ、　２２：３次元処理サーバ、　２３：画像処理サーバ、　２４：赤外線センサー管理サーバ、　２５：音声解析サーバ、　２６：ヘッドマウント型ディスプレイ位置測位サーバ、　２７：モニタ位置指定用ステッキ位置測位サーバ、　２８：３次元映像生成サーバ、２９：３次元映像配信サーバ、
　３１（１）～３１（Ｑ）：ヘッドマウント型ディスプレイ、　３２（１）～３２（Ｒ）：モニタ位置指定用ステッキ、　３３（１）～３３（３）：無線基地局、　３４（１）～３４（Ｐ）：カメラ映像表示ディスプレイ

Claims (4)

  1. 　監視対象の３次元画像を表示する表示装置を用いて前記監視対象を監視する監視システムであって、
    　前記監視対象を３次元画像として表示するための３次元構造データを記憶する記憶手段と、
    　前記監視対象に対して設置された監視手段と、
    　前記表示装置に、前記３次元構造データに基づいて前記監視対象の３次元画像を表示すると共に、前記監視手段の設置箇所に対応して、当該３次元画像に前記監視手段による監視結果を付加して表示する表示制御手段と、
    　を備えたことを特徴とする監視システム。
  2. 　請求項１に記載の監視システムにおいて、
    　前記表示装置は、人の頭部に装着され、装着者の前方の現場像を映し出すヘッドマウント型であり、前記監視結果が付加された前記監視対象の３次元画像を前記現場像に重ねて表示し、
    　更に、前記監視システムは、
    　利用者に把持され、前記監視対象の３次元画像に対する指示を与えるための指示器具を備え、
    　前記表示制御手段は、前記指示器具を用いた指示に応じて、前記監視対象の３次元画像に係る所定の画像処理を行う、
    　ことを特徴とする監視システム。
  3. 　監視対象の３次元画像を表示する表示装置を用いて前記監視対象を監視する監視方法であって、
    　前記監視対象に対して設置された監視手段による監視結果を取得し、
    　前記表示装置に、前記監視手段の設置箇所に対応して、前記監視対象の３次元画像に前記取得した監視結果を付加して表示する、
    　ことを特徴とする監視方法。
  4. 　請求項３に記載の監視方法において、
    　前記表示装置は、人の頭部に装着され、装着者の前方の現場像を映し出すヘッドマウント型であり、前記監視結果が付加された前記監視対象の３次元画像を前記現場像に重ねて表示し、
    　更に、前記監視システムは、
    　利用者に把持され、前記監視対象の３次元画像に対する指示を与えるための指示器具を備え、
    　前記指示器具を用いた指示に応じて、前記監視対象の３次元画像に係る所定の画像処理を行う、
    　ことを特徴とする監視方法。
PCT/JP2012/062005 2011-05-12 2012-05-10 監視システム及び監視方法 WO2012153805A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011107248A JP2012239068A (ja) 2011-05-12 2011-05-12 監視システム及び監視方法
JP2011-107248 2011-05-12

Publications (1)

Publication Number Publication Date
WO2012153805A1 true WO2012153805A1 (ja) 2012-11-15

Family

ID=47139280

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/062005 WO2012153805A1 (ja) 2011-05-12 2012-05-10 監視システム及び監視方法

Country Status (2)

Country Link
JP (1) JP2012239068A (ja)
WO (1) WO2012153805A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104506388A (zh) * 2014-12-26 2015-04-08 成都致云科技有限公司 一种与ar技术结合的idc监控方法及系统
US20150097673A1 (en) * 2013-10-08 2015-04-09 HYPERION S.r.l. System of electronic devices for protection and security of places, persons, and goods
EP3038354A1 (fr) * 2014-12-24 2016-06-29 Thales Procédé d'affichage d'images ou de vidéos
WO2016145443A1 (en) 2015-03-12 2016-09-15 Daniel Kerzner Virtual enhancement of security monitoring
CN106030675A (zh) * 2014-12-05 2016-10-12 海珀里昂有限公司 用于地点、人和商品的保护和安全的电子设备的系统
EP3264380A1 (en) * 2016-06-30 2018-01-03 Honeywell International Inc. System and method for immersive and collaborative video surveillance
CN109982033A (zh) * 2017-12-27 2019-07-05 宇博先进电子工业有限公司 使用于穿戴式装置中的实像定位方法
CN110322669A (zh) * 2018-03-31 2019-10-11 汉唐传媒股份有限公司 一种基于现实投影游戏场的预警方法
CN111614919A (zh) * 2019-02-22 2020-09-01 株式会社日立制作所 影像记录装置以及头戴式显示器
CN111651043A (zh) * 2020-05-29 2020-09-11 北京航空航天大学 一种支持定制化多通道交互的增强现实系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6244120B2 (ja) * 2013-06-20 2017-12-06 テックファーム株式会社 映像表示システム及び映像表示用プログラム
FR3008210B1 (fr) * 2013-07-03 2016-12-09 Snecma Procede et systeme de realite augmentee pour la supervision
JP6563234B2 (ja) * 2015-03-31 2019-08-21 綜合警備保障株式会社 警備システム及び警備方法
TWI614729B (zh) * 2016-05-18 2018-02-11 華冠通訊股份有限公司 虛擬實境顯示裝置的威脅警示系統及其威脅警示方法
JP7301526B2 (ja) * 2018-11-16 2023-07-03 キヤノン株式会社 監視装置、監視方法及びプログラム
CN110796733A (zh) * 2019-10-24 2020-02-14 深圳市商汤科技有限公司 数据处理方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06175626A (ja) * 1992-10-06 1994-06-24 Hitachi Ltd プラント監視制御装置及びプラント監視方法
JP2006303989A (ja) * 2005-04-21 2006-11-02 Matsushita Electric Ind Co Ltd 監視装置
JP2008160203A (ja) * 2006-12-20 2008-07-10 Shimadzu Corp 防犯監視システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06175626A (ja) * 1992-10-06 1994-06-24 Hitachi Ltd プラント監視制御装置及びプラント監視方法
JP2006303989A (ja) * 2005-04-21 2006-11-02 Matsushita Electric Ind Co Ltd 監視装置
JP2008160203A (ja) * 2006-12-20 2008-07-10 Shimadzu Corp 防犯監視システム

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150097673A1 (en) * 2013-10-08 2015-04-09 HYPERION S.r.l. System of electronic devices for protection and security of places, persons, and goods
WO2015051923A1 (en) * 2013-10-08 2015-04-16 HYPERION S.r.l. System of electronic devices for protection and security of places, persons and goods
US9286791B2 (en) * 2013-10-08 2016-03-15 HYPERION S.r.l. Protection and security system including three-dimensional virtual reality
CN106030675A (zh) * 2014-12-05 2016-10-12 海珀里昂有限公司 用于地点、人和商品的保护和安全的电子设备的系统
EP3038354A1 (fr) * 2014-12-24 2016-06-29 Thales Procédé d'affichage d'images ou de vidéos
FR3031201A1 (fr) * 2014-12-24 2016-07-01 Thales Sa Procede d'affichage d'images ou de videos
CN104506388A (zh) * 2014-12-26 2015-04-08 成都致云科技有限公司 一种与ar技术结合的idc监控方法及系统
WO2016145443A1 (en) 2015-03-12 2016-09-15 Daniel Kerzner Virtual enhancement of security monitoring
US11875656B2 (en) 2015-03-12 2024-01-16 Alarm.Com Incorporated Virtual enhancement of security monitoring
US11257336B2 (en) 2015-03-12 2022-02-22 Alarm.Com Incorporated Virtual enhancement of security monitoring
EP3268900A4 (en) * 2015-03-12 2018-11-14 Alarm.com Incorporated Virtual enhancement of security monitoring
US10600297B2 (en) 2015-03-12 2020-03-24 Alarm.Com Incorporated Virtual enhancement of security monitoring
US10950103B2 (en) 2015-03-12 2021-03-16 Alarm.Com Incorporated Virtual enhancement of security monitoring
US10504348B2 (en) 2015-03-12 2019-12-10 Alarm.Com Incorporated Virtual enhancement of security monitoring
CN107566783B (zh) * 2016-06-30 2021-10-08 霍尼韦尔国际公司 用于沉浸式且协作式视频监控的系统和方法
CN107566783A (zh) * 2016-06-30 2018-01-09 霍尼韦尔国际公司 用于沉浸式且协作式视频监控的系统和方法
US11354863B2 (en) 2016-06-30 2022-06-07 Honeywell International Inc. Systems and methods for immersive and collaborative video surveillance
EP3264380A1 (en) * 2016-06-30 2018-01-03 Honeywell International Inc. System and method for immersive and collaborative video surveillance
CN109982033A (zh) * 2017-12-27 2019-07-05 宇博先进电子工业有限公司 使用于穿戴式装置中的实像定位方法
CN110322669A (zh) * 2018-03-31 2019-10-11 汉唐传媒股份有限公司 一种基于现实投影游戏场的预警方法
CN111614919A (zh) * 2019-02-22 2020-09-01 株式会社日立制作所 影像记录装置以及头戴式显示器
CN111614919B (zh) * 2019-02-22 2022-08-23 株式会社日立制作所 影像记录装置以及头戴式显示器
CN111651043A (zh) * 2020-05-29 2020-09-11 北京航空航天大学 一种支持定制化多通道交互的增强现实系统
CN111651043B (zh) * 2020-05-29 2021-10-12 北京航空航天大学 一种支持定制化多通道交互的增强现实系统

Also Published As

Publication number Publication date
JP2012239068A (ja) 2012-12-06

Similar Documents

Publication Publication Date Title
WO2012153805A1 (ja) 監視システム及び監視方法
US11262841B2 (en) Wireless wrist computing and control device and method for 3D imaging, mapping, networking and interfacing
US10600253B2 (en) Information processing apparatus, information processing method, and program
CN105659170B (zh) 用于向远程用户传送视频的方法及视频通信装置
KR102289745B1 (ko) 실시간 현장 작업 모니터링 방법 및 시스템
WO2019012817A1 (ja) 画像処理装置、画像処理装置の画像処理方法、プログラム
JP6340301B2 (ja) ヘッドマウントディスプレイ、携帯情報端末、画像処理装置、表示制御プログラム、表示制御方法、及び表示システム
WO2015180497A1 (zh) 一种基于立体视觉的动作采集和反馈方法及系统
JP7338626B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN106664393A (zh) 信息处理装置、信息处理方法以及图像显示系统
KR20110055062A (ko) 로봇 시스템 및 그 제어 방법
US8296063B1 (en) Emergency rescue system and method having video and IMU data synchronization
KR102516096B1 (ko) 정보 처리 시스템 및 정보 처리 방법
US20190377474A1 (en) Systems and methods for a mixed reality user interface
JP7240996B2 (ja) アイウェア装置を用いた測量システムおよび測量方法
US20180278995A1 (en) Information processing apparatus, information processing method, and program
JP2023126474A (ja) 拡張現実のためのシステムおよび方法
CN107426508A (zh) 一种利用ar实现远程安保巡查的方法
CN108259827A (zh) 一种实现安防的方法、装置、ar设备及系统
JP2021060627A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2023507241A (ja) 随意のデュアルレンジ運動学を用いたプロキシコントローラスーツ
GB2526575A (en) Communications system
JPWO2017064926A1 (ja) 情報処理装置及び情報処理方法
US20180082119A1 (en) System and method for remotely assisted user-orientation
JP7078231B2 (ja) ３ｄツアーの比較表示システム及び方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12781670

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12781670

Country of ref document: EP

Kind code of ref document: A1