WO2013136894A1 - 監視システム及び監視方法 - Google Patents

監視システム及び監視方法 Download PDF

Info

Publication number
WO2013136894A1
WO2013136894A1 PCT/JP2013/053271 JP2013053271W WO2013136894A1 WO 2013136894 A1 WO2013136894 A1 WO 2013136894A1 JP 2013053271 W JP2013053271 W JP 2013053271W WO 2013136894 A1 WO2013136894 A1 WO 2013136894A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
image
monitoring
position information
terminal device
Prior art date
Application number
PCT/JP2013/053271
Other languages
English (en)
French (fr)
Inventor
秋彦 香西
照久 高野
真史 安原
Original Assignee
日産自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日産自動車株式会社 filed Critical 日産自動車株式会社
Publication of WO2013136894A1 publication Critical patent/WO2013136894A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R2021/0027—Post collision measures, e.g. notifying emergency services
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/50—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the display information being shared, e.g. external display, data transfer to other traffic participants or centralised traffic controller
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a monitoring system and a monitoring method.
  • This application claims priority based on Japanese Patent Application No. 2012-054318 filed on Mar. 12, 2012.
  • the contents described in the application are incorporated into the present application by reference and made a part of the description of the present application.
  • a security device that detects the occurrence of abnormalities is known by installing multiple security camera devices in shopping streets, store entrances, home entrances, and other streets, and monitoring surrounding images captured by the security camera device (Patent Document 1).
  • An object of the present invention is to provide a monitoring system capable of accurately monitoring a wide range with a small number of cameras.
  • the position information on the map is acquired when the position information of the moving object and the surrounding image information are acquired and the evaluation that the detection accuracy of the position information of the moving object is less than the predetermined evaluation value is acquired.
  • the above object is achieved by obtaining accurate corrected position information based on a comparison result between a reference image of a cityscape associated with information in advance and image information acquired from the moving object side.
  • the accuracy of GPS detection decreases due to the influence of a high-rise building or the like, and accurate position information is obtained. Even if it is not possible to acquire the position information, the position information can be corrected based on the reference information of the cityscape and the image information actually captured. As a result, each point can be monitored based on accurate position information.
  • GPS Global Positioning System
  • FIG. 1 is a schematic diagram showing a monitoring system according to an embodiment of the present invention. It is a block diagram which shows the monitoring system of FIG.
  • FIG. 6 is a first flowchart showing main control contents of the monitoring terminal device when the monitoring terminal device side of the monitoring system of FIG.
  • FIG. 3 is a first flowchart (No. 1) showing main control contents on the central monitoring device side when the monitoring terminal device side of the monitoring system of FIG.
  • FIG. 3 is a first flowchart (No. 2) showing main control contents on the central monitoring device side when the monitoring terminal device side of the monitoring system of FIG.
  • FIG. 6 is a second flowchart showing main control contents on the monitoring terminal device side when the central monitoring device side of the monitoring system of FIG.
  • FIG. 6 is a second flowchart (No.
  • FIG. 6 is a second flowchart (No. 2) showing main control contents when the central monitoring device side obtains correction position information when the central monitoring device side of the monitoring system of FIG. 1 obtains correction position information.
  • FIG. 6 is a second flowchart (No. 3) showing main control contents when the central monitoring device side calculates correction position information when the central monitoring device side of the monitoring system of FIG. 1 calculates correction position information. It is a perspective view which shows arrangement
  • FIG. 1 It is a cross-sectional schematic diagram along xy plane of the projection model shown in FIG. It is a figure which shows the example of a display of a monitoring image. It is a figure which shows the other example of a display of a monitoring image. It is a figure which shows an example of the reference
  • the monitoring system is embodied as a monitoring system 1 that centrally monitors the security of a city by authorities such as a police station and a fire station. That is, the position information of each of the plurality of moving objects, the image information around the moving objects, and the time information are acquired at a predetermined timing, and the position information, the image information, and the time information are acquired via wireless communication. The position information is displayed on the map information and, if necessary, the image information and the time information are displayed on the display. Therefore, the monitoring system 1 of this example inputs and processes the monitoring information via the telecommunications network 30 and the monitoring terminal device 10 that acquires monitoring information such as position information and image information as shown in FIG. Central monitoring device 20 is provided.
  • FIG. 2 is a block diagram illustrating a specific configuration of the monitoring terminal device 10 and the central monitoring device 20.
  • a monitoring command including priority monitoring target information for specifying priority monitoring target information and priority monitoring target information for specifying the priority monitoring position for monitoring is acquired.
  • image information in which the focus monitoring target is expanded by the camera provided on the moving body at the timing at which the moving body exists at or near the priority monitoring position is characterized by acquiring.
  • the monitoring terminal device 10 is a terminal device mounted on a plurality of moving bodies V, and is mounted on each of the plurality of moving bodies and a position detection function that detects position information of each of the plurality of moving bodies V.
  • the position detection function of the monitoring terminal device 10 can output an evaluation that the detection accuracy of the position information is less than the predetermined evaluation value instead of the position information.
  • the monitoring terminal device 10 has a reference image of a cityscape associated with the position information on the map in advance. Z is compared with the image information generated by the image generation function, and the position information associated with the reference image Z whose similarity with the image information is equal to or greater than a predetermined value is obtained as corrected correction position information.
  • the correction position information is obtained by the correction function and the position information correction function, the correction position information is included in the monitoring information as position information and transmitted to the central monitoring device 20 and a command from the central monitoring device 20 is received. It has an output function including a communication function and a function for reporting the occurrence of an abnormality.
  • a plurality of in-vehicle cameras 11a to 11e, an image processing device 12, a communication device 13, an in-vehicle control device 14, a position detection device 15, and a notification button 16 are provided.
  • the time information is mainly information used for post-event analysis, and may be omitted.
  • the mobile body V on which the monitoring terminal device 10 is mounted is not particularly limited as long as it travels in the target monitoring area, and includes mobile bodies such as passenger cars, motorcycles, industrial vehicles, and trams.
  • the passenger car V2 and the emergency passenger car V3 are included, and in particular, a taxi or a route bus V1 that travels randomly and constantly in a predetermined area is particularly preferable.
  • FIG. 1 illustrates an emergency passenger car V3 such as a taxi V1, a private passenger car V2, a police car, a fire engine or an ambulance, but these are collectively referred to as a moving body V or a passenger car V.
  • Each moving body V includes a plurality of in-vehicle cameras 11a to 11e (hereinafter collectively referred to as cameras 11), an image processing device 12, a communication device 13, an in-vehicle control device 14, a position detection device 15, and a notification button 16.
  • the camera 11 is composed of a CCD camera or the like, images the surroundings of the moving object V, and outputs the image pickup signal to the image processing device 12.
  • the image processing device 12 reads an imaging signal from the camera 11 and performs image processing on the image information. Details of this image processing will be described later.
  • the position detection device 15 is composed of a GPS device and its correction device, etc., detects the current position of the moving object V, and outputs it to the in-vehicle control device 14.
  • the notification button 16 is an input button installed in the passenger compartment, and inputs information for reporting an abnormality when a driver or a passenger finds an incident (an incident related to security such as an accident, fire, or crime). It is a manual button. This information can include position information of the moving body V that has reported the abnormality.
  • the in-vehicle control device 14 includes a CPU, a ROM, and a RAM, and controls the image processing device 12, the communication device 13, and the position detection device 15 when the notification button 16 is pressed, and is generated by the image processing device 12.
  • the image information, the position information of the moving object V detected by the position detection device 15, and the time information from the clock built in the CPU are output to the central monitoring device 20 via the communication device 13 and the telecommunication network 30. . Further, it receives a command requesting information such as an image transmission command from the central monitoring device 20 received via the telecommunication network 30 and the communication device 13 and controls the image processing device 12, the communication device 13, and the position detection device 15.
  • the monitoring information including the image information generated by the image processing device 12, the position information of the moving object V detected by the position detection device 15, and the time information from the clock built in the CPU is sent to the communication device 13 and Output to the central monitoring device 20 via the telecommunication network 30.
  • the in-vehicle control device 14 uses the city-level reference image Z previously associated with the position information and the image information generated by the image processing device 12. In comparison, accurate corrected position information can be obtained from the similarity, and this corrected position information can be included in the monitoring information together with the image information as position information.
  • the monitoring information can include image information in which the priority monitoring target is expanded. Details of these specific processes will be described later.
  • processing for obtaining the corrected position information can be performed on the central monitoring device 20 side. This aspect will be described together with the description of the central monitoring device 20.
  • the communication device 13 is a communication means capable of wireless communication, and exchanges information with the communication device 23 of the central monitoring device 20 via the telecommunication network 30.
  • the telecommunications network 30 is a commercial telephone network, a mobile phone communication device can be used widely, and when the telecommunications network 30 is a dedicated telecommunications network for the monitoring system 1 of this example, it is dedicated to it.
  • the communication devices 13 and 23 can be used.
  • a wireless LAN, WiFi (registered trademark), WiMAX (registered trademark), Bluetooth (registered trademark), a dedicated wireless line, or the like can be used.
  • the central monitoring device 20 displays the information acquisition function for acquiring the position information and image information output from the monitoring terminal device 10 and the map information from the map database, and displays the received position information on the map information. In addition to performing display control, it has an output function including a display control function for displaying received image information on the display 24. Further, the information acquisition function of the central monitoring device 20 can acquire an evaluation that the detection accuracy of the position information is less than the predetermined evaluation value instead of the position information.
  • the correction process of the position information can be performed on the central monitoring device 20 side instead of the monitoring terminal device 10.
  • the central control device 21 of the central monitoring device 20 obtains an evaluation that the detection accuracy of the positional information is less than a predetermined evaluation value from the monitoring terminal device 10 side
  • the central control device 21 pre- A position where the reference image Z of the associated cityscape is compared with the image information generated by the image generation function of the monitoring terminal device 10, and the similarity with the image information is associated with the reference image Z having a predetermined value or more.
  • the Central Europe monitoring device 20 includes a central control device 21, an image processing device 22, a communication device 23, a display 24, and an input device 25.
  • the central control device 21 includes a CPU, a ROM, and a RAM, and controls the image processing device 22, the communication device 23, and the display 24, and receives position information, image information, and time information transmitted from the monitoring terminal device 10.
  • the image is displayed on the display 24 after being subjected to image processing as necessary.
  • the image processing device 24 has a map database, displays map information from the map database on the display 24, and superimposes and displays the position information detected by the position detection device 15 of the monitoring terminal device 10 on the map information. To do. Further, image processing for displaying image information captured by the vehicle-mounted camera 11 of the monitoring terminal device 10 and processed by the image processing device 12 on the display 24 is performed.
  • the display 24 can be composed of, for example, a liquid crystal display device having a size capable of displaying two window screens on one screen or two liquid crystal display devices each displaying two window screens.
  • One window screen displays a screen in which the position information of each moving object V is superimposed on the map information (see FIG. 1), and the other window screen displays an image captured by the in-vehicle camera 11. Such image information is displayed.
  • the display 24 can enlarge and display the image information when the image information in which the priority monitoring target is enlarged is input from the monitoring terminal device 10.
  • the process of enlarging and displaying includes a process of displaying an image in which the priority monitoring target is enlarged as it is (enlarged) and a process of further enlarging and displaying the video in which the priority monitoring target is enlarged.
  • the monitor can observe the details of the priority monitoring target in detail using the video displayed on the display 24.
  • the input device 25 is composed of a keyboard or a mouse, and is used when outputting an information acquisition command to a desired moving body V or inputting a processing command for various information displayed on the display 24.
  • the priority monitoring command described above can also be input by the supervisor via the input device 25.
  • the supervisor can generate and input a priority monitoring command by clicking (selecting and inputting) a priority monitoring target icon superimposed on the map information.
  • a priority monitoring position suitable for monitoring this priority monitoring target is associated with the priority monitoring target, and if the priority monitoring target is specified, the priority monitoring position is also specified.
  • the monitor uses the input device 25 to specify area specifying information (information specifying a gaze area that is a part of the priority monitoring target), the imaging direction or the specifying information of the camera 11 used for imaging, and the frame rate. Any one or more of them can be input to generate a priority monitoring command.
  • the communication device 23 is a communication means capable of wireless communication, and exchanges information with the communication device 13 of the monitoring terminal device 10 via the telecommunication network 30.
  • the telecommunications network 30 is a commercial telephone network, a mobile phone communication device can be used widely, and when the telecommunications network 30 is a dedicated telecommunications network for the monitoring system 1 of this example, it is dedicated to it.
  • the communication devices 13 and 23 can be used.
  • the cameras 11a to 11e are configured using an image sensor such as a CCD, and the four on-vehicle cameras 11a to 11d are installed at different positions outside the passenger car V, respectively, and shoot four directions around the vehicle.
  • the camera 1 of the present embodiment has a zoom-up function for enlarging and imaging a subject, and can arbitrarily change the focal length according to a control command, or can arbitrarily change the imaging magnification according to a control command.
  • the in-vehicle camera 11 a installed at a predetermined position in front of the passenger car V such as a front grill portion is an object or road surface (in the area SP1 in front of the passenger car V and in the space in front thereof)
  • the in-vehicle camera 11b installed at a predetermined position on the left side of the passenger car V such as the left side mirror portion is an object or road surface (left side view) that exists in the area SP2 on the left side of the passenger car V and in the surrounding space.
  • the in-vehicle camera 11c installed at a predetermined position in the rear part of the passenger car V, such as a rear finisher part or a roof spoiler part, is an object or road surface (rear view) existing in the area SP3 behind the passenger car V and in the space behind it.
  • the in-vehicle camera 11d installed at a predetermined position on the right side of the passenger car V such as the right side mirror portion is an object or road surface (right side view) that exists in the area SP4 on the right side of the passenger car V and in the surrounding space.
  • one in-vehicle camera 11e is installed, for example, on the ceiling of the passenger car interior, and images the indoor area SP5 as shown in FIG. Used for crime prevention or crime reporting.
  • FIG. 6 is a view of the arrangement of the in-vehicle cameras 11a to 11e as viewed from above the passenger car V.
  • the in-vehicle camera 11a that images the area SP1 the in-vehicle camera 11b that images the area SP2
  • the in-vehicle camera 11c that images the area SP3 the in-vehicle camera 11d that images the area SP4 are It is installed along the outer periphery VE of the body along the counterclockwise direction (counterclockwise) or the clockwise direction (clockwise).
  • the in-vehicle camera 11b is installed on the left side of the in-vehicle camera 11a, and the left side of the in-vehicle camera 11b.
  • the vehicle-mounted camera 11c is installed on the left side of the vehicle-mounted camera 11c, and the vehicle-mounted camera 11a is installed on the left side of the vehicle-mounted camera 11d.
  • the in-vehicle camera 11d is installed on the right side of the in-vehicle camera 11a.
  • the vehicle-mounted camera 11c is installed on the right side
  • the vehicle-mounted camera 11b is installed on the right side of the vehicle-mounted camera 11c
  • the vehicle-mounted camera 11a is installed on the right side of the vehicle-mounted camera 11b.
  • FIG. 7A shows an example of an image GSP1 in which the front in-vehicle camera 11a images the area SP1
  • FIG. 7B shows an example of the image GSP2 in which the left in-vehicle camera 11b images the area SP2
  • FIG. 7D shows an example of an image GSP3 in which the area SP3 is imaged
  • FIG. 7D shows an example of an image GSP4 in which the right-side in-vehicle camera 11d images the area SP4
  • FIG. 7E shows an indoor in-vehicle camera 11e.
  • the size of each image is vertical 480 pixels ⁇ horizontal 640 pixels.
  • the image size is not particularly limited, and may be any size as long as a general terminal device can reproduce a moving image.
  • the number and position of the in-vehicle camera 11 can be appropriately determined according to the size, shape, detection area setting method, etc. of the passenger car V.
  • the plurality of in-vehicle cameras 11 described above are assigned identifiers corresponding to the respective arrangements, and the in-vehicle control device 14 can identify each of the in-vehicle cameras 11 based on each identifier.
  • the vehicle-mounted control apparatus 14 can send an imaging command and other commands to a specific vehicle-mounted camera 11 by attaching an identifier to the command signal.
  • the in-vehicle control device 14 controls the image processing device 12 to acquire each image signal picked up by the in-vehicle camera 11, and the image processing device 12 processes the image pickup signal from each in-vehicle camera 11 to perform FIG. 7E is converted into image information. Then, the in-vehicle control device 14 generates a monitoring image based on the four pieces of image information shown in FIGS. 7A to 7D (image generation function), and the monitoring image is projected on the side of the projection model of the columnar body. Mapping information to be projected onto the surface is associated with the monitoring image (mapping information adding function) and output to the central monitoring device 20.
  • the image generation function and the mapping information addition function will be described in detail.
  • the process of generating a monitoring image based on the four pieces of image information obtained by imaging the periphery of the passenger car V and associating the mapping information with the monitoring image is executed by the monitoring terminal device 10 as in this example, and also by the central monitoring device 20. It can also be executed. In this case, four pieces of image information obtained by imaging the periphery of the passenger car V are transmitted as they are from the monitoring terminal device 10 to the central monitoring device 20, and are monitored by the image processing device 22 and the central control device 21 of the central monitoring device 20. It is only necessary to generate an image, associate mapping information, and perform projection conversion.
  • the in-vehicle control device 14 of the monitoring terminal device 10 of the present embodiment controls the image processing device 12 to acquire the imaging signals of the in-vehicle cameras 11a to 11e, respectively, and further clockwise or along the outer periphery of the body of the passenger car V
  • One monitoring image is generated so that the image information of the in-vehicle cameras 11a to 11d installed in the counterclockwise direction is arranged in the order of installation of these in-vehicle cameras 11a to 11d.
  • the four in-vehicle cameras 11a to 11d are installed in the order of the cameras 11a, 11b, 11c, and 11d in the counterclockwise direction (counterclockwise) along the outer periphery VE of the body of the passenger car V. Therefore, the vehicle-mounted control device 14 integrates the four images captured by the vehicle-mounted cameras 11a to 11d in accordance with the order of installation of the vehicle-mounted cameras 11a to 11d (vehicle-mounted cameras 11a ⁇ 11b ⁇ 11c ⁇ 11d). Are connected in the horizontal direction to generate a single monitoring image. In the monitoring image of the present embodiment, the images are arranged such that the ground contact surface (road surface) of the passenger vehicle V is the lower side, and the images are connected to each other at sides in the height direction (vertical direction) with respect to the road surface.
  • FIG. 8 is a diagram illustrating an example of the monitoring image K.
  • the monitoring image K of the present embodiment includes a captured image GSP1 in which the front in-vehicle camera 11a images the area SP1 along the direction P from the left side to the right side in the drawing, and the left in-vehicle camera 11b.
  • a captured image GSP2 obtained by imaging the area SP2 a captured image GSP3 obtained by the rear vehicle-mounted camera 11c imaging the area SP3, and a captured image GSP4 obtained by the right-side vehicle-mounted camera 11d imaging the area SP4 are arranged in this order in the horizontal direction. These four images are arranged as a series of images.
  • the monitor image K generated in this way is displayed in order from the left end to the right side with the image corresponding to the road surface (vehicle contact surface) facing down, so that the monitor can rotate the periphery of the vehicle V counterclockwise. It can be visually recognized on the display 24 in a manner similar to the look around.
  • one monitoring image K when one monitoring image K is generated, four images acquired at substantially the same time as the photographing timings of the in-vehicle cameras 11a to 11d are used. Thereby, since the information contained in the monitoring image K can be synchronized, the situation around the vehicle at a predetermined timing can be accurately expressed.
  • the monitoring image K generated from the respective captured images having substantially the same imaging timing of the camera is stored with time, and the moving image monitoring image K including the plurality of monitoring images K per predetermined unit time is generated. It may be. By generating the moving image monitoring image K based on the images having the same imaging timing, it is possible to accurately represent changes in the situation around the vehicle.
  • the conventional central monitoring device 20 has a disadvantage in that it cannot simultaneously watch images (moving images) in a plurality of directions and cannot monitor the entire vehicle periphery on a single screen.
  • the vehicle-mounted control apparatus 14 of this embodiment produces
  • the monitoring terminal device 10 of the present embodiment generates the monitoring image K by compressing the data amount of the image so that the number of pixels of the monitoring image K is substantially the same as the number of pixels of the images of the in-vehicle cameras 11a to 11d.
  • the size of each image shown in FIGS. 7A to 7D is 480 ⁇ 640 pixels
  • compression processing is performed so that the size of the monitoring image K is 1280 ⁇ 240 pixels as shown in FIG. Do.
  • image processing and image reproduction can be performed.
  • the in-vehicle control device 14 of the present embodiment can also attach a line figure indicating the boundary of each arranged image to the monitoring image K.
  • the in-vehicle controller 14 forms a rectangular partition image Bb, Bc, Bd, Ba, Ba ′ between the images as a line figure indicating the boundary between the arranged images. Can be attached to the monitoring image K.
  • the partition image functions as a frame of each captured image.
  • the image distortion is large in the vicinity of the boundary of each captured image, it is possible to hide the image of the region with large distortion or to suggest that the distortion is large by arranging the partition image at the boundary of the captured image. .
  • the vehicle-mounted control apparatus 14 of this embodiment can also generate
  • image distortion is likely to occur.
  • the distortion of the captured image tends to be large, so in order to correct the image distortion in advance. It is desirable to correct the distortion of the captured image using the defined image conversion algorithm and correction amount.
  • the in-vehicle control device 14 reads out information of the same projection model as the projection model for projecting the monitoring image K in the central monitoring device 20 from the ROM, and images it on the projection plane of the projection model. It is also possible to project an image and correct in advance distortion generated on the projection surface.
  • the image conversion algorithm and the correction amount can be appropriately defined according to the characteristics of the in-vehicle camera 11 and the shape of the projection model. In this way, by correcting in advance the distortion when the image K is projected with respect to the projection plane of the projection model, it is possible to provide the monitoring image K with good visibility with less distortion. Further, by correcting the distortion in advance, it is possible to reduce the positional deviation between the images arranged side by side.
  • the mapping information addition function will be described.
  • the in-vehicle control device 14 projects the generated monitoring image K on the projection plane set on the side surface of the projection model M of the columnar body with the ground contact surface of the passenger car V as the bottom surface.
  • a process for associating the mapping information for monitoring with the monitoring image K is executed.
  • the mapping information is information for allowing the central monitoring device 20 that has received the monitoring image K to easily recognize the projection reference position.
  • FIG. 10 is a diagram illustrating an example of the projection model M of the present embodiment
  • FIG. 11 is a schematic cross-sectional view along the xy plane of the projection model M illustrated in FIG.
  • the projection model M of this embodiment is a regular octagonal prism body having a regular octagonal bottom surface and a height along the vertical direction (z-axis direction in the figure).
  • the shape of the projection model M is not particularly limited as long as it is a column having side surfaces adjacent to each other along the boundary of the bottom surface, and is a cylinder, or a prism, such as a triangular column, a quadrangular column, or a hexagonal column, or An anti-rectangular column having a polygonal bottom surface and a triangular side surface can also be used.
  • the bottom surface of the projection model M of this embodiment is parallel to the ground contact surface of the passenger car V.
  • Projection surfaces Sa, Sb, Sc, and Sd (hereinafter collectively referred to as a projection surface S) that project an image around the passenger vehicle V that contacts the bottom surface of the projection model M are provided on the inner surface of the side surface of the projection model M. Is set.
  • the projection surface S includes a part of the projection surface Sa and a part of the projection surface Sb, a part of the projection surface Sb and a part of the projection surface Sc, a part of the projection surface Sc and a part of the projection surface Sd, and the projection surface Sd. And a part of the projection surface Sa.
  • the monitoring image K is projected on the projection plane S as an image of the passenger car V viewed from above the viewpoint R (R1 to R8, hereinafter referred to as viewpoint R) above the projection model M surrounding the passenger car V.
  • the in-vehicle control device 14 associates the reference coordinates of the captured image arranged at the right end or the left end with the monitoring image K as mapping information.
  • the in-vehicle control device 14 is arranged at the right end as mapping information (reference coordinates) indicating the start end position or the end position of the monitoring image K when projected onto the projection model M.
  • mapping information reference coordinates
  • the coordinates A (x, y) of the upper left vertex of the captured image GSP1 and the coordinates B (x, y) of the upper right vertex of the captured image GSP2 arranged at the left end are attached to the monitoring image K.
  • the reference coordinates of the captured image indicating the start position or the end position are not particularly limited, and may be the lower left vertex of the monitoring image K arranged at the left end or the lower right vertex of the monitoring image K arranged at the right end.
  • the mapping information may be attached to each pixel of the image data of the monitoring image K, or may be managed as a file different from the monitoring image K.
  • the information indicating the start position or the end position of the monitoring image K that is, the reference coordinates used as a reference in the projection processing is associated with the monitoring image K as mapping information, whereby the central monitoring apparatus 20 that has received the monitoring image K Since the reference position at the time of the projection process can be easily recognized, the monitoring images K arranged in the order in which the in-vehicle cameras 11a to 11d are arranged are projected sequentially and easily on the projection surface S on the side surface of the projection model M. be able to. That is, as shown in FIG.
  • the captured image GSP1 in front of the vehicle is projected onto the projection surface Sa positioned in the imaging direction of the in-vehicle camera 11a, and the captured image on the right side of the vehicle is projected onto the projection surface Sb positioned in the imaging direction of the in-vehicle camera 11b.
  • GSP2 is projected, a captured image GSP3 behind the vehicle is projected onto a projection plane Sc located in the imaging direction of the in-vehicle camera 11c, and a captured image GSP4 on the left side of the vehicle is projected onto the projection plane Sd positioned in the imaging direction of the in-vehicle camera 11d. can do.
  • the monitoring image K projected on the projection model M can show an image that can be seen as if looking around the passenger car V. That is, since the monitoring image K including four images arranged in a line in the horizontal direction according to the installation order of the in-vehicle cameras 11a to 11d is projected on the side surfaces that are also arranged in the horizontal direction in the column of the projection model M. An image around the passenger car V can be reproduced in the monitoring image K projected on the projection surface S of the projection model M of the columnar body while maintaining the positional relationship.
  • the in-vehicle control device 14 of the present embodiment stores the correspondence relationship between each coordinate value of the monitoring image K and the coordinate value of each projection plane S of the projection model M as mapping information, and attaches it to the monitoring image K.
  • it may be stored in the central monitoring device 20 in advance.
  • the positions of the viewpoint R and the projection plane S shown in FIGS. 10 and 11 are examples, and can be arbitrarily set.
  • the viewpoint R can be changed by the operation of the operator.
  • the relationship between the viewpoint R and the projection position of the monitoring image K is defined in advance, and when the position of the viewpoint R is changed, a predetermined coordinate transformation is performed, so that the viewpoint R is viewed from the newly set viewpoint R.
  • the monitoring image K can be projected onto the projection surface S (Sa to Sd). A known method can be used for this viewpoint conversion processing.
  • the in-vehicle control device 14 generates the monitoring image K based on the image information captured at a predetermined timing, and the monitoring image K includes a line figure (mapping information, reference coordinates, and boundary). (Partition image) information is associated and stored over time according to the imaging timing.
  • the in-vehicle control device 14 may store the monitoring image K as a single moving image file including a plurality of monitoring images K per predetermined unit time, or can be transferred / reproduced by a streaming method.
  • the monitoring image K may be stored in
  • the communication device 23 of the central monitoring device 20 receives the monitoring image K transmitted from the monitoring terminal device 10 and the mapping information associated with the monitoring image K.
  • the central monitoring device 20 may receive the image information obtained by enlarging the priority monitoring target as a part of the monitoring image K, or may receive it separately.
  • photographed with the indoor vehicle-mounted camera 11e is received separately.
  • images of the four in-vehicle cameras 11 installed at different positions of the body of the passenger car V are installed along the outer periphery of the body of the passenger car V along the clockwise or counterclockwise direction.
  • the vehicle-mounted cameras 11a to 11d are arranged according to the installation order (clockwise or counterclockwise order along the outer periphery of the body of the vehicle V).
  • the monitoring image K is associated with mapping information for projecting the monitoring image K onto the projection plane S of the octagonal prism projection model M.
  • the communication device 23 sends the acquired monitoring image K and mapping information to the image processing device 22.
  • the image processing device 22 reads the projection model M stored in advance, and sets the projection model M on the side surface of the octagonal prism projection model M with the ground contact surface of the passenger car V shown in FIGS. 10 and 11 as the bottom surface based on the mapping information.
  • a display image is generated by projecting the monitoring image K onto the projected planes Sa to Sd. Specifically, according to the mapping information, each pixel of the received monitoring image K is projected onto each pixel of the projection surfaces Sa to Sd. Further, when projecting the monitoring image K onto the projection model M, the image processing device 22 recognizes the start point of the monitoring image K (the right end or the left end of the monitoring image K) based on the reference coordinates received together with the monitoring image K.
  • the projection processing is performed so that the start point coincides with the start point (the right end or the left end of the projection surface S) defined in advance on the projection model M. Further, when projecting the monitoring image K onto the projection model M, the image processing device 22 arranges a line figure (partition image) indicating the boundary of each image on the projection model M.
  • the partition image can be attached to the projection model M in advance, or can be attached to the monitoring image K after the projection processing.
  • the display 24 displays the monitoring image K projected on the projection surface S of the projection model M and the image information of the monitoring target based on the instruction of the monitoring person.
  • 12 and 13 are diagrams illustrating an example of a display image of the monitoring image K.
  • FIG. FIG. 12 is an image of the projection model M viewed from one direction.
  • the input device 25 such as a mouse or a keyboard or the display 24 is used as a touch panel type input device 25 so that the viewpoint can be changed by the operation of the supervisor. Can be set and changed freely. Since the correspondence relationship between the viewpoint position and the projection plane S is defined in advance in the image processing device 22 or the display 24 described above, the monitoring image K corresponding to the changed viewpoint is displayed on the display 24 based on this correspondence relationship. can do.
  • monitoring information is created and output so that the observer can visually recognize it.
  • the vehicle-mounted control device 14 or the central monitoring device 21 according to the present embodiment generates a monitoring image generated based on the image information in order to indicate to the monitor where the image information (the monitoring image K) is. Associate position information with K.
  • the monitoring system 1 of the present embodiment acquires an evaluation that the detection accuracy of the position information is less than the predetermined evaluation value from the position detection device 15, the monitoring system 1 obtains accurate position information (corrected position information) and obtains image information.
  • the exact position of (monitoring image K) is presented to the monitor.
  • the evaluation that the position information detection accuracy is less than the predetermined evaluation value includes the evaluation that the position information cannot be detected.
  • the position detection device 15 can evaluate the detection accuracy of the position information according to the number of satellites that can be received by the GPS device included in the position detection device 15.
  • a general GPS device can receive radio waves from about 6 to 10 satellites in an ideal situation for positioning, but the number of satellites that can receive radio waves decreases due to the above effects.
  • the position detection device 15 of the present embodiment has a detection accuracy when the number of receivable satellites is three or less. It can be evaluated that the position information is lower than the predetermined evaluation value and accurate position information cannot be acquired.
  • the state in which the detection accuracy is lower than the predetermined evaluation value includes a case where necessary radio waves cannot be received and position information cannot be detected.
  • the detection accuracy is lower than a predetermined evaluation value when the receivable satellites are a combination with a low reliability of the positioning result. It can be evaluated that accurate position information cannot be obtained.
  • the detection accuracy of the position information of the position detection device 15 can be evaluated using DOP (DOP: Dilution of Precision), which is known as a concept expressing the GPS positioning accuracy.
  • DOP is a numerical value that serves as an index of degradation of GPS positioning accuracy, and means that the smaller the DOP value, the higher the accuracy.
  • four or more GPS satellites are used for positioning by GPS. Since the arrangement state of the GPS satellites used for this positioning affects the positioning accuracy, the DOP value is obtained based on the arrangement state of the satellites. For example, if the receivable GPS satellites are evenly distributed, the DOP value is small and the GPS accuracy is evaluated to be high.
  • DOP includes horizontal DOP (HDOP: Horizontal) DOP) and vertical DOP (VDOP: Vertical ⁇ DOP), but the smaller the horizontal HDOP value is, the more scattered it is in the horizontal direction, improving GPS accuracy. It can be evaluated that it contributes to.
  • the position detection device 15 of the present embodiment is not limited to the above-described method, and a position information detection accuracy evaluation method known at the time of filing can be used.
  • the in-vehicle control device 14 of the monitoring terminal device 10 responds to this by outputting the position information on the map. Is compared with the reference image Z of the cityscape that is associated in advance with the image information generated by the image generation function, and the position information associated with the reference image Z whose similarity to the image information is equal to or greater than a predetermined value, Obtained as corrected correction position information.
  • the monitoring system 1 compares the image information actually captured with the reference image captured in advance, so that the reference image similar to the image information is captured (corresponding to the reference image). Position information) is estimated as the current position of the passenger car V.
  • the method for calculating the similarity between the reference image Z and the image information is not particularly limited, and is quantitatively determined from the viewpoint of whether or not there is a feature, shape, size, and position extracted from each image. be able to. If all are common, the similarity is 100%.
  • the threshold of similarity in this determination is not particularly limited, and can be set experimentally for each street (road) and region. In streets and regions where there are characteristic buildings, it is easy to extract features, and the degree of similarity of the features tends to be determined accurately. Therefore, a higher threshold is set for similarity to derive more accurate judgments. Can be made.
  • the central monitoring device 20 acquires the position information obtained on the monitoring terminal device 10 side and the evaluation result of the detection accuracy of the position information, and the central control device 21 of the central monitoring device 20 obtains the corrected position information. be able to.
  • the reference image Z used for calculating the correction position information is an image obtained by capturing the surroundings with a predetermined period while the vehicle V travels in the city with the passenger car V in normal times. That is, the reference image Z includes an image of a normal cityscape as a reference.
  • FIG. 14 is a diagram illustrating an example of the reference image Z.
  • the reference image Z shown in FIG. 14 is based on image information captured at a certain timing, but the reference image Z created in advance is captured over time at a predetermined period and is viewed while moving on the road. This includes images of the cityscape.
  • the reference image Z is associated with position information on the map at the time of imaging.
  • the position information on the map is a coordinate value for specifying a point on the map such as latitude and longitude.
  • the position information it is possible to select the reference image Z including the cityscape image including the target point.
  • the position information of a certain area is specified, it is possible to select the reference image Z including the cityscape video of that area.
  • the road information and the reference image Z can be associated with each other. That is, if a road is specified, the reference image Z captured at each position on the road can be selected.
  • the reference image Z of the present embodiment is a first reference image Z generated based on an image captured during the daytime and a second reference generated based on an image captured after sunset.
  • Image Z This is because the state of the cityscape differs greatly between day and night. In other words, light sources such as street lamps and neon appear at night, and the position and size of feature points on images captured at night are significantly different from those in daytime cityscape images, so image information differs between day and night. This is because the degree of similarity of images cannot be accurately evaluated even if they are compared.
  • the first reference image Z and the image information generated by the image generation function of the monitoring terminal device 10 are used.
  • the second reference image Z and the image information generated by the image generation function of the monitoring terminal device 10 are compared.
  • whether the current day is in the daytime or after sunset may be determined based on the time information by referring to the calendar including the sunset time at the current position, and the brightness around the moving object V is measured. You may judge based on the detection result of the illuminometer.
  • the reference image Z that captures the state of the cityscape in the daytime and after sunset, the similarity between the image information acquired on the monitoring terminal device 10 side and the reference image Z is accurately obtained. be able to.
  • the position information correction function of the present embodiment is based on the position information detected by the position detection device 15 immediately before it is determined that the accuracy of the position information is less than the predetermined evaluation value.
  • the reference image Z of the cityscape to be compared with the image information generated by the processing device 12 is selected. It can be predicted that the position information detected immediately before the position detection accuracy of the position detection device 15 is lowered is close to the current position of the passenger car V.
  • the position information correction function of this embodiment uses the position information detected by the position detection device 15 immediately before it is evaluated that the accuracy of the position information is less than the predetermined evaluation value, the steering angle and the vehicle speed of the passenger vehicle V. Based on the operation information such as, the city-based reference image Z to be compared with the image information generated by the image processing device 12 of the monitoring terminal device 10 is selected.
  • the steering angle of the passenger car V is detected by the sensor 18 and can be acquired via the vehicle controller 17. As described above, it can be predicted that the position information detected immediately before the position detection accuracy of the position detection device 15 is lowered is close to the current position of the passenger car V.
  • the operation information of the passenger car V such as the steering angle and the vehicle speed of the passenger car V
  • the reference image Z can be narrowed down based on the currently traveling point.
  • the position information corresponding to the current position predicted based on the position information detected immediately before the position detection accuracy of the position detection device 15 decreases and the operation information of the passenger car V after the position information is detected.
  • a reference image Z associated with position information less than a predetermined distance can be selected, and the reference image Z to be compared can be narrowed down. By narrowing down the reference image Z, it is possible to reduce the load of comparison processing with image information.
  • the position information correction function of the present embodiment acquires road information including the position information detected by the position detection device 15 immediately before it is evaluated that the accuracy of the position information is less than the predetermined evaluation value. Then, based on the position information and the road information, the cityscape reference image Z to be compared with the image information generated by the image processing device 12 is selected.
  • the road information can be acquired from the map information associated with the position information.
  • the map information can be stored in the monitoring terminal device 10, or in the navigation device 19 mounted in the passenger car V, the central monitoring device 20, or another accessible server device. It can be predicted that the position information detected immediately before the position detection accuracy of the position detection device 15 is lowered is likely to be on the road on which the current passenger vehicle V travels.
  • the reference image Z can be narrowed down based on the currently traveling road. Specifically, the reference image Z associated with the position information included in the road including the position information detected immediately before the position detection accuracy of the position detection device 15 is reduced is selected, and the reference image Z to be compared is narrowed down. be able to. By narrowing down the reference image Z, it is possible to reduce the load of comparison processing with image information.
  • FIGS. 3A to 3C are flowcharts showing operations when the monitoring terminal device 10 performs processing for obtaining corrected position information
  • FIGS. 4A to 4D illustrate operations when the central monitoring device 20 performs processing for obtaining corrected position information. It is a flowchart which shows.
  • step ST1 the position detection device 15 is made to detect the current position information of the passenger vehicle V on which the monitoring terminal device 10 is mounted, and at the time of this detection, it is determined whether or not the detection accuracy of the current position is greater than or equal to a predetermined value (step ST2). ).
  • step ST3 If it is evaluated that the detection accuracy of the position information at the current position is greater than or equal to the predetermined evaluation value, the process proceeds to step ST3. If the detection accuracy of the position information at the current position is evaluated to be less than the predetermined evaluation value, the step is performed. Proceed to ST5.
  • step ST5 the correction position information is calculated by comparing, for example, the reference image Z of the cityscape previously associated with the position information on the map and the image information generated by the image processing device 12 by the method described above. Then, the position information associated with the reference image Z whose similarity to the image information is a predetermined value or more is obtained as the corrected corrected position information. The obtained corrected position information is at least temporarily stored as position information in association with image information.
  • step ST3 it is determined whether or not the report button 16 for reporting the abnormality is pressed. If the report button 16 is pressed, the process proceeds to step ST4, and the image information acquired in step ST1 and the image information acquired in step ST2 are acquired.
  • the positional information is associated with the CPU time information, and these are transmitted to the central monitoring device 20 via the communication device 13 and the telecommunication network 30 together with the abnormality information indicating that an abnormality has occurred.
  • the occurrence of an abnormality related to security such as an accident or crime is automatically transmitted to the central monitoring device 20 together with the position information of the passenger car V and the image information around the passenger car V, thereby further strengthening the monitoring in the city.
  • the image information and the position information are acquired in the first steps ST1 and ST2, but the image information and the position information may be acquired at a timing between steps ST3 and ST4.
  • step ST3 if the report button 16 has not been pressed, the process proceeds to step ST6 to communicate with the central monitoring device 20 and obtain a control command.
  • step ST6 the monitoring terminal device 10 determines whether or not an image transmission command has been acquired from the central monitoring device 20, and if an image transmission command has been acquired, the process proceeds to step ST7 where image information and position information are acquired.
  • the monitoring information including the time information is transmitted to the central monitoring device 20. Further, when a storage command is included in the image transmission command, image information, position information, and time information are stored.
  • step ST6 even if the image transmission command is not acquired from the central monitoring device 20, if the passenger vehicle V is present in the pre-defined priority monitoring area in step ST8, the process proceeds to step ST10 and the image information is obtained. Send monitoring information including.
  • step ST9 monitoring information not including image information, that is, time information and position information is transmitted to the central monitoring device 20.
  • monitoring information including own vehicle position information, image information, and time information is stored and updated as necessary.
  • FIG. 3B is a diagram illustrating an example of information stored in the database 26.
  • monitoring information including image information, position information, time information, tracking target characteristics, and tracking target face characteristics acquired from the passenger car V (monitoring terminal device 10) is associated with position information. Is remembered. That is, if position information is designated, a series of monitoring information can be called.
  • the monitoring information can include a mobile body ID (monitoring terminal device ID) for specifying the monitoring terminal device 10.
  • the mobile object ID may be the address of the communication device 13 of the monitoring terminal device 10.
  • step ST12 based on the position information acquired in step ST11, the passenger car V is displayed on the map information of the map database displayed on the display 24 as shown in the upper left of FIG. Since the position information of the passenger car V is acquired and transmitted at a predetermined timing for each routine in FIG. 3A, the supervisor can grasp the current position of the passenger car V in a timely manner.
  • step ST13 it is determined whether or not abnormality information notified from the monitoring terminal device 10 of the passenger car V, that is, a notification that an abnormality relating to security such as an accident or a crime has occurred has been received.
  • This abnormality information is output when the passenger of the passenger car V presses the notification button 16 of the monitoring terminal device 10. If there is abnormality information, the passenger vehicle V to which abnormality information was output is identified in step ST14, image information and time information are received from the monitoring terminal device 10 of the passenger vehicle, and the image information is displayed on the display 24. Further, as shown in the upper left of FIG. 1, highlighting is performed such as changing the color so that the passenger car displayed on the map information can be distinguished from other passenger cars. Thereby, the position where the abnormality has occurred can be visually recognized on the map information, and the abnormality content can be grasped on the display 24.
  • the passenger vehicle V traveling in the vicinity (within a predetermined distance) of the passenger vehicle V that has output the abnormality information is detected, and a transmission command for image information and time information is output to the passenger vehicle V.
  • the image information can be acquired from the passenger vehicle V that travels in the vicinity of the passenger vehicle V that has output the abnormality information. The contents can be grasped in detail.
  • step ST16 the position information of the passenger car V that has output the abnormality information is transmitted to an emergency passenger car such as a police car, an ambulance, or a fire engine.
  • an emergency passenger car such as a police car, an ambulance, or a fire engine.
  • image information may be attached and transmitted in order to notify the abnormal content.
  • the emergency passenger car can be dispatched before a report from the site is entered, and it is possible to quickly deal with accidents and crimes.
  • step ST17 all position information, image information, and time information received from the monitoring terminal device 10 are recorded on the recording medium. This record is used to resolve these after an accident or crime. If there is no abnormality information in step ST13, the process proceeds to step ST18 without performing the processes in steps ST14 to ST17.
  • step ST18 shown in FIG. 3C it is determined whether there is an image information transmission command from an emergency passenger vehicle such as a police car, an ambulance, or a fire engine. If an image transmission command is input, the process proceeds to step ST19. In step ST19, it is determined whether or not the passenger car V exists in the area specified by the image information transmission command. If the passenger car V exists, the process proceeds to step ST20. Then, in step ST20, an image information transmission command is output to the passenger vehicle V existing in the area specified by the image information transmission command. Thereby, the image information from the passenger car V can be acquired in step ST11 of FIG. 3B of the next routine, and this is transferred to the emergency passenger car or the meaning of the transmission command from the emergency passenger car is grasped. be able to. If not corresponding to steps ST18 and ST19, the process proceeds to step ST21 without performing the processes of steps ST18 to ST20.
  • step ST21 it is determined whether or not there is a passenger car V in the vicinity of a suspicious location such as a preset crime-prone delay, and if so, the process proceeds to step ST22 and image information is transmitted to the passenger car V. Outputs a command. Suspicious areas are streets with poor security and streets. As a result, the monitoring of streets and streets that are suspicious places can be strengthened, and crime prevention can be expected. If the passenger vehicle V does not exist in the region near the suspicious part, the process proceeds to step ST23 without performing the process of step ST22.
  • step ST23 it is determined whether or not there is a passenger vehicle V in the vicinity of the priority monitoring position where the priority monitoring object whose details should be monitored can be imaged. If the passenger vehicle V exists in the vicinity of the priority monitoring position, step ST24 is performed. To the passenger vehicle V, and outputs a priority monitoring command for requesting transmission of image information in which the priority monitoring target is expanded. As a result, it is possible to monitor the priority monitoring target in detail, and to effectively detect a suspicious object that causes an incident or an accident in the specified priority monitoring target, so that prevention of crime can be expected. If there is no passenger vehicle V in the vicinity of the priority monitoring position, the process proceeds to step ST25 without performing the process of step ST24.
  • step ST25 based on the position information received from each passenger car V, the passenger car V has not traveled within a predetermined time within a predetermined area that is required to be monitored (not limited to suspicious points and priority monitoring areas). It is determined whether there is a route, and when there is such a route, it is monitored whether there is a passenger vehicle V traveling on the route. Then, if there is a passenger car V traveling on the route most recently, the process proceeds to step ST26, and an image information transmission command is output to the passenger car V. Thereby, it is possible to automatically acquire image information of a route that is a region other than the suspicious portion or the priority monitoring region and has a small traffic volume of the passenger car V. If there is no route that satisfies the condition of step ST25, the process returns to step ST11 of FIG. 3B without performing the process of step ST26.
  • the monitoring terminal device 10 acquires surrounding video and indoor video from the in-vehicle camera 11 and converts them into image information (step ST1).
  • the position detection device 15 is made to detect the current position information of the passenger vehicle V on which the monitoring terminal device 10 is mounted, and at this time of detection, it is determined whether or not the detection accuracy of the current position is a predetermined value or more (step).
  • step ST2 When it is evaluated that the detection accuracy of the position information of the current position is equal to or higher than the predetermined evaluation value, the process proceeds to step ST3, and the same processing as that after step ST3 in FIG. 3A is performed. On the other hand, if it is evaluated that the detection accuracy of the position information of the current position is less than the predetermined evaluation value, the process proceeds to step ST5-1.
  • step ST5-1 the monitoring terminal device 10 notifies the central monitoring device 20 that the position detection accuracy of the position detection device 15 is less than a predetermined evaluation value.
  • step ST5-2 operation information such as steering angle information and speed of the passenger car V, image information, and position information detected in a routine immediately before the timing at which the current position detection accuracy is determined to be less than a predetermined value. Is sent to the central monitoring device 20 in the same manner. Note that the transmission of information in steps ST-1 and ST-2 may be performed simultaneously.
  • the central monitoring device 20 responds to the notification that the detection accuracy of the position information acquired from the monitoring terminal device 10 is low (including the case where detection is impossible) to the central monitoring device 20 in steps ST-1 and ST-2. Correction position information is obtained based on the transmitted information.
  • the monitoring terminal apparatus 10 acquires the corrected position information calculated by the central monitoring apparatus 20. This corrected position information is replaced with the position position information whose accuracy is low or undetectable in step ST2.
  • steps ST5-1 to ST5-3 the processes after step ST3 are performed.
  • the contents of the processes after step S3 are the same as the contents of the processes described in FIG. 3A.
  • FIGS. 4B to 4D The processes of ST11 to ST17 and ST18 to ST26 shown in FIGS. 4B and 4C are the same as the processes of ST11 to ST17 and ST18 to ST26 shown in FIGS. 3B and 3C, so the description thereof is omitted here.
  • the process shown in FIG. 4D is a process when the central monitoring device 20 receives a notification from the monitoring terminal device 10 that the detection accuracy of the position information is less than the predetermined evaluation value. If the central monitoring apparatus 20 receives a notification that the detection accuracy of the position information is less than the predetermined evaluation value in step ST31, the central monitoring apparatus 20 proceeds to step ST32 and calculates corrected position information.
  • the calculation of the corrected position information is transmitted together with or after the notification from the monitoring terminal device 10 (step ST5-2 in FIG. 4A), the operation information such as the steering angle information of the passenger car V, the speed, the image information, the current This is performed based on the position information detected in the routine immediately before the timing when the position detection accuracy is determined to be less than the predetermined value.
  • the central monitoring device 20 calculates the correction position information using the calculation method described above.
  • the correction position information calculation method in the central monitoring device 20 is common to the correction position information calculation method in the monitoring terminal device 10 described above.
  • step ST33 the corrected position information calculated on the central monitoring device 20 side is transmitted to the monitoring terminal device 10 that has reported that the current position detection accuracy is low.
  • the transmitted corrected position information is acquired by the monitoring terminal device 10 in step ST5-3 in FIG. 4A.
  • step ST34 if the position information detection accuracy is high, the detected position information is associated with the image information, time information, and the like as part of the monitoring information. Memorized and updated.
  • the monitoring system 1 of this example obtains the evaluation that the detection accuracy of the position information of the moving body V is less than a predetermined evaluation value while acquiring the position information of the moving body V and the surrounding image information.
  • correct corrected position information is obtained based on a comparison result between the reference information of the cityscape that is associated with the position information on the map in advance and the image information acquired from the moving object side.
  • GPS Global Positioning System
  • the position information can be corrected based on the reference information and the actually captured image information.
  • the calculation process of the corrected position information can be configured to be performed by either the monitoring terminal device 10 or the central monitoring device 20 constituting the monitoring system 1, so that an efficient monitoring system is provided while considering the processing load. can do.
  • amendment position information in any of the monitoring terminal device 10 or the central monitoring apparatus 20 which comprises the monitoring system 1 there exists the same effect
  • the monitoring system 1 of this example uses the image processing device of the monitoring terminal device 10 based on the position information detected by the position detection device 15 immediately before it is determined that the accuracy of the position information is less than the predetermined evaluation value.
  • the reference image Z of the cityscape to be compared with the image information generated by 12 is selected. It can be predicted that the position information detected immediately before the position detection accuracy of the position detection device 15 is lowered is close to the current position of the passenger car V. For this reason, by selecting a reference image Z in which position information of a straight line whose position detection accuracy decreases and position information less than a predetermined distance are associated with each other and narrowing down the reference image Z to be compared, the load of comparison processing with image information Can be reduced.
  • the monitoring system 1 of the present example has the position information detected by the position detection device 15 immediately before it is evaluated that the accuracy of the position information is less than a predetermined evaluation value, and operation information such as the steering angle and vehicle speed of the passenger vehicle V. Based on the above, the city-wide reference image Z to be compared with the image information generated by the image processing device 12 of the monitoring terminal device 10 is selected.
  • the position information detected immediately before the position detection accuracy of the position detection device 15 is reduced can be predicted to be close to the current position of the passenger car V, and in addition to the operation information such as the steering angle of the passenger car V and the vehicle speed.
  • the reference image Z can be obtained based on the predicted current position. It is possible to narrow down, and it is possible to reduce the load of comparison processing with image information.
  • the monitoring system 1 of this example acquires road information including the position information detected by the position detection device 15 immediately before it is evaluated that the accuracy of the position information is less than the predetermined evaluation value. Based on the road information, the position information detected immediately before the position detection accuracy of the position detection device 15 that selects the reference image Z of the cityscape to be compared with the image information generated by the image processing device 12 is Since it can be predicted that there is a high possibility that the passenger car V is on the road on which the vehicle travels, the reference image Z can be narrowed down based on the position information on the currently traveling road, and the load of comparison processing with the image information can be reduced. It can be reduced.
  • the first reference image Z created based on the image information captured during the daytime and the monitoring terminal device 10 side When the generated image information is compared and it is determined that the current time is after sunset, the second reference image Z created based on the image information captured after sunset and image generation of the monitoring terminal device 10 The image information generated by the function is compared. As described above, by preparing the reference image Z that captures the state of the cityscape during the daytime and after sunset, the monitoring terminal device 10 side even if the cityscape looks different between daytime and after sunset. The degree of similarity between the image information acquired in step 1 and the reference image Z can be accurately obtained.
  • the monitoring method of this example has the same operation and effect as the monitoring system including the monitoring terminal device 10 and the central monitoring device 20.
  • the position information of the passenger car V and the image information from the in-vehicle cameras 11a to 11e are acquired.
  • the image information from the fixed camera 11f installed in the city shown in FIG. May be obtained.
  • the passenger car V that acquires the position information and the image information it is desirable to use a taxi V1 or a bus that travels in a predetermined area as shown in FIG. 1, but even if a private passenger car V2 or an emergency passenger car V3 is used. Good.
  • the in-vehicle camera 11e in the room is acquired. It may be omitted.
  • the number of the four on-vehicle cameras 11a to 11d may be three or less, particularly in an environment where image information can be acquired from many passenger cars V, such as a monitoring area where there is a large amount of traffic.
  • the passenger vehicle V corresponds to a moving body according to the present invention
  • the position detection device 15 corresponds to a position detection unit according to the present invention
  • the in-vehicle camera 11 and the image processing device 12 correspond to an image generation unit according to the present invention.
  • the in-vehicle control device 14 corresponds to monitoring information generation means and position information correction means according to the present invention.
  • the CPU of the in-vehicle control device 14 corresponds to time detection means according to the present invention.
  • the communication device 13 corresponds to a command input unit and an output unit according to the present invention.
  • the central control device 21 corresponds to information acquisition means and position information correction means
  • the database 26 corresponds to a database
  • the communication device 23 and the input device 25 are information acquisition means, abnormality information reception means
  • the display 24 corresponds to command output means
  • the display 24 corresponds to display means according to the present invention.

Abstract

　監視端末装置（１０）と、電気通信回線網（３０）を介して通信可能な中央監視装置（２０）と、を備える監視システム（１）であって、監視端末装置（１０）は、位置検出手段（１５）と、移動体（Ｖ）の周囲を車載カメラ（１１）で撮像して画像情報を生成する画像生成機能と、取得された位置情報及び画像情報を含む監視情報を生成する監視情報生成機能と、位置情報の検出精度が所定評価値未満であると評価された場合には、地図上の位置情報と予め対応づけられた街並みの基準画像と、生成された画像情報との比較結果に基づいて補正位置情報を求める位置情報補正機能と、補正位置情報が求められた場合には、この補正位置情報を位置情報として監視情報に含めて中央監視装置（２０）へ送出する出力機能とを備える車載制御装置（１４）と、を備える。

Description

監視システム及び監視方法
　本発明は、監視システム及び監視方法に関する。
　本出願は、２０１２年３月１２日に出願された日本国特許出願の特願２０１２―０５４３１８に基づく優先権を主張するものであり、文献の参照による組み込みが認められる指定国については、上記の出願に記載された内容を参照により本出願に組み込み、本出願の記載の一部とする。
　商店街、店舗の出入り口、家庭の玄関その他の街中に複数の防犯カメラ装置を設置し、当該防犯カメラ装置により撮像された周囲の映像を監視することで、異常の発生を検出する防犯装置が知られている（特許文献１）。
特開２０１１－２１５７６７号公報
　しかしながら、街中に設置した防犯カメラ装置で広い範囲をカバーしようとすると多数の防犯カメラ装置を設置しなければならず、費用が嵩むという問題がある。
　本発明は、少数のカメラで広い範囲を、正確に監視することができる監視システムを提供することを目的とする。
　本発明は、移動体の位置情報とその周囲の画像情報とを取得させるとともに、移動体の位置情報の検出精度が所定評価値未満である旨の評価を取得した場合には、地図上の位置情報と予め対応づけられた街並みの基準画像と、移動体側から取得した画像情報との比較結果に基づいて正確な補正位置情報を求めることにより、上記目的を達成する。
　本発明によれば、移動体に搭載されたＧＰＳ（Global Positioning System）及びカメラを用いて任意の地点を監視する際に、高層ビルなどの影響によりＧＰＳの検出精度が低下して正確な位置情報を取得できない場合であっても、街並みの基準情報と実際に撮像された画像情報に基づいて位置情報を補正することができる。この結果、正確な位置情報に基づいて各地点を監視することができる。
本発明の一実施の形態に係る監視システムを示す模式図である。 図１の監視システムを示すブロック図である。 図１の監視システムの監視端末装置側が補正位置情報を求める場合における、監視端末装置の主たる制御内容を示す第１のフローチャートである。 図１の監視システムの監視端末装置側が補正位置情報を求める場合における、中央監視装置側の主たる制御内容を示す第１のフローチャート（その１）である。 図１の監視システムの監視端末装置側が補正位置情報を求める場合における、中央監視装置側の主たる制御内容を示す第１のフローチャート（その２）である。 図１の監視システムの中央監視装置側が補正位置情報を求める場合における、監視端末装置側の主たる制御内容を示す第２のフローチャートである。 図１の監視システムの中央監視装置側が補正位置情報を求める場合における、中央監視装置側の主たる制御内容を示す第２のフローチャート（その１）である。 図１の監視システムの中央監視装置側が補正位置情報を求める場合における、中央監視装置側が補正位置情報を求める場合の主たる制御内容を示す第２のフローチャート（その２）である。 図１の監視システムの中央監視装置側が補正位置情報を求める場合における、中央監視装置側が補正位置情報を求める場合の主たる制御内容を示す第２のフローチャート（その３）である。 図１の監視システムにおける車載カメラの配置及びその撮像範囲を示す斜視図である。 図１の監視システムにおける車載カメラの配置及びその撮像範囲を示す平面図である。 フロントの車載カメラの撮影画像の一例を示す図である。 右サイドの車載カメラの撮影画像の一例を示す図である。 リアの車載カメラの撮影画像の一例を示す図である。 左サイドの車載カメラの撮影画像の一例を示す図である。 室内の車載カメラの撮影画像の一例を示す図である。 複数の画像に基づいて生成された監視画像の一例を示す図である。 監視画像の歪み補正処理を説明するための図である。 投影モデルの一例を示す模式図である。 図１０に示す投影モデルのｘｙ面に沿う断面模式図である。 監視画像の一の表示例を示す図である。 監視画像の他の表示例を示す図である。 補正位置情報を算出する際の基準画像の一例を示す図である。
　以下に示す一実施の形態は、本発明に係る監視システムを、街中の治安を警察署や消防署などの当局にて集中監視する監視システム１に具体化したものである。すなわち、複数の移動体のそれぞれの位置情報と、当該移動体の周囲の画像情報と、時刻情報とを所定のタイミングで取得し、これら位置情報と画像情報と時刻情報とを、無線通信を介して、当局に設置された中央監視装置へ送信し、これら位置情報を地図情報上に表示するとともに必要に応じて画像情報と時刻情報とをディスプレイに表示するものである。そのため、本例の監視システム１は、図１に示すように位置情報及び画像情報などの監視情報を取得する監視端末装置１０と、電気通信回線網３０を介して監視情報を入力して処理する中央監視装置２０とを備える。図２は、監視端末装置１０及び中央監視装置２０の具体的構成を示すブロック図である。
　本実施形態の監視システムでは、画像情報を取得する際に、重点的に監視をする重点監視対象とこれを監視するための重点監視位置を指定する重点監視対象情報を含む監視指令を取得し、この取得した重点監視指令と移動体の位置情報とに基づいて、移動体が重点監視位置乃至その近傍に存在するタイミングで、移動体に設けられたカメラで重点監視対象が拡大された画像情報を取得することを特徴とする。
　監視端末装置１０は、複数の移動体Ｖに搭載される端末装置であって、これら複数の移動体Ｖのそれぞれの位置情報を検出する位置検出機能と、複数の移動体のそれぞれに装着されたカメラで当該移動体の周囲を撮像して画像情報を生成する画像生成機能と、時刻検出機能と、検出された位置情報及び生成された画像情報を含む監視情報を生成する監視情報生成機能とを有する。また、監視端末装置１０の位置検出機能は、位置情報の代わりに位置情報の検出精度が所定評価値未満である旨の評価を出力することができる。さらに、監視端末装置１０は、位置検出機能が位置検出機能の検出精度が所定評価値未満である旨の評価を出力した場合には、地図上の位置情報と予め対応づけられた街並みの基準画像Ｚと、画像生成機能により生成された画像情報とを比較し、画像情報との類似度が所定値以上の基準画像Ｚに対応づけられた位置情報を、補正された補正位置情報として求める位置情報補正機能と、位置情報補正機能により補正位置情報が求められた場合には、この補正位置情報を位置情報として監視情報に含めて中央監視装置２０へ送信するとともに中央監視装置２０からの指令を受け付ける通信機能を含む出力機能と、異常の発生を通報する機能とを有する。そのため、複数の車載カメラ１１ａ～１１ｅ、画像処理装置１２、通信装置１３、車載制御装置１４、位置検出装置１５及び通報ボタン１６を備える。なお、時刻情報は主として事象の事後解析に供される情報であるため省略してもよい。
　監視端末装置１０が搭載される移動体Ｖは、目的とする監視領域を走行するものであれば特に限定されず、乗用車、二輪車、産業車両、路面電車などの移動体を含み、乗用車には自家用乗用車Ｖ２や緊急乗用車Ｖ３が含まれるが、なかでも特に予め決められた領域をランダム且つ常時走行するタクシーや路線バスＶ１などが好適に含まれる。図１には、タクシーＶ１、自家用乗用車Ｖ２、パトカー、消防車又は救急車などの緊急乗用車Ｖ３を例示するが、これらを総称する場合は移動体Ｖまたは乗用車Ｖという。
　それぞれの移動体Ｖには、複数の車載カメラ１１ａ～１１ｅ（以下、総称する場合はカメラ１１という。）、画像処理装置１２、通信装置１３、車載制御装置１４、位置検出装置１５及び通報ボタン１６が搭載されている。カメラ１１は、ＣＣＤカメラなどで構成され、移動体Ｖの周囲を撮像し、その撮像信号を画像処理装置１２へ出力する。画像処理装置１２は、カメラ１１からの撮像信号を読み出し、画像情報に画像処理する。この画像処理の詳細は後述する。
　位置検出装置１５は、ＧＰＳ装置及びその補正装置などで構成され、当該移動体Ｖの現在位置を検出し、車載制御装置１４へ出力する。通報ボタン１６は、車室内に設置された入力ボタンであって、運転手や同乗者がインシデント（事故、火事、犯罪など治安に関する出来事）を発見した際に異常を通報するための情報を入力する手動ボタンである。この情報には、異常を通報した移動体Ｖの位置情報を含めることができる。
　車載制御装置１４は、ＣＰＵ，ＲＯＭ，ＲＡＭにより構成され、通報ボタン１６が押されたときに、画像処理装置１２、通信装置１３及び位置検出装置１５を制御し、画像処理装置１２で生成された画像情報と、位置検出装置１５で検出された移動体Ｖの位置情報と、ＣＰＵが内蔵する時計からの時刻情報とを通信装置１３及び電気通信回線網３０を介して中央監視装置２０へ出力する。また、電気通信回線網３０及び通信装置１３を介して受信された中央監視装置２０から画像送信指令などの情報を要求する指令を受け付け、画像処理装置１２、通信装置１３及び位置検出装置１５を制御し、画像処理装置１２で生成された画像情報と、位置検出装置１５で検出された移動体Ｖの位置情報と、ＣＰＵが内蔵する時計からの時刻情報とを含む監視情報を、通信装置１３及び電気通信回線網３０を介して中央監視装置２０へ出力する。また、車載制御装置１４は、位置検出装置１５の検出精度が所定値未満である場合には、予め位置情報と対応づけた街並みの基準画像Ｚと画像処理装置１２により生成された画像情報とを比較して、その類似度から正確な補正位置情報を求め、この補正位置情報を位置情報として画像情報とともに監視情報に含めることができる。また、監視者が、重点的に監視を希望する重点監視対象を特定した場合には、監視情報に重点監視対象が拡大された画像情報を含めることができる。これらの具体的な処理の内容については後述する。
　なお、補正位置情報を求める処理は中央監視装置２０側で行うことも可能である。その態様については、中央監視装置２０を説明する際に併せて説明する。
　通信装置１３は、無線通信が可能な通信手段であり、電気通信回線網３０を介して中央監視装置２０の通信装置２３と情報の授受を実行する。電気通信回線網３０が商用電話回線網である場合は携帯電話通信装置を汎用することができ、電気通信回線網３０が本例の監視システム１の専用電気通信回線網である場合は、それ専用の通信装置１３，２３を用いることができる。なお、電気通信回線網３０に代えて、無線ＬＡＮ、ＷｉＦｉ（登録商標）、ＷｉＭＡＸ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、専用無線回線などを用いることもできる。
　中央監視装置２０は、上述した監視端末装置１０から出力された位置情報と画像情報とを取得する情報取得機能と、地図データベースからの地図情報を表示するとともに、受信した位置情報を地図情報上に表示制御するとともに、受信した画像情報をディスプレイ２４に表示する表示制御機能を含む出力機能とを有する。また、中央監視装置２０の情報取得機能は、位置情報の代わりに位置情報の検出精度が所定評価値未満である旨の評価を取得することができる。
　先述したように、位置情報の補正処理は、監視端末装置１０に代えて中央監視装置２０側において行うことができる。この場合において、、中央監視装置２０の中央制御装置２１は、監視端末装置１０側から位置情報の検出精度が所定評価値未満である旨の評価を取得した場合に、地図上の位置情報と予め対応づけられた街並みの基準画像Ｚと、監視端末装置１０の画像生成機能により生成された画像情報とを比較し、画像情報との類似度が所定値以上の基準画像Ｚに対応づけられた位置情報を、補正された補正位置情報として求める位置情報補正機能と、位置情報補正機能により補正位置情報が求められた場合に、この補正位置情報を、監視端末装置１０の位置情報として出力する出力機能とを備える。そのため、中欧監視装置２０は、中央制御装置２１、画像処理装置２２、通信装置２３、ディスプレイ２４及び入力装置２５を備える。
　中央制御装置２１は、ＣＰＵ，ＲＯＭ，ＲＡＭにより構成され、画像処理装置２２、通信装置２３及びディスプレイ２４を制御して、監視端末装置１０から送信された位置情報、画像情報及び時刻情報を受信し、必要に応じて画像処理を施したうえでディスプレイ２４に表示する。
　画像処理装置２４は、地図データベースを有し、当該地図データベースからの地図情報をディスプレイ２４に表示するとともに、監視端末装置１０の位置検出装置１５により検出された位置情報を当該地図情報上に重畳表示する。また、監視端末装置１０の車載カメラ１１で撮像され、画像処理装置１２で処理された画像情報をディスプレイ２４に表示するための画像処理を施す。
　ディスプレイ２４は、たとえば一つの画面上に２つのウィンド画面が表示できる大きさの液晶表示装置又は２つのウィンド画面をそれぞれ表示する２つの液晶表示装置により構成することができる。そして、一方のウィンド画面には、地図情報上に各移動体Ｖの位置情報を重ね合わせた画面を表示し（図１参照）、他方のウィンド画面には、車載カメラ１１で撮像された映像に係る画像情報を表示する。さらに、ディスプレイ２４は、重点監視対象が拡大された画像情報が監視端末装置１０から入力された場合は、画像情報を拡大して表示することができる。この拡大して表示する処理は、重点監視対象が拡大された映像をそのまま（拡大されたまま）表示する処理と、重点監視対象が拡大された映像をさらに拡大して表示する処理とを含む。これにより、監視者は、ディスプレイ２４に表示された映像により、重点監視対象の細部を詳細に観察することができる。
　入力装置２５は、キーボード又はマウスで構成され、所望の移動体Ｖに対して情報取得指令を出力したり、ディスプレイ２４に表示される各種情報の処理指令を入力したりする場合に用いられる。先述した重点監視指令は、入力装置２５を介して監視者が入力することもできる。特に限定されないが、監視者は、地図情報上に重畳表示された重点監視対象のアイコンをクリック(選択入力)することにより重点監視指令を生成及び入力することができる。重点監視対象には、この重点監視対象を監視するのに適した重点監視位置が対応づけられており、重点監視対象を指定すれば、重点監視位置も指定される。これら重点監視対象及び重点監視位置は重点監視指令に含められる。また、監視者は、入力装置２５を介して、後述する領域特定情報（重点監視対象の一部である注視領域を特定する情報）、撮像方向又は撮像に用いるカメラ１１の特定情報、フレームレートの何れか一つ以上を入力し、重点監視指令を生成することができる。
　通信装置２３は、無線通信が可能な通信手段であり、電気通信回線網３０を介して監視端末装置１０の通信装置１３と情報の授受を実行する。電気通信回線網３０が商用電話回線網である場合は携帯電話通信装置を汎用することができ、電気通信回線網３０が本例の監視システム１の専用電気通信回線網である場合は、それ専用の通信装置１３，２３を用いることができる。
　次に車載カメラ１１ａ～１１ｅの装着位置と撮像範囲について説明する。ここでは移動体Ｖとして乗用車Ｖを例に挙げて説明する。カメラ１１ａ～１１ｅはＣＣＤ等の撮像素子を用いて構成され、４つの車載カメラ１１ａ～１１ｄは乗用車Ｖの外部の異なる位置にそれぞれ設置され、車両周囲の４方向をそれぞれ撮影する。本実施形態のカメラ１は、被写体を拡大して撮像するズームアップ機能を備え、制御命令に従って任意に焦点距離を変更し、又は制御命令に従って任意に撮像倍率を変更することができる。
　例えば、図５に示すように、フロントグリル部分などの乗用車Ｖの前方の所定位置に設置された車載カメラ１１ａは、乗用車Ｖの前方のエリアＳＰ１内及びその前方の空間に存在する物体又は路面（フロントビュー）を撮影する。また、左サイドミラー部分などの乗用車Ｖの左側方の所定位置に設置された車載カメラ１１ｂは、乗用車Ｖの左側方のエリアＳＰ２内及びその周囲の空間に存在する物体又は路面（左サイドビュー）を撮影する。また、リアフィニッシャー部分やルーフスポイラー部分などの乗用車Ｖの後方部分の所定位置に設置された車載カメラ１１ｃは、乗用車Ｖの後方のエリアＳＰ３内及びその後方の空間に存在する物体又は路面（リアビュー）を撮影する。また、右サイドミラー部分などの乗用車Ｖの右側方の所定位置に設置された車載カメラ１１ｄは、乗用車Ｖの右側方のエリアＳＰ４内及びその周囲の空間に存在する物体又は路面（右サイドビュー）を撮影する。なお、図５には図示を省略したが、１つの車載カメラ１１ｅは、乗用車の室内の例えば天井部に設置され、図６に示すように室内のエリアＳＰ５を撮像し、タクシーの無賃乗車や強盗などの犯罪防止又は犯罪通報に供される。
　図６は、各車載カメラ１１ａ～１１ｅの配置を乗用車Ｖの上空から見た図である。同図に示すように、エリアＳＰ１を撮像する車載カメラ１１ａ、エリアＳＰ２を撮像する車載カメラ１１ｂ、エリアＳＰ３を撮像する車載カメラ１１ｃ、エリアＳＰ４を撮像する車載カメラ１１ｄの４つは、乗用車Ｖのボディの外周ＶＥに沿って左回り（反時計回り）又は右回り（時計回り）に沿って設置されている。つまり、同図に矢印Ｃで示す左回り（反時計回り）に乗用車Ｖのボディの外周ＶＥに沿って見ると、車載カメラ１１ａの左隣りに車載カメラ１１ｂが設置され、車載カメラ１１ｂの左隣りに車載カメラ１１ｃが設置され、車載カメラ１１ｃの左隣りに車載カメラ１１ｄが設置され、車載カメラ１１ｄの左隣りに車載カメラ１１ａが設置されている。逆に同図に示す矢印Ｃの方向とは反対に（時計回り）に乗用車Ｖのボディの外周ＶＥに沿って見ると、車載カメラ１１ａの右隣りに車載カメラ１１ｄが設置され、車載カメラ１１ｄの右隣りに車載カメラ１１ｃが設置され、車載カメラ１１ｃの右隣りに車載カメラ１１ｂが設置され、車載カメラ１１ｂの右隣りに車載カメラ１１ａが設置されている。
　図７Ａは、フロントの車載カメラ１１ａがエリアＳＰ１を撮像した画像ＧＳＰ１の一例を示し、図７Ｂは、左サイドの車載カメラ１１ｂがエリアＳＰ２を撮像した画像ＧＳＰ２の一例を示し、図７Ｃは、リアの車載カメラ１１ｃがエリアＳＰ３を撮像した画像ＧＳＰ３の一例を示し、図７Ｄは、右サイドの車載カメラ１１ｄがエリアＳＰ４を撮像した画像ＧＳＰ４の一例を示し、図７Ｅは、室内の車載カメラ１１ｅが室内エリアＳＰ５を撮像した画像ＧＳＰ５の一例を示す画像図である。ちなみに、各画像のサイズは、縦４８０ピクセル×横６４０ピクセルである。画像サイズは特に限定されず、一般的な端末装置で動画再生が可能なサイズであればよい。
　なお、車載カメラ１１の配置数及び配置位置は、乗用車Ｖの大きさ、形状、検出領域の設定手法等に応じて適宜に決定することができる。上述した複数の車載カメラ１１は、それぞれの配置に応じた識別子が付されており、車載制御装置１４は、各識別子に基づいて各車載カメラ１１のそれぞれを識別することができる。また、車載制御装置１４は、指令信号に識別子を付することにより、特定の車載カメラ１１に撮像命令その他の命令を送出することができる。
　車載制御装置１４は、画像処理装置１２を制御して車載カメラ１１によって撮像された撮像信号をそれぞれ取得し、画像処理装置１２は、各車載カメラ１１からの撮像信号を処理して図７Ａ～図７Ｅに示す画像情報に変換する。そして、車載制御装置１４は、図７Ａ～図７Ｄに示す４つの画像情報に基づいて監視画像を生成するとともに（画像生成機能）、この監視画像を柱体の投影モデルの側面に設定された投影面に投影するためのマッピング情報を監視画像に対応づけ（マッピング情報付加機能）、中央監視装置２０へ出力する。以下、画像生成機能とマッピング情報付加機能について詳述する。
　なお、乗用車Ｖの周囲を撮像した４つの画像情報に基づいて監視画像を生成し、これにマッピング情報を関連付ける処理は、本例のように監視端末装置１０で実行するほか、中央監視装置２０で実行することもできる。この場合には、乗用車Ｖの周囲を撮像した４つの画像情報を監視端末装置１０から中央監視装置２０へそのまま送信し、これを中央監視装置２０の画像処理装置２２及び中央制御装置２１にて監視画像を生成するとともにマッピング情報を関連付け、投影変換すればよい。
　まず、画像生成機能について説明する。本実施形態の監視端末装置１０の車載制御装置１４は、画像処理装置１２を制御して各車載カメラ１１ａ～１１ｅの撮像信号をそれぞれ取得し、さらに乗用車Ｖのボディの外周に沿って右回り又は左回りの方向に設置された車載カメラ１１ａ～１１ｄの画像情報がこれらの車載カメラ１１ａ～１１ｄの設置順に配置されるように、一枚の監視画像を生成する。
　上述したように、本実施形態において、４つの車載カメラ１１ａ～１１ｄは乗用車Ｖのボディの外周ＶＥに沿って左回り（反時計回り）にカメラ１１ａ、１１ｂ、１１ｃ、１１ｄの順に設置されているので、車載制御装置１４は、これらの車載カメラ１１ａ～１１ｄの設置の順序（車載カメラ１１ａ→１１ｂ→１１ｃ→１１ｄ）に従って、各車載カメラ１１ａ～１１ｄが撮像した４枚の画像が一体となるように水平方向に繋げ、一枚の監視画像を生成する。本実施形態の監視画像において、各画像は乗用車Ｖの接地面(路面)が下辺となるように配置され、各画像は路面に対して高さ方向（垂直方向）の辺で互いに接続される。
　図８は、監視画像Ｋの一例を示す図である。同図に示すように、本実施形態の監視画像Ｋは、図面左側から図面右側へ向かう方向Ｐに沿って、フロントの車載カメラ１１ａがエリアＳＰ１を撮像した撮像画像ＧＳＰ１、左サイドの車載カメラ１１ｂがエリアＳＰ２を撮像した撮像画像ＧＳＰ２、リアの車載カメラ１１ｃがエリアＳＰ３を撮像した撮像画像ＧＳＰ３、及び右サイドの車載カメラ１１ｄがエリアＳＰ４を撮像した撮像画像ＧＳＰ４が、水平方向にこの順序で並べて配置され、これら４つの画像が一連の画像とされている。このように生成された監視画像Ｋを、路面(車両の接地面)に対応する画像を下にして左端から右側へ順番に表示することにより、監視者は、車両Ｖの周囲を反時計回りに見回したのと同様にディスプレイ２４上で視認することができる。
　なお、一つの監視画像Ｋを生成する際には、各車載カメラ１１ａ～１１ｄの撮影タイミングを略同時にして取得した４つの画像が用いられる。これにより、監視画像Ｋに含まれる情報を同期させることができるので、所定タイミングにおける車両周囲の状況を正確に表現することができる。
　また、カメラの撮像タイミングが略同時である各撮像画像から生成した監視画像Ｋを経時的に記憶し、所定の単位時間あたりに複数の監視画像Ｋが含まれる動画の監視画像Ｋを生成するようにしてもよい。撮像タイミングが同時の画像に基づいて動画の監視画像Ｋを生成することにより、車両周囲の状況の変化を正確に表現することができる。
　ところで、各撮像領域の画像をそれぞれ経時的に記憶し、各撮像領域ごとに生成した動画の監視画像Ｋを中央監視装置２０へ送信した場合には、中央監視装置２０の機能によっては、複数の動画を同時に再生できない場合がある。このような従来の中央監視装置２０においては、複数の動画を同時に再生表示することができないため、各動画を再生する際には画面を切り替えて動画を一つずつ再生しなければならない。つまり、従来の中央監視装置２０では、複数方向の映像（動画）を同時に見ることができず、車両周囲の全体を一画面で監視することができないという不都合がある。
　これに対して本実施形態の車載制御装置１４は、複数の画像から一つの監視画像Ｋを生成するので、中央監視装置２０の機能にかかわらず、異なる撮像方向の画像を同時に動画再生することができる。つまり、監視画像Ｋを連続して再生（動画再生）することにより、監視画像Ｋに含まれる４枚の画像を同時に連続して再生（動画再生）し、方向の異なる領域の状態変化を一画面で監視することができる。
　また、本実施形態の監視端末装置１０は、監視画像Ｋの画素数が各車載カメラ１１ａ～１１ｄの画像の画素数と略同一になるように画像のデータ量を圧縮して監視画像Ｋを生成することもできる。図７Ａ～図７Ｄに示す各画像のサイズは４８０×６４０ピクセルであるのに対し、本実施形態では、図８に示すように監視画像Ｋのサイズが１２８０×２４０ピクセルとなるように圧縮処理を行う。これにより、監視画像Ｋのサイズ（１２８０×２４０＝３０７，２００ピクセル）が、各画像のサイズ（４８０×６４０×４枚＝３０７，２００ピクセル）と等しくなるので、監視画像Ｋを受信した中央監視装置２０側の機能にかかわらず、画像処理及び画像再生を行うことができる。
　さらに、本実施形態の車載制御装置１４は、配置された各画像の境界を示す線図形を、監視画像Ｋに付することもできる。図８に示す監視画像Ｋを例にすると、車載制御装置１４は、配置された各画像の境界を示す線図形として、各画像の間に矩形の仕切り画像Ｂｂ，Ｂｃ，Ｂｄ，Ｂａ，Ｂａ´を監視画像Ｋに付することができる。このように、４つの画像の境界に仕切り画像を配置することにより、一連にされた監視画像Ｋの中で、撮像方向が異なる各画像をそれぞれ別個に認識させることができる。つまり、仕切り画像は各撮像画像の額縁として機能する。また、各撮像画像の境界付近は画像の歪みが大きいので、撮像画像の境界に仕切り画像を配置することにより、歪みの大きい領域の画像を隠すことや、歪みが大きいことを示唆することができる。
　また、本実施形態の車載制御装置１４は、後述する投影モデルの側面に設定された投影面に４つの画像を投影させた場合の歪みを補正してから、監視画像Ｋを生成することもできる。撮影された画像の周辺領域は画像の歪みが生じやすく、特に広角レンズを用いた車載カメラ１１である場合には撮像画像の歪みが大きくなる傾向があるため、画像の歪みを補正するために予め定義された画像変換アルゴリズムと補正量とを用いて、撮像画像の歪みを補正することが望ましい。
　特に限定されないが、車載制御装置１４は、図９に示すように、中央監視装置２０において監視画像Ｋを投影させる投影モデルと同じ投影モデルの情報をＲＯＭから読み出し、この投影モデルの投影面に撮像画像を投影し、投影面において生じた歪みを予め補正することもできる。なお、画像変換アルゴリズムと補正量は車載カメラ１１の特性、投影モデルの形状に応じて適宜定義することができる。このように、投影モデルの投影面に関し画像Ｋを投影した場合の歪みを予め補正しておくことにより、歪みの少ない視認性の良い監視画像Ｋを提供することができる。また、歪みを予め補正しておくことにより、並べて配置された各画像同士の位置ズレを低減させることができる。
　次に、マッピング情報付加機能について説明する。本実施形態の監視端末装置１０において、車載制御装置１４は、乗用車Ｖの接地面を底面とする柱体の投影モデルＭの側面に設定された投影面に、生成された監視画像Ｋを投影するためのマッピング情報を監視画像Ｋに対応づける処理を実行する。マッピング情報は、監視画像Ｋを受信した中央監視装置２０に、容易に投影基準位置を認識させるための情報である。図１０は本実施形態の投影モデルＭの一例を示す図、図１１は図１０に示す投影モデルＭのｘｙ面に沿う断面模式図である。
　図１０，１１に示すように、本実施形態の投影モデルＭは、底面が正八角形で、鉛直方向（図中ｚ軸方向）に沿って高さを有する正八角柱体である。なお、投影モデルＭの形状は、底面の境界に沿って隣接する側面を有する柱体であれば特に限定されず、円柱体、若しくは三角柱体、四角柱体、六角柱体などの角柱体、又は底面が多角形で側面が三角形の反角柱体とすることもできる。
　また、同図に示すように、本実施形態の投影モデルＭの底面は乗用車Ｖの接地面と平行である。また、投影モデルＭの側面の内側面には、投影モデルＭの底面に接地する乗用車Ｖの周囲の映像を映し出す投影面Ｓａ，Ｓｂ，Ｓｃ，Ｓｄ（以下、投影面Ｓと総称する。）が設定されている。投影面Ｓは、投影面Ｓａの一部と投影面Ｓｂの一部、投影面Ｓｂの一部と投影面Ｓｃの一部、投影面Ｓｃの一部と投影面Ｓｄの一部、投影面Ｓｄの一部と投影面Ｓａの一部により構成することもできる。監視画像Ｋは、乗用車Ｖを取り囲む投影モデルＭの上方の視点Ｒ（Ｒ１～Ｒ８、以下、視点Ｒと総称する。）から乗用車Ｖを俯瞰した映像として投影面Ｓに投影される。
　本実施形態の車載制御装置１４は、右端又は左端に配置された撮像画像の基準座標を、マッピング情報として監視画像Ｋに対応づける。図８に示す監視画像Ｋを例にすると、車載制御装置１４は、投影モデルＭに投影される際の、監視画像Ｋの始端位置又は終端位置を示すマッピング情報（基準座標）として、右端に配置された撮像画像ＧＳＰ１の左上頂点の座標Ａ（ｘ、ｙ）と、左端に配置された撮像画像ＧＳＰ２の右上頂点の座標Ｂ（ｘ、ｙ）とを監視画像Ｋに付する。なお、始端位置又は終端位置を示す撮像画像の基準座標は特に限定されず、左端に配置された監視画像Ｋの左下頂点、又は右端に配置された監視画像Ｋの右下頂点としてもよい。またマッピング情報は、監視画像Ｋの画像データの各画素に付してもよいし、監視画像Ｋとは別のファイルとして管理してもよい。
　このように、監視画像Ｋの始端位置又は終端位置を示す情報、つまり投影処理において基準とする基準座標をマッピング情報として監視画像Ｋに対応づけることにより、監視画像Ｋを受信した中央監視装置２０が、容易に投影処理時における基準位置を認識することができるので、車載カメラ１１ａ～１１ｄの配置順に並べられた監視画像Ｋを、投影モデルＭの側面の投影面Ｓに容易且つ迅速に順次投影することができる。すなわち、図１１に示すように車載カメラ１１ａの撮像方向に位置する投影面Ｓａに車両前方の撮像画像ＧＳＰ１を投影し、車載カメラ１１ｂの撮像方向に位置する投影面Ｓｂに車両右側方の撮像画像ＧＳＰ２を投影し、車載カメラ１１ｃの撮像方向に位置する投影面Ｓｃに車両後方の撮像画像ＧＳＰ３を投影し、車載カメラ１１ｄの撮像方向に位置する投影面Ｓｄに車両左側方の撮像画像ＧＳＰ４を投影することができる。
　これにより、投影モデルＭに投影された監視画像Ｋは、あたかも乗用車Ｖの周囲を見回したときに見える映像を示すことができる。つまり、車載カメラ１１ａ～１１ｄの設置順序に応じて水平方向一列に配置された４つの画像を含む監視画像Ｋは、投影モデルＭの柱体において、同じく水平方向に並ぶ側面に投影されるので、柱体の投影モデルＭの投影面Ｓに投影された監視画像Ｋに、乗用車Ｖの周囲の映像をその位置関係を維持したまま再現することができる。
　なお、本実施形態の車載制御装置１４は、監視画像Ｋの各座標値と投影モデルＭの各投影面Ｓの座標値との対応関係をマッピング情報として記憶し、監視画像Ｋに付することができるが、中央監視装置２０に予め記憶させてもよい。
　また、図１０，１１に示す視点Ｒ、投影面Ｓの位置は例示であり、任意に設定することができる。特に、視点Ｒは、操作者の操作によって変更可能である。視点Ｒと監視画像Ｋの投影位置との関係は予め定義されており、視点Ｒの位置が変更された場合には所定の座標変換を実行することにより、新たに設定された視点Ｒから見た監視画像Ｋを投影面Ｓ（Ｓａ～Ｓｄ）に投影することができる。この視点変換処理には公知の手法を用いることができる。
　以上のように、本実施形態の車載制御装置１４は、所定タイミングで撮影された画像情報に基づいて監視画像Ｋを生成し、この監視画像Ｋにマッピング情報、基準座標、境界を示す線図形（仕切り画像）の情報を対応づけ、撮像タイミングに従って経時的に記憶する。特に限定されないが、車載制御装置１４は、所定の単位時間あたりに複数の監視画像Ｋを含む一つの動画ファイルとして監視画像Ｋを記憶してもよいし、ストリーミング方式で転送・再生が可能な形態で監視画像Ｋを記憶してもよい。
　中央監視装置２０の通信装置２３は、監視端末装置１０から送信された監視画像Ｋとこの監視画像Ｋに対応づけられたマッピング情報を受信する。なお、中央監視装置２０は、重点監視対象を拡大した画像情報は監視画像Ｋの一部として受信してもよいし、別途受信してもよい。また、室内の車載カメラ１１ｅにて撮影された画像情報は別途受信する。この監視画像Ｋは、上述したとおり乗用車Ｖのボディの異なる位置に設置された４つの車載カメラ１１の画像が、乗用車Ｖのボディの外周に沿って右回り又は左回りの方向に沿って設置された車載カメラ１１ａ～１１ｄの設置順序（車両Ｖのボディの外周に沿う右回り又は左回りの順序）に従って配置されたものである。また、この監視画像Ｋには、監視画像Ｋを八角柱体の投影モデルＭの投影面Ｓに投影させるためのマッピング情報が対応づけられている。通信装置２３は取得した監視画像Ｋ及びマッピング情報を画像処理装置２２へ送出する。
　画像処理装置２２は、予め記憶している投影モデルＭを読み出し、マッピング情報に基づいて、図１０及び図１１に示す乗用車Ｖの接地面を底面とする八角柱体の投影モデルＭの側面に設定された投影面Ｓａ～Ｓｄに監視画像Ｋを投影させた表示画像を生成する。具体的には、マッピング情報に従い、受信した監視画像Ｋの各画素を、投影面Ｓａ～Ｓｄの各画素に投影する。また、画像処理装置２２は、監視画像Ｋを投影モデルＭに投影する際に、監視画像Ｋと共に受信した基準座標に基づいて、監視画像Ｋの開始点(監視画像Ｋの右端又は左端)を認識し、この開始点が予め投影モデルＭ上に定義された開始点(投影面Ｓの右端又は左端)と合致するように投影処理を行う。また、画像処理装置２２は、監視画像Ｋを投影モデルＭに投影する際に、各画像の境界を示す線図形(仕切り画像)を投影モデルＭ上に配置する。仕切り画像は、予め投影モデルＭに付しておくこともでき、投影処理後に監視画像Ｋに付すこともできる。
　ディスプレイ２４は、投影モデルＭの投影面Ｓに投影した監視画像Ｋ、監視者の指令に基づく監視対象の画像情報を表示する。図１２、図１３は、監視画像Ｋの表示画像の一例を示す図である。なお、図１２は、投影モデルＭを一方向から見た画像であるが、マウスやキーボードなどの入力装置２５又はディスプレイ２４をタッチパネル式の入力装置２５とすることで、監視者の操作により視点を自在に設定・変更することができる。視点位置と投影面Ｓとの対応関係は上述の画像処理装置２２又はディスプレイ２４において予め定義されているので、この対応関係に基づいて、変更後の視点に応じた監視画像Ｋをディスプレイ２４に表示することができる。
　以上のように、監視情報は作成され、監視者が視認できるように出力される。ここで、本実施形態の車載制御装置１４又は中央監視装置２１は、監視者に画像情報（監視画像Ｋ）がどこの状態であるのかを示すために、画像情報に基づいて生成された監視画像Ｋに位置情報を対応づける。
　このとき、高層ビルなどの存在による電波受信状況、衛星の位置誤差、衛星時計の誤差、電離層と対流圏における遅延による誤差、電波環境の悪化その他の外的・内的影響によりＧＰＳの検出精度が低下して正確な位置情報を取得できない場合がある。本実施形態の監視システム１は、位置検出装置１５から位置情報の検出精度が所定評価値未満である旨の評価を取得した場合には、正確な位置情報（補正位置情報）を求めて画像情報（監視画像Ｋ）の正確な位置を監視者に提示する。なお、位置情報の検出精度が所定評価値未満である旨の評価は、位置情報の検出が不能である旨の評価を含む。
　特に限定されないが、位置検出装置１５は、自身が備えるＧＰＳ装置が受信可能な衛星の数に応じて位置情報の検出精度を評価することができる。一般的なＧＰＳ装置は、測位に理想的な状況である場合には６～１０個程度の衛星から電波を受信できるが、上記影響により電波を受信可能な衛星の個数は低下する。通常４つの衛星からの電波を受信できれば正確な位置を検出することができるので、本実施形態の位置検出装置１５は、受信可能な衛星の数が３つ以下となった場合には検出精度が所定の評価値より低く、正確な位置情報を取得できないと評価することができる。検出精度が所定の評価値より低い状態には、必要な電波を受信できず、位置情報の検知が不能である場合も含む。また、本実施形態では、受信可能な衛星の数が４つ以上であっても、受信可能な衛星が測位結果の信頼度が低い組み合わせである場合には、検出精度が所定の評価値より低く、正確な位置情報を取得できないと評価することができる。
　さらに、ＧＰＳ測位精度を表現する概念として知られているＤＯＰ（ＤＯＰ：Dilution of Precision)を利用して、位置検出装置１５の位置情報の検出精度を評価することができる。ＤＯＰとは、ＧＰＳ測位精度の劣化の指標となる数値であり、このＤＯＰの値が小さいほど精度が高いことを意味する。ＧＰＳによる測位は通常4つ以上のＧＰＳ衛星が用いられる。この測位に用いられるＧＰＳ衛星の配置状態は、測位精度に影響を与えるため、この衛星の配置状態に基づいてＤＯＰ値が求められる。例えば、受信可能なＧＰＳ衛星が均等にばらけていればＤＯＰ値は小さくなりＧＰＳ精度は高いと評価され、他方ＧＰＳ衛星がばらけておらず、偏った位置に集中している場合のはＤＯＰ値が大きくなりＧＰＳ制度は低いと評価される。ちなみに、ＤＯＰは水平方向のＤＯＰ（HDOP：Horizonal DOP）と垂直方向のＤＯＰ（VDOP：Vertical DOP）を含むが、水平方向のＨＤＯＰ値が小さいほど、水平方向にばらけており、ＧＰＳ精度の向上に寄与すると評価できる。
　本実施形態の位置検出装置１５には、上述の手法に限定されず、出願時に知られた位置情報の検出精度の評価手法を用いることができる。
　位置検出装置１５が、位置情報の検出精度が所定評価値未満である旨の評価を出力した場合には、これに呼応して、監視端末装置１０の車載制御装置１４は、地図上の位置情報と予め対応づけられた街並みの基準画像Ｚと、画像生成機能により生成された画像情報とを比較し、画像情報との類似度が所定値以上の基準画像Ｚに対応づけられた位置情報を、補正された補正位置情報として求める。一般に、ある所定の地点から見た街並みの映像は急変することがないので、街並みの映像が共通すれば、その街並みを見ている地点（位置情報）も共通すると考えられる。本実施形態の監視システム１は、実際に撮像した画像情報を、予め撮像しておいた基準画像と比べることにより、画像情報と類似する基準画像を撮像した位置（基準画像に対応づけられている位置情報）を、乗用車Ｖの現在位置と推定する。
　基準画像Ｚと画像情報との類似度の算出手法は特に限定されず、各画像から抽出された特徴の有無、形状、大きさ、位置がどの程度共通するか否かの観点から定量的に求めることができる。すべてが共通すれば類似度は１００％となる。本判断における類似度の閾値は特に限定されず、通り（道路）、地域ごとに実験的に設定することができる。特徴的な建造物がある通りや地域では、特徴が抽出しやすく、その特徴の類似度も正確に求めやすいという傾向があるため、類似度の閾値を高く設定して、より正確な判断を導出させることができる。他方、特徴的な建造物がなく、小さい建造物が密集している、似たような構造物が並んでいる、又は人通りが多い通りや地域では、特徴が抽出しにくく、その特徴の類似度を正確に求めることができないという傾向がある。このため、正確な判断を求める観点から類似度の閾値を高く設定すると、同じ地点からの画像であっても類似していないと判断してしまう場合があるので、類似度の閾値を低く設定することが好ましい。なお、二つの画像の類似度を求める手法は特に限定されず、出願時に知られた手法を適宜に適用することができる。
　なお、この処理は、監視端末装置１０側において得られた位置情報及び位置情報の検出精度の評価結果を中央監視装置２０が取得し、中央監視装置２０の中央制御装置２１が補正位置情報を求めることができる。
　補正位置情報の算出に用いられる基準画像Ｚは、平常時において乗用車Ｖで街中を走行しながら、車載カメラ１１で所定周期で周囲を撮像した画像である。つまり、基準画像Ｚは、基準とする平常時の街並みの映像が含まれている。図１４は、基準画像Ｚの一例を示す図である。図１４に示す基準画像Ｚはある一のタイミングにおいて撮像された画像情報に基づくものであるが、予め作成された基準画像Ｚは、所定周期で経時的に撮像され、道路を移動しながら視認される街並みの映像を含むものである。また、基準画像Ｚには撮像時における地図上の位置情報が対応づけられている。地図上の位置情報は、たとえば緯度・経度のように地図上の地点を特定するために座標値である。つまり、位置情報を特定すれば、目的の地点を含む街並みの映像が含まれる基準画像Ｚを選択することができる。もちろん、ある領域の位置情報を特定すれば、その領域の街並みの映像が含まれる基準画像Ｚを選択することができる。さらに、地図情報において位置情報と道路情報の識別情報とが対応づけられていれば、道路情報と基準画像Ｚとを対応づけることができる。つまり、道路が特定されれば、その道路上の各位置において撮像された基準画像Ｚを選択することができる。
　特に限定されないが、本実施形態の基準画像Ｚは、日中に撮像された画像に基づいて生成された第１基準画像Ｚと、日没後に撮像された画像に基づいて生成された第２基準画像Ｚとを含む。このようにしたのは、昼と夜とでは街並みの様子が大きく異なるからである。つまり、夜には街灯やネオンなどの光源が出現し、夜間に撮像された画像上の特徴点の位置・大きさなどが、昼間の街並みの映像におけるそれらと大きく異なるため、昼夜が異なる画像情報を比較しても画像の類似度を正確に評価することができないからである。
　本実施形態の監視端末装置１０又は中央監視装置２０は、現在が日中であると判断した場合には、第１基準画像Ｚと監視端末装置１０の画像生成機能により生成された画像情報とを比較し、現在が日没後であると判断した場合には、第２基準画像Ｚと監視端末装置１０の画像生成機能により生成された画像情報とを比較する。ちなみに、現在が日中であるか日没後であるかは、現在位置における日没時刻を含む暦を参照し、時刻情報に基づいて判断してもよいし、移動体Ｖ周囲の明るさを計測する照度計の検出結果に基づいて判断してもよい。このように、日中と日没後のそれぞれに街並みの様子を撮像した基準画像Ｚを準備したことにより、監視端末装置１０側で取得された画像情報と基準画像Ｚとの類似度を正確に求めることができる。
　ところで、監視端末装置１０側で取得された画像情報と基準画像Ｚとを比較するにあたっては、基準画像Ｚの量が多いため、比較処理負荷が高くなる。この比較処理に係る負荷を軽減するため、比較対象となる基準画像Ｚを絞り込むことが好ましい。このため、本実施形態の位置情報補正機能は、位置情報の精度が所定評価値未満であると判断される直前に位置検出装置１５により検出された位置情報に基づいて、監視端末装置１０の画像処理装置１２により生成された画像情報と比較する街並みの基準画像Ｚを選択する。位置検出装置１５の位置検出精度が低下する直前に検出された位置情報は、現在の乗用車Ｖの位置に近いと予測できることができる。このため、位置検出精度が低下する直線の位置情報と所定距離未満の位置情報が対応づけられた基準画像Ｚを選択し、比較する基準画像Ｚを絞り込むことによって、画像情報との比較処理の負荷を軽減させることができる。
　同様の観点から、本実施形態の位置情報補正機能は、位置情報の精度が所定評価値未満であると評価される直前に位置検出装置１５により検出された位置情報と乗用車Ｖの操舵角や車速などの操作情報とに基づいて、監視端末装置１０の画像処理装置１２により生成された画像情報と比較する街並みの基準画像Ｚを選択する。なお、乗用車Ｖの操舵角はセンサ１８により検出され、車両コントローラ１７を介して取得することができる。上述したとおり、位置検出装置１５の位置検出精度が低下する直前に検出された位置情報は、現在の乗用車Ｖの位置に近いと予測できることができる。さらに、乗用車Ｖの操舵角、車速などの乗用車Ｖの操作情報によれば、位置検出精度が低下してから乗用車Ｖがどのように移動したか、つまり現在は、どの地点を走行しているかを予測することができる。この結果、現在走行している地点を基準にして基準画像Ｚを絞り込むことができる。具体的に、位置検出装置１５の位置検出精度が低下する直前に検出された位置情報と、その位置情報検出後の乗用車Ｖの操作情報とに基づいて予測された現在位置に対応する位置情報と所定距離未満の位置情報が対応づけられた基準画像Ｚを選択し、比較する基準画像Ｚを絞り込むことができる。基準画像Ｚを絞り込むことによって、画像情報との比較処理の負荷を軽減させることができる。
　同様の観点から、本実施形態の位置情報補正機能は、位置情報の精度が所定評価値未満であると評価される直前に位置検出装置１５により検出された位置情報が含まれる道路情報を取得し、位置情報と道路情報とに基づいて、画像処理装置１２により生成された画像情報と比較する街並みの基準画像Ｚを選択する。なお、道路情報は位置情報と対応づけられた地図情報から取得することが可能である。地図情報は、監視端末装置１０内、または乗用車Ｖに搭載されるナビゲーション装置１９、中央監視装置２０内、またはアクセス可能な他のサーバ装置に記憶しておくことができる。位置検出装置１５の位置検出精度が低下する直前に検出された位置情報は、現在の乗用車Ｖが走行する道路上にある可能性が高いと予測できることができる。この結果、現在走行している道路を基準にして、基準画像Ｚを絞り込むことができる。具体的に、位置検出装置１５の位置検出精度が低下する直前に検出された位置情報が含まれる道路に含まれる位置情報が対応づけられた基準画像Ｚを選択し、比較する基準画像Ｚを絞り込むことができる。基準画像Ｚを絞り込むことによって、画像情報との比較処理の負荷を軽減させることができる。
　次に本実施形態に係る監視システム１の動作について説明する。図３Ａ～図３Ｃは補正位置情報を求める処理を監視端末装置１０側が行う場合の動作を示すフローチャートであり、図４Ａ～図４Ｄは補正位置情報を求める処理を中央監視装置２０側が行う場合の動作を示すフローチャートである。
　まず、補正位置情報を求める処理を監視端末装置１０において行う場合の処理を説明する。図３Ａに示すように、監視端末装置１０においては、所定の時間間隔（同図に示す１ルーチン）で車載カメラ１１から周囲の映像と室内の映像を取得し、画像処理装置１２によって画像情報に変換する（ステップＳＴ１）。また、位置検出装置１５に当該監視端末装置１０が搭載された乗用車Ｖの現在位置情報を検出させ、この検出時において現在位置の検出精度が所定値以上であるか否かを判断する（ステップＳＴ２）。現在位置の位置情報の検出精度が所定評価値以上であると評価された場合にはステップＳＴ３へ進み、現在位置の位置情報の検出精度が所定評価値未満であると評価された場合にはステップＳＴ５へ進む。
　ステップＳＴ５において、補正位置情報の算出手法は、先述した手法により、たとえば、地図上の位置情報と予め対応づけられた街並みの基準画像Ｚと、画像処理装置１２により生成された画像情報とを比較し、画像情報との類似度が所定値以上の基準画像Ｚに対応づけられた位置情報を、補正された補正位置情報として求める。求めた補正位置情報は、位置情報として画像情報に対応づけて少なくとも一時的に記憶する。
　ステップＳＴ２において現在位置の検出精度が所定値以上である場合には、ステップＳＴ３へ進み、補正位置情報を算出する。ステップＳＴ３では、異常を通報する通報ボタン１６が押されたか否かを判断し、通報ボタン１６が押された場合はステップＳＴ４へ進み、ステップＳＴ１にて取得した画像情報と、ステップＳＴ２で取得した位置情報と、ＣＰＵの時刻情報とを関連付け、これらを、異常が発生した旨の異常情報とともに、通信装置１３及び電気通信回線網３０を介して中央監視装置２０へ送信する。これにより、事故、犯罪などの治安に関する異常が発生したことを、乗用車Ｖの位置情報と、乗用車Ｖの周囲の画像情報と共に中央監視装置２０へ自動送信されるので、街中の監視がより一層強化されることになる。なお、本例では最初のステップＳＴ１及びＳＴ２において画像情報と位置情報とを取得するが、ステップＳＴ３とＳＴ４との間のタイミングでこれら画像情報と位置情報とを取得してもよい。
　ステップＳＴ３に戻り、通報ボタン１６が押されていない場合はステップＳＴ６へ進み、中央監視装置２０と通信し、制御指令を取得する。
　続いて、ステップＳＴ６において、監視端末装置１０は、中央監視装置２０から画像送信指令を取得したか否かを判断し、画像送信指令を取得した場合にはステップＳＴ７へ進み、画像情報、位置情報、時刻情報を含む監視情報を中央監視装置２０に送信する。また、画像送信指令に記憶指令が含まれている場合には画像情報、位置情報、時刻情報を記憶する。
　ステップＳＴ６に戻り、中央監視装置２０から画像送信指令を取得しない場合であっても、ステップＳＴ８において乗用車Ｖが予め定義された重点監視領域に存在する場合には、ステップＳＴ１０へ進み、画像情報を含む監視情報を送信する。他方、画像送信指令を取得せず、重点監視領域でもない場合には、ステップＳＴ９へ進み、画像情報を含まない監視情報、つまり時刻情報、位置情報を中央監視装置２０へ送信する。なお、ステップＳＴ４，ＳＴ７，ＳＴ９における各情報の送信後、ステップＳＴ１０－２において、必要に応じて、自車位置情報、画像情報、時刻情報を含む監視情報を記憶・更新する。
　次に、図３Ｂ、図３Ｃに基づいて、中央監視装置２０側の動作を説明する。図３ＢのステップＳＴ１１では、すべての乗用車Ｖから位置情報、時刻情報を取得し、データベース２６に少なくとも一時的に蓄積する。図３Ｂは、データベース２６に蓄積される情報の一例を示す図である。図３Ｂに示すように、乗用車Ｖ（監視端末装置１０）から取得された画像情報、位置情報、時刻情報、追跡対象の特徴、追跡対象の顔の特徴を含む監視情報は、位置情報に対応づけて記憶されている。つまり、位置情報を指定すると、一連の監視情報を呼び出すことができる。また、この監視情報には、監視端末装置１０を特定するための移動体ＩＤ（監視端末装置ＩＤ）を含ませることができる。移動体ＩＤは監視端末装置１０の通信装置１３のアドレスであってもよい。
　ステップＳＴ１２において、ステップＳＴ１１で取得した位置情報に基づいて乗用車Ｖを、ディスプレイ２４に表示された地図データベースの地図情報上に図１の左上に示すように表示する。乗用車Ｖの位置情報は、図３Ａの１ルーチン毎の所定のタイミングにて取得され送信されるので、監視者は乗用車Ｖの現在位置をタイムリーに把握することができる。
　ステップＳＴ１３では、乗用車Ｖの監視端末装置１０から通報される異常情報、すなわち事故、犯罪などの治安に関する異常が発生した旨の通報を受信したか否かを判断する。この異常情報は、乗用車Ｖの搭乗者が監視端末装置１０の通報ボタン１６を押すことで出力される。異常情報がある場合は、ステップＳＴ１４にて異常情報が出力された乗用車Ｖを特定し、その乗用車の監視端末装置１０から画像情報および時刻情報を受信し、画像情報をディスプレイ２４に表示する。また、図１左上に示すように、地図情報上に表示されたその乗用車を他の乗用車と識別できるように色彩を変更するなど、強調表示を行う。これにより、異常が発生した位置を地図情報上で視認することができるとともに、異常内容をディスプレイ２４にて把握することができる。
　次のステップＳＴ１５では、異常情報を出力した乗用車Ｖの近傍（所定距離内）を走行する乗用車Ｖを検出し、その乗用車Ｖに対して画像情報および時刻情報の送信指令を出力する。これにより異常情報を出力した乗用車Ｖの近傍を走行する乗用車Ｖから画像情報を取得することができるので、異常情報を出力した乗用車Ｖからの画像情報に加えた複数の画像情報により、異常情報の内容を詳細に把握することができる。
　ステップＳＴ１６では、異常情報を出力した乗用車Ｖの位置情報をパトカー、救急車、消防車等の緊急乗用車へ送信する。この場合に、異常内容を報知するために画像情報を添付して送信してもよい。これにより、現場からの通報が入る前に緊急乗用車を出動させることができ、事故や犯罪に対する迅速な対処が可能となる。
　ステップＳＴ１７では、監視端末装置１０から受信した全ての位置情報、画像情報および時刻情報を記録媒体へ記録する。この記録は、事故や犯罪の発生後においてこれらを解決する際に用いられる。なお、ステップＳＴ１３にて異常情報がない場合はステップＳＴ１４～ＳＴ１７の処理を行うことなくステップＳＴ１８へ進む。
　図３Ｃに示すステップＳＴ１８では、パトカー、救急車又は消防車などの緊急乗用車から画像情報の送信指令があるか否かを判断し、画像送信指令が入力された場合にはステップＳＴ１９へ進む。ステップＳＴ１９では、画像情報の送信指令で特定された地域に乗用車Ｖが存在するか否かを判断し、乗用車Ｖが存在する場合はステップＳＴ２０へ進む。そして、ステップＳＴ２０において、画像情報の送信指令で特定された地域に存在する乗用車Ｖに対して画像情報の送信指令を出力する。これにより、次のルーチンの図３ＢのステップＳＴ１１にてその乗用車Ｖからの画像情報を取得することができ、これを緊急乗用車に転送したり、緊急乗用車からの送信指令の意味を把握したりすることができる。なお、ステップＳＴ１８及びＳＴ１９に該当しない場合はステップＳＴ１８～ＳＴ２０の処理を行うことなくステップＳＴ２１へ進む。
　ステップＳＴ２１では、予め設定された犯罪多発遅滞などの不審箇所の近傍領域に乗用車Ｖが存在するか否かを判断し、存在する場合はステップＳＴ２２へ進んでその乗用車Ｖに対して画像情報の送信指令を出力する。不審箇所とは治安の悪い通り、街などである。これにより、不審箇所である通りや街の監視を強化することができ、犯罪の未然防止が期待できる。なお、不審箇所の近傍領域に乗用車Ｖが存在しない場合はステップＳＴ２２の処理を行うことなくステップＳＴ２３へ進む。
　ステップＳＴ２３では、詳細を監視しておくべき重点監視対象を撮像できる重点監視位置の近傍に乗用車Ｖが存在するか否かを判断し、重点監視位置の近傍に乗用車Ｖが存在する場合はステップＳＴ２４へ進んでその乗用車Ｖに対して重点監視対象を拡大した画像情報の送信を求める重点監視指令を出力する。これにより、重点監視対象を詳細に監視することができ、特定された重点監視対象において事件や事故の原因となる不審物の発見を効果的に行うことができ、犯罪の未然防止が期待できる。なお、重点監視位置の近傍に乗用車Ｖが存在しない場合はステップＳＴ２４の処理を行うことなくステップＳＴ２５へ進む。
　ステップＳＴ２５では、各乗用車Ｖから受信した位置情報に基づいて、監視が必要とされる所定領域（不審箇所及び重点監視領域には限定されない）内に、一定時間内に乗用車Ｖが走行していない路線があるか否かを判断し、そのような路線があった場合において、その路線を走行する乗用車Ｖがあるか否かを監視する。そして、直近にその路線を走行する乗用車Ｖが存在すれば、ステップＳＴ２６へ進み、その乗用車Ｖに対して画像情報の送信指令を出力する。これにより、不審箇所や重点監視領域以外の区域であって乗用車Ｖの通行量が少ない路線の画像情報を自動的に取得することができる。なお、ステップＳＴ２５の条件を満足する路線がない場合はステップＳＴ２６の処理を行うことなく図３ＢのステップＳＴ１１へ戻る。
　次に、補正位置情報を求める処理を中央監視装置２０において行う場合の処理を図４Ａ～図４Ｄに基づいて説明する。図３Ａ～図３Ｃの処理と共通する部分については、重複した説明を避けるため説明を省略し、先述した説明を援用する。
　図４Ａに示すように、監視端末装置１０においては、車載カメラ１１から周囲の映像と室内の映像を取得し、画像情報に変換する（ステップＳＴ１）。次に、位置検出装置１５に当該監視端末装置１０が搭載された乗用車Ｖの現在位置情報を検出させ、この検出時において現在位置の検出精度が所定値以上であるか否かを判断する（ステップＳＴ２）。現在位置の位置情報の検出精度が所定評価値以上であると評価された場合にはステップＳＴ３へ進み、図３ＡのステップＳＴ３以降と同じ処理を行う。他方、現在位置の位置情報の検出精度が所定評価値未満であると評価された場合にはステップＳＴ５－１へ進む。
　ステップＳＴ５－１において、監視端末装置１０は、位置検出装置１５の位置検出精度が所定の評価値未満である旨を中央監視装置２０へ通報する。続いてステップＳＴ５－２において、乗用車Ｖの操舵角情報、速度などの操作情報と、画像情報と、現在位置の検出精度が所定値未満と判断されたタイミングの直前のルーチンにおいて検出された位置情報を同じく中央監視装置２０へ送出する。なお、ステップＳＴ－１、ＳＴ－２における情報の送出は同時に行ってもよい。
　中央監視装置２０は、監視端末装置１０から取得した位置情報の検出精度が低い（検出不能の場合を含む）旨の通報に呼応して、ステップＳＴ－１、ＳＴ－２において中央監視装置２０へ送出された情報に基づいて補正位置情報を求める。そして、続くステップＳＴ５－３において、監視端末装置１０は、中央監視装置２０により算出された補正位置情報を取得する。この補正位置情報は、ステップＳＴ２において精度が低い又は検出不能であった位置位置情報に置換される。ステップＳＴ５－１～ＳＴ５－３を経た後、ステップＳＴ３以降の処理を行う。ステップＳ３以降の処理の内容は、図３Ａにおいて説明した処理の内容と共通する。
　続いて、中央監視装置２０の処理を図４Ｂ～図４Ｄに基づいて説明する。図４Ｂ、図４Ｃに示すＳＴ１１～ＳＴ１７、ＳＴ１８～ＳＴ２６の処理は、図３Ｂ、図３Ｃに示すＳＴ１１～ＳＴ１７、ＳＴ１８～ＳＴ２６のの処理と共通するので、これらの説明は援用して省略する。
　図４Ｄに示す処理は、中央監視装置２０が監視端末装置１０から位置情報の検出精度が所定評価値未満である旨の通報を受けた場合の処理である。中央監視装置２０は、ステップＳＴ３１において、位置情報の検出精度が所定評価値未満である旨の通報を受けた場合には、ステップＳＴ３２に進み、補正位置情報を算出する。補正位置情報の算出は、監視端末装置１０からの通報とともに又はその後に送信された（図４ＡのステップＳＴ５－２）、乗用車Ｖの操舵角情報、速度などの操作情報と、画像情報と、現在位置の検出精度が所定値未満と判断されたタイミングの直前のルーチンにおいて検出された位置情報に基づいて行われる。中央監視装置２０は、先述した算出方法を用いて補正位置情報を算出する。中央監視装置２０における補正位置情報の算出手法は、先に説明した監視端末装置１０における補正位置情報の算出手法と共通する。
　続くステップＳＴ３３において、中央監視装置２０側において算出された補正位置情報は、現在位置の検出精度が低い旨を通報した監視端末装置１０へ送信する。送信した補正位置情報は、図４ＡのステップＳＴ５－３において監視端末装置１０に取得される。その後、ステップＳＴ３４において、位置情報の検出精度が高ければ検出された位置情報を、位置情報の検出精度た低ければ補正位置情報は、画像情報、時刻情報などと対応づけて監視情報の一部として記憶・更新される。
　以上のとおり、本実施形態の監視システムは以下の効果を奏する。
（１）本例の監視システム１は、移動体Ｖの位置情報とその周囲の画像情報とを取得させるとともに、移動体Ｖの位置情報の検出精度が所定評価値未満である旨の評価を取得した場合には、地図上の位置情報と予め対応づけられた街並みの基準画像と、移動体側から取得した画像情報との比較結果に基づいて正確な補正位置情報を求めるので、移動体に搭載されたＧＰＳ（Global Positioning System）及びカメラを用いて任意の地点を監視する際に、高層ビルなどの影響によりＧＰＳの検出精度が低下して正確な位置情報を取得できない場合であっても、街並みの基準情報と実際に撮像された画像情報に基づいて位置情報を補正することができる。この結果、正確な位置情報に基づいて各地点を監視することができる。本発明では、補正位置情報の算出処理を、監視システム１を構成する監視端末装置１０又は中央監視装置２０のいずれでも行えるように構成できるので、処理負担を考慮しながら効率のよい監視システムを提供することができる。なお、補正位置情報の算出処理を、監視システム１を構成する監視端末装置１０又は中央監視装置２０のいずれで行っても、同様の作用を奏し、同様の効果を奏する。
（２）本例の監視システム１は、位置情報の精度が所定評価値未満であると判断される直前に位置検出装置１５により検出された位置情報に基づいて、監視端末装置１０の画像処理装置１２により生成された画像情報と比較する街並みの基準画像Ｚを選択する。位置検出装置１５の位置検出精度が低下する直前に検出された位置情報は、現在の乗用車Ｖの位置に近いと予測できることができる。このため、位置検出精度が低下する直線の位置情報と所定距離未満の位置情報が対応づけられた基準画像Ｚを選択し、比較する基準画像Ｚを絞り込むことによって、画像情報との比較処理の負荷を軽減させることができる。
（３）本例の監視システム１は、位置情報の精度が所定評価値未満であると評価される直前に位置検出装置１５により検出された位置情報と乗用車Ｖの操舵角や車速などの操作情報とに基づいて、監視端末装置１０の画像処理装置１２により生成された画像情報と比較する街並みの基準画像Ｚを選択する。位置検出装置１５の位置検出精度が低下する直前に検出された位置情報は、現在の乗用車Ｖの位置に近いと予測できることができることに加えて、乗用車Ｖの操舵角、車速などの操作情報によれば、位置検出精度が低下してから乗用車Ｖがどのように移動したか、つまり現在はどの地点を走行しているかを予測することができるので、予測される現在位置に基づいて基準画像Ｚを絞り込むことができ、画像情報との比較処理の負荷を軽減させることができる。
（４）本例の監視システム１は、位置情報の精度が所定評価値未満であると評価される直前に位置検出装置１５により検出された位置情報が含まれる道路情報を取得し、位置情報と道路情報とに基づいて、画像処理装置１２により生成された画像情報と比較する街並みの基準画像Ｚを選択する位置検出装置１５の位置検出精度が低下する直前に検出された位置情報は、現在の乗用車Ｖが走行する道路上にある可能性が高いと予測できることができるので、現在走行中の道路上の位置情報に基づいて基準画像Ｚを絞り込むことができ、画像情報との比較処理の負荷を軽減させることができる。
（５）本例の監視システム１は、現在が日中であると判断した場合には、日中に撮像された画像情報に基づいて作成された第１基準画像Ｚと監視端末装置１０側で生成された画像情報とを比較し、現在が日没後であると判断した場合には、日没後に撮像された画像情報に基づいて作成された第２基準画像Ｚと監視端末装置１０の画像生成機能により生成された画像情報とを比較する。このように、日中と日没後のそれぞれに街並みの様子を撮像した基準画像Ｚを準備したことにより、日中と日没後では街並みの見え方が異なる場合であっても、監視端末装置１０側で取得された画像情報と基準画像Ｚとの類似度を正確に求めることができる。
（６）本例の監視方法は、上記監視端末装置１０と中央監視装置２０とを備える監視システムと同様の作用及び効果を奏する。
　なお、上述した実施形態では、乗用車Ｖの位置情報と車載カメラ１１ａ～１１ｅからの画像情報を取得するようにしたが、図１に示す、街中に設置された固定カメラ１１ｆからの画像情報と組み合わせて取得してもよい。また、位置情報と画像情報を取得する乗用車Ｖは、図１に示すように予め決められた領域を走行するタクシーＶ１やバスを用いることが望ましいが、自家用乗用車Ｖ２や緊急乗用車Ｖ３を用いてもよい。
　また、上述した実施形態では、乗用車Ｖに５つの車載カメラを搭載し、このうち４つの車載カメラ１１ａ～１１ｄを用いて３６０°周囲の映像を画像情報として取得したが、室内の車載カメラ１１ｅを省略してもよい。また、交通量が多い監視領域のように多くの乗用車Ｖから画像情報が取得できる環境等であれば特に、４つの車載カメラ１１ａ～１１ｄを３つ以下にしてもよい。
　上記乗用車Ｖは本発明に係る移動体に相当し、上記位置検出装置１５は本発明に係る位置検出手段に相当し、上記車載カメラ１１及び画像処理装置１２は本発明に係る画像生成手段に相当し、上記車載制御装置１４は本発明に係る監視情報生成手段、位置情報補正手段に相当し、上記車載制御装置１４のＣＰＵは本発明に係る時刻検出手段に相当し、上記通報ボタン１６は本発明に係る指令入力手段に相当し、上記通信装置１３は本発明に係る指令受付手段及び出力手段に相当する。上記中央制御装置２１は、情報取得手段と、位置情報補正手段に相当し、データベース２６はデータベースに相当し、上記通信装置２３、入力装置２５は本発明に係る情報取得手段、異常情報受付手段及び指令出力手段に相当し、上記ディスプレイ２４は本発明に係る表示手段に相当する。
１…車両監視システム
　１０…監視端末装置
　　１１，１１ａ～１１ｅ…車載カメラ
　　１１ｆ…街中固定カメラ
　　１２…画像処理装置
　　１３…通信装置
　　１４…車載制御装置
　　１５…位置検出装置
　　１６…通報ボタン
　２０…中央監視装置
　　２１…中央制御装置
　　２２…画像処理装置
　　２３…通信装置
　　２４…ディスプレイ
　　２５…入力装置
　３０…電気通信回線網
Ｖ，Ｖ１，Ｖ２，Ｖ３…移動体
Ｍ…投影モデル
Ｓ，Ｓａ，Ｓｂ、Ｓｃ、Ｓｄ…投影面
Ｒ１～Ｒ８…視点

Claims (7)

  1. 　中央監視装置に対して、無線通信を介して監視情報を出力する監視端末装置を備える監視システムであって、
    　前記監視端末装置は、
    　複数の移動体のそれぞれの位置情報を検出する位置検出手段と、
    　前記複数の移動体のそれぞれに装着されたカメラで当該移動体の周囲を撮像して画像情報を生成する画像生成手段と、
    　前記取得された位置情報及び画像情報を含む監視情報を生成する監視情報生成手段と、
    　前記位置検出手段による前記位置情報の検出精度が所定評価値未満であると評価された場合には、地図上の位置情報と予め対応づけられた街並みの基準画像と、前記画像生成手段により生成された画像情報とを比較し、前記画像情報との類似度が所定値以上の前記基準画像に対応づけられた位置情報を、補正された補正位置情報として求める位置情報補正手段と、
    　前記位置情報補正手段により前記補正位置情報が求められた場合には、当該補正位置情報を位置情報として前記監視情報に含めて前記中央監視装置へ送出する出力手段と、を備えることを特徴とする監視システム。
  2. 　複数の移動体のそれぞれの位置情報を検出する位置検出手段と、前記複数の移動体のそれぞれに装着され、当該移動体の周囲を撮像して画像情報を生成する画像生成手段と、前記取得された位置情報及び画像情報を含む監視情報を生成する監視情報生成手段と、を備える監視端末装置から無線通信を介して監視情報を取得する中央監視装置を備える監視システムであって、
    　前記中央監視装置は、
    　前記監視端末装置から出力された位置情報及び画像情報を含む監視情報を取得する情報取得手段と、
    　前記情報取得手段が、前記監視端末装置側から前記位置情報の検出精度が所定評価値未満である旨の評価を取得した場合には、地図上の位置情報と予め対応づけられた街並みの基準画像と、前記監視端末装置側から取得した前記画像生成手段により生成された画像情報とを比較し、前記画像情報との類似度が所定値以上の前記基準画像に対応づけられた位置情報を、補正された補正位置情報として求める位置情報補正手段と、
    　前記位置情報補正手段により前記補正位置情報が求められた場合には、当該補正位置情報を、前記監視端末装置の位置情報として出力する出力手段と、を備えることを特徴とする監視システム。
  3. 　前記位置情報補正手段は、前記位置情報の精度が所定評価値未満であると判断される直前に前記位置検出手段により検出された位置情報に基づいて、前記監視端末装置の前記画像生成手段により生成された画像情報と比較する前記街並みの基準画像を選択することを特徴とする請求項１又は２に記載の監視システム。
  4. 　前記位置情報補正手段は、前記監視端末装置の前記位置検出手段において前記位置情報の精度が所定評価値未満であると評価される直前に当該位置検出手段により検出された位置情報と当該位置情報が検出された後の前記移動体の操作情報とに基づいて、前記監視端末装置の前記画像生成手段により生成された画像情報と比較する前記街並みの基準画像を選択することを特徴とする請求項１又は２に記載の監視システム。
  5. 　前記位置情報補正手段は、前記監視端末装置の前記位置検出手段において前記位置情報の精度が所定評価値未満であると評価される直前に当該位置検出手段により検出された位置情報が含まれる道路情報を取得し、前記位置情報と前記道路情報とに基づいて、前記画像生成手段により生成された画像情報と比較する前記街並みの基準画像を選択することを特徴とする請求項１～４の何れか一項に記載の監視システム。
  6. 　前記街並みの基準画像は、日中に撮像された画像に基づいて生成された第１基準画像と、日没後に撮像された画像に基づいて生成された第２基準画像とを含み、
    　前記位置情報補正手段は、現在が日中であると判断した場合には、前記第１基準画像と前記画像生成手段により生成された画像情報とを比較し、現在が日没後であると判断した場合には、前記第２基準画像と前記画像生成手段により生成された画像情報とを比較することを特徴とする請求項１～５の何れか一項に記載の監視システム。
  7. 　複数の移動体のそれぞれの位置情報と前記移動体周囲の画像情報とを取得するステップと、
    　前記位置情報を検出する際に、当該位置情報の検出精度が所定評価値未満である旨の評価を取得した場合には、地図上の位置情報と予め対応づけられた街並みの基準画像と、前記監視端末装置側から取得した前記画像生成手段により生成された画像情報とを比較するステップと、
    　前記比較結果に基づいて補正された補正位置情報を求めるステップと、
    　前記補正位置情報が求められた場合には、当該補正位置情報を位置情報として前記移動体周囲の画像情報と対応づけて、前記移動体周囲の監視情報として当該移動体周囲を監視する監視者に向けて出力するステップと、を有する監視方法。
PCT/JP2013/053271 2012-03-12 2013-02-12 監視システム及び監視方法 WO2013136894A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-054318 2012-03-12
JP2012054318 2012-03-12

Publications (1)

Publication Number Publication Date
WO2013136894A1 true WO2013136894A1 (ja) 2013-09-19

Family

ID=49160813

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/053271 WO2013136894A1 (ja) 2012-03-12 2013-02-12 監視システム及び監視方法

Country Status (1)

Country Link
WO (1) WO2013136894A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006350520A (ja) * 2005-06-14 2006-12-28 Auto Network Gijutsu Kenkyusho:Kk 周辺情報収集システム
JP2009169540A (ja) * 2008-01-11 2009-07-30 Toyota Infotechnology Center Co Ltd 監視システム及びセキュリティ管理システム
JP2010146443A (ja) * 2008-12-22 2010-07-01 Honda Motor Co Ltd 車載カメラ制御システム
JP2011214961A (ja) * 2010-03-31 2011-10-27 Aisin Aw Co Ltd 基準パターン情報生成装置、方法、プログラムおよび一般車両位置特定装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006350520A (ja) * 2005-06-14 2006-12-28 Auto Network Gijutsu Kenkyusho:Kk 周辺情報収集システム
JP2009169540A (ja) * 2008-01-11 2009-07-30 Toyota Infotechnology Center Co Ltd 監視システム及びセキュリティ管理システム
JP2010146443A (ja) * 2008-12-22 2010-07-01 Honda Motor Co Ltd 車載カメラ制御システム
JP2011214961A (ja) * 2010-03-31 2011-10-27 Aisin Aw Co Ltd 基準パターン情報生成装置、方法、プログラムおよび一般車両位置特定装置

Similar Documents

Publication Publication Date Title
JP5786963B2 (ja) 監視システム
JP6486744B2 (ja) 地域監視サーバ、提供端末及びそのシステム
JP6451840B2 (ja) 情報提示システム
JP5890294B2 (ja) 映像処理システム
JPWO2004106858A1 (ja) ステレオカメラシステム及びステレオ光学モジュール
KR101287190B1 (ko) 영상감시장치의 촬영 위치 자동 추적 방법
US10225525B2 (en) Information processing device, storage medium, and control method
JP5811190B2 (ja) 監視システム
US10937319B2 (en) Information provision system, server, and mobile terminal
WO2012137367A1 (ja) 画像蓄積システム
WO2013111494A1 (ja) 監視システム
KR101563702B1 (ko) Gis 기반의 cctv 관제 시스템 및 그 화면 표시방법
KR20130055814A (ko) 시시티브이 카메라를 이용한 주차 지원 시스템 및 주차 지원 방법
KR20190050113A (ko) 이동 물체 자동 추적 영상 감시 시스템
JP5790788B2 (ja) 監視システム
WO2013111479A1 (ja) 監視システム
KR101780929B1 (ko) 움직이는 물체를 추적하는 영상감시 시스템
WO2013161345A1 (ja) 監視システム及び監視方法
WO2013111491A1 (ja) 監視システム
WO2013111492A1 (ja) 監視システム
WO2013111493A1 (ja) 監視システム
WO2013136894A1 (ja) 監視システム及び監視方法
US11070714B2 (en) Information processing apparatus and information processing method
JP5796638B2 (ja) 監視システム
WO2013125301A1 (ja) 監視システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13761370

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13761370

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP