WO2013111491A1 - 監視システム - Google Patents

監視システム Download PDF

Info

Publication number
WO2013111491A1
WO2013111491A1 PCT/JP2012/083463 JP2012083463W WO2013111491A1 WO 2013111491 A1 WO2013111491 A1 WO 2013111491A1 JP 2012083463 W JP2012083463 W JP 2012083463W WO 2013111491 A1 WO2013111491 A1 WO 2013111491A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
image
vehicle
monitoring
image information
Prior art date
Application number
PCT/JP2012/083463
Other languages
English (en)
French (fr)
Inventor
真史 安原
秋彦 香西
照久 高野
Original Assignee
日産自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日産自動車株式会社 filed Critical 日産自動車株式会社
Publication of WO2013111491A1 publication Critical patent/WO2013111491A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/20—Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
    • G08G1/205—Indicating the location of the monitored vehicles as destination, e.g. accidents, stolen, rental
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a monitoring system.
  • a security device that detects the occurrence of abnormalities is known by installing multiple security camera devices in shopping streets, store entrances, home entrances, and other streets, and monitoring surrounding images captured by the security camera device (Patent Document 1).
  • An object of the present invention is to provide a monitoring system capable of transmitting a wide range of monitoring information with little overlap.
  • the present invention attaches a camera to a plurality of moving bodies, acquires position information of the moving body and image information captured by the camera at a predetermined timing, and combines the image information from the plurality of moving bodies to obtain an image of a predetermined area.
  • the above objective is achieved by generating information.
  • image information from a camera attached to a plurality of moving bodies that travel at random and position information of the moving body are acquired, and image information from the plurality of moving bodies is obtained according to a target imaging region. Since they are combined, it is possible to transmit monitoring information including image information with a wide range and little overlap.
  • FIG. 1 is a schematic diagram showing a monitoring system according to an embodiment of the present invention. It is a block diagram which shows the monitoring system of FIG. It is a flowchart which shows the main control content by the monitoring terminal device side of the monitoring system of FIG. It is a flowchart which shows the main control content by the central monitoring apparatus side of the monitoring system of FIG. It is a perspective view which shows the imaging range of the camera in the monitoring system of FIG. It is a top view which shows the example of arrangement
  • the monitoring system is embodied as a monitoring system 1 that centrally monitors the security of a city by authorities such as a police station and a fire station. That is, the position information of each of the plurality of moving objects, the image information around the moving objects, and the time information are acquired at a predetermined timing, and the position information, the image information, and the time information are acquired via wireless communication. The position information is displayed on the map information and, if necessary, the image information and the time information are displayed on the display. Therefore, the monitoring system 1 of this example inputs and processes the monitoring information via the telecommunications network 30 and the monitoring terminal device 10 that acquires monitoring information such as position information and image information as shown in FIG. Central monitoring device 20 is provided.
  • FIG. 2 is a block diagram illustrating a specific configuration of the monitoring terminal device 10 and the central monitoring device 20.
  • the monitoring system 1 of this example regards the plurality of moving bodies as one moving body when the plurality of moving bodies are traveling in a row including parallel traveling and parallel traveling, and is acquired by the plurality of moving bodies.
  • Image information obtained by a single moving object can be combined to provide a wide range of image information such as a panoramic image, and one of the overlapping image information can be stopped by transmission. Therefore, it is possible to provide image information with no waste and an appropriate amount of transmission data.
  • the monitoring terminal device 10 is a terminal device mounted on a plurality of moving bodies V, and is mounted on each of the plurality of moving bodies and a position detection function that detects position information of each of the plurality of moving bodies V.
  • An image generation function that captures an image of the periphery of the moving body to generate image information, a time detection function, an information acquisition control function that acquires position information, image information, and time information at a predetermined timing, and the position information and image It has a communication function for outputting information and time information to the central monitoring device 20 and receiving a command from the central monitoring device 20, and a function for reporting the occurrence of an abnormality.
  • a plurality of in-vehicle cameras 11a to 11e, an image processing device 12, a communication device 13, an in-vehicle control device 14, a position detection device 15, and a notification button 16 are provided.
  • the time information is mainly information used for post-event analysis, and may be omitted.
  • the mobile body V on which the monitoring terminal device 10 is mounted is not particularly limited as long as it travels in the target monitoring area, and includes mobile bodies such as automobiles, motorcycles, industrial vehicles, and trams.
  • the vehicle V2 and the emergency vehicle V3 are included, and in particular, a taxi or a route bus V1 that travels randomly and constantly in a predetermined area is particularly preferable.
  • FIG. 1 illustrates an emergency vehicle V3 such as a taxi V1, a private vehicle V2, a police car, a fire engine or an ambulance, but these are collectively referred to as a moving body V or a passenger vehicle V.
  • Each moving body V includes a plurality of in-vehicle cameras 11a to 11e (hereinafter collectively referred to as cameras 11), an image processing device 12, a communication device 13, an in-vehicle control device 14, a position detection device 15, and a notification button 16.
  • the camera 11 is composed of a CCD camera or the like, images the surroundings of the moving object V, and outputs the image pickup signal to the image processing device 12.
  • the image processing device 12 reads an imaging signal from the camera 11 and performs image processing on the image information. Details of this image processing will be described later.
  • the position detection device 15 is composed of a GPS device and its correction device, etc., detects the current position of the moving object V, and outputs it to the in-vehicle control device 14.
  • the notification button 16 is an input button installed in the passenger compartment, and is a manual button that is input when a driver or a passenger finds an incident (an incident related to security such as an accident, fire, or crime).
  • the in-vehicle control device 14 includes a CPU, a ROM, and a RAM, and controls the image processing device 12, the communication device 13, and the position detection device 15 when the notification button 16 is pressed, and is generated by the image processing device 12.
  • the image information, the position information of the moving object V detected by the position detection device 15, and the time information from the clock built in the CPU are output to the central monitoring device 20 via the communication device 13 and the telecommunication network 30. . Further, it receives an information acquisition command from the central monitoring device 20 received via the telecommunications network 30 and the communication device 13, controls the image processing device 12, the communication device 13 and the position detection device 15, and controls the image processing device 12.
  • the central monitoring device through the communication device 13 and the telecommunications network 30 includes the image information generated in step S1, the position information of the moving body V detected by the position detection device 15, and the time information from the clock built in the CPU. 20 output. Details of these controls will also be described later.
  • the communication device 13 is a communication means capable of wireless communication, and exchanges information with the communication device 23 of the central monitoring device 20 via the telecommunication network 30.
  • the telecommunications network 30 is a commercial telephone network, a mobile phone communication device can be used widely, and when the telecommunications network 30 is a dedicated telecommunications network for the monitoring system 1 of this example, it is dedicated to it.
  • the communication devices 13 and 23 can be used.
  • a wireless LAN, WiFi (registered trademark), WiMAX (registered trademark), Bluetooth (registered trademark), a dedicated wireless line, or the like can be used.
  • the central monitoring device 20 displays the information input function for inputting the position information and image information output from the monitoring terminal device 10 and the map information from the map database, and displays the received position information on the map information.
  • the central control device 21 includes a CPU, a ROM, and a RAM, and controls the image processing device 22, the communication device 23, and the display 24, and receives position information, image information, and time information transmitted from the monitoring terminal device 10.
  • the image is displayed on the display 24 after being subjected to image processing as necessary.
  • the image processing device 24 has a map database, displays map information from the map database on the display 24, and displays position information detected by the position detection device 15 of the monitoring terminal device 10 on the map information. . Further, image processing for displaying image information captured by the vehicle-mounted camera 11 of the monitoring terminal device 10 and processed by the image processing device 12 on the display 24 is performed.
  • the display 24 can be composed of, for example, a liquid crystal display device having a size capable of displaying two window screens on one screen or two liquid crystal display devices each displaying two window screens.
  • One window screen displays a screen in which the position information of each moving object V is superimposed on the map information (see FIG. 1), and the other window screen displays an image captured by the in-vehicle camera 11. Such image information is displayed.
  • the input device 25 is composed of a keyboard or a mouse, and is used when outputting an information acquisition command to a desired moving body V or inputting a processing command for various information displayed on the display 24.
  • the communication device 23 is a communication means capable of wireless communication, and exchanges information with the communication device 13 of the monitoring terminal device 10 via the telecommunication network 30.
  • the telecommunications network 30 is a commercial telephone network, a mobile phone communication device can be used widely, and when the telecommunications network 30 is a dedicated telecommunications network for the monitoring system 1 of this example, it is dedicated to it.
  • the communication devices 13 and 23 can be used.
  • the monitoring terminal device 10 of this example has a function of detecting whether another moving body is traveling around the own vehicle and stopping the transmission of duplicate image information. That is, a plurality of mobile objects traveling in parallel or traveling in parallel may image the same region, and such image information is redundant and useless, so either one is transmitted and the other transmission is stopped. As a result, useless image information is eliminated, so that the amount of transmitted data and the amount of stored data can be reduced.
  • the central monitoring device 20 of this example detects whether or not the moving body is running in a row, regards the plurality of moving bodies that are running in a row as one moving body, and images from the one moving body. It has a function to synthesize information. That is, when a plurality of moving bodies are running in parallel, the field of view of the front area is blocked by the preceding moving body, and the field of view of the rear area is blocked by the following moving body. Further, when traveling in parallel, the left field of view is blocked by the left moving body, and the right field of view is blocked by the right moving body.
  • the image information of the area blocked by the other moving body is used as the image information acquired by the other moving body, Combining a plurality of pieces of image information acquired by each of the plurality of moving bodies.
  • One panoramic image is synthesized.
  • a specific example of image composition will be described later.
  • the rear camera 11c that captures the rear view of the preceding vehicle is blocked by the own vehicle Va, so that transmission of image information acquired by the rear camera 11c is stopped. Instead, the rear view image information acquired by the rear camera 11c of the following vehicle Vc is used.
  • the front camera 11a that captures the front field of view of the subsequent vehicle Vc is blocked by the own vehicle Va, so that the image information acquired by the front camera 11a stops transmitting. Instead, the image information of the front view acquired by the front camera 11a of the preceding vehicle Vb is used.
  • a camera that stops transmitting image information is marked with a cross in FIG. 13A.
  • the three moving bodies traveling in tandem on the road of one lane are regarded as one moving body
  • the front view is the front camera 11a of the preceding vehicle Vb
  • the rear view is the following.
  • the left field of view is the left camera 11b of the three mobile bodies Va, Vb, Vc
  • the right field of view is the image information acquired by the right camera 11d of the three mobile bodies Va, Vb, Vc. .
  • one image information obtained by imaging a wide range for the left and right field of view is obtained, and transmission of image information that becomes a blind spot or overlaps in the front-rear direction is stopped.
  • FIG. 13B is a diagram illustrating another example of stopping transmission of image information and synthesizing a panoramic image, where Va is the own vehicle, Vb is a preceding vehicle of the own vehicle Va, Vc is a succeeding vehicle of the own vehicle Va, This shows the case where the vehicle is running in parallel on the left side of a two-lane road. Further, Vd, Ve, and Vf are parallel vehicles and indicate a case where the vehicle is traveling in parallel in the adjacent right lane. In such a case, six vehicles, ie, the own vehicle Va, the preceding vehicle Vb, and the following vehicle Vc that are traveling in parallel, and the parallel vehicles Vd, Ve, and Vf that are traveling in parallel to the own vehicle Va are combined.
  • the front view is the front camera 11a of the preceding vehicle Vb and the front camera 11a of the parallel running vehicle Vd
  • the rear view is the rear camera 11c of the following vehicle and the rear camera 11c of the parallel running vehicle Vf
  • the left side view is 3
  • the left camera 11b of the mobile bodies Va, Vb, Vc on the right side and the right field of view synthesize image information acquired by the right camera 11d of the three mobile bodies Vd, Ve, Vf.
  • the right field of view of the own vehicle Va, the preceding vehicle Vb, and the following vehicle Vc is blocked by the parallel vehicles Ve, Vd, and Vf, respectively, and the left field of view of the parallel vehicles Ve, Vd, and Vf is the own vehicle Va and the preceding vehicle. Since it is blocked by Vb and the following vehicle Vc, transmission of the image information acquired by the left and right cameras 11b and 11d marked with a cross in FIG. 13B is stopped. As a result, one image information obtained by imaging a wide range for the front-rear view and the left-right view is obtained, and transmission of image information that becomes a blind spot or overlaps in the center lane direction is stopped.
  • the parallel running time is short, so it is desirable to apply it when the parallel running time is somewhat long, such as when there is a traffic jam.
  • the mounting positions and imaging ranges of the in-vehicle cameras 11a to 11e will be described.
  • a passenger car V will be described as an example of the moving body V.
  • the cameras 11a to 11e are configured using an image sensor such as a CCD, and the four on-vehicle cameras 11a to 11d are installed at different positions outside the passenger car V, respectively, and shoot four directions around the vehicle.
  • the in-vehicle camera 11 a installed at a predetermined position in front of the passenger car V such as a front grill portion is an object or road surface (in the area SP1 in front of the passenger car V and in the space in front thereof)
  • the in-vehicle camera 11b installed at a predetermined position on the left side of the passenger car V such as the left side mirror portion is an object or road surface (left side view) that exists in the area SP2 on the left side of the passenger car V and in the surrounding space.
  • the in-vehicle camera 11c installed at a predetermined position in the rear part of the passenger car V, such as a rear finisher part or a roof spoiler part, is an object or road surface (rear view) existing in the area SP3 behind the passenger car V and in the space behind it.
  • the in-vehicle camera 11d installed at a predetermined position on the right side of the passenger car V such as the right side mirror portion is an object or road surface (right side view) that exists in the area SP4 on the right side of the passenger car V and in the surrounding space.
  • one in-vehicle camera 11e is installed, for example, on the ceiling of the passenger car interior, and images the indoor area SP5 as shown in FIG. Used for crime prevention or crime reporting.
  • the in-vehicle camera 11b is installed on the left side of the in-vehicle camera 11a, and the left side of the in-vehicle camera 11b.
  • the vehicle-mounted camera 11c is installed on the left side of the vehicle-mounted camera 11c, and the vehicle-mounted camera 11a is installed on the left side of the vehicle-mounted camera 11d.
  • the in-vehicle camera 11d is installed on the right side of the in-vehicle camera 11a.
  • the vehicle-mounted camera 11c is installed on the right side
  • the vehicle-mounted camera 11b is installed on the right side of the vehicle-mounted camera 11c
  • the vehicle-mounted camera 11a is installed on the right side of the vehicle-mounted camera 11b.
  • FIG. 7A shows an example of an image GSP1 in which the front in-vehicle camera 11a images the area SP1
  • FIG. 7B shows an example of the image GSP2 in which the left in-vehicle camera 11b images the area SP2
  • FIG. 7D shows an example of an image GSP3 in which the area SP3 is imaged
  • FIG. 7D shows an example of an image GSP4 in which the right-side in-vehicle camera 11d images the area SP4
  • FIG. 7E shows an indoor in-vehicle camera 11e.
  • the size of each image is vertical 480 pixels ⁇ horizontal 640 pixels.
  • the image size is not particularly limited, and may be any size as long as a general terminal device can reproduce a moving image.
  • the number and position of the in-vehicle camera 11 can be appropriately determined according to the size, shape, detection area setting method, etc. of the passenger car V.
  • the plurality of in-vehicle cameras 11 described above are assigned identifiers corresponding to the respective arrangements, and the in-vehicle control device 14 can identify each of the in-vehicle cameras 11 based on each identifier.
  • the vehicle-mounted control apparatus 14 can send an imaging command and other commands to a specific vehicle-mounted camera 11 by attaching an identifier to the command signal.
  • the in-vehicle control device 14 controls the image processing device 12 to acquire each image signal picked up by the in-vehicle camera 11, and the image processing device 12 processes the image pickup signal from each in-vehicle camera 11 to perform FIG. 7E is converted into image information.
  • the in-vehicle controller 14 generates monitoring image information based on the four pieces of image information shown in FIGS. 7A to 7D (monitoring image generation function), and sets the monitoring image information on the side of the projection model of the columnar body.
  • the mapping information to be projected onto the projected plane is associated with the monitoring image information (mapping information adding function) and output to the central monitoring device 20.
  • the monitoring image generation function and the mapping information addition function will be described in detail.
  • the monitoring image information is generated based on the four pieces of image information obtained by imaging the periphery of the passenger car V, and the process of associating the mapping information with this is performed by the monitoring terminal device 10 as in this example, and the central monitoring device 20 You can also run In this case, four pieces of image information obtained by imaging the periphery of the passenger car V are transmitted as they are from the monitoring terminal device 10 to the central monitoring device 20, and are monitored by the image processing device 22 and the central control device 21 of the central monitoring device 20. Image information may be generated and mapping information may be associated to perform projection conversion.
  • the in-vehicle control device 14 of the monitoring terminal device 10 of the present embodiment controls the image processing device 12 to acquire the imaging signals of the in-vehicle cameras 11a to 11e, respectively, and further clockwise or along the outer periphery of the body of the passenger car V
  • One monitoring image is generated so that the image information of the in-vehicle cameras 11a to 11d installed in the counterclockwise direction is arranged in the order of installation of these in-vehicle cameras 11a to 11d.
  • the four in-vehicle cameras 11a to 11d are installed in the order of the cameras 11a, 11b, 11c, and 11d in the counterclockwise direction (counterclockwise) along the outer periphery VE of the body of the passenger car V. Therefore, the vehicle-mounted control device 14 integrates the four images captured by the vehicle-mounted cameras 11a to 11d in accordance with the order of installation of the vehicle-mounted cameras 11a to 11d (vehicle-mounted cameras 11a ⁇ 11b ⁇ 11c ⁇ 11d). Are connected in the horizontal direction to generate a single monitoring image. In the monitoring image of the present embodiment, the images are arranged such that the ground contact surface (road surface) of the passenger vehicle V is the lower side, and the images are connected to each other at sides in the height direction (vertical direction) with respect to the road surface.
  • FIG. 8 is a diagram illustrating an example of the monitoring image K.
  • the monitoring image K of the present embodiment includes a captured image GSP1 in which the front in-vehicle camera 11a images the area SP1 along the direction P from the left side to the right side in the drawing, and the left in-vehicle camera 11b.
  • a captured image GSP2 obtained by imaging the area SP2 a captured image GSP3 obtained by the rear vehicle-mounted camera 11c imaging the area SP3, and a captured image GSP4 obtained by the right-side vehicle-mounted camera 11d imaging the area SP4 are arranged in this order in the horizontal direction. These four images are arranged as a series of images.
  • the monitor image K generated in this way is displayed in order from the left end to the right side with the image corresponding to the road surface (vehicle contact surface) facing down, so that the monitor can rotate the periphery of the vehicle V counterclockwise. It can be visually recognized on the display 24 in a manner similar to the look around.
  • the monitoring image K generated from the respective captured images having substantially the same imaging timing of the camera is stored with time, and the moving image monitoring image K including the plurality of monitoring images K per predetermined unit time is generated. It may be. By generating the moving image monitoring image K based on the images having the same imaging timing, it is possible to accurately represent changes in the situation around the vehicle.
  • the conventional central monitoring device 20 has a disadvantage in that it cannot simultaneously watch images (moving images) in a plurality of directions and cannot monitor the entire vehicle periphery on a single screen.
  • the vehicle-mounted control apparatus 14 of this embodiment produces
  • the monitoring terminal device 10 of the present embodiment generates the monitoring image K by compressing the data amount of the image so that the number of pixels of the monitoring image K is substantially the same as the number of pixels of the images of the in-vehicle cameras 11a to 11d.
  • the size of each image shown in FIGS. 7A to 7D is 480 ⁇ 640 pixels
  • compression processing is performed so that the size of the monitoring image K is 1280 ⁇ 240 pixels as shown in FIG. Do.
  • image processing and image reproduction can be performed.
  • the in-vehicle control device 14 of the present embodiment can also attach a line figure indicating the boundary of each arranged image to the monitoring image K.
  • the in-vehicle controller 14 forms a rectangular partition image Bb, Bc, Bd, Ba, Ba ′ between the images as a line figure indicating the boundary between the arranged images. Can be attached to the monitoring image K.
  • the partition image functions as a frame of each captured image.
  • the image distortion is large in the vicinity of the boundary of each captured image, it is possible to hide the image of the region with large distortion or to suggest that the distortion is large by arranging the partition image at the boundary of the captured image. .
  • the vehicle-mounted control apparatus 14 of this embodiment can also generate
  • image distortion is likely to occur.
  • the distortion of the captured image tends to be large, so in order to correct the image distortion in advance. It is desirable to correct the distortion of the captured image using the defined image conversion algorithm and correction amount.
  • the in-vehicle control device 14 reads out information of the same projection model as the projection model for projecting the monitoring image K in the central monitoring device 20 from the ROM, and images it on the projection plane of the projection model. It is also possible to project an image and correct in advance distortion generated on the projection surface.
  • the image conversion algorithm and the correction amount can be appropriately defined according to the characteristics of the in-vehicle camera 11 and the shape of the projection model. In this way, by correcting in advance the distortion when the image K is projected with respect to the projection plane of the projection model, it is possible to provide the monitoring image K with good visibility with less distortion. Further, by correcting the distortion in advance, it is possible to reduce the positional deviation between the images arranged side by side.
  • the mapping information addition function will be described.
  • the in-vehicle control device 14 projects the generated monitoring image K on the projection plane set on the side surface of the projection model M of the columnar body with the ground contact surface of the passenger car V as the bottom surface.
  • a process for associating the mapping information for monitoring with the monitoring image K is executed.
  • the mapping information is information for allowing the central monitoring device 20 that has received the monitoring image K to easily recognize the projection reference position.
  • FIG. 10 is a diagram illustrating an example of the projection model M of the present embodiment
  • FIG. 11 is a schematic cross-sectional view along the xy plane of the projection model M illustrated in FIG.
  • the projection model M of this embodiment is a regular octagonal prism body having a regular octagonal bottom surface and a height along the vertical direction (z-axis direction in the figure).
  • the shape of the projection model M is not particularly limited as long as it is a column having side surfaces adjacent to each other along the boundary of the bottom surface, and is a cylinder, or a prism, such as a triangular column, a quadrangular column, or a hexagonal column, or An anti-rectangular column having a polygonal bottom surface and a triangular side surface can also be used.
  • the bottom surface of the projection model M of this embodiment is parallel to the ground contact surface of the passenger car V.
  • Projection surfaces Sa, Sb, Sc, and Sd (hereinafter collectively referred to as a projection surface S) that project an image around the passenger vehicle V that contacts the bottom surface of the projection model M are provided on the inner surface of the side surface of the projection model M. Is set.
  • the projection surface S includes a part of the projection surface Sa and a part of the projection surface Sb, a part of the projection surface Sb and a part of the projection surface Sc, a part of the projection surface Sc and a part of the projection surface Sd, and the projection surface Sd. And a part of the projection surface Sa.
  • the monitoring image K is projected on the projection plane S as an image of the passenger car V viewed from above the viewpoint R (R1 to R8, hereinafter referred to as viewpoint R) above the projection model M surrounding the passenger car V.
  • the in-vehicle control device 14 associates the reference coordinates of the captured image arranged at the right end or the left end with the monitoring image K as mapping information.
  • the in-vehicle control device 14 is arranged at the right end as mapping information (reference coordinates) indicating the start end position or the end position of the monitoring image K when projected onto the projection model M.
  • mapping information reference coordinates
  • the coordinates A (x, y) of the upper left vertex of the captured image GSP1 and the coordinates B (x, y) of the upper right vertex of the captured image GSP2 arranged at the left end are attached to the monitoring image K.
  • the reference coordinates of the captured image indicating the start position or the end position are not particularly limited, and may be the lower left vertex of the monitoring image K arranged at the left end or the lower right vertex of the monitoring image K arranged at the right end.
  • the mapping information may be attached to each pixel of the image data of the monitoring image K, or may be managed as a file different from the monitoring image K.
  • the information indicating the start position or the end position of the monitoring image K that is, the reference coordinates used as a reference in the projection processing is associated with the monitoring image K as mapping information, whereby the central monitoring apparatus 20 that has received the monitoring image K Since the reference position at the time of the projection process can be easily recognized, the monitoring images K arranged in the order in which the in-vehicle cameras 11a to 11d are arranged are projected sequentially and easily on the projection surface S on the side surface of the projection model M. be able to. That is, as shown in FIG.
  • the captured image GSP1 in front of the vehicle is projected onto the projection surface Sa positioned in the imaging direction of the in-vehicle camera 11a, and the captured image on the right side of the vehicle is projected onto the projection surface Sb positioned in the imaging direction of the in-vehicle camera 11b.
  • GSP2 is projected, a captured image GSP3 behind the vehicle is projected onto a projection plane Sc located in the imaging direction of the in-vehicle camera 11c, and a captured image GSP4 on the left side of the vehicle is projected onto the projection plane Sd positioned in the imaging direction of the in-vehicle camera 11d. can do.
  • the monitoring image K projected on the projection model M can show an image that can be seen as if looking around the passenger car V. That is, since the monitoring image K including four images arranged in a line in the horizontal direction according to the installation order of the in-vehicle cameras 11a to 11d is projected on the side surfaces that are also arranged in the horizontal direction in the column of the projection model M. An image around the passenger car V can be reproduced in the monitoring image K projected on the projection surface S of the projection model M of the columnar body while maintaining the positional relationship.
  • the in-vehicle control device 14 of the present embodiment stores the correspondence relationship between each coordinate value of the monitoring image K and the coordinate value of each projection plane S of the projection model M as mapping information, and attaches it to the monitoring image K.
  • it may be stored in the central monitoring device 20 in advance.
  • the positions of the viewpoint R and the projection plane S shown in FIGS. 10 and 11 are examples, and can be arbitrarily set.
  • the viewpoint R can be changed by the operation of the operator.
  • the relationship between the viewpoint R and the projection position of the monitoring image K is defined in advance, and when the position of the viewpoint R is changed, a predetermined coordinate transformation is performed, so that the viewpoint R is viewed from the newly set viewpoint R.
  • the monitoring image K can be projected onto the projection surface S (Sa to Sd). A known method can be used for this viewpoint conversion processing.
  • the in-vehicle control device 14 generates the monitoring image K based on the image information captured at a predetermined timing, and the monitoring image K includes a line figure (mapping information, reference coordinates, and boundary). (Partition image) information is associated and stored over time according to the imaging timing.
  • the in-vehicle control device 14 may store the monitoring image K as a single moving image file including a plurality of monitoring images K per predetermined unit time, or can be transferred / reproduced by a streaming method.
  • the monitoring image K may be stored in
  • the communication device 23 of the central monitoring device 20 receives the monitoring image K transmitted from the monitoring terminal device 10 and the mapping information associated with the monitoring image K.
  • photographed with the indoor vehicle-mounted camera 11e is received separately.
  • this monitoring image K images of the four in-vehicle cameras 11 installed at different positions of the body of the passenger car V are installed along the outer periphery of the body of the passenger car V along the clockwise or counterclockwise direction.
  • the vehicle-mounted cameras 11a to 11d are arranged according to the installation order (clockwise or counterclockwise order along the outer periphery of the body of the vehicle V).
  • the monitoring image K is associated with mapping information for projecting the monitoring image K onto the projection plane S of the octagonal prism projection model M.
  • the communication device 23 sends the acquired monitoring image K and mapping information to the image processing device 22.
  • the display 24 displays the monitoring image K projected on the projection plane S of the projection model M.
  • FIG. 12 shows an example of a display image of the monitoring image K.
  • the input device 25 such as a mouse or a keyboard or the display 24 as the touch panel type input device 25
  • the viewpoint can be freely set and changed by the operation of the supervisor. Since the correspondence relationship between the viewpoint position and the projection plane S is defined in advance in the image processing device 22 or the display 24 described above, the monitoring image K corresponding to the changed viewpoint is displayed on the display 24 based on this correspondence relationship. can do.
  • FIG. 3 is a flowchart showing the operation on the monitoring terminal device 10 side
  • FIG. 4 is a flowchart showing the operation on the central monitoring device 20 side. Note that the operations shown in FIG. 3 and FIG. 4 are processes indicating a case where the vehicle is traveling in a row, and the description of the details of the normal operation is omitted.
  • the surrounding video and the indoor video are acquired from the in-vehicle camera 11 at a predetermined time interval (one routine shown in FIG. 3), and image information is obtained by the image processing device 12. Conversion is performed (step ST1). Further, the current position information of the passenger car V on which the monitoring terminal device 10 is mounted is detected from the position detection device 15 (step ST2).
  • step ST3 whether or not a preceding vehicle Vb exists in front of the own vehicle Va based on image information acquired by the cameras 11a to 11d of the own vehicle (or position information of other moving bodies by the central monitoring device 20). If the preceding vehicle Vb exists, the process proceeds to step ST4, and the transmission of the image information of the front camera 11a acquired in step ST1 is stopped. If no preceding vehicle Vb exists in step ST3, the process proceeds to step ST5.
  • step ST5 based on the image information acquired by the cameras 11a to 11d of the own vehicle (or the position information of other moving bodies by the central monitoring device 20), whether or not the succeeding vehicle Vc exists behind the own vehicle Va. If the following vehicle Vc exists, the process proceeds to step ST6, and the transmission of the image information of the rear camera 11c acquired in step ST1 is stopped. When the succeeding vehicle Vc does not exist in step ST5, the process proceeds to step ST7.
  • step ST9 whether or not the parallel running vehicle Ve exists on the right side of the host vehicle Va based on the image information acquired by the cameras 11a to 11d of the host vehicle (or the position information of other moving bodies by the central monitoring device 20). If there is a parallel vehicle Ve, the process proceeds to step ST10, and the transmission of the image information of the right camera 11d acquired in step ST1 is stopped. If there is no parallel running vehicle Ve in step ST9, the process proceeds to step ST11.
  • step ST11 whether or not oncoming vehicles Vh exist on the left and right of the host vehicle Va based on image information acquired by the cameras 11a to 11d of the host vehicle (or position information of other moving bodies by the central monitoring device 20). If the oncoming vehicle Vh exists, the process proceeds to step ST12, and the transmission of the image information of the camera that captures the oncoming vehicle side (right camera 11b in the example of FIG. 13C) acquired in step ST1 is stopped. If there is no oncoming vehicle Vh in step ST11, the process proceeds to step ST12. In addition, when detecting an oncoming vehicle in step ST11, it is good also considering the traveling speed of the said oncoming vehicle below a predetermined threshold value (low speed like traffic jam).
  • the central monitoring device 20 acquires position information from all the passenger cars equipped with the monitoring terminal device 10 as shown in FIG. 4 (step ST21). If the communication load is not high, the image information may be acquired at this timing.
  • step ST23 based on the position information acquired in step ST21, it is determined whether or not the plurality of passenger vehicles V are in a platooning operation including the tandem traveling and the parallel traveling shown in FIGS. 13A to 13C. If the vehicle is traveling in a row, image information and time information are received from the monitoring terminal device 10 of the row vehicle in step ST24, and one piece of image information such as a panoramic image is generated based on the time information.
  • step ST25 the combined single panorama image information is displayed on the display 24, and the color is changed so that the passenger car constituting the panorama image information can be distinguished from other passenger cars as shown in the upper left of FIG. Etc., highlighting on the map. Thereby, the position where the panoramic image is generated can be visually recognized on the map information, and a wide range of images can be grasped on the display 24.
  • step ST26 all position information, image information and time information received from the monitoring terminal device 10 are recorded on the recording medium. This record is used to resolve these after an accident or crime. If there is no platooning in step ST23, the process returns to step ST1 without performing the processes of steps ST24 to ST26.
  • the monitoring system of the present embodiment has the following effects. (1) Since the monitoring system 1 of this example attaches the vehicle-mounted camera 11 to a plurality of passenger vehicles V, images the surroundings with the vehicle-mounted camera, and detects the position information of the passenger vehicle V with the position detection device 15, the fixed camera Compared with, it is possible to monitor a wide range with a small number of in-vehicle cameras. Further, since the plurality of passenger cars V travel at random, the number of blind spots can be reduced with a small number of in-vehicle cameras as compared with the fixed cameras. In addition, since the camera is mounted on the passenger car V, it is less likely to be destroyed for the purpose of monitoring prevention compared to a fixed camera. Moreover, since a wide range can be monitored, it is possible to reduce the patrol work of the supervisor.
  • the central monitoring device 20 of the present example displays the position information received from the monitoring terminal device on the map information on the display 24, the central monitoring device 20 grasps the arrangement of the passenger car V capable of detecting information. Can do. As a result, it is possible to grasp the distribution of the area from which image information can be acquired, and to contribute to the monitoring plan of the supervisor. Moreover, since the image information received from the monitoring terminal device 10 is displayed on the display 24 as necessary, the monitor can view the video of the desired position at the place where the central monitoring device 20 is installed without going to the site. Can be confirmed.
  • the monitoring system 1 of the present example detects the preceding vehicle Vb, the succeeding vehicle Vc, the parallel running vehicle Ve, and the oncoming vehicle Vh around the own vehicle Va, a plurality of moving bodies including them are regarded as one moving body. Since one piece of panoramic image information is generated and displayed, it is possible to provide a wide range of image information.
  • the central monitoring device 20 of this example generates a single panoramic image information by regarding the plurality of preceding vehicles Vb, the following vehicle Vc, the parallel running vehicle Ve, and the oncoming vehicle Vh including the host vehicle Va as one moving body. Then, the display 24 highlights the display of the corresponding vehicle Va, preceding vehicle Vb, succeeding vehicle Vc, parallel running vehicle Ve, and oncoming vehicle Vh. We can expect incident response.
  • the position information of the passenger car V and the image information from the in-vehicle cameras 11a to 11e are acquired.
  • the image information from the fixed camera 11f installed in the city shown in FIG. May be obtained.
  • the passenger car V which acquires positional information and image information it is desirable to use the taxi V1 and bus
  • the number of the four on-vehicle cameras 11a to 11d may be three or less, particularly in an environment where image information can be acquired from many passenger cars V, such as a monitoring area where there is a large amount of traffic.
  • the passenger car V corresponds to a moving body according to the present invention
  • the position detection device 15 corresponds to a position detection means according to the present invention
  • the in-vehicle camera 11 and the image processing device 12 include an image generation means, a movement according to the present invention.
  • the vehicle-mounted control device 14 corresponds to an information acquisition control unit and a transmission control unit according to the present invention
  • the CPU of the vehicle-mounted control device 14 corresponds to a time detection unit according to the present invention.
  • the device 23 corresponds to information input means according to the present invention
  • the display 24 corresponds to first display control means and second display control means according to the present invention
  • the central control device 21 corresponds to platooning detection means.
  • the image processing device 22 corresponds to an image composition unit according to the present invention.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

　監視情報を取得する監視端末装置１０と、電気通信回線網３０を介して前記監視情報を入力する中央監視装置２０と、を備える監視システム１であって、前記監視端末装置は、複数の移動体Ｖのそれぞれの位置情報を検出する位置検出手段１５と、前記複数の移動体のそれぞれに装着され、当該移動体の周囲を撮像して画像情報を生成する画像生成手段１１，１２と、前記他の移動体が検出された場合に、当該他の移動体により撮像可能な領域を撮像する自車の画像情報の送信を停止する送信制御手段２１と、を備え、前記中央監視装置は、前記監視端末装置から出力された位置情報及び画像情報を入力する情報入力手段２３と、前記複数の移動体が隊列走行している場合に、これら複数の移動体を一つの移動体とみなして当該複数の移動体で取得された複数の画像情報を合成し、前記一つの移動体の画像情報を生成する画像合成手段２２と、を備える。

Description

監視システム
　本発明は、監視システムに関するものである。
　商店街、店舗の出入り口、家庭の玄関その他の街中に複数の防犯カメラ装置を設置し、当該防犯カメラ装置により撮像された周囲の映像を監視することで、異常の発生を検出する防犯装置が知られている（特許文献１）。
特開２０１１－２１５７６７号公報
　しかしながら、街中に設置した防犯カメラ装置で広い範囲をカバーしようとすると多数の防犯カメラ装置を設置しなければならず、多数の防犯カメラを設置すると撮影画像が重複して無駄が生じるという問題がある。
　本発明は、広範囲で且つ重複の少ない監視情報を送信できる監視システムを提供することを目的とする。
　本発明は、複数の移動体にカメラを装着し、所定のタイミングで移動体の位置情報とカメラで撮像した画像情報とを取得し、複数の移動体からの画像情報を組み合わせて所定領域の画像情報を生成することによって、上記目的を達成する。
　本発明によれば、ランダムに走行する複数の移動体に装着したカメラからの画像情報と移動体の位置情報とを取得し、目的とする撮影領域に応じて複数の移動体からの画像情報を組み合わせるので、広範囲で且つ重複の少ない画像情報を含む監視情報を送信することができる。
本発明の一実施の形態に係る監視システムを示す模式図である。 図１の監視システムを示すブロック図である。 図１の監視システムの監視端末装置側の主たる制御内容を示すフローチャートである。 図１の監視システムの中央監視装置側の主たる制御内容を示すフローチャートである。 図１の監視システムにおけるカメラの撮像範囲を示す斜視図である。 図１の監視システムにおけるカメラの配置例を示す平面図である。 フロントの車載カメラの撮影画像の一例を示す図である。 右サイドの車載カメラの撮影画像の一例を示す図である。 リアの車載カメラの撮影画像の一例を示す図である。 左サイドの車載カメラの撮影画像の一例を示す図である。 室内の車載カメラの撮影画像の一例を示す図である。 複数の画像に基づいて生成された監視画像の一例を示す図である。 監視画像の歪み補正処理を説明するための図である。 投影モデルの一例を示す模式図である。 図１０に示す投影モデルのｘｙ面に沿う断面模式図である。 中央監視装置のディスプレイに表示される画像例を示す図である。 隊列走行中の画像情報の送信制御の一例を説明する平面図である。 隊列走行中の画像情報の送信制御の他の例を説明する平面図である。 隊列走行中の画像情報の送信制御のさらに他の例を説明する平面図である。
　以下に示す一実施の形態は、本発明に係る監視システムを、街中の治安を警察署や消防署などの当局にて集中監視する監視システム１に具体化したものである。すなわち、複数の移動体のそれぞれの位置情報と、当該移動体の周囲の画像情報と、時刻情報とを所定のタイミングで取得し、これら位置情報と画像情報と時刻情報とを、無線通信を介して、当局に設置された中央監視装置へ送信し、これら位置情報を地図情報上に表示するとともに必要に応じて画像情報と時刻情報とをディスプレイに表示するものである。そのため、本例の監視システム１は、図１に示すように位置情報及び画像情報などの監視情報を取得する監視端末装置１０と、電気通信回線網３０を介して監視情報を入力して処理する中央監視装置２０とを備える。図２は、監視端末装置１０及び中央監視装置２０の具体的構成を示すブロック図である。
　特に本例の監視システム１は、複数の移動体が縦列走行や並列走行を含む隊列走行をしている場合にはこれら複数の移動体を一つの移動体とみなし、これら複数の移動体により取得される画像情報を一つの移動体により取得されたものとして合成することで、パノラマ画像のような広範囲の画像情報が提供でき、しかも互いに重複する画像情報のうちの一方は送信を停止することで、無駄がなく且つ送信データ量が適正化された画像情報を提供できるものである。
　監視端末装置１０は、複数の移動体Ｖに搭載される端末装置であって、これら複数の移動体Ｖのそれぞれの位置情報を検出する位置検出機能と、複数の移動体のそれぞれに装着され、当該移動体の周囲を撮像して画像情報を生成する画像生成機能と、時刻検出機能と、所定のタイミングで位置情報、画像情報及び時刻情報を取得する情報取得制御機能と、これら位置情報、画像情報及び時刻情報を中央監視装置２０へ出力するとともに中央監視装置２０からの指令を受け付ける通信機能と、異常の発生を通報する機能とを有する。そのため、複数の車載カメラ１１ａ～１１ｅ、画像処理装置１２、通信装置１３、車載制御装置１４、位置検出装置１５及び通報ボタン１６を備える。なお、時刻情報は主として事象の事後解析に供される情報であるため省略してもよい。
　監視端末装置１０が搭載される移動体Ｖは、目的とする監視領域を走行するものであれば特に限定されず、自動車、二輪車、産業車両、路面電車などの移動体を含み、自動車には自家用自動車Ｖ２や緊急自動車Ｖ３が含まれるが、なかでも特に予め決められた領域をランダム且つ常時走行するタクシーや路線バスＶ１などが好適に含まれる。図１には、タクシーＶ１、自家用自動車Ｖ２、パトカー、消防車又は救急車などの緊急自動車Ｖ３を例示するが、これらを総称する場合は移動体Ｖまたは乗用車Ｖという。
　それぞれの移動体Ｖには、複数の車載カメラ１１ａ～１１ｅ（以下、総称する場合はカメラ１１という。）、画像処理装置１２、通信装置１３、車載制御装置１４、位置検出装置１５及び通報ボタン１６が搭載されている。カメラ１１は、ＣＣＤカメラなどで構成され、移動体Ｖの周囲を撮像し、その撮像信号を画像処理装置１２へ出力する。画像処理装置１２は、カメラ１１からの撮像信号を読み出し、画像情報に画像処理する。この画像処理の詳細は後述する。
　位置検出装置１５は、ＧＰＳ装置及びその補正装置などで構成され、当該移動体Ｖの現在位置を検出し、車載制御装置１４へ出力する。通報ボタン１６は、車室内に設置された入力ボタンであって、運転手や同乗者がインシデント（事故、火事、犯罪など治安に関する出来事）を発見した際に入力する手動ボタンである。
　車載制御装置１４は、ＣＰＵ，ＲＯＭ，ＲＡＭにより構成され、通報ボタン１６が押されたときに、画像処理装置１２、通信装置１３及び位置検出装置１５を制御し、画像処理装置１２で生成された画像情報と、位置検出装置１５で検出された移動体Ｖの位置情報と、ＣＰＵが内蔵する時計からの時刻情報とを通信装置１３及び電気通信回線網３０を介して中央監視装置２０へ出力する。また、電気通信回線網３０及び通信装置１３を介して受信された中央監視装置２０からの情報取得指令を受け付け、画像処理装置１２、通信装置１３及び位置検出装置１５を制御し、画像処理装置１２で生成された画像情報と、位置検出装置１５で検出された移動体Ｖの位置情報と、ＣＰＵが内蔵する時計からの時刻情報とを通信装置１３及び電気通信回線網３０を介して中央監視装置２０へ出力する。これらの制御の詳細も後述する。
　通信装置１３は、無線通信が可能な通信手段であり、電気通信回線網３０を介して中央監視装置２０の通信装置２３と情報の授受を実行する。電気通信回線網３０が商用電話回線網である場合は携帯電話通信装置を汎用することができ、電気通信回線網３０が本例の監視システム１の専用電気通信回線網である場合は、それ専用の通信装置１３，２３を用いることができる。なお、電気通信回線網３０に代えて、無線ＬＡＮ、ＷｉＦｉ（登録商標）、ＷｉＭＡＸ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、専用無線回線などを用いることもできる。
　中央監視装置２０は、上述した監視端末装置１０から出力された位置情報及び画像情報を入力する情報入力機能と、地図データベースからの地図情報を表示するとともに、受信した位置情報を地図情報上に表示制御する表示制御機能と、受信した画像情報をディスプレイ２４に表示する表示制御機能と、を有する。そのため、中央制御装置２１、画像処理装置２２、通信装置２３、ディスプレイ２４及び入力装置２５を備える。
　中央制御装置２１は、ＣＰＵ，ＲＯＭ，ＲＡＭにより構成され、画像処理装置２２、通信装置２３及びディスプレイ２４を制御して、監視端末装置１０から送信された位置情報、画像情報及び時刻情報を受信し、必要に応じて画像処理を施したうえでディスプレイ２４に表示する。
　画像処理装置２４は、地図データベースを有し、当該地図データベースからの地図情報をディスプレイ２４に表示するとともに、監視端末装置１０の位置検出装置１５により検出された位置情報を当該地図情報上に表示する。また、監視端末装置１０の車載カメラ１１で撮像され、画像処理装置１２で処理された画像情報をディスプレイ２４に表示するための画像処理を施す。
　ディスプレイ２４は、たとえば一つの画面上に２つのウィンド画面が表示できる大きさの液晶表示装置又は２つのウィンド画面をそれぞれ表示する２つの液晶表示装置により構成することができる。そして、一方のウィンド画面には、地図情報上に各移動体Ｖの位置情報を重ね合わせた画面を表示し（図１参照）、他方のウィンド画面には、車載カメラ１１で撮像された映像に係る画像情報を表示する。
　入力装置２５は、キーボード又はマウスで構成され、所望の移動体Ｖに対して情報取得指令を出力したり、ディスプレイ２４に表示される各種情報の処理指令を入力したりする場合に用いられる。
　通信装置２３は、無線通信が可能な通信手段であり、電気通信回線網３０を介して監視端末装置１０の通信装置１３と情報の授受を実行する。電気通信回線網３０が商用電話回線網である場合は携帯電話通信装置を汎用することができ、電気通信回線網３０が本例の監視システム１の専用電気通信回線網である場合は、それ専用の通信装置１３，２３を用いることができる。
　本例の監視端末装置１０は、自車の周囲に他の移動体が走行しているか否かを検出して重複した画像情報の送信を停止する機能を有する。すなわち、縦列走行や並列走行している複数の移動体は同じ領域を撮像することがあり、こうした画像情報は重複して無駄であるため、いずれかを送信し他の送信を停止する。これにより、無駄な画像情報がなくなるので送信データ量や記憶データ量が削減できる。
　また、本例の中央監視装置２０は、移動体が隊列走行しているか否かを検出して、隊列走行している複数の移動体を一つの移動体とみなし、当該一つの移動体による画像情報を合成する機能を有する。すなわち、複数の移動体が縦列走行している場合には、先行する移動体によって前方領域の視界が遮られ、後続する移動体によって後方領域の視界が遮られる。また、並列走行している場合には、左側の移動体によって左側の視界が遮られ、右側の移動体によって右側の視界が遮られる。このように、自車の周囲に他の移動体が走行している場合には、当該他の移動体によって遮られる領域の画像情報を当該他の移動体によって取得された画像情報を利用し、これら複数の移動体のそれぞれにより取得された複数の画像情報を組み合わせて。一つのパノラマ画像を合成する。これにより、死角が生じることなく、広い範囲の画像情報を得ることができる。なお、画像合成の具体例については後述する。
　図１３Ａは、画像情報の送信停止及びパノラマ画像を合成する一例を示す図であり、Ｖａは自車、Ｖｂは自車Ｖａの先行車、Ｖｃは自車Ｖａの後続車であって、一車線の道路を縦列走行している場合を示す。この場合に、自車Ｖａの前方視界を撮像するフロントカメラ１１ａは先行車Ｖｂによって前方視界が遮られるので、当該フロントカメラ１１ａにより取得された画像情報はその送信を停止する。その代わりに、先行車Ｖｂのフロントカメラ１１ａにより取得された前方視界の画像情報を使用する。また、自車Ｖａの後方視界を撮像するリアカメラ１１ｃは後続車Ｖｃによって後方視界が遮られるので、当該リアカメラ１１ｃにより取得された画像情報はその送信を停止する。その代わりに、後続車Ｖｃのリアカメラ１１ｃにより取得された後方視界の画像情報を使用する。
　同様に、先行車Ｖｂについては、当該先行車の後方視界を撮像するリアカメラ１１ｃは自車Ｖａによって後方視界が遮られるので、当該リアカメラ１１ｃにより取得された画像情報はその送信を停止する。その代わりに、後続車Ｖｃのリアカメラ１１ｃにより取得された後方視界の画像情報を使用する。また、後続車Ｖｃについては、当該後続車Ｖｃの前方視界を撮像するフロントカメラ１１ａは自車Ｖａによって前方視界が遮られるので、当該フロントカメラ１１ａにより取得された画像情報はその送信を停止する。その代わりに、先行車Ｖｂのフロントカメラ１１ａにより取得された前方視界の画像情報を使用する。画像情報の送信を停止するカメラについては図１３Ａにバツ印を付す。
　このように、図１３Ａのように一車線の道路を縦列走行する３台の移動体については、これを一台の移動体とみなし、前方視界は先行車Ｖｂのフロントカメラ１１ａ、後方視界は後続車のリアカメラ１１ｃ、左側視界は３台の移動体Ｖａ，Ｖｂ，Ｖｃの左側カメラ１１ｂ、右側視界は３台の移動体Ｖａ，Ｖｂ，Ｖｃの右側カメラ１１ｄにより取得された画像情報を合成する。これにより、左右視界については広い範囲を撮像した一つの画像情報が得られ、また前後方向については死角となったり重複したりする画像情報の送信が停止されることになる。
　図１３Ｂは、画像情報の送信停止及びパノラマ画像を合成する他の例を示す図であり、Ｖａは自車、Ｖｂは自車Ｖａの先行車、Ｖｃは自車Ｖａの後続車であって、片側二車線の道路の左側を縦列走行している場合を示す。また、Ｖｄ，Ｖｅ，Ｖｆは並走車であって、隣の右側車線を並列走行している場合を示す。このような場合には、縦列走行している自車Ｖａ，先行車Ｖｂ及び後続車Ｖｃと、自車Ｖａに対して並列走行している並走車Ｖｄ，Ｖｅ，Ｖｆとの六台を一台の移動体とみなし、前方視界は先行車Ｖｂのフロントカメラ１１ａと並走車Ｖｄのフロントカメラ１１ａ、後方視界は後続車のリアカメラ１１ｃと並走車Ｖｆのリアカメラ１１ｃ、左側視界は３台の移動体Ｖａ，Ｖｂ，Ｖｃの左側カメラ１１ｂ、右側視界は３台の移動体Ｖｄ，Ｖｅ，Ｖｆの右側カメラ１１ｄにより取得された画像情報を合成する。
　この際に、自車Ｖａ、先行車Ｖｂ、後続車Ｖｃの右側視界は並走車Ｖｅ、Ｖｄ、Ｖｆによってそれぞれ遮られ、並走車Ｖｅ、Ｖｄ、Ｖｆの左側視界は自車Ｖａ、先行車Ｖｂ、後続車Ｖｃによってそれぞれ遮られるので、図１３Ｂにバツ印を付した左右のカメラ１１ｂ，１１ｄで取得される画像情報は送信を停止する。これにより、前後視界及び左右視界については広い範囲を撮像した一つの画像情報が得られ、また中央車線方向については死角となったり重複したりする画像情報の送信が停止されることになる。
　図１３Ｃは、画像情報の送信停止及びパノラマ画像を合成する他の例を示す図であり、Ｖａは自車、Ｖｂは自車Ｖａの先行車、Ｖｃは自車Ｖａの後続車であって、片側一車線の対向道路の左側を縦列走行している場合を示す。また、Ｖｇ，Ｖｈ，Ｖｉは対向車線を走行している対向車を示す。このような場合も、図１３Ｂの並走車の場合と同様に左右のカメラ１１ｂ，１１ｄは対向車によって互いに視界が遮られたり、左右のカメラ１１ｂ，１１ｄにより取得された画像情報が互いに重複したりするので一方の画像情報の送信を停止し、他方の移動体により取得された画像情報を利用する。なお、対向車の場合には並走する時間が短いので渋滞している場合など並走時間がある程度長い場合に適用することが望ましい。
　次に車載カメラ１１ａ～１１ｅの装着位置と撮像範囲について説明する。ここでは移動体Ｖとして乗用車Ｖを例に挙げて説明する。
　カメラ１１ａ～１１ｅはＣＣＤ等の撮像素子を用いて構成され、４つの車載カメラ１１ａ～１１ｄは乗用車Ｖの外部の異なる位置にそれぞれ設置され、車両周囲の４方向をそれぞれ撮影する。
　例えば、図５に示すように、フロントグリル部分などの乗用車Ｖの前方の所定位置に設置された車載カメラ１１ａは、乗用車Ｖの前方のエリアＳＰ１内及びその前方の空間に存在する物体又は路面（フロントビュー）を撮影する。また、左サイドミラー部分などの乗用車Ｖの左側方の所定位置に設置された車載カメラ１１ｂは、乗用車Ｖの左側方のエリアＳＰ２内及びその周囲の空間に存在する物体又は路面（左サイドビュー）を撮影する。また、リアフィニッシャー部分やルーフスポイラー部分などの乗用車Ｖの後方部分の所定位置に設置された車載カメラ１１ｃは、乗用車Ｖの後方のエリアＳＰ３内及びその後方の空間に存在する物体又は路面（リアビュー）を撮影する。また、右サイドミラー部分などの乗用車Ｖの右側方の所定位置に設置された車載カメラ１１ｄは、乗用車Ｖの右側方のエリアＳＰ４内及びその周囲の空間に存在する物体又は路面（右サイドビュー）を撮影する。なお、図５には図示を省略したが、１つの車載カメラ１１ｅは、乗用車の室内の例えば天井部に設置され、図６に示すように室内のエリアＳＰ５を撮像し、タクシーの無賃乗車や強盗などの犯罪防止又は犯罪通報に供される。
　図６は、各車載カメラ１１ａ～１１ｅの配置を乗用車Ｖの上空から見た図である。同図に示すように、エリアＳＰ１を撮像する車載カメラ１１ａ、エリアＳＰ２を撮像する車載カメラ１１ｂ、エリアＳＰ３を撮像する車載カメラ１１ｃ、エリアＳＰ４を撮像する車載カメラ１１ｄの４つは、乗用車Ｖのボディの外周ＶＥに沿って左回り（反時計回り）又は右回り（時計回り）に沿って設置されている。つまり、同図に矢印Ｃで示す左回り（反時計回り）に乗用車Ｖのボディの外周ＶＥに沿って見ると、車載カメラ１１ａの左隣りに車載カメラ１１ｂが設置され、車載カメラ１１ｂの左隣りに車載カメラ１１ｃが設置され、車載カメラ１１ｃの左隣りに車載カメラ１１ｄが設置され、車載カメラ１１ｄの左隣りに車載カメラ１１ａが設置されている。逆に同図に示す矢印Ｃの方向とは反対に（時計回り）に乗用車Ｖのボディの外周ＶＥに沿って見ると、車載カメラ１１ａの右隣りに車載カメラ１１ｄが設置され、車載カメラ１１ｄの右隣りに車載カメラ１１ｃが設置され、車載カメラ１１ｃの右隣りに車載カメラ１１ｂが設置され、車載カメラ１１ｂの右隣りに車載カメラ１１ａが設置されている。
　図７Ａは、フロントの車載カメラ１１ａがエリアＳＰ１を撮像した画像ＧＳＰ１の一例を示し、図７Ｂは、左サイドの車載カメラ１１ｂがエリアＳＰ２を撮像した画像ＧＳＰ２の一例を示し、図７Ｃは、リアの車載カメラ１１ｃがエリアＳＰ３を撮像した画像ＧＳＰ３の一例を示し、図７Ｄは、右サイドの車載カメラ１１ｄがエリアＳＰ４を撮像した画像ＧＳＰ４の一例を示し、図７Ｅは、室内の車載カメラ１１ｅが室内エリアＳＰ５を撮像した画像ＧＳＰ５の一例を示す画像図である。ちなみに、各画像のサイズは、縦４８０ピクセル×横６４０ピクセルである。画像サイズは特に限定されず、一般的な端末装置で動画再生が可能なサイズであればよい。
　なお、車載カメラ１１の配置数及び配置位置は、乗用車Ｖの大きさ、形状、検出領域の設定手法等に応じて適宜に決定することができる。上述した複数の車載カメラ１１は、それぞれの配置に応じた識別子が付されており、車載制御装置１４は、各識別子に基づいて各車載カメラ１１のそれぞれを識別することができる。また、車載制御装置１４は、指令信号に識別子を付することにより、特定の車載カメラ１１に撮像命令その他の命令を送出することができる。
　車載制御装置１４は、画像処理装置１２を制御して車載カメラ１１によって撮像された撮像信号をそれぞれ取得し、画像処理装置１２は、各車載カメラ１１からの撮像信号を処理して図７Ａ～図７Ｅに示す画像情報に変換する。そして、車載制御装置１４は、図７Ａ～図７Ｄに示す４つの画像情報に基づいて監視画像情報を生成するとともに（監視画像生成機能）、この監視画像情報を柱体の投影モデルの側面に設定された投影面に投影するためのマッピング情報を監視画像情報に対応づけ（マッピング情報付加機能）、中央監視装置２０へ出力する。以下、監視画像生成機能とマッピング情報付加機能について詳述する。
　なお、乗用車Ｖの周囲を撮像した４つの画像情報に基づいて監視画像情報を生成し、これにマッピング情報を関連付ける処理は、本例のように監視端末装置１０で実行するほか、中央監視装置２０で実行することもできる。この場合には、乗用車Ｖの周囲を撮像した４つの画像情報を監視端末装置１０から中央監視装置２０へそのまま送信し、これを中央監視装置２０の画像処理装置２２及び中央制御装置２１にて監視画像情報を生成するとともにマッピング情報を関連付け、投影変換すればよい。
　まず、監視画像生成機能について一台の乗用車Ｖにより取得された画像情報について説明する。本実施形態の監視端末装置１０の車載制御装置１４は、画像処理装置１２を制御して各車載カメラ１１ａ～１１ｅの撮像信号をそれぞれ取得し、さらに乗用車Ｖのボディの外周に沿って右回り又は左回りの方向に設置された車載カメラ１１ａ～１１ｄの画像情報がこれらの車載カメラ１１ａ～１１ｄの設置順に配置されるように、一枚の監視画像を生成する。
　上述したように、本実施形態において、４つの車載カメラ１１ａ～１１ｄは乗用車Ｖのボディの外周ＶＥに沿って左回り（反時計回り）にカメラ１１ａ、１１ｂ、１１ｃ、１１ｄの順に設置されているので、車載制御装置１４は、これらの車載カメラ１１ａ～１１ｄの設置の順序（車載カメラ１１ａ→１１ｂ→１１ｃ→１１ｄ）に従って、各車載カメラ１１ａ～１１ｄが撮像した４枚の画像が一体となるように水平方向に繋げ、一枚の監視画像を生成する。本実施形態の監視画像において、各画像は乗用車Ｖの接地面(路面)が下辺となるように配置され、各画像は路面に対して高さ方向（垂直方向）の辺で互いに接続される。
　図８は、監視画像Ｋの一例を示す図である。同図に示すように、本実施形態の監視画像Ｋは、図面左側から図面右側へ向かう方向Ｐに沿って、フロントの車載カメラ１１ａがエリアＳＰ１を撮像した撮像画像ＧＳＰ１、左サイドの車載カメラ１１ｂがエリアＳＰ２を撮像した撮像画像ＧＳＰ２、リアの車載カメラ１１ｃがエリアＳＰ３を撮像した撮像画像ＧＳＰ３、及び右サイドの車載カメラ１１ｄがエリアＳＰ４を撮像した撮像画像ＧＳＰ４が、水平方向にこの順序で並べて配置され、これら４つの画像が一連の画像とされている。このように生成された監視画像Ｋを、路面(車両の接地面)に対応する画像を下にして左端から右側へ順番に表示することにより、監視者は、車両Ｖの周囲を反時計回りに見回したのと同様にディスプレイ２４上で視認することができる。
　なお、一つの監視画像Ｋを生成する際には、各車載カメラ１１ａ～１１ｄの撮影タイミングを略同時にして取得した４つの画像が用いられる。これにより、監視画像Ｋに含まれる情報を同期させることができるので、所定タイミングにおける車両周囲の状況を正確に表現することができる。
　また、カメラの撮像タイミングが略同時である各撮像画像から生成した監視画像Ｋを経時的に記憶し、所定の単位時間あたりに複数の監視画像Ｋが含まれる動画の監視画像Ｋを生成するようにしてもよい。撮像タイミングが同時の画像に基づいて動画の監視画像Ｋを生成することにより、車両周囲の状況の変化を正確に表現することができる。
　ところで、各撮像領域の画像をそれぞれ経時的に記憶し、各撮像領域ごとに生成した動画の監視画像Ｋを中央監視装置２０へ送信した場合には、中央監視装置２０の機能によっては、複数の動画を同時に再生できない場合がある。このような従来の中央監視装置２０においては、複数の動画を同時に再生表示することができないため、各動画を再生する際には画面を切り替えて動画を一つずつ再生しなければならない。つまり、従来の中央監視装置２０では、複数方向の映像（動画）を同時に見ることができず、車両周囲の全体を一画面で監視することができないという不都合がある。
　これに対して本実施形態の車載制御装置１４は、複数の画像から一つの監視画像Ｋを生成するので、中央監視装置２０の機能にかかわらず、異なる撮像方向の画像を同時に動画再生することができる。つまり、監視画像Ｋを連続して再生（動画再生）することにより、監視画像Ｋに含まれる４枚の画像を同時に連続して再生（動画再生）し、方向の異なる領域の状態変化を一画面で監視することができる。
　また、本実施形態の監視端末装置１０は、監視画像Ｋの画素数が各車載カメラ１１ａ～１１ｄの画像の画素数と略同一になるように画像のデータ量を圧縮して監視画像Ｋを生成することもできる。図７Ａ～図７Ｄに示す各画像のサイズは４８０×６４０ピクセルであるのに対し、本実施形態では、図８に示すように監視画像Ｋのサイズが１２８０×２４０ピクセルとなるように圧縮処理を行う。これにより、監視画像Ｋのサイズ（１２８０×２４０＝３０７，２００ピクセル）が、各画像のサイズ（４８０×６４０×４枚＝３０７，２００ピクセル）と等しくなるので、監視画像Ｋを受信した中央監視装置２０側の機能にかかわらず、画像処理及び画像再生を行うことができる。
　さらに、本実施形態の車載制御装置１４は、配置された各画像の境界を示す線図形を、監視画像Ｋに付することもできる。図８に示す監視画像Ｋを例にすると、車載制御装置１４は、配置された各画像の境界を示す線図形として、各画像の間に矩形の仕切り画像Ｂｂ，Ｂｃ，Ｂｄ，Ｂａ，Ｂａ´を監視画像Ｋに付することができる。このように、４つの画像の境界に仕切り画像を配置することにより、一連にされた監視画像Ｋの中で、撮像方向が異なる各画像をそれぞれ別個に認識させることができる。つまり、仕切り画像は各撮像画像の額縁として機能する。また、各撮像画像の境界付近は画像の歪みが大きいので、撮像画像の境界に仕切り画像を配置することにより、歪みの大きい領域の画像を隠すことや、歪みが大きいことを示唆することができる。
　また、本実施形態の車載制御装置１４は、後述する投影モデルの側面に設定された投影面に４つの画像を投影させた場合の歪みを補正してから、監視画像Ｋを生成することもできる。撮影された画像の周辺領域は画像の歪みが生じやすく、特に広角レンズを用いた車載カメラ１１である場合には撮像画像の歪みが大きくなる傾向があるため、画像の歪みを補正するために予め定義された画像変換アルゴリズムと補正量とを用いて、撮像画像の歪みを補正することが望ましい。
　特に限定されないが、車載制御装置１４は、図９に示すように、中央監視装置２０において監視画像Ｋを投影させる投影モデルと同じ投影モデルの情報をＲＯＭから読み出し、この投影モデルの投影面に撮像画像を投影し、投影面において生じた歪みを予め補正することもできる。なお、画像変換アルゴリズムと補正量は車載カメラ１１の特性、投影モデルの形状に応じて適宜定義することができる。このように、投影モデルの投影面に関し画像Ｋを投影した場合の歪みを予め補正しておくことにより、歪みの少ない視認性の良い監視画像Ｋを提供することができる。また、歪みを予め補正しておくことにより、並べて配置された各画像同士の位置ズレを低減させることができる。
　次に、マッピング情報付加機能について説明する。本実施形態の監視端末装置１０において、車載制御装置１４は、乗用車Ｖの接地面を底面とする柱体の投影モデルＭの側面に設定された投影面に、生成された監視画像Ｋを投影するためのマッピング情報を監視画像Ｋに対応づける処理を実行する。マッピング情報は、監視画像Ｋを受信した中央監視装置２０に、容易に投影基準位置を認識させるための情報である。図１０は本実施形態の投影モデルＭの一例を示す図、図１１は図１０に示す投影モデルＭのｘｙ面に沿う断面模式図である。
　図１０，１１に示すように、本実施形態の投影モデルＭは、底面が正八角形で、鉛直方向（図中ｚ軸方向）に沿って高さを有する正八角柱体である。なお、投影モデルＭの形状は、底面の境界に沿って隣接する側面を有する柱体であれば特に限定されず、円柱体、若しくは三角柱体、四角柱体、六角柱体などの角柱体、又は底面が多角形で側面が三角形の反角柱体とすることもできる。
　また、同図に示すように、本実施形態の投影モデルＭの底面は乗用車Ｖの接地面と平行である。また、投影モデルＭの側面の内側面には、投影モデルＭの底面に接地する乗用車Ｖの周囲の映像を映し出す投影面Ｓａ，Ｓｂ，Ｓｃ，Ｓｄ（以下、投影面Ｓと総称する。）が設定されている。投影面Ｓは、投影面Ｓａの一部と投影面Ｓｂの一部、投影面Ｓｂの一部と投影面Ｓｃの一部、投影面Ｓｃの一部と投影面Ｓｄの一部、投影面Ｓｄの一部と投影面Ｓａの一部により構成することもできる。監視画像Ｋは、乗用車Ｖを取り囲む投影モデルＭの上方の視点Ｒ（Ｒ１～Ｒ８、以下、視点Ｒと総称する。）から乗用車Ｖを俯瞰した映像として投影面Ｓに投影される。
　本実施形態の車載制御装置１４は、右端又は左端に配置された撮像画像の基準座標を、マッピング情報として監視画像Ｋに対応づける。図８に示す監視画像Ｋを例にすると、車載制御装置１４は、投影モデルＭに投影される際の、監視画像Ｋの始端位置又は終端位置を示すマッピング情報（基準座標）として、右端に配置された撮像画像ＧＳＰ１の左上頂点の座標Ａ（ｘ、ｙ）と、左端に配置された撮像画像ＧＳＰ２の右上頂点の座標Ｂ（ｘ、ｙ）とを監視画像Ｋに付する。なお、始端位置又は終端位置を示す撮像画像の基準座標は特に限定されず、左端に配置された監視画像Ｋの左下頂点、又は右端に配置された監視画像Ｋの右下頂点としてもよい。またマッピング情報は、監視画像Ｋの画像データの各画素に付してもよいし、監視画像Ｋとは別のファイルとして管理してもよい。
　このように、監視画像Ｋの始端位置又は終端位置を示す情報、つまり投影処理において基準とする基準座標をマッピング情報として監視画像Ｋに対応づけることにより、監視画像Ｋを受信した中央監視装置２０が、容易に投影処理時における基準位置を認識することができるので、車載カメラ１１ａ～１１ｄの配置順に並べられた監視画像Ｋを、投影モデルＭの側面の投影面Ｓに容易且つ迅速に順次投影することができる。すなわち、図１１に示すように車載カメラ１１ａの撮像方向に位置する投影面Ｓａに車両前方の撮像画像ＧＳＰ１を投影し、車載カメラ１１ｂの撮像方向に位置する投影面Ｓｂに車両右側方の撮像画像ＧＳＰ２を投影し、車載カメラ１１ｃの撮像方向に位置する投影面Ｓｃに車両後方の撮像画像ＧＳＰ３を投影し、車載カメラ１１ｄの撮像方向に位置する投影面Ｓｄに車両左側方の撮像画像ＧＳＰ４を投影することができる。
　これにより、投影モデルＭに投影された監視画像Ｋは、あたかも乗用車Ｖの周囲を見回したときに見える映像を示すことができる。つまり、車載カメラ１１ａ～１１ｄの設置順序に応じて水平方向一列に配置された４つの画像を含む監視画像Ｋは、投影モデルＭの柱体において、同じく水平方向に並ぶ側面に投影されるので、柱体の投影モデルＭの投影面Ｓに投影された監視画像Ｋに、乗用車Ｖの周囲の映像をその位置関係を維持したまま再現することができる。
　なお、本実施形態の車載制御装置１４は、監視画像Ｋの各座標値と投影モデルＭの各投影面Ｓの座標値との対応関係をマッピング情報として記憶し、監視画像Ｋに付することができるが、中央監視装置２０に予め記憶させてもよい。
　また、図１０，１１に示す視点Ｒ、投影面Ｓの位置は例示であり、任意に設定することができる。特に、視点Ｒは、操作者の操作によって変更可能である。視点Ｒと監視画像Ｋの投影位置との関係は予め定義されており、視点Ｒの位置が変更された場合には所定の座標変換を実行することにより、新たに設定された視点Ｒから見た監視画像Ｋを投影面Ｓ（Ｓａ～Ｓｄ）に投影することができる。この視点変換処理には公知の手法を用いることができる。
　以上のように、本実施形態の車載制御装置１４は、所定タイミングで撮影された画像情報に基づいて監視画像Ｋを生成し、この監視画像Ｋにマッピング情報、基準座標、境界を示す線図形（仕切り画像）の情報を対応づけ、撮像タイミングに従って経時的に記憶する。特に限定されないが、車載制御装置１４は、所定の単位時間あたりに複数の監視画像Ｋを含む一つの動画ファイルとして監視画像Ｋを記憶してもよいし、ストリーミング方式で転送・再生が可能な形態で監視画像Ｋを記憶してもよい。
　一方、中央監視装置２０の通信装置２３は、監視端末装置１０から送信された監視画像Ｋとこの監視画像Ｋに対応づけられたマッピング情報を受信する。なお、室内の車載カメラ１１ｅにて撮影された画像情報は別途受信する。この監視画像Ｋは、上述したとおり乗用車Ｖのボディの異なる位置に設置された４つの車載カメラ１１の画像が、乗用車Ｖのボディの外周に沿って右回り又は左回りの方向に沿って設置された車載カメラ１１ａ～１１ｄの設置順序（車両Ｖのボディの外周に沿う右回り又は左回りの順序）に従って配置されたものである。また、この監視画像Ｋには、監視画像Ｋを八角柱体の投影モデルＭの投影面Ｓに投影させるためのマッピング情報が対応づけられている。通信装置２３は取得した監視画像Ｋ及びマッピング情報を画像処理装置２２へ送出する。
　画像処理装置２２は、予め記憶している投影モデルＭを読み出し、マッピング情報に基づいて、図１０及び図１１に示す乗用車Ｖの接地面を底面とする八角柱体の投影モデルＭの側面に設定された投影面Ｓａ～Ｓｄに監視画像Ｋを投影させた表示画像を生成する。具体的には、マッピング情報に従い、受信した監視画像Ｋの各画素を、投影面Ｓａ～Ｓｄの各画素に投影する。また、画像処理装置２２は、監視画像Ｋを投影モデルＭに投影する際に、監視画像Ｋと共に受信した基準座標に基づいて、監視画像Ｋの開始点(監視画像Ｋの右端又は左端)を認識し、この開始点が予め投影モデルＭ上に定義された開始点(投影面Ｓの右端又は左端)と合致するように投影処理を行う。また、画像処理装置２２は、監視画像Ｋを投影モデルＭに投影する際に、各画像の境界を示す線図形(仕切り画像)を投影モデルＭ上に配置する。仕切り画像は、予め投影モデルＭに付しておくこともでき、投影処理後に監視画像Ｋに付すこともできる。
　ディスプレイ２４は、投影モデルＭの投影面Ｓに投影した監視画像Ｋを表示する。図１２は、監視画像Ｋの表示画像の一例を示す。なお、マウスやキーボードなどの入力装置２５又はディスプレイ２４をタッチパネル式の入力装置２５とすることで、監視者の操作により視点を自在に設定・変更することができる。視点位置と投影面Ｓとの対応関係は上述の画像処理装置２２又はディスプレイ２４において予め定義されているので、この対応関係に基づいて、変更後の視点に応じた監視画像Ｋをディスプレイ２４に表示することができる。
　なお、図１３Ａ～図１３Ｃに示すように、複数の移動体を一つの移動体とみなし、これら複数の移動体により取得された複数の画像情報を組み合わせて一つの画像情報を合成する場合も上述した手法にて処理することができる。
　次に本実施形態に係る監視システム１の動作について説明する。図３は監視端末装置１０側の動作を示すフローチャート、図４は中央監視装置２０側の動作を示すフローチャートである。なお、図３及び図４に示す動作は、隊列走行している場合を示す処理であり、通常の動作の詳細については説明を省略する。
　図３に示すように、監視端末装置１０においては、所定の時間間隔（同図に示す１ルーチン）で車載カメラ１１から周囲の映像と室内の映像を取得し、画像処理装置１２によって画像情報に変換する（ステップＳＴ１）。また、位置検出装置１５から当該監視端末装置１０が搭載された乗用車Ｖの現在位置情報を検出する（ステップＳＴ２）。
　ステップＳＴ３では、自車のカメラ１１ａ～１１ｄにより取得された画像情報（又は中央監視装置２０による他の移動体の位置情報）に基づいて自車Ｖａの前方に先行車Ｖｂが存在するか否かを判断し、先行車Ｖｂが存在する場合はステップＳＴ４へ進み、ステップＳＴ１にて取得したフロントカメラ１１ａの画像情報の送信を停止する。ステップＳＴ３にて先行車Ｖｂが存在しない場合はステップＳＴ５へ進む。
　ステップＳＴ５では、自車のカメラ１１ａ～１１ｄにより取得された画像情報（又は中央監視装置２０による他の移動体の位置情報）に基づいて自車Ｖａの後方に後続車Ｖｃが存在するか否かを判断し、後続車Ｖｃが存在する場合はステップＳＴ６へ進み、ステップＳＴ１にて取得したリアカメラ１１ｃの画像情報の送信を停止する。ステップＳＴ５にて後続車Ｖｃが存在しない場合はステップＳＴ７へ進む。
　ステップＳＴ７では、自車のカメラ１１ａ～１１ｄにより取得された画像情報（又は中央監視装置２０による他の移動体の位置情報）に基づいて自車Ｖａの左側に並走車が存在するか否かを判断し、並走車が存在する場合はステップＳＴ８へ進み、ステップＳＴ１にて取得した左側カメラ１１ｂの画像情報の送信を停止する。ステップＳＴ７にて並走車が存在しない場合はステップＳＴ９へ進む。なお、図１３Ｂ、図１３Ｃに示す例では、自車Ｖａの左側に並走車が存在する場合を例示していないが、右側走行の法令国や片側複数車線の右側車線を走行している場合（図１３Ｂの並走車Ｖｅを自車として場合の自車Ｖａが該当する）などを例示することができる。
　ステップＳＴ９では、自車のカメラ１１ａ～１１ｄにより取得された画像情報（又は中央監視装置２０による他の移動体の位置情報）に基づいて自車Ｖａの右側に並走車Ｖｅが存在するか否かを判断し、並走車Ｖｅが存在する場合はステップＳＴ１０へ進み、ステップＳＴ１にて取得した右側カメラ１１ｄの画像情報の送信を停止する。ステップＳＴ９にて並走車Ｖｅが存在しない場合はステップＳＴ１１へ進む。
　ステップＳＴ１１では、自車のカメラ１１ａ～１１ｄにより取得された画像情報（又は中央監視装置２０による他の移動体の位置情報）に基づいて自車Ｖａの左右に対向車Ｖｈが存在するか否かを判断し、対向車Ｖｈが存在する場合はステップＳＴ１２へ進み、ステップＳＴ１にて取得した対向車側を撮像するカメラ（図１３Ｃの例では右側カメラ１１ｂ）の画像情報の送信を停止する。ステップＳＴ１１にて対向車Ｖｈが存在しない場合はステップＳＴ１２へ進む。なお、ステップＳＴ１１にて対向車を検出するにあたり当該対向車の走行速度を所定閾値以下（渋滞中のような低速度）としてもよい。
　ステップＳＴ１２では、ステップＳＴ３～１１の処理において送信が停止された画像情報を除く画像情報と、ステップＳＴ２で取得した位置情報と、ＣＰＵの時刻情報とを関連付け、これらを通信装置１３及び電気通信回線網３０を介して中央監視装置２０へ送信する。
　一方、中央監視装置２０においては、図４に示すように監視端末装置１０を搭載した乗用車全てから、位置情報を取得する（ステップＳＴ２１）。なお、通信負荷が高くなければこのタイミングで画像情報を取得してもよい。
　ステップＳＴ２２では、ステップＳＴ２１で取得した位置情報に基づいて乗用車Ｖを、ディスプレイ２４に表示された地図データベースの地図情報上に図１の左上に示すように表示する。乗用車Ｖの位置情報は、図３の１ルーチン毎の所定のタイミングにて取得され送信されるので、監視者は乗用車Ｖの現在位置をタイムリーに把握することができる。
　ステップＳＴ２３では、ステップＳＴ２１で取得した位置情報に基づいて、複数の乗用車Ｖが図１３Ａ～図１３Ｃに示す縦列走行や並列走行を含む隊列走行をしているか否かを判断する。隊列走行している場合は、ステップＳＴ２４にて隊列走行車の監視端末装置１０から画像情報および時刻情報を受信し、時刻情報に基づいてパノラマ画像のような一つの画像情報を生成する。また、ステップＳＴ２５では、合成された一つのパノラマ画像情報をディスプレイ２４に表示するとともに、図１左上に示すように、パノラマ画像情報を構成した乗用車を他の乗用車と識別できるように色彩を変更するなど、地図上において強調表示を行う。これにより、パノラマ画像が生成された位置を地図情報上で視認することができるとともに、広い範囲の画像をディスプレイ２４にて把握することができる。
　次のステップＳＴ２６では、監視端末装置１０から受信した全ての位置情報、画像情報および時刻情報を記録媒体へ記録する。この記録は、事故や犯罪の発生後においてこれらを解決する際に用いられる。なお、ステップＳＴ２３にて隊列走行がない場合はステップＳＴ２４～ＳＴ２６の処理を行うことなくステップＳＴ１へ戻る。
　以上のとおり、本実施形態の監視システムは以下の効果を奏する。
（１）本例の監視システム１は、複数の乗用車Ｖに車載カメラ１１を装着し、当該車載カメラで周囲を撮像するとともに、乗用車Ｖの位置情報を位置検出装置１５で検出するので、固定カメラに比べて少数の車載カメラで広い範囲を監視することができる。また、複数の乗用車Ｖはランダムに走行するので、固定カメラに比べて少数の車載カメラで死角を少なくすることができる。また、乗用車Ｖに搭載されたカメラであるため、固定カメラに比べて、監視阻止を目的に破壊される可能性が少ない。また、広い範囲を監視できるので監視者の巡回作業を低減することができる。
（２）本例の監視システム１は、位置情報及び画像情報に加えて時刻情報も取得するので、事故や犯罪の事後解析を行う際に、時刻情報に沿って位置情報と画像情報を整理することができ、事件解決への寄与が期待できる。
（３）本例の中央監視装置２０は、監視端末装置から受信した位置情報をディスプレイ２４の地図情報上に表示するので、情報検出可能な乗用車Ｖの配置を中央監視装置２０にて把握することができる。その結果、画像情報が取得できる領域の分布が把握でき、監視者の配備計画への寄与が期待できる。また、必要に応じて監視端末装置１０から受信した画像情報をディスプレイ２４に表示するので、監視者は、現場に出動することなく、希望する位置の映像を中央監視装置２０が設置された場所で確認することができる。
（３‐２）本例の監視システム１は、自車Ｖａの周囲に先行車Ｖｂ、後続車Ｖｃ、並走車Ｖｅ、対向車Ｖｈを検出したら、自車Ｖａのカメラ１１で取得される重複画像情報の送信を停止するので、無駄な画像情報の送信処理が防止される。その結果、通信速度の高速化、処理時間の短縮、記憶容量の低減を図ることができる。
（４）本例の監視システム１は、自車Ｖａの周囲に先行車Ｖｂ、後続車Ｖｃ、並走車Ｖｅ、対向車Ｖｈを検出したら、それらを含む複数の移動体を一つの移動体とみなして一つのパノラマ画像情報を生成して表示するので、広い範囲の画像情報を提供することができる。
（５）本例の中央監視装置２０は、自車Ｖａを含む複数の先行車Ｖｂ、後続車Ｖｃ、並走車Ｖｅ、対向車Ｖｈを一つの移動体とみなして一つのパノラマ画像情報を生成したら、ディスプレイ２４において該当する自車Ｖａ、先行車Ｖｂ、後続車Ｖｃ、並走車Ｖｅ、対向車Ｖｈの表示を強調表示するので、位置と映像とを即座に確認することができ、迅速な事件対応が期待できる。
　なお、上述した実施形態では、乗用車Ｖの位置情報と車載カメラ１１ａ～１１ｅからの画像情報を取得するようにしたが、図１に示す、街中に設置された固定カメラ１１ｆからの画像情報と組み合わせて取得してもよい。また、位置情報と画像情報を取得する乗用車Ｖは、図１に示すように予め決められた領域を走行するタクシーＶ１やバスを用いることが望ましいが、自家用自動車Ｖ２や緊急自動車Ｖ３を用いてもよい。
　また、上述した実施形態では、乗用車Ｖに５つのカメラを搭載し、このうち４つの車載カメラ１１ａ～１１ｄを用いて３６０°周囲の映像を画像情報として取得したが、室内の車載カメラ１１ｅを省略してもよい。また、交通量が多い監視領域のように多くの乗用車Ｖから画像情報が取得できる環境等であれば特に、４つの車載カメラ１１ａ～１１ｄを３つ以下にしてもよい。
　上記乗用車Ｖは本発明に係る移動体に相当し、上記位置検出装置１５は本発明に係る位置検出手段に相当し、上記車載カメラ１１及び画像処理装置１２は本発明に係る画像生成手段、移動体検出手段に相当し、上記車載制御装置１４は本発明に係る情報取得制御手段、送信制御手段に相当し、上記車載制御装置１４のＣＰＵは本発明に係る時刻検出手段に相当し、上記通信装置２３は本発明に係る情報入力手段に相当し、上記ディスプレイ２４は本発明に係る第１表示制御手段及び第２表示制御手段に相当し、上記中央制御装置２１は隊列走行検出手段に相当し、上記画像処理装置２２は本発明に係る画像合成手段に相当する。
１…車両監視システム
　１０…監視端末装置
　　１１，１１ａ～１１ｅ…車載カメラ
　　１１ｆ…街中固定カメラ
　　１２…画像処理装置
　　１３…通信装置
　　１４…車載制御装置
　　１５…位置検出装置
　　１６…通報ボタン
　２０…中央監視装置
　　２１…中央制御装置
　　２２…画像処理装置
　　２３…通信装置
　　２４…ディスプレイ
　　２５…入力装置
　３０…電気通信回線網
Ｖ，Ｖ１，Ｖ２，Ｖ３…移動体
Ｍ…投影モデル
Ｓ，Ｓａ，Ｓｂ、Ｓｃ、Ｓｄ…投影面
Ｒ１～Ｒ８…視点

Claims (9)

  1. 　中央監視装置に対して、無線通信を介して監視情報を出力する監視端末装置を備える監視システムであって、
    　前記監視端末装置は、
    　複数の移動体のそれぞれの位置情報を検出する位置検出手段と、
    　前記複数の移動体のそれぞれに装着され、当該移動体の周囲を撮像して画像情報を生成する画像生成手段と、
    　前記位置検出手段および前記画像生成手段を制御し、所定のタイミングで前記位置情報又は前記画像情報を取得する情報取得制御手段と、
    　前記移動体の周囲を走行する他の移動体を検出する移動体検出手段と、
    　前記他の移動体が検出された場合に、当該他の移動体により撮像可能な領域を撮像する自車の画像情報の送信を停止する送信制御手段と、を備える監視システム。
  2. 　前記画像生成手段は、前記自車の前方、後方、左方向及び右方向をそれぞれ撮像するカメラを含み、
    　前記送信制御手段は、前記自車の前方、後方、左方向又は右方向を走行する他の移動体が検出された場合に、自車の前方、後方、左方向又は右方向を撮像するカメラからの画像情報の送信をそれぞれ停止する請求項１に記載の監視システム。
  3. 　前記送信制御手段は、前記自車の対向車線を走行する他の移動体であって前記自車の左方向又は右方向を走行する他の移動体が検出された場合に、自車の左方向又は右方向を撮像するカメラからの画像情報の送信をそれぞれ停止する請求項２に記載の監視システム。
  4. 　前記監視端末装置は、時刻情報を検出する時刻検出手段を備え、
    　前記情報取得制御手段は、前記位置情報又は前記画像情報を取得した時刻情報を当該位置情報又は画像情報に関連付けて取得する請求項１～３のいずれか一項に記載の監視システム。
  5. 　複数の移動体のそれぞれの位置情報を検出する位置検出手段と、前記複数の移動体のそれぞれに装着され、当該移動体の周囲を撮像して画像情報を生成する画像生成手段と、を備える監視端末装置から、
    　無線通信を介して監視情報を入力する中央監視装置を備える監視システムであって、
    　前記中央監視装置は、
    　前記監視端末装置から出力された位置情報及び画像情報を入力する情報入力手段と、
    　前記位置情報に基づいて前記複数の移動体が縦列及び並列を含む隊列走行をしているか否かを検出する隊列走行検出手段と、
    　前記複数の移動体が隊列走行している場合に、これら複数の移動体を一つの移動体とみなして当該複数の移動体で取得された複数の画像情報を合成し、前記一つの移動体の画像情報を生成する画像合成手段と、を備える監視システム。
  6. 　前記中央監視装置は、
    　地図データベースからの地図情報を表示するとともに、前記位置情報を前記地図情報上に表示制御する第１表示制御手段と、
    　前記画像情報を表示制御する第２表示制御手段を備える請求項５に記載の監視システム。
  7. 　前記第１表示制御手段は、前記一つの移動体の画像情報を取得した複数の移動体の位置情報を、他の移動体の位置情報に対して識別可能に表示制御し、
    　前記第２表示制御手段は、前記一つの移動体の画像情報を表示制御する請求項６に記載の監視システム。
  8. 　監視情報を取得する監視端末装置と、無線通信を介して前記監視情報を入力する中央監視装置と、を備える監視システムであって、
    　前記監視端末装置は、複数の移動体のそれぞれの位置情報を検出する位置検出手段と、前記複数の移動体のそれぞれに装着され、当該移動体の周囲を撮像して画像情報を生成する画像生成手段と、前記移動体の周囲を走行する他の移動体を検出する移動体検出手段と、前記他の移動体が検出された場合に、当該他の移動体により撮像可能な領域を撮像する自車の画像情報の送信を停止する送信制御手段と、を備え、
    　前記中央監視装置は、前記監視端末装置から出力された位置情報及び画像情報を入力する情報入力手段と、前記位置情報に基づいて前記複数の移動体が縦列及び並列を含む隊列走行をしているか否かを検出する隊列走行検出手段と、前記複数の移動体が隊列走行している場合に、これら複数の移動体を一つの移動体とみなして当該複数の移動体で取得された複数の画像情報を合成し、前記一つの移動体の画像情報を生成する画像合成手段と、を備える監視システム。
  9. 　複数の移動体のそれぞれの位置情報と、当該移動体の周囲の画像情報とを所定のタイミングで取得するステップと、
    　前記位置情報と前記画像情報とを無線通信を介して送信するステップと、
    　自車により取得された画像情報と、自車の周囲を走行する他の移動体により取得された画像情報とを組み合わせて、前記自車及び前記他の移動体を一つの移動体とみなした画像情報として合成するステップと、
    　前記画像情報を合成する際に互いに重複する画像情報のうちの一方の送信を停止するステップと、を備える監視方法。
PCT/JP2012/083463 2012-01-26 2012-12-25 監視システム WO2013111491A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012014611 2012-01-26
JP2012-014611 2012-01-26

Publications (1)

Publication Number Publication Date
WO2013111491A1 true WO2013111491A1 (ja) 2013-08-01

Family

ID=48873230

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/083463 WO2013111491A1 (ja) 2012-01-26 2012-12-25 監視システム

Country Status (1)

Country Link
WO (1) WO2013111491A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103647936A (zh) * 2013-11-20 2014-03-19 广州杰赛科技股份有限公司 环境监测系统
WO2018105654A1 (ja) * 2016-12-08 2018-06-14 シャープ株式会社 走行制御装置、走行制御方法、記録媒体及び自律走行装置
WO2020004593A1 (ja) * 2018-06-28 2020-01-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ データ生成装置およびデータ生成方法
WO2024070263A1 (ja) * 2022-09-26 2024-04-04 富士フイルム株式会社 管理装置、撮像システム、管理方法、及び管理プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002367080A (ja) * 2001-06-12 2002-12-20 Clarion Co Ltd 車両用視覚支援方法及び装置
JP2003123190A (ja) * 2001-10-10 2003-04-25 Sumitomo Electric Ind Ltd 画像送信システム、画像送信装置、及び画像取得装置
JP2008044612A (ja) * 2007-10-09 2008-02-28 Equos Research Co Ltd 車載画像表示装置
JP2009020570A (ja) * 2007-07-10 2009-01-29 Denso Corp 車両用走行支援装置
JP2011238045A (ja) * 2010-05-11 2011-11-24 Denso Corp 事故状況記録システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002367080A (ja) * 2001-06-12 2002-12-20 Clarion Co Ltd 車両用視覚支援方法及び装置
JP2003123190A (ja) * 2001-10-10 2003-04-25 Sumitomo Electric Ind Ltd 画像送信システム、画像送信装置、及び画像取得装置
JP2009020570A (ja) * 2007-07-10 2009-01-29 Denso Corp 車両用走行支援装置
JP2008044612A (ja) * 2007-10-09 2008-02-28 Equos Research Co Ltd 車載画像表示装置
JP2011238045A (ja) * 2010-05-11 2011-11-24 Denso Corp 事故状況記録システム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103647936A (zh) * 2013-11-20 2014-03-19 广州杰赛科技股份有限公司 环境监测系统
WO2018105654A1 (ja) * 2016-12-08 2018-06-14 シャープ株式会社 走行制御装置、走行制御方法、記録媒体及び自律走行装置
JP2018097408A (ja) * 2016-12-08 2018-06-21 シャープ株式会社 走行制御装置、走行制御方法、走行制御プログラム及び自律走行装置
WO2020004593A1 (ja) * 2018-06-28 2020-01-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ データ生成装置およびデータ生成方法
JPWO2020004593A1 (ja) * 2018-06-28 2021-08-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ データ生成装置およびデータ生成方法
US11741717B2 (en) 2018-06-28 2023-08-29 Panasonic Intellectual Property Corporation Of America Data generator and data generating method
US12112547B2 (en) 2018-06-28 2024-10-08 Panasonic Intellectual Property Corporation Of America Data generator and data generating method
WO2024070263A1 (ja) * 2022-09-26 2024-04-04 富士フイルム株式会社 管理装置、撮像システム、管理方法、及び管理プログラム

Similar Documents

Publication Publication Date Title
JP5786963B2 (ja) 監視システム
JP6451840B2 (ja) 情報提示システム
JP5811190B2 (ja) 監視システム
US20160159281A1 (en) Vehicle and control method thereof
WO2013111491A1 (ja) 監視システム
CN110226326B (zh) 用于检测车辆的周围环境区域的摄像设备及方法
WO2013111494A1 (ja) 監視システム
JP7467402B2 (ja) 画像処理システム、移動装置、画像処理方法、およびコンピュータプログラム
JP6260174B2 (ja) 監視画像提示システム
WO2013111492A1 (ja) 監視システム
WO2013111479A1 (ja) 監視システム
WO2013161345A1 (ja) 監視システム及び監視方法
JP5790788B2 (ja) 監視システム
WO2021131201A1 (ja) 運転支援装置、運転支援方法及びプログラム
WO2013125301A1 (ja) 監視システム
JP5796638B2 (ja) 監視システム
JP2012059139A (ja) 交通監視システム
WO2013111493A1 (ja) 監視システム
JP5812105B2 (ja) 監視システム
CN216331763U (zh) 一种集成全景功能和bsd功能的智能汽车电子后视镜设备
JP2023046965A (ja) 画像処理システム、移動装置、画像処理方法、およびコンピュータプログラム
JP4696825B2 (ja) 車両用死角映像表示装置
JP2020057981A (ja) 画像作成システム、画像作成装置、及び画像作成装置の制御方法
WO2013136894A1 (ja) 監視システム及び監視方法
JP6209921B2 (ja) 予測進路提示システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12866865

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12866865

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP