JP5811190B2 - Monitoring system - Google Patents

Monitoring system Download PDF

Info

Publication number
JP5811190B2
JP5811190B2 JP2013551539A JP2013551539A JP5811190B2 JP 5811190 B2 JP5811190 B2 JP 5811190B2 JP 2013551539 A JP2013551539 A JP 2013551539A JP 2013551539 A JP2013551539 A JP 2013551539A JP 5811190 B2 JP5811190 B2 JP 5811190B2
Authority
JP
Japan
Prior art keywords
information
image
monitoring
image information
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013551539A
Other languages
Japanese (ja)
Other versions
JPWO2013099488A1 (en
Inventor
真史 安原
真史 安原
照久 高野
照久 高野
秋彦 香西
秋彦 香西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2013551539A priority Critical patent/JP5811190B2/en
Publication of JPWO2013099488A1 publication Critical patent/JPWO2013099488A1/en
Application granted granted Critical
Publication of JP5811190B2 publication Critical patent/JP5811190B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet

Description

本発明は、監視システムに関するものである。   The present invention relates to a monitoring system.

商店街、店舗の出入り口、家庭の玄関その他の街中に複数の防犯カメラ装置を設置し、当該防犯カメラ装置により撮像された周囲の映像を監視することで、異常の発生を検出する防犯装置が知られている(特許文献1)。   A security device that detects the occurrence of abnormalities is known by installing multiple security camera devices in shopping streets, store entrances, home entrances, and other streets, and monitoring surrounding images captured by the security camera device (Patent Document 1).

特開2011−215767号公報JP 2011-215767 A

しかしながら、街中に設置した防犯カメラ装置で広い範囲をカバーしようとすると多数の防犯カメラ装置を設置しなければならず、通信回線が混雑している場合には通信時間がかかるという問題がある。   However, in order to cover a wide area with a security camera device installed in the city, a large number of security camera devices must be installed, and there is a problem that it takes a long communication time when the communication line is congested.

本発明は、リアルタイムで監視情報を送信できる監視システムを提供することを目的とする。   An object of this invention is to provide the monitoring system which can transmit monitoring information in real time.

本発明は、複数の移動体にカメラを装着し、所定のタイミングで移動体の位置情報とカメラで撮像した画像情報とを取得し、回線混雑状況に応じて送信データ量を設定することによって、上記目的を達成する。   The present invention attaches a camera to a plurality of moving bodies, acquires position information of the moving body and image information captured by the camera at a predetermined timing, and sets a transmission data amount according to a line congestion situation. Achieving the above objectives.

本発明によれば、ランダムに走行する複数の移動体に装着したカメラからの画像情報と移動体の位置情報とを取得し、回線混雑状況に応じて送信データ量を設定するので、通信データ量が適正化し、リアルタイムで監視情報を送信することができる。   According to the present invention, the image data from the cameras mounted on a plurality of mobile bodies that travel at random and the position information of the mobile body are acquired, and the transmission data amount is set according to the line congestion situation. Can optimize and send monitoring information in real time.

本発明の一実施の形態に係る監視システムを示す模式図である。1 is a schematic diagram showing a monitoring system according to an embodiment of the present invention. 図1の監視システムを示すブロック図である。It is a block diagram which shows the monitoring system of FIG. 図1の監視システムの監視端末装置側の主たる制御内容を示すフローチャートである。It is a flowchart which shows the main control content by the monitoring terminal device side of the monitoring system of FIG. 図1の監視システムの中央監視装置側の主たる制御内容を示すフローチャート(その1)である。3 is a flowchart (No. 1) showing main control contents on the central monitoring device side of the monitoring system of FIG. 図1の監視システムの中央監視装置側の主たる制御内容を示すフローチャート(その2)である。7 is a flowchart (No. 2) showing main control contents on the central monitoring device side of the monitoring system of FIG. 図1の監視システムにおけるカメラの撮像範囲を示す斜視図である。It is a perspective view which shows the imaging range of the camera in the monitoring system of FIG. 図1の監視システムにおけるカメラの配置例を示す平面図である。It is a top view which shows the example of arrangement | positioning of the camera in the monitoring system of FIG. フロントの車載カメラの撮影画像の一例を示す図である。It is a figure which shows an example of the picked-up image of a front vehicle-mounted camera. 右サイドの車載カメラの撮影画像の一例を示す図である。It is a figure which shows an example of the picked-up image of the right side vehicle-mounted camera. リアの車載カメラの撮影画像の一例を示す図である。It is a figure which shows an example of the picked-up image of a rear vehicle-mounted camera. 左サイドの車載カメラの撮影画像の一例を示す図である。It is a figure which shows an example of the picked-up image of the left side vehicle-mounted camera. 室内の車載カメラの撮影画像の一例を示す図である。It is a figure which shows an example of the picked-up image of an indoor vehicle-mounted camera. 複数の画像に基づいて生成された監視画像の一例を示す図である。It is a figure which shows an example of the monitoring image produced | generated based on the some image. 監視画像の歪み補正処理を説明するための図である。It is a figure for demonstrating the distortion correction process of the monitoring image. 投影モデルの一例を示す模式図である。It is a schematic diagram which shows an example of a projection model. 図10に示す投影モデルのxy面に沿う断面模式図である。It is a cross-sectional schematic diagram along xy plane of the projection model shown in FIG. 中央監視装置のディスプレイに表示される画像例を示す図である。It is a figure which shows the example of an image displayed on the display of a central monitoring apparatus. 図1の監視システムの他例に係る監視端末装置側の主たる制御内容を示すフローチャートである。It is a flowchart which shows the main control content by the side of the monitoring terminal device which concerns on the other example of the monitoring system of FIG. 図1の監視システムの他例に係る中央監視装置側の主たる制御内容を示すフローチャートである。It is a flowchart which shows the main control content by the side of the central monitoring apparatus which concerns on the other example of the monitoring system of FIG. 図1の監視システムの他例に係る監視端末装置側の主たる制御内容を示すフローチャートである。It is a flowchart which shows the main control content by the side of the monitoring terminal device which concerns on the other example of the monitoring system of FIG. 図1の監視システムの他例に係る中央監視装置側の主たる制御内容を示すフローチャートである。It is a flowchart which shows the main control content by the side of the central monitoring apparatus which concerns on the other example of the monitoring system of FIG.

以下に示す一実施の形態は、本発明に係る監視システムを、街中の治安を警察署や消防署などの当局にて集中監視する監視システム1に具体化したものである。すなわち、複数の移動体のそれぞれの位置情報と、当該移動体の周囲の画像情報と、時刻情報とを所定のタイミングで取得し、これら位置情報と画像情報と時刻情報とを、無線通信を介して、当局に設置された中央監視装置へ送信し、これら位置情報を地図情報上に表示するとともに必要に応じて画像情報と時刻情報とをディスプレイに表示するものである。そのため、本例の監視システム1は、図1に示すように位置情報及び画像情報などの監視情報を取得する監視端末装置10と、電気通信回線網30を介して監視情報を入力して処理する中央監視装置20とを備える。図2は、監視端末装置10及び中央監視装置20の具体的構成を示すブロック図である。特に本例の監視システム1は、無線通信回線の通信速度などで代表される混雑状況に応じて監視端末装置10から中央監視装置20へ送信するデータ量を調整し、これによりリアルタイムで現場の画像情報を監視できるものである。   In the embodiment described below, the monitoring system according to the present invention is embodied as a monitoring system 1 that centrally monitors the security in a city by an authority such as a police station or a fire station. That is, the position information of each of the plurality of moving objects, the image information around the moving objects, and the time information are acquired at a predetermined timing, and the position information, the image information, and the time information are acquired via wireless communication. The position information is displayed on the map information and, if necessary, the image information and the time information are displayed on the display. Therefore, the monitoring system 1 of this example inputs and processes the monitoring information via the telecommunications network 30 and the monitoring terminal device 10 that acquires monitoring information such as position information and image information as shown in FIG. Central monitoring device 20 is provided. FIG. 2 is a block diagram illustrating a specific configuration of the monitoring terminal device 10 and the central monitoring device 20. In particular, the monitoring system 1 of this example adjusts the amount of data to be transmitted from the monitoring terminal device 10 to the central monitoring device 20 according to the congestion situation represented by the communication speed of the wireless communication line, etc. Information can be monitored.

監視端末装置10は、複数の移動体Vに搭載される端末装置であって、これら複数の移動体Vのそれぞれの位置情報を検出する位置検出機能と、複数の移動体のそれぞれに装着され、当該移動体の周囲を撮像して画像情報を生成する画像生成機能と、時刻検出機能と、所定のタイミングで位置情報、画像情報及び時刻情報を取得する情報取得制御機能と、これら位置情報、画像情報及び時刻情報を中央監視装置20へ出力するとともに中央監視装置20からの指令を受け付ける通信機能と、異常の発生を通報する機能とを有する。そのため、複数の車載カメラ11a〜11e、画像処理装置12、通信装置13、車載制御装置14、位置検出装置15及び通報ボタン16を備える。なお、時刻情報は通信速度の検出と事象の事後解析に供される情報である。   The monitoring terminal device 10 is a terminal device mounted on a plurality of moving bodies V, and is mounted on each of the plurality of moving bodies and a position detection function that detects position information of each of the plurality of moving bodies V. An image generation function that captures an image of the periphery of the moving body to generate image information, a time detection function, an information acquisition control function that acquires position information, image information, and time information at a predetermined timing, and the position information and image It has a communication function for outputting information and time information to the central monitoring device 20 and receiving a command from the central monitoring device 20, and a function for reporting the occurrence of an abnormality. Therefore, a plurality of in-vehicle cameras 11a to 11e, an image processing device 12, a communication device 13, an in-vehicle control device 14, a position detection device 15, and a notification button 16 are provided. The time information is information used for communication speed detection and event post-analysis.

監視端末装置10が搭載される移動体Vは、目的とする監視領域を走行するものであれば特に限定されず、自動車、二輪車、産業車両、路面電車などの移動体を含み、自動車には自家用自動車V2や緊急自動車V3が含まれるが、なかでも特に予め決められた領域をランダム且つ常時走行するタクシーや路線バスV1などが好適に含まれる。図1には、タクシーV1、自家用自動車V2、パトカー、消防車又は救急車などの緊急自動車V3を例示するが、これらを総称する場合は移動体Vまたは乗用車Vという。   The mobile body V on which the monitoring terminal device 10 is mounted is not particularly limited as long as it travels in the target monitoring area, and includes mobile bodies such as automobiles, motorcycles, industrial vehicles, and trams. The vehicle V2 and the emergency vehicle V3 are included, and in particular, a taxi or a route bus V1 that travels randomly and constantly in a predetermined area is particularly preferable. FIG. 1 illustrates an emergency vehicle V3 such as a taxi V1, a private vehicle V2, a police car, a fire engine or an ambulance, but these are collectively referred to as a moving body V or a passenger vehicle V.

それぞれの移動体Vには、複数の車載カメラ11a〜11e(以下、総称する場合はカメラ11という。)、画像処理装置12、通信装置13、車載制御装置14、位置検出装置15及び通報ボタン16が搭載されている。カメラ11は、CCDカメラなどで構成され、移動体Vの周囲を撮像し、その撮像信号を画像処理装置12へ出力する。画像処理装置12は、カメラ11からの撮像信号を読み出し、画像情報に画像処理する。この画像処理の詳細は後述する。   Each moving body V includes a plurality of in-vehicle cameras 11a to 11e (hereinafter collectively referred to as cameras 11), an image processing device 12, a communication device 13, an in-vehicle control device 14, a position detection device 15, and a notification button 16. Is installed. The camera 11 is composed of a CCD camera or the like, images the surroundings of the moving object V, and outputs the image pickup signal to the image processing device 12. The image processing device 12 reads an imaging signal from the camera 11 and performs image processing on the image information. Details of this image processing will be described later.

位置検出装置15は、GPS装置及びその補正装置などで構成され、当該移動体Vの現在位置を検出し、車載制御装置14へ出力する。通報ボタン16は、車室内に設置された入力ボタンであって、運転手や同乗者がインシデント(事故、火事、犯罪など治安に関する出来事)を発見した際に入力する手動ボタンである。   The position detection device 15 includes a GPS device and its correction device, detects the current position of the moving object V, and outputs it to the in-vehicle control device 14. The notification button 16 is an input button installed in the passenger compartment, and is a manual button that is input when a driver or a passenger finds an incident (an incident related to security such as an accident, fire, or crime).

車載制御装置14は、CPU,ROM,RAMにより構成され、通報ボタン16が押されたときに、画像処理装置12、通信装置13及び位置検出装置15を制御し、画像処理装置12で生成された画像情報と、位置検出装置15で検出された移動体Vの位置情報と、CPUが内蔵する時計からの時刻情報とを通信装置13及び電気通信回線網30を介して中央監視装置20へ出力する。また、電気通信回線網30及び通信装置13を介して受信された中央監視装置20からの情報取得指令を受け付け、画像処理装置12、通信装置13及び位置検出装置15を制御し、画像処理装置12で生成された画像情報と、位置検出装置15で検出された移動体Vの位置情報と、CPUが内蔵する時計からの時刻情報とを通信装置13及び電気通信回線網30を介して中央監視装置20へ出力する。これらの制御の詳細も後述する。   The in-vehicle control device 14 includes a CPU, a ROM, and a RAM, and controls the image processing device 12, the communication device 13, and the position detection device 15 when the notification button 16 is pressed, and is generated by the image processing device 12. The image information, the position information of the moving object V detected by the position detection device 15, and the time information from the clock built in the CPU are output to the central monitoring device 20 via the communication device 13 and the telecommunication network 30. . Further, it receives an information acquisition command from the central monitoring device 20 received via the telecommunications network 30 and the communication device 13, controls the image processing device 12, the communication device 13 and the position detection device 15, and controls the image processing device 12. The central monitoring device through the communication device 13 and the telecommunications network 30 includes the image information generated in step S1, the position information of the moving body V detected by the position detection device 15, and the time information from the clock built in the CPU. 20 output. Details of these controls will also be described later.

通信装置13は、無線通信が可能な通信手段であり、電気通信回線網30を介して中央監視装置20の通信装置23と情報の授受を実行する。電気通信回線網30が商用電話回線網である場合は携帯電話通信装置を汎用することができ、電気通信回線網30が本例の監視システム1の専用電気通信回線網である場合は、それ専用の通信装置13,23を用いることができる。なお、電気通信回線網30に代えて、無線LAN、WiFi(登録商標)、WiMAX(登録商標)、Bluetooth(登録商標)、専用無線回線などを用いることもできる。   The communication device 13 is a communication means capable of wireless communication, and exchanges information with the communication device 23 of the central monitoring device 20 via the telecommunication network 30. When the telecommunications network 30 is a commercial telephone network, a mobile phone communication device can be used widely, and when the telecommunications network 30 is a dedicated telecommunications network for the monitoring system 1 of this example, it is dedicated to it. The communication devices 13 and 23 can be used. Instead of the telecommunication network 30, a wireless LAN, WiFi (registered trademark), WiMAX (registered trademark), Bluetooth (registered trademark), a dedicated wireless line, or the like can be used.

中央監視装置20は、上述した監視端末装置10から出力された位置情報及び画像情報を入力する情報入力機能と、地図データベースからの地図情報を表示するとともに、受信した位置情報を地図情報上に表示制御する表示制御機能と、受信した画像情報をディスプレイ24に表示する表示制御機能と、を有する。そのため、中央制御装置21、画像処理装置22、通信装置23、ディスプレイ24及び入力装置25を備える。   The central monitoring device 20 displays the information input function for inputting the position information and image information output from the monitoring terminal device 10 and the map information from the map database, and displays the received position information on the map information. A display control function for controlling and a display control function for displaying the received image information on the display 24; Therefore, a central control device 21, an image processing device 22, a communication device 23, a display 24 and an input device 25 are provided.

中央制御装置21は、CPU,ROM,RAMにより構成され、画像処理装置22、通信装置23及びディスプレイ24を制御して、監視端末装置10から送信された位置情報、画像情報及び時刻情報を受信し、必要に応じて画像処理を施したうえでディスプレイ24に表示する。   The central control device 21 includes a CPU, a ROM, and a RAM, and controls the image processing device 22, the communication device 23, and the display 24, and receives position information, image information, and time information transmitted from the monitoring terminal device 10. The image is displayed on the display 24 after being subjected to image processing as necessary.

画像処理装置24は、地図データベースを有し、当該地図データベースからの地図情報をディスプレイ24に表示するとともに、監視端末装置10の位置検出装置15により検出された位置情報を当該地図情報上に表示する。また、監視端末装置10の車載カメラ11で撮像され、画像処理装置12で処理された画像情報をディスプレイ24に表示するための画像処理を施す。   The image processing device 24 has a map database, displays map information from the map database on the display 24, and displays position information detected by the position detection device 15 of the monitoring terminal device 10 on the map information. . Further, image processing for displaying image information captured by the vehicle-mounted camera 11 of the monitoring terminal device 10 and processed by the image processing device 12 on the display 24 is performed.

ディスプレイ24は、たとえば一つの画面上に2つのウィンド画面が表示できる大きさの液晶表示装置又は2つのウィンド画面をそれぞれ表示する2つの液晶表示装置により構成することができる。そして、一方のウィンド画面には、地図情報上に各移動体Vの位置情報を重ね合わせた画面を表示し(図1参照)、他方のウィンド画面には、車載カメラ11で撮像された映像に係る画像情報を表示する。   The display 24 can be configured by a liquid crystal display device having a size capable of displaying two window screens on one screen, or two liquid crystal display devices each displaying two window screens, for example. One window screen displays a screen in which the position information of each moving object V is superimposed on the map information (see FIG. 1), and the other window screen displays an image captured by the in-vehicle camera 11. Such image information is displayed.

入力装置25は、キーボード又はマウスで構成され、所望の移動体Vに対して情報取得指令を出力したり、ディスプレイ24に表示される各種情報の処理指令を入力したりする場合に用いられる。   The input device 25 includes a keyboard or a mouse, and is used when outputting an information acquisition command to a desired moving body V or inputting a processing command for various information displayed on the display 24.

通信装置23は、無線通信が可能な通信手段であり、電気通信回線網30を介して監視端末装置10の通信装置13と情報の授受を実行する。電気通信回線網30が商用電話回線網である場合は携帯電話通信装置を汎用することができ、電気通信回線網30が本例の監視システム1の専用電気通信回線網である場合は、それ専用の通信装置13,23を用いることができる。   The communication device 23 is a communication means capable of wireless communication, and exchanges information with the communication device 13 of the monitoring terminal device 10 via the telecommunication network 30. When the telecommunications network 30 is a commercial telephone network, a mobile phone communication device can be used widely, and when the telecommunications network 30 is a dedicated telecommunications network for the monitoring system 1 of this example, it is dedicated to it. The communication devices 13 and 23 can be used.

通信速度検出装置17は、電気通信回線網30の通信速度を検出するものであって、監視端末装置10に備えてもよく、中央監視装置20に備えてもよい。また、監視端末装置10と中央監視装置20が協働して通信速度検出装置17を構成してもよい。各装置10,20に備えた場合の動作は後述するが、電気通信回線網30の通信速度は、たとえば監視端末装置10で画像情報を撮像した時刻とこれを中央監視装置20で受信した時刻とから求めることができる。あるいは、所定のダミーデータを監視端末装置10又は中央監視装置20の一方から送信し、他方で受信した時間から求めることができる。   The communication speed detection device 17 detects the communication speed of the telecommunication network 30 and may be provided in the monitoring terminal device 10 or the central monitoring device 20. Further, the communication speed detection device 17 may be configured by the monitoring terminal device 10 and the central monitoring device 20 working together. The operation when the devices 10 and 20 are provided will be described later. For example, the communication speed of the telecommunication network 30 is determined by the time when the monitoring terminal device 10 captures image information and the time when the central monitoring device 20 receives the image information. Can be obtained from Alternatively, it is possible to obtain predetermined dummy data from the time received from one of the monitoring terminal device 10 and the central monitoring device 20 and received by the other.

本例では、通信速度検出装置17にて検出した電気通信回線網30の通信速度に応じて、監視端末装置10から中央監視装置20へ送信する画像情報のデータ量を調整する。すなわち、電気通信回線網30が混雑した状態で通信速度が遅い場合は、画像情報のデータ量を相対的に小さく設定する。画像情報のデータ量を調整する方法として、画像情報の送信フレームレートfpsを調整する方法、送信する画像情報のサイズを調整する方法、あるいは送信する画像情報の圧縮率を調整する方法が例示できる。画像情報を圧縮する場合に、画像情報全部を圧縮するほか、後述するように複数の画像情報を同時に送信する場合は、そのうちの一部を圧縮してもよい。   In this example, the data amount of the image information transmitted from the monitoring terminal device 10 to the central monitoring device 20 is adjusted according to the communication speed of the telecommunication network 30 detected by the communication speed detection device 17. That is, when the communication speed is low with the telecommunications network 30 congested, the data amount of the image information is set to be relatively small. Examples of a method for adjusting the data amount of image information include a method for adjusting the transmission frame rate fps of image information, a method for adjusting the size of image information to be transmitted, and a method for adjusting the compression rate of image information to be transmitted. When compressing image information, in addition to compressing all image information, as described later, when transmitting a plurality of pieces of image information at the same time, some of them may be compressed.

電気通信回線網30が混雑して通信速度が遅い場合は、画像情報の送信フレームレートfpsを相対的に小さくするか、送信する画像情報のサイズを相対的に小さくするか、あるいは送信する画像情報の圧縮率を相対的に大きくする。なお、送信する画像情報のフレームレートを小さくした場合に、間引きされた画像情報は破棄してもよいが、一時的に監視端末装置10のメモリRAMに保存しておき、電気通信回線網30の混雑が解消された際に送信することもできる。   When the telecommunication network 30 is congested and the communication speed is slow, the transmission frame rate fps of the image information is relatively reduced, the size of the image information to be transmitted is relatively reduced, or the image information to be transmitted The compression ratio is relatively increased. In addition, when the frame rate of the image information to be transmitted is reduced, the thinned image information may be discarded, but is temporarily stored in the memory RAM of the monitoring terminal device 10 and stored in the telecommunications network 30. It can also be sent when congestion is resolved.

次に車載カメラ11a〜11eの装着位置と撮像範囲について説明する。ここでは移動体Vとして乗用車Vを例に挙げて説明する。
カメラ11a〜11eはCCD等の撮像素子を用いて構成され、4つの車載カメラ11a〜11dは乗用車Vの外部の異なる位置にそれぞれ設置され、車両周囲の4方向をそれぞれ撮影する。
Next, mounting positions and imaging ranges of the on-vehicle cameras 11a to 11e will be described. Here, a passenger car V will be described as an example of the moving body V.
The cameras 11a to 11e are configured using an imaging element such as a CCD, and the four on-vehicle cameras 11a to 11d are installed at different positions outside the passenger car V, respectively, and shoot four directions around the vehicle.

例えば、図5に示すように、フロントグリル部分などの乗用車Vの前方の所定位置に設置された車載カメラ11aは、乗用車Vの前方のエリアSP1内及びその前方の空間に存在する物体又は路面(フロントビュー)を撮影する。また、左サイドミラー部分などの乗用車Vの左側方の所定位置に設置された車載カメラ11bは、乗用車Vの左側方のエリアSP2内及びその周囲の空間に存在する物体又は路面(左サイドビュー)を撮影する。また、リアフィニッシャー部分やルーフスポイラー部分などの乗用車Vの後方部分の所定位置に設置された車載カメラ11cは、乗用車Vの後方のエリアSP3内及びその後方の空間に存在する物体又は路面(リアビュー)を撮影する。また、右サイドミラー部分などの乗用車Vの右側方の所定位置に設置された車載カメラ11dは、乗用車Vの右側方のエリアSP4内及びその周囲の空間に存在する物体又は路面(右サイドビュー)を撮影する。なお、図5には図示を省略したが、1つの車載カメラ11eは、乗用車の室内の例えば天井部に設置され、図6に示すように室内のエリアSP5を撮像し、タクシーの無賃乗車や強盗などの犯罪防止又は犯罪通報に供される。   For example, as shown in FIG. 5, the in-vehicle camera 11 a installed at a predetermined position in front of the passenger car V such as a front grill portion is an object or road surface (in the area SP1 in front of the passenger car V and in the space in front thereof) Shoot the front view. The in-vehicle camera 11b installed at a predetermined position on the left side of the passenger car V such as the left side mirror portion is an object or road surface (left side view) that exists in the area SP2 on the left side of the passenger car V and in the surrounding space. Shoot. The in-vehicle camera 11c installed at a predetermined position in the rear part of the passenger car V, such as a rear finisher part or a roof spoiler part, is an object or road surface (rear view) existing in the area SP3 behind the passenger car V and in the space behind it. Shoot. The in-vehicle camera 11d installed at a predetermined position on the right side of the passenger car V such as a right side mirror portion is an object or road surface (right side view) present in the area SP4 on the right side of the passenger car V and in the surrounding space. Shoot. Although not shown in FIG. 5, one in-vehicle camera 11e is installed, for example, on the ceiling of the passenger car interior, and images the indoor area SP5 as shown in FIG. Used for crime prevention or crime reporting.

図6は、各車載カメラ11a〜11eの配置を乗用車Vの上空から見た図である。同図に示すように、エリアSP1を撮像する車載カメラ11a、エリアSP2を撮像する車載カメラ11b、エリアSP3を撮像する車載カメラ11c、エリアSP4を撮像する車載カメラ11dの4つは、乗用車Vのボディの外周VEに沿って左回り(反時計回り)又は右回り(時計回り)に沿って設置されている。つまり、同図に矢印Cで示す左回り(反時計回り)に乗用車Vのボディの外周VEに沿って見ると、車載カメラ11aの左隣りに車載カメラ11bが設置され、車載カメラ11bの左隣りに車載カメラ11cが設置され、車載カメラ11cの左隣りに車載カメラ11dが設置され、車載カメラ11dの左隣りに車載カメラ11aが設置されている。逆に同図に示す矢印Cの方向とは反対に(時計回り)に乗用車Vのボディの外周VEに沿って見ると、車載カメラ11aの右隣りに車載カメラ11dが設置され、車載カメラ11dの右隣りに車載カメラ11cが設置され、車載カメラ11cの右隣りに車載カメラ11bが設置され、車載カメラ11bの右隣りに車載カメラ11aが設置されている。   FIG. 6 is a view of the arrangement of the in-vehicle cameras 11a to 11e as viewed from above the passenger car V. As shown in the figure, the in-vehicle camera 11a that images the area SP1, the in-vehicle camera 11b that images the area SP2, the in-vehicle camera 11c that images the area SP3, and the in-vehicle camera 11d that images the area SP4 are It is installed along the outer periphery VE of the body along the counterclockwise direction (counterclockwise) or the clockwise direction (clockwise). That is, when viewed along the outer periphery VE of the body of the passenger vehicle V in the counterclockwise direction (counterclockwise) indicated by the arrow C in FIG. The vehicle-mounted camera 11c is installed on the left side of the vehicle-mounted camera 11c, and the vehicle-mounted camera 11a is installed on the left side of the vehicle-mounted camera 11d. Conversely, when viewed along the outer periphery VE of the body of the passenger car V in the direction opposite to the direction of the arrow C shown in the figure (clockwise), the in-vehicle camera 11d is installed on the right side of the in-vehicle camera 11a. The vehicle-mounted camera 11c is installed on the right side, the vehicle-mounted camera 11b is installed on the right side of the vehicle-mounted camera 11c, and the vehicle-mounted camera 11a is installed on the right side of the vehicle-mounted camera 11b.

図7Aは、フロントの車載カメラ11aがエリアSP1を撮像した画像GSP1の一例を示し、図7Bは、左サイドの車載カメラ11bがエリアSP2を撮像した画像GSP2の一例を示し、図7Cは、リアの車載カメラ11cがエリアSP3を撮像した画像GSP3の一例を示し、図7Dは、右サイドの車載カメラ11dがエリアSP4を撮像した画像GSP4の一例を示し、図7Eは、室内の車載カメラ11eが室内エリアSP5を撮像した画像GSP5の一例を示す画像図である。ちなみに、各画像のサイズは、縦480ピクセル×横640ピクセルである。画像サイズは特に限定されず、一般的な端末装置で動画再生が可能なサイズであればよい。   FIG. 7A shows an example of an image GSP1 in which the front in-vehicle camera 11a images the area SP1, FIG. 7B shows an example of the image GSP2 in which the left in-vehicle camera 11b images the area SP2, and FIG. 7D shows an example of an image GSP3 in which the area SP3 is imaged, FIG. 7D shows an example of an image GSP4 in which the right-side in-vehicle camera 11d images the area SP4, and FIG. 7E shows an indoor in-vehicle camera 11e. It is an image figure which shows an example of image GSP5 which imaged indoor area SP5. Incidentally, the size of each image is vertical 480 pixels × horizontal 640 pixels. The image size is not particularly limited, and may be any size as long as a general terminal device can reproduce a moving image.

なお、車載カメラ11の配置数及び配置位置は、乗用車Vの大きさ、形状、検出領域の設定手法等に応じて適宜に決定することができる。上述した複数の車載カメラ11は、それぞれの配置に応じた識別子が付されており、車載制御装置14は、各識別子に基づいて各車載カメラ11のそれぞれを識別することができる。また、車載制御装置14は、指令信号に識別子を付することにより、特定の車載カメラ11に撮像命令その他の命令を送出することができる。   The number and position of the in-vehicle camera 11 can be determined as appropriate according to the size, shape, detection area setting method, etc. of the passenger car V. The plurality of in-vehicle cameras 11 described above are assigned identifiers corresponding to the respective arrangements, and the in-vehicle control device 14 can identify each of the in-vehicle cameras 11 based on each identifier. Moreover, the vehicle-mounted control apparatus 14 can send an imaging command and other commands to a specific vehicle-mounted camera 11 by attaching an identifier to the command signal.

車載制御装置14は、画像処理装置12を制御して車載カメラ11によって撮像された撮像信号をそれぞれ取得し、画像処理装置12は、各車載カメラ11からの撮像信号を処理して図7A〜図7Eに示す画像情報に変換する。そして、車載制御装置14は、図7A〜図7Dに示す4つの画像情報に基づいて監視画像情報を生成するとともに(監視画像生成機能)、この監視画像情報を柱体の投影モデルの側面に設定された投影面に投影するためのマッピング情報を監視画像情報に対応づけ(マッピング情報付加機能)、中央監視装置20へ出力する。以下、監視画像生成機能とマッピング情報付加機能について詳述する。   The in-vehicle control device 14 controls the image processing device 12 to acquire each image signal picked up by the in-vehicle camera 11, and the image processing device 12 processes the image pickup signal from each in-vehicle camera 11 to perform FIG. 7E is converted into image information. The in-vehicle control device 14 generates monitoring image information based on the four pieces of image information shown in FIGS. 7A to 7D (monitoring image generation function), and sets the monitoring image information on the side of the projection model of the column. The mapping information to be projected onto the projected plane is associated with the monitoring image information (mapping information adding function) and output to the central monitoring device 20. Hereinafter, the monitoring image generation function and the mapping information addition function will be described in detail.

なお、乗用車Vの周囲を撮像した4つの画像情報に基づいて監視画像情報を生成し、これにマッピング情報を関連付ける処理は、本例のように監視端末装置10で実行するほか、中央監視装置20で実行することもできる。この場合には、乗用車Vの周囲を撮像した4つの画像情報を監視端末装置10から中央監視装置20へそのまま送信し、これを中央監視装置20の画像処理装置22及び中央制御装置21にて監視画像情報を生成するとともにマッピング情報を関連付け、投影変換すればよい。   Note that the monitoring image information is generated based on the four pieces of image information obtained by imaging the periphery of the passenger car V, and the process of associating the mapping information with this is performed by the monitoring terminal device 10 as in this example, and the central monitoring device 20 You can also run In this case, four pieces of image information obtained by imaging the periphery of the passenger car V are transmitted as they are from the monitoring terminal device 10 to the central monitoring device 20, and are monitored by the image processing device 22 and the central control device 21 of the central monitoring device 20. Image information may be generated and mapping information may be associated to perform projection conversion.

まず、監視画像生成機能について説明する。本実施形態の監視端末装置10の車載制御装置14は、画像処理装置12を制御して各車載カメラ11a〜11eの撮像信号をそれぞれ取得し、さらに乗用車Vのボディの外周に沿って右回り又は左回りの方向に設置された車載カメラ11a〜11dの画像情報がこれらの車載カメラ11a〜11dの設置順に配置されるように、一枚の監視画像を生成する。   First, the monitoring image generation function will be described. The vehicle-mounted control device 14 of the monitoring terminal device 10 according to the present embodiment controls the image processing device 12 to acquire the imaging signals of the vehicle-mounted cameras 11a to 11e, respectively, and further rotates clockwise along the outer periphery of the body of the passenger car V. One monitoring image is generated so that the image information of the in-vehicle cameras 11a to 11d installed in the counterclockwise direction is arranged in the installation order of these in-vehicle cameras 11a to 11d.

上述したように、本実施形態において、4つの車載カメラ11a〜11dは乗用車Vのボディの外周VEに沿って左回り(反時計回り)にカメラ11a、11b、11c、11dの順に設置されているので、車載制御装置14は、これらの車載カメラ11a〜11dの設置の順序(車載カメラ11a→11b→11c→11d)に従って、各車載カメラ11a〜11dが撮像した4枚の画像が一体となるように水平方向に繋げ、一枚の監視画像を生成する。本実施形態の監視画像において、各画像は乗用車Vの接地面(路面)が下辺となるように配置され、各画像は路面に対して高さ方向(垂直方向)の辺で互いに接続される。   As described above, in the present embodiment, the four in-vehicle cameras 11a to 11d are installed in the order of the cameras 11a, 11b, 11c, and 11d in the counterclockwise direction along the outer periphery VE of the body of the passenger car V. Therefore, the vehicle-mounted control device 14 integrates the four images captured by the vehicle-mounted cameras 11a to 11d in accordance with the installation order of the vehicle-mounted cameras 11a to 11d (vehicle-mounted cameras 11a → 11b → 11c → 11d). Are connected in the horizontal direction to generate a single monitoring image. In the monitoring image of the present embodiment, the images are arranged such that the ground contact surface (road surface) of the passenger vehicle V is the lower side, and the images are connected to each other at sides in the height direction (vertical direction) with respect to the road surface.

図8は、監視画像Kの一例を示す図である。同図に示すように、本実施形態の監視画像Kは、図面左側から図面右側へ向かう方向Pに沿って、フロントの車載カメラ11aがエリアSP1を撮像した撮像画像GSP1、左サイドの車載カメラ11bがエリアSP2を撮像した撮像画像GSP2、リアの車載カメラ11cがエリアSP3を撮像した撮像画像GSP3、及び右サイドの車載カメラ11dがエリアSP4を撮像した撮像画像GSP4が、水平方向にこの順序で並べて配置され、これら4つの画像が一連の画像とされている。このように生成された監視画像Kを、路面(車両の接地面)に対応する画像を下にして左端から右側へ順番に表示することにより、監視者は、車両Vの周囲を反時計回りに見回したのと同様にディスプレイ24上で視認することができる。   FIG. 8 is a diagram illustrating an example of the monitoring image K. As shown in the figure, the monitoring image K of the present embodiment includes a captured image GSP1 in which the front in-vehicle camera 11a images the area SP1 along the direction P from the left side to the right side in the drawing, and the left in-vehicle camera 11b. A captured image GSP2 obtained by imaging the area SP2, a captured image GSP3 obtained by the rear vehicle-mounted camera 11c imaging the area SP3, and a captured image GSP4 obtained by the right-side vehicle-mounted camera 11d imaging the area SP4 are arranged in this order in the horizontal direction. These four images are arranged as a series of images. The monitor image K generated in this way is displayed in order from the left end to the right side with the image corresponding to the road surface (vehicle contact surface) facing down, so that the monitor can rotate the periphery of the vehicle V counterclockwise. It can be visually recognized on the display 24 in a manner similar to the look around.

なお、一つの監視画像Kを生成する際には、各車載カメラ11a〜11dの撮影タイミングを略同時にして取得した4つの画像が用いられる。これにより、監視画像Kに含まれる情報を同期させることができるので、所定タイミングにおける車両周囲の状況を正確に表現することができる。   Note that when one monitoring image K is generated, four images acquired at substantially the same time as the imaging timings of the in-vehicle cameras 11a to 11d are used. Thereby, since the information contained in the monitoring image K can be synchronized, the situation around the vehicle at a predetermined timing can be accurately expressed.

また、カメラの撮像タイミングが略同時である各撮像画像から生成した監視画像Kを経時的に記憶し、所定の単位時間あたりに複数の監視画像Kが含まれる動画の監視画像Kを生成するようにしてもよい。撮像タイミングが同時の画像に基づいて動画の監視画像Kを生成することにより、車両周囲の状況の変化を正確に表現することができる。   In addition, the monitoring image K generated from the respective captured images having substantially the same imaging timing of the camera is stored with time, and the moving image monitoring image K including the plurality of monitoring images K per predetermined unit time is generated. It may be. By generating the moving image monitoring image K based on the images having the same imaging timing, it is possible to accurately represent changes in the situation around the vehicle.

ところで、各撮像領域の画像をそれぞれ経時的に記憶し、各撮像領域ごとに生成した動画の監視画像Kを中央監視装置20へ送信した場合には、中央監視装置20の機能によっては、複数の動画を同時に再生できない場合がある。このような従来の中央監視装置20においては、複数の動画を同時に再生表示することができないため、各動画を再生する際には画面を切り替えて動画を一つずつ再生しなければならない。つまり、従来の中央監視装置20では、複数方向の映像(動画)を同時に見ることができず、車両周囲の全体を一画面で監視することができないという不都合がある。   By the way, when the image of each imaging area is memorize | stored each time and the monitoring image K of the moving image produced | generated for every imaging area is transmitted to the central monitoring apparatus 20, depending on the function of the central monitoring apparatus 20, a several You may not be able to play videos at the same time. In such a conventional central monitoring apparatus 20, since a plurality of moving images cannot be reproduced and displayed at the same time, when reproducing each moving image, the moving images must be reproduced one by one by switching the screen. In other words, the conventional central monitoring device 20 has a disadvantage in that it cannot simultaneously watch images (moving images) in a plurality of directions and cannot monitor the entire vehicle periphery on a single screen.

これに対して本実施形態の車載制御装置14は、複数の画像から一つの監視画像Kを生成するので、中央監視装置20の機能にかかわらず、異なる撮像方向の画像を同時に動画再生することができる。つまり、監視画像Kを連続して再生(動画再生)することにより、監視画像Kに含まれる4枚の画像を同時に連続して再生(動画再生)し、方向の異なる領域の状態変化を一画面で監視することができる。   On the other hand, since the vehicle-mounted control apparatus 14 of this embodiment produces | generates one monitoring image K from several images, regardless of the function of the central monitoring apparatus 20, it can reproduce simultaneously the moving image reproduction of the image of a different imaging direction. it can. That is, by continuously playing back the monitoring image K (moving image playback), the four images included in the monitoring image K are played back continuously (moving image playback), and the state change of the regions in different directions is displayed on one screen. Can be monitored.

また、本実施形態の監視端末装置10は、監視画像Kの画素数が各車載カメラ11a〜11dの画像の画素数と略同一になるように画像のデータ量を圧縮して監視画像Kを生成することもできる。図7A〜図7Dに示す各画像のサイズは480×640ピクセルであるのに対し、本実施形態では、図8に示すように監視画像Kのサイズが1280×240ピクセルとなるように圧縮処理を行う。これにより、監視画像Kのサイズ(1280×240=307,200ピクセル)が、各画像のサイズ(480×640×4枚=307,200ピクセル)と等しくなるので、監視画像Kを受信した中央監視装置20側の機能にかかわらず、画像処理及び画像再生を行うことができる。   In addition, the monitoring terminal device 10 of the present embodiment generates the monitoring image K by compressing the image data amount so that the number of pixels of the monitoring image K is substantially the same as the number of pixels of the images of the in-vehicle cameras 11a to 11d. You can also While the size of each image shown in FIGS. 7A to 7D is 480 × 640 pixels, in this embodiment, compression processing is performed so that the size of the monitoring image K becomes 1280 × 240 pixels as shown in FIG. Do. As a result, the size of the monitoring image K (1280 × 240 = 307,200 pixels) becomes equal to the size of each image (480 × 640 × 4 = 307,200 pixels). Regardless of the function on the apparatus 20 side, image processing and image reproduction can be performed.

さらに、本実施形態の車載制御装置14は、配置された各画像の境界を示す線図形を、監視画像Kに付することもできる。図8に示す監視画像Kを例にすると、車載制御装置14は、配置された各画像の境界を示す線図形として、各画像の間に矩形の仕切り画像Bb,Bc,Bd,Ba,Ba´を監視画像Kに付することができる。このように、4つの画像の境界に仕切り画像を配置することにより、一連にされた監視画像Kの中で、撮像方向が異なる各画像をそれぞれ別個に認識させることができる。つまり、仕切り画像は各撮像画像の額縁として機能する。また、各撮像画像の境界付近は画像の歪みが大きいので、撮像画像の境界に仕切り画像を配置することにより、歪みの大きい領域の画像を隠すことや、歪みが大きいことを示唆することができる。   Furthermore, the vehicle-mounted control apparatus 14 of this embodiment can also attach the line figure which shows the boundary of each arrange | positioned image to the monitoring image K. FIG. Taking the monitoring image K shown in FIG. 8 as an example, the in-vehicle controller 14 forms a rectangular partition image Bb, Bc, Bd, Ba, Ba ′ between the images as a line figure indicating the boundary between the arranged images. Can be attached to the monitoring image K. In this manner, by arranging the partition images at the boundaries of the four images, it is possible to recognize each image having a different imaging direction in the series of monitoring images K. That is, the partition image functions as a frame of each captured image. In addition, since the image distortion is large in the vicinity of the boundary of each captured image, it is possible to hide the image of the region with large distortion or to suggest that the distortion is large by arranging the partition image at the boundary of the captured image. .

また、本実施形態の車載制御装置14は、後述する投影モデルの側面に設定された投影面に4つの画像を投影させた場合の歪みを補正してから、監視画像Kを生成することもできる。撮影された画像の周辺領域は画像の歪みが生じやすく、特に広角レンズを用いた車載カメラ11である場合には撮像画像の歪みが大きくなる傾向があるため、画像の歪みを補正するために予め定義された画像変換アルゴリズムと補正量とを用いて、撮像画像の歪みを補正することが望ましい。   Moreover, the vehicle-mounted control apparatus 14 of this embodiment can also generate | occur | produce the monitoring image K, after correct | amending the distortion at the time of projecting four images on the projection surface set to the side surface of the projection model mentioned later. . In the peripheral area of the captured image, image distortion is likely to occur. In particular, in the case of the in-vehicle camera 11 using the wide-angle lens, the distortion of the captured image tends to be large, so in order to correct the image distortion in advance. It is desirable to correct the distortion of the captured image using the defined image conversion algorithm and correction amount.

特に限定されないが、車載制御装置14は、図9に示すように、中央監視装置20において監視画像Kを投影させる投影モデルと同じ投影モデルの情報をROMから読み出し、この投影モデルの投影面に撮像画像を投影し、投影面において生じた歪みを予め補正することもできる。なお、画像変換アルゴリズムと補正量は車載カメラ11の特性、投影モデルの形状に応じて適宜定義することができる。このように、投影モデルの投影面に関し画像Kを投影した場合の歪みを予め補正しておくことにより、歪みの少ない視認性の良い監視画像Kを提供することができる。また、歪みを予め補正しておくことにより、並べて配置された各画像同士の位置ズレを低減させることができる。   Although not particularly limited, as shown in FIG. 9, the in-vehicle control device 14 reads out information of the same projection model as the projection model for projecting the monitoring image K in the central monitoring device 20 from the ROM, and images it on the projection plane of the projection model. It is also possible to project an image and correct in advance distortion generated on the projection surface. The image conversion algorithm and the correction amount can be appropriately defined according to the characteristics of the in-vehicle camera 11 and the shape of the projection model. In this way, by correcting in advance the distortion when the image K is projected with respect to the projection plane of the projection model, it is possible to provide the monitoring image K with good visibility with less distortion. Further, by correcting the distortion in advance, it is possible to reduce the positional deviation between the images arranged side by side.

次に、マッピング情報付加機能について説明する。本実施形態の監視端末装置10において、車載制御装置14は、乗用車Vの接地面を底面とする柱体の投影モデルMの側面に設定された投影面に、生成された監視画像Kを投影するためのマッピング情報を監視画像Kに対応づける処理を実行する。マッピング情報は、監視画像Kを受信した中央監視装置20に、容易に投影基準位置を認識させるための情報である。図10は本実施形態の投影モデルMの一例を示す図、図11は図10に示す投影モデルMのxy面に沿う断面模式図である。   Next, the mapping information addition function will be described. In the monitoring terminal device 10 of the present embodiment, the in-vehicle control device 14 projects the generated monitoring image K on the projection plane set on the side surface of the projection model M of the columnar body with the ground contact surface of the passenger car V as the bottom surface. A process for associating the mapping information for monitoring with the monitoring image K is executed. The mapping information is information for allowing the central monitoring device 20 that has received the monitoring image K to easily recognize the projection reference position. FIG. 10 is a diagram illustrating an example of the projection model M of the present embodiment, and FIG. 11 is a schematic cross-sectional view along the xy plane of the projection model M illustrated in FIG.

図10,11に示すように、本実施形態の投影モデルMは、底面が正八角形で、鉛直方向(図中z軸方向)に沿って高さを有する正八角柱体である。なお、投影モデルMの形状は、底面の境界に沿って隣接する側面を有する柱体であれば特に限定されず、円柱体、若しくは三角柱体、四角柱体、六角柱体などの角柱体、又は底面が多角形で側面が三角形の反角柱体とすることもできる。   As shown in FIGS. 10 and 11, the projection model M of the present embodiment is a regular octagonal prism body having a regular octagonal bottom surface and a height along the vertical direction (z-axis direction in the figure). Note that the shape of the projection model M is not particularly limited as long as it is a column having side surfaces adjacent to each other along the boundary of the bottom surface, and is a cylinder, or a prism, such as a triangular column, a quadrangular column, or a hexagonal column, or An anti-rectangular column having a polygonal bottom surface and a triangular side surface can also be used.

また、同図に示すように、本実施形態の投影モデルMの底面は乗用車Vの接地面と平行である。また、投影モデルMの側面の内側面には、投影モデルMの底面に接地する乗用車Vの周囲の映像を映し出す投影面Sa,Sb,Sc,Sd(以下、投影面Sと総称する。)が設定されている。投影面Sは、投影面Saの一部と投影面Sbの一部、投影面Sbの一部と投影面Scの一部、投影面Scの一部と投影面Sdの一部、投影面Sdの一部と投影面Saの一部により構成することもできる。監視画像Kは、乗用車Vを取り囲む投影モデルMの上方の視点R(R1〜R8、以下、視点Rと総称する。)から乗用車Vを俯瞰した映像として投影面Sに投影される。   Further, as shown in the figure, the bottom surface of the projection model M of the present embodiment is parallel to the ground contact surface of the passenger car V. Projection surfaces Sa, Sb, Sc, and Sd (hereinafter collectively referred to as a projection surface S) that project an image around the passenger vehicle V that contacts the bottom surface of the projection model M are provided on the inner surface of the side surface of the projection model M. Is set. The projection surface S includes a part of the projection surface Sa and a part of the projection surface Sb, a part of the projection surface Sb and a part of the projection surface Sc, a part of the projection surface Sc and a part of the projection surface Sd, and the projection surface Sd. And a part of the projection surface Sa. The monitoring image K is projected onto the projection plane S as an image of the passenger car V viewed from above the viewpoint R (R1 to R8, hereinafter collectively referred to as viewpoint R) above the projection model M surrounding the passenger car V.

本実施形態の車載制御装置14は、右端又は左端に配置された撮像画像の基準座標を、マッピング情報として監視画像Kに対応づける。図8に示す監視画像Kを例にすると、車載制御装置14は、投影モデルMに投影される際の、監視画像Kの始端位置又は終端位置を示すマッピング情報(基準座標)として、右端に配置された撮像画像GSP1の左上頂点の座標A(x、y)と、左端に配置された撮像画像GSP2の右上頂点の座標B(x、y)とを監視画像Kに付する。なお、始端位置又は終端位置を示す撮像画像の基準座標は特に限定されず、左端に配置された監視画像Kの左下頂点、又は右端に配置された監視画像Kの右下頂点としてもよい。またマッピング情報は、監視画像Kの画像データの各画素に付してもよいし、監視画像Kとは別のファイルとして管理してもよい。   The in-vehicle control device 14 according to the present embodiment associates the reference coordinates of the captured image arranged at the right end or the left end with the monitoring image K as mapping information. Taking the monitoring image K shown in FIG. 8 as an example, the in-vehicle control device 14 is arranged at the right end as mapping information (reference coordinates) indicating the start end position or the end position of the monitoring image K when projected onto the projection model M. The coordinates A (x, y) of the upper left vertex of the captured image GSP1 and the coordinates B (x, y) of the upper right vertex of the captured image GSP2 arranged at the left end are attached to the monitoring image K. Note that the reference coordinates of the captured image indicating the start position or the end position are not particularly limited, and may be the lower left vertex of the monitoring image K arranged at the left end or the lower right vertex of the monitoring image K arranged at the right end. The mapping information may be attached to each pixel of the image data of the monitoring image K, or may be managed as a file different from the monitoring image K.

このように、監視画像Kの始端位置又は終端位置を示す情報、つまり投影処理において基準とする基準座標をマッピング情報として監視画像Kに対応づけることにより、監視画像Kを受信した中央監視装置20が、容易に投影処理時における基準位置を認識することができるので、車載カメラ11a〜11dの配置順に並べられた監視画像Kを、投影モデルMの側面の投影面Sに容易且つ迅速に順次投影することができる。すなわち、図11に示すように車載カメラ11aの撮像方向に位置する投影面Saに車両前方の撮像画像GSP1を投影し、車載カメラ11bの撮像方向に位置する投影面Sbに車両右側方の撮像画像GSP2を投影し、車載カメラ11cの撮像方向に位置する投影面Scに車両後方の撮像画像GSP3を投影し、車載カメラ11dの撮像方向に位置する投影面Sdに車両左側方の撮像画像GSP4を投影することができる。   As described above, the information indicating the start position or the end position of the monitoring image K, that is, the reference coordinates used as a reference in the projection processing is associated with the monitoring image K as mapping information, whereby the central monitoring apparatus 20 that has received the monitoring image K Since the reference position at the time of the projection process can be easily recognized, the monitoring images K arranged in the arrangement order of the in-vehicle cameras 11a to 11d are easily and rapidly projected onto the projection surface S on the side surface of the projection model M. be able to. That is, as shown in FIG. 11, the captured image GSP1 in front of the vehicle is projected onto the projection surface Sa positioned in the imaging direction of the in-vehicle camera 11a, and the captured image on the right side of the vehicle is projected onto the projection surface Sb positioned in the imaging direction of the in-vehicle camera 11b. GSP2 is projected, a captured image GSP3 behind the vehicle is projected onto a projection plane Sc located in the imaging direction of the in-vehicle camera 11c, and a captured image GSP4 on the left side of the vehicle is projected onto the projection plane Sd positioned in the imaging direction of the in-vehicle camera 11d. can do.

これにより、投影モデルMに投影された監視画像Kは、あたかも乗用車Vの周囲を見回したときに見える映像を示すことができる。つまり、車載カメラ11a〜11dの設置順序に応じて水平方向一列に配置された4つの画像を含む監視画像Kは、投影モデルMの柱体において、同じく水平方向に並ぶ側面に投影されるので、柱体の投影モデルMの投影面Sに投影された監視画像Kに、乗用車Vの周囲の映像をその位置関係を維持したまま再現することができる。   As a result, the monitoring image K projected on the projection model M can show an image as if looking around the passenger car V. That is, since the monitoring image K including the four images arranged in a line in the horizontal direction according to the installation order of the in-vehicle cameras 11a to 11d is projected on the side surfaces that are also aligned in the horizontal direction in the column of the projection model M. An image around the passenger car V can be reproduced in the monitoring image K projected on the projection surface S of the projection model M of the columnar body while maintaining the positional relationship.

なお、本実施形態の車載制御装置14は、監視画像Kの各座標値と投影モデルMの各投影面Sの座標値との対応関係をマッピング情報として記憶し、監視画像Kに付することができるが、中央監視装置20に予め記憶させてもよい。   Note that the in-vehicle control device 14 of the present embodiment stores the correspondence relationship between each coordinate value of the monitoring image K and the coordinate value of each projection plane S of the projection model M as mapping information, and attaches it to the monitoring image K. However, it may be stored in the central monitoring device 20 in advance.

また、図10,11に示す視点R、投影面Sの位置は例示であり、任意に設定することができる。特に、視点Rは、操作者の操作によって変更可能である。視点Rと監視画像Kの投影位置との関係は予め定義されており、視点Rの位置が変更された場合には所定の座標変換を実行することにより、新たに設定された視点Rから見た監視画像Kを投影面S(Sa〜Sd)に投影することができる。この視点変換処理には公知の手法を用いることができる。   Further, the positions of the viewpoint R and the projection plane S shown in FIGS. 10 and 11 are examples, and can be arbitrarily set. In particular, the viewpoint R can be changed by the operation of the operator. The relationship between the viewpoint R and the projection position of the monitoring image K is defined in advance, and when the position of the viewpoint R is changed, a predetermined coordinate transformation is performed, so that the viewpoint R is viewed from the newly set viewpoint R. The monitoring image K can be projected onto the projection surface S (Sa to Sd). A known method can be used for this viewpoint conversion processing.

以上のように、本実施形態の車載制御装置14は、所定タイミングで撮影された画像情報に基づいて監視画像Kを生成し、この監視画像Kにマッピング情報、基準座標、境界を示す線図形(仕切り画像)の情報を対応づけ、撮像タイミングに従って経時的に記憶する。特に限定されないが、車載制御装置14は、所定の単位時間あたりに複数の監視画像Kを含む一つの動画ファイルとして監視画像Kを記憶してもよいし、ストリーミング方式で転送・再生が可能な形態で監視画像Kを記憶してもよい。   As described above, the in-vehicle control device 14 according to the present embodiment generates a monitoring image K based on image information captured at a predetermined timing, and the monitoring image K includes a line figure (mapping information, reference coordinates, and boundary). (Partition image) information is associated and stored over time according to the imaging timing. Although not particularly limited, the in-vehicle control device 14 may store the monitoring image K as a single moving image file including a plurality of monitoring images K per predetermined unit time, or can be transferred / reproduced by a streaming method. The monitoring image K may be stored in

一方、中央監視装置20の通信装置23は、監視端末装置10から送信された監視画像Kとこの監視画像Kに対応づけられたマッピング情報を受信する。なお、室内の車載カメラ11eにて撮影された画像情報は別途受信する。この監視画像Kは、上述したとおり乗用車Vのボディの異なる位置に設置された4つの車載カメラ11の画像が、乗用車Vのボディの外周に沿って右回り又は左回りの方向に沿って設置された車載カメラ11a〜11dの設置順序(車両Vのボディの外周に沿う右回り又は左回りの順序)に従って配置されたものである。また、この監視画像Kには、監視画像Kを八角柱体の投影モデルMの投影面Sに投影させるためのマッピング情報が対応づけられている。通信装置23は取得した監視画像K及びマッピング情報を画像処理装置22へ送出する。   On the other hand, the communication device 23 of the central monitoring device 20 receives the monitoring image K transmitted from the monitoring terminal device 10 and the mapping information associated with the monitoring image K. In addition, the image information image | photographed with the indoor vehicle-mounted camera 11e is received separately. In this monitoring image K, as described above, images of the four in-vehicle cameras 11 installed at different positions of the body of the passenger car V are installed along the outer periphery of the body of the passenger car V along the clockwise or counterclockwise direction. The vehicle-mounted cameras 11a to 11d are arranged according to the installation order (clockwise or counterclockwise order along the outer periphery of the body of the vehicle V). The monitoring image K is associated with mapping information for projecting the monitoring image K onto the projection plane S of the octagonal prism projection model M. The communication device 23 sends the acquired monitoring image K and mapping information to the image processing device 22.

画像処理装置22は、予め記憶している投影モデルMを読み出し、マッピング情報に基づいて、図10及び図11に示す乗用車Vの接地面を底面とする八角柱体の投影モデルMの側面に設定された投影面Sa〜Sdに監視画像Kを投影させた表示画像を生成する。具体的には、マッピング情報に従い、受信した監視画像Kの各画素を、投影面Sa〜Sdの各画素に投影する。また、画像処理装置22は、監視画像Kを投影モデルMに投影する際に、監視画像Kと共に受信した基準座標に基づいて、監視画像Kの開始点(監視画像Kの右端又は左端)を認識し、この開始点が予め投影モデルM上に定義された開始点(投影面Sの右端又は左端)と合致するように投影処理を行う。また、画像処理装置22は、監視画像Kを投影モデルMに投影する際に、各画像の境界を示す線図形(仕切り画像)を投影モデルM上に配置する。仕切り画像は、予め投影モデルMに付しておくこともでき、投影処理後に監視画像Kに付すこともできる。   The image processing device 22 reads the projection model M stored in advance, and sets the projection model M on the side surface of the octagonal prism projection model M with the ground contact surface of the passenger car V shown in FIGS. 10 and 11 as the bottom surface based on the mapping information. A display image is generated by projecting the monitoring image K onto the projected planes Sa to Sd. Specifically, according to the mapping information, each pixel of the received monitoring image K is projected onto each pixel of the projection surfaces Sa to Sd. Further, when projecting the monitoring image K onto the projection model M, the image processing device 22 recognizes the start point of the monitoring image K (the right end or the left end of the monitoring image K) based on the reference coordinates received together with the monitoring image K. Then, the projection processing is performed so that the start point coincides with the start point (the right end or the left end of the projection surface S) defined in advance on the projection model M. Further, when projecting the monitoring image K onto the projection model M, the image processing device 22 arranges a line figure (partition image) indicating the boundary of each image on the projection model M. The partition image can be attached to the projection model M in advance, or can be attached to the monitoring image K after the projection processing.

ディスプレイ24は、投影モデルMの投影面Sに投影した監視画像Kを表示する。図12は、監視画像Kの表示画像の一例を示す。なお、マウスやキーボードなどの入力装置25又はディスプレイ24をタッチパネル式の入力装置25とすることで、監視者の操作により視点を自在に設定・変更することができる。視点位置と投影面Sとの対応関係は上述の画像処理装置22又はディスプレイ24において予め定義されているので、この対応関係に基づいて、変更後の視点に応じた監視画像Kをディスプレイ24に表示することができる。   The display 24 displays the monitoring image K projected on the projection plane S of the projection model M. FIG. 12 shows an example of a display image of the monitoring image K. In addition, by using the input device 25 such as a mouse or a keyboard or the display 24 as the touch panel type input device 25, the viewpoint can be freely set and changed by the operation of the supervisor. Since the correspondence relationship between the viewpoint position and the projection plane S is defined in advance in the image processing device 22 or the display 24 described above, the monitoring image K corresponding to the changed viewpoint is displayed on the display 24 based on this correspondence relationship. can do.

次に本実施形態に係る監視システム1の動作について説明する。図3は監視端末装置10側の動作を示すフローチャート、図4A,4Bは中央監視装置20側の動作を示すフローチャートである。同図に示す例は、通信速度検出装置17を監視端末装置10に設けた例であり、監視端末装置10にて電気通信回線網30の通信速度を検出し、検出された通信速度に応じて画像情報のデータ量を調整する一例である。   Next, the operation of the monitoring system 1 according to this embodiment will be described. FIG. 3 is a flowchart showing the operation on the monitoring terminal device 10 side, and FIGS. 4A and 4B are flowcharts showing the operation on the central monitoring device 20 side. The example shown in the figure is an example in which the communication speed detection device 17 is provided in the monitoring terminal device 10. The monitoring terminal device 10 detects the communication speed of the telecommunication network 30 and according to the detected communication speed. It is an example which adjusts the data amount of image information.

図3に示すように、監視端末装置10においては、所定の時間間隔(同図に示す1ルーチン)で車載カメラ11から周囲の映像と室内の映像を取得し、画像処理装置12によって画像情報に変換する(ステップST1)。また、位置検出装置15から当該監視端末装置10が搭載された乗用車Vの現在位置情報を検出する(ステップST2)。   As shown in FIG. 3, in the monitoring terminal device 10, the surrounding video and the indoor video are acquired from the in-vehicle camera 11 at a predetermined time interval (one routine shown in FIG. 3), and image information is obtained by the image processing device 12. Conversion is performed (step ST1). Further, the current position information of the passenger car V on which the monitoring terminal device 10 is mounted is detected from the position detection device 15 (step ST2).

ステップST3では、電気通信回線網30の混雑状況、すなわち通信速度を検出する。たとえば、公知の技術によりダミーデータを送信して上り速度や下り速度を検出することで電気通信回線網30の混雑状況を把握する。ステップST4では、検出された通信速度に基づいて電気通信回線網30が混雑しているか否か、たとえば通信速度が所定の閾値以下である場合は電気通信回線網30が混雑していると判断しステップST5へ進む。   In step ST3, the congestion status of the telecommunication network 30, that is, the communication speed is detected. For example, the congestion status of the telecommunications network 30 is grasped by transmitting dummy data by a known technique and detecting the uplink speed and the downlink speed. In step ST4, it is determined whether or not the telecommunication network 30 is congested based on the detected communication speed. For example, if the communication speed is equal to or less than a predetermined threshold, it is determined that the telecommunication network 30 is congested. Proceed to step ST5.

ステップST5では、送信すべき画像情報のフレームレート、画像サイズ、画像圧縮率(全部または一部)のいずれかを通信速度に応じて設定する。すなわち、通信速度が遅いほど画像情報のデータ量が小さくなるように設定する。   In step ST5, any one of a frame rate, an image size, and an image compression rate (all or a part) of image information to be transmitted is set according to the communication speed. That is, the data amount of the image information is set to be smaller as the communication speed is lower.

ステップST6では、通報ボタン16が押されたか否かを判断し、通報ボタン16が押された場合はステップST7へ進み、ステップST5にてデータ量を調整する前の画像情報を車載制御装置14のメモリRAMに一時的に保存する。そして、ステップST8へ進み、ステップST1にて取得してステップST5で調整した画像情報と、ステップST2で取得した位置情報と、CPUの時刻情報とを関連付け、これらを、異常が発生した旨の異常情報とともに、通信装置13及び電気通信回線網30を介して中央監視装置20へ送信する。これにより、事故、犯罪などの治安に関する異常が発生したことを、乗用車Vの位置情報と、乗用車Vの周囲の画像情報と共に中央監視装置20へ自動送信されるので、街中の監視がより一層強化されることになる。また、電気通信回線網30が混雑している場合にはデータ量が小さく設定された画像情報を送信するので、中央監視装置20においてリアルタイムの画像情報を監視することができる。   In step ST6, it is determined whether or not the notification button 16 has been pressed. If the notification button 16 has been pressed, the process proceeds to step ST7, and the image information before adjusting the data amount in step ST5 is displayed on the in-vehicle control device 14. Temporarily save in memory RAM. Then, the process proceeds to step ST8, where the image information acquired in step ST1 and adjusted in step ST5 is associated with the position information acquired in step ST2 and the time information of the CPU, and these are abnormalities indicating that an abnormality has occurred. Along with the information, the information is transmitted to the central monitoring device 20 via the communication device 13 and the telecommunication network 30. As a result, the occurrence of an abnormality related to security such as an accident or crime is automatically transmitted to the central monitoring device 20 together with the position information of the passenger car V and the image information around the passenger car V, thereby further strengthening the monitoring in the city. Will be. In addition, when the telecommunication network 30 is congested, image information with a small data amount is transmitted, so that the central monitoring device 20 can monitor real-time image information.

ステップST6に戻り、通報ボタン16が押されていない場合はステップST9へ進み、中央監視装置20から画像送信指令を入力する。そして、ステップST10にて中央監視装置20から画像送信指令がある場合はステップST11へ進んで、ステップST1にて取得してステップST5にてデータ量を調整した画像情報と、ステップST2で取得した位置情報と、CPUの時刻情報とを関連付け、これらを通信装置13及び電気通信回線網30を介して中央監視装置20へ送信する。これにより、乗用車Vの搭乗者が通報ボタン16を押さなくとも、中央監視装置20を操作する監視者が要求した場合に、必要とされる画像情報を適宜送信することができる。なお、この場合の画像情報も電気通信回線網30が混雑状況に応じたデータ量とされているので、中央監視装置20においてリアルタイムで画像情報を監視することができる。   Returning to step ST <b> 6, if the notification button 16 is not pressed, the process proceeds to step ST <b> 9 and an image transmission command is input from the central monitoring device 20. If there is an image transmission command from the central monitoring device 20 in step ST10, the process proceeds to step ST11, the image information acquired in step ST1 and the data amount adjusted in step ST5, and the position acquired in step ST2. The information is associated with the CPU time information, and these are transmitted to the central monitoring device 20 via the communication device 13 and the telecommunication network 30. Thereby, even if the passenger of the passenger car V does not press the notification button 16, the required image information can be appropriately transmitted when requested by the supervisor operating the central monitoring device 20. Note that the image information in this case is also the amount of data corresponding to the congestion status of the telecommunication network 30, so that the central monitoring device 20 can monitor the image information in real time.

ステップST10において、中央監視装置20から画像送信指令がない場合にはステップST12へ進み、自車両Vが所定の重点監視領域に存在するか否かを位置情報により判断する。重点監視領域とは、銀行、官公庁その他の公的機関など、他の箇所より監視強化が必要とされる区域である。そして、自車両Vが所定の重点監視領域に存在する場合はステップST13へ進み、ステップST1にて取得してステップST5でデータ量を調整した画像情報と、ステップST2で取得した位置情報と、CPUの時刻情報とを関連付け、これらを通信装置13及び電気通信回線網30を介して中央監視装置20へ送信する。これにより、中央監視装置20から画像送信指令がなくても、監視端末装置10から必要とされる画像情報を適宜送信することができる。なお、この場合の画像情報も電気通信回線網30が混雑状況に応じたデータ量とされているので、中央監視装置20においてリアルタイムで画像情報を監視することができる。また、このステップST8は、図4BのステップST23と重複するのでいずれか一方を省略してもよい。   In step ST10, if there is no image transmission command from the central monitoring device 20, the process proceeds to step ST12, and it is determined from the position information whether or not the host vehicle V exists in a predetermined priority monitoring area. Priority monitoring areas are areas that require stronger monitoring than other locations, such as banks, government offices, and other public institutions. If the host vehicle V is present in the predetermined priority monitoring area, the process proceeds to step ST13, the image information acquired in step ST1 and the data amount adjusted in step ST5, the position information acquired in step ST2, and the CPU Are transmitted to the central monitoring device 20 via the communication device 13 and the telecommunication network 30. Thereby, even if there is no image transmission command from the central monitoring device 20, the image information required from the monitoring terminal device 10 can be transmitted suitably. Note that the image information in this case is also the amount of data corresponding to the congestion status of the telecommunication network 30, so that the central monitoring device 20 can monitor the image information in real time. Moreover, since this step ST8 overlaps with step ST23 of FIG. 4B, either one may be omitted.

ステップST12において、自車両Vが所定の重点監視領域にない場合はステップST11へ進み、ステップST2で取得した位置情報のみを通信装置13及び電気通信回線網30を介して中央監視装置20へ送信する。そして、中央監視装置20側では、各乗用車Vの現在位置を地図情報上に表示するので(図4AのステップST12)、各乗用車Vの現在位置をタイムリーに把握することができる。   In step ST12, when the own vehicle V is not in the predetermined priority monitoring region, the process proceeds to step ST11, and only the position information acquired in step ST2 is transmitted to the central monitoring device 20 via the communication device 13 and the telecommunication network 30. . Since the current position of each passenger car V is displayed on the map information on the central monitoring device 20 side (step ST12 in FIG. 4A), the current position of each passenger car V can be grasped in a timely manner.

ステップST4へ戻り、電気通信回線網30が混雑していない場合はステップST14へ進み、以前のルーチン(ステップST7)で車載制御装置14のメモリRAMに画像情報が保存されているか否かを検出する。そして、メモリRAMに画像情報が保存されている場合は、その画像情報を取得した位置情報や時刻情報と共に中央監視装置20へ送信する。この画像情報は過去の情報ではあるが、電気通信回線網30が混雑していない場合に送信しておけば、事故や犯罪の事後分析等に供することができる。   Returning to step ST4, if the telecommunication network 30 is not congested, the process proceeds to step ST14, where it is detected whether image information is stored in the memory RAM of the in-vehicle control device 14 in the previous routine (step ST7). . When image information is stored in the memory RAM, the image information is transmitted to the central monitoring device 20 together with the acquired position information and time information. Although this image information is past information, if it is transmitted when the telecommunication network 30 is not congested, it can be used for post-mortem analysis of accidents and crimes.

一方、中央監視装置20においては、図4Aに示すように監視端末装置10を搭載した乗用車全てから、位置情報と異常情報を取得する(ステップST111)。なお、通信負荷が高くなければこのタイミングで画像情報を取得してもよい。   On the other hand, as shown in FIG. 4A, the central monitoring device 20 acquires position information and abnormality information from all the passenger cars equipped with the monitoring terminal device 10 (step ST111). If the communication load is not high, the image information may be acquired at this timing.

ステップST112では、ステップST111で取得した位置情報に基づいて乗用車Vを、ディスプレイ24に表示された地図データベースの地図情報上に図1の左上に示すように表示する。乗用車Vの位置情報は、図3の1ルーチン毎の所定のタイミングにて取得され送信されるので、監視者は乗用車Vの現在位置をタイムリーに把握することができる。   In step ST112, the passenger car V is displayed on the map information of the map database displayed on the display 24 as shown in the upper left of FIG. 1 based on the position information acquired in step ST111. Since the position information of the passenger car V is acquired and transmitted at a predetermined timing for each routine in FIG. 3, the supervisor can grasp the current position of the passenger car V in a timely manner.

ステップST113では、乗用車Vの監視端末装置10から通報される異常情報、すなわち事故、犯罪などの治安に関する異常が発生した旨の通報を受信したか否かを判断する。この異常情報は、乗用車Vの搭乗者が監視端末装置10の通報ボタン16を押すことで出力される。異常情報がある場合は、ステップST114にて異常情報が出力された乗用車Vを特定し、その乗用車の監視端末装置10から画像情報および時刻情報を受信し、画像情報をディスプレイ24に表示する。また、図1左上に示すように、地図情報上に表示されたその乗用車を他の乗用車と識別できるように色彩を変更するなど、強調表示を行う。これにより、異常が発生した位置を地図情報上で視認することができるとともに、異常内容をディスプレイ24にて把握することができる。   In step ST113, it is determined whether or not abnormality information notified from the monitoring terminal device 10 of the passenger car V, that is, a notification that an abnormality relating to security such as an accident or a crime has occurred has been received. This abnormality information is output when the passenger of the passenger car V presses the notification button 16 of the monitoring terminal device 10. If there is abnormality information, the passenger vehicle V to which the abnormality information is output is identified in step ST114, image information and time information are received from the monitoring terminal device 10 of the passenger vehicle, and the image information is displayed on the display 24. Further, as shown in the upper left of FIG. 1, highlighting is performed such as changing the color so that the passenger car displayed on the map information can be distinguished from other passenger cars. Thereby, the position where the abnormality has occurred can be visually recognized on the map information, and the abnormality content can be grasped on the display 24.

次のステップST115では、異常情報を出力した乗用車Vの近傍(所定距離内)を走行する乗用車Vを検出し、その乗用車Vに対して画像情報および時刻情報の送信指令を出力する。これにより異常情報を出力した乗用車Vの近傍を走行する乗用車Vから画像情報を取得することができるので、異常情報を出力した乗用車Vからの画像情報に加えた複数の画像情報により、異常情報の内容を詳細に把握することができる。   In the next step ST115, the passenger vehicle V traveling in the vicinity (within a predetermined distance) of the passenger vehicle V that has output the abnormality information is detected, and a transmission command of image information and time information is output to the passenger vehicle V. As a result, the image information can be acquired from the passenger car V that travels in the vicinity of the passenger vehicle V that has output the abnormality information. Therefore, the abnormality information can be obtained from a plurality of image information in addition to the image information from the passenger vehicle V that has output the abnormality information. The contents can be grasped in detail.

ステップST116では、異常情報を出力した乗用車Vの位置情報をパトカー、救急車、消防車等の緊急自動車へ送信する。この場合に、異常内容を報知するために画像情報を添付して送信してもよい。これにより、現場からの通報が入る前に緊急自動車を出動させることができ、事故や犯罪に対する迅速な対処が可能となる。   In step ST116, the position information of the passenger vehicle V that has output the abnormality information is transmitted to an emergency vehicle such as a police car, an ambulance, or a fire engine. In this case, image information may be attached and transmitted in order to notify the abnormal content. As a result, the emergency vehicle can be dispatched before a report from the site is entered, and a quick response to an accident or crime is possible.

ステップST117では、監視端末装置10から受信した全ての位置情報、画像情報および時刻情報を記録媒体へ記録する。この記録は、事故や犯罪の発生後においてこれらを解決する際に用いられる。なお、ステップST113にて異常情報がない場合はステップST114〜ST117の処理を行うことなくステップST118へ進む。   In step ST117, all position information, image information, and time information received from the monitoring terminal device 10 are recorded on the recording medium. This record is used to resolve these after an accident or crime. If there is no abnormality information in step ST113, the process proceeds to step ST118 without performing the processes in steps ST114 to ST117.

ステップST118では、パトカー、救急車又は消防車などの緊急自動車から画像情報の送信指令があるか否かを判断し、送信指令が入力された場合にはステップST119へ進む。ステップST119では、画像情報の送信指令で特定された地域に乗用車Vが存在するか否かを判断し、乗用車Vが存在する場合はステップST120へ進む。そして、ステップST120において、画像情報の送信指令で特定された地域に存在する乗用車Vに対して画像情報の送信指令を出力する。これにより、次のルーチンのステップST111にてその乗用車Vからの画像情報を取得することができ、これを緊急自動車に転送したり、緊急自動車からの送信指令の意味を把握したりすることができる。なお、ステップST118及びST119に該当しない場合はステップST118〜ST120の処理を行うことなくステップST121へ進む。   In step ST118, it is determined whether there is an image information transmission command from an emergency vehicle such as a police car, an ambulance, or a fire engine. If a transmission command is input, the process proceeds to step ST119. In step ST119, it is determined whether or not the passenger car V exists in the area specified by the image information transmission command. If the passenger car V exists, the process proceeds to step ST120. Then, in step ST120, an image information transmission command is output to the passenger vehicle V existing in the area specified by the image information transmission command. Thereby, in step ST111 of the next routine, the image information from the passenger vehicle V can be acquired, and this can be transferred to the emergency vehicle or the meaning of the transmission command from the emergency vehicle can be grasped. . In addition, when it does not correspond to step ST118 and ST119, it progresses to step ST121, without performing the process of steps ST118-ST120.

ステップST121では、予め設定された犯罪多発地帯などの不審箇所の近傍領域に乗用車Vが存在するか否かを判断し、存在する場合はステップST122へ進んでその乗用車Vに対して画像情報の送信指令を出力する。これにより、不審箇所の監視を強化することができ、犯罪の未然防止が期待できる。なお、不審箇所の近傍領域に乗用車Vが存在しない場合はステップST122の処理を行うことなくステップST123へ進む。   In step ST121, it is determined whether or not there is a passenger vehicle V in a region near a suspicious location such as a crime-prone area that has been set in advance, and if it exists, the process proceeds to step ST122 and image information is transmitted to the passenger vehicle V. Outputs a command. Thereby, monitoring of a suspicious part can be strengthened and it can be expected to prevent crime. If the passenger vehicle V does not exist in the vicinity region of the suspicious part, the process proceeds to step ST123 without performing the process of step ST122.

ステップST123では、予め設定された重点監視領域の近傍領域に乗用車Vが存在するか否かを判断し、存在する場合はステップST124へ進んでその乗用車Vに対して画像情報の送信指令を出力する。これにより、重点監視領域の監視を強化することができ、犯罪の未然防止が期待できる。なお、重点監視領域の近傍領域に乗用車Vが存在しない場合はステップST124の処理を行うことなくステップST125へ進む。   In step ST123, it is determined whether or not the passenger car V is present in the vicinity of the preset priority monitoring area. If present, the process proceeds to step ST124 and an image information transmission command is output to the passenger car V. . As a result, monitoring of the priority monitoring area can be strengthened, and crime prevention can be expected. If the passenger vehicle V does not exist in the vicinity area of the priority monitoring area, the process proceeds to step ST125 without performing the process of step ST124.

ステップST125では、各乗用車Vから受信した位置情報に基づいて、監視が必要とされる所定領域(不審箇所及び重点監視領域には限定されない)内に、一定時間内に乗用車Vが走行していない路線があるか否かを判断し、そのような路線があった場合において、その路線を走行する乗用車Vがあるか否かを監視する。そして、直近にその路線を走行する乗用車Vが存在すれば、ステップST126へ進み、その乗用車Vに対して画像情報の送信指令を出力する。これにより、不審箇所や重点監視領域以外の区域であって乗用車Vの通行量が少ない路線の画像情報を自動的に取得することができる。なお、ステップST125の条件を満足する路線がない場合はステップST126の処理を行うことなくステップST111へ戻る。   In step ST125, based on the positional information received from each passenger vehicle V, the passenger vehicle V has not traveled within a predetermined time within a predetermined area that is required to be monitored (not limited to the suspicious location and the priority monitoring area). It is determined whether there is a route, and when there is such a route, it is monitored whether there is a passenger vehicle V traveling on the route. If there is a passenger car V traveling on the route most recently, the process proceeds to step ST126, and an image information transmission command is output to the passenger car V. Thereby, it is possible to automatically acquire image information of a route that is a region other than the suspicious portion or the priority monitoring region and has a small traffic volume of the passenger car V. If there is no route that satisfies the condition of step ST125, the process returns to step ST111 without performing the process of step ST126.

次に他の実施形態に係る監視システム1の動作について説明する。図13は監視端末装置10側の動作を示すフローチャート、図14は中央監視装置20側の動作を示すフローチャートであり、図4Aに相当するステップである。同図に示す例は、通信速度検出装置17を監視端末装置10に設けた例であり、中央監視装置20にて電気通信回線網30の通信速度を検出し、検出された通信速度に応じて画像情報のデータ量を調整する一例である。   Next, the operation of the monitoring system 1 according to another embodiment will be described. FIG. 13 is a flowchart showing the operation on the monitoring terminal device 10 side, FIG. 14 is a flowchart showing the operation on the central monitoring device 20 side, and corresponds to FIG. 4A. The example shown in the figure is an example in which the communication speed detection device 17 is provided in the monitoring terminal device 10, the central monitoring device 20 detects the communication speed of the telecommunication network 30, and according to the detected communication speed. It is an example which adjusts the data amount of image information.

本例は、図3及び図4A,4Bの例に比べて、図14のステップST112A〜112Cと、図13のステップST4が相違する。すなわち、図14のステップST112A〜ST112Cに示すように、中央監視装置20側で電気通信回線網30の混雑状況、すなわち通信速度と、それに応じたフレームレート、画像サイズ、画像の圧縮率の設定指令値を求め、これを監視端末装置10へ出力する。監視端末装置10では、この設定指令値が送信されたか否かをステップST4にて判断し、受信した場合には当該設定指令値に従って画像情報のデータ量を調整する。   In this example, steps ST112A to 112C in FIG. 14 and step ST4 in FIG. 13 are different from the examples in FIGS. 3 and 4A and 4B. That is, as shown in steps ST112A to ST112C in FIG. 14, the central monitoring device 20 side is instructed to set the congestion status of the telecommunication network 30, that is, the communication speed, and the frame rate, image size, and image compression rate corresponding to the communication speed. A value is obtained and output to the monitoring terminal device 10. The monitoring terminal device 10 determines whether or not this setting command value has been transmitted in step ST4, and if received, adjusts the data amount of the image information according to the setting command value.

図15及び図16はさらに他の実施形態に係る監視システム1の動作を示すフローチャートである。同図に示す例は、通信速度検出装置17の機能を監視端末装置10及び中央監視装置20の両方で分担する例であり、中央監視装置20にて電気通信回線網30の通信速度を検出し、監視端末装置10にて検出された通信速度に応じて混雑状況を判断し、画像情報のデータ量を調整する一例である。本例は、図3及び図4A,4Bの例に比べて、図15のステップST3A〜3Bと、図16のステップST112A,112Bが相違する。すなわち、図16のステップST112A〜ST112Bに示すように、中央監視装置20側で電気通信回線網30の混雑状況、すなわち通信時間を求め、これを監視端末装置10へ出力する。監視端末装置10では、通信時間から通信速度を算出し、それに応じたフレームレート、画像サイズ、画像の圧縮率の設定値を求め、当該設定値に従って画像情報のデータ量を調整する。   15 and 16 are flowcharts showing the operation of the monitoring system 1 according to still another embodiment. The example shown in the figure is an example in which the function of the communication speed detection device 17 is shared by both the monitoring terminal device 10 and the central monitoring device 20, and the central monitoring device 20 detects the communication speed of the telecommunication network 30. This is an example of determining the congestion state according to the communication speed detected by the monitoring terminal device 10 and adjusting the data amount of the image information. In this example, steps ST3A to 3B in FIG. 15 and steps ST112A and 112B in FIG. 16 are different from the examples in FIGS. 3 and 4A and 4B. That is, as shown in steps ST112A to ST112B in FIG. 16, the central monitoring device 20 side obtains the congestion status of the telecommunications network 30, that is, the communication time, and outputs this to the monitoring terminal device 10. The monitoring terminal device 10 calculates a communication speed from the communication time, obtains a set value of a frame rate, an image size, and an image compression rate according to the communication speed, and adjusts the data amount of the image information according to the set value.

以上のとおり、本実施形態の監視システムは以下の効果を奏する。
(1)本例の監視システム1は、複数の乗用車Vに車載カメラ11を装着し、当該車載カメラで周囲を撮像するとともに、乗用車Vの位置情報を位置検出装置15で検出するので、固定カメラに比べて少数の車載カメラで広い範囲を監視することができる。また、複数の乗用車Vはランダムに走行するので、固定カメラに比べて少数の車載カメラで死角を少なくすることができる。また、乗用車Vに搭載されたカメラであるため、固定カメラに比べて、監視阻止を目的に破壊される可能性が少ない。また、広い範囲を監視できるので監視者の巡回作業を低減することができる。
As described above, the monitoring system of the present embodiment has the following effects.
(1) Since the monitoring system 1 of this example attaches the vehicle-mounted camera 11 to a plurality of passenger vehicles V, images the surroundings with the vehicle-mounted camera, and detects the position information of the passenger vehicle V with the position detection device 15, the fixed camera Compared with, it is possible to monitor a wide range with a small number of in-vehicle cameras. Further, since the plurality of passenger cars V travel at random, the number of blind spots can be reduced with a small number of in-vehicle cameras as compared with the fixed cameras. In addition, since the camera is mounted on the passenger car V, it is less likely to be destroyed for the purpose of monitoring prevention compared to a fixed camera. Moreover, since a wide range can be monitored, it is possible to reduce the patrol work of the supervisor.

(2)本例の監視システム1は、電気通信回線網30が混雑している場合にはデータ量が小さく設定された画像情報を送信するので、中央監視装置20においてリアルタイムの画像情報を監視することができる。 (2) Since the monitoring system 1 of this example transmits image information with a small data amount when the telecommunication network 30 is congested, the central monitoring device 20 monitors real-time image information. be able to.

(3)本例の監視システム1は、位置情報及び画像情報に加えて時刻情報も取得するので、事故や犯罪の事後解析を行う際に、時刻情報に沿って位置情報と画像情報を整理することができ、事件解決への寄与が期待できる。 (3) Since the monitoring system 1 of this example also acquires time information in addition to position information and image information, the position information and image information are arranged along the time information when performing a postmortem analysis of an accident or a crime. Can contribute to the resolution of the case.

(4)本例の監視システム1は、位置情報は常時取得して送信する一方で、画像情報は異常状態の場合や中央監視装置20から要求があった場合に取得して送信するので、通信容量を必要最少とすることができ、通信速度の低下を抑制することができる。また、情報の記録容量も必要最少とすることができ、廉価かつ小型のシステムとすることができる。 (4) Since the monitoring system 1 of this example always acquires and transmits the position information, the image information is acquired and transmitted in the abnormal state or when requested by the central monitoring device 20. The capacity can be minimized, and a decrease in communication speed can be suppressed. Further, the information recording capacity can be minimized, and an inexpensive and small system can be obtained.

(5)本例の監視端末装置10に通報ボタン16を設けているので、乗用車Vの搭乗者が異常を発見した場合に、位置情報及び画像情報とともに中央監視装置20へ即座にその旨を通報することができる。その結果、電話等による説明に比べて、異常内容の把握を正確、迅速且つ容易に行うことができ、事件の初動捜査等への貢献が期待できる。 (5) Since the notification button 16 is provided in the monitoring terminal device 10 of this example, when the passenger of the passenger car V finds an abnormality, the central monitoring device 20 is immediately notified together with the position information and the image information. can do. As a result, it is possible to grasp the contents of the abnormality more accurately, quickly and easily than the explanation by telephone or the like, and to contribute to the initial investigation of the incident.

(6)本例の監視システム1は、乗用車Vが、犯罪多発地帯などの不審領域、銀行や官公庁などの重点監視領域その他の所定領域に入ったら位置情報とともに画像情報を送信するので、異常が発生する前に特定地域を詳細に監視することができ、異常発生を未然に防止することができる。 (6) Since the monitoring system 1 of this example transmits image information together with position information when the passenger vehicle V enters a suspicious area such as a crime-prone area, a priority monitoring area such as a bank or a public office, and other predetermined areas, an abnormality is detected. It is possible to monitor a specific area in detail before it occurs, and to prevent an abnormality from occurring.

(7)本例の監視端末装置10は、中央監視装置20からの画像送信指令を受け付けたら画像情報を位置情報とともに送信するので、監視者は、現場に出動することなく、希望する位置の映像を中央監視装置20が設置された場所で確認することができる。 (7) Since the monitoring terminal device 10 in this example receives the image transmission command from the central monitoring device 20, the monitoring terminal device 10 transmits the image information together with the position information. Can be confirmed at the place where the central monitoring device 20 is installed.

(8)本例の中央監視装置20は、監視端末装置から受信した位置情報をディスプレイ24の地図情報上に表示するので、情報検出可能な乗用車Vの配置を中央監視装置20にて把握することができる。その結果、画像情報が取得できる領域の分布が把握でき、監視者の配備計画への寄与が期待できる。また、必要に応じて監視端末装置10から受信した画像情報をディスプレイ24に表示するので、監視者は、現場に出動することなく、希望する位置の映像を中央監視装置20が設置された場所で確認することができる。 (8) Since the central monitoring device 20 of the present example displays the position information received from the monitoring terminal device on the map information on the display 24, the central monitoring device 20 grasps the arrangement of the passenger vehicle V capable of detecting information. Can do. As a result, it is possible to grasp the distribution of the area from which image information can be acquired, and to contribute to the monitoring plan of the supervisor. Moreover, since the image information received from the monitoring terminal device 10 is displayed on the display 24 as necessary, the monitor can view the video of the desired position at the place where the central monitoring device 20 is installed without going to the site. Can be confirmed.

(9)本例の中央監視装置20は、監視端末装置10から異常情報を受信したら、ディスプレイ24において通報した乗用車Vの表示を強調表示するとともに、その乗用車Vから受信した画像情報をディスプレイ24に表示するので、位置と映像とを即座に確認することができ、迅速な事件対応が期待できる。 (9) When the central monitoring device 20 of this example receives the abnormality information from the monitoring terminal device 10, the central monitoring device 20 highlights the display of the passenger car V notified on the display 24 and displays the image information received from the passenger car V on the display 24. Since it is displayed, it is possible to immediately confirm the position and the video, and prompt response to the incident can be expected.

(10)本例の中央監視装置20は、監視端末装置10から異常情報を受信したら、異常情報を発信した乗用車Vの近傍領域を走行する乗用車Vに画像送信指令を送信するので、1台の乗用車Vからの画像情報だけでなく複数の乗用車Vからの画像情報が即座に取得でき、異常内容の把握が容易になる。 (10) When the central monitoring device 20 of this example receives the abnormality information from the monitoring terminal device 10, the central monitoring device 20 transmits an image transmission command to the passenger vehicle V that travels in the vicinity of the passenger vehicle V that has transmitted the abnormality information. Not only the image information from the passenger car V but also the image information from the plurality of passenger cars V can be acquired immediately, and the contents of the abnormality can be easily grasped.

(11)本例の中央監視装置20は、監視端末装置10から異常情報を受信したら、パトカー、救急車及び消防車などの緊急自動車に異常情報を送信するので、事件への対応を迅速に行うことができる。また、異常情報とともに位置情報及び画像情報を緊急自動車へ送信することで、緊急自動車側において異常内容を迅速且つ正確に把握することができる。 (11) When the central monitoring device 20 of this example receives the abnormality information from the monitoring terminal device 10, it transmits the abnormality information to emergency vehicles such as police cars, ambulances, and fire engines, so that the incident can be quickly handled. Can do. Further, by transmitting the position information and the image information together with the abnormality information to the emergency vehicle, it is possible to quickly and accurately grasp the abnormality content on the emergency vehicle side.

(12)本例の中央監視装置20は、乗用車Vが犯罪多発地帯などの不審領域、銀行や官公庁などの重点監視領域その他の所定領域に入ったら、位置情報とともに画像情報を取得するので、異常が発生する前に特定地域を詳細に監視することができ、異常発生を未然に防止することができる。 (12) The central monitoring device 20 of this example acquires image information together with position information when the passenger vehicle V enters a suspicious area such as a crime-prone area, a priority monitoring area such as a bank or a public office, and other abnormal areas. It is possible to monitor a specific area in detail before the occurrence of an anomaly and prevent an occurrence of an abnormality.

(13)本例の中央監視装置20は、乗用車Vからの位置情報に基づいて交通量の激頻領域を判別し、この激頻領域に乗用車Vが入ったら画像情報を取得するので、不審箇所や重点監視領域以外の区域であっても交通量の少ない領域を効率的に監視することができ、監視者による巡回作業を低減することができる。 (13) Since the central monitoring device 20 of this example determines the traffic volume severe region based on the position information from the passenger car V, and acquires the image information when the passenger vehicle V enters the severe region, the suspicious location Even in areas other than the priority monitoring areas, it is possible to efficiently monitor areas with a small amount of traffic, and to reduce the patrol work by the supervisor.

なお、上述した実施形態では、乗用車Vの位置情報と車載カメラ11a〜11eからの画像情報を取得するようにしたが、図1に示す、街中に設置された固定カメラ11fからの画像情報と組み合わせて取得してもよい。また、位置情報と画像情報を取得する乗用車Vは、図1に示すように予め決められた領域を走行するタクシーV1やバスを用いることが望ましいが、自家用自動車V2や緊急自動車V3を用いてもよい。   In the above-described embodiment, the position information of the passenger car V and the image information from the in-vehicle cameras 11a to 11e are acquired. However, in combination with the image information from the fixed camera 11f installed in the city shown in FIG. May be obtained. Moreover, as for the passenger car V which acquires positional information and image information, it is desirable to use the taxi V1 and bus | bath which drive | work a predetermined area | region as shown in FIG. 1, but even if it uses private car V2 and emergency car V3 Good.

また、上述した実施形態では、乗用車Vに5つのカメラを搭載し、このうち4つの車載カメラ11a〜11dを用いて360°周囲の映像を画像情報として取得したが、室内の車載カメラ11eを省略してもよい。また、交通量が多い監視領域のように多くの乗用車Vから画像情報が取得できる環境等であれば特に、4つの車載カメラ11a〜11dを3つ以下にしてもよい。   Further, in the above-described embodiment, five cameras are mounted on the passenger car V, and images around 360 ° are acquired as image information using four on-vehicle cameras 11a to 11d, but the on-vehicle camera 11e is omitted. May be. In addition, the number of the four on-vehicle cameras 11a to 11d may be three or less as long as it is an environment where image information can be acquired from many passenger cars V as in a monitoring area where there is a lot of traffic.

上記乗用車Vは本発明に係る移動体に相当し、上記位置検出装置15は本発明に係る位置検出手段に相当し、上記車載カメラ11及び画像処理装置12は本発明に係る画像生成手段に相当し、上記車載制御装置14は本発明に係る制御手段に相当し、上記車載制御装置14のCPUは本発明に係る時刻検出手段に相当し、上記通信速度検出装置17は本発明に係る通信速度検出手段に相当し、上記通信装置13は本発明に係る指令受付手段及び情報出力手段に相当し、上記通信装置23は本発明に係る情報入力手段、異常情報受付手段及び指令出力手段に相当し、上記ディスプレイ24は本発明に係る第1表示制御手段及び第2表示制御手段に相当する。   The passenger vehicle V corresponds to a moving body according to the present invention, the position detection device 15 corresponds to a position detection unit according to the present invention, and the in-vehicle camera 11 and the image processing device 12 correspond to an image generation unit according to the present invention. The in-vehicle control device 14 corresponds to the control means according to the present invention, the CPU of the in-vehicle control device 14 corresponds to the time detection means according to the present invention, and the communication speed detection device 17 corresponds to the communication speed according to the present invention. The communication device 13 corresponds to a command receiving means and an information output device according to the present invention, and the communication device 23 corresponds to an information input device, an abnormality information receiving device and a command output device according to the present invention. The display 24 corresponds to first display control means and second display control means according to the present invention.

1…車両監視システム
10…監視端末装置
11,11a〜11e…車載カメラ
11f…街中固定カメラ
12…画像処理装置
13…通信装置
14…車載制御装置
15…位置検出装置
16…通報ボタン
17…通信速度検出装置
20…中央監視装置
21…中央制御装置
22…画像処理装置
23…通信装置
24…ディスプレイ
25…入力装置
30…電気通信回線網
V,V1,V2,V3…移動体
M…投影モデル
S,Sa,Sb、Sc、Sd…投影面
R1〜R8…視点
DESCRIPTION OF SYMBOLS 1 ... Vehicle monitoring system 10 ... Monitoring terminal device 11, 11a-11e ... Car-mounted camera 11f ... Town fixed camera 12 ... Image processing device 13 ... Communication apparatus 14 ... Car-mounted control apparatus 15 ... Position detection apparatus 16 ... Notification button 17 ... Communication speed Detection device 20 ... Central monitoring device 21 ... Central control device 22 ... Image processing device 23 ... Communication device 24 ... Display 25 ... Input device 30 ... Telecommunication network V, V1, V2, V3 ... Moving object M ... Projection model S, Sa, Sb, Sc, Sd ... Projection planes R1 to R8 ... Viewpoint

Claims (9)

中央監視装置に対して、無線通信を介して監視情報を出力する監視端末装置を備える監視システムであって、
前記監視端末装置は、
複数の移動体のそれぞれの位置情報を検出する位置検出手段と、
前記複数の移動体のそれぞれに装着され、当該移動体の周囲を撮像して画像情報を生成する画像生成手段と、
前記無線通信の通信速度を検出する通信速度検出手段と、
前記位置検出手段および前記画像生成手段を制御し、所定のタイミングで前記位置情報を取得して前記中央監視装置に出力し、前記所定のタイミングのうち前記移動体の乗員による入力操作がされたタイミング、異常状態が検出されたタイミング、前記中央監視装置から画像送信指令がされたタイミング、前記移動体が重点監視領域に存在するタイミング、又は所定領域に一定時間以上移動体が存在していない場合に当該所定領域に移動体が存在することとなったタイミングで前記画像情報を前記中央監視装置へ出力する情報取得制御手段と、
前記通信速度が遅いほど前記画像情報のデータ量を小さく設定する制御手段と、を備える監視システム。
A monitoring system comprising a monitoring terminal device that outputs monitoring information via wireless communication to a central monitoring device,
The monitoring terminal device
Position detecting means for detecting position information of each of the plurality of moving bodies;
An image generating means attached to each of the plurality of moving bodies, for imaging the surroundings of the moving bodies and generating image information;
A communication speed detecting means for detecting a communication speed of the wireless communication;
Timing at which the position detection unit and the image generation unit are controlled, the position information is acquired at a predetermined timing and output to the central monitoring device, and an input operation by an occupant of the moving body is performed at the predetermined timing When an abnormal state is detected, when an image transmission command is issued from the central monitoring device, when the moving body exists in the priority monitoring area, or when no moving body exists in the predetermined area for a certain time or more Information acquisition control means for outputting the image information to the central monitoring device at a timing when a moving object is present in the predetermined area;
And a control unit configured to set the data amount of the image information to be smaller as the communication speed is lower.
前記監視端末装置は、時刻情報を検出する時刻検出手段を備え、
前記制御手段は、前記位置情報又は前記画像情報を取得した時刻情報を当該位置情報又は画像情報に関連付けて取得する請求項1に記載の監視システム。
The monitoring terminal device includes time detection means for detecting time information,
The monitoring system according to claim 1, wherein the control unit acquires time information at which the position information or the image information is acquired in association with the position information or image information.
複数の移動体のそれぞれの位置情報を検出する位置検出手段と、前記複数の移動体のそれぞれに装着され、当該移動体の周囲を撮像して画像情報を生成する画像生成手段と、を備える監視端末装置から、
無線通信を介して監視情報を入力する中央監視装置を備える監視システムであって、
前記中央監視装置は、
前記無線通信の通信速度を検出する通信速度検出手段と、
前記通信速度が遅いほど前記画像情報のデータ量を小さく設定する指令値を前記監視端末装置へ出力する画像情報データ量指令手段と、
前記監視端末装置から所定のタイミングで出力された位置情報と、前記所定のタイミングのうち前記移動体の乗員による入力操作がされたタイミング、異常状態が検出されたタイミング、前記中央監視装置から画像送信指令がされたタイミング、前記移動体が重点監視領域に存在するタイミング、又は所定領域に一定時間以上移動体が存在していない場合に当該所定領域に移動体が存在することとなったタイミングで出力された画像情報を入力する情報入力手段と、
地図データベースからの地図情報を表示するとともに、前記位置情報を前記地図情報上に表示制御する第1表示制御手段と、を備える監視システム。
A monitoring device comprising: position detection means for detecting position information of each of the plurality of moving bodies; and image generation means that is attached to each of the plurality of moving bodies and images the surroundings of the moving bodies to generate image information. From the terminal device
A monitoring system comprising a central monitoring device for inputting monitoring information via wireless communication,
The central monitoring device is
A communication speed detecting means for detecting a communication speed of the wireless communication;
Image information data amount command means for outputting to the monitoring terminal device a command value for setting a smaller data amount of the image information as the communication speed is slower;
Position information output from the monitoring terminal device at a predetermined timing, timing when an input operation is performed by an occupant of the moving body of the predetermined timing, timing when an abnormal state is detected, image transmission from the central monitoring device Output when the command is issued, when the moving object is present in the priority monitoring area, or when there is no moving object in the predetermined area for a certain period of time Information input means for inputting the processed image information;
A monitoring system comprising: first display control means for displaying map information from a map database and controlling display of the position information on the map information.
前記中央監視装置は、前記画像情報を表示制御する第2表示制御手段を備える請求項3に記載の監視システム。   The monitoring system according to claim 3, wherein the central monitoring device includes second display control means for controlling display of the image information. 前記制御手段は、前記通信速度が遅いほど前記画像情報のフレームレートを小さく設定する請求項1又は2に記載の監視システム。   The monitoring system according to claim 1, wherein the control unit sets the frame rate of the image information to be lower as the communication speed is lower. 前記制御手段は、前記通信速度が遅いほど前記画像情報の画像サイズを小さく設定する請求項1又は2に記載の監視システム。   The monitoring system according to claim 1, wherein the control unit sets the image size of the image information to be smaller as the communication speed is slower. 前記制御手段は、前記通信速度が遅いほど前記画像情報の一部または全部の圧縮率を大きく設定する請求項1又は2に記載の監視システム。   The monitoring system according to claim 1, wherein the control unit sets a compression rate of a part or all of the image information to be larger as the communication speed is lower. 監視情報を取得する監視端末装置と、無線通信を介して前記監視情報を入力する中央監視装置と、を備える監視システムであって、
複数の移動体のそれぞれの位置情報を検出する位置検出手段と、
前記複数の移動体のそれぞれに装着され、当該移動体の周囲を撮像して画像情報を生成する画像生成手段と、
前記位置検出手段および前記画像生成手段を制御し、所定のタイミングで前記位置情報を取得して前記中央監視装置へ出力し、前記所定のタイミングのうち前記移動体の乗員による入力操作がされたタイミング、異常状態が検出されたタイミング、前記中央監視装置から画像送信指令がされたタイミング、前記移動体が重点監視領域に存在するタイミング、又は所定領域に一定時間以上移動体が存在していない場合に当該所定領域に移動体が存在することとなったタイミングで前記画像情報を前記中央監視装置へ出力する情報取得制御手段と、
前記無線通信の通信速度を検出する通信速度検出手段と、
前記通信速度が遅いほど前記画像情報のデータ量を小さく設定し、当該画像情報及び前記位置情報を前記中央監視装置へ出力する制御手段と、
前記無線通信を介して前記監視端末装置から出力された位置情報及び前記通信速度に応じたデータ量に設定された画像情報を入力する情報入力手段と、
前記中央監視装置に設けられ、地図データベースからの地図情報を表示するとともに、前記位置情報を前記地図情報上に表示制御する第1表示制御手段と、を備える監視システム。
A monitoring system comprising: a monitoring terminal device that acquires monitoring information; and a central monitoring device that inputs the monitoring information via wireless communication,
Position detecting means for detecting position information of each of the plurality of moving bodies;
An image generating means attached to each of the plurality of moving bodies, for imaging the surroundings of the moving bodies and generating image information;
Timing at which the position detection means and the image generation means are controlled, the position information is acquired at a predetermined timing and output to the central monitoring device, and an input operation by an occupant of the moving body is performed at the predetermined timing When an abnormal state is detected, when an image transmission command is issued from the central monitoring device, when the moving body exists in the priority monitoring area, or when no moving body exists in the predetermined area for a certain time or more Information acquisition control means for outputting the image information to the central monitoring device at a timing when a moving object is present in the predetermined area;
A communication speed detecting means for detecting a communication speed of the wireless communication;
Control means for setting the data amount of the image information to be smaller as the communication speed is slower, and outputting the image information and the position information to the central monitoring device;
Information input means for inputting position information output from the monitoring terminal device via the wireless communication and image information set to a data amount corresponding to the communication speed;
A monitoring system provided in the central monitoring device, comprising: first display control means for displaying map information from a map database and controlling display of the position information on the map information.
位置検出手段、画像生成手段、情報取得制御手段、通信速度検出手段、制御手段、情報入力手段及び第1表示制御手段とを備える監視システムを用い、
前記位置検出手段により、複数の移動体のそれぞれの位置情報を所定のタイミングで取得して無線通信を介して送信するステップと、
前記画像生成手段により、前記移動体の周囲を撮像して画像情報を生成するステップと、
前記通信速度検出手段及び前記制御手段により、前記無線通信の通信速度を検出し、当該通信速度が遅いほど前記画像情報のデータ量を小さく設定するステップと、
前記情報取得制御手段及び前記情報入力手段により、前記画像情報を前記所定のタイミングのうち前記移動体の乗員による入力操作がされたタイミング、異常状態が検出されたタイミング、前記無線通信を介して監視情報を入力する中央監視装置から画像送信指令がされたタイミング、前記移動体が重点監視領域に存在するタイミング、又は所定領域に一定時間以上移動体が存在していない場合に当該所定領域に移動体が存在することとなったタイミングで前記無線通信を介して送信するステップと、
前記第1表示制御手段により、前記位置情報を地図情報上に表示するステップと、
前記第1表示制御手段により、前記画像情報を表示するステップと、を備える監視方法。
Using a monitoring system comprising position detection means, image generation means, information acquisition control means, communication speed detection means, control means, information input means, and first display control means,
Acquiring the position information of each of the plurality of moving bodies at a predetermined timing by the position detecting means and transmitting the information via wireless communication;
Imaging the surroundings of the moving body by the image generating means to generate image information;
Detecting the communication speed of the wireless communication by the communication speed detecting means and the control means, and setting the data amount of the image information smaller as the communication speed is slower;
The information acquisition control means and the information input means monitor the image information through the predetermined timing when an input operation is performed by an occupant of the moving body, when an abnormal state is detected, and via the wireless communication. The timing at which an image transmission command is issued from the central monitoring device that inputs information, the timing at which the moving body exists in the priority monitoring area, or the moving body in the predetermined area when the moving body does not exist in the predetermined area for a predetermined time or more. Transmitting via the wireless communication at the timing when
Displaying the position information on map information by the first display control means;
And a step of displaying the image information by the first display control means.
JP2013551539A 2011-12-28 2012-11-26 Monitoring system Active JP5811190B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013551539A JP5811190B2 (en) 2011-12-28 2012-11-26 Monitoring system

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011289037 2011-12-28
JP2011289037 2011-12-28
PCT/JP2012/080426 WO2013099488A1 (en) 2011-12-28 2012-11-26 Monitoring system
JP2013551539A JP5811190B2 (en) 2011-12-28 2012-11-26 Monitoring system

Publications (2)

Publication Number Publication Date
JPWO2013099488A1 JPWO2013099488A1 (en) 2015-04-30
JP5811190B2 true JP5811190B2 (en) 2015-11-11

Family

ID=48696987

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013551539A Active JP5811190B2 (en) 2011-12-28 2012-11-26 Monitoring system

Country Status (2)

Country Link
JP (1) JP5811190B2 (en)
WO (1) WO2013099488A1 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016058921A (en) * 2014-09-10 2016-04-21 株式会社東芝 Camera device for railway vehicle, control method and program
JP6382118B2 (en) * 2015-01-21 2018-08-29 株式会社日立製作所 Image adjustment method, server, and moving image shooting system
US9924043B2 (en) * 2016-04-26 2018-03-20 Rapidsos, Inc. Systems and methods for emergency communications
JP6737929B2 (en) * 2018-06-12 2020-08-12 ドコモ・システムズ株式会社 Management server and management method
JP2020117087A (en) * 2019-01-24 2020-08-06 株式会社東芝 Monitoring system for railway vehicle
US20230283818A1 (en) 2020-07-29 2023-09-07 Nec Corporation Communication control method, communication system, and transmission apparatus

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1091899A (en) * 1996-09-13 1998-04-10 Oki Electric Ind Co Ltd Road monitoring system
JP2001189927A (en) * 1999-12-28 2001-07-10 Tokyo Gas Co Ltd Mobile station, control station and virtual experience system
JP2001211444A (en) * 2000-01-28 2001-08-03 Fujitsu Ltd Monitor information distribute and monitor support unit
JP2006108869A (en) * 2004-10-01 2006-04-20 Sony Corp Imaging apparatus, and decoder
US8115812B2 (en) * 2006-09-20 2012-02-14 Panasonic Corporation Monitoring system, camera, and video encoding method
JP2009251968A (en) * 2008-04-07 2009-10-29 Toyota Motor Corp Emergency call system, communication management server, and vehicle-mounted information communication device

Also Published As

Publication number Publication date
JPWO2013099488A1 (en) 2015-04-30
WO2013099488A1 (en) 2013-07-04

Similar Documents

Publication Publication Date Title
JP5786963B2 (en) Monitoring system
JP5811190B2 (en) Monitoring system
JP5648746B2 (en) Vehicle monitoring device, vehicle monitoring system, terminal device, and vehicle monitoring method
JP6451840B2 (en) Information presentation system
CN102387344B (en) Imaging device, imaging system and formation method
WO2012137367A1 (en) Image accumulation system
JP6260174B2 (en) Surveillance image presentation system
WO2013111494A1 (en) Monitoring system
WO2013111492A1 (en) Monitoring system
WO2013111491A1 (en) Monitoring system
JP2008162308A (en) Vehicular imaging device and vehicular image processing device
WO2013161345A1 (en) Monitoring system and monitoring method
JP2016092814A (en) Drive recorder with 360-degree panoramic view
WO2013111479A1 (en) Monitoring system
JP5796638B2 (en) Monitoring system
WO2013094405A1 (en) Monitoring system
JP5720400B2 (en) Image processing apparatus and image processing method
WO2013111493A1 (en) Monitoring system
JP5812105B2 (en) Monitoring system
KR101592412B1 (en) Black-box for vehicle
WO2013125301A1 (en) Surveillance system
JP4093094B2 (en) Vehicle periphery monitoring system and vehicle periphery monitoring method
WO2013129000A1 (en) Monitoring system
WO2013136894A1 (en) Monitoring system and monitoring method
JP2020057981A (en) Image creation system, image creation apparatus, and method of controlling image creation apparatus

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150724

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150818

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150831

R151 Written notification of patent or utility model registration

Ref document number: 5811190

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151