JP4680087B2

JP4680087B2 - Image transmission device

Info

Publication number: JP4680087B2
Application number: JP2006038441A
Authority: JP
Inventors: 喜郎嶋本; 祐之升野; 充田沼; 督宮武; 晃史浜岡
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2006-02-15
Filing date: 2006-02-15
Publication date: 2011-05-11
Anticipated expiration: 2026-02-15
Also published as: JP2007221367A

Description

本発明は、例えば、潜水艦の潜望鏡等、複数のカメラシステムによって撮影され、取り込まれるそれぞれの映像信号を、所定の伝送領域を持つ伝送路を介して受信装置に伝送する、画像伝送装置に関する。なお、一般的に、伝送路（伝送ケーブル）を介してデータを伝送するとき、送信できる伝送量には上限があり、その上限を伝送周波数帯域という意味で伝送領域と表しており、これは当業者であれば周知の一般的な技術用語であり、以下の伝送領域も上記の意味を表している。 The present invention is, for example, a periscope or the like of the submarine, is photographed by a plurality of camera systems, the respective image signals captured and transmitted to the receiving apparatus via a transmission path having a predetermined transmission area, relates to an image transmission equipment . In general, when data is transmitted via a transmission line (transmission cable), there is an upper limit on the transmission amount that can be transmitted, and the upper limit is expressed as a transmission region in the sense of a transmission frequency band. This is a general technical term well known to those skilled in the art, and the following transmission areas also have the above meaning.

従来の画像伝送装置は、画像圧縮手段の圧縮率を制御することで限られた伝送領域内を比較的大きな容量を持つ映像信号を送信していた（例えば、特許文献１参照）。 Conventional image transmitting equipment had transmitted the video signal having a relatively large capacity transmission within a limited area by controlling the compression ratio of the image compressing unit (e.g., see Patent Document 1).

特開平１１−１２２６０１号公報（段落「００１０」〜「００１３」、図１）JP-A-11-122601 (paragraphs “0010” to “0013”, FIG. 1)

上記した特許文献１に開示された技術によれば、受信装置側では、画像伝送装置から送信されてくる映像信号が圧縮されているため、映像品質が劣化した映像しか確認することができない。特に、映像信号から静止画像を切り出し、確認しようとした場合、カメラから取り込まれたときの情報量を持つ静止画像を観察することができず、このため、ユーザに、効果的な処理映像、あるいは静止画像を提供することはできないといった不都合を有していた。 According to the technique disclosed in Patent Document 1 described above, since the video signal transmitted from the image transmission apparatus is compressed on the receiving apparatus side, only a video with degraded video quality can be confirmed. In particular, when a still image is cut out from a video signal and checked, a still image having an amount of information when captured from the camera cannot be observed. There is a disadvantage that a still image cannot be provided.

本発明は上記事情に基づいてなされたものであり、カメラから送信されてくる比較的大きな容量を持つ映像信号を、限られた伝送領域しか持たない伝送路を介して送信することを可能にするとともに、送信する映像信号の映像品質を劣化させることなく、特に、ユーザが必要とする映像についてはカメラで取得したときの情報量をそのまま観察することができる、画像伝送装置および画像伝送システムを提供することを目的とする。 The present invention has been made based on the above circumstances, and enables a video signal transmitted from a camera having a relatively large capacity to be transmitted via a transmission path having a limited transmission area. In addition, an image transmission apparatus and an image transmission system are provided that can observe the amount of information obtained by a camera as it is, particularly for a video required by a user, without degrading the video quality of a video signal to be transmitted. The purpose is to do.

本発明に係る画像伝送装置は、複数のカメラシステムによって撮影され、取り込まれるそれぞれの映像信号を、所定の伝送領域を持つ伝送路を介して伝送する画像伝送装置であって、映像信号毎に割り当てる伝送領域を決定するために、外部から入力情報を取り込み、入力情報に従い映像信号のそれぞれにフレームレートに対する重み情報を設定し、前記設定された重み情報に基づいてフレームレートを制御し、伝送路が持つ伝送領域に合わせてそれぞれの映像信号を伝送する制御手段を備え、制御手段は、センサ装置等の外部からの情報に基づき目標が撮影されていると考えられる映像信号を示す重要領域情報を取得し、重要領域情報に従い映像信号のそれぞれに対して画像処理し、その結果出力される情報に応じてフレームレートに重み情報の設定を行い、設定された重み情報に基づき映像信号のそれぞれに割り当てる伝送領域を計算し、伝送領域から伝送路に伝送可能なフレームレートを計算する重要領域判定部と、重要領域判定部から出力されるフレームレートに基づき、入力されるそれぞれの映像信号のフレームレート変換を行い、フレームレート変換映像信号を出力するフレームレート変換部と、フレームレート変換部によって出力されるそれぞれのフレームレート変換映像信号を、伝送路が持つ伝送領域に合わせて伝送するための符号化処理を行う符号化部とを備え、重要領域判定部は、外部接続されるセンサ装置から出力される目標位置情報を参照して目標位置を特定し、入力される映像信号から画像処理によりそれぞれ目標を検出し、検出した目標数に応じ、映像信号毎、そのフレームレートに重み設定を行う目標位置情報参照部を備えたことを特徴とする。 An image transmission apparatus according to the present invention is an image transmission apparatus that transmits each video signal captured and captured by a plurality of camera systems via a transmission line having a predetermined transmission area, and is assigned to each video signal. In order to determine the transmission area, input information is taken from outside, weight information for the frame rate is set for each of the video signals according to the input information, the frame rate is controlled based on the set weight information, and the transmission path is It has control means that transmits each video signal according to the transmission area that it has, and the control means acquires important area information indicating the video signal that the target is considered to be shot based on information from outside such as sensor device etc. Then, image processing is performed on each of the video signals according to the important area information, and the frame rate is weighted according to the information output as a result. From the important area determination unit that calculates the frame rate that can be transmitted from the transmission area to the transmission path, and calculates the transmission area allocated to each of the video signals based on the set weight information A frame rate conversion unit that performs frame rate conversion of each input video signal based on the output frame rate and outputs a frame rate conversion video signal, and each frame rate conversion video output by the frame rate conversion unit And an encoding unit that performs an encoding process for transmitting a signal in accordance with a transmission region of the transmission path, and the important region determination unit refers to target position information output from an externally connected sensor device. The target position is identified, the target is detected by image processing from the input video signal, and the target is detected according to the number of detected targets. Signals each, characterized by comprising a target position information reference section that performs weighting set to the frame rate.

本発明によれば、複数のカメラシステムから送信される映像信号を限られた伝送領域内で伝送するため、それぞれの映像信号に重み情報を設定し、映像信号毎フレームレートを制御することで、重要領域内における映像信号の映像品質を劣化させることなく、特に、ユーザが必要とする映像についてはカメラで取得したときの情報量をそのまま観察することができる画像伝送装置を提供することができる。 According to the present invention, in order to transmit video signals transmitted from a plurality of camera systems within a limited transmission area, by setting weight information for each video signal and controlling the frame rate for each video signal, without deteriorating the picture quality of the video signal in the critical region, in particular, it is possible to provide an image transmission equipment which can be directly observed amount of information when the user acquired by the camera for a video that requires .

実施の形態１．
図１は、本発明の実施の形態１に係る画像伝送装置を適用した画像伝送システムの全体構成図である。図１において、符号１１〜１Ｎは、カメラシステム＃１〜＃Ｎ（マルチカメラシステム）であり、ここで、例えば、潜水艦の潜望鏡等の可視カメラあるいは赤外カメラで撮影された、可視映像あるいは赤外映像が、映像信号９１〜９Ｎとして、重要領域判定部３１、およびフレームレート変換部４１〜４Ｎに出力される。
符号２１は、センサ装置を含むコンソールである。コンソール２１は、ＰＣ（Personal Computer）程度の処理能力を有し、オペレータ操作により、例えば、目標が存在すると思われる映像信号（フレーム番号）を選定し、あるいはセンサ装置を介して入力される海図等の目標位置情報に基づき、目標が存在すると思われる映像信号を選定し、重要領域情報１０１として重要領域判定部３１に出力する。 Embodiment 1 FIG.
FIG. 1 is an overall configuration diagram of an image transmission system to which an image transmission apparatus according to Embodiment 1 of the present invention is applied . In FIG. 1, reference numerals 11 to 1N denote camera systems # 1 to #N (multi-camera systems). Here, for example, visible images or red images taken with a visible camera such as a periscope of a submarine or an infrared camera. The external video is output as video signals 91 to 9N to the important area determination unit 31 and the frame rate conversion units 41 to 4N.
Reference numeral 21 denotes a console including the sensor device. The console 21 has a processing capability similar to that of a PC (Personal Computer), and an operator operation selects, for example, a video signal (frame number) that seems to have a target, or a chart that is input via a sensor device. Based on the target position information, a video signal that is considered to have a target is selected and output as important area information 101 to the important area determination unit 31.

重要領域判定部３１は、コンソール２１を介して入力される、目標が撮影されていると考えられる映像信号を示す重要領域情報を取得し、この重要領域情報に従い、映像信号のそれぞれに対し画像処理して出力される情報に応じてフレームレートに重み情報の設定を行う。そして、この重み情報に基づき映像信号のそれぞれに割り当てる伝送領域を計算し、この伝送領域から伝送路（ここでは伝送ケーブル１３１）に伝送可能なフレームレートを計算し、フレームレート情報１１１〜１１Ｎとして、それぞれフレームレート変換部＃１〜＃Ｎ（４１〜４Ｎ）に出力する。
後述するように、重要領域判定部３１は、以下に示す４パターンの処理機能を備えている。すなわち、（１）目標検出処理による重み付け、（２）センサ装置から入力される海図等の目標位置情報を参照することによる重み付け、（３）カメラの俯仰角情報を参照して目標が存在すると思われる情報の参照による重み付け、（４）水平線検出処理による重み付けである。コンソール２１を介してオペレータによって選択される（１）〜（４）の中の一つに基づき重み設定処理が行なわれる。 The important area determination unit 31 acquires important area information indicating a video signal that is considered to be captured by the target, which is input via the console 21, and performs image processing on each of the video signals according to the important area information. The weight information is set to the frame rate according to the information output in this manner. And based on this weight information, the transmission area allocated to each of the video signals is calculated, the frame rate that can be transmitted from this transmission area to the transmission path (here, the transmission cable 131) is calculated, and the frame rate information 111 to 11N is Output to frame rate conversion units # 1 to #N (41 to 4N), respectively.
As will be described later, the important area determination unit 31 includes the following four patterns of processing functions. That is, (1) weighting by target detection processing, (2) weighting by referring to target position information such as a chart input from a sensor device, and (3) a target exists by referring to the elevation angle information of the camera (4) Weighting by horizontal line detection processing. The weight setting process is performed based on one of (1) to (4) selected by the operator via the console 21.

フレームレート変換部４１〜４Ｎには、映像信号９１〜９Ｎ、およびフレームレート情報１１１〜１１Ｎが入力され、フレームレート変換部４１〜４Ｎは、フレームレート情報１１１〜１１Ｎを参照して、入力される映像信号９１〜９Ｎのフレームレートを変換し、フレームレート変換映像信号１２１〜１２Ｎとして符号化部５１に出力する。
符号化部５１にはフレームレート変換映像信号１２１〜１２Ｎが入力され、符号化部５１は、伝送路となる伝送ケーブル１３１を介して複数の映像信号９１〜９Ｎを伝送できるように符号化を行い、符号化映像信号として出力する。 Video signals 91 to 9N and frame rate information 111 to 11N are input to the frame rate conversion units 41 to 4N, and the frame rate conversion units 41 to 4N are input with reference to the frame rate information 111 to 11N. The frame rates of the video signals 91 to 9N are converted and output to the encoding unit 51 as frame rate converted video signals 121 to 12N.
The frame rate converted video signals 121 to 12N are input to the encoding unit 51, and the encoding unit 51 performs encoding so that a plurality of video signals 91 to 9N can be transmitted via the transmission cable 131 serving as a transmission path. , and it outputs the encoded video signal.

上記した、コンソール２１と、重要領域判定部３１と、フレームレート変換部４１〜４Ｎは、映像信号９１〜９Ｎ毎に割り当てる伝送領域を決定するために、外部（コンソール２１）から入力情報１０１を取り込み、この入力情報１０１に従い映像信号９１〜９Ｎのそれぞれにフレームレートに対する重み情報を設定し、設定された重み情報に基づいてフレームレートを制御し、伝送路（伝送ケーブル１３１）が持つ伝送領域に合わせてそれぞれの映像信号を伝送する、本発明の画像伝送装置の制御手段として機能する。 The console 21, the important area determination unit 31, and the frame rate conversion units 41 to 4N described above capture the input information 101 from the outside (console 21) in order to determine a transmission area to be allocated for each of the video signals 91 to 9N. In accordance with the input information 101, weight information for the frame rate is set for each of the video signals 91 to 9N, the frame rate is controlled based on the set weight information, and matched to the transmission area of the transmission path (transmission cable 131). Function as control means of the image transmission apparatus of the present invention for transmitting the respective video signals.

一方、符号６１は、復号化部である。復号化部６１には伝送ケーブル１３１を介して符号化映像信号が入力され、ここで符号化された映像信号を表示モニタに表示できるように復号化処理を行い、パノラマ映像信号１４１としてモニタシステム７１および映像記録システム８１に出力する。ここで、パノラマ映像信号１４１とは、ある決められた距離と角度で配置された複数のカメラ（カメラシステム１１〜１Ｎ）で撮影された複数の映像信号を縮小し、一部を重ねて合成して得られる映像であり、視野角が広く、より広範囲に周囲の状況を示すことができるものである。
モニタシステム７１にはパノラマ映像信号１４１が入力され、マンマシンインタフェースを司る表示モニタにパノラマ映像信号１４１を表示する。また、映像記録システム８１にもパノラマ映像信号１４１が入力され、ここでは、ＨＤＤ（ハードディスク）等に入力されたパノラマ映像信号１４１を記録する。 On the other hand, reference numeral 61 denotes a decoding unit. The encoded video signal is input to the decoding unit 61 via the transmission cable 131, and decoding processing is performed so that the encoded video signal can be displayed on the display monitor, and the panoramic video signal 141 is displayed as the panoramic video signal 141. And output to the video recording system 81. Here, the panoramic video signal 141 is obtained by reducing a plurality of video signals photographed by a plurality of cameras (camera systems 11 to 1N) arranged at a predetermined distance and angle, and superimposing a part thereof and combining them. The viewing angle is wide and the viewing angle is wide, and the surrounding conditions can be shown in a wider range.
A panoramic video signal 141 is input to the monitor system 71, and the panoramic video signal 141 is displayed on a display monitor that controls a man-machine interface. The panorama video signal 141 is also input to the video recording system 81, and here, the panorama video signal 141 input to an HDD (hard disk) or the like is recorded.

上記した復号化部６１と、モニタシステム７１と、映像記録システム８１は、伝送路（伝送ケーブル１３１）を介して送信される符号化映像信号を受信して復号化処理を実行し、復号化処理の結果生成される映像信号（パノラマ映像）を表示モニタ（モニタシステム７１）へ表示し、もしくは記録装置（映像記録システム８１）に記録する受信装置として機能する。 The decoding unit 61, the monitor system 71, and the video recording system 81 described above receive the encoded video signal transmitted via the transmission path (transmission cable 131), execute the decoding process, and perform the decoding process. The video signal (panoramic video) generated as a result of the above is displayed on a display monitor (monitor system 71) or functions as a receiving device for recording in a recording device (video recording system 81).

図２は、図１に示す重要領域判定部３１の内部構成を示すブロック図である。図２に示されるように、重要領域判定部３１は、処理選定部３１１と、目標検出処理参照部３１２と、目標位置情報参照部３１３と、カメラ俯仰角参照部３１４と、水平線検出処理参照部３１５とから構成される。
処理選定部３１１は、コンソール２１を介してオペレータにより入力される選択処理情報１１０を取り込み、あらかじめ用意された４種類の処理のうち、どの処理を実行すべきかを判定する。また、目標検出処理参照部３１２は、目標を検出し、検出した目標数に応じてフレームレートの重み付けを行う。また、目標位置情報参照部３１３は、コンソール２１（センサ装置）を介して入力される海図等の目標位置情報を参照し、目標数に応じてフレームレートの重み付けを行う。また、カメラ俯仰角参照部３１４は、コンソール２１を介して入力されるカメラの俯仰角情報を参照してフレームレートの重み付けを行う。また、水平線検出処理参照部３１５は、水平線を検出し、水平線が検出された映像のフレームレートの重み付けを行う。 FIG. 2 is a block diagram showing an internal configuration of the important area determination unit 31 shown in FIG. As shown in FIG. 2, the important area determination unit 31 includes a process selection unit 311, a target detection process reference unit 312, a target position information reference unit 313, a camera elevation angle reference unit 314, and a horizontal line detection process reference unit. 315.
The process selection unit 311 takes in the selection process information 110 input by the operator via the console 21 and determines which process should be executed among the four types of processes prepared in advance. In addition, the target detection processing reference unit 312 detects a target, and weights the frame rate according to the detected target number. The target position information reference unit 313 refers to target position information such as a nautical chart input via the console 21 (sensor device), and weights the frame rate according to the target number. The camera elevation angle reference unit 314 weights the frame rate with reference to the elevation angle information of the camera input via the console 21. The horizontal line detection processing reference unit 315 detects a horizontal line and weights the frame rate of the video from which the horizontal line is detected.

具体的に、目標検出処理参照部３１２は、コンソール２１を介して入力される、目標が撮影されていると考えられる映像信号を示す重要領域情報１０１に基づき、カメラシステム１１〜１Ｎによって撮影され取り込まれる映像信号９１〜９Ｎを画像処理して濃度の高い部分を目標として切り出し、この領域を目標として検出する。そして、検出した目標数に応じてフレームレートに重み設定を行う。
重み付けの方法は、映像信号９１〜９Ｎから検出された総目標数のうち、各映像信号で検出された目標数の割合をパーセンテージで算出することにより重み設定を行う。そのパーセンテージを伝送ケーブル１３１が持つ伝送領域に乗算したものが、その映像信号に割り当てられる伝送領域となる。目標検出処理参照部３１２は、更に、その伝送領域から伝送ケーブル１３１に伝送可能なフレームレートを算出し、フレームレート情報１１１〜１１Ｎとしてフレームレート変換部４１〜４Ｎに送出する。 Specifically, the target detection processing reference unit 312 is photographed and captured by the camera systems 11 to 1N based on the important area information 101 that is input via the console 21 and indicates the video signal that is considered to be the target being photographed. The video signals 91 to 9N to be processed are image-processed to cut out a portion having a high density as a target, and this region is detected as a target. Then, a weight is set for the frame rate according to the detected target number.
In the weighting method, weight setting is performed by calculating a percentage of the target number detected in each video signal out of the total target number detected from the video signals 91 to 9N. A transmission area assigned to the video signal is obtained by multiplying the transmission area of the transmission cable 131 by the percentage. The target detection processing reference unit 312 further calculates a frame rate that can be transmitted from the transmission region to the transmission cable 131, and sends it to the frame rate conversion units 41 to 4N as frame rate information 111 to 11N.

また、目標位置情報参照部３１３は、コンソール２１（外部接続されるセンサ装置）から出力される海図等の目標位置情報を参照して目標位置を特定し、映像信号９１〜９Ｎを画像処理してそれぞれ目標を検出し、検出した目標数に応じてフレームレートに重み設定を行う。
重み付けの方法は、映像信号９１〜９Ｎから検出された総目標数のうち、各映像信号で検出された目標数の割合をパーセンテージで算出することにより重み設定を行う。そのパーセンテージを伝送ケーブル１３１が持つ伝送領域に乗算したものが、その映像信号に割り当てられる伝送領域となる。目標検出処理参照部３１２は、更に、その伝送領域から伝送ケーブル１３１に伝送可能なフレームレートを算出し、フレームレート情報１１１〜１１Ｎとしてフレームレート変換部４１〜４Ｎに送出する。 The target position information reference unit 313 identifies the target position with reference to target position information such as a chart output from the console 21 (an externally connected sensor device), and performs image processing on the video signals 91 to 9N. Each target is detected, and the frame rate is weighted according to the number of detected targets.
In the weighting method, weight setting is performed by calculating a percentage of the target number detected in each video signal out of the total target number detected from the video signals 91 to 9N. A transmission area assigned to the video signal is obtained by multiplying the transmission area of the transmission cable 131 by the percentage. The target detection processing reference unit 312 further calculates a frame rate that can be transmitted from the transmission region to the transmission cable 131, and sends it to the frame rate conversion units 41 to 4N as frame rate information 111 to 11N.

また、カメラ俯仰角参照部３１４は、コンソール２１を介して入力される、カメラの俯仰角情報を参照し、カメラシステム１１〜１Ｎによって撮影され、取り込まれる映像信号９１〜９Ｎを画像処理して水平線を検出し、検出した水平線の数に応じてフレームレートに重み設定を行う。
重み付けの方法は、映像信号９１〜９Ｎから検出された総水平線数のうち、各映像信号で検出された水平線数の割合をパーセンテージで算出することにより重み設定を行う。そのパーセンテージを伝送ケーブル１３１が持つ伝送領域に乗算したものが、その映像信号に割り当てられる伝送領域となる。カメラ俯仰角参照部３１４は、更に、その伝送領域から伝送ケーブル１３１に伝送可能なフレームレートを算出し、フレームレート情報１１１〜１１Ｎとしてフレームレート変換部４１〜４Ｎに送出する。 Further, the camera elevation angle reference unit 314 refers to the elevation angle information of the camera input via the console 21, performs image processing on the video signals 91 to 9N photographed and captured by the camera systems 11 to 1N, and performs horizontal processing. , And a weight is set to the frame rate according to the number of detected horizontal lines.
In the weighting method, the weight is set by calculating the ratio of the number of horizontal lines detected in each video signal out of the total number of horizontal lines detected from the video signals 91 to 9N. A transmission area assigned to the video signal is obtained by multiplying the transmission area of the transmission cable 131 by the percentage. The camera elevation angle reference unit 314 further calculates a frame rate that can be transmitted from the transmission region to the transmission cable 131 and sends the frame rate to the frame rate conversion units 41 to 4N as frame rate information 111 to 11N.

なお、ここでいう俯仰角とは、視点場（例えば、水平線）から見て、見上げる、あるいは見下げる角度を示す。パノラマ映像の場合は、通常、水平線に近いアングルで表示されるため、山頂から真下の麓を見、あるいは麓から山頂を見上げるようなアングルを設定できない。このような場合に俯仰角補正により画面アングルを強制的に補正することは有益である。 Here, the elevation angle refers to an angle looking up or looking down from a viewpoint field (for example, a horizontal line). In the case of a panoramic image, since it is normally displayed at an angle close to the horizon, it is not possible to set an angle that looks at the ridge beneath the mountain top or looks up at the mountain top. In such a case, it is useful to forcibly correct the screen angle by correcting the elevation angle.

一方、水平線検出処理参照部３１５は、カメラシステム１１〜１Ｎによって撮影され、取り込まれる映像信号９１〜９Ｎを画像処理してそれぞれ水平線を検出し、検出した水平線の数に応じてフレームレートに重み設定を行う。
重み付けの方法は、映像信号９１〜９Ｎから検出された総水平線数のうち、各映像信号で検出された水平線数の割合をパーセンテージで算出することにより重み設定を行う。そのパーセンテージを伝送ケーブル１３１が持つ伝送領域に乗算したものが、その映像信号に割り当てられる伝送領域となる。カメラ俯仰角参照部３１４は、更に、その伝送領域から伝送ケーブル１３１に伝送可能なフレームレートを算出し、フレームレート情報１１１〜１１Ｎとしてフレームレート変換部４１〜４Ｎに送出する。 On the other hand, the horizontal line detection processing reference unit 315 detects the horizontal lines by performing image processing on the video signals 91 to 9N captured and captured by the camera systems 11 to 1N, and sets the weight to the frame rate according to the number of detected horizontal lines. I do.
In the weighting method, the weight is set by calculating the ratio of the number of horizontal lines detected in each video signal out of the total number of horizontal lines detected from the video signals 91 to 9N. A transmission area assigned to the video signal is obtained by multiplying the transmission area of the transmission cable 131 by the percentage. The camera elevation angle reference unit 314 further calculates a frame rate that can be transmitted from the transmission region to the transmission cable 131 and sends the frame rate to the frame rate conversion units 41 to 4N as frame rate information 111 to 11N.

図３は、図２に示す目標検出処理参照部３１２の内部構成の一例を示す図であり、ここでは、目標検出処理参照部３１２をスポークフィルタで構成した例を示す。
図３に示す構成によれば、目標検出処理参照部３１２は、エッジ検出部３１２１と、スポーク発生部３１２２と、閾値判定部３１２３で構成される。 FIG. 3 is a diagram illustrating an example of an internal configuration of the target detection process reference unit 312 illustrated in FIG. 2. Here, an example in which the target detection process reference unit 312 is configured with a spoke filter is illustrated.
According to the configuration shown in FIG. 3, the target detection process reference unit 312 includes an edge detection unit 3121, a spoke generation unit 3122, and a threshold determination unit 3123.

上記した構成において、目標検出処理参照部３１２は、まず、入力される映像信号９１〜９Ｎの濃淡変化から、ラプラシアンフィルタなどで構成されるエッジ検出部３１２１により、画像のエッジを検出し、そのエッジ画像をスポーク発生部３１２２へ出力する。スポーク発生部３１２２では、エッジとして検出された画素からスポークという線分をエッジ方向に発生させる。そして、画素毎にスポークが交差している交差数をカウントし、この交差数を閾値判定部３１２３に出力する。
閾値判定部３１２３では、所定の閾値と入力された交差数とを比較し、閾値以上のスポーク交差数をもつ画素を選択する。そして、この検出された総画素数を検出して目標数とすることができる。 In the above-described configuration, the target detection processing reference unit 312 first detects the edge of the image by the edge detection unit 3121 configured by a Laplacian filter or the like from the change in density of the input video signals 91 to 9N. The image is output to the spoke generator 3122. The spoke generation unit 3122 generates a line segment called a spoke in the edge direction from pixels detected as an edge. Then, the number of intersections where the spokes intersect for each pixel is counted, and the number of intersections is output to the threshold value determination unit 3123.
The threshold determination unit 3123 compares a predetermined threshold with the input number of intersections, and selects a pixel having a number of spoke intersections equal to or greater than the threshold. Then, the detected total number of pixels can be detected and set as a target number.

図４は、図２に示す目標検出処理参照部３１２の内部構成の一例を示すブロック図である。
図４に示す構成によれば、目標検出処理参照部３１２は、フレームバッファ３１２４と、過去フレーム算出部３１２５と、背景差分演算部３１２６から成り、統計的２値化による背景差分から目標抽出を行う。 FIG. 4 is a block diagram illustrating an example of an internal configuration of the target detection process reference unit 312 illustrated in FIG.
According to the configuration shown in FIG. 4, the target detection processing reference unit 312 includes a frame buffer 3124, a past frame calculation unit 3125, and a background difference calculation unit 3126, and performs target extraction from a background difference by statistical binarization. .

上記した構成において、フレームバッファ３１２４は、現在有効になっている現在フレームより以前に有効になっていた過去フレームを数フレーム分記憶するバッファである。ここで、現在フレームをＩｔ＋Ｎ（ｘ，ｙ）とすれば、過去フレームを、Ｉｔ＋Ｎ−１（ｘ，ｙ）、Ｉｔ＋Ｎ−２（ｘ，ｙ）、・・・、Ｉｔ（ｘ，ｙ）として表すことができる。図５は、このフレームの関係を示したイメージ図である。
過去フレーム算出部３１２５は、過去フレームの画素（ｘ，ｙ）についての平均ｍ（ｘ，ｙ）、分散Ｖ（ｘ，ｙ）、そして、標準偏差Ｓ（ｘ，ｙ）を、それぞれ以下の演算式（１）、式（２）、式（３）により求める。 In the above configuration, the frame buffer 3124 is a buffer for storing several past frames that were valid before the current frame that is currently valid. Here, if the current frame is It + N (x, y), the past frame is represented as It + N−1 (x, y), It + N−2 (x, y),..., It (x, y). be able to. FIG. 5 is an image diagram showing the relationship between the frames.
The past frame calculation unit 3125 calculates the average m (x, y), variance V (x, y), and standard deviation S (x, y) for the pixel (x, y) of the past frame as follows. It calculates | requires by Formula (1), Formula (2), and Formula (3).

図５にＡで示される画像は、上記した演算式（１）を用いて計算された平均画像を示している。ここでは、平均を取るため、動いていない対象は濃度が高く、早く動く対象ほど濃度が低い画像となる。
次に、背景差分演算部３１２６は、過去フレーム算出部３１２５で計算された０〜Ｎ−１までの平均ｍ（ｘ、ｙ）と標準偏差Ｓ（ｘ、ｙ）を用いて現在フレームＩｔ＋Ｎ（ｘ，ｙ）を差分２値化する。 An image indicated by A in FIG. 5 represents an average image calculated using the above-described arithmetic expression (1). Here, in order to take an average, the non-moving object has a higher density, and the faster the moving object, the lower the density.
Next, the background difference calculation unit 3126 uses the average m (x, y) from 0 to N−1 calculated by the past frame calculation unit 3125 and the standard deviation S (x, y) to calculate the current frame It + N (x , Y) is binarized as a difference.

例えば、２値化の条件を以下のようにすれば、
ＩｆＩｔ＋Ｎ（ｘ，ｙ）−ｍ（ｘ，ｙ）＞２．５Ｓ（ｘ，ｙ）
⇒Ｏｔ＋Ｎ＝２５５
ｅｌｓｅ ⇒Ｏｔ＋Ｎ＝０
となる。
上記Ｏｔ＋Ｎは現フレームの出力２値化画素であり、分散Ｓ（ｘ，ｙ）が大きい（ノイズ大）ほど閾値が高く、分散Ｓ（ｘ、ｙ）が小さいほど閾値が低くなる。 For example, if the binarization conditions are as follows:
If It + N (x, y) -m (x, y)> 2.5S (x, y)
⇒Ot + N = 255
else ⇒Ot + N = 0
It becomes.
Ot + N is an output binarized pixel of the current frame, and the threshold is higher as the variance S (x, y) is larger (large noise), and the threshold is lower as the variance S (x, y) is smaller.

このようにすることにより、変化がない場所に目標が出現し、または移動してくるとノイズとは区別して目標として検出することができる。そして、この検出した総画素数を目標数とする。図５にＢで示される画像が、目標が示される画像である。
なお、実質的には、コンソール２１を介して指定される重要領域情報で指定される画像領域のみ上記した処理を実行する。ここでは、その一例として点線で囲んだ領域を重要領域情報とした。 In this way, when a target appears or moves in a place where there is no change, it can be detected as a target separately from noise. The detected total number of pixels is set as the target number. The image indicated by B in FIG. 5 is an image indicating the target.
In practice, the above-described processing is executed only for the image area specified by the important area information specified via the console 21. Here, as an example, an area surrounded by a dotted line is used as important area information.

一方、目標位置情報参照部３１３は、コンソール２１を介して入力される海図等の目標位置情報を参照して、目標位置を特定する。そして、検出した目標数に応じてフレームレートに重み付けを行う。
重み付けは、映像信号９１〜９Ｎで検出された総目標数のうち、各映像信号で検出された目標数の割合をパーセンテージで算出することにより設定される。それを伝送領域に乗算したものが、その映像信号に割り当てられる伝送領域となる。目標位置情報参照部３１３は更に、その領域から伝送できるフレームレートを算出し、フレームレート情報１１１〜１１Ｎとしてフレームレート変換部４１〜４Ｎに送出する。 On the other hand, the target position information reference unit 313 identifies the target position with reference to target position information such as a nautical chart input via the console 21. Then, the frame rate is weighted according to the detected target number.
The weighting is set by calculating the percentage of the target number detected in each video signal as a percentage of the total target number detected in the video signals 91 to 9N. Multiplying this by the transmission area becomes the transmission area assigned to the video signal. The target position information reference unit 313 further calculates a frame rate that can be transmitted from the area, and sends it to the frame rate conversion units 41 to 4N as frame rate information 111 to 11N.

また、カメラ俯仰角参照部３１４は、カメラの俯仰角を参照して、水平線が映像信号に映っているか否かを判定する。
重み付けは、映像信号９０１〜９０Ｎで検出された総水平線数のうち、各映像信号で検出された水平線の割合をパーセンテージで算出することにより設定される。それを伝送領域に乗算したものが、その映像信号に割り当てられる伝送領域となる。カメラ俯仰角参照部３１４は更に、その領域から伝送できるフレームレートを算出し、フレームレート情報１１１〜１１Ｎとしてフレームレート変換部４１〜４Ｎに送出する。 Further, the camera elevation angle reference unit 314 refers to the elevation angle of the camera and determines whether or not a horizontal line is reflected in the video signal.
The weighting is set by calculating a percentage of the horizontal lines detected in each video signal out of the total number of horizontal lines detected in the video signals 901 to 90N. Multiplying this by the transmission area becomes the transmission area assigned to the video signal. The camera elevation angle reference unit 314 further calculates a frame rate that can be transmitted from the area, and sends the frame rate as frame rate information 111 to 11N to the frame rate conversion units 41 to 4N.

また、水平線検出処理参照部３１５は、水平線検出処理を実施し、水平線が映像信号に映っているか否かを判定する。
重み付けは、映像信号９１〜９Ｎで検出された総水平線数のうち、各映像信号で検出された水平線の割合をパーセンテージで算出することにより設定される。それを伝送領域に乗算したものが、その映像信号に割り当てられる伝送領域となる。その領域から伝送できるフレームレートを算出し、フレームレート情報１１０１〜１１０Ｎとしてフレームレート変換部４０１〜４０Ｎに送出する。 The horizontal line detection processing reference unit 315 performs horizontal line detection processing and determines whether or not the horizontal line is reflected in the video signal.
The weighting is set by calculating a percentage of the horizontal lines detected in each video signal out of the total number of horizontal lines detected in the video signals 91 to 9N. Multiplying this by the transmission area becomes the transmission area assigned to the video signal. A frame rate that can be transmitted from the area is calculated and sent to the frame rate conversion units 401 to 40N as frame rate information 1101 to 110N.

図６は、図２に示す水平線検出処理参照部３１５の内部構成の一例を示すブロック図である。
図６に示されるように、水平線検出処理参照部３１５は、ガウシアンフィルタ処理部３１５１と、ソーベルフィルタ処理部３１５３と、エッジ加算部３１５５と、累積エッジピーク算出部３１５７と、水平線判定部３１５９とで構成される。 FIG. 6 is a block diagram illustrating an example of an internal configuration of the horizontal line detection processing reference unit 315 illustrated in FIG.
6, the horizontal line detection processing reference unit 315 includes a Gaussian filter processing unit 3151, a Sobel filter processing unit 3153, an edge addition unit 3155, a cumulative edge peak calculation unit 3157, and a horizontal line determination unit 3159. Consists of.

ガウシアンフィルタ処理部３１５１は、入力される映像信号９１〜９Ｎをある一定のサイズに縮退してソーベルフィルタ処理部３１５３へ出力する。また、ソーベルフィルタ処理部３１５３は、入力される縮退画像３１５２のエッジ強度を抽出してエッジ加算部３１５５に出力する。
一方、エッジ加算部３１５５は、入力されるエッジ画像３１５４をフィルタ処理してエッジ個数を加算し、累積エッジピーク算出部３１５７へ出力する。そして、累積エッジピーク算出部３１５７は、入力される累積エッジ強度画像３１５６からピーク値を算出して水平線判定部３１５９へ出力する。最後に、水平線判定部３１５９は、入力される累積エッジピーク値３１５８から目標検出処理を実行する領域を特定する。 The Gaussian filter processing unit 3151 degenerates the input video signals 91 to 9N to a certain size and outputs them to the Sobel filter processing unit 3153. Also, the Sobel filter processing unit 3153 extracts the edge strength of the input reduced image 3152 and outputs it to the edge adding unit 3155.
On the other hand, the edge adder 3155 adds the number of edges by filtering the input edge image 3154 and outputs the result to the accumulated edge peak calculator 3157. Then, the accumulated edge peak calculation unit 3157 calculates a peak value from the input accumulated edge intensity image 3156 and outputs the peak value to the horizontal line determination unit 3159. Finally, the horizon determination unit 3159 specifies a region in which the target detection process is executed from the input accumulated edge peak value 3158.

図７は、ガウシアンフィルタ処理部３１５１による縮退処理の手順を示すシーケンス図である。
ガウシアンフィルタ処理部３１５１は、図７のシーケンス図に示されるように、まず、入力画像（オリジナルＩ０）に対してガウシアンフィルタ処理を施すことにより縮退処理（ダウンサンプリング）を実行し、その結果生成される画像Ｉ１に再度ガウシアンフィルタ処理を施してダウンサンプリングを実行する。そして、上記した縮退処理を任意回数繰り返す。その結果生成される画像I'３を縮退画像３１５２としてソーベルフィルタ処理部３１５３へ出力する。 FIG. 7 is a sequence diagram showing the procedure of the degeneration process performed by the Gaussian filter processing unit 3151.
As shown in the sequence diagram of FIG. 7, the Gaussian filter processing unit 3151 first performs degeneration processing (downsampling) by performing Gaussian filter processing on the input image (original I0), and is generated as a result. The image I1 is again subjected to Gaussian filter processing to execute downsampling. Then, the degeneration process described above is repeated an arbitrary number of times. The image I′3 generated as a result is output to the Sobel filter processing unit 3153 as a reduced image 3152.

図８に、ガウシアンフィルタ処理のイメージ図を示す。ガウシアンフィルタ処理とは、解像度変換により画素を間引く前に、その画素をぼかすためのフィルタ処理のことをいい、図８に示されるように、最初にｘ軸方向のサンプリングを行ってからｙ軸方向のサンプリングを行う。
具体的には、以下に示す演算式（４）、（５）を計算することによりガウシアンフィルタ処理を実行する。但し、ｆ（ｎ，ｍ）は、入力濃淡値、ｇ（ｎ，ｍ）は、一次出力濃淡値、ｈ（ｎ，ｍ）は、二次出力濃淡値、Ｗ（ｎ，ｍ）は、各画素に対する荷重である。ガウシアンフィルタ処理により、間引かれる画素の情報を隣接画素に残すことができる。 FIG. 8 shows an image diagram of Gaussian filter processing. Gaussian filter processing refers to filter processing for blurring a pixel before thinning out the pixel by resolution conversion. As shown in FIG. 8, the sampling is first performed in the x-axis direction and then in the y-axis direction. Sampling.
Specifically, Gaussian filter processing is executed by calculating the following arithmetic expressions (4) and (5). Where f (n, m) is the input gray value, g (n, m) is the primary output gray value, h (n, m) is the secondary output gray value, and W (n, m) is It is a load on the pixel. By the Gaussian filter processing, information on pixels to be thinned out can be left in adjacent pixels.

ソーベルフィルタ処理部３１５３の処理について以下に説明する。ソーベルフィルタは、Ｘ方向及びＹ方向のエッジを検出するフィルタであり、Ｘ方向のソーベルフィルタとＹ方向のソーベルフィルタは、以下の行列式（６）、（７）で表現される。 The processing of the Sobel filter processing unit 3153 will be described below. The Sobel filter is a filter that detects edges in the X direction and the Y direction. The Sobel filter in the X direction and the Sobel filter in the Y direction are expressed by the following determinants (6) and (7).

ソーベルフィルタ処理部３１５３は、更に、以下の演算式（８）、（９）を計算することにより、Ｘ方向、Ｙ方向それぞれのエッジ画像ｇｘ（ｉ，ｊ）とｇｙ（ｉ，ｊ）を求める。
但し、ｆ（ｎ，ｍ）は、入力濃淡値、ｇ（ｉ，ｊ）は、出力濃淡値、Ｗ（ｎ，ｍ）は、各画素に対する荷重、αは、注目画素の荷重値、Ｎ，Ｍは、フィルタサイズである。 The Sobel filter processing unit 3153 further calculates the following arithmetic expressions (8) and (9) to obtain edge images gx (i, j) and gy (i, j) in the X direction and Y direction, respectively. Ask.
Where f (n, m) is the input gray value, g (i, j) is the output gray value, W (n, m) is the load for each pixel, α is the load value for the pixel of interest, N, M is the filter size.

ソーベルフィルタ処理部３１５３は、上記によりエッジ画像を求めた後、エッジ強度Ｍ（ｉ．ｊ）を求める。このエッジ強度Ｍ（ｉ，ｊ）が任意の値よりも大きければエッジとし、それ以下であればエッジとしない。
続いて、ソーベルフィルタ処理部３１５３は、画素毎にエッジであるか否かの２値を持つエッジ画像をエッジ加算部３１５５に送出する。 The Sobel filter processing unit 3153 obtains the edge strength M (ij) after obtaining the edge image as described above. If this edge strength M (i, j) is larger than an arbitrary value, it is determined as an edge, and if it is less than that, it is not determined as an edge.
Subsequently, the Sobel filter processing unit 3153 sends an edge image having a binary value indicating whether each pixel is an edge to the edge adding unit 3155.

エッジ加算部３１５５の処理内容について図９を参照しながら説明する。図９は、エッジ個数を加算するためのフィルタのイメージ図である。
エッジ加算部３１５５は、エッジ画像３１５４に対して図９に示すフィルタ処理、すなわち、図９中、ハッチングで示される領域に入る（フィルタを通過する）エッジの個数を加算する。そして、空間周波数の大きさｒと、空間周波数から定義される角度θとを変化させ、各ｒ、θにおけるエッジの個数を全て算出し、累積エッジ画像３１５６を累積エッジピーク算出部３１５７へ送出する。 The processing contents of the edge adding unit 3155 will be described with reference to FIG. FIG. 9 is an image diagram of a filter for adding the number of edges.
The edge adding unit 3155 adds the filtering process shown in FIG. 9 to the edge image 3154, that is, adds the number of edges that enter the area indicated by hatching (pass the filter) in FIG. Then, the magnitude r of the spatial frequency and the angle θ defined from the spatial frequency are changed, the number of edges at each r and θ is calculated, and the accumulated edge image 3156 is sent to the accumulated edge peak calculating unit 3157. .

累積エッジピーク算出部３１５７は、入力される累積エッジ画像３１５６の中から最もエッジ個数が多い（ｒ、θ）の組み合わせを算出し、そのときのエッジ個数を累積エッジピーク値３１５８として水平線判定部３１５９へ送出する。
最後に、水平線判定部３１５９は、入力される累積エッジピーク値３１５８のエッジ個数が、ある一定の閾値以上であれば水平線がその映像上に存在すると判断する。 The cumulative edge peak calculation unit 3157 calculates the combination of the largest number of edges (r, θ) from the input cumulative edge image 3156, and sets the number of edges at that time as the cumulative edge peak value 3158 to determine the horizontal line determination unit 3159. To send.
Finally, the horizontal line determination unit 3159 determines that a horizontal line exists on the video if the number of edges of the input cumulative edge peak value 3158 is equal to or greater than a certain threshold value.

以上説明のように、重要領域判定部３１は、まず、処理選定部３１１が、オペレータ入力により、検出した目標数に応じてフレームレートの重み設定を行う目標検出処理参照部３１２による処理と、目標位置を参照して検出した目標数に応じてフレームレートの重み設定を行う目標位置情報参照部３１３による処理と、カメラの俯仰角情報を参照してフレームレートの重み設定を行うカメラ俯仰角参照部３１４による処理と、水平線が検出された映像のフレームレートの重み設定を行う水平線検出処理参照部３１５による処理の、いずれか一つを選択する。
そして、目標検出処理参照部３１２による処理が選択された場合、目標検出処理参照部３１２は、入力される映像信号から画像処理によりそれぞれ目標を検出し、ここで検出した目標数に応じて映像信号毎、そのフレームレートに重み設定を行う。具体的には、入力される映像信号のそれぞれにおいて検出される総目標数と、映像信号のそれぞれにおいて検出される目標数との割合を算出し、その割合を、伝送ケーブル１３１が持つ伝送領域に乗算して映像信号のそれぞれに割り当てられる伝送領域をフレームレート情報１１１〜１１Ｎとして算出し、フレームレート変換部４１〜４Ｎに出力する。
算出する。 As described above, the important area determination unit 31 is configured such that the process selection unit 311 first performs processing by the target detection processing reference unit 312 that sets the frame rate weight according to the number of targets detected by the operator input, Processing by the target position information reference unit 313 for setting the frame rate weight according to the number of targets detected with reference to the position, and the camera elevation angle reference unit for setting the frame rate weight with reference to the elevation angle information of the camera One of the processing by 314 and the processing by the horizontal line detection processing reference unit 315 for setting the frame rate weight of the video in which the horizontal line is detected is selected.
When the processing by the target detection processing reference unit 312 is selected, the target detection processing reference unit 312 detects the target by image processing from the input video signal, and the video signal is determined according to the number of targets detected here. Each time, a weight is set for the frame rate. Specifically, the ratio between the total target number detected in each input video signal and the target number detected in each video signal is calculated, and the ratio is calculated in the transmission area of the transmission cable 131. The transmission areas assigned to the video signals by multiplication are calculated as frame rate information 111 to 11N, and are output to the frame rate conversion units 41 to 4N.
calculate.

また、目標位置情報参照部３１３による処理が選択された場合、目標位置情報参照部３１３は、外部接続されるセンサ装置（コンソール２１）から出力される目標位置情報を参照して目標位置を特定し、入力される映像信号から画像処理によりそれぞれ目標を検出し、ここで検出した目標数に応じて映像信号毎、そのフレームレートに重み設定を行う。具体的には、入力される映像信号のそれぞれにおいて検出される総目標数と、映像信号のそれぞれにおいて検出される目標数との割合を算出し、その割合を、伝送路１３１が持つ伝送領域に乗算して映像信号のそれぞれに割り当てられる伝送領域をフレームレート情報１１１〜１１Ｎとして算出し、フレームレート変換部４１〜４Ｎに出力する。
また、カメラ俯仰角参照部３１４による処理が選択された場合、カメラ俯仰角参照部３１４は、オペレータ入力によるカメラの俯仰角に関する情報を参照し、入力される映像信号からそれぞれ水平線を検出し、ここで検出した水平線の数に応じて映像信号毎、そのフレームレートに重み設定を行う。具体的には、入力される映像信号のそれぞれにおいて検出される総水平線数と、映像信号のそれぞれにおいて検出される水平線数との割合を算出し、その割合を、伝送路１３１が持つ伝送領域に乗算して映像信号のそれぞれに割り当てられる伝送領域をフレームレート情報１１１〜１１Ｎとして算出し、フレームレート変換部４１〜４Ｎに出力する。 When the processing by the target position information reference unit 313 is selected, the target position information reference unit 313 refers to the target position information output from the externally connected sensor device (console 21) and specifies the target position. Each target is detected from the input video signal by image processing, and a weight is set for the frame rate for each video signal according to the number of targets detected here. Specifically, the ratio between the total target number detected in each of the input video signals and the target number detected in each of the video signals is calculated, and the ratio is calculated in the transmission area of the transmission path 131. The transmission areas assigned to the video signals by multiplication are calculated as frame rate information 111 to 11N, and are output to the frame rate conversion units 41 to 4N.
When the processing by the camera elevation angle reference unit 314 is selected, the camera elevation angle reference unit 314 refers to information on the camera elevation angle by the operator input, detects a horizontal line from the input video signal, In accordance with the number of horizontal lines detected in step 1, the frame rate is set for each video signal. Specifically, the ratio between the total number of horizontal lines detected in each of the input video signals and the number of horizontal lines detected in each of the video signals is calculated, and the ratio is calculated in the transmission area of the transmission path 131. The transmission areas assigned to the video signals by multiplication are calculated as frame rate information 111 to 11N, and are output to the frame rate conversion units 41 to 4N.

また、水平線検出処理参照部３１５による処理が選択された場合、水平線検出処理参照部３１５は、入力される映像信号からそれぞれ水平線を検出し、ここで検出した水平線の数に応じて映像信号毎、そのフレームレートに重み設定を行う。
具体的には、入力される映像信号のそれぞれにおいて検出される総水平線数と、記映像信号のそれぞれにおいて検出される水平線数との割合を算出し、その割合を、伝送路１３１が持つ伝送領域に乗算して映像信号のそれぞれに割り当てられる伝送領域をフレームレート情報１１１〜１１Ｎとして算出し、フレームレート変換部４１〜４Ｎに出力する。 When the processing by the horizontal line detection processing reference unit 315 is selected, the horizontal line detection processing reference unit 315 detects a horizontal line from the input video signal, and for each video signal according to the number of horizontal lines detected here, A weight is set for the frame rate.
Specifically, the ratio between the total number of horizontal lines detected in each of the input video signals and the number of horizontal lines detected in each of the recorded video signals is calculated, and the ratio is determined as a transmission area of the transmission path 131. The transmission areas assigned to the respective video signals are calculated as frame rate information 111 to 11N and output to the frame rate conversion units 41 to 4N.

そして、フレームレート変換部４１〜４Ｎは、入力されたフレームレート情報１１１〜１１Ｎを参照し、入力される映像信号９１〜９Ｎのそれぞれのフレームレートを変換し、フレームレート変換映像信号１２１〜１２Ｎとしてそれぞれ符号化部５１へ出力する。
符号化部５１は、入力されたフレームレート変換映像信号１２１〜１２Ｎの符号化を行い、その結果生成される符号化映像信号を伝送ケーブル１３１に出力する。 Then, the frame rate conversion units 41 to 4N refer to the input frame rate information 111 to 11N, convert the respective frame rates of the input video signals 91 to 9N, and obtain frame rate converted video signals 121 to 12N. Each is output to the encoding unit 51.
The encoding unit 51 encodes the input frame rate converted video signals 121 to 12N and outputs the encoded video signal generated as a result to the transmission cable 131.

一方、伝送ケーブル１３１を介して伝送される符号化映像信号は、受信装置を構成する復号化部６１で受信される。
復号化部６１は、入力された符号化映像信号をモニタシステム７１の表示モニタで表示できるように復号化処理を行い、パノラマ映像信号１４１として出力する。モニタシステム７１は、パノラマ映像信号１４０１を入力として得、マンマシンインタフェースとしての表示モニタにそのパノラマ映像信号１４１を表示する。このため、ユーザは、撮影対象領域全体をパノラマ状に監視できる他、例えば、目標接近情報等に基づき特定される重要領域を拡大表示することによりその詳細を知ることができ、特に、重要領域については比較的高いフレームレートで送信されるため画質が劣化することはない。なお、復号化部６１により出力されるパノラマ映像１４１は、映像記録システム８１にも出力され、映像記録システム８１は、入力されるパノラマ映像信号１４１の記録を行う。 On the other hand, the encoded video signal transmitted via the transmission cable 131 is received by the decoding unit 61 constituting the receiving device.
The decoding unit 61 performs a decoding process so that the input encoded video signal can be displayed on the display monitor of the monitor system 71, and outputs it as a panoramic video signal 141. The monitor system 71 receives a panoramic video signal 1401 as an input, and displays the panoramic video signal 141 on a display monitor as a man-machine interface. For this reason, the user can monitor the entire shooting target area in a panoramic manner, and can know the details by, for example, enlarging and displaying the important area specified based on the target approach information. Is transmitted at a relatively high frame rate, so the image quality does not deteriorate. The panoramic video 141 output from the decoding unit 61 is also output to the video recording system 81, and the video recording system 81 records the input panoramic video signal 141.

以上説明のように、本発明は、複数のカメラシステムから送信される複数の映像信号を限られた伝送領域で送信するために、映像信号毎に重み付けを行うことで全体としてのフレームレートの低減をはかり、パノラマ映像として伝送するものであり、限られた伝送領域しか持たない伝送路であっても数多くの映像信号を伝送することができる。
また、このとき、目標が存在すると思われる映像信号のフレームレートを高く重み付けすることにより、重要領域内における映像信号の映像品質を劣化させることなく、特に、ユーザが必要とする映像についてはカメラで取得したときの情報量をそのまま観察することができる。なお、伝送領域を変換する際に用いられる入力情報としては、目標接近情報等であり、コンソール２１を介してオペレータによって入力されるか、外部接続されるセンサを介して入力される。 As described above, the present invention reduces the overall frame rate by weighting each video signal in order to transmit a plurality of video signals transmitted from a plurality of camera systems in a limited transmission area. A large number of video signals can be transmitted even on a transmission path having a limited transmission area.
At this time, the frame rate of the video signal that seems to have a target is weighted high so that the video quality of the video signal in the important area is not deteriorated. The amount of information at the time of acquisition can be observed as it is. The input information used when converting the transmission area is target approach information or the like, which is input by an operator via the console 21 or input via an externally connected sensor.

また、図１に示す重要領域判定部３１、フレームレート変換部４１〜４１Ｎ、符号化部５１、復号化部６１のそれぞれで実行される手順をコンピュータ読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによっても本発明の画像伝送装置を実現することができることは言うまでもない。 Further, the procedure executed by each of the important area determination unit 31, the frame rate conversion units 41 to 41N, the encoding unit 51, and the decoding unit 61 shown in FIG. 1 is recorded on a computer-readable recording medium. the recorded program read into the computer system, also we are needless to say that it is possible to realize an image transmission equipment of the present invention by executing.

本発明の実施の形態１に係る画像伝送装置を適用した画像伝送システムの全体構成を示す図である。It is a figure which shows the whole structure of the image transmission system to which the image transmission apparatus which concerns on Embodiment 1 of this invention is applied . 図１に示す重要領域判定部の内部構成の一例を示すブロック図である。It is a block diagram which shows an example of an internal structure of the important area | region determination part shown in FIG. 図２に示す目標検出処理参照部の内部構成の一例を示すブロック図である。It is a block diagram which shows an example of an internal structure of the target detection process reference part shown in FIG. 図２に示す目標検出処理参照部の内部構成の一例を示すブロック図である。It is a block diagram which shows an example of an internal structure of the target detection process reference part shown in FIG. 本発明の実施の形態１における動作を説明するために引用した図であり、統計的２値化による背景差分から目標抽出を行う場合のイメージ図である。It is the figure quoted in order to demonstrate the operation | movement in Embodiment 1 of this invention, and is an image figure in the case of performing target extraction from the background difference by statistical binarization. 図２に示す水平線検出処理参照部の内部構成の一例を示すブロック図である。It is a block diagram which shows an example of an internal structure of the horizontal line detection process reference part shown in FIG. 本発明の実施の形態１における動作を説明するために引用した図であり、ガウシアンフィルタによるダウンサンプリングを行う場合のイメージ図である。It is the figure quoted in order to demonstrate the operation | movement in Embodiment 1 of this invention, and is an image figure in the case of performing downsampling by a Gaussian filter. 本発明の実施の形態１における動作を説明するために引用した図であり、ガウシアンフィルタ処理のイメージ図である。It is the figure quoted in order to demonstrate the operation | movement in Embodiment 1 of this invention, and is an image figure of a Gaussian filter process. 本発明の実施の形態１における動作を説明するために引用した図であり、エッジ個数を加算するためのフィルタ処理のイメージ図である。It is the figure quoted in order to demonstrate the operation | movement in Embodiment 1 of this invention, and is an image figure of the filter process for adding the number of edges.

Explanation of symbols

１１〜１Ｎカメラシステム^#１〜^#Ｎ、２１コンソール（センサシステム）、３１重要領域判定部、４１〜４Ｎフレームレート変換部^#１〜^#Ｎ、５１符号化部、６１復号化部、７１モニタシステム、８１映像記録システム、１３１伝送路（伝送ケーブル）、３１１処理選定部、３１２目標検出処理参照部、３１３目標位置情報参照部、３１４カメラ俯仰角参照部、３１５水平線検出処理参照部。
11 to 1N camera system ^# 1 to ^#N , 21 console (sensor system), 31 important region determination unit, 41 to 4N frame rate conversion unit ^# 1 to ^#N , 51 encoding unit, 61 decoding unit, 71 monitor system , 81 Video recording system, 131 Transmission path (transmission cable), 311 processing selection unit, 312 target detection processing reference unit, 313 target position information reference unit, 314 camera elevation angle reference unit, 315 horizontal line detection processing reference unit.

Claims

An image transmission apparatus that transmits each video signal captured and captured by a plurality of camera systems via a transmission path having a predetermined transmission area,
In order to determine a transmission area to be allocated for each video signal, input information is taken from outside, weight information for a frame rate is set for each of the video signals according to the input information, and a frame is set based on the set weight information. Control means for controlling the rate and transmitting the respective video signals in accordance with the transmission area of the transmission path;
The control means includes
Based on information from the outside of the sensor device, etc., important area information indicating a video signal that is considered to be captured is acquired, image processing is performed on each of the video signals according to the important area information, and the result is output A frame that can be transmitted from the transmission region to the transmission path by setting weight information to the frame rate according to the information to be calculated, calculating a transmission region to be allocated to each of the video signals based on the set weight information An important area determination unit for calculating a rate;
A frame rate conversion unit that performs frame rate conversion of each of the input video signals based on the frame rate output from the important region determination unit, and outputs a frame rate conversion video signal;
An encoding unit that performs an encoding process for transmitting each frame rate conversion video signal output by the frame rate conversion unit in accordance with a transmission region of the transmission path;
With
The important area determination unit
The target position is identified with reference to target position information output from an externally connected sensor device, each target is detected by image processing from the input video signal, and the video signal is detected according to the detected target number. An image transmission apparatus comprising a target position information reference unit for setting a weight for each frame rate .

The target position information reference unit
Calculate the ratio between the total target number detected in each of the input video signals and the target number detected in each of the video signals, and multiply the ratio by the transmission area of the transmission path. The image transmission apparatus according to claim 1, wherein a transmission area allocated to each of the video signals is calculated.

The important area determination unit
By the external input, the processing by the target processing determination unit that sets the frame rate weight according to the detected target number, and the target position information reference that sets the frame rate weight according to the target number detected by referring to the target position Processing by the camera unit, processing by the camera elevation / elevation angle reference unit for setting the frame rate weight with reference to the camera elevation / elevation angle information, and reference to the horizontal line detection process for setting the frame rate weight of the image in which the horizontal line is detected A process selection unit for selecting one of the processes by the unit,
The image transmission apparatus according to claim 1, further comprising: