JP4104577B2 - Image transmission apparatus, image transmission method, transmission system, and video surveillance system - Google Patents
Image transmission apparatus, image transmission method, transmission system, and video surveillance system Download PDFInfo
- Publication number
- JP4104577B2 JP4104577B2 JP2004151409A JP2004151409A JP4104577B2 JP 4104577 B2 JP4104577 B2 JP 4104577B2 JP 2004151409 A JP2004151409 A JP 2004151409A JP 2004151409 A JP2004151409 A JP 2004151409A JP 4104577 B2 JP4104577 B2 JP 4104577B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- efficiency encoding
- circuit
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本発明は、撮像装置から出力される画像信号に高能率符号化を施してデータ量を削減し、Ethernet(イーサネット)や無線LANなどを介して伝送するネットワーク環境下において、伝送されてきた高能率符号化の施された画像データに基づく表示画像を見ながら、撮像装置の水平(パン)、垂直(チルト)、及び拡大(ズーム)などの制御を遠隔操作する際に使用される画像伝送装置及び画像伝送方法に関する。 The present invention performs high-efficiency encoding on an image signal output from an imaging apparatus to reduce the amount of data, and has been transmitted in a network environment where the data is transmitted via Ethernet (Ethernet) or a wireless LAN. An image transmission device used when remotely controlling a horizontal (pan), vertical (tilt), and enlargement (zoom) control of an imaging device while viewing a display image based on encoded image data, and The present invention relates to an image transmission method.
近年のCPUやシステムLSIの高性能化及び低価格化に伴い、あらゆるアナログ信号処理がデジタル化されつつある。画像信号も例外ではなく、DVDプレイヤー/レコーダやデジタル放送などに採用されているMPEG2(Motion Picture Experts Group2)方式においては、SD(Standard Definition)画像を数Mbps程度に圧縮することができる。なお、MPEG2は、ITU−Tの勧告H.222.0(ISO/IEC13818−1)“GENERIC CODING OF MOVING PICTURES AND ASSOCIATED AUDIO INFORMATION”により規定されている。映像監視システムに使用される画像伝送装置においては、伝送路の有効活用及びコスト低減のために、画像圧縮技術(高能率符号化技術)は必須な技術である。特に、多数の監視カメラを用いた映像監視システムにおいては、MPEG2方式の画像圧縮技術を用いることにより、1本のEthenetを用いて複数の監視カメラからの映像を伝送することができる。 All analog signal processing is being digitized along with recent high performance and low price of CPU and system LSI. An image signal is not an exception, and an SD (Standard Definition) image can be compressed to about several Mbps in the MPEG2 (Motion Picture Experts Group 2) method employed in DVD players / recorders, digital broadcasting, and the like. MPEG2 is an ITU-T recommendation H.264. 222.0 (ISO / IEC 13818-1) “GENERIC CODING OF MOVING PICTURES AND ASSOCIATED AUDIO INFORMATION”. In an image transmission apparatus used in a video surveillance system, an image compression technique (high-efficiency encoding technique) is an indispensable technique for effective use of a transmission path and cost reduction. In particular, in a video surveillance system using a large number of surveillance cameras, video from a plurality of surveillance cameras can be transmitted using a single Ethernet using an MPEG2 image compression technique.
一般に、映像監視システムでは、複数の監視カメラより出力される画像データを監視用の集中管理室の監視モニターによって監視する。そして、監視画面上に不審人物を見つけた場合は、監視者は監視モニターを見ながら監視カメラの向きなどを遠隔操作して、不審人物の確認を行う。その際、従来のアナログ映像を用いた映像監視システムでは、画像データがほとんど遅延無しに伝送されてくるため、監視モニターを見ながら、監視カメラに対するパン、チルト、及びズームなどの遠隔操作を良好に行うことができる。 In general, in a video monitoring system, image data output from a plurality of monitoring cameras is monitored by a monitoring monitor in a central control room for monitoring. Then, when a suspicious person is found on the monitoring screen, the monitoring person confirms the suspicious person by remotely controlling the direction of the monitoring camera while looking at the monitoring monitor. At that time, in the conventional video surveillance system using analog video, image data is transmitted with almost no delay, so that remote operation such as panning, tilting and zooming on the surveillance camera can be performed well while watching the surveillance monitor. It can be carried out.
一方、例えば、MPEG2を利用した画像圧縮方式では、高画質に画像データを圧縮するため時間・空間的な相関を利用する。従って、MPEG2を用いた映像監視システムでは、画像圧縮、画像伸張、及びネットワーク系で発生するジッタなどを取り除く制御を実施するため、監視カメラで撮像した画像は1秒以上遅れて監視モニター上に表示される。よって、監視モニターを見ながら、監視カメラに対するパン、チルト、及びズームなどの遠隔操作をする場合、上述した画像の遅延時間が操作性を非常に悪くする。 On the other hand, for example, an image compression method using MPEG2 uses a temporal / spatial correlation to compress image data with high image quality. Therefore, in the video monitoring system using MPEG2, image compression, image expansion, and control for removing jitter generated in the network system are performed, so that the image captured by the monitoring camera is displayed on the monitoring monitor with a delay of 1 second or more. Is done. Therefore, when performing remote operations such as panning, tilting, and zooming on the surveillance camera while looking at the surveillance monitor, the delay time of the image described above makes the operability very poor.
以下に、圧縮画像を利用した従来の映像監視システムについて説明する。図19は、従来の映像監視システム19aを示すブロック構成図である。図19に示されるように、従来の映像監視システム19aは、監視カメラ1と、この監視カメラ1の向きなどを制御する電動雲台2と、画像伝送装置7a及びこれに通信ケーブル9で接続された画像受信装置14aからなる伝送システム18aと、監視カメラ1により撮影された画像を表示する監視モニター15と、監視カメラ1及び電動雲台2を伝送システム18aを介して制御するための操作パネル16とから構成されている。以下の説明においては、説明を簡単にするため、図19に示されるように、同一ネットワーク上に画像伝送装置7aと画像受信装置14aが一対一で接続されているものとして説明するが、実際の映像監視システムでは、同一ネットワーク上に画像伝送装置7a及び画像受信装置14aがそれぞれ複数台接続される。
A conventional video monitoring system using a compressed image will be described below. FIG. 19 is a block diagram showing a conventional video monitoring system 19a. As shown in FIG. 19, the conventional video surveillance system 19 a is connected to the
図19に示されるように、画像伝送装置7aは、画像圧縮回路3、通信モジュール4、CPU5、及びCPUバス6により構成される。画像圧縮回路3は、監視カメラ1より入力される画像信号をデジタル信号に変換し、この変換されたデジタル画像信号に高能率符号化を施し伝送データ量を削減する。通信モジュール4は、画像圧縮回路3により圧縮された画像データの送信、電動雲台2の向きなどを制御する制御信号の受信、及び監視カメラ1のズーム制御などを実施する制御信号の受信を行う。CPU5は、監視カメラ1のズーム、或いは電動雲台2の向きなどを制御する制御信号8を監視カメラ1及び電動雲台2に出力する。また、図19に示されるように、画像受信装置14aは、通信モジュール10、画像伸張回路11、CPU12、及びCPUバス13により構成される。通信モジュール10は、画像伝送装置7aより出力される圧縮された画像データの受信、並びに、CPU12より出力される電動雲台2の制御信号及び監視カメラ1の制御信号の送信を行う。画像伸張回路11は、画像圧縮回路3にて圧縮された画像データを伸張し元の画像データを復元する。監視カメラ1のズーム、或いは電動雲台2の向きなどを制御するための操作は操作パネル16により行われる。
As shown in FIG. 19, the
以下に、図19を用いて従来の映像監視システム19aの動作を説明する。監視カメラ1より出力されるアナログの画像信号は、画像圧縮回路3内でデジタル信号に変換された後、MPEG2による画像圧縮が施されトランスポートストリーム(以下「TS」と記す。)が生成される。画像圧縮回路3内で生成されたTSは、CPU5にてTSの先頭にヘッダ情報などが付加され、TSパケットとして通信モジュール4に入力される。上述したように、一般的な映像監視システム19aにおいては、画像伝送装置7a及び画像受信装置14aが、同一ネットワーク上に複数台接続される。従って、CPU5では、どの画像伝送装置7aからどの画像受信装置14aに出力されたTSパケットかを判断するための情報などをヘッダに付加する。なお、この従来例では、ヘッダ情報としては、画像データと監視カメラ1の制御情報を識別するための情報を付加し、また、通信プロトコルとしてはTCP/IPを使用するものとする。通信モジュール4は、TCP/IPヘッダの付加されたTSパケットが入力されると、通信ケーブル9を介して画像受信装置14a内の通信モジュール10にTSパケットを送信する。
The operation of the conventional video monitoring system 19a will be described below with reference to FIG. The analog image signal output from the
画像伝送装置7aの通信モジュール4から画像受信装置14aの通信モジュール10にTSパケットが入力されると、画像受信装置14aのCPU12は、ヘッダ情報を解析する。CPU12は、TCP/IPのヘッダ情報を解析し、そのTSパケットが自分宛のものであった場合、ヘッダ情報を削除し、TSを画像伸張回路11に入力する。なお、この従来例では、画像伝送装置7aからはTSパケットのみ受信するものとして説明を行う(実際は、監視カメラ1の制御信号を送出した際はそのTCP/IPのACK(確認通知)などを受信する。)。画像伸張回路11は、入力されたTSより元の画像データを復元して監視モニター15に出力する。
When a TS packet is input from the
次に、監視者が不審人物を確認し監視カメラ1の向きなどを変える場合のカメラ制御信号の流れについて説明する。監視者が不審人物を確認し操作パネル16を用いて監視カメラ1の向きなどの制御を開始すると、操作パネル16より監視カメラ1の制御信号がCPU12へ入力される。CPU12は、監視カメラ1の制御信号17が入力されると、制御信号17にヘッダ情報を付加し通信モジュール10に出力する。なお、CPU12は、制御信号17にTCP/IPヘッダも付加する。通信モジュール10は、CPU12より監視カメラ1の制御信号パケットが入力されると、この制御信号パケットを通信ケーブル9を介して画像伝送装置7a内の通信モジュール4に送信する。一方、画像伝送装置7a内の通信モジュール4は、通信モジュール10より監視カメラ1の制御信号パケットの受信を完了すると、CPU5に対して割り込みを発生する。CPU5は、通信モジュール4より割り込みが入力されると、受信データを通信モジュール4より読み出しヘッダ情報を解析する。ヘッダ情報を解析した結果、受信パケットが自分宛のものであった場合、ヘッダ情報を解析し、どのような情報を受信したか判断する。この判断結果が監視カメラ1の制御情報であった場合、ヘッダ情報を削除し、この制御情報を電動雲台2へ出力する。実際には、監視カメラ1の向きを制御するパン及びチルト制御の情報は電動雲台2へ、また、ズーム、フォーカスなどの監視カメラ1自体の制御信号は監視カメラ1へ出力されるが、この従来例では、説明を簡単にするため、図19に示されるように、いずれの制御信号も電動雲台2へ出力されるものとする。
Next, the flow of the camera control signal when the supervisor confirms the suspicious person and changes the orientation of the
画像伝送装置7a内のCPU5より監視カメラ1の制御信号8が入力されると、入力された制御情報に基づき、電動雲台2は監視カメラ1の向きなどを制御し、監視カメラ1はズームなどの制御を実施する。しかし、MPEG2などのフレーム相関を利用した画像圧縮方式を採用した場合には、監視カメラ1で撮像した画像が画像受信装置14aに接続された監視モニター15に表示されるまでに、およそ1秒程度かかる。従って、画像信号を圧縮してデジタルで伝送する従来の映像監視システム10aでは、監視カメラ1の向きを変えるよう監視者が操作パネル16を操作しても、監視モニター15の表示画像が反応するまでに1秒程度の遅れがあり、操作が非常に難しいという問題点があった。この問題点を改善する一手法として、監視カメラ1を制御する際の画像の圧縮方式を、フレーム相関を利用した画像圧縮方式から、遅延時間の少ない圧縮方式に切り替える方式が提案されている(例えば、特許文献1参照)。
When the
以下に、上記特許文献1に記載されている従来の画像伝送装置の動作について説明する。上記特許文献1では、圧縮処理時の時間を短くするために、入力画像の解像度を軽減させた間引き画像を表示する手法を使用するか、又は、画像圧縮モードとして通常監視時の高画質IPBモード(双方向予測を使用)から遅延時間の短いIモード(フレーム内符号化を使用)若しくはIPモード(片方向予測を使用)に切り換えるよう制御することにより、画像の遅延時間を短縮させている。
The operation of the conventional image transmission apparatus described in
しかしながら、上記手法は以下のような問題点を有する。まず、入力画像の解像度を軽減させ画像圧縮処理時間を短くする手法は、MPEG2を用いた圧縮手法では、IPBモードを使用した場合、少なくとも画像圧縮時及び画像伸張時にそれぞれ4フレームの遅延が発生する。この場合、入力画像の解像度を軽減させているので画像の演算処理時間及びネットワーク上での伝送時間は軽減されるが、操作性はさほど改善されない。 However, the above method has the following problems. First, the method of reducing the resolution of an input image and shortening the image compression processing time is a compression method using MPEG2, and when using the IPB mode, a delay of 4 frames occurs at least during image compression and image expansion. . In this case, since the resolution of the input image is reduced, the image processing time and the transmission time on the network are reduced, but the operability is not improved so much.
一方、監視カメラ1を制御する際、遅延時間の短いIモード又はIPモードを使用する場合は、大きく分けて以下の3つ問題点を有する。
On the other hand, when the
1つ目の問題点は、制御開始時の際の遅延時間である。上記手法では、監視者が監視画面上に不審人物を確認した後、実際の遅延時間の短いIモード或いはIPモードに移行するまでの時間が1秒以上かかる点にある。これは、画像データがシリアルに連続的に伝送されてくるため発生する。従って、監視者が被写体に対してカメラ制御を開始しても、遅延時間の少ない画像に切り替わるまでに若干の遅延時間が発生し、それが動く人物などの場合、初期反応が遅れてしまう問題点がある。また、一般に市販されているMPEG2デコーダでは、IPBモードからIモード或いはIPモードへの変換時に、画像受信装置14a内の遅延量を短くするため、一旦画像伸張回路11をリセットする必要がある。その際、数フレーム画像が止まる、若しくは数フレーム表示されなくなる可能性がある。また、Iモード或いはIPモードからIPBモードへの移行に関しても、同様に、一旦画像伸張回路11をリセットする必要があり、その場合、次の画像が表示されるまでに、1秒程度画像が出ない可能性があるという問題点があった。すなわち、ストリームを乗り換えるため1秒程度画像が出ない可能性があるという問題点があった。
The first problem is the delay time at the start of control. In the above-described method, it takes 1 second or more after the monitor confirms the suspicious person on the monitor screen until the monitor shifts to the I mode or IP mode with a short actual delay time. This occurs because image data is continuously transmitted serially. Therefore, even if the supervisor starts camera control on the subject, there is a slight delay time before switching to an image with a short delay time, and in the case of a person who moves it, the initial reaction is delayed. There is. In addition, in a commercially available MPEG2 decoder, it is necessary to reset the
2つ目の問題点は、画像伝送装置7aと画像受信装置14aとの間のクロック同期制御である。一般に、Ethernet等を用いたネットワークでは、伝送装置と受信装置間のクロック同期は取れない。具体的には、画像圧縮回路3のマスタークロックと画像伸張回路11のマスタークロックでは、たとえ同じ27MHzの水晶発振子を使用していた場合でも、水晶発振子の周波数偏差分だけ、各々のマスタークロックは周波数が異なる。また、Ethernet等を用いたネットワークでは、パケットの送受信時にジッタが発生する。MPEG2システムでは、画像圧縮回路3と画像伸張回路11の間でクロックの同期を取るためPCR(Program Clock Reference)が挿入されている。このPCRは、画像伸張回路11で時刻の基準となるSTC(System Time Clock)の値を画像圧縮回路3側で意図した値に設定するための情報である。従って、PCRが画像伸張回路11に入力されるタイミングは、画像圧縮回路3で意図したタイミングである必要がある。この規定はMPEG2のシステム仕様により取り決められており、PCRに関してはTSの場合少なくとも100msに1回は伝送する必要がある。更に、PCRを含むTSに関しては、そのジッタを数十μs以下(例えば、50μs)に抑える必要がある。
The second problem is clock synchronization control between the
上記クロック同期制御及びジッタ抑圧制御に関しては、この改善策としてATM(Asyncronous Tranfer Mode)を用いたものがある(例えば、特許文献2参照)。 As for the clock synchronization control and jitter suppression control, there is one using ATM (Asynchronous Transfer Mode) as an improvement measure (see, for example, Patent Document 2).
上記特許文献2では、SRTS(Synchronous Residual Time Stamp:同期残差タイムスタンプ)法による通信方式と適応クロック法による通信方式について述べられている。SRTS法は通信を行う送信側と受信側の共通クロックを参照できる場合に使用する方式である。送信側でNビットごとの固定データ転送速度情報の間隔で共通クロックを計測し、計測値の中で送信クロック周波数変動により値が変わる部分だけを同期タイムスタンプ残差情報としてパケットに挿入して送信する。受信側では、送られてきた同期タイムスタンプ残差情報と共通クロックとからNビットの固定速度情報の間隔を再生し、この間隔を元に送信側のクロックを再生する。一方、適応クロック法は、受信側において受信したパケットに格納されている固定速度情報をバッファに格納し、格納した情報量が基準値を保持するようにバッファの読み出しクロック情報を制御する方式である。
また、上記SRTS法及び適応クロック法を組み合わせた方式では、バッファに格納される情報量があらかじめ設定された基準値に達した後はSRTS法によりクロックを再生する。その後バッファに格納される情報量があらかじめ設定した上限値、或いは下限値に達すると適応クロック法によりクロックを再生し、バッファの情報量を基準値に戻す。バッファ量の情報量が基準値に戻った後は再びSRTS法に基づきクロックを再生する。この場合、通信側と送信側でクロックが参照できない場合でも、受信側のバッファのオーバーフロー、或いはアンダーフローは発生することなくSRTS法によるクロック再生を利用することができることになる。 In the method combining the SRTS method and the adaptive clock method, the clock is regenerated by the SRTS method after the amount of information stored in the buffer reaches a preset reference value. Thereafter, when the amount of information stored in the buffer reaches a preset upper limit value or lower limit value, the clock is regenerated by the adaptive clock method, and the information amount of the buffer is returned to the reference value. After the information amount of the buffer amount returns to the reference value, the clock is reproduced again based on the SRTS method. In this case, even if the communication side and the transmission side cannot refer to the clock, the SRTS method clock recovery can be used without causing overflow or underflow of the buffer on the reception side.
しかしながら、上記特許文献1に記載のシステムでは、監視カメラ1を制御する際、MPEG2による符号化方式が変更されるので、伝送されるTSパケットの伝送レートが通常監視時と異なると予想される。従って、上記特許文献1に記載のシステムについて、SRTS法、適応クロック法、或いは両者の組み合わせによるクロック同期制御及びジッタ抑圧制御を行うこと非常に難しいという問題点があった。すなわち、上記特許文献2の手法は、入力されるパケットデータが一定のレートで入力されてくる場合にのみ使用されるものであり、上記特許文献1に記載のシステムに適用することが難しいという問題点があった。
However, in the system described in
さらに、3つ目の問題点は、監視カメラ1を制御する際のTSパケットの到達遅延時間の問題である。一般に、Ethernet等を用いたネットワークでは、ネットワーク上を流れるパケットはすべて平等である。先にも述べたが、一般的な映像監視システムでは、同一ネットワーク上に複数の画像伝送装置7a及び画像受信装置14aが接続されている。このようなネットワークでは、通常、ネットワーク上で発生するジッタを抑圧するため、画像受信装置14a側にTSパケットを一次記憶するメモリを配置する。しかし、この従来例に示すような映像監視システムでは、監視カメラ1を制御する際の画像の遅延時間を小さく抑えるため上記メモリサイズを非常に小さくするしなければならない。しかし、メモリサイズを小さくした場合、ネットワーク上で発生するジッタを十分に吸収しきれず、画像を途切れなく伝送することが非常に難しいという問題点があった。
Further, the third problem is a problem of the arrival delay time of the TS packet when the
そこで、本発明は、上述のような従来技術の課題を解決するためになされたものであり、圧縮画像信号を用いた映像監視システムにおいて監視カメラを制御する際、監視モニターに表示される画像の遅れ時間を短縮すると共に、監視カメラの制御開始時及び制御終了時においてもスムーズに画像切り替えが実施でき、また、通常監視時及び監視カメラ操作時のいずれにおいても画像を途切れることなく表示することができる画像伝送装置及び画像伝送方法を得ることを目的とする。 Therefore, the present invention has been made to solve the above-described problems of the prior art. When a surveillance camera is controlled in a video surveillance system using a compressed image signal, an image displayed on the surveillance monitor is displayed. The delay time can be shortened, images can be switched smoothly at the start and end of control of the surveillance camera, and images can be displayed without interruption during normal surveillance and surveillance camera operation. An object of the present invention is to obtain an image transmission apparatus and an image transmission method.
本発明の画像伝送装置は、撮像装置から入力される画像データに高能率符号化を施し、上記高能率符号化の施された画像データを復元し表示装置に出力する画像受信装置に対して、送信する画像伝送装置において、上記撮像装置から入力される画像データに第1の高能率符号化を施す第1の高能率符号化手段と、上記撮像装置から入力される画像データに第2の高能率符号化を施す第2の高能率符号化手段と、上記第1の高能率符号化の施された画像データ及び上記第2の高能率符号化の施された画像データを上記画像受信装置に送信する送信手段と、上記撮像装置の撮像位置又はズームの少なくとも一方を含む撮像条件を変更するための撮像条件変更要求信号を受信する受信手段と、上記撮像条件変更要求信号に基づく撮像条件制御信号を上記撮像装置に対して出力する撮像条件制御手段とを有し、上記第1の高能率符号化を施す際の画像データの遅延量は、上記第2の高能率符号化を施す際の画像データの遅延量よりも少なく、上記撮像条件制御手段が上記撮像条件制御信号を出力するときにおける上記第2の高能率符号化手段の画像データの圧縮率を、上記撮像条件制御手段が上記撮像条件制御信号を出力するとき以外における上記第2の高能率符号化手段の画像データの圧縮率よりも高く制御するとともに、上記撮像条件制御手段が上記撮像条件制御信号を出力するときには、上記送信手段より送信される信号に関して、上記第1の高能率符号化の施された画像データの優先度を上記第2の高能率符号化の施された画像データの優先度よりも高く設定し、上記第1の高能率符号化の施された画像データを優先的に送信するよう上記送信手段を制御することを特徴としている。
Image transmission apparatus of the present invention performs a high efficiency coding on the image data input from the imaging device, the image receiving apparatus which outputs the restored display image data subjected to the above-described high efficiency encoding, In the transmitting image transmission apparatus, a first high-efficiency encoding unit that performs first high-efficiency encoding on the image data input from the imaging apparatus, and a second high-efficiency unit for the image data input from the imaging apparatus. a second high-efficiency coding means for applying efficiency coding, the image data subjected to the above-described first high-efficiency encoding of applied image data and the second high efficiency encoding to the image receiving apparatus Transmitting means for transmitting; receiving means for receiving an imaging condition change request signal for changing an imaging condition including at least one of an imaging position or zoom of the imaging apparatus; and an imaging condition control signal based on the imaging condition change request signal The An imaging condition control means for outputting to the imaging device, and the delay amount of the image data when the first high-efficiency encoding is performed is the image data when the second high-efficiency encoding is performed less than the amount of delay, the compression ratio of the image data of the second high-efficiency encoding means at the time when the upper Symbol imaging condition control means outputs the image pickup condition control signal, the imaging condition control means the imaging condition with a high Ku system to control than the compression ratio of the image data of the second high-efficiency encoding means in addition when outputting a control signal, when the imaging condition control means outputs the image pickup condition control signal, the transmission For the signal transmitted from the means, the priority of the image data subjected to the first high-efficiency encoding is set higher than the priority of the image data subjected to the second high-efficiency encoding, First high efficiency It is characterized by controlling the transmission means to transmit the image data subjected to the No. of priority.
本発明の画像伝送装置又は画像伝送方法においては、例えば、撮像位置やズーム等の撮像条件を変更する際に、少なくとも表示装置に表示する画像を第1の高能率符号化手段により高能率符号化の施された画像データに切り換えると共に、第2の高能率符号化手段で符号化する画像データの圧縮率を、撮像条件を変更する場合と比較し高く制御するよう構成するので、撮像装置を遠隔操作するとき画像データの遅延時間を短くすることができる。また、撮像装置操作時には第1の高能率符号化が施された画像データを表示装置に表示させるが、第2の高能率符号化手段による画像データも伝送し続けるので、画像受信装置側のクロック同期制御等を第2の高能率符号化手段より出力される画像データを用いて実施することができ、撮像装置制御終了後、表示装置上に表示する画像を第2の高能率符号化手段による画像データに切り換えた場合でも画像データが乱れることなくスムーズに表示画像を切り換える(例えば、切り換えた直後1秒程度表示画像がフリーズすることなどが無い)ことができるという効果がある。 In the image transmission apparatus or the image transmission method of the present invention, for example, when changing imaging conditions such as the imaging position and zoom, at least an image to be displayed on the display device is encoded by the first high efficiency encoding means. And the compression rate of the image data encoded by the second high-efficiency encoding means is controlled to be higher than when the imaging condition is changed. When operating, the delay time of image data can be shortened. Further, the image data subjected to the first high-efficiency encoding is displayed on the display device when the image pickup apparatus is operated, but the image data by the second high-efficiency encoding means is also continuously transmitted. Synchronous control or the like can be performed using image data output from the second high-efficiency encoding unit, and after the imaging device control is finished, an image displayed on the display device is output by the second high-efficiency encoding unit. Even when the image data is switched, there is an effect that the display image can be smoothly switched without disturbing the image data (for example, the display image does not freeze for about 1 second immediately after the switching).
以下に、本発明をその実施の形態を示す図面に基づいて具体的に説明する。
実施の形態1.
図1は、本発明の実施の形態1における映像監視システムの一構成例を示す図である。図1に示されるように、実施の形態1における映像監視システム19は、監視カメラ1と、監視カメラ1の向きなどを制御する電動雲台2と、画像伝送装置7と、この画像伝送装置7に通信ケーブル9(ネットワーク)により接続された画像受信装置14と、監視カメラ1により撮影された画像を表示する監視モニター15と、監視カメラ1及び電動雲台2を制御するための操作パネル16とから構成されている。図1に示されるように、画像伝送装置7と画像受信装置14は、伝送システム18を構成している。また、監視カメラ1と電動雲台2は、撮像装置(監視カメラ装置)を構成している。実施の形態1においては、説明を簡単にするため、図1に示されるように、同一ネットワーク上に画像伝送装置7と画像受信装置14が一対一で接続されている場合を説明するが、実際の映像監視システムでは、同一ネットワーク上に画像伝送装置7及び画像受信装置14がそれぞれ複数台接続される。
Hereinafter, the present invention will be specifically described with reference to the drawings showing embodiments thereof.
FIG. 1 is a diagram illustrating a configuration example of a video monitoring system according to
図1に示されるように、画像伝送装置7は、画像圧縮回路20、通信モジュール4、CPU5、及びCPUバス6により構成される。画像圧縮回路20は、監視カメラ1より入力される画像信号をデジタル信号に変換し、この変換されたデジタル画像信号に高能率符号化を施し伝送データ量を削減する。通信モジュール4は、画像圧縮回路20により圧縮された画像データの送信、電動雲台2の向きを制御する制御信号の受信、及び監視カメラ1のズーム制御などを実施する制御信号の受信などを行う。CPU5は、監視カメラ1のズーム或いは電動雲台2の向きなどを制御する制御信号8を監視カメラ1及び電動雲台2に出力する。
As shown in FIG. 1, the
図1に示されるように、画像受信装置14は、通信モジュール10、画像伸張回路21、CPU12、及びCPUバス13により構成される。通信モジュール10は、画像伝送装置7より出力される圧縮された画像データの受信、並びに、CPU12より出力される電動雲台2の制御信号及び監視カメラ1の制御信号の送信などを行う。画像伸張回路21は、画像圧縮回路20にて圧縮された画像データを伸張し元の画像データを復元する。監視カメラ1のズーム或いは電動雲台2の向きなどを制御するための操作は、操作パネル16により行われる。
As shown in FIG. 1, the
図2は、図1に示される画像圧縮回路20のブロック構成図である。図2に示されるように、画像圧縮回路20は、NTSCデコーダ32、MPEG2符号回路33、JPEG符号回路34、画像圧縮制御回路35、タイムスタンプ生成回路36、TSパケット生成回路37、JPEGパケット生成回路38、TS記憶メモリ39、及びJPEGパケット記憶メモリ40により構成される。NTSCデコーダ32は、監視カメラ1より入力端子31を介して入力されたコンポジットの画像信号をデコードして、輝度信号及び2つの色差信号に変換する。MPEG2符号回路33は、NTSCデコーダ32から出力される輝度信号及び2つの色差信号に、MPEG2符号化を施す。JPEG符号回路34は、NTSCデコーダ32より出力される輝度信号及び2つの色差信号に、JPEG符号化を施す。画像圧縮制御回路35は、MPEG2符号回路33及びJPEG符号回路34を制御する。タイムスタンプ生成回路36は、MPEG2符号回路33より出力されるTSに付加するタイムスタンプを生成する。TSパケット生成回路37は、MPEG2符号回路33より出力されるTSにタイムスタンプ生成回路36で生成されたタイムスタンプ情報を付加しTSパケットを生成する。JPEGパケット生成回路38は、JPEG符号回路34より出力されるJPEG符号化の施されたデータを通信モジュールで伝送する際のパケットフォーマットに変換する。TS記憶メモリ39は、TSパケット生成回路37より出力されるTSパケットを記憶する。JPEGパケット記憶メモリ40は、JPEGパケット生成回路38で生成されたJPEGパケットを記憶する。
FIG. 2 is a block diagram of the
図3は、図1に示される画像伸張回路21のブロック構成図である。図3に示されるように、画像伸張回路21は、MPEGTSメモリ制御回路50、MPEGTS用メモリ51、MPEG2復号回路52、TV同期発生回路53、画像復号制御回路54、JPEG復号回路55、JPEG用メモリ56、JPEG用メモリ制御回路57、スイッチ58、及びNTSCエンコーダ59により構成される。MPEGTSメモリ制御回路50は、受信したTSパケットのMPEGTS用メモリ51への書き込み制御、及びMPEGTS用メモリ51からの読み出し制御を行う。また、MEPGTSメモリ制御回路50は、受信したパケットよりJPEGパケットを分離し、JPEG復号回路55へ入力するパケット分離も実施する。MPEGTS用メモリ51は、TSパケットを記憶する。MPEG2復号回路52は、MPEGTS用メモリ51より出力されるTSを復号する。TV同期発生回路53は、MPEG2復号回路52より出力される制御信号を元に出力する画像データのTV同期(水平同期信号及び垂直同期信号のタイミング)を発生する。画像復号制御回路54は、MPEG2復号回路52及びJPEG復号回路55を制御する。JPEG復号回路55は、MPEGTSメモリ制御回路50で分離されたJPEG圧縮された画像データを復号する。JPEG用メモリ56は、JPEG復号回路55で復号された1フィールド、或いは1フレームの画像データを記憶する。JPEG用メモリ制御回路57は、JPEG用メモリ56を制御する。スイッチ58は、MPEG2復号回路58より出力される画像データとJPEG用メモリ56より出力される画像データを切り換える。NTSCエンコーダ59は、スイッチ58から出力されたMPEG2復号回路58からの画像データ又はJPEG用メモリ56からの画像データをエンコードして、出力端子60を介して監視モニター15に出力する。
FIG. 3 is a block diagram of the
図4(a)乃至(c)は、通信ケーブル9を介してTSを伝送する際に発生するジッタを説明するための図である。図4(a)乃至(c)において、横軸は時間軸である。図4(a)は、画像圧縮回路20内のMPEG2符号回路33(図2)より出力されるTSの出力タイミングを示す。また、図4(a)乃至(c)においてハッチングを施したTS(0番目、5番目、及び12番目のTSパケット)は、PCRが含まれるTSとする。上述した課題を解決するための手段の欄において説明したように、MPEGTSを復号する場合、PCRを含むTSジッタは数十μs以下に抑える必要がある。しかし、通信ケーブル9では、ジッタが発生する。実施の形態1では、通信方式としてEthernetを使用した場合について説明するが、Ethenetを使用した通信方式では、一般に伝送されるパケットの優先度は対等である。従って、ネットワーク上にパケットを送出する際に他のパケットと競合した場合は、パケット送出を待たされる場合がある。また、Ethernetを使用した場合の最大伝送レートは、100BASEを使用した場合で、100Mbps程度となり、実行のスループットは、その半分程度になる。よって、図4(a)に示すようなVBR(可変ビットレート)にて符号化されたデータを伝送する場合は、データ送信の際の競合、及び入力されるTSの瞬間の伝送レートと通信ケーブル9のデータ伝送帯域の差により、図4(b)に示されるように、各TSが入力されたタイミングとは異なるタイミングで通信ケーブル9上を流れる。例えば、図4(a)に示されるように、0番目から3番目までの4つのTSが連続してMPEG2符号回路33より入力された後、しばらくTSが受信されず、その後、4番目から7番目までの4つのTSが入力され、さらにその後、8番目及び9番目の2つのTSが入力される。このように、MPEG2符号回路33から入力されるTSは、一定の間隔で入力されるとは限らない。
FIGS. 4A to 4C are diagrams for explaining jitter generated when a TS is transmitted via the
一方、上記課題を解決するための手段の欄で述べたように、TSには、画像圧縮回路20内のMPEG2符号回路33(図2)と画像伸張回路21内のMPEG2復号回路52(図3)との間でクロックの同期を取るため、PCRが挿入されている。このPCRは、MPEG2復号回路52で時刻の基準となるSTCの値を送信側で意図した値に設定するための情報である。従って、PCRがMPEG2復号回路52に入力されるタイミングは、送信側で意図したタイミングである必要がある。この規定はMPEG2のシステム仕様により取り決められており、PCRに関してはTSの場合少なくとも100msに1回は伝送する必要がある。更に、PCRを含むTSに関しては、そのジッタを数十μs以下(例えば、50μs)に抑える必要がある。従って、MPEG2復号回路52へは、図4(c)に示すように、各TSは入力されたTSに対して一定の遅延量で入力される必要がある。
On the other hand, as described in the section of means for solving the above problems, the TS includes an MPEG2 encoding circuit 33 (FIG. 2) in the
図5は、本発明の実施の形態1における画像伝送装置7から送信されるTSパケットの構成を示す図である。実施の形態1では、188バイトのTSの先頭に、通信ケーブル9で発生するジッタを補正するため4バイトのタイムスタンプを付加し、TSパケットを構成する。
FIG. 5 is a diagram showing a configuration of a TS packet transmitted from the
図6は、本発明の実施の形態1における画像伝送装置7から送信されるJPEGパケットの構成を示す図である。実施の形態1では、JPEGパケットを図5に示されるTSパケットと同様に、192バイトで構成する。
FIG. 6 is a diagram showing a configuration of a JPEG packet transmitted from the
図7は、本発明の実施の形態1における画像受信装置7内で発生するクロックジッタによるMPEGTS用メモリ51内のMPEGTSパケットの記憶容量がどのように変化するかを説明するための図である。
FIG. 7 is a diagram for explaining how the storage capacity of the MPEGTS packet in the
以下に、図1から図7までを用いて、実施の形態1における映像監視システム19の動作を説明する。まずはじめ、通常の監視を実施している場合(監視カメラ1の向き、ズームなどの制御を行っていないとき、すなわち、監視カメラ1の撮影位置や撮影範囲などの撮影条件の変更動作を行っていないとき)の動作を説明する。監視カメラ1より撮像された監視画像は、画像伝送装置7内の画像圧縮回路20に入力される。なお、実施の形態1では、監視カメラ1からはNTSC信号(コンポジット信号)が出力されるものとして説明する。以下に、図2を用いて画像圧縮回路20の動作を説明する。入力端子31を介して入力された監視画像は、NTSCデコーダ32に入力され、輝度信号及び2つの色差信号に変換され、MPEG2符号回路33及びJPEG符号回路34に入力される。その際、NTSCデコーダ32では、入力される監視画像より水平同期信号及び垂直同期信号を分離し、この分離された水平同期信号及び垂直同期信号も、MPEG2符号回路33及びJPEG符号回路34に入力する。
The operation of the video monitoring system 19 in the first embodiment will be described below with reference to FIGS. First, when normal monitoring is performed (when the direction of the
また、画像圧縮制御回路35は、CPU5より出力される指令に基づき、MPEG2符号回路33及びJPEG符号回路34の制御を行う。具体的には、実施の形態1では、画像圧縮制御回路35は、MPEG2符号回路33及びJPEG符号回路34の初期化、並びに、伝送する画像データの伝送レートの設定などを行う。なお、実施の形態1においては、通常撮像時には、JPEG符号回路34による監視画像の符号化は行わない(JPEG圧縮は実施しない)ものとして説明する。
The image
MPEG2符号回路33に入力された監視画像は、IPBモードで符号化され、TSの形式でTSパケット生成回路37に入力される。また、MPEG2符号回路33は、上記TSを出力する際、その先頭を指し示す制御信号をタイムスタンプ生成回路36に出力する。タイムスタンプ生成回路36は、画像伝送装置7内のシステムクロックを元に画像伝送装置7の基準時間を計測しており、上記TSの先頭を指し示す制御信号がMPEG2符号回路33より出力されると、その時刻(タイムスタンプ)をTSパケット生成回路37に出力する。実施の形態1では、タイムスタンプ情報は、図5に示されるように、4バイトで構成するものとする。TSパケット生成回路37は、MPEG2符号回路33より入力されるTSの先頭にタイムスタンプ生成回路36より出力されるタイプスタンプを付加し、図5に示すTSパケットを生成する。TSパケット生成回路37より出力されるTSパケットは、TS記憶メモリ39へ一旦記憶される。
The monitoring image input to the
一方、CPU5は、TS記憶メモリ39内に所定量のTSパケット(実施の形態1では、7TSパケットとする。)が記憶されると、それを連続してTS記憶メモリ39より読み出し、その先頭に伝送するあて先情報、パケットデータの種別(制御データ、MPEGTS、JPEGなどを識別する情報)、及びその優先順位(優先順位に関しては後述する。)などの情報を付加した後、Ethernet用のヘッダ情報を付加して通信モジュール4に送る。上記ヘッダ情報の付加されたパケットデータが入力されると、通信モジュール4は、他に競合しているパケットが無いかを確認し、もし競合しているパケットが無い場合は、入力されたパケットデータを通信ケーブル9に送出する。
On the other hand, when a predetermined amount of TS packets (7 TS packets in the first embodiment) are stored in the
次に、図3を用いて通常の監視を行っている場合の画像受信装置14(図3)の動作を説明する。通信ケーブル9を介して通信モジュール10に入力されたパケットデータは、CPU12にてヘッダ情報が確認され、パケットデータのあて先、種別などが判別される。そして、パケットデータが自分宛の制御データであった場合は、制御データを元に所定の処理を実施する。一方、パケットデータがMPEGTSであった場合は、そのデータを画像伸張回路21内のMPEGTSメモリ制御回路50に出力する。その際、MPEGTSかJPEGパケットかの識別情報も出力する。
Next, the operation of the image receiving apparatus 14 (FIG. 3) when normal monitoring is performed will be described with reference to FIG. The packet data input to the
MPEGTSメモリ制御回路50では、タイムスタンプを含むMPEGTSパケットが入力されると、このパケットをMPEGTS用メモリ51へ書き込むためのアドレスなどの制御信号を発生し、上記MPEGTSパケットをMPEGTS用メモリ51に書き込む。MPEGTS用メモリ51に記憶されたMPEGTSパケットは、MPEGTSメモリ制御回路50より出力される読み出しアドレスなどの読み出し制御信号に基づき読み出され、MPEG2復号回路52へ入力される。
When an MPEGTS packet including a time stamp is input to the MPEGTS
以下に、MPEGTSメモリ制御回路50のMPEGTSパケット読み出し動作の詳細を説明する。MPEGTSメモリ制御回路50は、画像伝送装置7より出力される先頭のMPEGTSパケットがMPEGTS用メモリ51に記憶されると、はじめに、上記MPEGTSパケットの先頭に付加されているタイムスタンプ情報をMPEGTS用メモリ51より読み出し、その後は、MPEGTS用メモリ51内に所定量のMPEGTSパケットが記憶されるまで、MPEGTSパケットの読み出し動作を開始せず、待機する。そして、所定量のMPEGTSパケットがMPEGTS用メモリ51に記憶されると、MPEGTSメモリ制御回路50内のMPEGTSパケット読み出し制御用タイマー(図示せず)の初期値として上記先頭のMPEGTSパケットに付加されていたタイムスタンプ情報をセットすると共に、上記先頭のMPEGTSパケットをMPEGTS用メモリ51から読み出すための制御信号を生成する。上記先頭のMPEGTSパケットの読み出しが完了すると、次のMPEGTSパケットの先頭に付加されているタイムスタンプ情報を読み出す。そして、読み出し制御用タイマーの数値とMPEGTS用メモリ51から読み出されたタイムスタンプ値が一致、或いは読み出し制御用タイマー値のほうが大きい場合、MPEGTSパケットをMPEGTS用メモリ51から読み出すアドレスなどの制御信号を発生する。そして、1TS分のデータの読み出しが完了すると、次のMPEGTSパケットの先頭に付加されているタイムスタンプを読み出し、それ以降、上記要領でMPEGTSパケットのMPEGTS用メモリ51からの読み出し制御を実施する。
Details of the MPEGTS packet read operation of the MPEGTS
一般に、画像伝送装置7と画像受信装置14内の基準クロック周波数は同期していない。以下に、画像伝送装置7と画像受信装置14の基準クロックの周波数の差をクロックジッタと記す。従って、タイムスタンプ生成回路36内の基準時刻とMPEGTSメモリ制御回路50内の読み出し制御タイマーは同期しない。よって、画像受信装置14内の基準クロックの周波数が画像伝送装置7内の基準クロックより若干早かった場合は、MPEGTSメモリ制御回路50内の読み出し制御タイマーが早く進むため、何も制御しない場合はMPEGTS用メモリ51内のMPEGTSパケットの読み出しが、書き込みより若干早くなるため、MPEGTS用メモリ51はアンダーフローし、上述したTSジッタの抑圧ができなくなる。図7に、MPEGTS用メモリ51内に記憶されているMPEGTSパケットの量と時間の関係を示す。なお、図7では、説明を簡単にするために、MPEGTS用メモリ51内に記憶されているMPEGTSパケットの量が一定の割合で変化する場合(すなわち、一定のレートでMPEG2符号化が実施された場合)を示した。図7において、斜線を示した部分が上記クロックジッタによるメモリ記憶量の変化を示す。一方、画像受信装置14内の基準クロックの周波数が画像伝送装置7内の基準クロックより若干遅かった場合は、MPEGTSメモリ制御回路50内の読み出し制御タイマーが遅く進むため、何も制御しない場合はMPEGTS用メモリ51内のMPEGTSパケットの読み出しが書き込みより若干遅くなり、MPEGTS用メモリ51はオーバーフローする。
In general, the reference clock frequencies in the
以上より、実施の形態1では、MPEGTS用メモリ51がオーバーフロー或いはアンダーフローを起こさないようにするため、MPEGTS用メモリ51内に記憶されているMPEGTSパケットの量(メモリ記憶容量)が巨視的に見て一定(例えば、1秒間の平均メモリ記憶容量がほぼ一定)になるように、MPEGTSメモリ制御回路50内の読み出し制御タイマーの時刻を定期的に補正するよう構成するものとする。具体的には、巨視的に見た上記メモリ記憶容量が増加する場合は、読み出し制御タイマーの進み方が遅いと判断してタイマー値を定期的に進めるように構成し、反対に、巨視的に見た上記メモリ記憶容量が減少する場合は、読み出し制御タイマーの進み方が早いと判断してタイマー値を定期的に戻すように構成する。上述のように、MPEGTSパケットの読み出しを制御(タイムスタンプを基準としたMPEGTSパケットの読み出し、及びメモリ記憶容量を用いた読み出し制御用タイマーの時刻制御)することにより、図4(c)に示すように、通信ケーブル9上で発生するTSジッタを吸収することができる。
As described above, in the first embodiment, in order to prevent the
上記要領により通信ケーブル9上で発生するTSジッタの吸収されたMPEGTSは、MPEG2復号回路52へ入力される。なお、MPEGTSパケットの先頭に付加されていたタイムスタンプは、MPEGTS用メモリ51より読み出される際に除去されるものとする。MPEG2復号回路52に入力されたMPEGTSは復号され、画像信号が復元される。また、TV同期発生回路53は、MPEG2復号回路52から出力される制御信号を元に画像信号の垂直同期信号及び水平同期信号を発生する。MPEG2復号回路52より出力される画像信号は、TV同期発生回路53より出力される垂直同期信号及び水平同期信号に同期して出力される。スイッチ58は、通常監視時にはMPEG2復号回路58より出力される画像信号を選択するよう構成する。よって、MPEG2復号回路52より出力される復号された画像信号は、スイッチ58を介してNTSCエンコーダに入力される。NTSCエンコーダ59は、TV同期発生回路53より出力される垂直同期信号及び水平同期信号を元に、MPEG2復号回路52より出力される画像信号をNTSC信号(コンポジット信号)に変換し出力する。NTSCエンコーダ59の出力は監視モニター15に表示される。
The MPEGTS in which TS jitter generated on the
次に、監視カメラ1を操作する場合の動作を図1から図14までを用いて説明する。図8は、実施の形態1における各データを送信する際の優先度を示す図である。また、図9は、実施の形態1における監視カメラ1制御時の画像伝送装置7の動作を示すフローチャートであり、図10は、実施の形態1における監視カメラ1制御時の画像受信装置14の動作を示すフローチャートである。また、図11は、実施の形態1における監視カメラ1制御開始時のクロックジッタ補正動作を示すフローチャートであり、図12は、実施の形態1における監視カメラ1制御開始時のクロックジッタ補正動作を説明するための図である。さらにまた、図13は、実施の形態1における監視カメラ1制御終了時のクロックジッタ補正動作を示すフローチャートであり、図14は、実施の形態1における監視カメラ1制御終了時のクロックジッタ補正動作を説明するための図である。
Next, the operation when the
以下に、監視カメラ1の制御開始時の動作を説明する。監視者が監視モニター16の画面上で不審人物を見つけ、操作パネル16を操作して監視カメラ1のパン、チルト、ズームなどの撮影条件の制御を実施する場合について説明する。まずはじめ、監視カメラ1の制御開始時の画像受信装置14の動作を説明する。監視者が操作パネル16の操作を開始すると、操作パネル16は画像受信装置14内のCPU12に操作内容を通知する。図10に示されるように、監視が開始されると、CPU12は、操作パネル16からの監視カメラ1の制御要求の入力が入るまで待機する(ステップS31)。操作パネル16から監視カメラ1の制御要求が入力されると、CPU12は監視カメラ1の制御を開始する(ステップS32)。CPU12は、監視カメラ1制御が開始されると、画像伝送装置7に監視カメラ1制御開始コマンドを送信する(ステップS33)。
Below, the operation | movement at the time of the control start of the
実施の形態1においては、画像受信装置14は監視カメラ1制御コマンド送信後、画像伝送装置7より1フィールドのJPEG画像のデコードが完了するまで、操作パネル16より出力される制御信号を画像伝送装置7には送出しない。これは、以下の理由による。通常監視時は上述したようにMPEG2復号回路52より出力される高品質なMPEG2復号画像で監視を行う。しかし、MPEG2復号画像は、MPEG2符号、画像伝送、クロックジッタ補正、及びMPEG2復号などにより、約1秒程度遅れた画像になっている。一方、JPEG復号画像は、JPEG符号にて2フィールド、JPEG復号にて2フィールド、及び画像伝送などによる遅延が0.1秒以下となる。従って、MPEG2復号画像からJPEG復号画像に画面を切り換えた瞬間、0.9秒程度(MPEG2復号画像の遅延(約1秒)とJPEG復号画像の遅延(0.1秒以下)の差に相当する時間)監視モニター15上に表示される表示画像は一気に進む。その際、人物など動きのあるものを追従する場合、画面が切り替わった監視カメラ1の制御方向と人物の動きが異なっていた場合、操作がスムーズに行えないことがある。よって、実施の形態1では、監視モニター15上の表示画像が切り替わるまで、監視カメラ1の制御動作を画像受信装置7側でマスクする構成とする。このように構成することにより、実施の形態1においては、画像切り換え時に、監視カメラ1の操作をスムーズに行うことができるという効果がある。
In the first embodiment, the
1フィールド分のJPEG復号が完了(ステップS34)すると、画像受信装置14は監視モニター15に表示する監視画像をJPEG用メモリ56より出力される画像に切り換えると共に、監視者に対して監視画像が切り替わったことを通知する。具体的には、図3に示すスイッチ58をJPEG用メモリ56の出力に切り換える(ステップS35)。通知方法に関しては、監視モニター15上にその旨を通知する、或いは操作パネル16上のLEDなどを発光させるなどの方法で通知する。監視モニター15の表示画像の切り替えが終了すると、CPU12は操作パネル16から入力される監視カメラ1の制御信号を通信モジュール10へ出力する(ステップS36)。通信モジュール10は、CPU12より監視カメラ1の制御信号を受信すると、通信ケーブル9を介して画像伝送装置7へ伝送する。
When JPEG decoding for one field is completed (step S34), the
次に、監視カメラ1の制御開始時の画像伝送装置7の動作を、図9を用いて説明する。監視動作を開始すると、画像受信装置7内のCPU5は、画像受信装置14より出力される監視カメラ1制御開始コマンドが受信されるまで、監視カメラ1の制御を待機する(ステップS10)。そして、この監視カメラ1制御開始コマンドが受信されると、CPU5は、まず通信モジュール4に対して各送信データの優先度を切り換えるよう指令を発行する(ステップS11)。以下に、簡単に各送信データの優先度について説明する。一般に、インターネットなどのネットワークでは、データを送信する際、どのようなデータであっても送信される優先度は平等である。従って、画像データ、或いは音声データなどのリアルタイム性を要求されるデータであっても、ネットワーク上に配信される際は、静止画像データ、或いはホームページなどのデータと同等の優先度で送信されるためリアルタイム通信を確保することは非常に難しい。一方、IPv6(Internet Protocol Version 6)などの次世代のIP規格で検討が進められており、データ送信の際の優先度制御は、上記リアルタイム性を要求されるデータと、リアルタイム性を要求されないデータを区別し、各データに優先度を付加しデータを伝送する。これにより、Ethernetなどの通信モジュール、或いは中継ルータなどで優先度の高いデータは優先的に処理され、ネットワーク上に排出される。
Next, the operation of the
実施の形態1は、上述した送信データの優先度を監視カメラ1の制御時と通常監視時で変えるよう構成する。図8に実施の形態1における各送信データ(送信パケット)の優先度を示す。通常監視時は上述したがMPEGTSパケットと監視カメラ1制御用の監視カメラ1制御信号が通信ケーブル9上を流れる。その際の各パケットの優先度は、図8に示すように、監視カメラ1制御信号を一番優先順位の高い第1番に、MPEGTSパケットを次に優先度の高い第2番に、最後にJPEGパケットを優先度の低い第3番にセットする。なお、図8中の優先度は値が小さいほど優先度が高いものとする(データ送出の際に優先的にネットワーク上にデータが送出される。)。上記優先度にする理由は以下の通りである。一番優先度の高い監視カメラ1制御信号は、監視カメラ1操作時のみ出力されるので、データが通信ケーブル9上に送出される機会は少なく、また、そのデータ長も非常に短い。一方、MPEGTSパケットはリアルタイム性を要求されるが、データ長が長いため、例えば、優先度を一番高くすると、監視者から監視カメラ1の制御要求があった場合、優先度が低いため、なかなかそのパケットが画像受信装置7に送出されないような場合が発生する。特に、実施の形態1では、説明をわかりやすくするため、画像伝送装置7と画像受信装置14は一対一で接続した場合を例に説明しているが、通常の映像監視を実施する場合は、複数の画像伝送装置7と複数の画像受信装置14が同一ネットワーク上に配置される。このようなシステムでは、監視カメラ1制御信号の優先度を上げておかないと、なかなかネットワーク上に配信できない場合が発生する。また、上述したように監視カメラ1制御信号はデータ長が短いため、優先度を上げてもネットワーク負荷を圧迫しない。よって、実施の形態1では、監視カメラ1制御信号の優先度を、MPEGTSパケットの優先度より上げている。これにより、監視カメラ1制御開始コマンドの送信を速やかに行なえ、監視カメラ1の制御モードへの移行をスムーズに行うことができると共に、監視カメラ1操作時に関しても同様の優先度に設定することにより監視カメラ1の制御をスムーズに行うことができる効果がある。
The first embodiment is configured such that the priority of the transmission data described above is changed between control of the
次に、監視カメラ1制御時の各送信データの優先度を説明する。監視カメラ1制御時はJPEGパケット、MPEGTSパケット、及び監視カメラ1制御用の監視カメラ1制御信号が通信ケーブル9上を流れる。その際の各パケットの優先度は、図8に示すように、監視カメラ1制御信号を1番優先順位の高い第1番の優先度に、JPEGパケットを次に優先順位が次に高い第2番の優先度に、最後にMPEGTSパケットを優先順位の低い第3番の優先度にセットする。JPEGパケットは静止画像であるためリアルタイム性はあまり要求されないが、実施の形態1では、監視カメラ1制御信号の次の優先度に設定する。これは、以下の理由による。監視カメラ1制御信号の優先度を高く設定する理由は、上述したように、データ長が短く優先度を上げてもあまりネットワーク負荷を上昇させないこと、及び監視カメラ1の制御をスムーズに実施できるようにするためである。一方、JPEGパケットの優先度をMPEGTSパケットの優先度より高く設定した理由は、JPEGは静止画像ではあるが、実施の形態1では、監視カメラ1のパン、チルト、及びズーム制御を行う際、監視モニター15に表示されるJPEG復号画像を見て制御を行う。そのため、監視モニター15上へはなるべく少ない遅延量で画像データを送信する必要がある。よって、実施の形態1では、JPEGパケットの優先度を、MPEGTSパケットの優先度と比較して上げることにより、通信ケーブル9上でのJPEGパケットの遅延量を抑える構成としている。上記構成により、JPEGパケットの通信ケーブル9上での遅延量を最小限に抑えることができるので、監視モニター15上には遅延量の小さい画像を表示することができ、監視カメラ1の制御をスムーズに実施できる効果がある。
Next, the priority of each transmission data when the
なお、実施の形態1では、図8に示す優先順位をつけたが、本発明はこれに限定されるものではない。例えば、優先度を3段階以上で設定できる場合は、通常監視時の優先度を、監視カメラ1制御信号を第1番、MPEGTSパケットの優先度を第3番、JPEGパケットの優先度を第4番に設定し、監視カメラ1制御時は監視カメラ1制御信号を第1番、JPEGパケットの優先度を第2番、MPEGTSパケットの優先度を第4番に設定してもよい。このように設定することにより、同一ネットワーク上に複数の画像伝送装置7及び画像受信装置14が配置される映像監視システムにおいても、監視カメラ1の制御を実施している画像伝送装置7及び画像受信装置14は、監視カメラ1制御時の優先度を設定し、また、通常監視を行っている画像伝送装置7及び画像受信装置14は、通常監視時の優先度を設定すれば、上述のようなネットワーク系でもJPEGパケットのネットワーク上での遅延量を最小限に抑えることができるので、監視モニター15上には遅延量の小さい画像を表示することができ、監視カメラ1の制御をスムーズに実施できる効果がある。
In the first embodiment, the priorities shown in FIG. 8 are given, but the present invention is not limited to this. For example, when the priority can be set in three or more stages, the priority at the time of normal monitoring is the first, the
優先度の切り換えを終了すると、CPU5は画像圧縮制御回路35に対してJPEG符号回路34を初期化し、画像圧縮開始の制御命令を出力する(ステップS12)。CPU5よりこの制御命令が入力されると、画像圧縮制御回路35は、JPEG符号回路34の初期化を実施すると共に、入力画像の画像符号化を開始するようJPEG符号回路34にJPEG符号化開始信号を出力する。JPEG符号回路34は、このJPEG符号化開始信号が入力されると入力された画像データにJPEG符号化を施し、JPEG符号化された画像データをJPEGパケット生成回路38に出力する。また、画像圧縮制御回路35は、上記制御命令が入力されると、MPEG2符号回路33より出力される制御信号を元にイントラフレームを検出する(ステップS13)。イントラフレームを検出すると、画像圧縮制御回路35は、MPEG2符号回路33に対してMPEG2符号時の符号量(データレート)の目標値を切り換える(ステップS14)。具体的には、通常監視時に画像伝送装置7が使用していたMPEGTSの画像伝送レートと、監視カメラ1制御時のMPEGTSとJPEG圧縮画像の伝送レートの和がほぼ等しくなるよう目標値を切り換える。より具体的には、通常監視時に12Mbps程度のMPEGTSを送信していたとした場合、監視カメラ1制御時は、JPEGの伝送レートとして6Mbps程度、MPEGTSの伝送レートとして6Mbps程度として画像を伝送するものとする。
When the priority switching is completed, the
これは、以下の理由による。監視カメラ1制御時はJPEG画像を表示するのでこの画像のみを伝送した場合、画像伝送装置7と画像受信装置14のクロック同期をJPEGパケットのみで制御することはできない。これは、上述したが、監視カメラ1を制御する場合は、監視モニター15に表示する監視画像の遅延量を短くするため、画像受信装置14内にJPEGパケットを用いてクロック同期を実現する大容量のメモリなどは配置しない。同様に、監視カメラ1制御時は監視モニター15上の監視画像の画像品質よりも画像の遅延量が最小になるよう制御する必要がある。従って、JPEG圧縮画像は目標物の認識ができる程度の画像品質であればよい。よって、通信ケーブル9上でのデータ遅延量を小さくするためJPEG圧縮画像の伝送はなるべくデータ量を少なく抑えて伝送する。また、MPEGTSを同時に伝送する理由は、画像伝送装置7と画像受信装置14のクロック同期を補償するためである。なお、監視カメラ1制御時のクロックジッタ抑制に関しては後述する。なお、通常監視時及び監視カメラ1制御時の各圧縮画像データの符号量は、上述した符号量に限るものではなく、映像監視システム全体の画像伝送帯域に応じて設定すればよい。監視カメラ1制御時、上述したように画像伝送装置7を制御するので、JPEG画像送信時にも画像伝送装置7と画像受信装置14とのクロック同期を受信したMPEGTSによりとるよう構成するので、特に監視カメラ1制御モードから通常監視に切り換えた際に、監視モニター15に表示されている画像が止まるなど表示画像が乱れることなくスムーズに画面切り替えることができるという効果がある。MPEG2の符号量の目標値の切り替えを終了すると、画像受信装置14から伝送される監視カメラ1の制御信号8を電動雲台2及び監視カメラ1に出力する。
This is due to the following reason. When the
次に、監視カメラ1制御時の動作を説明する。監視カメラ1を介して入力される画像信号は、画像圧縮回路20に入力される。画像の入力端子31を介して入力された画像信号は、NTSCデコーダ32に入力され、輝度信号及び2つの色差信号に変換される。NTSCデコーダ32の出力は、MPEG2符号回路33及びJPEG符号回路34に入力される。その際、NTSCデコーダ32では、入力される監視画像より水平同期信号及び垂直同期信号を分離し、この分離された水平同期信号及び垂直同期信号もMPEG2符号回路33及びJPEG符号回路34に入力する。MPEG2符号回路33は、監視カメラ1制御時は、図9に示されるフローに従い、符号量の目標値が切り換えられ符号化が行われる。同様に、JPEG符号回路34は、監視カメラ1制御時に、入力された輝度信号及び2つの色差信号にJPEG符号化を施し出力する。
Next, the operation at the time of controlling the
MPEG2符号回路33は、上記TSを出力する際、その先頭を指し示す制御信号をタイムスタンプ生成回路36に出力する。タイムスタンプ生成回路36は、この制御信号に基づきタイムスタンプを生成し、TSパケット生成回路36に出力する。TSパケット生成回路37は、MPEG2符号回路33より入力されるTSの先頭にタイムスタンプ生成回路36より出力されるタイプスタンプを付加し、TSパケットを生成する。TSパケット生成回路37より出力されるTSパケットは、TS記憶メモリ39へ一旦記憶される。同様に、JPEGパケット生成回路38は、JPEG符号回路34より出力されるJPEGデータを、図6に示すように192バイト集めてJPEGパケットを生成する。JPEGパケット生成回路38で生成されたJPEGパケットは、一旦JPEGパケット記憶メモリ40に記憶される。
When outputting the TS, the
一方、CPU5は、TS記憶メモリ39内に所定量のTSパケット(実施の形態1では、7TSパケットとする。)が記憶されると、それを連続してTS記憶メモリ39より読み出し、その先頭に伝送するあて先情報、パケットデータの種別、及びその優先度(実施の形態1では、第3番の優先度)などの情報を付加した後、Ethernet用のヘッダ情報を付加して通信モジュール4に送る。同様に、CPU5は、JPEGパケット記憶メモリ40内に所定量のJPEGパケット(実施の形態1では、3TSパケットとする。)が記憶されると、それを連続してJPEGパケット記憶メモリ40より読み出し、その先頭に伝送するあて先情報、パケットデータの種別、及びその優先度(実施の形態1では、第2番の優先度)などの情報を付加した後、Ethernet用のヘッダ情報を付加して通信モジュール4に送る。なお、実施の形態1では、通信ケーブル9に送出する伝送パケットのサイズを、MPEGTSパケットを伝送する場合とJPEGパケットを伝送する場合で異なるように構成した。これは以下の理由による。上述したように、監視カメラ1制御時には、JPEG符号化、伸張、及び伝送時の遅延量をなるべく小さく設定する必要がある。そのため、JPEGパケットは、MPEGTSと比較して1回で伝送するパケット量を小さくするよう構成した。これにより、JPEGパケット記憶メモリ40などで発生する遅延量を小さくすることができるので、監視モニター15上には遅延量の小さい画像を表示することができ、監視カメラ1の制御をスムーズに実施できる効果がある。なお、1回で伝送するパケット量を小さくすると送受信のオーバヘッドが大きくなるので、パケットサイズは映像監視システムの構成に応じて変えてもよい。
On the other hand, when a predetermined amount of TS packets (7 TS packets in the first embodiment) are stored in the
上記ヘッダ情報の付加されたMPEGTSパケット、或いはJPEGパケットデータが入力されると、通信モジュール4は、他に競合しているパケットが無いかを確認した後、もしも競合しているパケットが無い場合は、入力されたパケットデータを通信ケーブル9に送出する。その際、MPEGTSパケットとJPEGパケットの両データの送信要求があった場合は、優先度に応じた順序でパケットデータを送出する。上述したように、実施の形態1では、監視カメラ1制御時は、JPEGパケットの優先度がMPEGTSパケットより優先度より高いので、JPEGパケットを先に通信ケーブル9に送出する。
When the MPEGTS packet or JPEG packet data to which the header information is added is input, the
次に、監視カメラ1の制御を行っている場合の画像受信装置14の動作を説明する。通信ケーブル9を介して通信モジュール10に入力されたパケットデータは、CPU12にてヘッダ情報が確認され、パケットデータのあて先、種別などが判別される。そして、自分宛の制御データであった場合は、制御データを元に所定の処理を実施する。一方、MPEGTS、或いはJPEGパケットであった場合は、そのデータを画像伸張回路21内のMPEGTSメモリ制御回路50に出力する。その際、MPEGTSかJPEGパケットかの識別情報も出力する。
Next, the operation of the
MPEGTSメモリ制御回路50は、受信したデータがMPEGTSであった場合は、通常監視の際と同様に、そのタイムスタンプを含むMPEGTSパケットをMPEGTS用メモリ51に書き込む。一方、MPEGTSメモリ制御回路50は、受信したデータがJPEGパケットであった場合は、JPEGパケットをJPEG復号回路55に入力する。以下に、JPEGパケット処理について説明する。MPEGTSメモリ制御回路50よりJPEG復号回路55にJPEGパケットが入力されると、JPEG復号回路55は、JPEG復号を施し元の画像データを復元する。JPEG復号回路55で復元された画像データは、JPEG用メモリ56に入力され1フィールドの画像データが構成される。JPEG用メモリ56への画像データの書き込み制御、及び画像データの読み出し制御は、JPEG用メモリ制御回路57で生成され出力される。具体的には、JPEG用メモリ制御回路57は、JPEG復号回路55より出力される復号画像データの垂直同期基準信号及び水平同期基準信号に基づき、上記書き込みアドレスなどの書き込み制御信号を発生すると共に、TV同期発生回路53より出力される垂直同期信号及び水平同期信号を基準に読み出し制御信号を発生する。また、画像復号制御回路54は、JPEG復号回路55より出力される1フィールド目の画像復号完了信号を用い、TV同期発生回路53より出力される垂直同期信号に同期して、スイッチ58の切り換え信号を出力する。スイッチ58より出力される画像データは、NTSCエンコーダ59でコンポジットのNTSC信号に変換され、出力端子60を介して監視モニター15に出力される。なお、NTSCエンコーダ59の動作は、通常監視時と同一である。具体的には、現在表示を行っているMPEG復号画像の1フィールド分の画像データ出力完了後、JPEG画像を出力するよう切り換える。上述のように構成することにより、MPEG2復号画像からJPEG復号画像に切り換えた場合でも、監視モニター15上の表示画像を乱すことなく切り換えることができる効果がある。
When the received data is MPEGTS, the MPEGTS
次に、MPEGTSパケットの処理を説明する。通常監視の場合と同様、監視カメラ1制御時には、MPEGTSメモリ制御回路50は、MPEGTSパケットの先頭に付加されているタイムスタンプを基準にMPEGTS用メモリ51からMPEGTSを読み出し、MPEG2復号回路52へ出力する。なお、MPEGTSメモリ制御回路50のMPEGTSパケットの書き込み動作は、上述した通常監視時の制御と同一である。また、MPEGTSメモリ制御回路50のMPEGTSパケットの読み出し制御も、通常監視制御と同一である。
Next, MPEGTS packet processing will be described. As in the case of the normal monitoring, when the
以下に、監視カメラ1制御開始時のクロックジッタ制御に関して説明する。実施の形態1では、上述したように、監視カメラ1制御終了時、監視モニター15に表示される画像をスムーズに切り換えるため、MPEGTSを監視モニター15上に表示しないにもかかわらず伝送する。これは、以下の理由による。監視カメラ1の制御時もMPEGTSパケットを受信し復号することにより、監視モニター15に出力する画像信号の同期を監視カメラ1より出力される画像信号の同期に合わせて出力できると共に、画像受信装置14内の基準時刻を画像伝送装置7内の基準時刻に合わせることができる。これにより、監視カメラ1の制御終了後、監視モニター15に表示する画像をJPEG圧縮画像からMPEG2圧縮画像に切り換える際、表示画像が一時止まってしまう、或いは表示画像が乱れるなどの弊害を生じさせること無く、スムーズに表示画像を切り換えることができる効果がある。
Hereinafter, clock jitter control at the start of
以下に、図11及び図12を用いて監視カメラ1の制御開始時のクロックジッタ補正制御を説明する。クロックジッタ補正の制御は、通常撮像時の動作で説明したが、基本的には、MPEGTS用メモリ51内に記憶されているMPEGTSパケットの量(メモリ記憶容量)が巨視的に見て一定(例えば、1秒間の平均メモリ記憶容量がほぼ一定)になるようにMPEGTSメモリ制御回路50内の読み出し制御タイマーの時刻を定期的に補正するよう構成する。しかし、MPEGTSのデータ伝送レートが変化するとMPEGTS用メモリ51内のTSの記憶容量は、図12に示すように、通常監視時の目標値に対して、監視カメラ1制御時の目標値は小さくなる。これは、以下の理由による。画像受信装置14がMPEGTSパケットを受信してからMPEG2復号回路52に出力するまで、上述したクロックジッタの補正のため、例えば、0.3秒程度分の画像データをMPEGTS用メモリ51内に記憶し、その記憶容量がほぼ一定になるようにクロックジッタ補正制御を実施する。従って、受信したMPEGTSパケットの平均受信レートが12Mbpsから6Mbpsに変化した場合、図12に示すように、上記0.3秒間は記憶されているMPEGTSパケットは12Mbpsの平均レートでMPEGTS用メモリ51から読み出されるのに対して、書き込まれるMPEGTSパケットの平均レートは6Mbpsであるためメモリ記憶容量は減少する。従って、監視カメラ1制御開始時に上記クロックジッタ補正制御を実施するとクロック同期が外れる。よって、実施の形態1では、監視カメラ1制御開始時、クロックジッタ補正制御を止めるように構成する。
Hereinafter, clock jitter correction control at the start of control of the
以下に、図11に示されるフローチャートを用いてクロックジッタ補正制御動作について説明する。監視カメラ1制御が開始されると、CPU12はクロック同期制御(クロックジッタ補正制御)を停止する(ステップS50)。そして、画像受信装置14に入力されるMPEGTSパケットの平均レートが監視カメラ1制御時のレートになったかを確認する(ステップS51)。そして、入力されるMPEGTSパケットの平均レートが監視カメラ1制御時の平均レート(実施の形態1では、6Mbps)になったことを確認すると、次にMPEGTS用メモリ51内のメモリ記憶容量(メモリ残量)がほぼ一定に収束したかを判断する(ステップS52)。収束していた場合、クロックジッタ補正制御目標値を現在のメモリ記憶容量に再設定する。そして、クロックジッタ補正制御を再開する。実施の形態1では、監視カメラ1制御開始時、上述のようにクロックジッタ補正制御を実施するので、MPEGTSパケットの受信レートが変化した場合であっても、クロック同期制御をはずすことなく制御することができる。よって、監視カメラ1制御開始時においても、監視モニター15に表示される表示画像を乱すことなくスムーズに表示画像の切り換え制御などを実施することができる効果がある。
The clock jitter correction control operation will be described below using the flowchart shown in FIG. When the
次に、監視カメラ1制御終了時の動作を説明する。図10に示されるように、画像受信装置14は監視カメラ1の制御完了を検出する(ステップS37)と、画像伝送装置7に対して監視カメラ制御1終了コマンドを出力する(ステップS38)。実施の形態1では、操作パネル16より入力される監視カメラ1の制御信号を監視し所定の時間、制御信号が入力されなかった場合、監視カメラ1制御が終了したものと判断する。なお、操作パネル16より直接監視カメラ1制御終了を通知するよう構成してもよい。その後、画像復号制御回路54は、画像伝送装置7より入力されるMPEGTSパケットのイントラフレームを検出する(ステップS39)。そして、イントラフレーム検出すると、スイッチ58に対してMPEG2復号回路52の出力を選択するよう制御信号を出力する。なお、制御信号の切り換えのタイミングは、監視カメラ1制御開始時と同様に、TV同期発生回路53より出力される垂直同期信号に同期して実施する。上述のように構成することで、監視カメラ1制御終了時も、JPEG復号画像とMPEG2復号画像を監視モニター15上の表示画像を乱すことなくスムーズに切り替えを実施できる効果がある。
Next, the operation at the end of the
一方、図9に示されるように、画像伝送装置7では、上記監視カメラ1制御終了コマンドを受信すると(ステップS16)、画像圧縮制御回路35は、MPEG2符号時のイントラフレームの検出を実施する。そして、イントラフレームを検出すると、画像圧縮制御回路35は、MPEG2符号化時の目標符号量を通常監視時の目標量(実施の形態1では、12Mbps)に切り換える(ステップS18)。そして、送信データの優先度を通常監視時の優先度(図8参照)に切り換える(ステップS19)。そして、JPEG符号回路34に対してJPEG符号動作を停止するよう制御信号を出力する。
On the other hand, as shown in FIG. 9, when the
次に、監視カメラ1制御終了時の動作を説明する。監視カメラ1を介して入力される画像信号は、入力端子31を介してNTSCデコーダ32に入力され、NTSCデコーダ32で輝度信号及び2つの色差信号に変換される。その際、通常監視時と同様に、垂直同期信号及び水平同期信号の分離が実施され、出力はMPEG2符号回路33及びJPEG符号回路34に入力される。一方、画像受信装置14より通信ケーブル9を介して監視カメラ1制御終了コマンドを受信すると、CPU5は画像圧縮制御回路35に対してその旨を通知する。画像圧縮制御回路35は、監視カメラ1制御の終了が通知されると、MPEG2符号回路33より出力される情報を元にイントラフレームを検出する。イントラフレームを検出すると、画像圧縮制御回路35は、MPEG2符号化時の目標符号量を通常監視時の符号量になるようセットする。一方、CPU5は、画像圧縮制御回路35に対して監視カメラ1制御が終了したことを通知すると、次に送信時の各データの優先度を通常監視時の優先度に切り換える(図8参照)。一方、画像圧縮制御回路35は、MPEG2符号化時の目標符号量の切り換えを終了すると、次にJPEG符号回路34に対してJPEG符号動作を停止するよう制御信号を出力する。JPEG符号回路34では、この停止命令を受信すると現在符号化中の画像データの処理終了後、JPEG圧縮動作を停止する。
Next, the operation at the end of the
なお、JPEG符号回路34でのJPEG符号化終了のタイミングは、画像受信装置14内で監視モニター15への表示画像がJPEG画像からMPEG画像に切り替わったことを確認した後、JPEG符号回路34の動作を停止するように構成してもよい。また、以降のMPEG2符号回路33、タイムスタンプ生成回路36、TSパケット生成回路37、及びTS記憶メモリ39の動作、並びに、通信モジュール4の動作は、通常監視時と同一である。
It should be noted that the
次に、監視カメラ1の制御終了時の画像受信装置14の動作を説明する。操作パネル16からの制御信号の入力が所定の期間無いことを確認すると、CPU12は、監視カメラ1制御終了コマンドを通信モジュール10に出力する。通信モジュール10は、入力された監視カメラ1制御終了コマンドを画像伝送装置7に通信ケーブル9を介して出力する。上記監視カメラ1制御終了コマンドの送出を完了すると、CPU12は、画像復号制御回路54に対して監視カメラ1制御が終了したことを通知する。画像復号制御回路54は、監視カメラ1制御が終了したことを通知されると、MPEG2イントラフレームの検出を実施する。具体的には、画像復号制御回路54は、MPEG2復号回路52より出力される画像復号情報を元に、イントラフレームの検出を実施する。画像復号制御回路54は、イントラフレームを検出すると、スイッチ58の入力をMPEG2復号回路52の出力を選択するよう制御信号を出力する。なお、このスイッチ58の入力を切り換える制御信号は、TV同期発生回路53より出力される垂直同期信号に同期して出力される。そして、スイッチ58の切り替え制御が完了すると、画像復号制御回路54は、JPEG復号回路55に対して、JPEG復号動作を中止するよう制御信号を出力する。その際、JPEG用メモリ制御回路57に対しても同様に、JPEG用メモリ56の制御を中止するよう制御信号を出力する。スイッチ58より出力される復号画像データは、NTSCエンコーダに入力され、NTSCコンポジット信号として出力端子60を介して監視モニター15に出力される。
Next, the operation of the
次に、監視カメラ1制御終了時のクロックジッタ制御に関して説明する。実施の形態1では、上述したが、監視カメラ1制御終了時、監視モニター15に表示される画像をスムーズに切り換えるため、MPEGTSを監視モニター15上に表示しないにもかかわらず伝送する。従って、監視カメラ1を、JPEG画像を用いて制御しているにもかかわらず上述したように、MPEGTSを用いて画像伝送装置7と画像受信装置14間のクロック同期を補償することができる。これにより、上述したように監視カメラ1の制御終了後、監視モニター15に表示する画像をJPEG圧縮画像からMPEG2圧縮画像に切り換える際、表示画像が一時止まってしまう、或いは表示画像が乱れるなどの弊害を生じさせること無く、スムーズに表示画像を切り換えることができる効果がある。
Next, clock jitter control at the end of
以下に、図13及び図14を用いて監視カメラ1の制御終了時のクロックジッタ補正制御動作を説明する。クロックジッタ補正の制御は、上述したように基本的には、MPEGTS用メモリ51内に記憶されているMPEGTSパケットの量(メモリ記憶容量)が巨視的に見て一定(例えば、1秒間の平均メモリ記憶容量がほぼ一定)になるようにMPEGTSメモリ制御回路50内の読み出し制御タイマーの時刻を定期的に補正するよう構成する。しかし、MPEGTSのデータ伝送レートが変化すると、MPEGTS用メモリ51内のTSの記憶容量は、図14に示すように、監視カメラ1制御時の目標値は通常監視時の目標値に対して小さくなる。これは、監視カメラ1制御開始時に説明したように、MPEGTSの伝送データレートが6Mbpsから12Mbpsに増加した場合、図14に示すように、MPEGTS用メモリ51内に記憶されている平均データレートが6MbpsのMPEGTSがすべて読み出されるまで、このMPEGTS用メモリのデータ記憶容量は増加する。従って、監視カメラ1制御終了時に上記クロックジッタ補正制御を実施すると、クロック同期が外れる。よって、実施の形態1では、監視カメラ1制御終了時も、クロックジッタ開始時と同様に、クロックジッタ補正制御を止めるように構成する。
The clock jitter correction control operation at the end of the control of the
以下に、図13に示されるフローチャートを用いてクロックジッタ補正制御動作について説明する。監視カメラ1制御の終了を検出すると、CPU12は、クロック同期制御(クロックジッタ補正制御)を停止する(ステップS60)。そして、CPU12は、監視モニター15の表示画面の切り換えを確認(ステップS61)した後、画像受信装置14に入力されるMPEGTSパケットの平均レートが通常監視時のレートになったかを確認する(ステップS62)。そして、CPU12は、入力されるMPEGTSパケットの平均レートが通常監視時の平均レート(実施の形態1では、12Mbps)になったことを確認すると、次にMPEGTS用メモリ51内のメモリ記憶容量(メモリ残量)がほぼ一定に収束したかを判断する(ステップS63)。収束していた場合、CPU12は、クロックジッタ補正制御目標値を現在のメモリ記憶容量に再設定する。そして、CPU12は、クロックジッタ補正制御を再開させる。実施の形態1では、監視カメラ1制御終了時、上述のようにクロックジッタ補正制御を実施するので、MPEGTSパケットの受信レートが変化した場合でも、クロック同期制御をはずすことなく制御ができる。よって、監視カメラ1制御終了時においても、監視モニター15に表示される表示画像を乱すことなくスムーズに表示画像の切り換え制御などを実施することができる効果がある。
The clock jitter correction control operation will be described below using the flowchart shown in FIG. When detecting the end of the
実施の形態1は上述のように構成されているので、監視カメラ1制御時は、遅延量の少ない画像圧縮手段を用いて圧縮した画像を伝送し、監視モニター15上に表示すると共に、画像伝送装置7と画像受信装置14のクロック同期をとるため、画像の遅延量は大きいが高画質に圧縮できるMPEG2などのストリームを同時配信するように構成しているので、特に監視カメラ1制御終了時に、監視モニター15上の表示画像を乱すことなくスムーズに通常監視画像に切り換えることができる効果がある。
Since the first embodiment is configured as described above, when monitoring
また、実施の形態1では、ネットワーク上を流すデータの優先度を、通常監視時と監視カメラ1制御時で切り換えることにより、それぞれの状態で最適な画像の表示を行うことができる効果がある。具体的には、監視カメラ1制御時は、JPEGパケットの優先順位を上げるよう構成したので、ネットワーク上でのJPEGパケットの遅延量を最小限に抑えることができると共に、通常監視時は、MPEGTSパケットの優先度を上げるのでリアルタイムでMPEGTSを復号することができる効果がある。
In the first embodiment, the priority of the data flowing on the network is switched between the normal monitoring time and the
また、実施の形態1では、MPEG2符号回路33での符号量の切り換えをGOPの先頭で行うように構成した。これは、以下の理由による。例えば、GOPの途中で符号量を切り換えた場合(12Mbpsから6Mbpsに)は、イントラフィールドが全体の20%程度の符号量を占めるとすると、符号量が切り換えられた後のPフレーム、或いはBフレームに割り当てられる符号量が非常に小さくなる、或いは切り換え時点で目標符号量を大きく超えているなどMPEG2の符号量制御に大きなインパクトを与える。よって、実施の形態1に示すように、符号量の目標値の切り替えをGOPの先頭で行うことにより、スムーズな符号量切り替えが行え、画像受信装置14でのクロックジッタ制御、或いはMPEG2復号回路52での復号動作、TV同期発生回路53におけるTV同期発生動作をスムーズに行うことができ、目標符号量切り換え時に、例えば、TV同期が外れて同期が乱れ、監視モニター15への出力画像が乱れるなどを抑制できる効果がある。
In the first embodiment, the code amount is switched in the
実施の形態2.
以下に、本発明の実施の形態2について図を用いて説明する。一般に、監視カメラ1の方向、或いはズーム制御を実施する場合、通常の画像解像度は必要ない。従って、実施の形態2では、監視カメラ1制御時、画像データにJPEG符号化を実施する際の前処理として画像の解像度を落として処理する場合について説明する。JPEGなど同一の面内の相関を利用した画像圧縮では、圧縮時の画像サイズにより画像符号化時間が決まる。具体的には、1フィールドの画像データをメモリに記憶した後にJPEG圧縮を施すが、その際の演算量は圧縮する画像の面積に比例して多くなる。また、伝送する画像データのデータ量も上記圧縮する画像の面積に比例して多くなる。従って、実施の形態2では、JPEG圧縮の際の前処理として、例えば、水平方向及び垂直方向の画素数をそれぞれ半分にして伝送する場合について説明する。
The second embodiment of the present invention will be described below with reference to the drawings. In general, when the direction of the
図15は、本発明の実施の形態2における画像伝送装置内の画像圧縮回路において使用されるJPEG符号回路34を示すブロック構成図である。図15に示されるように、JPEG符号回路34は、入力された画像信号の水平方向及び垂直方向の画素数を半分に縮小する画像縮小回路70と、画像縮小回路70から出力される水平方向及び垂直方向の画素数が半分に削減された画像データにJPEG符号化を施す第2のJPEG符号回路71とから構成される。図16には、水平方向、或いは垂直方向の画素を半分に間引く際に使用するLPFの一構成例が示されている。図16に示されるLPFは、1画素遅延する遅延回路72,73と、データに0.25を乗じる乗算回路74,76と、データに0.5を乗じる乗算回路75と、加算回路77とから構成されている。なお、図15に示す構成で垂直方向のLPFを構成する際は、遅延回路72及び73を1ライン遅延するよう構成する。また、実施の形態2では、図16に示すように、水平方向及び垂直方向のLPFは3タップのフィルターで構成する場合について説明する。なお、水平方向及び垂直方向のLPFの構成は、図16に限定されるものではない。
FIG. 15 is a block diagram showing a
図17は、本発明の実施の形態2における画像受信装置内の画像伸張回路において使用されるJPEG復号回路55を示すブロック構成図である。図17に示されるように、JPEG復号回路55は、入力されたJPEGパケットデータを復号する第2のJPEG復号回路80と、第2のJPEG復号回路80より入力される画像データを水平方向及び垂直方向に各々2倍に拡大する画像拡大回路81とから構成される。また、図18は、水平方向、或いは垂直方向の画素を2倍に拡大する際に使用する画素補間回路のブロック構成図である。図18に示される画素補間回路は、画素数が半分にされ入力された画像データを1クロック遅延する遅延回路82と、加算回路83と、入力されたデータに0.5を乗じる乗算回路84と、スイッチ85とから構成される。なお、図17に示す構成で垂直方向の画素補間回路を構成する際は、遅延回路82を1ライン遅延するよう構成する。
FIG. 17 is a block configuration diagram showing a
以下に、本発明の実施の形態2の動作を説明する。なお、通常監視時の動作は実施の形態1の動作と同一である。監視カメラ1制御時の動作を説明する。実施の形態1と同様に、監視カメラ1を介して入力される画像信号は、画像圧縮回路20内のNTSCデコーダ32に入力され、輝度信号及び2つの色差信号に変換される。NTSCデコーダ32の出力(水平同期信号及び垂直同期信号を含む)は、MPEG2符号回路33及びJPEG符号回路34に入力される。MPEG2符号回路33は、監視カメラ1制御時は、実施の形態1と同様に、図9に示されるフローに従い、符号量の目標値が切り換えられ符号化が行われる。なお、実施の形態2では、監視カメラ1制御時に使用するJPEG画像の画像サイズを小さくすることにより、画像の符号時間及び復号時間の短縮を図ると共に、通信ケーブル9上に流す画像データ量を少なくするよう構成するので、MPEG2符号化時の符号量の目標値は、実施の形態1より大きくなる。実施の形態2では、MPEG2符号化時の目標符号量を9Mbpsとして説明を続ける。MPEG2符号回路33より出力されるTSは、実施の形態1と同様に、TSパケット生成回路37でTSの先頭にタイムスタンプ生成回路36で生成されたタイムスタンプが付加され、TS記憶メモリ39へ記憶される。なお、以降の画像伝送装置7のTSパケットの処理動作は、実施の形態1と同一である。
The operation of the second embodiment of the present invention will be described below. The operation during normal monitoring is the same as that in the first embodiment. The operation at the time of
一方、JPEG符号回路34は、監視カメラ1制御時、入力された輝度信号及び2つの色差信号の水平方向及び垂直方向の画素数を半分にしてからJPEG符号化を施し出力する。以下に、図15及び図16を用いてJPEG符号回路34の動作を説明する。NTSCデコーダ32より画像信号が入力されると、画像縮小回路70は、水平方向及び垂直方向の画素を半分に間引き、画像サイズを縮小する。以下に、図16を用いて水平方向の画素間引き動作を説明する。入力された画素データは、遅延回路72及び乗算回路74に入力される。遅延回路72では、入力された画素を1クロック遅延する。また、乗算回路74は、入力されたデータに0.25を乗算する。遅延回路72の出力は、遅延回路73及び乗算回路75に入力される。遅延回路73では、入力された画素を1クロック遅延する。また、乗算回路75は、入力されたデータに0.5を乗算する。そして、遅延回路73の出力は、乗算回路76で0.25が乗算される。乗算回路74、75、及び76の出力は、加算回路77で加算され水平方向の帯域が落とされ出力される。なお、その際、例えば、水平方向の偶数画素が間引かれ出力される。上記要領で、水平方向の画素が間引かれた画像は、垂直方向のLPFにて垂直方向の帯域が落とされた後、例えば、偶数ラインが間引かれ、画像縮小回路70から出力される。なお、垂直方向のLPFの動作は、図16中の遅延回路72及び73が1ライン遅延のラインメモリに置き変わるだけで、動作は同一である。画像縮小回路70の出力は、第2のJPEG符号回路71にJPEG符号化が施されJPEGパケット生成回路38に入力される。なお、以降の画像伝送装置7のJPEGパケットの処理動作は、実施の形態1と同一である。
On the other hand, when the
次に、監視カメラ1の制御を行っている場合の画像受信装置14の動作を説明する。通信ケーブル9を介して通信モジュール10に入力されたパケットデータは、CPU12にてヘッダ情報が確認され、パケットデータのあて先、種別などが判別される。そして、自分宛の制御データであった場合は、制御データを元に所定の処理を実施する。一方、MPEGTS、或いはJPEGパケットであった場合は、そのデータを画像伸張回路21内のMPEGTSメモリ制御回路50に出力する。その際、MPEGTSかJPEGパケットかの識別情報も出力する。
Next, the operation of the
MPEGTSメモリ制御回路50では、受信したデータがMPEGTSであった場合は、実施の形態1と同様に、通常監視の際と同様にそのタイムスタンプを含むMPEGTSパケットをMPEGTS用メモリ51に書き込む。なお、MPEGTSパケットの処理に関しては実施の形態1と同一である。一方、受信したデータがJPEGパケットであった場合は、JPEG復号回路55に入力する。以下に、JPEGパケット処理について説明する。MPEGTSメモリ制御回路50よりJPEGパケットが入力されると、第2のJPEG復号回路80は、JPEG復号を施し元の画像データを復元する。第2のJPEG復号回路80で復元された画像データは、画像拡大回路81に入力される。画像拡大回路81では、水平方向及び垂直方向の画素補間が行われ元の画像サイズが復元される。以下に、図18を用いて水平方向の画素補間動作を説明する。第2のJPEG復号回路80で復元された画像データは、遅延回路82、加算回路83、及びスイッチ85に入力される。遅延回路82では、入力された画像を1クロック遅延する(なお、1クロックは第2のJPEG復号回路82より出力される画素クロックに同期するものとする。)。加算回路83では、第2のJPEG復号回路80の出力と遅延回路32の出力を加算し、乗算回路83に入力する。乗算回路84では、入力されたデータに0.5を乗算し補間画像データを生成する。乗算回路84の出力は、スイッチ85に入力される。スイッチ85は、第2のJPEG復号回路82より出力される画素クロックの2倍周波数のクロックで駆動され、第2のJPEG復号回路80の出力と、乗算回路84の出力を切り換え水平方向の画素補間を実施する。なお、垂直方向の補間動作は、図18中の遅延回路82が1ライン遅延のラインメモリに置き変わるだけで、動作は同一である。JPEG復号回路55で復元された画像データは、JPEG用メモリ56に入力され、1フィールドの画像データが構成される。これ以降の動作は実施の形態1と同一である。
In the MPEGTS
実施の形態2で上述したような構成をとる理由について説明する。上述したが、監視カメラ1の水平方向、垂直方向の位置制御、或いはズーム制御などを実施する場合は、画像の解像度が低下しても画像の遅延時間を短くする必要がある。画像の遅延時間は、JPEGを用いた場合は、一般に、符号化時には1フィールドの画像データをメモリに記憶した後に、メモリ内に記憶されている1フィールドの画像データに対してJPEG符号化を施す。また、JPEG符号化時の符号化時間は、符号化する画像のサイズ(面積)に比例して長くなる。よって、実施の形態2に示すように、画像サイズを水平方向及び垂直方向共に半分にすることにより、符号化時間は実施の形態1と比較して1/4になる。同様に復号にもJPEG復号の時間が実施の形態1と比較して1/4になるので、画像の遅延時間をより短くすることができる効果がある。
The reason why the above-described configuration is adopted in the second embodiment will be described. As described above, when performing horizontal position control, vertical position control, or zoom control of the
また、JPEGパケットのデータ量も実施の形態1と比較し1/4程度になるので、MPEG2符号化時の符号量を大きくすることができる(実施の形態2では、9Mbpsとした。)。映像監視システムでは、監視カメラ1から出力される画像データを監視レコーダなどに記録することが非常に多い。その際、実施の形態1及び実施の形態2で説明したシステムでは、監視カメラ1制御時においてもMPEG2のTSストリームを伝送するように構成したので、画質は若干劣化するものの、監視カメラ1より出力される撮像画像を連続的に(途切れることなく)監視レコーダに記憶することができる効果がある。
Further, since the data amount of the JPEG packet is about ¼ compared with the first embodiment, the code amount at the time of MPEG2 encoding can be increased (9 Mbps in the second embodiment). In a video surveillance system, the image data output from the
また、実施の形態2では、JPEGパケットのデータ伝送レートが少なくなった分をMPEG2のTSのデータ伝送レートに振り替えたので、監視レコーダに監視映像を記録する際の監視カメラ1制御時の監視映像は、実施の形態1と比較してより高画質に記録できる効果がある。
In the second embodiment, since the data transmission rate of the JPEG packet is reduced to the data transmission rate of the MPEG2 TS, the monitoring video when controlling the
他の利用形態.
実施の形態1及び実施の形態2においては、図4に示すように、188バイトのTSの先頭にタイムスタンプを4バイト付加し伝送する場合について説明したが、本発明はこれに限定されるものではない。例えば、タイムスタンプを2バイト付加する、或いは無線伝送の際に発生するランダム誤りを訂正するためにリード・ソロモン符号などの誤り訂正符号を図3に示す192バイトの伝送データの後に付加して、伝送してもよい。また、上記誤り訂正符号はTSのみ、或いはタイムスタンプとTSの両者に対して付加してもよい。
Other forms of use.
In the first embodiment and the second embodiment, as shown in FIG. 4, a case has been described in which a 4-byte time stamp is added to the beginning of a 188-byte TS, but the present invention is limited to this. is not. For example, a time stamp is added by 2 bytes, or an error correction code such as a Reed-Solomon code is added after the 192-byte transmission data shown in FIG. 3 in order to correct a random error occurring during wireless transmission. It may be transmitted. Further, the error correction code may be added only to the TS or to both the time stamp and the TS.
また、実施の形態1及び実施の形態2においては、JPEGパケットのサイズをTSパケットと同一とした場合を説明したが、本発明はこれに限定されるものではない。 In the first and second embodiments, the case where the size of the JPEG packet is the same as that of the TS packet has been described. However, the present invention is not limited to this.
さらに、実施の形態1及び実施の形態2においては、ネットワークとしてEthernetを用いた有線系のネットワークの場合について説明したが、本発明はこれに限定されるものではない。例えば、IEEE802.11などの無線LAN、UWB(超広帯域:Ultra Wideband)などの無線ネットワーク、高速電力線通信(PLC:Power Line Control)などの電灯線を用いたネットワーク、ピアツーピア(PtoP)のネットワーク、又はUSBなどを用いた通信方式などにおいては、同様の効果が得られる。
Furthermore, in
さらにまた、実施の形態1及び実施の形態2においては、監視カメラ1制御時、JPEG画像に切り替わるまで監視カメラ1制御をマスクするよう構成したが、その際、監視カメラ1の制御をマスクしている旨をユーザに伝えるよう構成してもよく、その場合には、更に操作性が向上する。具体的には、監視モニター15上に監視カメラ1の制御がアクティブになったことを表示する、或いは操作パネル16上のLEDを点灯するなどのそのアプリケーションに合わせて構成すればよい。上述のように構成することにより、ユーザが監視カメラ1を制御しても画像が動かないなどと言うことがなくなるため、操作性が非常に悪くなるといったことがなくなり、スムーズに監視カメラ1を制御できる効果がある。
Furthermore, in the first and second embodiments, when the
また、実施の形態1及び実施の形態2においては、MPEG2システムのTSを用いてクロックジッタを吸収する場合について説明したが、本発明はこれに限定されるものではない。例えば、他の圧縮方式で伝送されるビデオデータ、或いはMPEG2システムのPESフォーマット、電話などの音声データ、或いはCDなどから再生されたデジタルオーディオデータなどリアルタイム性を要求されるデータを用いてクロックジッタ吸収するように構成しても同様の効果を有する。 In the first and second embodiments, the case where the clock jitter is absorbed using the TS of the MPEG2 system has been described. However, the present invention is not limited to this. For example, clock jitter absorption using video data transmitted by other compression methods, MPEG2 system PES format, audio data such as telephones, or digital audio data reproduced from a CD or the like, which requires real-time characteristics. Even if configured, the same effect is obtained.
また、実施の形態1及び実施の形態2においては、画像伝送装置7内での高能率符号化方式として、通常監視時にはMPEG2を使用し、監視カメラ1制御時はJPEG符号化を用いた場合について説明したが、本発明はこれに限定されるものではない。例えば、通常監視時にMPEG4を使用してもよい。また、JPEG符号化の代わりに画像の解像度(画像サイズを1/4、色数を256階調)を削減して伝送しても同様の効果を奏する。
In the first and second embodiments, as a high-efficiency encoding method in the
1 監視カメラ、 2 電動雲台、 4 通信モジュール、 5 CPU、 7 画像伝送装置、 9 通信ケーブル、 10 通信モジュール、 12 CPU、 15 監視モニター、 16 操作パネル、 18 伝送システム、 19 映像監視システム、 20 画像圧縮回路、 21 画像伸張回路、 32 NTSCデコーダ、 33 MPEG2符号回路、 34 JPEG符号回路、 35 画像圧縮制御回路、 36 タイムスタンプ生成回路、 37 TSパケット生成回路、 38 JPEGパケット生成回路、 39 TS記憶メモリ、 40 JPEGパケット記憶メモリ、 50 MPEGTSメモリ制御回路、 51 MPEGTS用メモリ、 52 MPEG2復号回路、 53 TV同期発生回路、 54 画像復号制御回路、 55 JPEG復号回路、 56 JPEG用メモリ、 57 JPEG用メモリ制御回路、 58 スイッチ、 59 NTSCエンコーダ、 70 画像縮小回路、 71 第2のJPEG符号回路、 80 第2のJPEG復号回路、 81 画像拡大回路。
DESCRIPTION OF
Claims (11)
上記撮像装置から入力される画像データに第1の高能率符号化を施す第1の高能率符号化手段と、
上記撮像装置から入力される画像データに第2の高能率符号化を施す第2の高能率符号化手段と、
上記第1の高能率符号化の施された画像データ及び上記第2の高能率符号化の施された画像データを上記画像受信装置に送信する送信手段と、
上記撮像装置の撮像位置又はズームの少なくとも一方を含む撮像条件を変更するための撮像条件変更要求信号を受信する受信手段と、
上記撮像条件変更要求信号に基づく撮像条件制御信号を上記撮像装置に対して出力する撮像条件制御手段とを有し、
上記第1の高能率符号化を施す際の画像データの遅延量は、上記第2の高能率符号化を施す際の画像データの遅延量よりも少なく、上記撮像条件制御手段が上記撮像条件制御信号を出力するときにおける上記第2の高能率符号化手段の画像データの圧縮率を、上記撮像条件制御手段が上記撮像条件制御信号を出力するとき以外における上記第2の高能率符号化手段の画像データの圧縮率よりも高く制御するとともに、上記撮像条件制御手段が上記撮像条件制御信号を出力するときには、上記送信手段より送信される信号に関して、上記第1の高能率符号化の施された画像データの優先度を上記第2の高能率符号化の施された画像データの優先度よりも高く設定し、上記第1の高能率符号化の施された画像データを優先的に送信するよう上記送信手段を制御する
ことを特徴とする画像伝送装置。 Subjected to high-efficiency coding on the image data input from the imaging device, the image receiving apparatus which outputs the restored display image data subjected to the above-described high efficiency encoding, in the image transmission apparatus for transmitting,
First high-efficiency encoding means for applying first high-efficiency encoding to image data input from the imaging device;
Second high efficiency encoding means for performing second high efficiency encoding on image data input from the imaging device;
Transmission means for transmitting said first high efficiency encoding image data and the image data subjected to the above second high-efficiency encoding has been subjected to reduction to the image receiving apparatus,
Receiving means for receiving an imaging condition change request signal for changing an imaging condition including at least one of an imaging position or a zoom of the imaging device;
Imaging condition control means for outputting an imaging condition control signal based on the imaging condition change request signal to the imaging apparatus;
The delay amount of the image data when performing a first high-efficiency encoding is less than the delay amount of the image data when carrying out the second high-efficiency encoding, the upper Symbol imaging condition control means the imaging condition the compression ratio of the image data of the second high-efficiency encoding means at the time for outputting a control signal, the second high-efficiency encoding means in addition when the imaging condition control means outputs the image pickup condition control signal with a high Ku system to control than the compression ratio of the image data, when the imaging condition control means outputs the image pickup condition control signal, with respect to the signal transmitted from said transmitting means, the first high efficiency encoding The priority of the applied image data is set higher than the priority of the image data subjected to the second high-efficiency encoding, and the image data subjected to the first high-efficiency encoding is preferentially set. Send above to send Image transmission apparatus characterized by controlling means.
上記撮像装置から入力される画像データに第1の高能率符号化を施すステップと、
上記撮像装置から入力される画像データに第2の高能率符号化を施すステップと、
上記第1の高能率符号化の施された画像データ及び上記第2の高能率符号化の施された画像データを送信手段から上記画像受信装置に送信するステップと、
上記撮像装置の撮像位置又はズームの少なくとも一方を含む撮像条件を変更するための撮像条件変更要求信号を受信するステップと、
上記撮像条件変更要求信号に基づく撮像条件制御信号を上記撮像装置に対して出力するステップとを有し、
上記第1の高能率符号化を施す際の画像データの遅延量は、上記第2の高能率符号化を施す際の画像データの遅延量よりも少なく、上記撮像条件変更要求信号が受信され、上記撮像条件制御信号を出力するときにおける上記第2の高能率符号化ステップにおける画像データの圧縮率を、上記撮像条件制御信号を出力するとき以外における上記第2の高能率符号化ステップにおける画像データの圧縮率よりも高く制御するとともに、上記撮像条件変更要求信号が受信され、上記撮像条件制御信号を出力するときには、上記送信手段より送信される信号に関して、上記第1の高能率符号化の施された画像データの優先度を上記第2の高能率符号化の施された画像データの優先度よりも高く設定し、上記第1の高能率符号化の施された画像データを優先的に送信するよう上記送信手段を制御する
ことを特徴とする画像伝送方法。 Subjected to high efficiency coding on the image data input from the imaging device, the image receiving apparatus which outputs the restored display image data subjected to the above-described high efficiency encoding, an image transmission method for transmitting,
Applying first high efficiency encoding to image data input from the imaging device;
Applying second high efficiency encoding to image data input from the imaging device;
And transmitting to the image receiving apparatus the first high-efficiency encoding of applied image data and the second high efficiency encoding image data subjected to the reduction was from the transmitting means,
Receiving an imaging condition change request signal for changing an imaging condition including at least one of an imaging position or a zoom of the imaging device;
Outputting an imaging condition control signal based on the imaging condition change request signal to the imaging device,
The delay amount of the image data when performing the first high efficiency encoding is smaller than the delay amount of the image data when performing the second high efficiency encoding, and the imaging condition change request signal is received, image in the second high-efficiency encoding step in except when a compression rate of the image data in the second high-efficiency encoding step at the time of outputting the image pickup condition control signal, and outputs the upper Symbol imaging condition control signal as well as high rather controlled than the compression rate of the data, the imaging condition changing request signal is received, when outputting the image pickup condition control signal, with respect to the signal transmitted from said transmitting means, said first high efficiency encoding Is set higher than the priority of the image data subjected to the second high-efficiency encoding, and the image data subjected to the first high-efficiency encoding is set to Image transmission method characterized by controlling the transmission means to transmit earlier manner.
上記画像伝送装置が、
上記撮像装置から入力される画像データに第1の高能率符号化を施す第1の高能率符号化手段と、上記撮像装置から入力される画像データに第2の高能率符号化を施す第2の高能率符号化手段と、上記第1の高能率符号化の施された画像データ及び上記第2の高能率符号化の施された画像データを上記画像受信装置に送信する送信手段と、上記撮像装置の撮像位置又はズームの少なくとも一方を含む撮像条件を変更するための撮像条件変更要求信号を受信する受信手段と、上記撮像条件変更要求信号に基づく撮像条件制御信号を上記撮像装置に対して出力する撮像条件制御手段とを有し、
上記第1の高能率符号化を施す際の画像データの遅延量は、上記第2の高能率符号化を施す際の画像データの遅延量よりも少なく、上記撮像条件制御手段が上記撮像条件制御信号を出力するときにおける上記第2の高能率符号化手段の画像データの圧縮率を、上記撮像条件制御手段が上記撮像条件制御信号を出力するとき以外における上記第2の高能率符号化手段の画像データの圧縮率よりも高く制御するとともに、少なくとも上記第2の高能率符号化手段は上記撮像条件制御信号の有無にかかわらず、上記第2の高能率符号化の施された画像データを、上記画像受信装置に送信するとともに、上記画像受信装置では、上記第2の高能率符号化手段にて符号化された画像データを元に、該第2の高能率符号化手段にて使用している基準クロックの周波数と、上記画像受信装置内で上記第2の高能率符号化手段で符号化されたデータを復号する際に使用する基準クロックの差を推定し、該基準クロックの周波数の差を上記画像受信装置内で吸収するように制御する
ことを特徴とする伝送システム。
In a transmission system having an image transmission device that performs high-efficiency encoding on image data input from an imaging device and transmits the image data that has been subjected to the high-efficiency encoding and outputs the image data to a display device ,
The image transmission apparatus is
First high-efficiency encoding means for applying first high-efficiency encoding to image data input from the imaging apparatus, and second for applying second high-efficiency encoding to image data input from the imaging apparatus The high-efficiency encoding means, the transmission means for transmitting the image data subjected to the first high-efficiency encoding and the image data subjected to the second high-efficiency encoding to the image receiving apparatus, and A receiving means for receiving an imaging condition change request signal for changing an imaging condition including at least one of an imaging position or a zoom of the imaging device, and an imaging condition control signal based on the imaging condition change request signal to the imaging device Imaging condition control means for outputting,
The delay amount of the image data when the first high-efficiency encoding is performed is smaller than the delay amount of the image data when the second high-efficiency encoding is performed, and the imaging condition control means controls the imaging condition control. The compression rate of the image data of the second high-efficiency encoding means when the signal is output is the same as that of the second high-efficiency encoding means other than when the imaging condition control means outputs the imaging condition control signal. While controlling higher than the compression rate of the image data, at least the second high-efficiency encoding means outputs the image data subjected to the second high-efficiency encoding regardless of the presence or absence of the imaging condition control signal . In addition to transmitting to the image receiving device, the image receiving device uses the second high-efficiency encoding unit based on the image data encoded by the second high-efficiency encoding unit. Standard clock And a difference between the reference clock used in decoding the data encoded by the second high-efficiency encoding means in the image receiving apparatus, and the difference between the frequencies of the reference clock A transmission system that is controlled so as to be absorbed in a receiving apparatus .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004151409A JP4104577B2 (en) | 2004-05-21 | 2004-05-21 | Image transmission apparatus, image transmission method, transmission system, and video surveillance system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004151409A JP4104577B2 (en) | 2004-05-21 | 2004-05-21 | Image transmission apparatus, image transmission method, transmission system, and video surveillance system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005333520A JP2005333520A (en) | 2005-12-02 |
JP4104577B2 true JP4104577B2 (en) | 2008-06-18 |
Family
ID=35487845
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004151409A Expired - Fee Related JP4104577B2 (en) | 2004-05-21 | 2004-05-21 | Image transmission apparatus, image transmission method, transmission system, and video surveillance system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4104577B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11100691B2 (en) | 2014-03-31 | 2021-08-24 | Nec Corporation | Image processing system, image processing method and program, and device |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4781816B2 (en) * | 2005-12-28 | 2011-09-28 | パナソニック株式会社 | Image coding apparatus and image coding method |
US20070195539A1 (en) * | 2006-02-21 | 2007-08-23 | Karl Storz Gmbh & Co. Kg | Ultra wide band wireless optical endoscopic device |
JP2009060261A (en) * | 2007-08-30 | 2009-03-19 | Toshiba Corp | Video monitoring system |
JP2010279234A (en) * | 2009-06-01 | 2010-12-09 | Sumitomo Electric Ind Ltd | Photovoltaic power generator |
JP5945519B2 (en) * | 2013-04-23 | 2016-07-05 | オリンパス株式会社 | Operation terminal and remote shooting system |
KR102040940B1 (en) * | 2013-09-04 | 2019-11-05 | 한화테크윈 주식회사 | Apparatus and method for synchronizating time |
JP2018107655A (en) * | 2016-12-27 | 2018-07-05 | 株式会社Nexpoint | Monitoring camera system |
-
2004
- 2004-05-21 JP JP2004151409A patent/JP4104577B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11100691B2 (en) | 2014-03-31 | 2021-08-24 | Nec Corporation | Image processing system, image processing method and program, and device |
Also Published As
Publication number | Publication date |
---|---|
JP2005333520A (en) | 2005-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1786209B1 (en) | Content receiver, video-audio output timing control method, and content providing system | |
US20090109988A1 (en) | Video Decoder with an Adjustable Video Clock | |
JP5043096B2 (en) | Channel changing method and digital video apparatus | |
EP1956848A2 (en) | Image information transmission system, image information transmitting apparatus, image information receiving apparatus, image information transmission method, image information transmitting method, and image information receiving method | |
US20080104644A1 (en) | Video Transferring Apparatus and Method | |
JP4331835B2 (en) | Image data transmission method | |
JP4983923B2 (en) | Decoder device and decoding method | |
JP2001204035A (en) | Digital video decoding system, method for sequentially displaying a plurality of video programs and method for predicting succeeding channel selected by user | |
JP2006508574A (en) | Inserting I images upon request | |
US7983525B2 (en) | Recording apparatus and method and program | |
JP2008118271A (en) | Remote control system of imaging apparatus | |
JP4104577B2 (en) | Image transmission apparatus, image transmission method, transmission system, and video surveillance system | |
US20060161676A1 (en) | Apparatus for IP streaming capable of smoothing multimedia stream | |
US6061403A (en) | Computer program product for selectively reducing bandwidth of real-time video data | |
JP5330015B2 (en) | Video transmission terminal | |
US7558323B2 (en) | Video data transmission method for changing transmission data amounts in accordance with a transmission speed and a transmission system therefor | |
JP4255685B2 (en) | Image transmission method and image transmission apparatus | |
JP2004158929A (en) | Moving picture processing method, moving picture processor, and moving picture transmitter | |
JP4289055B2 (en) | Transcoder and recording / reproducing apparatus using the same | |
JP6464647B2 (en) | Moving image processing method, moving image transmission apparatus, moving image processing system, and moving image processing program | |
JP4892541B2 (en) | Image transmission method and image transmission system | |
EP1615439A2 (en) | Network receiving apparatus and network transmitting apparatus | |
JP2004349743A (en) | Video stream switching system, method, and video image monitoring and video image distribution system including video stream switching system | |
WO2021140768A1 (en) | Transmission device and transmission method | |
JP2012004898A (en) | Storage device, encoding device, encoding method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071011 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071016 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071204 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080108 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080229 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080325 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080325 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110404 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120404 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120404 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130404 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130404 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140404 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |