JP6648898B2

JP6648898B2 - Video encoded data conversion device, video encoded data conversion method, and video encoded data conversion program

Info

Publication number: JP6648898B2
Application number: JP2017210625A
Authority: JP
Inventors: 敦大久保
Original assignee: NEC Platforms Ltd
Current assignee: NEC Platforms Ltd
Priority date: 2017-10-31
Filing date: 2017-10-31
Publication date: 2020-02-14
Anticipated expiration: 2037-10-31
Also published as: JP2019083461A

Description

本発明は、ビデオ符号化技術を用いた分野に関し、特に、映像通信が可能なビデオ符号化データ変換装置、方法及びプログラムに関する。 The present invention relates to a field using a video coding technique, and more particularly, to a video coded data conversion device, method, and program capable of performing video communication.

ビデオコーデック装置は、ビデオコーデック処理で得られたビデオ符号化データを、通信回線を経由して受信端末に送信することで、映像信号を受信端末に伝送する映像通信を実現するための通信機器である。この装置は、特に公共インフラ向け映像監視システムで導入されている。 A video codec device is a communication device for realizing video communication for transmitting a video signal to a receiving terminal by transmitting video encoded data obtained by the video codec processing to the receiving terminal via a communication line. is there. This device is introduced especially in a video surveillance system for public infrastructure.

ビデオコーデック処理とは、映像信号をデジタル信号処理によって圧縮・伸長する処理のことである。映像信号の符号化方式としては、国際標準であるＩＴＵ−Ｔ（International Telecommunication Union Telecommunication Standardization Sector）Ｈ．２６４や、ＩＳＯ（International Organization for Standardization）／ＩＥＣ１４４９６−１０といった規格が、広く世界で使用されている。ビデオコーデック装置は、このビデオコーデック処理をコアに構成され、通信回線を使ってビデオ符号化データの転送を実現する。 The video codec process is a process of compressing / expanding a video signal by digital signal processing. As a video signal encoding method, the international standard ITU-T (International Telecommunication Union Telecommunication Standardization Sector) H.264 is used. H.264 and ISO (International Organization for Standardization) / IEC 14496-10 are widely used in the world. The video codec device is configured with the video codec processing as a core, and realizes transfer of encoded video data using a communication line.

特許文献１には、エンコードされた入力データストリームをデコードした後、デコードした画像をより高い圧縮率になるように再エンコードする技術が開示されている。特許文献１では、再エンコードする符号化方式としてＨ．２６４が用いられている。 Patent Literature 1 discloses a technique of decoding an encoded input data stream and then re-encoding the decoded image so as to have a higher compression ratio. In Patent Document 1, H.264 is used as an encoding method for re-encoding. H.264 is used.

特開２００９−０１０５８６号公報JP 2009-010586 A

ビデオコーデック装置の通信回線において、ビデオ符号化データをネットワークに送出する際の送信ビットレートを任意の通信帯域で一定に保つＣＢＲ（Constant Bit rate）方式が採用されている場合がある。このような場合において、送信ビットレートが設定された任意の通信帯域を超えると、通信回線の途中にある通信機器においてデータが欠落したり、その瞬間のデータ伝送に時間がかかり、伝送遅延が長くなってしまうことがある。 In a communication line of a video codec device, a CBR (Constant Bit rate) method for maintaining a transmission bit rate when transmitting video encoded data to a network constant in an arbitrary communication band may be adopted. In such a case, if the transmission bit rate exceeds any set communication band, data may be lost in the communication device in the middle of the communication line, or data transmission at that moment may take time, resulting in a long transmission delay. Sometimes it becomes.

一般に流通しているビデオコーデック装置をそのまま使用する場合、送信ビットレートを下げてＣＢＲ制御範囲内に収まるように調整することが多い。しかし、送信ビットレートを下げたとしても、ビデオ符号化データのデータ量が多く、ＣＢＲ制御範囲内にどうしても収まらない場合がある。このような場合でも、ＣＢＲ制御を求める通信回線を利用でき、データの欠落や、伝送遅延のない、正常な通信を行うことが求められている。 In general, when a commonly used video codec device is used as it is, the transmission bit rate is often lowered so as to fall within the CBR control range. However, even if the transmission bit rate is reduced, the amount of video coded data may be so large that it does not fall within the CBR control range. Even in such a case, it is demanded that a communication line requiring CBR control can be used and normal communication without data loss or transmission delay is performed.

本発明の一態様に係るビデオ符号化データ変換装置は、ＩＰネットワークを経由して入力されるＩＰパケットを受信して、ビデオ符号化データに変換する受信処理器と、前記ビデオ符号化データのデータ量を監視し、当該データ量がＣＢＲ（Constant Bit Rate）制御範囲内を逸脱したか否かを判断する判断器と、前記判断器の判断結果に基づいて、ＣＢＲ制御範囲を逸脱した前記ビデオ符号化データをＣＢＲ制御範囲内に収まるように再エンコードした再エンコードデータを生成する映像符号処理器と、前記再エンコードデータをＩＰパケットに変換して、前記ＩＰネットワークを介して受信端末に送信する送信処理器とを備える。 A video encoded data conversion device according to an aspect of the present invention includes: a reception processor that receives an IP packet input via an IP network and converts the IP packet into video encoded data; A determining unit that monitors the amount of data and determines whether the amount of data deviates from a CBR (Constant Bit Rate) control range, and the video code that deviates from a CBR control range based on a determination result of the determining unit. Encoder for generating re-encoded data by re-encoding the encoded data so as to fall within the CBR control range, and transmitting the re-encoded data to an IP packet and transmitting the IP packet to a receiving terminal via the IP network And a processor.

本発明によれば、ビデオ符号化データのデータ量を監視し、ＣＢＲ制御範囲内に収まるビデオ符号化データを受信端末に送出することで、正常な映像通信を行うことが可能となる。 According to the present invention, normal video communication can be performed by monitoring the data amount of video encoded data and transmitting video encoded data falling within the CBR control range to the receiving terminal.

実施の形態１に係るビデオ符号化データ変換装置の構成を示すブロック図である。FIG. 2 is a block diagram illustrating a configuration of a video coded data conversion device according to Embodiment 1. 実施の形態１に係るビデオ符号化データ変換装置の構成を示すブロック図である。FIG. 2 is a block diagram illustrating a configuration of a video coded data conversion device according to Embodiment 1. 実施の形態１に係るビデオ符号化データ変換装置の動作例を説明するフロー図である。FIG. 5 is a flowchart illustrating an operation example of the video coded data conversion device according to the first embodiment. 実施の形態２に係るビデオ符号化データ変換装置の構成を示すブロック図である。FIG. 9 is a block diagram illustrating a configuration of a video coded data conversion device according to Embodiment 2. 実施の形態３に係るビデオ符号化データ変換装置の構成を示すブロック図である。FIG. 13 is a block diagram showing a configuration of a video coded data conversion device according to Embodiment 3. 実施の形態のビデオ符号化データ変換装置を用いた監視システムを示す図である。FIG. 1 is a diagram illustrating a monitoring system using a video encoded data converter according to an embodiment. 比較例１のビデオコーデック装置の構成を示すブロック図である。FIG. 7 is a block diagram illustrating a configuration of a video codec device of Comparative Example 1. 比較例２のビデオコーデック装置の構成を示すブロック図である。FIG. 13 is a block diagram illustrating a configuration of a video codec device of Comparative Example 2. 比較例１、２のビデオコーデック装置を用いた監視システムを示す図である。FIG. 9 is a diagram illustrating a monitoring system using the video codec devices of Comparative Examples 1 and 2. ビットレートの変化を示すグラフである。6 is a graph showing a change in a bit rate.

以下、図面を参照して本発明の実施の形態について説明する。
本発明は、映像通信が可能なビデオ符号化データ変換装置、方法及びプログラムに関する。本発明に係るビデオ符号化データ変換装置は、一般に流通しているビデオコーデック装置やＩＰカメラ装置の構成を変更せずに、ビデオ符号化データのデータ量を監視することで、ＣＢＲ（Constant Bit Rate：固定伝送速度）制御範囲内に収まるビデオ符号化データを受信端末に送出することが可能である。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
The present invention relates to a video coded data conversion device, method and program capable of performing video communication. The video coded data conversion device according to the present invention monitors the amount of video coded data without changing the configuration of a commonly distributed video codec device or IP camera device, thereby achieving a CBR (Constant Bit Rate). : Fixed transmission rate) It is possible to transmit video encoded data falling within the control range to the receiving terminal.

説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、様々な処理を行う機能ブロックとして図面に記載される各要素は、ハードウェア的には、ＣＰＵ、メモリ、その他の回路で構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。 The following description and drawings are appropriately omitted and simplified for clarity of explanation. In addition, each element described in the drawings as a functional block that performs various processes can be configured by a CPU, a memory, and other circuits in terms of hardware, and can be configured by a program loaded in the memory in terms of software. It is realized by such as. Therefore, it is understood by those skilled in the art that these functional blocks can be realized in various forms by only hardware, only software, or a combination thereof, and the present invention is not limited to any of them. In each of the drawings, the same elements are denoted by the same reference numerals, and repeated description will be omitted as necessary.

また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Accsess Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。 Also, the above-described program can be stored using various types of non-transitory computer-readable media and supplied to a computer. Non-transitory computer-readable media includes various types of tangible storage media. Examples of non-transitory computer readable media are magnetic recording media (eg, flexible disk, magnetic tape, hard disk drive), magneto-optical recording media (eg, magneto-optical disk), CD-ROM (Read Only Memory), CD-R, CD-R / W, semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (Random Access Memory)). Also, the programs may be provided to the computer by various types of temporary computer-readable media. Examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves. Transitory computer readable media can provide the program to a computer via a wired communication line such as an electric wire and an optical fiber, or a wireless communication line.

実施の形態について説明する前に、比較例に係るビデオコーデック装置の問題点について説明する。図７は、比較例１のビデオコーデック装置の構成を示すブロック図である。図７の比較例１では、送信専用のビデオコーデック装置であるエンコーダ装置１２と受信専用のビデオコーデック装置であるデコーダ装置１４とが分かれた構成が示されている。この構成は、映像監視システムにおいて一般的な構成である。 Before describing the embodiments, problems of the video codec device according to the comparative example will be described. FIG. 7 is a block diagram illustrating a configuration of a video codec device of Comparative Example 1. 7 illustrates a configuration in which an encoder device 12 that is a video codec device dedicated to transmission and a decoder device 14 that is a video codec device dedicated to reception are separated. This configuration is a general configuration in a video surveillance system.

図７に示す例では、ＰＣ等の操作端末１６、１７が、ＲＳ−２３２Ｃコネクタ等のシリアル通信コネクタを介してエンコーダ装置１２、デコーダ装置１４とそれぞれ接続されている。エンコーダ装置１２、デコーダ装置１４は、操作端末１６、１７からそれぞれ制御が可能である。 In the example shown in FIG. 7, operation terminals 16 and 17 such as PCs are connected to the encoder device 12 and the decoder device 14 via a serial communication connector such as an RS-232C connector. The encoder device 12 and the decoder device 14 can be controlled from operation terminals 16 and 17, respectively.

カメラ１１は、撮像素子から取り込んだ映像を映像信号Ｖ１０として出力し、エンコーダ装置１２に入力する。操作端末１６を用いてエンコーダ装置１２に送信動作を指示すると、エンコーダ装置１２では、映像信号が映像デジタル信号へと変換され、映像符号処理を経てビデオ符号化データが生成される。ビデオ符号化データは、ＲＴＰ（Real-time Transport Protocol）送信処理を経て、ＩＰパケットとしてＩＰネットワーク１３に送信される。 The camera 11 outputs a video captured from the image sensor as a video signal V10 and inputs the video signal V10 to the encoder device 12. When a transmission operation is instructed to the encoder device 12 using the operation terminal 16, the encoder device 12 converts a video signal into a video digital signal, and generates video coded data through video coding processing. The video coded data is transmitted to the IP network 13 as an IP packet through an RTP (Real-time Transport Protocol) transmission process.

ＩＰネットワーク１３を経由して伝送されたＩＰパケットは、デコーダ装置１４に到達する。操作端末１７を用いてデコーダ装置１４に受信動作を指示すると、デコーダ装置１４では、ＲＴＰ受信処理されたビデオ符号化データが映像復号処理を経て映像信号Ｖ１１に変換され、ディスプレイモニタ１５に出力される。このようにして、カメラ１１からの映像信号Ｖ１０が、エンコーダ装置装置１２、デコーダ装置１４を経由して、ディスプレイモニタ１５に表示される。 The IP packet transmitted via the IP network 13 reaches the decoder device 14. When a receiving operation is instructed to the decoder device 14 using the operation terminal 17, the decoder device 14 converts the video encoded data subjected to the RTP reception processing into a video signal V 11 through a video decoding process, and outputs the video signal V 11 to the display monitor 15. . In this way, the video signal V10 from the camera 11 is displayed on the display monitor 15 via the encoder device 12 and the decoder device 14.

近年では、小型化技術の進化に伴い、撮像素子とエンコーダ装置を一体化したＩＰカメラ装置が開発されている。このＩＰカメラ装置は、比較的価格が抑えられているため、広く普及している。ＩＰカメラ装置は、撮像素子と、比較例１に示す送信側のビデオコーデック装置（エンコーダ装置１２）とを一体化した構成を持つ機器である。ＩＰカメラ装置は、撮像素子とビデオコーデック装置とが一体化した小型な機器であるため、例えば、店舗内の監視等で広く使われている。 In recent years, with the advance of miniaturization technology, an IP camera device in which an image sensor and an encoder device are integrated has been developed. This IP camera device is widely used because its price is relatively low. The IP camera device is a device having a configuration in which the image sensor and the video codec device (encoder device 12) on the transmission side shown in Comparative Example 1 are integrated. Since the IP camera device is a small device in which the image pickup device and the video codec device are integrated, it is widely used, for example, for monitoring inside a store.

図８に、比較例２のビデオコーデック装置の構成が示される。比較例２は、ビデオコーデック装置を一体化したＩＰカメラ装置である。図８において、エンコーダ処理回路２２が図７のエンコーダ装置１２に相当する。撮像素子２１は、取り込んだ映像を映像信号Ｖ２０として出力し、エンコーダ処理回路２２に入力する。ＩＰカメラ装置は、ＩＰネットワーク２３経由でＩＰパケットの出力動作の指示を受けるため、プロトコル処理部を実装している。図８に示す例では、プロトコル処理部として一般的な、ＲＴＳＰ（Real Time Streaming Protocol）処理回路２４が実装されている。 FIG. 8 shows a configuration of a video codec device of Comparative Example 2. Comparative Example 2 is an IP camera device integrated with a video codec device. 8, the encoder processing circuit 22 corresponds to the encoder device 12 in FIG. The imaging element 21 outputs the captured video as a video signal V20 and inputs the video signal to the encoder processing circuit 22. The IP camera device is equipped with a protocol processing unit in order to receive an instruction to output an IP packet via the IP network 23. In the example shown in FIG. 8, a general RTSP (Real Time Streaming Protocol) processing circuit 24 is mounted as a protocol processing unit.

ＩＰパケットを受信・表示する受信端末２５がＲＴＳＰ処理回路２４にＩＰパケットの送信動作をリクエストすると、エンコーダ処理回路２２は、映像符号処理を経たビデオ符号化データをＩＰパケットとしてＩＰネットワーク２３に送信する。このようにして、撮像素子２１から取り込んだ映像信号が受信端末２５に送信され、表示される。 When the receiving terminal 25 that receives and displays the IP packet requests the RTSP processing circuit 24 to transmit the IP packet, the encoder processing circuit 22 transmits the video coded data having undergone the video coding process to the IP network 23 as an IP packet. . In this way, the video signal captured from the image sensor 21 is transmitted to the receiving terminal 25 and displayed.

交差点や踏切、路上、建物内等のある監視エリアを映像で監視しようとする場合、その監視エリアをくまなく撮影できるように複数のカメラが設置される。設置されたカメラからの映像を監視センタでモニタリングするためには、通信回線を経由して映像を送信する構成が採られ、ビデオコーデック装置やＩＰカメラ装置が多数使用される。 When monitoring a surveillance area such as an intersection, a railroad crossing, on a road, or in a building, a plurality of cameras are installed so that the surveillance area can be photographed throughout. In order to monitor the video from the installed camera at the monitoring center, a configuration for transmitting the video via a communication line is adopted, and a large number of video codec devices and IP camera devices are used.

図９は、このような複数のビデオコーデック装置等を用いた、監視システムの構成例を示している。図９に示す例では、交差点の支柱にＩＰカメラ装置３１、カメラ３２が設置されている。カメラ３２は、ビデオコーデック装置３３に接続されている。ＩＰカメラ装置３１、カメラ３２で撮影された映像信号は、ＩＰネットワーク３４やＷＡＮ（Wide Area Network）３５といった通信回線を経由して、監視センタ３６に送られる。 FIG. 9 shows a configuration example of a monitoring system using such a plurality of video codec devices and the like. In the example shown in FIG. 9, the IP camera device 31 and the camera 32 are installed on the pillar at the intersection. The camera 32 is connected to a video codec device 33. Video signals captured by the IP camera device 31 and the camera 32 are sent to a monitoring center 36 via a communication line such as an IP network 34 or a WAN (Wide Area Network) 35.

大容量の通信回線は、通信コストが高く、設置できる場所が限定されている。このため、監視エリア３０と監視センタ３６を結ぶ通信回線としては、複数のカメラからの映像を同時に流せる程の大容量の通信回線ではなく、広く普及している通信回線を用いるのが一般的であり、せいぜい１台のカメラからの映像を流せる程の低容量の通信回線が用いられる。そのため、設置するカメラ毎に監視センタ３６までの通信回線を用意して運用することになる。 A large-capacity communication line has a high communication cost and a place where it can be installed is limited. For this reason, as a communication line connecting the monitoring area 30 and the monitoring center 36, a communication line that is widely used is generally used instead of a large-capacity communication line capable of simultaneously transmitting images from a plurality of cameras. Yes, a communication line with a capacity low enough to allow the video from one camera to flow is used. Therefore, a communication line to the monitoring center 36 is prepared and operated for each camera to be installed.

監視センタ３６では、操作卓を制御することでカメラ映像をディスプレイに表示する。例えば、選択した任意のカメラ映像を表示させたり、ある一定の時間周期で自動的に順にカメラ映像を表示させたり、画面合成装置を使用して複数のカメラ映像を合成して表示させたりする。 The monitoring center 36 displays a camera image on a display by controlling the console. For example, an arbitrary selected camera image is displayed, camera images are automatically displayed in a certain time cycle automatically, or a plurality of camera images are synthesized and displayed using a screen synthesizing device.

ビデオコーデック処理では、ビデオストリームに対して、空間方向の圧縮と時間方向の圧縮を行っている。圧縮されたデータは、Ｉフレーム（イントラフレーム）、Ｐフレーム（予測フレーム）、Ｂフレーム（双方向補間フレーム）を含む。Ｉフレームは、自己完結型であり、１つの完全なビデオのフレームを表示するために必要とされる全ての情報を含む。 In the video codec processing, spatial compression and temporal compression are performed on a video stream. The compressed data includes an I frame (intra frame), a P frame (prediction frame), and a B frame (bidirectional interpolation frame). An I-frame is self-contained and contains all the information needed to display one complete video frame.

このため、ビデオ符号化データをネットワークに送出する際、Ｉフレームのときに瞬間的に送信ビットレートが高くなりやすい。監視エリア３０と監視センタ３６の通信回線において、送信ビットレートを任意の通信帯域で一定に保たなければならないＣＢＲ（Constant Bit Rate）方式が採用されている場合、送信ビットレートが任意の通信帯域を超えると、通信回線の途中にあるルータ等の通信機器においてデータが欠落したり、その瞬間のデータ伝送に時間がかかり、伝送遅延が長くなってしまうことがある。受信端末によっては、バッファの容量不足により、その瞬間の映像を再生できずにデコードエラーを引き起こすおそれがある。 For this reason, when transmitting video encoded data to a network, the transmission bit rate tends to increase instantaneously in the case of an I frame. In the case where the CBR (Constant Bit Rate) system in which the transmission bit rate must be kept constant in an arbitrary communication band is adopted in the communication line between the monitoring area 30 and the monitoring center 36, the transmission bit rate is set to an arbitrary communication band. If the number exceeds the limit, data may be lost in a communication device such as a router in the middle of a communication line, or data transmission at that moment may take a long time and transmission delay may be increased. Depending on the receiving terminal, there is a possibility that a decoding error may be caused due to the inability to reproduce the video at that moment due to insufficient buffer capacity.

図１０は、送信ビットレートの変化の一例を示したものである。図１０の上段に、時系列のビデオストリームの各フレームが示されている。グラフ１、２には、各フレームに対応する時間におけるビデオ符号化データの送信ビットレートが示される。グラフ１に示す例では、設定ビットレート内に送信ビットレートが収まっている。この場合は、ＣＢＲ制御の範囲内に送信ビットレートが収まっているため、映像信号の通信に支障はない。 FIG. 10 shows an example of a change in the transmission bit rate. The upper part of FIG. 10 shows each frame of the time-series video stream. Graphs 1 and 2 show the transmission bit rate of the video encoded data at the time corresponding to each frame. In the example shown in the graph 1, the transmission bit rate falls within the set bit rate. In this case, since the transmission bit rate is within the range of the CBR control, there is no problem in the communication of the video signal.

しかし、グラフ２では、ある瞬間の送信ビットレートが設定ビットレートを超えている。この瞬間、ＣＢＲ制御においては、データの欠落や伝送遅延につながる。このように、映像通信にとって通信環境が厳しい条件下では、送信ビットレートを任意の通信帯域内に保つことができず、正常な通信ができなくなるという問題がある。 However, in the graph 2, the transmission bit rate at a certain moment exceeds the set bit rate. At this moment, in CBR control, data loss or transmission delay occurs. As described above, under conditions where the communication environment is severe for video communication, the transmission bit rate cannot be kept within an arbitrary communication band, and normal communication cannot be performed.

流通しているビデオコーデック装置やＩＰカメラ装置をそのまま使用する場合、送信ビットレートを下げてＣＢＲ制御範囲内に収まるように調整することが多い。しかし、送信ビットレートを下げたとしても、ビデオ符号化データのデータ量が多く、ＣＢＲ制御範囲内にどうしても収まらない場合がある。このような場合でも、ＣＢＲ制御を求める通信回線を利用できるようにすることが求められている。 When a commercially available video codec device or IP camera device is used as it is, the transmission bit rate is often lowered and adjusted so as to fall within the CBR control range. However, even if the transmission bit rate is reduced, the amount of video coded data may be so large that it does not fall within the CBR control range. Even in such a case, it is required to be able to use a communication line that requires CBR control.

また、一般に流通しているビデオコーデック装置やＩＰカメラ装置には、送信ビットレート制御としてＣＢＲ制御を採用しているものがあるが、ＧＯＰ（Group Of Picture）単位でのＣＢＲ制御に留まり、フレーム単位でのＣＢＲ制御が行われていないものが多い。送信側であるビデオコーデック装置やＩＰカメラ装置を厳密なＣＢＲ制御を求める通信回線でも利用できるようにするためには、フレーム単位のビットレート制御を実装する必要がある。 Some video codec devices and IP camera devices that are generally distributed employ CBR control as transmission bit rate control. However, CBR control is performed in units of GOPs (Group Of Pictures), and is performed in units of frames. In many cases, the CBR control is not performed. In order to allow a video codec device or an IP camera device on the transmission side to be used on a communication line that requires strict CBR control, it is necessary to implement bit rate control in frame units.

ビデオコーデック処理では、フレーム内予測処理とフレーム間予測処理によってデータ量を大幅に削減している。ビデオコーデック処理を行ったデータのデータ量は、入力される映像の動きや絵柄の細かさに応じて変化する。映像の変化が大きいと、予測できる部分が少なくなるため、予測処理に比べて圧縮率の低い離散コサイン変換（DCT：Discrete Cosine Transform）等の処理を経たデータが作成される。すなわち、映像の変化が大きい場合、画質を一定に保とうとするとデータ量が大きくなる。 In the video codec processing, the amount of data is significantly reduced by intra-frame prediction processing and inter-frame prediction processing. The data amount of the data on which the video codec processing has been performed changes according to the movement of the input video and the fineness of the design. If the change in the image is large, the portion that can be predicted is reduced, so that data that has undergone processing such as discrete cosine transform (DCT) with a lower compression ratio than the prediction processing is created. That is, when the change of the image is large, the data amount becomes large if the image quality is to be kept constant.

そこで、本発明者は、ビデオコーデック装置やＩＰカメラ装置からのデータ量を監視し、ＣＢＲ制御の範囲を逸脱するような状況になった場合、その瞬間のデータをＣＢＲ制御の範囲内に収まるように再エンコードして、逸脱した時間帯のビデオ符号化データをエンコードし直したデータに差し替えることを考案した。以下、本発明の実施の形態について説明する。 Therefore, the present inventor monitors the amount of data from the video codec device or the IP camera device, and if the situation deviates from the range of the CBR control, the data at that moment falls within the range of the CBR control. And re-encoded the video encoded data in the deviating time zone with the re-encoded data. Hereinafter, embodiments of the present invention will be described.

実施の形態１．
実施の形態１に係るビデオ符号化データ変換装置について、図１〜３を参照して説明する。図１は、ビデオ符号化データ変換装置１０の構成を示す図である。図２は、ＩＰカメラ装置からのＩＰパケットを受信する例である、ビデオ符号化データ変換装置１０Ａの構成を示している。図３を参照して実施の形態１に係るビデオ符号化データ変換装置１０Ａの動作例を示している。なお、上述の通り、図中の各ブロックは機能別に分類したものであり、ハード構成を限定するものではない。 Embodiment 1 FIG.
A video coded data converter according to Embodiment 1 will be described with reference to FIGS. FIG. 1 is a diagram showing a configuration of the video coded data conversion device 10. FIG. 2 shows a configuration of a video coded data conversion device 10A, which is an example of receiving an IP packet from an IP camera device. Referring to FIG. 3, an operation example of video coded data conversion device 10A according to Embodiment 1 is shown. As described above, each block in the figure is classified according to function, and does not limit the hardware configuration.

図１に示すように、ビデオ符号化データ変換装置１０は、ＲＴＰ受信処理器１、判断器２、映像符号処理器４、ＲＴＰ送信処理器５を有している。ＲＴＰ受信処理器１は、ＩＰネットワークを経由して入力されるＩＰパケットを受信して、ビデオ符号化データに変換する。判断器２は、ビデオ符号化データのデータ量を監視し、当該データ量がＣＢＲ制御範囲内を逸脱したか否かを判断する。判断器２の判断結果に基づいて、入力されたビデオ符号化データを再エンコードせずに、そのままＲＴＰ送信処理器５で再びＩＰネットワーク８に送出するか（第１経路Ｒ１）、ＣＢＲ制御範囲を逸脱したビデオ符号化データをＣＢＲ制御範囲内に収まるように再エンコードした再エンコードデータを生成するか（第２経路Ｒ２）のいずれかが選択される。 As shown in FIG. 1, the video coded data converter 10 has an RTP reception processor 1, a decision unit 2, a video coding processor 4, and an RTP transmission processor 5. The RTP reception processor 1 receives an IP packet input via an IP network and converts it into video encoded data. The determiner 2 monitors the data amount of the video encoded data, and determines whether the data amount has deviated from within the CBR control range. Based on the judgment result of the judging device 2, the RTP transmission processor 5 sends the input video encoded data again to the IP network 8 without re-encoding (the first route R1) or sets the CBR control range Either to generate re-encoded data by re-encoding the deviated video encoded data so as to fall within the CBR control range (second route R2) is selected.

映像符号処理器４は、ビデオ符号化データのデータ量がＣＢＲ制御の範囲を逸脱したと判断された場合、ＣＢＲ制御範囲を逸脱したビデオ符号化データの再エンコード処理を行う。再エンコードデータは、ビデオ符号化データのうち、ＣＢＲ制御の範囲を逸脱した時間帯のビデオ符号化データをエンコードし直したデータである。ＲＴＰ送信処理器５は、再エンコードデータをＩＰパケットに変換して、ＩＰネットワーク８を介して受信端末９に送信する。 When it is determined that the data amount of the video encoded data has deviated from the range of the CBR control, the video encoding processor 4 re-encodes the video encoded data that has deviated from the CBR control range. The re-encoded data is data obtained by re-encoding video encoded data in a time zone that deviates from the range of CBR control among the video encoded data. The RTP transmission processor 5 converts the re-encoded data into an IP packet and transmits it to the receiving terminal 9 via the IP network 8.

以下、ＩＰカメラ装置からのＩＰパケットを受信する例について、図２を参照して具体的に説明する。図２に示すように、ビデオ符号化データ変換装置１０Ａは、ＲＴＰ受信処理器１、判断器２、映像復号処理器３、映像符号処理器４、ＲＴＰ送信処理器５、ＲＴＳＰ処理器６を備えている。ビデオ符号化データ変換装置１０Ａは、通常エンコーダ装置が持つ映像符号処理器４と、デコーダ装置が持つ映像復号処理器３とが合わさった構成を有してる。 Hereinafter, an example of receiving an IP packet from the IP camera device will be specifically described with reference to FIG. As shown in FIG. 2, the video coded data converter 10A includes an RTP reception processor 1, a decision unit 2, a video decoding processor 3, a video coding processor 4, an RTP transmission processor 5, and an RTSP processor 6. ing. The video coded data converter 10A has a configuration in which the video code processor 4 of the normal encoder device and the video decoding processor 3 of the decoder device are combined.

ＩＰカメラ装置７は一般に流通している通常の構成を有するものである。ＩＰカメラ装置７はＩＰネットワーク８を介して、ビデオ符号化データ変換装置１０Ａに接続されている。ＩＰカメラ装置７は、ビデオ符号化データをＲＴＰ（Real-time Transport Protocol）パケットとしてビデオ符号化データ変換装置１０Ａに送出する。 The IP camera device 7 has a general configuration that is generally distributed. The IP camera device 7 is connected to the video coded data conversion device 10A via the IP network 8. The IP camera device 7 sends the encoded video data to the encoded video data conversion device 10A as an RTP (Real-time Transport Protocol) packet.

ビデオ符号化データ変換装置１０Ａは、ＩＰネットワーク８経由でＲＴＰパケットに対する指示を受けるため、ＲＴＳＰ（Real Time Streaming Protocol）処理器６を有している。受信端末９が、ＲＴＳＰ処理器６にＲＴＰパケットの受信動作をリクエストすると、ＲＴＰ受信処理器１はＩＰネットワーク８を介して入力されるＩＰパケットを受信し、ビデオ符号化データに変換して判断器２に送出する。判断器２は、ビデオ符号化データのデータ量を計測し、計測したデータ量がＣＢＲ制御範囲内を逸脱したか否かを判断する。 The video encoded data converter 10A has an RTSP (Real Time Streaming Protocol) processor 6 for receiving an instruction for an RTP packet via the IP network 8. When the receiving terminal 9 requests the RTSP processor 6 to receive an RTP packet, the RTP reception processor 1 receives the IP packet input via the IP network 8, converts the IP packet into video encoded data, and determines Send to 2. The determiner 2 measures the data amount of the video encoded data, and determines whether the measured data amount has deviated from the CBR control range.

計測したデータ量がＣＢＲ制御の範囲内であると判断された場合、第１経路Ｒ１が選択される。入力されたビデオ符号化データは再エンコードされずに、そのままＲＴＰ送信処理器５で再びＩＰネットワーク８に送出される。送出されたＩＰパケットは受信端末９で受信され、映像が表示される。 When it is determined that the measured data amount is within the range of the CBR control, the first route R1 is selected. The input video encoded data is not re-encoded, and is transmitted again to the IP network 8 by the RTP transmission processor 5 as it is. The transmitted IP packet is received by the receiving terminal 9, and a video is displayed.

一方、計測したデータ量がＣＢＲ制御の範囲を逸脱したと判断された場合、第２経路Ｒ２に切り替わる。第２経路Ｒ２が選択されると、入力されたビデオ符号化データは映像復号処理器３で一旦復号される。そして、映像復号処理器３で復号化された映像デジタルデータは、判断器２の判断結果に基づいて、映像符号処理器４においてＣＢＲ制御範囲を逸脱したビデオ符号化データがＣＢＲ制御範囲内に収まるように再エンコードされる。再エンコードデータは、ビデオ符号化データのうち、ＣＢＲ制御の範囲を逸脱した時間帯のビデオ符号化データをエンコードし直したデータである。 On the other hand, when it is determined that the measured data amount has deviated from the range of the CBR control, the flow is switched to the second route R2. When the second route R <b> 2 is selected, the input video encoded data is once decoded by the video decoding processor 3. Then, the video digital data decoded by the video decoding processor 3 is such that the video coded data that has deviated from the CBR control range in the video coding processor 4 falls within the CBR control range based on the determination result of the determiner 2. Will be re-encoded. The re-encoded data is data obtained by re-encoding video encoded data in a time zone that deviates from the range of CBR control among the video encoded data.

判断器２は、判断結果に基づき、ビデオ符号化データを再エンコードするための制御パラメータＰ１を映像符号処理器４に出力する。そして、映像復号処理器３で復号化された映像デジタルデータは、判断器２から入力された制御パラメータＰ１を利用して、映像符号処理器４において再エンコードされる。再エンコードデータは、ＲＴＰ送信処理器５でＩＰパケットに変換され、再びＩＰネットワーク８に送出される。 The judging unit 2 outputs a control parameter P1 for re-encoding the encoded video data to the video encoding processor 4 based on the judgment result. Then, the video digital data decoded by the video decoding processor 3 is re-encoded by the video coding processor 4 using the control parameter P1 input from the decision unit 2. The re-encoded data is converted into an IP packet by the RTP transmission processor 5 and transmitted to the IP network 8 again.

ここで、図３を参照して実施の形態１に係るビデオ符号化データ変換装置１０Ａの動作例について説明する。図３は、判断器２の処理を説明するフロー図である。図３に示すように、ステップＳ１０において、ＩＰネットワークで行われるＣＢＲ制御の上限ビットフレームＡと、ＩＰカメラ装置７が出力するビデオ符号化データのフレームレートＢから、１フレーム当たりのデータ割り当て量に係数Ｅをかけ合わせたＣが算出される。（Ｃ＝Ｅ*Ａ／Ｂ） Here, an operation example of the video coded data conversion device 10A according to Embodiment 1 will be described with reference to FIG. FIG. 3 is a flowchart illustrating the processing of the determiner 2. As shown in FIG. 3, in step S10, the upper limit bit frame A of the CBR control performed in the IP network and the frame rate B of the video coded data output from the IP camera device 7 reduce the data allocation amount per frame. C multiplied by the coefficient E is calculated. (C = E * A / B)

その後、ステップＳ１１において、受信したＩＰパケットから展開されたビデオ符号化データから、１フレームあたりのデータ量Ｄが算出される。そして、１フレームあたりのデータ量Ｄに応じて、第１経路Ｒ１と、第２経路Ｒ２の切り替えが行われる。具体的には、ステップＳ１２において、受信したデータ量Ｄがデータ割り当て量Ｃよりも大きいか否かが判断される。データ量Ｄがデータ割り当て量Ｃ以下であり、ＣＢＲ制御の範囲内に収まっている場合（ステップＳ１２、ＮＯ）、第１経路Ｒ１が選択される。この場合、受信したＩＰパケットから展開されたビデオ符号化データは、そのままＲＴＰ送信処理器５で再びＩＰネットワーク８に送出される。 Thereafter, in step S11, a data amount D per frame is calculated from the video encoded data expanded from the received IP packet. Then, switching between the first route R1 and the second route R2 is performed according to the data amount D per frame. Specifically, in step S12, it is determined whether the received data amount D is larger than the data allocation amount C. When the data amount D is equal to or less than the data allocation amount C and falls within the range of the CBR control (step S12, NO), the first route R1 is selected. In this case, the video encoded data expanded from the received IP packet is transmitted again to the IP network 8 by the RTP transmission processor 5 as it is.

一方、データ量Ｄがデータ割り当て量Ｃよりも大きく、データ量ＤがＣＢＲ制御の範囲を逸脱した場合（ステップＳ１２、ＹＥＳ）、第２経路Ｒ２が選択される。この場合、ステップＳ１３において、映像符号処理器４に対して制御パラメータＰ１が出力される。映像復号処理器３で一旦復号化されたデータは、映像符号処理器４において制御パラメータＰ１によりＣＢＲ制御の範囲内に収まるように再エンコードされる。 On the other hand, when the data amount D is larger than the data allocation amount C and the data amount D is out of the range of the CBR control (step S12, YES), the second route R2 is selected. In this case, the control parameter P1 is output to the video code processor 4 in step S13. The data once decoded by the video decoding processor 3 is re-encoded by the video coding processor 4 using the control parameter P1 so as to fall within the range of CBR control.

このように、判断器２によってＣＢＲ制御の範囲を逸脱したか否かを判定し、逸脱した時間帯のビデオ符号化データをエンコードし直したデータに差し替えた再エンコードデータを受信端末９に送信することができる。これにより、送信ビットレートを任意の通信帯域内に保つことができ、データの欠落や、伝送遅延のない、正常な通信を行うことが可能となる。このため、一般に流通しているＩＰカメラ装置の構成を変更せずに、そのままＣＢＲ制御を求める通信回線でも利用できるようにすることが可能となる。 In this way, the determination unit 2 determines whether the range of the CBR control is deviated or not, and transmits the re-encoded data in which the video encoded data in the deviated time zone is replaced with the re-encoded data to the receiving terminal 9. be able to. As a result, the transmission bit rate can be kept within an arbitrary communication band, and normal communication without data loss and transmission delay can be performed. For this reason, it is possible to use the IP camera apparatus on a communication line that requires CBR control without changing the configuration of a generally distributed IP camera apparatus.

実施の形態２．
実施の形態２に係るビデオ符号化データ変換装置について、図４を参照して説明する。図４は、実施の形態２に係るビデオ符号化データ変換装置の一例であるビデオコーデック装置１００の構成を示すブロック図である。図４において、図１、２と同じ機能を有するブロックには同一の符号を付している。 Embodiment 2 FIG.
A video coded data converter according to Embodiment 2 will be described with reference to FIG. FIG. 4 is a block diagram showing a configuration of a video codec device 100 which is an example of the video coded data conversion device according to Embodiment 2. 4, blocks having the same functions as those in FIGS. 1 and 2 are denoted by the same reference numerals.

実施の形態２のビデオコーデック装置１００は、エンコーダ装置とデコーダ装置とを合わせた構成を有している。図４に示すように、ビデオコーデック装置１００は、ＲＴＰ受信処理器１、判断器２、映像復号処理器３、映像符号処理器４、ＲＴＰ送信処理器５、ＲＴＳＰ処理器６、Ａ／Ｄ器１０１、Ｄ／Ａ器１０２、映像信号切替器１０３を有している。ビデオコーデック装置１００は、従来のエンコード装置、デコード装置として動作することができるとともに、ＩＰカメラ装置から入力されるデータ量を監視して、ＣＢＲ制御の範囲を逸脱した時間帯のビデオ符号化データを、ＣＢＲ制御の範囲内に収まるようにエンコードしなおす機能を有する。 The video codec device 100 according to the second embodiment has a configuration in which an encoder device and a decoder device are combined. As shown in FIG. 4, the video codec device 100 includes an RTP reception processor 1, a decision unit 2, a video decoding processor 3, a video encoding processor 4, an RTP transmission processor 5, an RTSP processor 6, an A / D unit. 101, a D / A device 102, and a video signal switch 103. The video codec device 100 can operate as a conventional encoding device and decoding device, and also monitors the amount of data input from the IP camera device, and outputs video encoded data in a time zone outside the range of CBR control. , And CBR control.

映像信号切替器１０３には、Ａ／Ｄ器１０１、Ｄ／Ａ器１０２、映像復号処理器３、映像符号処理器４が接続される。判断器２には、ＲＴＰ受信処理器１、映像復号処理器３、映像符号処理器４、ＲＴＰ送信処理器５が接続される。ＲＴＰ受信処理器１は入力ＩＰパケットを受信し、ビデオ符号化データに変換して判断器２に送出する。映像復号処理器３は、デコード装置として動作する場合は、判断器２を経由して入力されたビデオ符号化データを復号して、出力映像デジタル信号に変換する。また、映像復号処理器３は、再エンコードを行う場合は、判断器２を経由して入力されたビデオ符号化データを復号し、映像符号処理器４において再エンコードされる映像デジタル信号へと変換する。 The A / D unit 101, the D / A unit 102, the video decoding processor 3, and the video encoding processor 4 are connected to the video signal switch 103. An RTP reception processor 1, a video decoding processor 3, a video encoding processor 4, and an RTP transmission processor 5 are connected to the decision unit 2. The RTP reception processor 1 receives an input IP packet, converts it into video encoded data, and sends it to the decision unit 2. When operating as a decoding device, the video decoding processor 3 decodes the encoded video data input via the determiner 2 and converts it into an output video digital signal. When performing re-encoding, the video decoding processor 3 decodes the video coded data input via the decision unit 2 and converts it into a video digital signal to be re-encoded by the video coding processor 4. I do.

Ｄ／Ａ器１０２は、映像復号処理器３からの出力映像デジタル信号を出力映像信号に変換する。Ａ／Ｄ器１０１は、入力映像信号を入力映像デジタル信号に変換する。映像信号切替器１０３は、各機能ブロックからの映像デジタル信号をいずれの機能ブロックに入力するかを切り替える制御を行う。具体的には、映像信号切替器１０３は、エンコード装置として動作する場合、Ａ／Ｄ器１０１から出力される入力映像デジタル信号を映像符号処理器４に入力する。また、映像信号切替器１０３は、デコード装置として動作する場合、映像復号処理器３からの出力映像デジタル信号をＤ／Ａ器１０２に入力する。映像信号切替器１０３は、再エンコードを行う場合は、映像復号処理器３からの映像デジタル信号を映像符号処理器４に入力する。 The D / A unit 102 converts an output video digital signal from the video decoding processor 3 into an output video signal. The A / D unit 101 converts an input video signal into an input video digital signal. The video signal switch 103 performs control of switching which functional block receives the video digital signal from each functional block. Specifically, when operating as an encoding device, the video signal switch 103 inputs an input video digital signal output from the A / D unit 101 to the video encoding processor 4. When operating as a decoding device, the video signal switch 103 inputs an output video digital signal from the video decoding processor 3 to the D / A device 102. When performing re-encoding, the video signal switch 103 inputs the video digital signal from the video decoding processor 3 to the video encoding processor 4.

ビデオコーデック装置１００がエンコーダ装置として動作する場合の処理について説明する。アナログ信号である入力映像信号は、Ａ／Ｄ器１０１によって入力映像デジタル信号に変換される。入力映像デジタル信号は、映像信号切替器１０３を経由して映像符号処理器４に入力される。映像符号処理器４では、映像符号処理が行われビデオ符号化データが生成される。ビデオ符号化データは、判断器２を経由してＲＴＰ送信処理器５に入力され、出力ＩＰパケットが出力される。このようにして、ビデオコーデック装置１００は、エンコーダ装置として、入力映像信号をＩＰパケットとして出力することができる。 Processing when the video codec device 100 operates as an encoder device will be described. An input video signal, which is an analog signal, is converted by the A / D unit 101 into an input video digital signal. The input video digital signal is input to the video code processor 4 via the video signal switch 103. The video coding processor 4 performs video coding processing to generate video coded data. The video encoded data is input to the RTP transmission processor 5 via the decision unit 2, and an output IP packet is output. In this manner, the video codec device 100 can output an input video signal as an IP packet as an encoder device.

ビデオコーデック装置１００がデコーダ装置として動作する場合の処理について説明する。ＩＰネットワークから受信した入力ＩＰパケットは、ＲＴＰ受信処理器１と判断器２を経由して映像復号処理器３に入力される。映像復号処理器３では、映像復号処理が行われ、出力映像デジタル信号が生成される。出力映像デジタル信号は、映像信号切替器１０３を経由してＤ／Ａ器１０２に入力される。Ｄ／Ａ器１０２では、出力映像デジタル信号がアナログ信号である出力映像信号に変換され出力される。このようにして、ビデオコーデック装置１００は、デコーダ装置として、受信したＩＰパケットを出力映像信号として出力することができる。 Processing when the video codec device 100 operates as a decoder device will be described. An input IP packet received from the IP network is input to the video decoding processor 3 via the RTP reception processor 1 and the decision unit 2. The video decoding processor 3 performs a video decoding process to generate an output video digital signal. The output video digital signal is input to the D / A device 102 via the video signal switch 103. In the D / A unit 102, the output video digital signal is converted into an output video signal which is an analog signal and output. In this manner, the video codec device 100 can output the received IP packet as an output video signal as a decoder device.

次に、ビデオコーデック装置１００が、実施の形態１のように、入力機器であるＩＰカメラ装置からのビデオ符号化データを再エンコードする場合の処理について説明する。ＩＰカメラ装置からの入力ＩＰパケットは、ＲＴＰ受信処理器１を経由して判断器２に入力される。判断器２では、ビデオ符号化データのデータ量が計測される。計測されたデータ量がＣＢＲ制御の範囲内であると判断された場合、ビデオ符号化データは、そのままＲＴＰ送信処理器５に入力され、出力ＩＰパケットとして出力される。 Next, a process in which the video codec device 100 re-encodes video encoded data from an IP camera device as an input device as in the first embodiment will be described. An input IP packet from the IP camera device is input to the decision unit 2 via the RTP reception processor 1. The determiner 2 measures the amount of video encoded data. When it is determined that the measured data amount is within the range of the CBR control, the video encoded data is directly input to the RTP transmission processor 5 and output as an output IP packet.

一方、計測されたデータ量がＣＢＲ制御の範囲を逸脱したと判断された場合、ビデオ符号化データは映像復号処理器３に入力され復号される。また、このとき、判断器２は、制御パラメータＰ１を映像符号処理器４に出力する。復号化されたデータは、映像信号切替器１０３を経由して映像符号処理器４に入力される。映像符号処理器４では、判断器２からの解像度パラメータＰ２を利用して、エンコード処理が行われる。再エンコードされた再エンコードデータは、判断器２、ＲＴＰ送信処理器５を経由して出力ＩＰパケットとして出力される。なお、判断器２の動作については、図３に示した例と同様である。図４に示す例では、ＩＰパケットの授受に際し、ＲＴＳＰパケットを利用して処理を進めるため、ＲＴＳＰ処理器６が動作する。 On the other hand, when it is determined that the measured data amount is out of the range of the CBR control, the video encoded data is input to the video decoding processor 3 and decoded. At this time, the determiner 2 outputs the control parameter P1 to the video code processor 4. The decoded data is input to the video code processor 4 via the video signal switch 103. The video encoding processor 4 performs an encoding process using the resolution parameter P2 from the decision unit 2. The re-encoded re-encoded data is output as an output IP packet via the decision unit 2 and the RTP transmission processing unit 5. Note that the operation of the decision unit 2 is the same as the example shown in FIG. In the example shown in FIG. 4, the RTSP processor 6 operates to transmit and receive the IP packet by using the RTSP packet to proceed.

このように、実施の形態２にかかるビデオコーデック装置１００は、従来のエンコード装置、デコード装置として動作することができるとともに、ＩＰカメラ装置から入力されるデータ量を監視して、ＣＢＲ制御の範囲を逸脱した時間帯のビデオ符号化データを、ＣＢＲ制御の範囲内に収まるようにエンコードしなおすことが可能となる。 As described above, the video codec device 100 according to the second embodiment can operate as a conventional encoding device and decoding device, and also monitors the amount of data input from the IP camera device to adjust the range of CBR control. It becomes possible to re-encode the video encoded data in the deviated time zone so as to fall within the range of the CBR control.

実施の形態３．
実施の形態３に係るビデオ符号化データ変換装置について、図５を参照して説明する。図５は、実施の形態３に係るビデオ符号化データ変換装置の一例であるビデオコーデック装置１００Ａの構成を示すブロック図である。図５において、上述の図と同じ機能を有するブロックには同一の符号を付している。 Embodiment 3 FIG.
A video coded data converter according to Embodiment 3 will be described with reference to FIG. FIG. 5 is a block diagram showing a configuration of a video codec device 100A which is an example of the video coded data conversion device according to Embodiment 3. In FIG. 5, blocks having the same functions as those in the above-described figures are denoted by the same reference numerals.

ビデオコーデック装置は、利用場面によっては、映像の解像度をより小さくすることでデータ量を抑え込む必要が想定される。そういった場面においても柔軟に対応できるようにするには、ビデオコーデック装置に解像度変換を行うスケーラ処理器を内蔵するのが最良である。実施の形態３に係るビデオコーデック装置１００Ａは、実施の形態２のビデオコーデック装置１００の構成に加えて、スケーラ処理器１０４をさらに備えている。 It is assumed that the video codec device needs to reduce the data amount by reducing the resolution of the video depending on the usage scene. In order to be able to flexibly cope with such situations, it is best to incorporate a scalar processor for converting the resolution into the video codec device. The video codec device 100A according to the third embodiment further includes a scaler processor 104 in addition to the configuration of the video codec device 100 according to the second embodiment.

スケーラ処理器１０４は、映像信号切替器１０３と映像符号処理器４との間に設けられている。スケーラ処理器１０４は判断器２の判断結果に基づいて、ビデオ符号化データの解像度の変換を行うことができる。判断器２は、判断結果に基づき、ビデオ符号化データの解像度を変換するための解像度パラメータＰ２をスケーラ処理器１０４に送信する。スケーラ処理器１０４は、判断器２から解像度パラメータＰ２を受け取り、これを用いて解像度を変換する処理を行う。解像度変換処理を行ったデータは映像符号処理器４に入力され、ビデオ符号化データが作成される。 The scaler processor 104 is provided between the video signal switch 103 and the video code processor 4. The scaler 104 can convert the resolution of the encoded video data based on the determination result of the determiner 2. The determiner 2 transmits a resolution parameter P2 for converting the resolution of the encoded video data to the scaler processor 104 based on the determination result. The scaler 104 receives the resolution parameter P2 from the determiner 2, and performs a process of converting the resolution using the parameter P2. The data that has undergone the resolution conversion processing is input to the video encoding processor 4, where video encoded data is created.

このように、実施の形態３に係るビデオコーデック装置１００Ａでは、状況に応じて、ＩＰカメラ装置から入力されるデータ量を監視して、制御パラメータＰ１を用いてＣＢＲ制御の範囲内に収まるようにエンコードしなおすことができるとともに、解像度パラメータＰ２を用いて映像の解像度を変換することによりデータ量を抑制することが可能となる。 As described above, the video codec device 100A according to the third embodiment monitors the amount of data input from the IP camera device according to the situation, and uses the control parameter P1 so as to be within the range of CBR control. Re-encoding can be performed, and the amount of data can be suppressed by converting the resolution of the video using the resolution parameter P2.

実施の形態４．
図６は、実施の形態のビデオ符号化データ変換装置を用いた監視システムを示す図である。図６において、上述の図面と同じ機能を有するブロックには同一の符号を付している。図６に示す例では、交差点の支柱に設置されたＩＰカメラ装置２００、カメラ２０１の監視映像が監視センタ２０７に伝送される。なお、ＩＰカメラ装置２００及びカメラ２０１と監視センタ２０７との間を結んでいるＩＰネットワーク２０６は、カメラ１台分の通信帯域しか確保できない状況であるものとする。 Embodiment 4 FIG.
FIG. 6 is a diagram illustrating a monitoring system using the video coded data conversion device according to the embodiment. 6, blocks having the same functions as those in the above-described drawings are denoted by the same reference numerals. In the example illustrated in FIG. 6, the monitoring video of the IP camera device 200 and the camera 201 installed on the pillar at the intersection is transmitted to the monitoring center 207. It is assumed that the IP camera device 200 and the IP network 206 connecting the camera 201 and the monitoring center 207 are in a state where only a communication band for one camera can be secured.

通常は、ＩＰカメラ装置２００からの映像信号が監視センタ２０７の受信端末２０８でデコードされ、映像が確認されるものとする。ＩＰカメラ装置２００には、実施の形態１のビデオコーデック装置１００を内蔵した変換装置２０３が、ＩＰネットワーク２０６を介して接続されている。変換装置２０３には、監視センタ２０７からの制御情報をやり取りする制御器２０４が設けられており、監視センタ２０７から直接制御できるようになっている。変換装置２０３及びモニタ２０２は、交差点近傍にある制御ボックス２０５内に収められている。 Normally, the video signal from the IP camera device 200 is decoded by the receiving terminal 208 of the monitoring center 207, and the video is confirmed. A conversion device 203 containing the video codec device 100 of the first embodiment is connected to the IP camera device 200 via an IP network 206. The conversion device 203 is provided with a controller 204 for exchanging control information from the monitoring center 207, and can be directly controlled from the monitoring center 207. The conversion device 203 and the monitor 202 are housed in a control box 205 near the intersection.

ＩＰネットワーク２０６には、ビデオコーデック装置１００を内蔵した変換装置２０３が接続されている。ＩＰカメラ装置２００から送出されたＩＰパケットは、変換装置２０３を経由してビデオ符号化データのデータ量に応じて、ＣＢＲ制御範囲内になるように再エンコードされる。受信端末２０８は、再エンコードされたＩＰパケットを受信する。このため、ＩＰネットワーク２０６が厳密にＣＢＲ制御を求める場合であっても、送信ビットレートを任意の通信帯域内に保つことができ、データの欠落や、伝送遅延のない、正常な通信を行うことが可能となる。 The conversion device 203 having the video codec device 100 built therein is connected to the IP network 206. The IP packet transmitted from the IP camera device 200 is re-encoded via the conversion device 203 so as to be within the CBR control range according to the amount of video encoded data. The receiving terminal 208 receives the re-encoded IP packet. For this reason, even when the IP network 206 strictly requires CBR control, the transmission bit rate can be kept within an arbitrary communication band, and normal communication without data loss or transmission delay can be performed. Becomes possible.

カメラ２０１は、通常は使用しない、別アングルでの映像を確認するために設置されているものとする。カメラ２０１での映像を監視センタ２０７に伝送する場合、変換装置２０３は、一旦ＩＰカメラ装置２００からのＩＰパケットの変換処理を停止する。そして、カメラ２０１の映像信号が変換装置２０３に入力される。ビデオコーデック装置１００は、従来のエンコード装置のように動作し、符号化処理されたＩＰパケットがＩＰネットワーク２０６を経由して監視センタ２０７の受信端末２０８に送出される。 It is assumed that the camera 201 is installed to check an image at another angle that is not normally used. When transmitting the video from the camera 201 to the monitoring center 207, the conversion device 203 temporarily stops the conversion process of the IP packet from the IP camera device 200. Then, the video signal of the camera 201 is input to the conversion device 203. The video codec device 100 operates like a conventional encoding device, and an encoded IP packet is transmitted to the receiving terminal 208 of the monitoring center 207 via the IP network 206.

モニタ２０２は、交差点においてＩＰカメラ装置２００からの映像を確認するために設けられている。変換装置２０３は、ＩＰカメラ装置２００からの映像信号を復号するデコーダ装置として動作する。一旦、ＩＰカメラ装置２００からの再エンコード処理や、カメラ２０１の映像符号処理を停止した上で、ＩＰカメラ装置２００からの映像信号を変換装置２０３で復号し、モニタ２０２に表示させることができる。なお、ＩＰカメラ装置２００の映像信号を受信する受信端末を制御ボックス２０５に収めることも可能である。 The monitor 202 is provided to check an image from the IP camera device 200 at the intersection. The conversion device 203 operates as a decoder device that decodes a video signal from the IP camera device 200. Once the re-encoding process from the IP camera device 200 and the video encoding process of the camera 201 are stopped, the video signal from the IP camera device 200 can be decoded by the conversion device 203 and displayed on the monitor 202. Note that the receiving terminal that receives the video signal of the IP camera device 200 can be stored in the control box 205.

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。 It should be noted that the present invention is not limited to the above-described embodiment, and can be appropriately changed without departing from the gist.

１ＲＴＰ受信処理器
２判断器
３映像復号処理器
４映像符号処理器
５ＲＴＰ送信処理器
６ＲＴＳＰ処理器
７ＩＰカメラ装置
８ＩＰネットワーク
９受信端末
１０ビデオ符号化データ変換装置
１０Ａビデオ符号化データ変換装置
Ｒ１第１経路
Ｒ２第２経路
Ｐ１制御パラメータ
Ｐ２解像度パラメータ
１００ビデオコーデック装置
１０１Ａ／Ｄ器
１０２Ｄ／Ａ器
１０３映像信号切替器
１０４スケーラ処理器
２００ＩＰカメラ装置
２０１カメラ
２０２モニタ
２０３変換装置
２０４制御器
２０５制御ボックス
２０６ＩＰネットワーク
２０７監視センタ
２０８受信端末
１１カメラ
１２エンコーダ装置
１３ＩＰネットワーク
１４デコーダ装置
１５ディスプレイモニタ
１６操作端末
１７操作端末
２１撮像素子
２２エンコーダ処理回路
２３ＩＰネットワーク
２４ＲＴＳＰ処理回路
２５受信端末
３０監視エリア
３１ＩＰカメラ装置
３２カメラ
３３ビデオコーデック装置
３４ＩＰネットワーク
３５ＷＡＮ
３６監視センタ
Ｖ１０映像信号
Ｖ１１映像信号
Ｖ２０映像信号 DESCRIPTION OF SYMBOLS 1 RTP reception processor 2 Judgment device 3 Video decoding processor 4 Video encoding processor 5 RTP transmission processor 6 RTSP processor 7 IP camera device 8 IP network 9 Receiving terminal 10 Video encoded data conversion device 10A Video encoded data conversion Device R1 First route R2 Second route P1 Control parameter P2 Resolution parameter 100 Video codec device 101 A / D device 102 D / A device 103 Video signal switch 104 Scalar processor 200 IP camera device 201 Camera 202 Monitor 203 Converter 204 Controller 205 Control box 206 IP network 207 Monitoring center 208 Receiving terminal 11 Camera 12 Encoder device 13 IP network 14 Decoder device 15 Display monitor 16 Operation terminal 17 Operation terminal 21 Image sensor 2 encoder processing circuit 23 IP network 24 RTSP processing circuit 25 receiving terminal 30 monitors area 31 IP camera 32 camera 33 video codec unit 34 IP network 35 WAN
36 monitoring center V10 video signal V11 video signal V20 video signal

Claims

A reception processor that receives an IP packet input via an IP network and converts the packet into video encoded data;
A determiner that monitors a data amount per frame of the video encoded data and determines whether the data amount is larger than a data allocation amount per frame ;
A video encoding processor that generates re-encoded data that is re-encoded so that the video encoded data larger than the data allocation amount is equal to or less than the data allocation amount , based on the determination result of the determiner;
A transmission processor that converts the re-encoded data into an IP packet and transmits the IP packet to a receiving terminal via the IP network;
Comprising,
Video encoded data converter.

The determiner transmits a control parameter for re-encoding the video coded data to the video code processor based on the determination result,
The video encoding processor re-encodes the video encoded data using the control parameter,
The video encoded data converter according to claim 1.

The video encoding processor generates the re-encoded data in which the video encoded data is replaced with data obtained by re-encoding the video encoded data in a time zone greater than the data allocation amount .
The video coded data conversion device according to claim 1.

An A / D converter for converting an input video signal into an input video digital signal;
A D / A device for converting an output video digital signal into an output video signal;
The video encoded data, through a decoding process, a video digital signal that is re-encoded in the video encoding processor, or a video decoding processor that converts the output video digital signal,
Whether the input video digital signal output from the A / D unit is input to the video encoding processor, the output video digital signal from the video decoding processor is input to the D / A unit, A video digital signal from a processor is input to the video encoding processor, or a switch to switch,
Further comprising,
The video encoded data converter according to claim 1.

Further comprising a scalar processor that converts the resolution of the video encoded data based on the determination result of the determiner,
The video encoded data conversion device according to claim 1.

The determiner transmits a resolution parameter for converting the resolution of the video encoded data to the scaler processor based on the determination result,
The scaler processor converts the resolution of the video encoded data using the resolution parameter,
A video encoded data converter according to claim 5.

Receiving an IP packet input via an IP network and converting it into video encoded data;
Monitoring the data amount of the video encoded data per frame , determining whether the data amount is larger than the data allocation amount per frame, and outputting a determination result;
Based on the determination result, re-encoded data is generated by re-encoding the video encoded data larger than the data allocation amount to be equal to or less than the data allocation amount ,
Converting the re-encoded data into an IP packet and transmitting it to a receiving terminal via the IP network;
Video encoded data conversion method.

A process of receiving an IP packet input via an IP network and converting it into video encoded data;
Monitoring a data amount of the video coded data per frame , determining whether the data amount is larger than a data allocation amount per frame, and outputting a determination result;
Based on the determination result, a process of generating re-encoded data that is re-encoded so that the video encoded data larger than the data allocation amount is equal to or less than the data allocation amount ,
Converting the re-encoded data into an IP packet and transmitting the IP packet to a receiving terminal via the IP network;
Encoded data conversion program for causing a computer to execute the program.