JP5697494B2 - Video transmission device, video transmission method, video reception device, and video reception method - Google Patents

Video transmission device, video transmission method, video reception device, and video reception method Download PDF

Info

Publication number
JP5697494B2
JP5697494B2 JP2011050975A JP2011050975A JP5697494B2 JP 5697494 B2 JP5697494 B2 JP 5697494B2 JP 2011050975 A JP2011050975 A JP 2011050975A JP 2011050975 A JP2011050975 A JP 2011050975A JP 5697494 B2 JP5697494 B2 JP 5697494B2
Authority
JP
Japan
Prior art keywords
video
reference signal
network
delay time
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011050975A
Other languages
Japanese (ja)
Other versions
JP2012191285A (en
Inventor
溝添 博樹
博樹 溝添
佐々本 学
学 佐々本
小味 弘典
弘典 小味
岡田 光弘
岡田  光弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Maxell Energy Ltd
Original Assignee
Hitachi Maxell Energy Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Maxell Energy Ltd filed Critical Hitachi Maxell Energy Ltd
Priority to JP2011050975A priority Critical patent/JP5697494B2/en
Priority to JP2013503342A priority patent/JP5697743B2/en
Priority to PCT/JP2012/000331 priority patent/WO2012120763A1/en
Priority to CN201280003633.7A priority patent/CN103210656B/en
Priority to US13/884,808 priority patent/US20130287122A1/en
Publication of JP2012191285A publication Critical patent/JP2012191285A/en
Application granted granted Critical
Publication of JP5697494B2 publication Critical patent/JP5697494B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

映像を伝送する装置に関する。 The present invention relates to an apparatus for transmitting video.

上記技術分野に関し、例えば特許文献1には、ネットワークを介して映像を伝送する際に、表示時間を調節する機能持った伝送装置が開示されている。 Regarding the above technical field, for example, Patent Document 1 discloses a transmission apparatus having a function of adjusting a display time when transmitting an image via a network.

特開平9−51515号公報JP-A-9-51515

しかし、特許文献1に記載の技術は、複数の映像送信装置から受信した映像を同時に表示するために映像受信側の処理が複雑となる課題があった。 However, the technique described in Patent Document 1 has a problem that the processing on the video receiving side is complicated because the video received from a plurality of video transmitting apparatuses is displayed simultaneously.

そこで本明細書では例えば、映像受信装置の制御に応じて、映像送信装置がその出力遅延時間を制御する構成とする。 Therefore, in this specification, for example, the video transmission device controls the output delay time in accordance with the control of the video reception device.

本発明によれば、出力遅延時間を考慮した映像伝送システムを提供できる。 ADVANTAGE OF THE INVENTION According to this invention, the video transmission system which considered output delay time can be provided.

映像送信装置、映像受信装置を含む映像伝送システムの一例を示す図である。It is a figure which shows an example of the video transmission system containing a video transmitter and a video receiver. 映像送信装置の内部ブロック構成の一例を示す図である。It is a figure which shows an example of an internal block structure of a video transmission apparatus. 映像送信装置のディジタル圧縮処理の一例を示す図である。It is a figure which shows an example of the digital compression process of a video transmitter. 映像送信装置のディジタル圧縮映像信号の一例を示す図である。It is a figure which shows an example of the digital compression video signal of a video transmitter. 映像送信装置のディジタル圧縮映像信号のパケットの一例を示す図である。It is a figure which shows an example of the packet of the digital compression video signal of a video transmitter. 映像送信装置のLANパケットの一例を示す図である。It is a figure which shows an example of the LAN packet of a video transmission apparatus. 映像受信装置の内部ブロック構成の一例を示す図である。It is a figure which shows an example of an internal block structure of a video receiver. 映像受信装置の内部ブロック構成の他の一例を示す図である。It is a figure which shows another example of the internal block structure of a video receiver. 映像受信装置の遅延時間確認処理のフローチャートの一例を示す図である。It is a figure which shows an example of the flowchart of the delay time confirmation process of a video receiver. 映像送信装置の遅延時間回答処理のフローチャートの一例を示す図である。It is a figure which shows an example of the flowchart of the delay time reply process of a video transmitter. 映像受信装置の遅延時間設定処理のフローチャートの一例を示す図である。It is a figure which shows an example of the flowchart of the delay time setting process of a video receiver. 映像送信装置の遅延時間設定処理のフローチャートの一例を示す図である。It is a figure which shows an example of the flowchart of the delay time setting process of a video transmission device. 映像送信装置の送信処理タイミングと映像受信装置の受信処理タイミングの一例を示す図である。It is a figure which shows an example of the transmission process timing of a video transmitter, and the reception process timing of a video receiver. 映像受信装置の送信処理タイミングと映像受信装置の受信処理タイミングの他の一例を示す図である。It is a figure which shows another example of the transmission process timing of a video receiver, and the reception process timing of a video receiver. 映像受信装置の送信処理タイミングと映像受信装置の受信処理タイミングの他の一例を示す図である。It is a figure which shows another example of the transmission process timing of a video receiver, and the reception process timing of a video receiver.

図1は、映像伝送装置であるカメラを含む映像伝送システムの形態の一例である。図1において、1はカメラであり、2から3は別のカメラである。4はLAN(LocalAreaNetwork)、5はコントローラであり、カメラ1から3は、LAN4を介してコントローラ5と接続されている。6はディスプレイである。ネットワークにおいては、使用するプロトコルとして、例えばデータリンクプロトコルであるIEEE802.3規格で規定されている方式を用いてもよいし、さらにネットワークプロトコルのIP(Internet Protocol)を使用し、その上位のトランスポートプロトコルにはTCP(Transmission Control Protocol)およびUDP(User Datagram Protocol)を用いてもよい。映像や音声の伝送には更に上位のアプリケーションプロトコル、例えばRTP(Real−time Transport Protocol)やHTTP(Hyper Text Transfer Protocol)等が使用される。その他、IEEE802.3規格で規定されているプロトコル方式を用いてもよい。コントローラ5は、各カメラから配信される映像や音声データを受信し、ディスプレイ6、スピーカ7に映像、音声をそれぞれ出力する。LAN4の構成としては、例えば、各カメラとコントローラ5が各々1対1で直接接続される形態や、図示しないスイッチングハブ装置を介して接続され、カメラは2台以下や4台以上の接続も可能である。   FIG. 1 is an example of a video transmission system including a camera which is a video transmission apparatus. In FIG. 1, 1 is a camera and 2 to 3 are other cameras. Reference numeral 4 denotes a LAN (Local Area Network), 5 denotes a controller, and the cameras 1 to 3 are connected to the controller 5 via the LAN 4. Reference numeral 6 denotes a display. In the network, as a protocol to be used, for example, a method stipulated in the IEEE 802.3 standard that is a data link protocol may be used, or a network protocol IP (Internet Protocol) is used, and a higher level transport is used. As the protocol, TCP (Transmission Control Protocol) and UDP (User Datagram Protocol) may be used. A higher-order application protocol such as RTP (Real-time Transport Protocol) or HTTP (Hyper Text Transfer Protocol) is used for transmission of video and audio. In addition, a protocol method defined in the IEEE 802.3 standard may be used. The controller 5 receives video and audio data distributed from each camera, and outputs video and audio to the display 6 and the speaker 7, respectively. As the configuration of the LAN 4, for example, each camera and the controller 5 are directly connected in a one-to-one relationship, or are connected via a switching hub device (not shown), and two or less cameras or four or more cameras can be connected. It is.

図2は、映像伝送装置であるカメラ1の内部ブロック構成の一例を示す図である。100はレンズ、101は撮像素子、102は映像圧縮回路、103は映像バッファ、104はシステムエンコーダ、105はパケットバッファ、106は基準信号発生回路、107はLANインタフェース回路、108は制御回路、109はメモリである。   FIG. 2 is a diagram illustrating an example of an internal block configuration of the camera 1 that is a video transmission apparatus. Reference numeral 100 denotes a lens, 101 an image sensor, 102 a video compression circuit, 103 a video buffer, 104 a system encoder, 105 a packet buffer, 106 a reference signal generation circuit, 107 a LAN interface circuit, 108 a control circuit, 109 It is memory.

レンズ100を介して撮像素子101で得られた映像信号は、映像圧縮回路102に入力され、色調やコントラストの補正が行われて、映像バッファ103に格納される。次に、映像圧縮回路102は、映像バッファ103に格納された映像データを読み出して、例えば、映像圧縮符号化方式としてISO/IEC13818−2(通称MPEG2Video)MP@ML(Main Profile@Main Level)規格に準拠した圧縮符号化データを生成する。その他、映像圧縮符号化方式としては、H.264/AVC規格方式やJPEG規格方式でもよい。また、異なる映像圧縮符号化方式のカメラが混在してもよいし、一つのカメラが映像圧縮符号化方式を選択して切り換えてもよい。生成した圧縮符号化映像データは、システムエンコーダ104に入力される。基準信号発生回路106は、例えば映像信号フレームの区切りを示すフレームパルスを撮像素子101や映像圧縮回路102の処理タイミングの基準となる基準信号として、撮像素子101、映像圧縮回路102に供給する。この基準信号に従って、撮像素子による映像の撮影、撮影した映像の圧縮、および圧縮した映像の送信(後述)が行われる。この基準信号は、各カメラの間で同期した信号であり、同期の方法としては、例えば一台のカメラの同期信号を他のカメラに入力する方法などがある。   A video signal obtained by the imaging device 101 via the lens 100 is input to the video compression circuit 102, color tone and contrast are corrected, and stored in the video buffer 103. Next, the video compression circuit 102 reads out the video data stored in the video buffer 103 and, for example, ISO / IEC13818-2 (commonly referred to as MPEG2 Video) MP @ ML (Main Profile @ Main Level) standard as a video compression encoding system. Compressed encoded data that conforms to the above is generated. Other video compression encoding methods include H.264. The H.264 / AVC standard method or the JPEG standard method may be used. Also, cameras of different video compression encoding methods may be mixed, or one camera may select and switch the video compression encoding method. The generated compressed encoded video data is input to the system encoder 104. The reference signal generation circuit 106 supplies, for example, a frame pulse indicating a break of the video signal frame to the image sensor 101 and the video compression circuit 102 as a reference signal serving as a reference for processing timing of the image sensor 101 and the video compression circuit 102. In accordance with this reference signal, the image pickup by the image sensor, the compression of the shot image, and the transmission of the compressed image (described later) are performed. This reference signal is a signal synchronized between the cameras. As a synchronization method, for example, there is a method of inputting a synchronization signal of one camera to another camera.

次に、システムエンコーダ104に入力された、圧縮符号化映像データは、以下示すように、パケット化される。   Next, the compression encoded video data input to the system encoder 104 is packetized as shown below.

図3は、ディジタル圧縮処理の例であり、ディジタル圧縮映像信号のフレーム単位で圧縮されたイントラフレームデータと、前後のフレームのデータよりの予測を用いて差分情報のみの圧縮を行ったインターフレームデータの関係である。201はイントラフレーム、202はインターフレームである。ディジタル圧縮映像信号は、所定数のフレーム、例えば15フレームを一つのシーケンスとし、その先頭はイントラフレームとし、残りのフレームはイントラフレームからの予測を用いて圧縮したインターフレームとしている。もちろん、先頭以外にもイントラフレームを配置するようにしてもよい。また、先頭のフレームのみをイントラフレームとし、後続のフレームは全てインターフレームとしてもよいし、全てのフレームをイントラフレームとしてもよい。   FIG. 3 shows an example of digital compression processing. Intra-frame data compressed in units of frames of a digital compressed video signal and inter-frame data in which only difference information is compressed using predictions from previous and subsequent frame data. It is a relationship. 201 is an intra frame and 202 is an inter frame. The digital compressed video signal has a predetermined number of frames, for example, 15 frames as one sequence, the head of which is an intra frame, and the remaining frames are inter frames compressed using prediction from the intra frame. Of course, an intra frame other than the head may be arranged. Also, only the first frame may be an intra frame, and all subsequent frames may be inter frames, or all the frames may be intra frames.

図4は、ディジタル圧縮映像信号の構成である。302はフレーム単位で付加されるピクチャヘッダ、301はシーケンス単位で付加されるシーケンスヘッダである。シーケンスヘッダ301は、同期信号及び伝送レート等の情報により構成される。ピクチャヘッダ302は、同期信号及びイントラフレームかインターフレームかの識別情報等により構成される。通常、各データの長さは情報量により変化する。このディジタル映像圧縮信号は、後述のトランスポートパケットに分割されてパケット列となる。   FIG. 4 shows the configuration of the digital compressed video signal. 302 is a picture header added in units of frames, and 301 is a sequence header added in units of sequences. The sequence header 301 includes information such as a synchronization signal and a transmission rate. The picture header 302 includes a synchronization signal and identification information such as an intra frame or an inter frame. Usually, the length of each data changes with the amount of information. This digital video compression signal is divided into transport packets to be described later to form a packet sequence.

図5はディジタル映像圧縮信号のトランスポートパケットの構成例である。40はそのトランスポートパケットであり、1パケットは固定長、例えば、188バイトで構成され、パケットヘッダ401と、パケット情報402により構成されている。図4で説明したディジタル圧縮映像信号は、パケット情報402の領域に分割され配置され、また、パケットヘッダ401はパケット情報の種類等の情報により構成される。   FIG. 5 is a configuration example of a transport packet of a digital video compression signal. Reference numeral 40 denotes the transport packet, and one packet is composed of a fixed length, for example, 188 bytes, and is composed of a packet header 401 and packet information 402. The digital compressed video signal described with reference to FIG. 4 is divided and arranged in an area of packet information 402, and the packet header 401 is configured by information such as the type of packet information.

システムエンコーダ104によりパケット化されたディジタル映像圧縮信号は、パケットバッファ105に一旦格納され、パケットバッファ105から読み出されたパケット列は、LANインタフェース回路107に入力される。   The digital video compressed signal packetized by the system encoder 104 is temporarily stored in the packet buffer 105, and the packet sequence read from the packet buffer 105 is input to the LAN interface circuit 107.

図2のLANインタフェース回路107では、入力されたパケット列を、例えばIEEE802.3規格に準拠したLANパケットにパケット化して出力する。   The LAN interface circuit 107 in FIG. 2 packetizes the input packet sequence into, for example, a LAN packet that conforms to the IEEE 802.3 standard and outputs the packet.

図6は、システムエンコーダ104によって生成されたパケット列のLANパケット化の例を示す図である。LANパケット60は、例えば1パケットが最大1518バイトの可変長で、LANパケットヘッダ601とLANパケット情報602で構成される。システムエンコーダ106によって生成されたトランスポートパケット40は、前述のネットワークプロトコルに従って、LANパケット情報602の領域にデータ誤り検出符号などと共に格納され、各カメラを識別するためのLAN4上におけるアドレス情報などが格納されるLANパケットヘッダ601が付加されてLANパケット60としてLANに出力される。   FIG. 6 is a diagram illustrating an example of LAN packetization of a packet sequence generated by the system encoder 104. The LAN packet 60 has, for example, one packet having a variable length of a maximum of 1518 bytes, and includes a LAN packet header 601 and LAN packet information 602. The transport packet 40 generated by the system encoder 106 is stored in the area of the LAN packet information 602 together with a data error detection code in accordance with the network protocol described above, and address information on the LAN 4 for identifying each camera is stored. A LAN packet header 601 is added and output as a LAN packet 60 to the LAN.

また、LANインタフェース回路107では、LAN4に接続されている機器との制御のための情報のやり取りが行われる。これは、制御回路108からの指示などの情報をLANパケット情報602に格納し、LAN4上に送信、あるいはLAN4から受信したLANパケット60のLANパケット情報602から情報を取り出し制御回路108に伝達することで行われる。   The LAN interface circuit 107 exchanges information for control with devices connected to the LAN 4. This is because information such as an instruction from the control circuit 108 is stored in the LAN packet information 602, information is transmitted from the LAN packet 60 of the LAN packet 60 transmitted or received from the LAN 4, and transmitted to the control circuit 108. Done in

図7は、コントローラ5の内部ブロック構成の一例を示す図である。5011〜5013はLANインタフェース回路、5021〜5023はシステムデコーダ、5031から5033は映像伸張回路、504は画像処理回路、505はOSD(On−Screen Display)回路、506は基準信号発生回路、507は制御回路、508はメモリである。   FIG. 7 is a diagram illustrating an example of an internal block configuration of the controller 5. 5011 to 5013 are LAN interface circuits, 5021 to 5023 are system decoders, 5031 to 5033 are video decompression circuits, 504 is an image processing circuit, 505 is an OSD (On-Screen Display) circuit, 506 is a reference signal generation circuit, and 507 is a control. A circuit 508 is a memory.

図7の説明においては、システムデコーダ5021〜5023、映像伸張回路5031〜5033、画像処理回路504はハードウェアとして説明される。しかしこれらは、制御回路507が各々に対応する機能を持つプログラムをメモリ508に展開して実行することにより、各機能をソフトウェアでも実現可能である。以下では説明の簡略化のため、各機能に対応するプログラムを制御回路507が実行する場合も含め、システムデコーダ5021〜5023、映像伸張回路5031〜5033、画像処理回路504が動作主体として各処理を実行するように説明する。   In the description of FIG. 7, the system decoders 5021 to 5023, the video expansion circuits 5031 to 5033, and the image processing circuit 504 are described as hardware. However, these functions can also be realized by software by causing the control circuit 507 to develop and execute a program having functions corresponding to each in the memory 508. In the following, for simplification of description, the system decoders 5021 to 5023, the video expansion circuits 5031 to 5033, and the image processing circuit 504 perform each process including the case where the control circuit 507 executes a program corresponding to each function. Explain to be executed.

カメラ1〜3で生成されたLANパケット60は、それぞれLANインタフェース回路5011〜5013へ入力される。カメラ1から入力されたLANパケット60は、LANインタフェース回路5011において、LANパケットヘッダ601が取り除かれ、前述のネットワークプロトコルに従い、LANパケットデータ602からトランスポートパケット40が取り出される。トランスポートパケット40は、システムデコーダ5021に入力され、トランスポートパケット40から前述のパケット情報402が取り出され、結合されて、図4で示したディジタル圧縮映像信号となる。このディジタル圧縮映像信号は、映像伸張回路5031において、伸張処理が行われ、ディジタル映像信号として画像処理回路504に入力される。カメラ2、3から入力されるLANパケット60についても同様の処理が行われ、映像伸張回路5032、5033からディジタル映像信号が画像処理回路に入力される。画像処理回路504では、各カメラからの映像信号の歪補正、座標の置き換えによる視点変換、合成処理等を施し、OSD回路505に出力、あるいは、各カメラからの映像信号による物体形状の認識、距離の計測などの画像処理を行う。OSD回路505では、画像処理回路504からの映像信号に文字や図形を重畳し、ディスプレイ6に出力する。   LAN packets 60 generated by the cameras 1 to 3 are input to the LAN interface circuits 5011 to 5013, respectively. In the LAN packet 60 input from the camera 1, the LAN packet header 601 is removed by the LAN interface circuit 5011, and the transport packet 40 is extracted from the LAN packet data 602 according to the network protocol described above. The transport packet 40 is input to the system decoder 5021, and the packet information 402 described above is extracted from the transport packet 40 and combined into the digital compressed video signal shown in FIG. This digital compressed video signal is subjected to expansion processing in a video expansion circuit 5031 and is input to the image processing circuit 504 as a digital video signal. The same processing is performed for the LAN packet 60 input from the cameras 2 and 3, and digital video signals are input from the video expansion circuits 5032 and 5033 to the image processing circuit. The image processing circuit 504 performs distortion correction of the video signal from each camera, viewpoint conversion by coordinate replacement, synthesis processing, etc., and outputs to the OSD circuit 505 or recognition of the object shape by the video signal from each camera, distance Image processing such as measurement is performed. The OSD circuit 505 superimposes characters and figures on the video signal from the image processing circuit 504 and outputs it to the display 6.

基準信号発生回路506は、例えば映像信号フレームの区切りを示すフレームパルスを画像処理回路504やOSD回路505の処理タイミングの基準となる基準信号として、画像処理回路504、OSD回路505に供給する。この基準信号は、例えば1フレーム分の映像伸張処理が完了した時点を基準とし発生され、基準信号の調節は、制御回路507が基準信号発生回路506を制御することで行われる。   The reference signal generation circuit 506 supplies, for example, a frame pulse indicating a video signal frame break to the image processing circuit 504 and the OSD circuit 505 as a reference signal serving as a reference for processing timing of the image processing circuit 504 and the OSD circuit 505. The reference signal is generated with reference to, for example, the time when the video expansion process for one frame is completed, and the reference signal is adjusted by the control circuit 507 controlling the reference signal generation circuit 506.

また、LANインタフェース回路5011から5013では、各カメラとの制御のための情報のやり取りを行うため、制御回路507からの指示などの情報を、LANパケット情報602に格納し、各カメラに送信、あるいは各カメラから受信したLANパケット60のLANパケット情報602から情報を取り出し制御回路507に伝達する。   Further, in the LAN interface circuits 5011 to 5013, in order to exchange information for control with each camera, information such as an instruction from the control circuit 507 is stored in the LAN packet information 602 and transmitted to each camera. Information is extracted from the LAN packet information 602 of the LAN packet 60 received from each camera and transmitted to the control circuit 507.

図8は、コントローラ5の内部ブロック構成の他の一例を示す図である。501はLANインタフェース回路であり、図示しないスイッチングハブ装置を介してカメラ1から3に接続される。LANインタフェース回路501では、前述のLANパケットヘッダ601に格納されているアドレス情報から、各カメラからのLANパケットを区別し、前述のネットワークプロトコルに従い、LANパケット60のLANパケット情報602から取り出したトランスポートパケット40をシステムデコーダ5021〜5023に振り分けて出力する。システムデコーダ5021〜5023以降の処理は、図7の説明と同様である。   FIG. 8 is a diagram illustrating another example of the internal block configuration of the controller 5. A LAN interface circuit 501 is connected to the cameras 1 to 3 via a switching hub device (not shown). The LAN interface circuit 501 discriminates the LAN packet from each camera from the address information stored in the LAN packet header 601 described above, and the transport extracted from the LAN packet information 602 of the LAN packet 60 according to the network protocol described above. The packet 40 is distributed to the system decoders 5021 to 5023 and output. The processing after the system decoders 5021 to 5023 is the same as the description of FIG.

また、LANインタフェース回路501では、各カメラとの制御のための情報のやり取りを行うため、制御回路507からの指示などの情報を、LANパケット情報602に格納し、各カメラに送信、あるいは各カメラから受信したLANパケット60のLANパケット情報602から情報を取り出し制御回路507に伝達する。   Further, in the LAN interface circuit 501, in order to exchange information for control with each camera, information such as an instruction from the control circuit 507 is stored in the LAN packet information 602 and transmitted to each camera, or each camera The information is extracted from the LAN packet information 602 of the LAN packet 60 received from, and transmitted to the control circuit 507.

図9は、本実施例における、コントローラによる遅延時間取得処理のフローチャートである。コントローラ5は、まずLAN4に接続されているカメラを確認する(ステップS101)。これは例えばLAN4に接続されている装置全てにパケットを送信できるブロードキャストパケットにより実現できる。また、各カメラに対し個別に確認のパケットを送信してもよい。次にLAN4に接続されている各カメラに対し、それぞれのカメラの処理遅延時間を問い合わせ(ステップS102)、各カメラからの処理遅延時間の回答を受信する(ステップS103)。これにより、コントローラ5は、LAN4に接続されているカメラの処理遅延時間を取得することができる。これらの処理は、例えばコントローラ5の電源立ち上げ時に行われる。   FIG. 9 is a flowchart of the delay time acquisition process by the controller in this embodiment. The controller 5 first confirms the camera connected to the LAN 4 (step S101). This can be realized by, for example, a broadcast packet that can transmit a packet to all devices connected to the LAN 4. Further, a confirmation packet may be transmitted to each camera individually. Next, each camera connected to the LAN 4 is inquired about the processing delay time of each camera (step S102), and the response of the processing delay time from each camera is received (step S103). Thereby, the controller 5 can acquire the processing delay time of the camera connected to the LAN 4. These processes are performed, for example, when the controller 5 is turned on.

図10は、本実施例における、カメラにおける遅延時間回答処理のフローチャートである。前述のように、コントローラ5から、遅延時間問い合わせ要求を受信した場合(ステップS301)、そのカメラで設定可能な遅延時間、例えば最短遅延時間から設定可能な最長遅延時間までの範囲をコントローラ5に対し回答として送信する(ステップS302)。これにより、LAN4に接続されているカメラは、そのカメラの処理遅延時間をコントローラに伝達することが可能になる。カメラは、コントローラ5からの要求より前に、又はコントロール5からの要求に応じ、取得する映像の圧縮方法、映像のビットレートに基づいて最短遅延時間を算出し、算出した最短遅延時間をメモリ109に格納し、必要に応じメモリ109から最短遅延時間を読み出して上記のとおりコントローラ5に対し通知する。コントローラ5からの要求に応じてカメラが最短遅延時間を算出する場合、その要求時点における、カメラでの映像の圧縮方法やビットレートに応じた最短遅延時間を算出できるという効果がある。特にコントローラ5がカメラに圧縮方法やビットレートの変更を指示可能な場合には効果的である。   FIG. 10 is a flowchart of the delay time answer process in the camera according to this embodiment. As described above, when a delay time inquiry request is received from the controller 5 (step S301), a delay time that can be set by the camera, for example, a range from the shortest delay time to the longest delay time that can be set is given to the controller 5. It transmits as a reply (step S302). As a result, the camera connected to the LAN 4 can transmit the processing delay time of the camera to the controller. The camera calculates the shortest delay time based on the compression method of the video to be acquired and the bit rate of the video before the request from the controller 5 or in response to the request from the control 5. And the shortest delay time is read from the memory 109 as necessary and notified to the controller 5 as described above. When the camera calculates the shortest delay time in response to a request from the controller 5, there is an effect that the shortest delay time can be calculated according to the video compression method and bit rate at the time of the request. This is particularly effective when the controller 5 can instruct the camera to change the compression method or bit rate.

図11は、コントローラによる遅延時間設定処理のフローチャートである。まず設定する処理遅延時間を決定する(ステップS201)。ここでは、図9の遅延時間取得処理により得られた各カメラの最短遅延時間の中で一番長い時間を、各カメラに設定する処理遅延時間とする。ただし、各カメラの最長遅延時間の中で一番短い時間よりも短い処理遅延時間がカメラに設定されることを要件とする。   FIG. 11 is a flowchart of the delay time setting process by the controller. First, the processing delay time to be set is determined (step S201). Here, the longest time among the shortest delay times of each camera obtained by the delay time acquisition process of FIG. 9 is set as the processing delay time set for each camera. However, it is a requirement that the processing delay time shorter than the shortest time among the longest delay times of each camera is set in the camera.

この要件が満たされない場合は、コントローラ5は、満たされない最短遅延時間を送信したカメラに対し、最短遅延時間の短縮要求を送信し、また、満たされない最長遅延時間を送信したカメラに対し、最長遅延時間の延長要求を送信する。最短遅延時間の短縮要求を受け取ったカメラは、例えば、圧縮処理方法を変更することにより、最短処理時間の短縮を試みることが可能である。コントローラ5は、前記短縮要求に対して各カメラから受け取った最短遅延時間、最長遅延時間が上記要件を満たすか判断する。要件がなおも満たされない場合、コントローラ5は、エラーを出力する。要件が満たされた場合、コントローラ5は、上記短縮要求により短縮された最短遅延時間を、各カメラに設定する処理遅延時間とする。   If this requirement is not satisfied, the controller 5 transmits a request for shortening the shortest delay time to the camera that has transmitted the shortest delay time that is not satisfied, and the longest delay to the camera that has transmitted the longest delay time that is not satisfied. Send time extension request. A camera that has received a request for shortening the shortest delay time can attempt to shorten the shortest processing time by, for example, changing the compression processing method. The controller 5 determines whether the shortest delay time and the longest delay time received from each camera in response to the shortening request satisfy the above requirements. If the requirement is still not met, the controller 5 outputs an error. When the requirement is satisfied, the controller 5 sets the shortest delay time shortened by the shortening request as a processing delay time set for each camera.

次に、コントローラ5は、各カメラに対し、決定した処理遅延時間の設定を要求し(ステップS202)、各カメラからの設定結果の回答を受信する(ステップS203)。これにより、コントローラ5はLAN4に接続されているカメラに対し処理遅延時間の設定が可能となる。   Next, the controller 5 requests each camera to set the determined processing delay time (step S202), and receives an answer of the setting result from each camera (step S203). Thereby, the controller 5 can set the processing delay time for the camera connected to the LAN 4.

図12は、本実施例における、カメラにおける遅延時間設定処理のフローチャートである。前述のように、コントローラ5から、遅延時間の設定要求を受信した場合(ステップS401)、カメラは遅延時間を設定し(ステップS402)、その結果をコントローラに対し回答として送信する(ステップS403)。これにより、LAN4に接続されているカメラは、コントローラからの要求に応じて、処理遅延時間を設定することが可能になる。   FIG. 12 is a flowchart of the delay time setting process in the camera according to the present embodiment. As described above, when a delay time setting request is received from the controller 5 (step S401), the camera sets a delay time (step S402), and transmits the result as a reply to the controller (step S403). As a result, the camera connected to the LAN 4 can set the processing delay time in response to a request from the controller.

図13は、本実施例における各カメラの送信処理タイミングとコントローラ5の受信処理タイミングの一例を示す図である。同図中、(1−1)〜(1−4)はカメラ1の処理タイミング、(2−1)〜(2−5)はカメラ2の処理タイミング、(3−1)〜(3−8)はコントローラ5の処理タイミングを示す。   FIG. 13 is a diagram illustrating an example of the transmission processing timing of each camera and the reception processing timing of the controller 5 in the present embodiment. In the figure, (1-1) to (1-4) are processing timings of the camera 1, (2-1) to (2-5) are processing timings of the camera 2, and (3-1) to (3-8). ) Shows the processing timing of the controller 5.

(1−1)は基準信号1であり、(1−2)は撮像素子101による撮像処理を行っている撮像タイミング1、(1−3)は映像圧縮回路102による映像圧縮処理を行っている映像圧縮タイミング1、(1−4)はLANインタフェース回路107による送信処理を行っている送信タイミング1である。ここでは、基準信号毎に1フレーム分の映像信号の処理を行っている。カメラ1は、基準信号1を処理の基準として、例えば基準信号1のパルスのタイミングで撮像処理を開始し、その後、映像圧縮処理、送信処理を順に行っていく。カメラ1では、基準信号1から送信タイミング1の送信処理開始までの時間d1が処理遅延時間となる。   (1-1) is the reference signal 1, (1-2) is the imaging timing 1 when the imaging process is performed by the imaging device 101, and (1-3) is the video compression process by the video compression circuit 102. Video compression timing 1 and (1-4) are transmission timing 1 at which transmission processing by the LAN interface circuit 107 is performed. Here, a video signal for one frame is processed for each reference signal. The camera 1 uses the reference signal 1 as a processing reference, starts imaging processing, for example, at the timing of the pulse of the reference signal 1, and then sequentially performs video compression processing and transmission processing. In the camera 1, a time d1 from the reference signal 1 to the start of transmission processing at the transmission timing 1 is a processing delay time.

また、(2−1)はカメラ2の基準信号2であり、(2−2)はカメラ2の撮像素子101による撮像処理を行っている撮像タイミング2、(2−3)は映像圧縮回路102による映像圧縮処理を行っている映像圧縮タイミング2、(2−4)はカメラ2に処理遅延時間の設定が行われない場合のLANインタフェース回路107による送信処理を行っている送信タイミング2である。カメラ2は、基準信号2を処理の基準として、基準信号2のタイミングで撮像処理を開始し、その後、映像圧縮処理、送信処理を順に行っていく。カメラ2では、基準信号2から送信タイミング2までの時間d2が処理遅延時間となる。また、前述のように、カメラ1の基準信号1と、カメラ2の基準信号2は同期している。   Also, (2-1) is the reference signal 2 of the camera 2, (2-2) is the imaging timing 2 at which imaging processing by the imaging device 101 of the camera 2 is performed, and (2-3) is the video compression circuit 102. (2-4) is a transmission timing 2 at which transmission processing by the LAN interface circuit 107 is performed when the processing delay time is not set in the camera 2. The camera 2 starts imaging processing at the timing of the reference signal 2 using the reference signal 2 as a processing reference, and then sequentially performs video compression processing and transmission processing. In the camera 2, a time d2 from the reference signal 2 to the transmission timing 2 is a processing delay time. Further, as described above, the reference signal 1 of the camera 1 and the reference signal 2 of the camera 2 are synchronized.

ここでコントローラ5は、前述のように、カメラ1とカメラ2の処理遅延時間を取得する。取得した結果、カメラ1の処理遅延時間の方がカメラ2の処理遅延時間d2より長いので、カメラ2に対し、処理遅延時間がd1となるよう、コントローラ5はカメラ2の処理遅延時間を設定する。(2−5)は処理遅延時間が設定された後の送信タイミング2′である。処理遅延時間の調節は、ここでは例えば、図2に示した、システムエンコーダ104からパケットバッファ105に格納されたパケット列をLANインタフェース回路107に入力するために読み出すタイミングを調節することにより実現できる。これにより、カメラ1の送信タイミング1と、カメラ2の送信タイミング2′が一致することになる。   Here, the controller 5 acquires the processing delay times of the cameras 1 and 2 as described above. As a result, since the processing delay time of the camera 1 is longer than the processing delay time d2 of the camera 2, the controller 5 sets the processing delay time of the camera 2 so that the processing delay time is d1 for the camera 2. . (2-5) is the transmission timing 2 'after the processing delay time is set. Here, the adjustment of the processing delay time can be realized, for example, by adjusting the timing of reading out the packet sequence stored in the packet buffer 105 from the system encoder 104 to be input to the LAN interface circuit 107, as shown in FIG. Thereby, the transmission timing 1 of the camera 1 and the transmission timing 2 ′ of the camera 2 coincide.

次に(3−1)は、コントローラ5がカメラ1からのLANパケットの受信処理を行っている受信タイミング1、(3−2)は映像伸張回路5031による映像伸張処理を行っている映像伸張タイミング1、(3−3)は、映像伸張回路5031により伸張され得られた1フレーム分のカメラ1の映像出力タイミング1である。また、(3−4)は、コントローラ5がカメラ2からのLANパケットの受信処理を行っている受信タイミング2、(3−5)は映像伸張回路5032による映像伸張処理を行っている映像伸張タイミング2、(3−6)は、映像伸張回路5032により伸張され得られた1フレーム分のカメラ2の映像出力タイミング2である。さらに、(3−7)は、コントローラ5における基準信号C、(3−8)は、コントローラ5がディスプレイ6に出力する表示映像の表示タイミングCである。   Next, (3-1) is reception timing 1 at which the controller 5 performs reception processing of the LAN packet from the camera 1, and (3-2) is video expansion timing at which video expansion processing by the video expansion circuit 5031 is performed. 1, (3-3) is the video output timing 1 of the camera 1 for one frame obtained by the video decompression circuit 5031. Also, (3-4) is the reception timing 2 when the controller 5 is receiving the LAN packet from the camera 2, and (3-5) is the video expansion timing when the video expansion circuit 5032 is performing the video expansion processing. 2 and (3-6) are the video output timing 2 of the camera 2 for one frame obtained by the video expansion circuit 5032. Further, (3-7) is the reference signal C in the controller 5, and (3-8) is the display timing C of the display video that the controller 5 outputs to the display 6.

コントローラ5は、カメラ1からの受信タイミング1を処理の基準とし、受信処理に引き続き映像伸張処理を順に行っていく。同様にカメラ2からの受信処理に引き続き映像伸張処理を行う。ここで、カメラ1の送信タイミング1と、カメラ2の送信タイミング2′が一致しているので、映像出力タイミング1と映像出力タイミング2は一致する。例えば基準信号Cは、映像出力タイミング1および2に合わせて生成され、基準信号Cのパルスのタイミングで表示処理を行うことで、例えばカメラ1の映像とカメラ2の映像を合成し、表示タイミングCで合成映像をディスプレイ6に表示することが可能になる。   The controller 5 uses the reception timing 1 from the camera 1 as a processing reference, and sequentially performs the video expansion processing following the reception processing. Similarly, the video expansion process is performed following the reception process from the camera 2. Here, since the transmission timing 1 of the camera 1 and the transmission timing 2 ′ of the camera 2 match, the video output timing 1 and the video output timing 2 match. For example, the reference signal C is generated in accordance with the video output timings 1 and 2, and display processing is performed at the pulse timing of the reference signal C, so that, for example, the video of the camera 1 and the video of the camera 2 are combined, and the display timing C This makes it possible to display the synthesized video on the display 6.

図14は、本実施例における各カメラの送信処理タイミングの他の一例を示す図である。コントローラ5は、カメラ2に対し、処理遅延時間がd1となるよう、コントローラ5はカメラ2の処理遅延時間を設定するが、この例では、カメラ2は処理遅延時間がd1となるよう、映像圧縮処理を開始するタイミングを調節する。この処理遅延時間の調節は、例えば、図2に示した映像圧縮回路102から映像バッファに格納された映像データを映像圧縮回路102が映像圧縮処理のため読み出すタイミングを調節することにより実現できる。(2−6)は処理遅延時間が設定された後の映像圧縮タイミング2′であり、(2−7)はそれに伴った送信タイミング2′′である。これによりカメラ1の送信タイミング1と、カメラ2の送信タイミング2′′が一致することになる。従って図13と同様に、カメラ1の映像とカメラ2の映像を合成し、表示タイミングCで合成映像をディスプレイ6に表示することが可能になる。   FIG. 14 is a diagram illustrating another example of the transmission processing timing of each camera in the present embodiment. The controller 5 sets the processing delay time of the camera 2 so that the processing delay time is d1 for the camera 2. In this example, the video compression is performed so that the camera 2 has the processing delay time d1. Adjust the timing to start processing. This adjustment of the processing delay time can be realized, for example, by adjusting the timing at which the video compression circuit 102 reads out the video data stored in the video buffer from the video compression circuit 102 shown in FIG. (2-6) is the video compression timing 2 ′ after the processing delay time is set, and (2-7) is the transmission timing 2 ″ associated therewith. As a result, the transmission timing 1 of the camera 1 and the transmission timing 2 ″ of the camera 2 coincide. Accordingly, similarly to FIG. 13, the video of the camera 1 and the video of the camera 2 can be synthesized and the synthesized video can be displayed on the display 6 at the display timing C.

以上の説明では、処理時間遅延時間を起点である基準信号から終点である送信開始時間までと定義したが、これに限定するものではなく、例えば起点は撮像素子101が撮像を開始する時間としてもよく、また終点を各フレームの送信タイミングの送信終了時間としてもよいし。   In the above description, the processing time delay time is defined as the reference signal that is the starting point to the transmission start time that is the ending point. However, the present invention is not limited to this. For example, the starting point may be the time when the image sensor 101 starts imaging. The end point may be the transmission end time of the transmission timing of each frame.

また、例えばカメラごとの圧縮方式の違いやビットレートの違いによる映像伸張処理時間の差分をカメラに対する設定処理時間に加味することで各カメラの映像出力タイミングを合わせることも可能である。この場合、コントローラ5は、映像伸張処理時間をカメラごとに測定し、最も長い映像伸張処理時間からの差分を追加的な処理遅延時間として、各カメラの処理遅延時間に合計したものを各カメラに処理遅延時間として送信し、各カメラに新たな処理遅延時間の設定を指示することで、コントローラ5における各カメラの映像出力タイミング((3−3)、(3−6)等)をより正確に揃えることが可能である。   Further, for example, the video output timing of each camera can be matched by adding the difference in video expansion processing time due to the difference in compression method or bit rate for each camera to the setting processing time for the camera. In this case, the controller 5 measures the video expansion processing time for each camera, sets the difference from the longest video expansion processing time as an additional processing delay time, and adds the processing delay time of each camera to each camera. By transmitting as a processing delay time and instructing each camera to set a new processing delay time, the video output timing ((3-3), (3-6), etc.) of each camera in the controller 5 can be more accurately determined. It is possible to align.

また、各カメラの処理遅延時間の取得は、コントローラ5からの問い合わせにより実現する例を示したが、例えばカメラの電源立ち上げ時やLAN4に接続された時に、各カメラ側からコントローラ5に対して通知してもよい。   In addition, an example in which the processing delay time of each camera is acquired by an inquiry from the controller 5 has been shown. However, for example, when the camera is turned on or connected to the LAN 4, the camera 5 receives the controller 5 from the camera side. You may be notified.

また、以上の説明では、映像信号の送受信について説明したが、音声信号の伝送も同様に可能である。   In the above description, transmission / reception of a video signal has been described. However, transmission of an audio signal is also possible.

以上のように、各カメラにおける遅延時間を調節することにより、表示タイミングの合った映像を表示することが可能になる。   As described above, by adjusting the delay time in each camera, it is possible to display an image with a suitable display timing.

また、コントローラ5は各カメラからの映像の表示タイミングずれを吸収する処理をする必要がないので、処理が複雑になることなく表示タイミングの合った映像を表示することが可能になる。   Further, since the controller 5 does not need to perform processing to absorb the display timing deviation of the video from each camera, it is possible to display the video with the display timing matched without complicating the processing.

次に、映像伝送装置であるカメラを含む映像伝送システムの形態の別の例について説明する。実施例1と同様の部分については説明を省略する。   Next, another example of the form of a video transmission system including a camera as a video transmission apparatus will be described. A description of the same parts as those in the first embodiment will be omitted.

実施例1では、図13や図14に示すように、カメラの基準信号1と基準信号2が周期および位相も含めて同期している例を説明した。しかしながら現実にはシステム同士の間で基準信号の周期(または周波数)のみ一致しているものの位相は必ずしも一致していないという場合もある。本実施例においては、そのような場合を想定して、基準信号1と基準信号2の周期は一致しているが位相は一致していないという場合について説明を行う。   In the first embodiment, as shown in FIGS. 13 and 14, the example in which the reference signal 1 and the reference signal 2 of the camera are synchronized including the period and the phase has been described. However, in reality, there are cases where only the periods (or frequencies) of the reference signals are matched between systems, but the phases are not necessarily matched. In the present embodiment, assuming such a case, the case where the periods of the reference signal 1 and the reference signal 2 coincide but the phases do not coincide will be described.

本実施例においては、各カメラとコントローラの間で、時刻を同期させる仕組みを設けている。時刻を同期させる方法としては、例えばIEEE1588に記載された方法を用いることができる。そのような方法を用いてシステム間で定期的に時刻を同期させ、その時刻を用いてシステム内における基準信号の発振周期を例えばPLL(Phase Locked Loop)を用いて調節する。このようにすることにより、基準信号の周期をシステム間で一致させることができる。   In the present embodiment, a mechanism for synchronizing the time between each camera and the controller is provided. As a method of synchronizing the time, for example, a method described in IEEE 1588 can be used. Using such a method, the time is periodically synchronized between the systems, and the oscillation period of the reference signal in the system is adjusted by using the time, for example, using a PLL (Phase Locked Loop). In this way, the period of the reference signal can be matched between systems.

図15は本実施例における各カメラの送信処理タイミングの一例を示す図である。(1−0)、(2−0)はそれぞれカメラ1、カメラ2の基準時刻(内部時計)を示す。上記の方法により定期的(例えば、T0,T1)に同期をとることにより、これらは互いに一致させている。   FIG. 15 is a diagram illustrating an example of transmission processing timing of each camera in the present embodiment. Reference numerals (1-0) and (2-0) denote reference times (internal clocks) of the cameras 1 and 2, respectively. These are made to coincide with each other by synchronizing periodically (for example, T0, T1) by the above method.

カメラ1においては基準信号1(1−1)を内部で発振して生成する。その際、基準時刻1(1−0)を基に発振周期を調節する。同様にカメラ2においては基準信号2′(2−1)を内部で発振して生成する。その際、基準時刻2(2−0)を基に発振周期を調節する。   In the camera 1, the reference signal 1 (1-1) is oscillated and generated internally. At that time, the oscillation period is adjusted based on the reference time 1 (1-0). Similarly, the camera 2 generates a reference signal 2 '(2-1) by internally oscillating. At that time, the oscillation period is adjusted based on the reference time 2 (2-0).

このように、各カメラはそれぞれの基準時刻を基に基準信号の発振周期を調整するため、基準信号1と基準信号2′′の周期は一致する。しかしながら互いの位相は必ずしも一致していない。   In this way, since each camera adjusts the oscillation period of the reference signal based on the respective reference time, the periods of the reference signal 1 and the reference signal 2 ″ match. However, the phases of each other do not necessarily match.

基準時刻T0から基準信号1までの時間をs1とする。カメラ1はコントローラ5に対して処理遅延時間を通知する際(図9のステップS103)、s1およびd1を通知する。同様に基準時刻T0から基準信号2までの時間をs2とし、カメラ2はコントローラ5に対してs2およびd2を通知する。d1、d2は、実施例1同様、最短遅延時間から設定可能な最長時間までの範囲としても良い。   The time from the reference time T0 to the reference signal 1 is s1. When the camera 1 notifies the controller 5 of the processing delay time (step S103 in FIG. 9), it notifies s1 and d1. Similarly, the time from the reference time T0 to the reference signal 2 is s2, and the camera 2 notifies the controller 5 of s2 and d2. d1 and d2 may be in the range from the shortest delay time to the longest settable time as in the first embodiment.

各カメラは、例えば、基準時刻補正時を起点として、基準信号発生回路106が基準信号を発生したときの基準時刻を参照することによりs1、s2を測定可能である。あるいは、カウンタを別途カメラに設け、カメラがカウンタを基準時刻補正時にスタートさせ、基準信号発生回路106が基準信号を発生するまでの時間をカウンタで測定することによっても、s1、s2を測定可能である。 コントローラ5は、設定する遅延時間を決定(図10のステップS201)する際、基準信号1と基準信号2の位相の違いを考慮に入れて決定する。例えば図15において、時刻T0を基準として考えたとき、この場合はs1+d1のほうがs2+d2より長いので、カメラ2に対し、合計の遅延時間がs1+d1=s2+d2′となるように、d2′=s1+d1−s2を設定する。   For example, each camera can measure s1 and s2 by referring to the reference time when the reference signal generation circuit 106 generates the reference signal, starting from the time when the reference time is corrected. Alternatively, it is possible to measure s1 and s2 by separately providing a counter in the camera, starting the counter when the reference time is corrected, and measuring the time until the reference signal generation circuit 106 generates the reference signal with the counter. is there. When determining the delay time to be set (step S201 in FIG. 10), the controller 5 takes into consideration the difference in phase between the reference signal 1 and the reference signal 2. For example, when considering time T0 in FIG. 15, since s1 + d1 is longer than s2 + d2 in this case, d2 ′ = s1 + d1−s2 so that the total delay time for camera 2 is s1 + d1 = s2 + d2 ′. Set.

(2−5)は処理遅延時間が設定された後の送信タイミング2′′′である。これにより、カメラ1の送信タイミング1と、カメラ2の送信タイミング2′′′が一致することになる。   (2-5) is the transmission timing 2 ′ ″ after the processing delay time is set. Thereby, the transmission timing 1 of the camera 1 and the transmission timing 2 ′ ″ of the camera 2 coincide with each other.

なお、上記実施例ではカメラ1が処理遅延時間をコントローラ5に通知する際、s1およびd1を通知する例を示したが、その代わりにそれらの合計時間D1=s1+d1(カメラ2の場合はD2=s2+d2)のみを通知するようにしても良い。その場合は、コントローラ5はカメラ2に対し、合計時間D2がD1と等しくなるよう、D2′=D1を設定する。このようにしても同様の効果を得ることが可能である。   In the above embodiment, when the camera 1 notifies the controller 5 of the processing delay time, the example in which s1 and d1 are notified is shown. Instead, the total time D1 = s1 + d1 (D2 = in the case of the camera 2) Only s2 + d2) may be notified. In that case, the controller 5 sets D2 ′ = D1 for the camera 2 so that the total time D2 is equal to D1. Even if it does in this way, it is possible to acquire the same effect.

各カメラは、実施例1同様、例えば起動時にコントローラ5に遅延時間を通知しても、コントローラ5からの要求に応じて遅延時間をコントローラ5に通知しても良い。後者の場合、カメラは、その時点における基準時刻−基準信号間の時間差をコントローラ5に通知できる。また、コントローラ5からの指示によりカメラの映像圧縮方法やビットレートを変更可能な場合に、映像圧縮方法やビットレートの変更に起因して変化するカメラの処理遅延時間を反映した、その時点での処理遅延時間を、カメラは、コントローラ5に通知できる。このため、コントローラ5は、その要求時点における、各カメラにおける基準時刻―基準信号間の時間差や、映像圧縮方式やビットレートを反映して、カメラに設定する処理遅延時間を算出でき、コントローラ5における各カメラ映像の出力タイミングの同期精度向上が期待できる。   As in the first embodiment, each camera may notify the controller 5 of the delay time at the time of activation, for example, or may notify the controller 5 of the delay time in response to a request from the controller 5. In the latter case, the camera can notify the controller 5 of the time difference between the reference time and the reference signal at that time. In addition, when the video compression method and bit rate of the camera can be changed by an instruction from the controller 5, the processing delay time of the camera that changes due to the change of the video compression method and bit rate is reflected. The camera can notify the controller 5 of the processing delay time. For this reason, the controller 5 can calculate the processing delay time set in the camera by reflecting the time difference between the reference time and the reference signal in each camera, the video compression method and the bit rate at the time of the request. The synchronization accuracy of the output timing of each camera image can be expected to improve.

なお、各カメラにおいて時刻を同期させる処理は、図2の制御回路108内で行っても良いし、時刻の同期を行うための専用回路を制御回路108とは別に設けて行っても良い。後者の場合、当該専用回路を時刻の同期処理に専念させることにより、同期の精度をより高められることが期待できる。   Note that the processing for synchronizing the time in each camera may be performed in the control circuit 108 in FIG. 2, or a dedicated circuit for performing time synchronization may be provided separately from the control circuit 108. In the latter case, it can be expected that the accuracy of synchronization can be further improved by dedicating the dedicated circuit to time synchronization processing.

1、2、3…カメラ
4…LAN
5…コントローラ
6…ディスプレイ
100…レンズ
101…撮像素子
102…映像圧縮回路
103…映像バッファ
104…システムエンコーダ
105…パケットバッファ
106…基準信号発生回路
107…LANインタフェース回路
108…制御回路
201…イントラフレーム
202…インターフレーム
301…シーケンスヘッダ
302…ピクチャヘッダ
40…トランスポートパケット
401…パケットヘッダ
402…パケット情報
501、5011、5012、5013…LANインタフェース回路
5021、5022、5023…システムデコーダ
5031、5032、5033…映像伸張回路
504…画像処理回路
505…OSD回路
506…基準信号発生回路
507…制御回路
60…LANパケット
601…LANパケットヘッダ
602…LANパケット情報
1, 2, 3 ... Camera 4 ... LAN
5 ... Controller 6 ... Display 100 ... Lens 101 ... Image sensor 102 ... Video compression circuit 103 ... Video buffer 104 ... System encoder 105 ... Packet buffer 106 ... Reference signal generation circuit 107 ... LAN interface circuit 108 ... Control circuit 201 ... Intra frame 202 ... Interframe 301 ... Sequence header 302 ... Picture header 40 ... Transport packet 401 ... Packet header 402 ... Packet information 501, 5011, 5012, 5013 ... LAN interface circuits 5021, 5022, 5023 ... System decoders 5031, 5032, 5033 ... Video Expansion circuit 504 ... Image processing circuit 505 ... OSD circuit 506 ... Reference signal generation circuit 507 ... Control circuit 60 ... LAN packet 601 ... LAN packet header 6 2 ... LAN packet information

Claims (12)

基準時刻に基づき、基準信号の周期を調整する基準信号発生手段と、
撮像した映像信号をディジタル圧縮符号化する圧縮手段と、
ネットワークに接続された映像受信装置に、当該ネットワークを介して前記ディジタル圧縮符号化された映像信号を送信するネットワーク処理手段と、前記圧縮手段と前記ネットワーク処理手段を制御する制御手段と、
を備え、
前記制御手段は、前記映像受信装置に対し、前記基準時刻から前記基準信号までの基準信号遅延時間と、前記映像信号をディジタル圧縮符号化して前記ネットワークに送信するまでの処理時間とを通知することを特徴とする映像送信装置。
Reference signal generating means for adjusting the period of the reference signal based on the reference time;
Compression means for digitally compressing and encoding the captured video signal;
Network processing means for transmitting the digital compression-encoded video signal to the video receiver connected to the network via the network, control means for controlling the compression means and the network processing means,
With
The control means notifies the video receiving apparatus of a reference signal delay time from the reference time to the reference signal and a processing time until the video signal is digitally compressed and transmitted to the network. A video transmission device characterized by the above.
基準時刻に基づき、基準信号の周期を調整する基準信号発生手段と、
撮像した映像信号をディジタル圧縮符号化する圧縮手段と、
ネットワークに接続された映像受信装置に、当該ネットワークを介して前記ディジタル圧縮符号化された映像信号を送信するネットワーク処理手段と、
前記圧縮手段と前記ネットワーク処理手段を制御する制御手段と、
を備え、
前記制御手段は、前記映像受信装置に対し、前記基準時刻から前記基準信号までの基準信号遅延時間と前記映像信号をディジタル圧縮符号化して前記ネットワークに送信するまでの処理時間との合計時間を通知することを特徴とする映像送信装置。
Reference signal generating means for adjusting the period of the reference signal based on the reference time;
Compression means for digitally compressing and encoding the captured video signal;
Network processing means for transmitting the digital compression-encoded video signal to the video receiver connected to the network via the network;
Control means for controlling the compression means and the network processing means;
With
The control means notifies the video receiver of a total time of a reference signal delay time from the reference time to the reference signal and a processing time from digital compression encoding of the video signal to transmission to the network. A video transmitting apparatus characterized by:
請求項1に記載の映像送信装置において、
前記制御手段は、前記映像受信装置の要求に応じて、前記基準時刻から前記基準信号までの基準信号遅延時間と、前記映像信号をディジタル圧縮符号化して前記ネットワークに送信するまでの処理時間とを通知することを特徴とする映像送信装置。
The video transmission device according to claim 1,
In response to a request from the video reception device, the control means includes a reference signal delay time from the reference time to the reference signal, and a processing time until the video signal is digitally compressed and transmitted to the network. A video transmission device characterized by notifying.
請求項1に記載の映像送信装置において、
前記制御手段は、前記映像受信装置の要求に応じて、前記基準時刻から前記基準信号までの基準信号遅延時間と前記映像信号をディジタル圧縮符号化して前記ネットワークに送信するまでの処理時間との合計時間を通知することを特徴とする映像送信装置。
The video transmission device according to claim 1,
The control means, in response to a request of the video receiving device, a total of a reference signal delay time from the reference time to the reference signal and a processing time until the video signal is digitally compressed and transmitted to the network A video transmitting apparatus for notifying time.
ネットワークに接続された映像受信装置に映像信号を送信する映像送信装置が実行する映像送信方法であって、
基準時刻に基づき、基準信号の周期を調整して基準信号を発生するステップと、
前記基準信号にしたがって撮像した映像信号をディジタル圧縮符号化するステップと、
前記映像受信装置に前記ネットワークを介して前記ディジタル圧縮符号化された映像信号を送信するステップと、を有し、
前記映像送信装置は、前記基準時刻から前記基準信号までの基準信号遅延時間と、前記映像信号をディジタル圧縮符号化して前記ネットワークに送信するまでの処理時間とを前記映像受信装置に通知することを特徴とする映像送信方法。
A video transmission method image transmission apparatus for transmitting a video signal to the connected video receiving device to the network to run,
Generating a reference signal by adjusting the period of the reference signal based on the reference time;
Digitally compressing and encoding a video signal captured in accordance with the reference signal;
Transmitting the digital compression-encoded video signal to the video reception device via the network,
The video transmission device notifies the video reception device of a reference signal delay time from the reference time to the reference signal and a processing time until the video signal is digitally compressed and transmitted to the network. A featured video transmission method.
ネットワークに接続された映像受信装置に映像信号を送信する映像送信装置が実行する映像送信方法であって、
基準時刻に基づき、基準信号の周期を調整して基準信号を発生するステップと、
前記基準信号にしたがって撮像した映像信号をディジタル圧縮符号化するステップと、
前記映像受信装置に前記ネットワークを介して前記ディジタル圧縮符号化された映像信号を送信するステップと、を有し、
前記映像送信装置は、前記基準時刻から前記基準信号までの基準信号遅延時間と前記映像信号をディジタル圧縮符号化して前記ネットワークに送信するまでの処理時間との合計時間を前記映像受信装置に通知することを特徴とする映像送信方法。
A video transmission method image transmission apparatus for transmitting a video signal to the connected video receiving device to the network to run,
Generating a reference signal by adjusting the period of the reference signal based on the reference time;
Digitally compressing and encoding a video signal captured in accordance with the reference signal;
Transmitting the digital compression-encoded video signal to the video reception device via the network,
The video transmission apparatus notifies the video reception apparatus of a total time of a reference signal delay time from the reference time to the reference signal and a processing time until the video signal is digitally compressed and transmitted to the network. A video transmission method characterized by the above.
ネットワークに接続された複数の映像送信装置から送信されるディジタル圧縮符号化された複数の映像信号データのストリームを受信するネットワーク処理手段と、
前記ネットワーク処理手段で受信した複数の前記映像データを復号する復号手段と、
前記復号手段により復号した複数の前記映像信号を基にした映像を表示する映像表示手段と、
前記映像送信装置を制御する制御手段と、
を備え、
前記制御手段は、前記映像送信装置内の基準時刻から基準信号までの基準信号遅延時間と、前記映像送信装置がディジタル圧縮符号化して前記ネットワークに送信するのに要する処理遅延時間情報とを前記複数の映像送信装置から取得することを特徴とする映像受信装置。
Network processing means for receiving a plurality of digital compression encoded video signal data streams transmitted from a plurality of video transmission devices connected to the network;
Decoding means for decoding the plurality of video data received by the network processing means;
Video display means for displaying video based on the plurality of video signals decoded by the decoding means;
Control means for controlling the video transmission device;
With
The control means includes a plurality of reference signal delay times from a reference time to a reference signal in the video transmission device and processing delay time information required for the video transmission device to perform digital compression encoding and transmit to the network. A video receiving apparatus obtained from the video transmitting apparatus.
ネットワークに接続された複数の映像送信装置から送信されるディジタル圧縮符号化された複数の映像信号データのストリームを受信するネットワーク処理手段と、
前記ネットワーク処理手段で受信した複数の前記映像データを復号する復号手段と、
前記復号手段により復号した複数の前記映像信号を基にした映像を表示する映像表示手段と、
前記映像送信装置を制御する制御手段と、
を備え、
前記制御手段は、前記複数の映像送信装置に対して、前記映像送信装置内の基準時刻から基準信号までの基準信号遅延時間と、前記映像送信装置がディジタル圧縮符号化して前記ネットワークに送信するのに要する処理遅延時間情報とを通知要求することを特徴とする映像受信装置。
Network processing means for receiving a plurality of digital compression encoded video signal data streams transmitted from a plurality of video transmission devices connected to the network;
Decoding means for decoding the plurality of video data received by the network processing means;
Video display means for displaying video based on the plurality of video signals decoded by the decoding means;
Control means for controlling the video transmission device;
With
The control means sends a reference signal delay time from a reference time to a reference signal in the video transmission device to the plurality of video transmission devices, and the video transmission device performs digital compression encoding to the network. A video receiving apparatus which requests notification of processing delay time information required for the operation.
請求項7または請求項8に記載の映像受信装置において、
前記制御手段は、前記複数の映像送信装置に対して、所望の処理遅延時間となるよう前記映像送信装置がディジタル圧縮符号化して前記ネットワークに送信するのに要する処理遅延時間を設定要求することを特徴とする映像受信装置。
The video receiver according to claim 7 or 8,
The control means requests the plurality of video transmission devices to set a processing delay time required for the video transmission device to perform digital compression encoding and transmission to the network so as to obtain a desired processing delay time. A featured video receiver.
請求項9に記載の映像受信装置において、
前記制御手段は、前記複数の映像送信装置から取得した前記基準信号遅延時間と前記処理遅延時間との合計遅延時間のうち、最も合計遅延時間の長い遅延時間となるよう、前記映像送信装置に対して、前記映像送信装置がディジタル圧縮符号化して前記ネットワークに送信するのに要する処理遅延時間を設定要求することを特徴とする映像受信装置。
The video receiver according to claim 9, wherein
The control means provides the video transmission device with the longest total delay time among the total delay times of the reference signal delay time acquired from the plurality of video transmission devices and the processing delay time. And a request for setting a processing delay time required for the video transmission apparatus to perform digital compression encoding and transmission to the network.
ネットワークに接続された複数の映像送信装置から送信される映像信号を受信する映像受信装置が実行する映像受信方法であって、
前記複数の映像送信装置から送信されるディジタル圧縮符号化された複数の映像信号データのストリームを受信するステップと、
受信した複数の前記映像データを復号するステップと、
復号した複数の前記映像信号を表示するステップと、を有し、
前記映像受信装置は、前記映像送信装置内の基準時刻から基準信号までの基準信号遅延時間と、前記映像送信装置がディジタル圧縮符号化して前記ネットワークに送信するのに要する処理遅延時間情報とを前記複数の映像送信装置から取得することを特徴とする映像受信方法。
A video receiving method video receiving apparatus for receiving an image signal transmitted from a plurality of video transmission apparatus connected to a network to run,
Receiving a plurality of digital compression encoded video signal data streams transmitted from the plurality of video transmission devices;
Decoding a plurality of received video data;
Displaying a plurality of decoded video signals,
The video reception device includes a reference signal delay time from a reference time to a reference signal in the video transmission device, and processing delay time information required for the video transmission device to perform digital compression encoding and transmit to the network. A video receiving method comprising: acquiring from a plurality of video transmitting devices.
ネットワークに接続された複数の映像送信装置から送信される映像信号を受信する映像受信装置が実行する映像受信方法であって、
前記複数の映像送信装置から送信されるディジタル圧縮符号化された複数の映像信号データのストリームを受信するステップと、
受信した複数の前記映像データを復号するステップと、
復号した複数の前記映像信号を表示するステップと、を有し、
前記映像受信装置は、前記複数の映像送信装置に対して、前記映像送信装置内の基準時刻から基準信号までの基準信号遅延時間と、前記映像送信装置がディジタル圧縮符号化して前記ネットワークに送信するのに要する処理遅延時間情報とを通知要求することを特徴とする映像受信方法。
A video receiving method video receiving apparatus for receiving an image signal transmitted from a plurality of video transmission apparatus connected to a network to run,
Receiving a plurality of digital compression encoded video signal data streams transmitted from the plurality of video transmission devices;
Decoding a plurality of received video data;
Displaying a plurality of decoded video signals,
The video reception device transmits a reference signal delay time from a reference time to a reference signal in the video transmission device to the plurality of video transmission devices, and the video transmission device performs digital compression encoding on the network. A video receiving method characterized by requesting notification of processing delay time information required for processing.
JP2011050975A 2011-03-09 2011-03-09 Video transmission device, video transmission method, video reception device, and video reception method Active JP5697494B2 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2011050975A JP5697494B2 (en) 2011-03-09 2011-03-09 Video transmission device, video transmission method, video reception device, and video reception method
JP2013503342A JP5697743B2 (en) 2011-03-09 2012-01-20 Video transmission device, video transmission method, video reception device, and video reception method
PCT/JP2012/000331 WO2012120763A1 (en) 2011-03-09 2012-01-20 Video transmission device, video transmission method, video receiving device, and video receiving method
CN201280003633.7A CN103210656B (en) 2011-03-09 2012-01-20 Image dispensing device, image sending method, video receiver and image method of reseptance
US13/884,808 US20130287122A1 (en) 2011-03-09 2012-01-20 Video transmission device, video transmission method, video receiving device, and video receiving method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011050975A JP5697494B2 (en) 2011-03-09 2011-03-09 Video transmission device, video transmission method, video reception device, and video reception method

Publications (2)

Publication Number Publication Date
JP2012191285A JP2012191285A (en) 2012-10-04
JP5697494B2 true JP5697494B2 (en) 2015-04-08

Family

ID=47084004

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011050975A Active JP5697494B2 (en) 2011-03-09 2011-03-09 Video transmission device, video transmission method, video reception device, and video reception method

Country Status (1)

Country Link
JP (1) JP5697494B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6565382B2 (en) * 2015-06-30 2019-08-28 ブラザー工業株式会社 Information processing method and moving image data transmission system
JP6907104B2 (en) * 2017-12-07 2021-07-21 キヤノン株式会社 Video distribution device, control method and program

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4303535B2 (en) * 2003-08-06 2009-07-29 パナソニック株式会社 Decode display device, imaging device, and image transmission system including the same
JP2011217062A (en) * 2010-03-31 2011-10-27 Sony Corp Camera system, signal delay amount adjusting method and program
JP5923847B2 (en) * 2010-03-31 2016-05-25 ソニー株式会社 Camera system, signal delay adjustment method and program
JP2011223359A (en) * 2010-04-09 2011-11-04 Sony Corp Delay controller, control method and communication system
JP2011223360A (en) * 2010-04-09 2011-11-04 Sony Corp Transmitter, receiver, control method, and communication system

Also Published As

Publication number Publication date
JP2012191285A (en) 2012-10-04

Similar Documents

Publication Publication Date Title
JP5697743B2 (en) Video transmission device, video transmission method, video reception device, and video reception method
US9723193B2 (en) Transmitting device, receiving system, communication system, transmission method, reception method, and program
US9516219B2 (en) Camera system and switching device
EP2908513B1 (en) Image pick-up and display system, image pick-up device, image pick-up method, and program
US20110249181A1 (en) Transmitting device, receiving device, control method, and communication system
US8582033B2 (en) Movie reproduction system and movie reproduction method for reducing delay time of reproduced movie
US9326022B2 (en) Wireless communication system, wireless communication device, and wireless communication method
JP2011029969A (en) Video monitor display device and video monitoring system
JP5465106B2 (en) Display device and display system
JP5697494B2 (en) Video transmission device, video transmission method, video reception device, and video reception method
US9571799B2 (en) Wireless communication system and method, and data receiving apparatus, method and program
WO2020017499A1 (en) Video/audio transmission system, transmission method, transmission device, and reception device
JP2014131142A (en) Receiver, reception method and program, imaging apparatus, imaging method and program, transmitter, transmission method and program
JP2013077887A (en) Moving image compression coding device, method and control program
JP2012191284A (en) Image transmitter, image transmission method, image receiver, and image reception method
JP2020005063A (en) Processing device and control method thereof, output device, synchronization control system, and program
JP2008131591A (en) Lip-sync control device and lip-sync control method
JP2005333520A (en) Image transmission apparatus, image transmission method, transmission system, and video monitoring system
US20220360845A1 (en) Reception apparatus, reception method, and transmission and reception system
JP2015149761A (en) Encoded signal transmission device
US20170019245A1 (en) Reception apparatus and system
JP7303670B2 (en) MMT receiver and program
JP2012195794A (en) Encoded signal reception device
WO2012173020A1 (en) Transmitter, transmission method, and program
US9578327B2 (en) Encoding apparatus, encoding method, and non-transitory computer-readable storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130828

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20140311

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20140317

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20140318

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20140319

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140617

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140807

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20140908

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140909

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141105

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20141118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150210

R150 Certificate of patent or registration of utility model

Ref document number: 5697494

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250