WO2012120763A1 - 映像送信装置、映像送信方法、映像受信装置、および映像受信方法 - Google Patents

映像送信装置、映像送信方法、映像受信装置、および映像受信方法 Download PDF

Info

Publication number
WO2012120763A1
WO2012120763A1 PCT/JP2012/000331 JP2012000331W WO2012120763A1 WO 2012120763 A1 WO2012120763 A1 WO 2012120763A1 JP 2012000331 W JP2012000331 W JP 2012000331W WO 2012120763 A1 WO2012120763 A1 WO 2012120763A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
reference signal
time
camera
packet
Prior art date
Application number
PCT/JP2012/000331
Other languages
English (en)
French (fr)
Inventor
溝添　博樹
佐々本　学
小味　弘典
岡田　光弘
Original Assignee
日立コンシューマエレクトロニクス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2011050973A external-priority patent/JP2012191284A/ja
Priority claimed from JP2011050975A external-priority patent/JP5697494B2/ja
Priority claimed from JP2011058665A external-priority patent/JP2012195796A/ja
Application filed by 日立コンシューマエレクトロニクス株式会社 filed Critical 日立コンシューマエレクトロニクス株式会社
Priority to CN201280003633.7A priority Critical patent/CN103210656B/zh
Priority to US13/884,808 priority patent/US20130287122A1/en
Priority to JP2013503342A priority patent/JP5697743B2/ja
Publication of WO2012120763A1 publication Critical patent/WO2012120763A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Definitions

  • It relates to equipment that transmits video.
  • Patent Document 1 discloses a transmission device having a function of adjusting a display time when video is transmitted via a network.
  • Patent Document 1 has a problem that the processing on the video receiving side is complicated because the video received from a plurality of video transmitting devices is displayed simultaneously.
  • the video transmission device controls the output delay time in accordance with the control of the video reception device.
  • FIG. 1 shows an example of a video transmission system including a camera which is a video transmission device.
  • 1 is a camera and 2 to 3 are other cameras.
  • Reference numeral 4 denotes a LAN (Local Area Network), 5 denotes a controller, and the cameras 1 to 3 are connected to the controller 5 via the LAN 4.
  • Reference numeral 6 denotes a display.
  • a protocol to be used for example, a method stipulated in the IEEE 802.3 standard which is a data link protocol may be used, or a network protocol IP (Internet Protocol) is used, and a higher level transport is used.
  • IP Internet Protocol
  • UDP User Datagram Protocol
  • the controller 5 receives video and audio data distributed from each camera, and outputs video and audio to the display 6 and the speaker 7, respectively.
  • each camera and the controller 5 are directly connected in a one-to-one relationship, or are connected via a switching hub device (not shown), and two or less cameras or four or more cameras can be connected. It is.
  • FIG. 2 is a diagram illustrating an example of an internal block configuration of the camera 1 which is a video transmission apparatus.
  • Reference numeral 100 denotes a lens, 101 an image sensor, 102 a video compression circuit, 103 a video buffer, 104 a system encoder, 105 a packet buffer, 106 a reference signal generation circuit, 107 a LAN interface circuit, 108 a control circuit, 109 It is memory.
  • the video signal obtained by the image sensor 101 via the lens 100 is input to the video compression circuit 102, color tone and contrast are corrected, and stored in the video buffer 103.
  • the video compression circuit 102 reads out the video data stored in the video buffer 103 and, for example, ISO / IEC13818-2 (commonly known as MPEG2Video) MP @ ML (Main Profile @ Main Level) standard as a video compression encoding system. Compressed encoded data that conforms to the above is generated.
  • Other video compression encoding methods include H.264.
  • the H.264 / AVC standard method or the JPEG standard method may be used.
  • cameras of different video compression encoding methods may be mixed, or one camera may select and switch the video compression encoding method.
  • the generated compressed encoded video data is input to the system encoder 104.
  • the reference signal generation circuit 106 supplies, for example, a frame pulse indicating a break of the video signal frame to the image sensor 101 and the video compression circuit 102 as a reference signal serving as a reference for processing timing of the image sensor 101 and the video compression circuit 102.
  • This reference signal is a signal synchronized between the cameras.
  • a synchronization method for example, there is a method of inputting a synchronization signal of one camera to another camera.
  • the compression encoded video data input to the system encoder 104 is packetized as shown below.
  • FIG. 3 shows an example of digital compression processing. Intra-frame data compressed in units of frames of a digital compressed video signal and inter-frame data in which only difference information is compressed using predictions from previous and subsequent frame data. It is a relationship.
  • 201 is an intra frame and 202 is an inter frame.
  • the digital compressed video signal has a predetermined number of frames, for example, 15 frames as one sequence, the head of which is an intra frame, and the remaining frames are inter frames compressed using prediction from the intra frame.
  • an intra frame other than the head may be arranged.
  • only the first frame may be an intra frame, and all subsequent frames may be inter frames, or all the frames may be intra frames.
  • FIG. 4 shows the configuration of a digital compressed video signal.
  • 302 is a picture header added in units of frames
  • 301 is a sequence header added in units of sequences.
  • the sequence header 301 includes information such as a synchronization signal and a transmission rate.
  • the picture header 302 includes a synchronization signal and identification information such as an intra frame or an inter frame. Usually, the length of each data changes with the amount of information.
  • This digital video compression signal is divided into transport packets to be described later to form a packet sequence.
  • FIG. 5 is a configuration example of a transport packet of a digital video compression signal.
  • Reference numeral 40 denotes the transport packet, and one packet is composed of a fixed length, for example, 188 bytes, and is composed of a packet header 401 and packet information 402.
  • the digital compressed video signal described with reference to FIG. 4 is divided and arranged in an area of packet information 402, and the packet header 401 is configured by information such as the type of packet information.
  • the digital video compression signal packetized by the system encoder 104 is temporarily stored in the packet buffer 105, and the packet string read from the packet buffer 105 is input to the LAN interface circuit 107.
  • the LAN interface circuit 107 in FIG. 2 packetizes the input packet sequence into, for example, a LAN packet conforming to the IEEE 802.3 standard and outputs the packet.
  • FIG. 6 is a diagram illustrating an example of converting a packet sequence generated by the system encoder 104 into a LAN packet.
  • the LAN packet 60 has, for example, one packet having a variable length of a maximum of 1518 bytes, and includes a LAN packet header 601 and LAN packet information 602.
  • the transport packet 40 generated by the system encoder 106 is stored in the area of the LAN packet information 602 together with a data error detection code in accordance with the network protocol described above, and address information on the LAN 4 for identifying each camera is stored.
  • a LAN packet header 601 is added and output as a LAN packet 60 to the LAN.
  • the LAN interface circuit 107 exchanges information for control with devices connected to the LAN 4. This is because information such as an instruction from the control circuit 108 is stored in the LAN packet information 602, information is transmitted from the LAN packet 60 of the LAN packet 60 transmitted or received from the LAN 4, and transmitted to the control circuit 108. Done in
  • FIG. 7 is a diagram illustrating an example of an internal block configuration of the controller 5.
  • 5011 to 5013 are LAN interface circuits
  • 5021 to 5023 are system decoders
  • 5031 to 5033 are video decompression circuits
  • 504 is an image processing circuit
  • 505 is an OSD (On-Screen Display) circuit
  • 506 is a reference signal generation circuit
  • 507 is a control
  • a circuit 508 is a memory.
  • system decoders 5021 to 5023, the video decompression circuits 5031 to 5033, and the image processing circuit 504 are described as hardware. However, these functions can also be realized by software by causing the control circuit 507 to develop and execute a program having functions corresponding to each in the memory 508.
  • the system decoders 5021 to 5023, the video decompression circuits 5031 to 5033, and the image processing circuit 504 perform each process including the case where the control circuit 507 executes a program corresponding to each function.
  • LAN packets 60 generated by the cameras 1 to 3 are input to the LAN interface circuits 5011 to 5013, respectively.
  • the LAN packet header 601 is removed by the LAN interface circuit 5011, and the transport packet 40 is extracted from the LAN packet data 602 according to the network protocol described above.
  • the transport packet 40 is input to the system decoder 5021, and the packet information 402 described above is extracted from the transport packet 40 and combined into the digital compressed video signal shown in FIG.
  • This digital compressed video signal is subjected to expansion processing in a video expansion circuit 5031 and is input to the image processing circuit 504 as a digital video signal.
  • the same processing is performed for the LAN packet 60 input from the cameras 2 and 3, and digital video signals are input from the video expansion circuits 5032 and 5033 to the image processing circuit.
  • the image processing circuit 504 performs distortion correction of the video signal from each camera, viewpoint conversion by coordinate replacement, synthesis processing, etc., and outputs to the OSD circuit 505 or recognition of the object shape by the video signal from each camera, distance Image processing such as measurement is performed.
  • the OSD circuit 505 superimposes characters and figures on the video signal from the image processing circuit 504 and outputs it to the display 6.
  • the reference signal generation circuit 506 supplies, for example, a frame pulse indicating a video signal frame break to the image processing circuit 504 and the OSD circuit 505 as a reference signal serving as a reference for processing timing of the image processing circuit 504 and the OSD circuit 505.
  • the reference signal is generated with reference to, for example, the time when the video expansion process for one frame is completed, and the reference signal is adjusted by the control circuit 507 controlling the reference signal generation circuit 506.
  • the LAN interface circuits 5011 to 5013 in order to exchange information for control with each camera, information such as an instruction from the control circuit 507 is stored in the LAN packet information 602 and transmitted to each camera. Information is extracted from the LAN packet information 602 of the LAN packet 60 received from each camera and transmitted to the control circuit 507.
  • FIG. 8 is a diagram illustrating another example of the internal block configuration of the controller 5.
  • a LAN interface circuit 501 is connected to the cameras 1 to 3 via a switching hub device (not shown).
  • the LAN interface circuit 501 discriminates the LAN packet from each camera from the address information stored in the LAN packet header 601 described above, and the transport extracted from the LAN packet information 602 of the LAN packet 60 according to the network protocol described above.
  • the packet 40 is distributed to the system decoders 5021 to 5023 and output.
  • the processing after the system decoders 5021 to 5023 is the same as the description of FIG.
  • the LAN interface circuit 501 in order to exchange information for control with each camera, information such as an instruction from the control circuit 507 is stored in the LAN packet information 602 and transmitted to each camera, or each camera The information is extracted from the LAN packet information 602 of the LAN packet 60 received from, and transmitted to the control circuit 507.
  • FIG. 9 is a flowchart of the delay time acquisition process by the controller in the present embodiment.
  • the controller 5 first confirms the camera connected to the LAN 4 (step S101). This can be realized by, for example, a broadcast packet that can transmit a packet to all devices connected to the LAN 4. Further, a confirmation packet may be transmitted to each camera individually.
  • each camera connected to the LAN 4 is inquired about the processing delay time of each camera (step S102), and the response of the processing delay time from each camera is received (step S103). Thereby, the controller 5 can acquire the processing delay time of the camera connected to the LAN 4. These processes are performed, for example, when the controller 5 is turned on.
  • FIG. 10 is a flowchart of the delay time response process in the camera in the present embodiment.
  • a delay time that can be set by the camera for example, a range from the shortest delay time to the longest delay time that can be set is given to the controller 5. It transmits as a reply (step S302).
  • the camera connected to the LAN 4 can transmit the processing delay time of the camera to the controller.
  • the camera calculates the shortest delay time based on the compression method of the video to be acquired and the bit rate of the video before the request from the controller 5 or in response to the request from the control 5.
  • the shortest delay time is read from the memory 109 as necessary and notified to the controller 5 as described above.
  • the camera calculates the shortest delay time in response to a request from the controller 5, there is an effect that the shortest delay time can be calculated according to the video compression method and bit rate at the time of the request. This is particularly effective when the controller 5 can instruct the camera to change the compression method or bit rate.
  • FIG. 11 is a flowchart of the delay time setting process by the controller.
  • the processing delay time to be set is determined (step S201).
  • the longest time among the shortest delay times of each camera obtained by the delay time acquisition process of FIG. 9 is set as the processing delay time set for each camera.
  • the controller 5 transmits a request for shortening the shortest delay time to the camera that has transmitted the shortest delay time that is not satisfied, and the longest delay to the camera that has transmitted the longest delay time that is not satisfied.
  • Send time extension request A camera that has received a request for shortening the shortest delay time can attempt to shorten the shortest processing time by, for example, changing the compression processing method.
  • the controller 5 determines whether the shortest delay time and the longest delay time received from each camera in response to the shortening request satisfy the above requirements. If the requirement is still not met, the controller 5 outputs an error. When the requirement is satisfied, the controller 5 sets the shortest delay time shortened by the shortening request as a processing delay time set for each camera.
  • the controller 5 requests each camera to set the determined processing delay time (step S202), and receives a response of the setting result from each camera (step S203). Thereby, the controller 5 can set the processing delay time for the camera connected to the LAN 4.
  • FIG. 12 is a flowchart of the delay time setting process in the camera according to this embodiment.
  • the camera sets a delay time (step S402), and transmits the result as a reply to the controller (step S403).
  • the camera connected to the LAN 4 can set the processing delay time in response to a request from the controller.
  • FIG. 13 is a diagram illustrating an example of the transmission processing timing of each camera and the reception processing timing of the controller 5 in the present embodiment.
  • (1-1) to (1-4) are processing timings of the camera 1
  • (2-1) to (2-5) are processing timings of the camera 2,
  • (3-1) to (3-8). ) Shows the processing timing of the controller 5.
  • (1-1) is the reference signal 1
  • (1-2) is the imaging timing 1 at which imaging processing is performed by the imaging device 101
  • (1-3) is the video compression processing by the video compression circuit 102.
  • Video compression timing 1 (1-4) is transmission timing 1 at which transmission processing by the LAN interface circuit 107 is performed.
  • a video signal for one frame is processed for each reference signal.
  • the camera 1 uses the reference signal 1 as a processing reference, starts imaging processing, for example, at the timing of the pulse of the reference signal 1, and then sequentially performs video compression processing and transmission processing.
  • a time d1 from the reference signal 1 to the start of transmission processing at the transmission timing 1 is a processing delay time.
  • (2-1) is the reference signal 2 of the camera 2
  • (2-2) is the imaging timing 2 when the imaging process of the imaging device 101 of the camera 2 is performed
  • (2-3) is the video compression circuit 102.
  • the video compression timing 2 (2-4) in which the video compression processing is performed according to is the transmission timing 2 in which the LAN interface circuit 107 performs the transmission processing when the processing delay time is not set in the camera 2.
  • the camera 2 starts imaging processing at the timing of the reference signal 2 using the reference signal 2 as a processing reference, and then sequentially performs video compression processing and transmission processing.
  • a time d2 from the reference signal 2 to the transmission timing 2 is a processing delay time.
  • the reference signal 1 of the camera 1 and the reference signal 2 of the camera 2 are synchronized.
  • the controller 5 acquires the processing delay time of the cameras 1 and 2 as described above.
  • the controller 5 sets the processing delay time of the camera 2 so that the processing delay time is d1 for the camera 2.
  • . (2-5) is the transmission timing 2 'after the processing delay time is set.
  • the adjustment of the processing delay time can be realized, for example, by adjusting the timing of reading out the packet sequence stored in the packet buffer 105 from the system encoder 104 to be input to the LAN interface circuit 107, as shown in FIG. Thereby, the transmission timing 1 of the camera 1 and the transmission timing 2 ′ of the camera 2 coincide.
  • (3-1) is the reception timing 1 when the controller 5 is receiving the LAN packet from the camera 1
  • (3-2) is the video expansion timing when the video expansion circuit 5031 is performing the video expansion processing.
  • 1 and (3-3) are the video output timing 1 of the camera 1 for one frame obtained by the video expansion circuit 5031.
  • (3-4) is the reception timing 2 when the controller 5 is receiving the LAN packet from the camera 2
  • (3-5) is the video expansion timing when the video expansion circuit 5032 is performing the video expansion processing.
  • Reference numerals 2 and (3-6) denote video output timing 2 of the camera 2 for one frame obtained by the video expansion circuit 5032.
  • (3-7) is the reference signal C in the controller 5
  • (3-8) is the display timing C of the display video output from the controller 5 to the display 6.
  • the controller 5 uses the reception timing 1 from the camera 1 as a reference for processing, and sequentially performs video expansion processing following the reception processing. Similarly, the video expansion process is performed following the reception process from the camera 2.
  • the transmission timing 1 of the camera 1 and the transmission timing 2 ′ of the camera 2 match, the video output timing 1 and the video output timing 2 match.
  • the reference signal C is generated in accordance with the video output timings 1 and 2, and display processing is performed at the pulse timing of the reference signal C, so that, for example, the video of the camera 1 and the video of the camera 2 are combined, and the display timing C This makes it possible to display the synthesized video on the display 6.
  • FIG. 14 is a diagram illustrating another example of the transmission processing timing of each camera in the present embodiment.
  • the controller 5 sets the processing delay time of the camera 2 so that the processing delay time is d1 for the camera 2.
  • the video compression is performed so that the camera 2 has the processing delay time d1.
  • This adjustment of the processing delay time can be realized, for example, by adjusting the timing at which the video compression circuit 102 reads out the video data stored in the video buffer from the video compression circuit 102 shown in FIG. (2-6) is the video compression timing 2 ′ after the processing delay time is set, and (2-7) is the transmission timing 2 ′′ associated therewith.
  • the transmission timing 1 of the camera 1 and the transmission timing 2 ′′ of the camera 2 coincide.
  • the video of the camera 1 and the video of the camera 2 can be synthesized and the synthesized video can be displayed on the display 6 at the display timing C.
  • the processing time delay time is defined as the reference signal that is the starting point to the transmission start time that is the ending point.
  • the starting point may be the time when the image sensor 101 starts imaging.
  • the end point may be the transmission end time of the transmission timing of each frame.
  • the video output timing of each camera can be matched by adding the difference in video expansion processing time due to the difference in compression method or bit rate for each camera to the setting processing time for the camera.
  • the controller 5 measures the video expansion processing time for each camera, sets the difference from the longest video expansion processing time as an additional processing delay time, and adds the processing delay time of each camera to each camera.
  • the video output timing ((3-3), (3-6), etc.) of each camera in the controller 5 can be more accurately determined. It is possible to align.
  • controller 5 since the controller 5 does not need to perform processing to absorb the display timing shift of the video from each camera, it is possible to display the video with the display timing matched without complicating the processing.
  • the example in which the reference signal 1 and the reference signal 2 of the camera are synchronized including the period and the phase has been described.
  • the phases are not necessarily matched.
  • the present embodiment assuming such a case, the case where the periods of the reference signal 1 and the reference signal 2 coincide but the phases do not coincide will be described.
  • a mechanism for synchronizing the time between each camera and the controller is provided.
  • a method of synchronizing the time for example, a method described in IEEE 1588 can be used.
  • the time is periodically synchronized between the systems, and the oscillation period of the reference signal in the system is adjusted using the time, for example, using a PLL (Phase Locked Loop). In this way, the period of the reference signal can be matched between systems.
  • PLL Phase Locked Loop
  • FIG. 15 is a diagram illustrating an example of transmission processing timing of each camera in the present embodiment.
  • Reference numerals (1-0) and (2-0) indicate reference times (internal clocks) of the cameras 1 and 2, respectively. These are made to coincide with each other by synchronizing periodically (for example, T0, T1) by the above method.
  • the reference signal 1 (1-1) is oscillated and generated internally. At that time, the oscillation period is adjusted based on the reference time 1 (1-0). Similarly, the camera 2 generates a reference signal 2 '(2-1) by internally oscillating. At that time, the oscillation period is adjusted based on the reference time 2 (2-0).
  • each camera adjusts the oscillation period of the reference signal based on the respective reference times, the periods of the reference signal 1 and the reference signal 2 ′′ coincide. However, the phases of each other do not necessarily match.
  • the time from the reference time T0 to the reference signal 1 is s1.
  • the camera 1 notifies the controller 5 of the processing delay time (step S103 in FIG. 9), it notifies s1 and d1.
  • the time from the reference time T0 to the reference signal 2 is s2, and the camera 2 notifies the controller 5 of s2 and d2.
  • d1 and d2 may be in the range from the shortest delay time to the longest settable time as in the first embodiment.
  • Each camera can measure s1 and s2 by referring to the reference time when the reference signal generation circuit 106 generates the reference signal, for example, starting from the time when the reference time is corrected.
  • (2-5) is the transmission timing 2 ′ ′′ after the processing delay time is set. Thereby, the transmission timing 1 of the camera 1 and the transmission timing 2 ′ ′′ of the camera 2 coincide with each other.
  • each camera may notify the controller 5 of the delay time at the time of activation, for example, or may notify the controller 5 of the delay time in response to a request from the controller 5. In the latter case, the camera can notify the controller 5 of the time difference between the reference time and the reference signal at that time.
  • the controller 5 can calculate the processing delay time set in the camera by reflecting the time difference between the reference time and the reference signal in each camera, the video compression method and the bit rate at the time of the request. The synchronization accuracy of the output timing of each camera image can be expected to improve.
  • the process of synchronizing the time in each camera may be performed in the control circuit 108 of FIG. 2, or a dedicated circuit for synchronizing the time may be provided separately from the control circuit 108. In the latter case, it can be expected that the accuracy of synchronization can be further improved by dedicating the dedicated circuit to time synchronization processing.
  • FIG. 16 shows a block diagram of Embodiment 3 of the present invention.
  • Example 3 will be described with reference to FIG.
  • a video image of 1920 ⁇ 1080 pixels captured at 30 frames / sec. H.264 / AVC (ISO / IEC 14496-10) standard video encoding, 12-bit audio data with a sampling rate of 48 KHz is subjected to MPEG1 Layer II audio encoding processing, packet-multiplexed, and transmitted over the network Is a network camera.
  • MPEG1 Layer II audio encoding processing packet-multiplexed
  • packet-multiplexed packet-multiplexed
  • the network it is assumed that, for example, a method defined in the IEEE 802.3 standard, which is a data link protocol, is used as a protocol to be used.
  • a method defined in the IEEE 802.3 standard which is a data link protocol
  • speech is sampled by conventional PCM and encoded and transmitted by MPEG1LayerII, and the block configuration is only shown in the drawing.
  • IEEE 1588 IEEE 1588-2002 Precise Clock Synchronization Protocol for Networked Measurement and Control Systems The method according to PTP (Precision Time Protocol) may be used. In the present embodiment, a time synchronization system will be described assuming a simplified protocol.
  • the receiver side is defined as the server for time synchronization
  • the transmitter side is defined as the client side that matches the time on the server side.
  • FIG. 17 shows a packet transmission / reception method performed for time synchronization between the server side and the client side.
  • the server side transmits an initial packet for obtaining synchronization information at the T1 time point to the transmitter side.
  • This packet is called a Sync packet
  • the network transmission / reception unit 29 in FIG. 16 that receives this packet transmits the packet to the packet separation unit 11.
  • the packet separation unit 11 determines that the packet is a Sync packet from the identifier, and sends it to the time information extraction unit 12 at the subsequent stage.
  • the time information extraction unit 12 obtains the packet transmission time (T1) on the server side described in the packet and the time (T2) when the packet arrives at the time information extraction unit 12 from the reference time counter 14 in the transmitter.
  • the reference time counter counts up the reference time using the system clock generated in the reference clock recovery 13 as will be described later.
  • the delay information generation unit 15 generates a packet (DelayReq) to be transmitted from the client to the server and sends it to the network transmission / reception unit 29.
  • the network transmitting / receiving unit 29 reads the timing (T3) at which this packet is transmitted from the reference time counter and transmits it to the receiver (server).
  • the information of T3 is transferred to the time information extraction unit 12.
  • the server reads the arrival timing (T4) of the DelayReq packet, describes this in the DelayResp packet, and transmits it to the client side.
  • the DelayResp packet that has arrived at the transmitter side (client) is transmitted to the packet separation unit 11, confirmed as a DelayResp packet, and then transmitted to the time information extraction unit 12.
  • the time information extraction unit 12 extracts T4 information described in the DelayResp packet. In the above process, the time information extraction unit 12 can obtain time information of T1, T2, T3, and T4.
  • Tnet T2 ⁇ T1 + T4 ⁇ T3
  • Toffset T2 ⁇ T1 It can be obtained as -Tnet.
  • the time information extraction unit 12 calculates Toffset by the above calculation when the T1, T2, T3, and T4 information is obtained. Further, the time information extraction unit 12 controls to return the reference time counter 14 from the current time by Toffset.
  • the reference clock recovery unit 13 is composed of, for example, a VCXO (Voltage-Controlled Crystal Oscillator), and Toffset is a positive value.
  • VCXO Voltage-Controlled Crystal Oscillator
  • Toffset is a positive value.
  • the clock sent from the reference clock recovery unit 13 to the reference time counter 14 is stabilized and converged to a frequency synchronized with the server side. It is possible to make it.
  • the transmitter side can update the reference time counter 14 in synchronization with the receiver side.
  • the network transmission / reception unit 29 transmits to the packet separation unit 11 not only the packet for time synchronization among the packets received from the receiver side but also the packet including the synchronization phase information.
  • the packet separation unit 11 sends a packet including the synchronization phase information to the synchronization phase information extraction unit 16.
  • This packet indicates the timing of the operation synchronization signal of the transmitter with reference to the reference time counter 14.
  • the network transmission / reception unit 29 receives a packet 30 (hereinafter referred to as “SyncPhase”) including the received synchronization phase information and sends it to the synchronization phase information extraction unit 16.
  • the synchronization phase information extraction unit 16 extracts the generation timing TA of the reference synchronization signal described in the SyncPhase.
  • TA indicates a reference time counter value at which the reference synchronization signal should be generated on the transmitter side.
  • the storage location in the packet is standardized on the transmission / reception side and the data is analyzed based on the syntax, it is possible to uniquely identify the storage location of the TA information and extract the data.
  • the extracted timing TA is transferred to the reference synchronization signal generator 17.
  • the reference synchronization signal generator 17 refers to the reference time sent from the reference time counter 14 as shown in FIG. 18, generates a reference synchronization signal 32 at the time when TA timing is reached, and transmits it to the sensor control unit 18. .
  • the reference synchronization signal 33 is generated as needed every time a packet after the subsequent SyncPhase 31 arrives.
  • the sensor control unit 18 Upon receiving the reference synchronization signal, the sensor control unit 18 generates the sensor vertical synchronization signal generated by the free-run operation at the cycle Tms as shown in 34 and 35 of FIG. 18 at the timing of 32 reference synchronization signals. Change the generation timing of the sync signal.
  • the period Tms is counted based on the reference clock received from the reference clock recovery 13, and a sensor vertical synchronization signal is generated every period Tms (36 to 39 in FIG. 18). Further, since the synchronization signal after the reference synchronization signal 33 is at the same timing as the vertical synchronization signal generated by the sensor control unit 18, the signal generation for each cycle Tms is continued as long as no phase shift is detected. To do.
  • phase adjustment confirmation completion signal is transmitted to the system control unit 28.
  • the system control unit 28 determines the phase shift. Notification of. As described above, even if the transmission interval timing of the information (SyncPhase) for phase adjustment is relatively longer than the generation cycle Tms of the vertical synchronization signal, the vertical synchronization signal generated in the sensor control unit 18 is once phase-adjusted. At this stage, it is possible to generate the vertical synchronization signal with high accuracy based on the reference clock and the reference time. In this respect, this system is also effective in reducing network traffic due to transmission.
  • the system control unit 28 controls the lens unit 19, the CMOS sensor 20, the digital signal processing unit 21, and the video encoding unit 22 system Mux unit to start video encoding.
  • video coding general digital video imaging and digital compression coding are performed.
  • the lens unit 19 moves the lens unit for AF (AutoFocus) received from the system control unit 28, and the CMOS sensor 20 receives the light from the lens unit and amplifies the output value, and then outputs a digital signal as a digital image.
  • the data is output to the processing unit 21.
  • the digital signal processing unit 21 performs digital signal processing from, for example, Bayer-arrayed RAW data received from the CMOS sensor 20, converts the data into luminance and color difference signals (YUV signals), and then transfers them to the video encoding unit 22.
  • the video encoding unit treats a group of images captured within each vertical synchronization as a unit as a picture and performs an encoding process.
  • an I picture intra picture
  • a P picture predictive picture
  • the video encoding unit 22 adjusts the encoding amount after encoding each MB (Macroblock) composed of 16 horizontal pixels ⁇ 16 vertical pixels so as to approach the bit generation amount of a constant bit rate.
  • the generated code amount for each MB can be controlled by adjusting the quantization step.
  • the system Mux unit stores the bit stream in the internal buffer.
  • the system Mux unit stores the video stream as an MPEG2TS stream with a fixed length of 188 bytes.
  • the TS packet is held and output.
  • the network transmission / reception unit 59 converts the packet into a MAC packet and transmits it to the receiver side via the network.
  • FIG. 19 is a diagram illustrating a transition state of the stream accumulation amount of the internal buffer in the system Mux unit.
  • a code obtained by encoding each MB for each MB period is instantaneously accumulated in the buffer, and a stream is output to the network at a constant throughput for each MB period.
  • the output start timing of the stream in the system Mux unit is such that the code generation amount (throughput) of the bit stream fluctuates when output to the outside at a constant bit rate, and the encoded data stored in the buffer of the system Mux unit is the most Control is performed by waiting for a predetermined waiting time (91 in FIG. 19) in which the buffer of the system Mux unit is not depleted even when the number is reduced (90 timing in FIG. 19).
  • these controls monitor the actual coding amount, change the quantization step according to the transition of the buffer, thereby controlling the coding amount within a predetermined number of MBs, and reduce the throughput. It is possible to suppress the jitter range within a certain range with respect to the output bit rate.
  • the reference clock generation unit 51 generates a reference clock on the receiver side.
  • This reference clock is a reference clock for synchronizing the time on the server side and the client side shown in FIG. 17, and is generated by a free-run operation at 51 without using other external synchronization by a crystal oscillator or the like.
  • the reference time counter 52 counts the reference time on the server side.
  • the time control packet generator 53 generates a packet (Sync) for time synchronization shown in FIG. 17 using this reference time. T1 described in the packet at the time of transmission of Sync is generated in this block.
  • the generated (Sync) packet is multiplexed with other packets in the packet multiplexing unit 58, further modulated in the network transmission / reception unit 59, and transmitted to the transmission unit via the network connected from the network terminal 60 to the outside.
  • the SyncReq packet received from the transmission unit is received, the reception timing is notified from the network transmission / reception unit 59, and the time control packet generation unit 53 records the reference time (T4 in FIG. 17). Using this T4, the time control packet generator 53 generates a DelayResp packet, which is transmitted to the transmitter side via the packet multiplexer 58 and the NW transceiver 59.
  • the output synchronization signal generation unit 55 With the reference clock generated by the reference clock generation unit 51 as a reference, the output synchronization signal generation unit 55 generates a vertical synchronization signal at the time of output. This vertical synchronization signal is sent to the transmitter synchronization phase calculation unit 56.
  • the phase of the vertical synchronizing signal on the transmitter side is calculated from the phase of the vertical synchronizing signal at the time of output on the receiver side, and using the counter information in the reference time counter, the SyncPhase shown in FIG. Generate a packet.
  • the SyncPhase packet is transmitted to the packet multiplexing unit, and transmitted to the transmitter side from the network transmission / reception unit 59 and the network terminal 60 in the same manner as the Sync packet.
  • the MAC packet including the MPEG2TS stream related to the video received by the network transmission / reception unit 59 is transferred to the system Demux unit 61.
  • the system demux unit 61 performs TS packet separation and video stream extraction.
  • the extracted video stream is transferred to the video decoding unit 62.
  • the audio stream is sent to the audio composite unit 65, and after digital / audio conversion is performed by the DA converter 66, it is output to the speaker.
  • the system Demux unit 61 stores the stream in the internal buffer for a predetermined waiting time, and then outputs the stream to the video decoding unit 62 and starts decoding.
  • FIG. 21 shows an example of a transition situation when a stream is accumulated in the internal buffer in the system Demux unit 61.
  • the stream is supplied from the network at a constant bit rate, and is modeled so that a stream for each MB is output instantaneously in the video decoding unit 62 at each MB unit time.
  • Stream input starts from the stage of time T0, and after waiting for the period shown in period 92, decoding of the stream is started. This provides a waiting time to prevent underflow even when the storage amount of the stream becomes the smallest as shown at timing 93.
  • This waiting time can be realized by defining a time longer than the convergence time as the waiting time when the transmitter knows the minimum convergence time necessary to converge the generated code amount to the transmission bit rate of the network. .
  • the video stream read from the demux unit 61 is decoded by the video decoding unit 62 to generate a decoded image.
  • the generated decoded image is transferred to the display processing unit 63, transmitted to the display 64 at a timing synchronized with the vertical synchronization signal, and displayed as a moving image.
  • the image signal is output from the external terminal 69 for transmission to an external image recognition device (not shown).
  • FIG. 22 is a diagram showing the relationship of control timing in each functional block from the transmitter to the receiver.
  • the vertical synchronization signal 40 in FIG. 22 is a vertical synchronization signal generated by the sensor control unit 18 in FIG. 16, the sensor readout signal 41 in FIG. 22 is the timing at which data is read from the CMOS sensor in FIG. 16, and the image capture in FIG. 42 is a video input timing to the video encoding unit 22 in FIG. 16, and an encoded data output 43 in FIG. 22 is a timing at which a video encoded stream is output from the video encoding unit 22 in FIG.
  • the encoded data input 44 in FIG. 20 is the timing at which the encoded data is input to the video decoding unit 62 in FIG. 20, and the decoded output vertical synchronization signal in FIG. 22 is sent from the display processing unit 63 in FIG.
  • the vertical synchronization signal output to 69 and the decoded image output 46 of FIG. 22 are sent from the display processing unit 63 of FIG. It shows the effective pixel period of the image to be force. For convenience, it is considered that the vertical blanking period from the vertical synchronization timing 40 to the sensor readout timing 41 and the vertical blanking period from the decoding-side output vertical synchronization signal to the decoded image output 46 are the same.
  • Tdelay is the delay time from the video capture on the transmitter side to the packet transmission via the encoding process and the network transfer delay, and the delay required from the packet capture on the receiver side to the output via the decoding process It can be defined by totaling time.
  • the TA, TB, and TC calculated in this way are transmitted to the transmitter by SyncPhase as shown in FIG.
  • the transmission time of the SyncPhase storing the time information of TA, TB, TC arrives at the transmitter side, and is transmitted in consideration of the delay time Tnet of the network so that the arrival time is sufficiently before TA, TB, TC, respectively. Send to the machine.
  • the transmission timing is Tsp
  • the transmitter side analyzes the information in the SyncPhase after receiving the SyncPhase. It is possible to realize this by selecting Tx that satisfies Tsp + Tnet + Ty ⁇ Tx and generating a SyncPhase packet.
  • each period that defines the control timing such as Tdelay, Tnet, Ty, etc., when jitter occurs in that period due to processing load, etc., each is considered with the worst value of the corresponding period, so that equivalent control can be performed. Is possible.
  • Tdelay can be defined as described above because it has means for determining the transmission delay of the network, and further, the buffer storage time is fixed at a predetermined time for the encoding delay of the transmitter and the decoding delay of the receiver. If the relationship is such that TA + Tdelay> ta without performing the control as in this embodiment, the video captured between TA and TB is output on the receiver side in the frame period starting from ta. The output timing needs to be delayed until tb.
  • the total delay time can be made closer to the delay time that can be realized with the transmission capability of the network and the delay times required for encoding and decoding of the transmitter and the receiver.
  • FIG. 23 and FIG. 24 show the procedures related to clock synchronization, time synchronization, reference synchronization signal phase adjustment, and transmission of an encoded stream described in the above embodiments for a transmitter and a receiver, respectively.
  • FIG. 25 shows a system in which the network camera unit 1 and the receiver 5 using the transmitter described in this embodiment are connected via a network.
  • the network camera system as described above, the total delay from imaging at the transmitter to video output on the receiver side is ensured while guaranteeing a delay time during which video information can continue to be sent without failure of the transmission system. It is possible to construct a video transfer system that is reduced in size.
  • the phase of the synchronization signal for imaging on the transmitter side (the time difference between the most recent rise timings) becomes constant each time the system is started with respect to the timing of the synchronization signal for the receiver to output video.
  • the design is facilitated even in a system that requires subsequent image processing and strict synchronization timing with other devices.
  • phase information is transferred from the receiver side as an alternative to the vertical synchronization signal of the present embodiment, thereby providing the same effect as the present embodiment.
  • the time synchronization server has the same definition as the receiver, but the time synchronization server may be an individual device different from the receiver.
  • the receiver becomes a client as well as the transmitter, the clock synchronization, the reference time counter is synchronized with the server, and then the synchronization phase information is transmitted to the transmitter, the same as this embodiment Bring effect.
  • the synchronization phase information is transmitted to the transmitter, the same as this embodiment Bring effect.
  • it is useful when a plurality of receiving systems exist in the network and it is desired to control them with a common clock.
  • IP Internet Protocol
  • TCP Transmission Control Protocol
  • UDP User Datagram Protocol
  • RTP Real-time Transport-Protocol
  • HTTP Hyper-Text Transfer-Protocol
  • a protocol system defined by the IEEE 802.3 standard may be used.
  • FIG. 26 is a diagram illustrating an example of an internal block configuration of the reception-side controller 5 according to the present embodiment.
  • the cameras 1, 2, and 3 are connected to LAN interface circuits 5011, 5012, and 5013, respectively.
  • the reference clock generation unit 51 generates a reference clock
  • the reference time counter 52 counts the reference time of the controller 5 on the server side based on the reference clock.
  • the time control packet generator 53 generates a packet (Sync) for time synchronization shown in FIG. 17 using this reference time. T1 described in the packet at the time of transmission of Sync is generated in this block.
  • the generated (Sync) packet is multiplexed with other packets in the packet multiplexing unit 58, further modulated in the LAN interface circuits 5011, 5012, and 5013, and transmitted to the cameras 1 to 3 via the externally connected network. Is transmitted.
  • the reception timing notification is received from the LAN interface circuits 5011, 5012, and 5013, and the DelayReq packet from the cameras 1 to 3 arrives at the time control packet generator 53. Each time is recorded.
  • a DelayResp packet is generated by the time control packet generator 53 using each T4, and is transmitted to the cameras 1 to 3 via the packet multiplexer 58 and the LAN interface circuits 5011 to 5013.
  • the output synchronization signal generation unit 55 With the reference clock generated by the reference clock generation unit 51 as a reference, the output synchronization signal generation unit 55 generates a vertical synchronization signal at the time of output. This vertical synchronization signal is sent to the transmitter synchronization phase calculation unit 56. As described above, the phase of the vertical synchronizing signal on the transmitter side is calculated from the phase of the vertical synchronizing signal at the time of output on the receiver side, and the SyncPhase packet shown in FIG. 18 is generated using the counter information in the reference time counter. To do. The SyncPhase packet is transmitted to the packet multiplexing unit 58, and is transmitted to the cameras 1 to 3 via the LAN interface circuits 5011, 5012, and 5013 in the same manner as the Sync packet.
  • the LAN packets 60 generated by the cameras 1 to 3 are input to the LAN interface circuits 5011 to 5013, respectively, and the LAN interface circuits 5011 to 5013 receive the LAN packet header. 601 is removed, and the transport packet 40 is extracted from the LAN packet data 602 according to the network protocol described above.
  • the transport packet 40 is input to the system decoders 5021 to 5023, and the packet information 402 described above is extracted from the transport packet 40 and combined into the digital compressed video signal shown in FIG.
  • This digital compressed video signal is subjected to expansion processing in video expansion circuits 5031 to 5033 and is input to the image processing circuit 504 as a digital video signal.
  • the image processing circuit 504 performs distortion correction of the video signal from each camera, viewpoint conversion by coordinate replacement, synthesis processing, etc., and outputs to the OSD circuit 505 or recognition of the object shape by the video signal from each camera, distance Image processing such as measurement is performed.
  • the OSD circuit 505 superimposes characters and figures on the video signal from the image processing circuit 504 and outputs it to the display 6.
  • the operations of the cameras 1 to 3 in the present embodiment are synchronized with each other, and the controller 5 and the cameras 1 to 3 are synchronized in time. Further, each of the SyncPhase packets from the controller 5 is received, and a reference synchronization signal is generated based on the time information. Therefore, the reference synchronization signals of the cameras 1 to 3 are finally synchronized.
  • FIG. 27 is a diagram illustrating an example of the transmission processing timing of each camera and the reception processing timing of the controller 5 in the present embodiment.
  • (1-1) to (1-4) are processing timings of the camera 1
  • (2-1) to (2-4) are processing timings of the camera 2, and (3-1) to (3-8). )
  • the reference signal 1 of the camera 1 and the reference signal 2 of the camera 2 are synchronized, that is, their frequency and phase match.
  • d3 is the time until the video imaged by the camera 1 is obtained from the reference signal 1 by the controller 5
  • d4 is the time until the video imaged by the camera 2 is obtained by the controller 5 from the reference signal 2. It is assumed that d3 is larger. Accordingly, the delay time Tdelay required for the phase difference between the vertical synchronization signals on the transmission side and the reception side from the video capture to the output is d3.
  • the time to go back is set to be greater than d3, so that the processing timing of the controller 5 is the reference signal C of (3-7) and (3-8).
  • Display video display timing C As described above, the phase difference between the vertical synchronization signals on the transmission side and the reception side can be adjusted to be equal to or close to Tdelay. That is, the total delay time can be made close to the delay time that can be realized by the transmission capability of the network and the delay time required for encoding and decoding of the transmitter and the receiver.
  • controller 5 since the controller 5 does not need to perform processing to absorb the display timing shift of the video from each camera, it is possible to display the video with the display timing matched without complicating the processing.
  • the shortest delay time can be realized by inquiring each camera connected to the processing delay time of each camera.
  • each camera is inquired about the processing delay time of each camera.
  • each camera replies with a delay time that can be set by the camera, as in FIG.
  • a SyncPhase packet is generated based on the processing delay time of each camera.
  • FIG. 28 is a flowchart of the time information setting process when the SyncPhase packet is generated by the controller in this embodiment.
  • the processing delay time Tdelay is determined (step S2801).
  • the processing time d5 including the network delay time Tnet, the reception process, and the expansion process is selected.
  • the added time is defined as a reception processing delay time Tdelay.
  • the controller 5 calculates a time that goes back the Tdelay time determined in step S2801, stores it in the SyncPhase packet, and transmits it to each camera (step 2802).
  • the setting result response from each camera is received (step S2803).
  • each camera generates a reference synchronization signal as described in FIG. 18 of the third embodiment.
  • the reference synchronization signal of each camera is set to a time that is back from the Tdelay time with respect to the reference synchronization signal of the controller 5.
  • FIG. 29 is a diagram showing an example of the transmission processing timing of each camera and the reception processing timing of the controller 5 in this case.
  • the reference signal 1 of the camera 1 and the reference signal 2 of the camera 2 are within the processing delay time d1 of the camera 1 and the processing delay time d2 of the camera 2 with respect to the reference signal C of the controller 5. It coincides with a position that goes back to the Tdelay time, which is a time obtained by adding the longer processing time d1, the network delay time Tnet, and the processing time d5 that is a combination of the reception processing and the expansion processing.
  • the controller 5 inquires each camera about the processing delay time of each camera. For example, when the camera is turned on or connected to the LAN 4, the controller 5 notifies the controller 5 from the camera side. Also good.
  • FIG. 30 is a diagram illustrating another example of the transmission processing timing of each camera and the reception processing timing of the controller 5.
  • the controller 5 sets the processing delay time of the camera 2 so that the processing delay time is d1 for the camera 2. (2-5) is the transmission timing 2 'after the processing delay time is set.
  • the adjustment of the processing delay time can be realized, for example, by adjusting the timing of reading out the packet sequence stored in the packet buffer 105 from the system encoder 104 to be input to the LAN interface circuit 107, as shown in FIG. Thereby, the transmission timing 1 of the camera 1 and the transmission timing 2 ′ of the camera 2 coincide.
  • the network camera system in which the time from imaging to video output becomes the imaging time with the shortest delay time that can be realized between connected devices by following these series of control procedures. It is possible to build
  • Video decompression circuit 504 ... Image processing circuit, 505 ... OSD circuit, 506 ... Reference Signal generation circuit 507... Control circuit 60.
  • LAN packet 601 LAN packet header 602 LAN packet information 11 Packet separation unit 12 Time information extraction unit 13 Reference clock recovery 14 Reference time counter , 15 ... Delay information generation unit, 16 ... Synchronization phase information extraction unit, 17 ... Reference synchronization signal generator, 18 ... Sensor control unit, 21 ... Digital signal processing unit, 24 ... Microphone, 25 ... AD converter, 26 ... Audio Encoding unit, 27 ... System Mux, 28 ... System control unit, 51 ... Reference clock generation unit, 52 ... Reference time counter, 53 ... Time control packet generation unit, 55 ... Output synchronization signal generation unit, 56 ...
  • Transmitter synchronization phase Calculation unit 58 ... multiplexing unit, 61 ... system demux unit, 63 ... display processing unit, 64 ... display unit, 65 ... speech decoding unit, 66 DA conversion unit, 67 ... speaker section

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

　複数の映像送信装置から受信した映像を同時に表示するために映像受信側の処理が複雑となる課題があった。　時刻情報に基づいて基準信号を発生する基準信号発生手段と、基準信号発生手段により発生された基準信号に基づいて映像信号を撮像する撮像手段と、撮像手段により撮像した映像信号をディジタル圧縮符号化する圧縮手段と、ネットワークから、時刻情報と、時刻情報に対する基準信号の位相情報を受信し、また、ディジタル圧縮符号化された映像信号を送信するネットワーク処理手段と、基準信号発生手段とネットワーク処理手段を制御する制御手段を備えた映像送信装置。ここで制御手段は、基準信号発生手段で発生した基準信号の位相を、ネットワーク処理手段で受信した時刻情報と位相信号に応じて変更する。

Description

映像送信装置、映像送信方法、映像受信装置、および映像受信方法
　映像を伝送する装置に関する。
　上記技術分野に関し、例えば特許文献１には、ネットワークを介して映像を伝送する際に、表示時間を調節する機能持った伝送装置が開示されている。
特開平９－５１５１５号公報
　しかし、特許文献１に記載の技術は、複数の映像送信装置から受信した映像を同時に表示するために映像受信側の処理が複雑となる課題があった。
　そこで本明細書では例えば、映像受信装置の制御に応じて、映像送信装置がその出力遅延時間を制御する構成とする。
　本発明によれば、出力遅延時間を考慮した映像伝送システムを提供できる。
映像送信装置、映像受信装置を含む映像伝送システムの一例を示す図である。 映像送信装置の内部ブロック構成の一例を示す図である。 映像送信装置のディジタル圧縮処理の一例を示す図である。 映像送信装置のディジタル圧縮映像信号の一例を示す図である。 映像送信装置のディジタル圧縮映像信号のパケットの一例を示す図である。 映像送信装置のＬＡＮパケットの一例を示す図である。 映像受信装置の内部ブロック構成の一例を示す図である。 映像受信装置の内部ブロック構成の他の一例を示す図である。 映像受信装置の遅延時間確認処理のフローチャートの一例を示す図である。 映像送信装置の遅延時間回答処理のフローチャートの一例を示す図である。 映像受信装置の遅延時間設定処理のフローチャートの一例を示す図である。 映像送信装置の遅延時間設定処理のフローチャートの一例を示す図である。 映像送信装置の送信処理タイミングと映像受信装置の受信処理タイミングの一例を示す図である。 映像受信装置の送信処理タイミングと映像受信装置の受信処理タイミングの他の一例を示す図である。 映像受信装置の送信処理タイミングと映像受信装置の受信処理タイミングの他の一例を示す図である。 映像送信装置のブロック構成の他の一例を示す図である。 時刻同期を行うためのプロトコルの一例を示す図。 同期位相調整パケットのタイミングの一例を説明する図である。 映像送信装置の符号化信号格納量の遷移の一例を説明する図である。 映像受信装置のブロック構成の他の一例を示す図である。 映像受信装置の符号化信号格納量の遷移の一例を説明する図である。 各ブロックの制御タイミングの一例を示す図である。 映像送信装置の動作フローの他の一例を示す図である 映像受信装置の動作フローの他の一例を示す図である。 ネットワークカメラシステムの例を示す図である。 映像受信装置のブロック構成の他の一例を示す図である。 映像送信装置の送信処理タイミングと映像受信装置の受信処理タイミングの他の一例を示す図である 映像受信装置の遅延時間設定処理のフローチャートの他の一例を示す図である。 映像送信装置の送信処理タイミングと映像受信装置の受信処理タイミングの他の一例を示す図である。 映像送信装置の送信処理タイミングと映像受信装置の受信処理タイミングの他の一例を示す図である。
　図１は、映像伝送装置であるカメラを含む映像伝送システムの形態の一例である。図１において、１はカメラであり、２から３は別のカメラである。４はＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、５はコントローラであり、カメラ１から３は、ＬＡＮ４を介してコントローラ５と接続されている。６はディスプレイである。ネットワークにおいては、使用するプロトコルとして、例えばデータリンクプロトコルであるＩＥＥＥ８０２．３規格で規定されている方式を用いてもよいし、さらにネットワークプロトコルのＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）を使用し、その上位のトランスポートプロトコルにはＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）およびＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）を用いてもよい。映像や音声の伝送には更に上位のアプリケーションプロトコル、例えばＲＴＰ（Ｒｅａｌ－ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）やＨＴＴＰ（Ｈｙｐｅｒ Ｔｅｘｔ ＴｒａｎｓｆｅｒＰｒｏｔｏｃｏｌ）等が使用される。その他、ＩＥＥＥ８０２．３規格で規定されているプロトコル方式を用いてもよい。コントローラ５は、各カメラから配信される映像や音声データを受信し、ディスプレイ６、スピーカ７に映像、音声をそれぞれ出力する。ＬＡＮ４の構成としては、例えば、各カメラとコントローラ５が各々１対１で直接接続される形態や、図示しないスイッチングハブ装置を介して接続され、カメラは２台以下や４台以上の接続も可能である。
　図２は、映像伝送装置であるカメラ１の内部ブロック構成の一例を示す図である。１００はレンズ、１０１は撮像素子、１０２は映像圧縮回路、１０３は映像バッファ、１０４はシステムエンコーダ、１０５はパケットバッファ、１０６は基準信号発生回路、１０７はＬＡＮインタフェース回路、１０８は制御回路、１０９はメモリである。
　レンズ１００を介して撮像素子１０１で得られた映像信号は、映像圧縮回路１０２に入力され、色調やコントラストの補正が行われて、映像バッファ１０３に格納される。次に、映像圧縮回路１０２は、映像バッファ１０３に格納された映像データを読み出して、例えば、映像圧縮符号化方式としてＩＳＯ／ＩＥＣ１３８１８－２（通称ＭＰＥＧ２Ｖｉｄｅｏ）ＭＰ＠ＭＬ（Ｍａｉｎ　Ｐｒｏｆｉｌｅ＠Ｍａｉｎ　Ｌｅｖｅｌ）規格に準拠した圧縮符号化データを生成する。その他、映像圧縮符号化方式としては、Ｈ．２６４／ＡＶＣ規格方式やＪＰＥＧ規格方式でもよい。また、異なる映像圧縮符号化方式のカメラが混在してもよいし、一つのカメラが映像圧縮符号化方式を選択して切り換えてもよい。生成した圧縮符号化映像データは、システムエンコーダ１０４に入力される。基準信号発生回路１０６は、例えば映像信号フレームの区切りを示すフレームパルスを撮像素子１０１や映像圧縮回路１０２の処理タイミングの基準となる基準信号として、撮像素子１０１、映像圧縮回路１０２に供給する。この基準信号に従って、撮像素子による映像の撮影、撮影した映像の圧縮、および圧縮した映像の送信（後述）が行われる。この基準信号は、各カメラの間で同期した信号であり、同期の方法としては、例えば一台のカメラの同期信号を他のカメラに入力する方法などがある。
　次に、システムエンコーダ１０４に入力された、圧縮符号化映像データは、以下示すように、パケット化される。
　図３は、ディジタル圧縮処理の例であり、ディジタル圧縮映像信号のフレーム単位で圧縮されたイントラフレームデータと、前後のフレームのデータよりの予測を用いて差分情報のみの圧縮を行ったインターフレームデータの関係である。２０１はイントラフレーム、２０２はインターフレームである。ディジタル圧縮映像信号は、所定数のフレーム、例えば１５フレームを一つのシーケンスとし、その先頭はイントラフレームとし、残りのフレームはイントラフレームからの予測を用いて圧縮したインターフレームとしている。もちろん、先頭以外にもイントラフレームを配置するようにしてもよい。また、先頭のフレームのみをイントラフレームとし、後続のフレームは全てインターフレームとしてもよいし、全てのフレームをイントラフレームとしてもよい。
　図４は、ディジタル圧縮映像信号の構成である。３０２はフレーム単位で付加されるピクチャヘッダ、３０１はシーケンス単位で付加されるシーケンスヘッダである。シーケンスヘッダ３０１は、同期信号及び伝送レート等の情報により構成される。ピクチャヘッダ３０２は、同期信号及びイントラフレームかインターフレームかの識別情報等により構成される。通常、各データの長さは情報量により変化する。このディジタル映像圧縮信号は、後述のトランスポートパケットに分割されてパケット列となる。
　図５はディジタル映像圧縮信号のトランスポートパケットの構成例である。４０はそのトランスポートパケットであり、１パケットは固定長、例えば、１８８バイトで構成され、パケットヘッダ４０１と、パケット情報４０２により構成されている。図４で説明したディジタル圧縮映像信号は、パケット情報４０２の領域に分割され配置され、また、パケットヘッダ４０１はパケット情報の種類等の情報により構成される。
　システムエンコーダ１０４によりパケット化されたディジタル映像圧縮信号は、パケットバッファ１０５に一旦格納され、パケットバッファ１０５から読み出されたパケット列は、ＬＡＮインタフェース回路１０７に入力される。
　図２のＬＡＮインタフェース回路１０７では、入力されたパケット列を、例えばＩＥＥＥ８０２．３規格に準拠したＬＡＮパケットにパケット化して出力する。
　図６は、システムエンコーダ１０４によって生成されたパケット列のＬＡＮパケット化の例を示す図である。ＬＡＮパケット６０は、例えば1パケットが最大１５１８バイトの可変長で、ＬＡＮパケットヘッダ６０１とＬＡＮパケット情報６０２で構成される。システムエンコーダ１０６によって生成されたトランスポートパケット４０は、前述のネットワークプロトコルに従って、ＬＡＮパケット情報６０２の領域にデータ誤り検出符号などと共に格納され、各カメラを識別するためのＬＡＮ４上におけるアドレス情報などが格納されるＬＡＮパケットヘッダ６０１が付加されてＬＡＮパケット６０としてＬＡＮに出力される。
　また、ＬＡＮインタフェース回路１０７では、ＬＡＮ４に接続されている機器との制御のための情報のやり取りが行われる。これは、制御回路１０８からの指示などの情報をＬＡＮパケット情報６０２に格納し、ＬＡＮ４上に送信、あるいはＬＡＮ４から受信したＬＡＮパケット６０のＬＡＮパケット情報６０２から情報を取り出し制御回路１０８に伝達することで行われる。
　図７は、コントローラ５の内部ブロック構成の一例を示す図である。５０１１～５０１３はＬＡＮインタフェース回路、５０２１～５０２３はシステムデコーダ、５０３１から５０３３は映像伸張回路、５０４は画像処理回路、５０５はＯＳＤ（Ｏｎ－Ｓｃｒｅｅｎ　Ｄｉｓｐｌａｙ）回路、５０６は基準信号発生回路、５０７は制御回路、５０８はメモリである。
　図７の説明においては、システムデコーダ５０２１～５０２３、映像伸張回路５０３１～５０３３、画像処理回路５０４はハードウェアとして説明される。しかしこれらは、制御回路５０７が各々に対応する機能を持つプログラムをメモリ５０８に展開して実行することにより、各機能をソフトウェアでも実現可能である。以下では説明の簡略化のため、各機能に対応するプログラムを制御回路５０７が実行する場合も含め、システムデコーダ５０２１～５０２３、映像伸張回路５０３１～５０３３、画像処理回路５０４が動作主体として各処理を実行するように説明する。
　カメラ１～３で生成されたＬＡＮパケット６０は、それぞれＬＡＮインタフェース回路５０１１～５０１３へ入力される。カメラ１から入力されたＬＡＮパケット６０は、ＬＡＮインタフェース回路５０１１において、ＬＡＮパケットヘッダ６０１が取り除かれ、前述のネットワークプロトコルに従い、ＬＡＮパケットデータ６０２からトランスポートパケット４０が取り出される。トランスポートパケット４０は、システムデコーダ５０２１に入力され、トランスポートパケット４０から前述のパケット情報４０２が取り出され、結合されて、図４で示したディジタル圧縮映像信号となる。このディジタル圧縮映像信号は、映像伸張回路５０３１において、伸張処理が行われ、ディジタル映像信号として画像処理回路５０４に入力される。カメラ２、３から入力されるＬＡＮパケット６０についても同様の処理が行われ、映像伸張回路５０３２、５０３３からディジタル映像信号が画像処理回路に入力される。画像処理回路５０４では、各カメラからの映像信号の歪補正、座標の置き換えによる視点変換、合成処理等を施し、ＯＳＤ回路５０５に出力、あるいは、各カメラからの映像信号による物体形状の認識、距離の計測などの画像処理を行う。ＯＳＤ回路５０５では、画像処理回路５０４からの映像信号に文字や図形を重畳し、ディスプレイ６に出力する。
　基準信号発生回路５０６は、例えば映像信号フレームの区切りを示すフレームパルスを画像処理回路５０４やＯＳＤ回路５０５の処理タイミングの基準となる基準信号として、画像処理回路５０４、ＯＳＤ回路５０５に供給する。この基準信号は、例えば１フレーム分の映像伸張処理が完了した時点を基準とし発生され、基準信号の調節は、制御回路５０７が基準信号発生回路５０６を制御することで行われる。
　また、ＬＡＮインタフェース回路５０１１から５０１３では、各カメラとの制御のための情報のやり取りを行うため、制御回路５０７からの指示などの情報を、ＬＡＮパケット情報６０２に格納し、各カメラに送信、あるいは各カメラから受信したＬＡＮパケット６０のＬＡＮパケット情報６０２から情報を取り出し制御回路５０７に伝達する。
　図８は、コントローラ５の内部ブロック構成の他の一例を示す図である。５０１はＬＡＮインタフェース回路であり、図示しないスイッチングハブ装置を介してカメラ１から３に接続される。ＬＡＮインタフェース回路５０１では、前述のＬＡＮパケットヘッダ６０１に格納されているアドレス情報から、各カメラからのＬＡＮパケットを区別し、前述のネットワークプロトコルに従い、ＬＡＮパケット６０のＬＡＮパケット情報６０２から取り出したトランスポートパケット４０をシステムデコーダ５０２１～５０２３に振り分けて出力する。システムデコーダ５０２１～５０２３以降の処理は、図７の説明と同様である。
　また、ＬＡＮインタフェース回路５０１では、各カメラとの制御のための情報のやり取りを行うため、制御回路５０７からの指示などの情報を、ＬＡＮパケット情報６０２に格納し、各カメラに送信、あるいは各カメラから受信したＬＡＮパケット６０のＬＡＮパケット情報６０２から情報を取り出し制御回路５０７に伝達する。
　図９は、本実施例における、コントローラによる遅延時間取得処理のフローチャートである。コントローラ５は、まずＬＡＮ４に接続されているカメラを確認する（ステップＳ１０１）。これは例えばＬＡＮ４に接続されている装置全てにパケットを送信できるブロードキャストパケットにより実現できる。また、各カメラに対し個別に確認のパケットを送信してもよい。次にＬＡＮ４に接続されている各カメラに対し、それぞれのカメラの処理遅延時間を問い合わせ（ステップＳ１０２）、各カメラからの処理遅延時間の回答を受信する（ステップＳ１０３）。これにより、コントローラ５は、ＬＡＮ４に接続されているカメラの処理遅延時間を取得することができる。これらの処理は、例えばコントローラ５の電源立ち上げ時に行われる。
　図１０は、本実施例における、カメラにおける遅延時間回答処理のフローチャートである。前述のように、コントローラ５から、遅延時間問い合わせ要求を受信した場合（ステップＳ３０１）、そのカメラで設定可能な遅延時間、例えば最短遅延時間から設定可能な最長遅延時間までの範囲をコントローラ５に対し回答として送信する（ステップＳ３０２）。これにより、ＬＡＮ４に接続されているカメラは、そのカメラの処理遅延時間をコントローラに伝達することが可能になる。カメラは、コントローラ５からの要求より前に、又はコントロール５からの要求に応じ、取得する映像の圧縮方法、映像のビットレートに基づいて最短遅延時間を算出し、算出した最短遅延時間をメモリ１０９に格納し、必要に応じメモリ１０９から最短遅延時間を読み出して上記のとおりコントローラ５に対し通知する。コントローラ５からの要求に応じてカメラが最短遅延時間を算出する場合、その要求時点における、カメラでの映像の圧縮方法やビットレートに応じた最短遅延時間を算出できるという効果がある。特にコントローラ５がカメラに圧縮方法やビットレートの変更を指示可能な場合には効果的である。
　図１１は、コントローラによる遅延時間設定処理のフローチャートである。まず設定する処理遅延時間を決定する（ステップＳ２０１）。ここでは、図９の遅延時間取得処理により得られた各カメラの最短遅延時間の中で一番長い時間を、各カメラに設定する処理遅延時間とする。ただし、各カメラの最長遅延時間の中で一番短い時間よりも短い処理遅延時間がカメラに設定されることを要件とする。
　この要件が満たされない場合は、コントローラ５は、満たされない最短遅延時間を送信したカメラに対し、最短遅延時間の短縮要求を送信し、また、満たされない最長遅延時間を送信したカメラに対し、最長遅延時間の延長要求を送信する。最短遅延時間の短縮要求を受け取ったカメラは、例えば、圧縮処理方法を変更することにより、最短処理時間の短縮を試みることが可能である。コントローラ５は、前記短縮要求に対して各カメラから受け取った最短遅延時間、最長遅延時間が上記要件を満たすか判断する。要件がなおも満たされない場合、コントローラ５は、エラーを出力する。要件が満たされた場合、コントローラ５は、上記短縮要求により短縮された最短遅延時間を、各カメラに設定する処理遅延時間とする。
　次に、コントローラ５は、各カメラに対し、決定した処理遅延時間の設定を要求し（ステップＳ２０２）、各カメラからの設定結果の回答を受信する（ステップＳ２０３）。これにより、コントローラ５はＬＡＮ４に接続されているカメラに対し処理遅延時間の設定が可能となる。
　図１２は、本実施例における、カメラにおける遅延時間設定処理のフローチャートである。前述のように、コントローラ５から、遅延時間の設定要求を受信した場合（ステップＳ４０１）、カメラは遅延時間を設定し（ステップＳ４０２）、その結果をコントローラに対し回答として送信する（ステップＳ４０３）。これにより、ＬＡＮ４に接続されているカメラは、コントローラからの要求に応じて、処理遅延時間を設定することが可能になる。
　図１３は、本実施例における各カメラの送信処理タイミングとコントローラ５の受信処理タイミングの一例を示す図である。同図中、（１－１）～（１－４）はカメラ１の処理タイミング、（２－１）～（２－５）はカメラ２の処理タイミング、（３－１）～（３－８）はコントローラ５の処理タイミングを示す。
　（１－１）は基準信号１であり、（１－２）は撮像素子１０１による撮像処理を行っている撮像タイミング１、（１－３）は映像圧縮回路１０２による映像圧縮処理を行っている映像圧縮タイミング１、（１－４）はＬＡＮインタフェース回路１０７による送信処理を行っている送信タイミング１である。ここでは、基準信号毎に１フレーム分の映像信号の処理を行っている。カメラ１は、基準信号１を処理の基準として、例えば基準信号１のパルスのタイミングで撮像処理を開始し、その後、映像圧縮処理、送信処理を順に行っていく。カメラ１では、基準信号１から送信タイミング１の送信処理開始までの時間ｄ１が処理遅延時間となる。
　また、（２－１）はカメラ２の基準信号２であり、（２－２）はカメラ２の撮像素子１０１による撮像処理を行っている撮像タイミング２、（２－３）は映像圧縮回路１０２による映像圧縮処理を行っている映像圧縮タイミング２、（２－４）はカメラ２に処理遅延時間の設定が行われない場合のＬＡＮインタフェース回路１０７による送信処理を行っている送信タイミング２である。カメラ２は、基準信号２を処理の基準として、基準信号２のタイミングで撮像処理を開始し、その後、映像圧縮処理、送信処理を順に行っていく。カメラ２では、基準信号２から送信タイミング２までの時間ｄ２が処理遅延時間となる。また、前述のように、カメラ１の基準信号１と、カメラ２の基準信号２は同期している。
　ここでコントローラ５は、前述のように、カメラ１とカメラ２の処理遅延時間を取得する。取得した結果、カメラ１の処理遅延時間の方がカメラ２の処理遅延時間ｄ２より長いので、カメラ２に対し、処理遅延時間がｄ１となるよう、コントローラ５はカメラ２の処理遅延時間を設定する。（２－５）は処理遅延時間が設定された後の送信タイミング２′である。処理遅延時間の調節は、ここでは例えば、図２に示した、システムエンコーダ１０４からパケットバッファ１０５に格納されたパケット列をＬＡＮインタフェース回路１０７に入力するために読み出すタイミングを調節することにより実現できる。これにより、カメラ１の送信タイミング１と、カメラ２の送信タイミング２′が一致することになる。
　次に（３－１）は、コントローラ５がカメラ１からのＬＡＮパケットの受信処理を行っている受信タイミング１、（３－２）は映像伸張回路５０３１による映像伸張処理を行っている映像伸張タイミング１、（３－３）は、映像伸張回路５０３１により伸張され得られた１フレーム分のカメラ１の映像出力タイミング１である。また、（３－４）は、コントローラ５がカメラ２からのＬＡＮパケットの受信処理を行っている受信タイミング２、（３－５）は映像伸張回路５０３２による映像伸張処理を行っている映像伸張タイミング２、（３－６）は、映像伸張回路５０３２により伸張され得られた１フレーム分のカメラ２の映像出力タイミング２である。さらに、（３－７）は、コントローラ５における基準信号Ｃ、（３－８）は、コントローラ５がディスプレイ６に出力する表示映像の表示タイミングＣである。
　コントローラ５は、カメラ１からの受信タイミング１を処理の基準とし、受信処理に引き続き映像伸張処理を順に行っていく。同様にカメラ２からの受信処理に引き続き映像伸張処理を行う。ここで、カメラ１の送信タイミング１と、カメラ２の送信タイミング２′が一致しているので、映像出力タイミング１と映像出力タイミング２は一致する。例えば基準信号Ｃは、映像出力タイミング１および２に合わせて生成され、基準信号Ｃのパルスのタイミングで表示処理を行うことで、例えばカメラ１の映像とカメラ２の映像を合成し、表示タイミングＣで合成映像をディスプレイ６に表示することが可能になる。
　図１４は、本実施例における各カメラの送信処理タイミングの他の一例を示す図である。コントローラ５は、カメラ２に対し、処理遅延時間がｄ１となるよう、コントローラ５はカメラ２の処理遅延時間を設定するが、この例では、カメラ２は処理遅延時間がｄ１となるよう、映像圧縮処理を開始するタイミングを調節する。この処理遅延時間の調節は、例えば、図２に示した映像圧縮回路１０２から映像バッファに格納された映像データを映像圧縮回路１０２が映像圧縮処理のため読み出すタイミングを調節することにより実現できる。（２－６）は処理遅延時間が設定された後の映像圧縮タイミング２′であり、（２－７）はそれに伴った送信タイミング２′′である。これによりカメラ１の送信タイミング１と、カメラ２の送信タイミング２′′が一致することになる。従って図１３と同様に、カメラ１の映像とカメラ２の映像を合成し、表示タイミングＣで合成映像をディスプレイ６に表示することが可能になる。
　以上の説明では、処理時間遅延時間を起点である基準信号から終点である送信開始時間までと定義したが、これに限定するものではなく、例えば起点は撮像素子１０１が撮像を開始する時間としてもよく、また終点を各フレームの送信タイミングの送信終了時間としてもよい。
　また、例えばカメラごとの圧縮方式の違いやビットレートの違いによる映像伸張処理時間の差分をカメラに対する設定処理時間に加味することで各カメラの映像出力タイミングを合わせることも可能である。この場合、コントローラ５は、映像伸張処理時間をカメラごとに測定し、最も長い映像伸張処理時間からの差分を追加的な処理遅延時間として、各カメラの処理遅延時間に合計したものを各カメラに処理遅延時間として送信し、各カメラに新たな処理遅延時間の設定を指示することで、コントローラ５における各カメラの映像出力タイミング（（３－３）、（３－６）等）をより正確に揃えることが可能である。
　また、各カメラの処理遅延時間の取得は、コントローラ５からの問い合わせにより実現する例を示したが、例えばカメラの電源立ち上げ時やＬＡＮ４に接続された時に、各カメラ側からコントローラ５に対して通知してもよい。
　また、以上の説明では、映像信号の送受信について説明したが、音声信号の伝送も同様に可能である。
　以上のように、各カメラにおける遅延時間を調節することにより、表示タイミングの合った映像を表示することが可能になる。
　また、コントローラ５は各カメラからの映像の表示タイミングずれを吸収する処理をする必要がないので、処理が複雑になることなく表示タイミングの合った映像を表示することが可能になる。
　次に、映像伝送装置であるカメラを含む映像伝送システムの形態の別の例について説明する。実施例１と同様の部分については説明を省略する。
　実施例１では、図１３や図１４に示すように、カメラの基準信号１と基準信号２が周期および位相も含めて同期している例を説明した。しかしながら現実にはシステム同士の間で基準信号の周期（または周波数）のみ一致しているものの位相は必ずしも一致していないという場合もある。本実施例においては、そのような場合を想定して、基準信号１と基準信号２の周期は一致しているが位相は一致していないという場合について説明を行う。
　本実施例においては、各カメラとコントローラの間で、時刻を同期させる仕組みを設けている。時刻を同期させる方法としては、例えばＩＥＥＥ１５８８に記載された方法を用いることができる。そのような方法を用いてシステム間で定期的に時刻を同期させ、その時刻を用いてシステム内における基準信号の発振周期を例えばＰＬＬ（Ｐｈａｓｅ　Ｌｏｃｋｅｄ　Ｌｏｏｐ）を用いて調節する。このようにすることにより、基準信号の周期をシステム間で一致させることができる。
　図１５は本実施例における各カメラの送信処理タイミングの一例を示す図である。（１－０）、（２－０）はそれぞれカメラ１、カメラ２の基準時刻（内部時計）を示す。上記の方法により定期的（例えば、Ｔ０，Ｔ１）に同期をとることにより、これらは互いに一致させている。
　カメラ１においては基準信号１（１－１）を内部で発振して生成する。その際、基準時刻１（１－０）を基に発振周期を調節する。同様にカメラ２においては基準信号２′（２－１）を内部で発振して生成する。その際、基準時刻２（２－０）を基に発振周期を調節する。
　このように、各カメラはそれぞれの基準時刻を基に基準信号の発振周期を調整するため、基準信号１と基準信号２′′の周期は一致する。しかしながら互いの位相は必ずしも一致していない。
　基準時刻Ｔ０から基準信号１までの時間をｓ１とする。カメラ１はコントローラ５に対して処理遅延時間を通知する際（図９のステップＳ１０３）、ｓ１およびｄ１を通知する。同様に基準時刻Ｔ０から基準信号２までの時間をｓ２とし、カメラ２はコントローラ５に対してｓ２およびｄ２を通知する。ｄ１、ｄ２は、実施例１同様、最短遅延時間から設定可能な最長時間までの範囲としても良い。
　各カメラは、例えば、基準時刻補正時を起点として、基準信号発生回路１０６が基準信号を発生したときの基準時刻を参照することによりｓ１、ｓ２を測定可能である。あるいは、カウンタを別途カメラに設け、カメラがカウンタを基準時刻補正時にスタートさせ、基準信号発生回路１０６が基準信号を発生するまでの時間をカウンタで測定することによっても、ｓ１、ｓ２を測定可能である。　コントローラ５は、設定する遅延時間を決定（図１０のステップＳ２０１）する際、基準信号１と基準信号２の位相の違いを考慮に入れて決定する。例えば図１５において、時刻Ｔ０を基準として考えたとき、この場合はｓ１＋ｄ１のほうがｓ２＋ｄ２より長いので、カメラ２に対し、合計の遅延時間がｓ１＋ｄ１＝ｓ２＋ｄ２′となるように、ｄ２′＝ｓ１＋ｄ１－ｓ２を設定する。
　（２－５）は処理遅延時間が設定された後の送信タイミング２′′′である。これにより、カメラ１の送信タイミング１と、カメラ２の送信タイミング２′′′が一致することになる。
　なお、上記実施例ではカメラ１が処理遅延時間をコントローラ５に通知する際、ｓ１およびｄ１を通知する例を示したが、その代わりにそれらの合計時間Ｄ１＝ｓ１＋ｄ１（カメラ２の場合はＤ２＝ｓ２＋ｄ２）のみを通知するようにしても良い。その場合は、コントローラ５はカメラ２に対し、合計時間Ｄ２がＤ１と等しくなるよう、Ｄ２′＝Ｄ１を設定する。このようにしても同様の効果を得ることが可能である。
　各カメラは、実施例１同様、例えば起動時にコントローラ５に遅延時間を通知しても、コントローラ５からの要求に応じて遅延時間をコントローラ５に通知しても良い。後者の場合、カメラは、その時点における基準時刻－基準信号間の時間差をコントローラ５に通知できる。また、コントローラ５からの指示によりカメラの映像圧縮方法やビットレートを変更可能な場合に、映像圧縮方法やビットレートの変更に起因して変化するカメラの処理遅延時間を反映した、その時点での処理遅延時間を、カメラは、コントローラ５に通知できる。このため、コントローラ５は、その要求時点における、各カメラにおける基準時刻―基準信号間の時間差や、映像圧縮方式やビットレートを反映して、カメラに設定する処理遅延時間を算出でき、コントローラ５における各カメラ映像の出力タイミングの同期精度向上が期待できる。
　なお、各カメラにおいて時刻を同期させる処理は、図２の制御回路１０８内で行っても良いし、時刻の同期を行うための専用回路を制御回路１０８とは別に設けて行っても良い。後者の場合、当該専用回路を時刻の同期処理に専念させることにより、同期の精度をより高められることが期待できる。
　図１６に本発明の実施例３のブロック図を示す。以下、本図を用いて実施例３を説明する
。本実施例では、毎秒３０フレーム／ｓｅｃで取り込まれる１９２０ｘ１０８０ピクセルのビデオ画像をＨ．２６４／ＡＶＣ（ＩＳＯ／ＩＥＣ１４４９６－１０）の規格に準拠して映像符号化し、また４８ＫＨｚのサンプリングレート取り込まれた１２ビット音声データをＭＰＥＧ１ＬａｙｅｒＩＩの音声符号化処理を施しパケット多重化し、ネットワークを介して送信するネットワークカメラである。ネットワークにおいては、使用するプロトコルとして、例えばデータリンクプロトコルであるＩＥＥＥ８０２．３規格で規定されている方式を用いることを前提とする。なお、本実施例では、音声については従来からあるＰＣＭサンプリングし、ＭＥＰＧ１ＬａｙｅｒＩＩによる符号化送信を行うことを前提とし、図面にブロック構成を図示するのみに留める。
　図１６のネットワーク送受信部２９では、システム起動後、ＩＥＥＥ８０２．３規格に準拠するプロトコルにしたがって、端子１０につながった図示しないネットワークに接続された受信機と通信リンクを行う。ＩＥＥＥ８０２．３入力されたパケット列を、例えばＩＥＥＥ８０２．３規格に準拠したＬＡＮパケットとして受信する。ＩＥＥＥ１５８８：ＩＥＥＥ１５８８－２００２　Ｐｒｅｃｉｓｉｏｎ　Ｃｌｏｃｋ　Ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ　Ｐｒｏｔｏｃｏｌ　ｆｏｒ　Ｎｅｔｗｏｒｋｅｄ　Ｍｅａｓｕｒｅｍｅｎｔ　ａｎｄ　ＣｏｎｔｒｏｌＳｙｓｔｅｍｓに記載されるＰＴＰ（Ｐｒｅｃｉｓｉｏｎ　Ｔｉｍｅ　Ｐｒｏｔｏｃｏｌ）に従う方法でも良い。本実施例では、簡素化したプロトコルを想定して、時刻同期システムについて説明する。
　本システムでは、受信機側を時刻同期のためのサーバと定義し、送信機側をサーバ側の時刻に合わせるクライアント側と定義する。
　図１７に、サーバ側とクライアント側が時刻同期をとるために行うパケット送受信の方法を示す。
  サーバ側は、時刻同期を取るために、Ｔ１時刻地点で同期情報を取るための最初のパケットを送信機側に送信する。本パケットは、Ｓｙｎｃパケットと呼ばれ、このパケットを受信した図１６のネットワーク送受信部２９は、パケット分離部１１にパケットを送信する。さらにパケット分離部１１はＳｙｎｃパケットであることを識別子より判別し、後段の時刻情報抽出部１２に送る。時刻情報抽出部１２では、パケットに記載されたサーバ側のパケット送信時刻（Ｔ１）と、時刻情報抽出部１２にパケットが到着した時刻（Ｔ２）を送信機内の基準時刻カウンタ１４より入手する。基準時刻カウンタは後述するように基準クロックリカバリ１３において生成されたシステムクロックを用いて、基準時刻をカウントアップする。次に、遅延情報生成部１５では、クライアントからサーバへ送信するパケット（ＤｅｌａｙＲｅｑ）を生成し、ネットワーク送受信部２９に送る。ネットワーク送受信部２９では、本パケットを送信するタイミング（Ｔ３）を基準時刻カウンタから読み取り、受信機（サーバ）に送信する。同時にＴ３の情報を時刻情報抽出部１２に転送する。サーバにおいては、ＤｅｌａｙＲｅｑのパケットが到着したタイミング（Ｔ４）を読み取り、これをＤｅｌａｙＲｅｓｐのパケット内に記述して、クライアント側に送信する。送信機側（クライアント）に到着したＤｅｌａｙＲｅｓｐパケットは、パケット分離部１１に送信され、ＤｅｌａｙＲｅｓｐパケットと確認された後、時刻情報抽出部１２に送信される。時刻情報抽出部１２では、ＤｅｌａｙＲｅｓｐパケット内に記述されたＴ４情報を抽出する。以上の過程で、時刻情報抽出部１２は、Ｔ１、Ｔ２、Ｔ３およびＴ４の時刻情報を得ることが可能となる。
　サーバ・クライアント間のパケット送受信時の時間差は、ネットワークの伝送遅延Ｔnｅｔと両者の装置の基準時刻の差Ｔｏｆｆｓｅｔ（クライアントの時刻―サーバ側の時刻）を考えるとＴ２－Ｔ１＝Ｔｎｅｔ＋Ｔｏｆｆｓｅｔ、Ｔ４－Ｔ３＝Ｔｎｅｔ－Ｔｏｆｆｓｅｔとなる（ただし、サーバ／クライアント間のネットワークの伝送遅延は、上りと下りで同時間と仮定している）ため、Ｔｎｅｔ＝（Ｔ２－Ｔ１＋Ｔ４－Ｔ３）／２、Ｔｏｆｆｓｅｔ＝Ｔ２－Ｔ１－Ｔｎｅｔとして求めることができる。
　時刻情報抽出部１２は、Ｔ１、Ｔ２、Ｔ３およびＴ４情報が得られた段階で、上記計算によりＴｏｆｆｓｅｔを計算する。さらに、時刻情報抽出部１２は、Ｔｏｆｆｓｅｔ分、基準時刻カウンタ１４を現在時刻から戻すように制御する。
　上記と同様、複数回、Ｓｙｎｃ、ＤｅｌａｙＲｅｑ，ＤｅｌａｙＲｅｓｐのパケットの送受信を繰り返し、数回にわたりＴｏｆｆｓｅｔを計算し、Ｔｏｆｆｓｅｔが０に近づく方向に、基準クロックリカバリ部１３に制御情報を送る。具体的には、基準クロックリカバリ部１３はたとえば、ＶＣＸＯ（Voltage-Controlled Crystal Oscillator）で構成しておき、Ｔｏｆｆｓｅｔがプラス値となっており、クロックを遅くしたい場合には、基準クロックリカバリ部１３へ供給する電圧を下げ、反対にＴｏｆｆｓｅｔがマイナス値で、クロックを早めたい場合には、基準クロックリカバリ部１３へ供給する電圧を上げる。
　この制御を、Ｔｏｆｆｓｅｔの絶対値に応じて、電圧制御幅を変更するフィードバック制御を設けることにより基準クロックリカバリ部１３から基準時刻カウンタ１４へ送出するクロックを安定させ、サーバ側に同期した周波数に収束させることが可能である。また、送信機側は受信機側と同期して基準時刻カウンタ１４を更新することが可能となる。
　ネットワーク送受信部２９は、受信機側から受け取ったパケットのうち、時刻同期を取るためのパケットのほか、同期位相情報が含まれるパケットについてもパケット分離部１１に送信する。パケット分離部１１では、同期位相情報が含まれるパケットについては、同期位相情報抽出部１６に送付する。本パケットには、送信機の動作同期信号のタイミングを、基準時刻カウンタ１４を基準として、指し示したものである。例えば、図１８に示すように、ネットワーク送受信部２９が、受信した同期位相情報が含まれるパケット（以下ＳｙｎｃＰｈａｓｅと示す）３０を受信し同期位相情報抽出部１６に送る。
　同期位相情報抽出部１６では、ＳｙｎｃＰｈａｓｅ内に記載された基準同期信号の発生タイミングＴＡを抽出する。ＴＡは、送信機側で基準同期信号を発生すべき基準時刻カウンタ値を示したものである。
　パケット内の格納位置を送受信側で規格化しておき、そのシンタックスに基づいてデータを解析すれば一意にＴＡ情報の格納位置を特定し、データを抽出することが可能である。抽出されたタイミングＴＡは、基準同期信号発生器１７に転送される。
　基準同期信号発生器１７は図１８に示すように基準時刻カウンタ１４から送られる基準時刻を参照し、ＴＡのタイミングになった時点で、基準同期信号３２を生成し、センサ制御部１８に送信する。同様に後続のＳｙｎｃＰｈａｓｅ３１以降のパケットが到着するごとに随時基準同期信号３３を生成する。基準同期信号を受けとったセンサ制御部１８は、それまで図１８の３４、３５のように周期Ｔｍｓでフリーラン動作にて生成していたセンサ垂直同期信号を３２の基準同期信号のタイミングにセンサ垂直同期信号の発生タイミングを変更する。
　その後も、基準クロックリカバリ１３から受け取った基準クロックに基づいて周期Ｔｍｓをカウントし、周期Ｔｍｓごとにセンサ垂直同期信号を発生する（図１８の３６～３９）。また、基準同期信号３３以降の同期信号については、センサ制御部１８で生成した垂直同期信号と同一のタイミングになっているため、位相ずれが検知されない限りは、そのまま周期Ｔｍｓごとの信号生成を継続する。
　その後の基準同期信号到着時に、センサ制御部１８で生成したセンサ垂直同期との位相が同一もしくは、ある時刻範囲内であることが一回、もしくは数回確認されれば、受信機側と送信機側の想定する同期信号のタイミングがそろったとみなし、位相調整の確認完了信号をシステム制御部２８に送信する。
　基準同期信号と垂直同期信号（例えば３３と３９)との間で位相ずれが見つかった場合には、受信機側での異常などにより同期信号のタイミングが変わったとみなし、システム制御部２８に位相ずれの通知を行う。上記のように、位相調整のための情報（ＳｙｎｃＰｈａｓｅ）の送信間隔タイミングが垂直同期信号の生成周期Ｔｍｓより相対的に長くとも、センサ制御部１８において生成される垂直同期信号は、一度位相調整を行った段階で基準クロックと基準時刻を基に精度高く垂直同期信号を生成することが可能となる。この点において、本方式は、送信によるネットワークトラフィック低減にも効果的である。
　また、定期的に送信されるＳｙｎｃＰｈａｓｅによって、システムのなんらかの異常により同期信号の位相がずれていることを検知することが可能であり、その後のエラー修正の制御を行うことが可能となる。
　システム制御部２８では、位相調整の確認完了信号を受信した後、レンズ部１９、ＣＭＯＳセンサ２０、ディジタル信号処理部２１、映像符号化部２２システムＭｕｘ部を制御し、映像符号化を開始する。映像符号化については、一般的なディジタル映像の撮像、ディジタル圧縮符号化を行う。例えば、レンズ部１９では、システム制御部２８から受けたＡＦ（ＡｕｔｏＦｏｃｕｓ）のためのレンズ部の移動を行い、ＣＭＯＳセンサ２０では、レンズ部から受光し出力値を増幅した後、ディジタル映像としてディジタル信号処理部２１に出力する。ディジタル信号処理部２１では、ＣＭＯＳセンサ２０から受け取った例えばＢａｙｅｒ配列状のＲＡＷデータから、ディジタル信号処理を施し、輝度、色差信号（ＹＵＶ信号）に変換したのち、映像符号化部２２に転送する。
　映像符号化部では、各垂直同期間内にキャプチャされた画像群をピクチャとしてまとまった単位として扱い、符号化処理をしていく。このとき、符号化遅延時間が数フレーム期間にならないように、例えば、イントラフレーム内での予測を用いるＩピクチャ（Ｉｎｔｒａ　Ｐｉｃｔｕｒｅ）もしくは、前方予測のみを用いて、Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅ　Ｐｉｃｔｕｒｅ）を生成する。この際、一定ビットレートのビット発生量に近づくように映像符号化部２２は横１６画素×縦１６画素からなる各ＭＢ（Ｍａｃｒｏｂｌｏｃｋ）を符号化した後の符号化量を調整する。具体的には量子化ステップを調整することで、各ＭＢごとの発生符号量を制御することが可能となる。数ＭＢの処理が終了するまで、システムＭｕｘ部ではビットストリームを内部バッファに格納し、所定のＭＢ数分格納された段階で、システムＭｕｘ部では、ＭＰＥＧ２ＴＳストリームとしてビデオストリームを１８８バイトの固定長を持つＴＳパケット化し出力する。さらにネットワーク送受信部５９において、ＭＡＣパケット化され、ネットワークを介して受信機側に送信される。
　図１９は、システムＭｕｘ部における内部バッファのストリーム蓄積量の遷移状況を例示した図である。本図では、便宜上、ＭＢ期間ごとに各ＭＢを符号化した符号が瞬間的にバッファに蓄積され、各ＭＢ期間ごとに一定のスループットでネットワークにストリームが出力されるものとしている。
　上記システムＭｕｘ部におけるストリームの出力開始タイミングは、一定ビットレートで外部に出力した際に、ビットストリームの符号発生量（スループット）が変動し、システムＭｕｘ部のバッファ内に格納した符号化データがもっとも少なくなった場合（図１９の９０のタイミング）でもシステムＭｕｘ部のバッファが枯渇しない所定の待機時間（図１９の９１）だけ待つことにより制御される。一般的に、これらの制御は実際の符号化量を監視しつつ、バッファの遷移に応じて上記量子化ステップを変更することにより、所定のＭＢ数期間内における符号化量を制御し、スループットを出力ビットレートに対して一定のジッタ範囲に抑えることが可能である。この収束に必要な時間分だけ図１９の９１の待機時間分の期間を設けることで、システムＭｕｘ部のバッファが枯渇しないシステムを実現することができる。
　本期間を送信機側の仕様として規定することで、その後の伝送遅延を受信機側で計算することが可能となる。
　次に図２０を用いて受信機側のブロック構成および動作を説明する。基準クロック生成部５１では、受信機側の基準クロックが生成される。本基準クロックは、図１７で示したサーバ側とクライアント側での時刻同期を取るための基準クロックとなり、５１において水晶発信器などによって他の外部同期を用いずにフリーラン動作によってクロックが生成される。
　本クロックを基準として基準時刻カウンタ５２ではサーバ側の基準時刻をカウントする。時刻制御パケット生成部５３では、本基準時刻を用いて図１７で示した時刻同期のためのパケット（Ｓｙｎｃ）の生成を行う。Ｓｙｎｃの送信時にパケット内に記載するＴ１は、本ブロックで生成される。生成された（Ｓｙｎｃ）のパケットはパケット多重化部５８において他のパケットと多重化され、さらにネットワーク送受信部５９において変調され、ネットワーク端子６０より外部に接続されたネットワークを介して送信部に伝送される。一方、送信部より受け取ったＳｙｎｃＲｅｑパケットの受信時に、ネットワーク送受信部５９より受信タイミングの通知を受け、時刻制御パケット生成部５３において基準時刻(図１７のＴ４)が記録される。本Ｔ４を用いて時刻制御パケット生成部５３においてＤｅｌａｙＲｅｓｐパケットが生成され、パケット多重化部５８、ＮＷ送受信部５９を介して送信機側に伝送される。
　次に、受信機側の垂直同期タイミングの生成について説明する。基準クロック生成部５１において生成された基準クロックを基準として、出力同期信号生成部５５では出力時の垂直同期信号が生成される。本垂直同期信号は、送信機同期位相計算部５６に送られる。ここでは、後述のように送信機側の垂直同期信号の位相を受信機側の出力時の垂直同期信号の位相より計算し、基準時刻カウンタにおけるカウンタ情報を用いて、図１８に示したＳｙｎｃＰｈａｓｅのパケットを生成する。ＳｙｎｃＰｈａｓｅパケットは、パケット多重化部に送信され、Ｓｙｎｃパケットと同様にネットワーク送受信部５９、ネットワーク端子６０より送信機側に送信される。
　次に、受信機における映像の復号手順について説明する。ネットワーク送受信部５９により受信された映像に関するＭＰＥＧ２ＴＳストリームを含むＭＡＣパケットは、システムＤｅｍｕｘ部６１に転送する。システムＤｅｍｕｘ部６１では、ＴＳパケットの分離、映像ストリームの抽出が行われる。抽出された映像ストリームについては、映像復号部６２に転送される。音声ストリームについては音声複合部６５に送られ、ＤＡコンバータ６６でＤｉｇｉｔａｌ／Ａｕｄｉｏ変換をかけたのちスピーカに出力される。
　システムＤｅｍｕｘ部６１では、内部バッファに所定の待機時間だけストリームを蓄積した後、映像復号部６２にストリームを出力し復号を開始する。
　図２１に、システムＤｅｍｕｘ部６１における内部バッファにおいて、ストリームが蓄積量される際の遷移状況の一例を示す。本図においては、便宜上、ストリームが一定のビットレートでネットワークより供給され、各ＭＢ単位の時間ごとに瞬間的に映像復号部６２において各ＭＢ分のストリームが出力されるようにモデル化して示す。
　時刻Ｔ０の段階からストリームの入力が開始され、期間９２に示す期間だけ待機してから、ストリームの復号を開始する。これは、タイミング９３に示すようにストリームの格納量がもっとも少なくなったときにも、アンダーフローしないようにするために待機時間を設ける。この待機時間は、送信機側がネットワークの伝送ビットレートに発生符号量を収束させるために必要な最低の収束時間がわかる場合、その収束時間以上の時間を待機時間として規定することで実現可能である。
　Ｄｅｍｕｘ部６１から読み出された映像ストリームは映像復号部６２において復号され、復号画像が生成される。生成された復号画像は、表示処理部６３に転送され、垂直同期信号に同期したタイミングによってディスプレイ６４に送信され、動画として表示される。また、例えば外部の図示されていない画像認識用機器などに送信するために外部端子６９から映像信号として出力される。
　図２２は、送信機から受信機の各機能ブロックにおける制御タイミングの関係を示した図である。
　図２２の垂直同期信号４０は図１６のセンサ制御部１８が生成する垂直同期信号、図２２中のセンサ読み出し信号４１は、図１６のＣＭＯＳセンサからデータが読み出されるタイミング、図２２中の画像取り込み４２は図１６の映像符号化部２２への映像入力タイミング、図２２中の符号化データ出力４３は、図１６の２２の映像符号化部２２から映像符号化ストリームが出力されるタイミング、図２２中の符号化データ入力４４は、図２０の映像復号部６２に符号化データが入力されるタイミング、図２２中の復号側出力垂直同期信号は、図２０の表示処理部６３からディスプレイもしくは外部端子６９に出力される垂直同期信号、さらに図２２の復号画像出力４６は、図２０の表示処理部６３からディスプレイもしくは外部端子６９に出力する画像の有効画素期間を示す。便宜上、垂直同期タイミング４０からセンサ読み出しタイミング４１までの垂直ブランキング期間と、復号側出力垂直同期信号から、復号画像出力４６までの垂直ブランキング期間と同じと考える。
　ここでは、送信機側のＣＭＯＳセンサ（図１６の２０）の画像出力開始（図２２の４１の各フレームの開始時刻）から、受信機側が受信したパケットを受信して復号画像としてディスプレイもしくは他の機器に出力する時刻（図２２の４６）までの遅延時間（図２２のＴｄｅｌａｙ）が設計仕様などにより特定できる場合を想定する。Ｔｄｅｌａｙは送信機側の映像取り込みから符号処理を経由してパケットを送信するまでの遅延時間とネットワークの転送遅延、および受信機側のパケット取り込みから復号処理を介して出力までに必要とされる遅延時間を合計することで定義できる。
　図２０の送信機同期位相計算部５６では、受信機側の出力垂直同期信号４５の出力タイミング（ｔａ、ｔｂ、ｔｃ・・・）の基準時刻を計算する。これは、ある１サンプルの出力垂直同期信号の基準時刻を参照し、フレーム周期Ｔｍｓに相当する基準時刻カウンタを加算していくことで、計算可能である。ｔａ、ｔｂ、ｔｃを計算した後、それよりＴｄｅｌａｙさかのぼる時刻（ＴＡ，ＴＢ、ＴＣ・・・）を計算する。例えば、ＴＡ＝ｔａ－Ｔｄｅｌａｙとなる。
　このように計算されたＴＡ，ＴＢ，ＴＣを図１８に示したようにＳｙｎｃＰｈａｓｅによって送信機に送信する。
　このとき、ＴＡ，ＴＢ，ＴＣの時刻情報を格納したＳｙｎｃＰｈａｓｅが送信機側に到着する時刻が、各々、十分ＴＡ，ＴＢ，ＴＣより手前に到着するようにネットワークの遅延時間Ｔｎｅｔを加味して送信機側に送信する。
　具体的には、受信機側がＳｙｎｃＰｈａｓｅパケットにて時刻Ｔｘにて送信側の同期信号の位相を調整させる場合、送信するタイミングをＴｓｐ、さらに送信機側がＳｙｎｃＰｈａｓｅを受信してからＳｙｎｃＰｈａｓｅ内の情報を解析に必要な時間をＴｙとするとＴｓｐ＋Ｔｎｅｔ＋Ｔｙ＜Ｔｘ以上となるＴｘを選定し、ＳｙｎｃＰｈａｓｅパケットを生成することで、実現可能である。なお、上記Ｔｄｅｌａｙ，Ｔｎｅｔ、Ｔｙなど制御タイミングを規定する各期間は処理負荷などによりその期間にジッタが生じる際には、各々、該当期間の最悪値を持って考慮することで、同等の制御を行うことが可能である。
　本システムにより、送信側と受信側で垂直同期信号の位相差が映像取り込から出力までに必要とされる遅延時間Ｔｄｅｌａｙと同等または、それに近づける方向に調整可能となる。上記のようにＴｄｅｌａｙが規定できるのは、ネットワークの伝送遅延を求める手段を有し、さらに、送信機の符号化遅延、受信機の復号遅延をバッファ格納時間を所定の時間に固定したことによる。もし、本実施例のような制御を行わずに、ＴＡ＋Ｔｄｅｌａｙ＞ｔａとなるような関係である場合、ＴＡからＴＢの間に取り込まれた映像は受信機側では、ｔａから始まるフレーム期間に出力することができなくなり、ｔｂまで出力タイミングを遅延させる必要がある。このため、Ｔｄｅｌａｙが垂直同期期間に比べて十分に小さい場合でも、不要に撮像タイミングから映像出力までの時間が大きくなってしまう。本実施例により、このような状況を回避し、ネットワークの伝送能力および送信機、受信機の符号化、復号に必要される遅延時間で実現可能な遅延時間に総遅延時間を近づけることができる。
　上記実施例で説明したクロック同期、時刻同期、基準同期信号の位相調整および符号化ストリームの送信に関する手順を、送信機および受信機について各々図２３および図２４に示す。これらの一連の制御手順を踏むことで、撮像から映像出力までの時間の低遅延化を可能とするネットワークカメラシステムを構築することが可能である。
　図２５に、本実施例で説明した送信機を用いたネットワークカメラ部１および受信機５をネットワークで接続したシステムを示す。上記のようなネットワークカメラシステムを構成することにより伝送システムが破綻することなく映像情報を送り続けることができる遅延時間を保証しつつ、送信機における撮像から受信機側の映像出力までの合計遅延を小さくする映像転送システムを構築することができる。
　また、受信機が映像を出力するための同期信号のタイミングに対して、送信機側の撮像のための同期信号の位相（両者の最近となる立ち上がりタイミングの時間差）がシステム起動の度に一定となり、その後の画像処理や他の機器との厳密な同期タイミングが必要されるシステムでも設計が容易になるという効果がある。
　なお、ここでの映像出力は、ディスプレイにて映像が表示されるタイミングで規定しても外部機器への出力タイミングで規定しても同等の効果が得られることは明らかである。また、本システムでは、同期信号のタイミングをそろえるための制御信号を送信するための通信経路を、符号化信号の送受信のためのネットワーク以外に設ける必要がなく、システムコストの低減の観点からも有効である。
　また、本実施例では、送信機側の垂直同期信号の位相を受信機側から制御する例を示したが、送信機側の映像の取り込み、符号化タイミングを間接的あるいは直接的に規定する同期信号もしくは制御タイミングであれば、本実施例の垂直同期信号の代替として、受信機側から位相情報を転送することにより本実施例と同等の効果をもたらすことは明らかである。また、本実施例では、時刻同期のサーバが受信機と同じ定義であったが、時刻同期のサーバは受信機とは異なる個別の装置であっても良い。その際には、受信機にも送信機と同様にクライアントとなりクロック同期、基準時刻カウンタをサーバに同期させた後、同期位相情報を送信機に送信するようにすれば、本実施例と同等の効果をもたらす。このときには、複数の受信システムがネットワークに存在し、それらを共通のクロックで制御したい場合に有益である。
　本実施例では、ネットワーク層の規格としてＩＥＥＥ８０２．３規格に準拠する例を示したが、さらにネットワークプロトコルのＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）を使用し、その上位のトランスポートプロトコルにはＴＣＰ（ＴｒａｎｓｍｉｓｓｉｏｎＣｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）およびＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）を用いてもよい。映像や音声の伝送には更に上位のアプリケーションプロトコル、例えばＲＴＰ（Ｒｅａｌ－ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）やＨＴＴＰ（Ｈｙｐｅｒ Ｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）等を使用しても良い。あるいは、その他、ＩＥＥＥ８０２．３規格で規定されているプロトコル方式を用いてもよい。
　本実施例は、実施例３で述べた例の送信側を複数のカメラ１～３とした場合の例である。
  図２６は、本実施例の受信側のコントローラ５の内部ブロック構成の一例を示す図である。カメラ１、２、３は、それぞれＬＡＮインタフェース回路５０１１、５０１２、５０１３に接続されている。基準クロック生成部５１では基準クロックが生成され、その基準クロックを基準として基準時刻カウンタ５２において、サーバ側であるコントローラ５の基準時刻をカウントする。時刻制御パケット生成部５３では、本基準時刻を用いて図１７で示した時刻同期のためのパケット（Ｓｙｎｃ）の生成を行う。Ｓｙｎｃの送信時にパケット内に記載するＴ１は、本ブロックで生成される。生成された（Ｓｙｎｃ）のパケットはパケット多重化部５８において他のパケットと多重化され、さらにＬＡＮインタフェース回路５０１１、５０１２、５０１３において変調され、外部に接続されたネットワークを介してカメラ１～３に伝送される。一方、カメラ１～３より受け取ったＳｙｎｃＲｅｑパケットの受信時に、ＬＡＮインタフェース回路５０１１、５０１２、５０１３より受信タイミングの通知を受け、時刻制御パケット生成部５３において、カメラ１～３からのＤｅｌａｙＲｅｑパケットが到着したそれぞれの時刻が記録される。そして、各Ｔ４を用いて時刻制御パケット生成部５３においてＤｅｌａｙＲｅｓｐパケットが生成され、パケット多重化部５８、ＬＡＮインタフェース回路５０１１～５０１３を介してカメラ１～３に伝送される。
　また前述と同様、垂直同期タイミングの生成を行う。基準クロック生成部５１において生成された基準クロックを基準として、出力同期信号生成部５５では出力時の垂直同期信号が生成される。本垂直同期信号は、送信機同期位相計算部５６に送られる。前述のように送信機側の垂直同期信号の位相を受信機側の出力時の垂直同期信号の位相より計算し、基準時刻カウンタにおけるカウンタ情報を用いて、図１８に示したＳｙｎｃＰｈａｓｅのパケットを生成する。ＳｙｎｃＰｈａｓｅパケットは、パケット多重化部５８に送信され、Ｓｙｎｃパケットと同様にＬＡＮインタフェース回路５０１１、５０１２、５０１３を介して、カメラ１～３に送信される。
　本実施例における、映像の復号手順については、前述同様、カメラ１～３で生成されたＬＡＮパケット６０が、それぞれＬＡＮインタフェース回路５０１１～５０１３へ入力され、ＬＡＮインタフェース回路５０１１～５０１３において、ＬＡＮパケットヘッダ６０１が取り除かれ、前述のネットワークプロトコルに従い、ＬＡＮパケットデータ６０２からトランスポートパケット４０が取り出される。トランスポートパケット４０は、システムデコーダ５０２１～５０２３に入力され、トランスポートパケット４０から前述のパケット情報４０２が取り出され、結合されて、図４で示したディジタル圧縮映像信号となる。このディジタル圧縮映像信号は、映像伸張回路５０３１～５０３３において、伸張処理が行われ、ディジタル映像信号として画像処理回路５０４に入力される。画像処理回路５０４では、各カメラからの映像信号の歪補正、座標の置き換えによる視点変換、合成処理等を施し、ＯＳＤ回路５０５に出力、あるいは、各カメラからの映像信号による物体形状の認識、距離の計測などの画像処理を行う。ＯＳＤ回路５０５では、画像処理回路５０４からの映像信号に文字や図形を重畳し、ディスプレイ６に出力する。
　また、本実施例における、カメラ１～３の動作については、実施例３で述べたように、それぞれ時刻同期をとる処理が行われ、コントローラ５と、カメラ１～３の時刻が同期する。また、コントローラ５からのＳｙｎｃＰｈａｓｅパケットをそれぞれ受信し、その時刻情報を本に基準同期信号を生成する。従って、カメラ１～３の基準同期信号は、最終的に同期する。
　図２７は、本実施例における、各カメラの送信処理タイミングとコントローラ５の受信処理タイミングの一例を示す図である。同図中、（１－１）～（１－４）はカメラ１の処理タイミング、（２－１）～（２－４）はカメラ２の処理タイミング、（３－１）～（３－８）はコントローラ５の処理タイミングを示す。前述のようにＳｙｎｃＰｈａｓｅパケット受信したカメラがそれに基づいて基準同期信号を生成するので、カメラ１の基準信号１と、カメラ２の基準信号２は同期、すなわちその周波数、位相が一致する。ここで、ｄ３は、カメラ１で撮像された映像が、基準信号１からコントローラ５で得られるまでの時間、ｄ４は、カメラ２で撮像された映像が、基準信号２からコントローラ５で得られるまでの時間であり、ｄ３の方が大きいとする。従って、送信側と受信側で垂直同期信号の位相差が映像取り込から出力までに必要とされる遅延時間Ｔｄｅｌａｙはｄ３ということになる。
　ここで、前述のように、ＳｙｎｃＰｈａｓｅパケットを生成する際に、さかのぼる時刻をｄ３より多くとるよう設定することで、コントローラ５の処理タイミングは、（３－７）の基準信号Ｃおよび（３－８）の表示映像の表示タイミングＣとなる。
以上により、送信側と受信側で垂直同期信号の位相差がＴｄｅｌａｙと同等または、それに近づける方向に調整可能となる。すなわち、ネットワークの伝送能力および送信機、受信機の符号化、復号に必要される遅延時間で実現可能な遅延時間に総遅延時間を近づけることができる。
　さらに、各カメラにおける撮像時刻が一致していることにより、表示タイミングの合った映像を表示することが可能になる。
　また、コントローラ５は各カメラからの映像の表示タイミングずれを吸収する処理をする必要がないので、処理が複雑になることなく表示タイミングの合った映像を表示することが可能になる。
　さらに、実施例１で述べたように、接続されている各カメラに対し、それぞれのカメラの処理遅延時間を問い合わせることにより、最短の遅延時間を実現できる。実施例１の図９と同様に、まず、各カメラに対し、それぞれのカメラの処理遅延時間を問い合わせる。それにより、各カメラは、前述の図１０と同様に、そのカメラで設定可能な遅延時間を回答する。次にこの各カメラの処理遅延時間を基づいてＳｙｎｃＰｈａｓｅパケットを生成する。図２８は、本実施例における、コントローラによる、ＳｙｎｃＰｈａｓｅパケット生成の際の時刻情報設定処理のフローチャートである。まず処理遅延時間Ｔｄｅｌａｙを決定する（ステップＳ２８０１）。ここでは、図９の遅延時間取得処理により得られた各カメラの最短遅延時間の中で一番長い時間を選択し、それに、ネットワーク遅延時間Ｔｎｅｔ、受信処理、伸張処理を合わせた処理時間ｄ５を加算した時間を受信処理遅延時間Ｔｄｅｌａｙとする。次にコントローラ５は、ステップＳ２８０１で決定したＴｄｅｌａｙ時間をさかのぼった時刻を計算してＳｙｎｃＰｈａｓｅパケットに格納して、各カメラに対し送信する（ステップ２８０２）。そして、各カメラからの設定結果の回答を受信する（ステップＳ２８０３）。その後各カメラは、実施例３の図１８で述べたように、基準同期信号を生成する。これにより、各カメラの基準同期信号は、コントローラ５の基準同期信号に対し、Ｔｄｅｌａｙ時間さかのぼった時刻に設定される。
　図２９は、この場合の各カメラの送信処理タイミングとコントローラ５の受信処理タイミングの一例を示す図である。同図に示すように、カメラ１の基準信号１、およびカメラ２の基準信号２は、コントローラ５の基準信号Ｃに対し、カメラ１の処理遅延時間ｄ１およびカメラ２の処理遅延時間ｄ２の内、長いほうの処理時間ｄ１と、ネットワーク遅延時間Ｔｎｅｔ、および受信処理、伸張処理を合わせた処理時間ｄ５を加算した時間であるＴｄｅｌａｙ時間さかのぼった位置に一致する。
　この例では、コントローラ５が各カメラに対しそれぞれのカメラの処理遅延時間を問い合わせたが、例えばカメラの電源立ち上げ時やＬＡＮ４に接続された時に、各カメラ側からコントローラ５に対して通知してもよい。
　図３０は、各カメラの送信処理タイミングとコントローラ５の受信処理タイミングの他の一例を示す図である。この例では、実施例１で述べたように、カメラ２に対し、処理遅延時間がｄ１となるよう、コントローラ５はカメラ２の処理遅延時間を設定する。（２－５）は処理遅延時間が設定された後の送信タイミング２′である。処理遅延時間の調節は、ここでは例えば、図２に示した、システムエンコーダ１０４からパケットバッファ１０５に格納されたパケット列をＬＡＮインタフェース回路１０７に入力するために読み出すタイミングを調節することにより実現できる。これにより、カメラ１の送信タイミング１と、カメラ２の送信タイミング２′が一致することになる。
　以上のように、本実施例により、これらの一連の制御手順を踏むことで、撮像から映像出力までの時間が、接続された機器間で実現できる最短の遅延時間で撮像時刻となるネットワークカメラシステムを構築することが可能である。
１、２、３…カメラ、４…ＬＡＮ、５…コントローラ、６…ディスプレイ、１００…レンズ、１０１…撮像素子、１０２…映像圧縮回路、１０３…映像バッファ、１０４…システムエンコーダ、１０５…パケットバッファ、１０６…基準信号発生回路、１０７…ＬＡＮインタフェース回路、１０８…制御回路、２０１…イントラフレーム、２０２…インターフレーム、３０１…シーケンスヘッダ、３０２…ピクチャヘッダ、４０…トランスポートパケット、４０１…パケットヘッダ、４０２…パケット情報、５０１、５０１１、５０１２、５０１３…ＬＡＮインタフェース回路、５０２１、５０２２、５０２３…システムデコーダ、５０３１、５０３２、５０３３…映像伸張回路、５０４…画像処理回路、５０５…ＯＳＤ回路、５０６…基準信号発生回路、５０７…制御回路、６０…ＬＡＮパケット、６０１…ＬＡＮパケットヘッダ、６０２…ＬＡＮパケット情報、１１…パケット分離部、１２…時刻情報抽出部、１３…基準クロックリカバリ、１４…基準時刻カウンタ、１５…遅延情報生成部、１６…同期位相情報抽出部、１７…基準同期信号発生器、１８…センサ制御部、２１…ディジタル信号処理部、２４…マイク、２５…ＡＤ変換器、２６…音声符号化部、２７…システムＭｕｘ、２８…システム制御部、５１…基準クロック生成部、５２…基準時刻カウンタ、５３…時刻制御パケット生成部、５５…出力同期信号生成部、５６…送信機同期位相計算部、５８…多重化部、６１…システムＤｅｍｕｘ部、６３…表示処理部、６４…ディスプレイ部、６５…音声復号部、６６…ＤＡ変換部、６７…スピーカ部

Claims (8)

  1. 　時刻情報に基づいて基準信号を発生する基準信号発生手段と、
    　前記基準信号発生手段により発生された基準信号に基づいて映像信号を撮像する撮像手段と、
    　前記撮像手段により撮像した映像信号をディジタル圧縮符号化する圧縮手段と、
    　ネットワークから、時刻情報と、前記時刻情報に対する基準信号の位相情報を受信し、また、前記ディジタル圧縮符号化された映像信号を送信するネットワーク処理手段と、
    　前記基準信号発生手段と前記ネットワーク処理手段を制御する制御手段と、
    　を備え、
    　前記制御手段は、前記基準信号発生手段で発生した前記基準信号の位相を、前記ネットワーク処理手段で受信した前記時刻情報と前記位相信号に応じて変更するように前記基準信号発生手段を制御することを特徴とする映像送信装置。
  2. 　請求項１に記載の映像送信装置において、
    　前記制御手段は、前記映像受信装置に対し、前記映像信号を撮像しディジタル圧縮符号化して前記ネットワークに送信するまでの処理時間を通知することを特徴とする映像送信装置。
  3. 　請求項２に記載の映像送信装置において、
    　前記制御手段は、前記映像受信装置の要求に応じて、前記映像信号を撮像しディジタル圧縮符号化して前記ネットワークに送信するまでの処理時間を通知することを特徴とする映像送信装置。
  4. 　時刻情報に基づいて発生した基準信号により映像信号を撮像した映像信号をディジタル圧縮符号化し、
    　ネットワークから、時刻情報と、前記時刻情報に対する基準信号の位相情報を受信し、また、前記ディジタル圧縮符号化された映像信号を送信する映像送信方法において、
    　発生する前記基準信号の位相を、ネットワークから受信した前記時刻情報と前記位相信号に応じて変更することを特徴とする映像送信方法。
  5. 　時刻情報に基づいて基準信号を発生する基準信号発生手段と、
    　ネットワークに接続された一つまたは複数の映像送信装置から送信されるディジタル圧縮符号化された一つまたは複数の映像信号データのストリームを受信するネットワーク処理手段と、
    　前記ネットワーク処理手段で受信した一つまたは複数の前記映像データを復号する復号手段と、
    　前記復号手段により復号した一つまたは複数の前記映像信号を基にした映像を前記基準信号に基づいて表示する映像表示手段と、
    　前記基準信号発生手段と前記ネットワーク処理手段を制御する制御手段と、
    　を備え、
    　前記制御手段は、前記映像送信装置に、前記時刻情報に対する、前記基準信号発生手段で発生した前記基準信号の位相情報を送信するよう前記ネットワーク処理手段を制御することを特徴とする映像受信装置。
  6. 　請求項５に記載の映像受信装置において、
    　前記制御手段は、前記映像送信装置が映像を撮像しディジタル圧縮符号化して前記ネットワークに送信するのに要する処理遅延時間情報を前記一つまたは複数の映像送信装置から取得することを特徴とする映像受信装置。
  7. 　請求項６に記載の映像受信装置において、
    　前記制御手段は、前記一つまたは複数の映像送信装置から取得した前記処理遅延時間情報に基づいて、前記位相情報を決定することを特徴とする映像受信装置。
  8. 　ネットワークに接続された一つまたは複数の映像送信装置から送信されるディジタル圧縮符号化された一つまたは複数の映像信号データのストリームを受信し、
    　受信した一つまたは複数の前記映像データを復号し、
    　復号した一つまたは複数の前記映像信号を基にした映像を、時刻情報に基づいて発生した基準信号に基づいて表示する映像受信方法において、
    　前記映像送信装置に、前記時刻情報に対する前記基準信号の位相情報を送信することを特徴とする映像受信方法。
PCT/JP2012/000331 2011-03-09 2012-01-20 映像送信装置、映像送信方法、映像受信装置、および映像受信方法 WO2012120763A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201280003633.7A CN103210656B (zh) 2011-03-09 2012-01-20 影像发送装置、影像发送方法、影像接收装置以及影像接收方法
US13/884,808 US20130287122A1 (en) 2011-03-09 2012-01-20 Video transmission device, video transmission method, video receiving device, and video receiving method
JP2013503342A JP5697743B2 (ja) 2011-03-09 2012-01-20 映像送信装置、映像送信方法、映像受信装置、および映像受信方法

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2011-050973 2011-03-09
JP2011-050975 2011-03-09
JP2011050973A JP2012191284A (ja) 2011-03-09 2011-03-09 映像送信装置、映像送信方法、映像受信装置、および映像受信方法
JP2011050975A JP5697494B2 (ja) 2011-03-09 2011-03-09 映像送信装置、映像送信方法、映像受信装置、および映像受信方法
JP2011-058665 2011-03-17
JP2011058665A JP2012195796A (ja) 2011-03-17 2011-03-17 符号化信号送信装置

Publications (1)

Publication Number Publication Date
WO2012120763A1 true WO2012120763A1 (ja) 2012-09-13

Family

ID=46797743

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/000331 WO2012120763A1 (ja) 2011-03-09 2012-01-20 映像送信装置、映像送信方法、映像受信装置、および映像受信方法

Country Status (4)

Country Link
US (1) US20130287122A1 (ja)
JP (1) JP5697743B2 (ja)
CN (1) CN103210656B (ja)
WO (1) WO2012120763A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015213254A (ja) * 2014-05-02 2015-11-26 キヤノン株式会社 表示装置、撮像装置及びその制御方法
WO2016002130A1 (ja) * 2014-06-30 2016-01-07 パナソニックＩｐマネジメント株式会社 撮影方法、撮影システム、端末装置およびサーバ
JP2018006959A (ja) * 2016-06-30 2018-01-11 キヤノン株式会社 通信システム、通信機器および通信方法
JP2018046433A (ja) * 2016-09-15 2018-03-22 富士通株式会社 画像同期装置、画像同期プログラム、及び画像同期方法
JP2022159374A (ja) * 2020-07-29 2022-10-17 ソニーグループ株式会社 送信方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5791451B2 (ja) * 2011-09-29 2015-10-07 キヤノン株式会社 符号化装置およびプログラム
WO2015136798A1 (ja) * 2014-03-13 2015-09-17 ソニー株式会社 撮像装置、撮像システム、および、撮像装置の制御方法
JP2016123009A (ja) 2014-12-25 2016-07-07 ルネサスエレクトロニクス株式会社 半導体装置、電子デバイス・モジュール、及びネットワークシステム
CN106210708B (zh) * 2015-04-30 2019-02-01 杭州海康威视数字技术股份有限公司 一种图像延迟的检测方法和系统
CN105049777A (zh) * 2015-08-17 2015-11-11 深圳奇沃智联科技有限公司 具有h.265编码的实时4g影像共享信息系统
JP6681244B2 (ja) * 2016-03-30 2020-04-15 キヤノン株式会社 画像処理装置、その制御方法、及びプログラム
CN106131595A (zh) * 2016-05-26 2016-11-16 武汉斗鱼网络科技有限公司 一种用于视频直播的标题敏感词控制方法及装置
CN106027979A (zh) * 2016-06-21 2016-10-12 深圳市智美达科技股份有限公司 摄像监控图像显示系统
WO2019023919A1 (en) * 2017-08-01 2019-02-07 Vishare Technology Limited METHODS AND APPARATUS FOR VIDEO CONTINUOUS DIFFUSION WITH ENHANCED SYNCHRONIZATION
US20190158721A1 (en) * 2017-11-17 2019-05-23 Texas Instruments Incorporated Multi-camera synchronization through receiver hub back channel
WO2021159332A1 (zh) * 2020-02-12 2021-08-19 深圳元戎启行科技有限公司 图像采集触发方法、装置、计算机设备、可读存储介质和监控设备
CN115442520A (zh) * 2022-08-05 2022-12-06 珠海普罗米修斯视觉技术有限公司 图像拍摄方法、图像处理方法及拍摄系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003235027A (ja) * 2002-02-12 2003-08-22 Matsushita Electric Ind Co Ltd 配信映像の同時再生方法、映像配信システムおよび端末装置
JP2010213119A (ja) * 2009-03-11 2010-09-24 Panasonic Corp 映像伝送システム、撮像装置及びモニタ装置
JP2011023992A (ja) * 2009-07-16 2011-02-03 Hitachi Consumer Electronics Co Ltd コンテンツ配信システム、再生装置、及び配信サーバ

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2522580B2 (ja) * 1990-04-06 1996-08-07 シャープ株式会社 映像信号記録再生装置
DE69424129T2 (de) * 1993-11-29 2000-11-16 Canon Kk Vorrichtung zur Verarbeitung von stereoskopischen Bildern
SG34287A1 (en) * 1994-10-28 1996-12-06 Hitachi Ltd Input-output circuit recording apparatus and reproduction apparatus for digital video signal
JPH08181688A (ja) * 1994-12-26 1996-07-12 Victor Co Of Japan Ltd 時間情報符号化復号化装置並びに符号化装置及び復号化装置
US5903308A (en) * 1996-08-26 1999-05-11 Ultrak, Inc. Phase compensation for video cameras
JP2000032327A (ja) * 1998-07-10 2000-01-28 Matsushita Electric Ind Co Ltd 撮像画像伝送装置
JP2000322039A (ja) * 1999-05-13 2000-11-24 Mitsubishi Electric Corp 表示装置、制御装置および多画面表示システム
JP4228505B2 (ja) * 2000-03-17 2009-02-25 ソニー株式会社 データ伝送方法およびデータ伝送システム
EP1450555A1 (en) * 2003-02-18 2004-08-25 Thomson Licensing S.A. Video device and method for synchronising time bases of video devices
JP4303535B2 (ja) * 2003-08-06 2009-07-29 パナソニック株式会社 デコード表示装置、撮像装置及びそれらを備えた画像伝送システム
US8442123B2 (en) * 2003-11-26 2013-05-14 Sanyo Electric Co., Ltd. Device, signal generation/decoding device, video transmission device, video reception device, and video transmission/reception system
US8320446B2 (en) * 2004-11-24 2012-11-27 Qformx, Inc. System for transmission of synchronous video with compression through channels with varying transmission delay
CN101043317A (zh) * 2006-06-12 2007-09-26 华为技术有限公司 一种时间同步设备精度测试方法及其系统
TW201019649A (en) * 2008-11-06 2010-05-16 Inst Information Industry Network system, adjusting method of data transmission rate and computer program procut thereof
JP5286050B2 (ja) * 2008-11-28 2013-09-11 株式会社日立国際電気 符号化−復号化装置および映像伝送システム
US20110249718A1 (en) * 2008-12-31 2011-10-13 Rambus Inc. Method and apparatus for correcting phase errors during transient events in high-speed signaling systems
JP4766128B2 (ja) * 2009-02-27 2011-09-07 ソニー株式会社 スレーブ装置、スレーブ装置の時刻同期化方法および電子機器システム
US8446191B2 (en) * 2009-12-07 2013-05-21 Qualcomm Incorporated Phase locked loop with digital compensation for analog integration
JP2011234341A (ja) * 2010-04-09 2011-11-17 Sony Corp 受信装置およびカメラシステム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003235027A (ja) * 2002-02-12 2003-08-22 Matsushita Electric Ind Co Ltd 配信映像の同時再生方法、映像配信システムおよび端末装置
JP2010213119A (ja) * 2009-03-11 2010-09-24 Panasonic Corp 映像伝送システム、撮像装置及びモニタ装置
JP2011023992A (ja) * 2009-07-16 2011-02-03 Hitachi Consumer Electronics Co Ltd コンテンツ配信システム、再生装置、及び配信サーバ

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015213254A (ja) * 2014-05-02 2015-11-26 キヤノン株式会社 表示装置、撮像装置及びその制御方法
WO2016002130A1 (ja) * 2014-06-30 2016-01-07 パナソニックＩｐマネジメント株式会社 撮影方法、撮影システム、端末装置およびサーバ
JPWO2016002130A1 (ja) * 2014-06-30 2017-04-27 パナソニックＩｐマネジメント株式会社 撮影方法、撮影システム、端末装置およびサーバ
US10205867B2 (en) 2014-06-30 2019-02-12 Panasonic Intellectual Property Management Co., Ltd. Image photographing method performed with terminal device having camera function
US10602047B2 (en) 2014-06-30 2020-03-24 Panasonic Intellectual Property Management Co., Ltd. Image photographing method performed with terminal device having camera function
JP2018006959A (ja) * 2016-06-30 2018-01-11 キヤノン株式会社 通信システム、通信機器および通信方法
JP2018046433A (ja) * 2016-09-15 2018-03-22 富士通株式会社 画像同期装置、画像同期プログラム、及び画像同期方法
JP2022159374A (ja) * 2020-07-29 2022-10-17 ソニーグループ株式会社 送信方法
JP7371734B2 (ja) 2020-07-29 2023-10-31 ソニーグループ株式会社 送信方法

Also Published As

Publication number Publication date
CN103210656A (zh) 2013-07-17
JPWO2012120763A1 (ja) 2014-07-07
US20130287122A1 (en) 2013-10-31
CN103210656B (zh) 2016-08-17
JP5697743B2 (ja) 2015-04-08

Similar Documents

Publication Publication Date Title
JP5697743B2 (ja) 映像送信装置、映像送信方法、映像受信装置、および映像受信方法
US8745432B2 (en) Delay controller, control method, and communication system
CN102891984B (zh) 发送设备、接收系统、通信系统、发送方法、接收方法和程序
US20110249181A1 (en) Transmitting device, receiving device, control method, and communication system
JP2011234341A (ja) 受信装置およびカメラシステム
JP5286050B2 (ja) 符号化−復号化装置および映像伝送システム
US9516219B2 (en) Camera system and switching device
JP2017005611A (ja) 動画像復号装置及び動画像復号方法
WO2020017499A1 (ja) 映像音声伝送システム、伝送方法、送信装置及び受信装置
JP5697494B2 (ja) 映像送信装置、映像送信方法、映像受信装置、および映像受信方法
JP2015149761A (ja) 符号化信号送信装置
JP2012195794A (ja) 符号化信号受信装置
JP2020005063A (ja) 処理装置及びその制御方法、出力装置、同期制御システム、並びにプログラム
JP2008131591A (ja) リップシンク制御装置及びリップシンク制御方法
JP2005333520A (ja) 画像伝送装置、画像伝送方法、伝送システム、及び映像監視システム
JP2012195795A (ja) ネットワークカメラシステム
JP2012195796A (ja) 符号化信号送信装置
Mochida et al. MMT-based Multi-channel Video Transmission System with Synchronous Processing Architecture
US20220360845A1 (en) Reception apparatus, reception method, and transmission and reception system
WO2014068629A1 (ja) 映像処理装置、映像送信装置、映像受信装置、映像処理方法、映像送信方法、及び映像受信方法。
US9912427B2 (en) Reception apparatus and system
JP2008244781A (ja) 地上波デジタル放送のｉｐ再送信システム及びこれで用いるまだら編成時のシームレス切り替え制御方法
JP2012191284A (ja) 映像送信装置、映像送信方法、映像受信装置、および映像受信方法
JP2024043926A (ja) 送出システムおよび送出方法、ならびに送出システムに適用されるｉｐゲートウェイおよび効果装置
KR20180119243A (ko) 젠락 기능을 가진 멀티미디어 송수신 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12755704

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13884808

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2013503342

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12755704

Country of ref document: EP

Kind code of ref document: A1