WO2020241308A1 - 同期制御装置、同期制御方法及び同期制御プログラム - Google Patents

同期制御装置、同期制御方法及び同期制御プログラム Download PDF

Info

Publication number
WO2020241308A1
WO2020241308A1 PCT/JP2020/019464 JP2020019464W WO2020241308A1 WO 2020241308 A1 WO2020241308 A1 WO 2020241308A1 JP 2020019464 W JP2020019464 W JP 2020019464W WO 2020241308 A1 WO2020241308 A1 WO 2020241308A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
data
video
time
frame data
Prior art date
Application number
PCT/JP2020/019464
Other languages
English (en)
French (fr)
Inventor
小野　正人
高秀 星出
松原　靖
深津　真二
憲一 南
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US17/611,340 priority Critical patent/US20220210295A1/en
Priority to CN202080040390.9A priority patent/CN113906734A/zh
Publication of WO2020241308A1 publication Critical patent/WO2020241308A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a technique for synchronously controlling video / audio data.
  • a remote video monitoring system that realizes air traffic control that can monitor multiple airports at one base, public space monitoring that can collectively monitor airport lobbies, stations, and stadiums, and disaster prevention monitoring that can remotely monitor debris flows, tsunamis, and dams. It is envisioned.
  • the remote video monitoring system not only monitors multiple monitoring bases in an integrated manner, but also effectively grasps the status of each monitoring base's wide monitoring area, for example, strengthening anti-terrorism measures and preventing large-scale natural disasters. It has a function to transmit high-definition and wide-viewing-angle video to the monitoring side in real time in order to realize it quickly.
  • the remote video monitoring device on the base side receives multiple camera images (video / audio data) from a plurality of imaging devices, synthesizes the received multiple video / audio data, and combines the panoramic video.
  • the video / audio data and the object information detected from the video data are synchronously transmitted to the remote video monitoring device on the monitoring side via the IP network using the MMT (MPEG Media Transport) protocol. Since NTP (Network Time Protocol) is used in the transmission section of the IP network, it is possible to guarantee synchronous control between video / audio data and object information (Non-Patent Document 1).
  • MMT MPEG Media Transport
  • the deviation of the frame time stamp may not be constant depending on the condition of the concentrator device (fluctuation of internal time, etc.), and it is difficult to completely synchronize the deviation.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to more reliably perform synchronous control of video / audio data from a plurality of imaging devices.
  • the frame shaping unit is characterized in that the time ticked at the frame time interval of the data calculated from a predetermined reference time is used as the new frame time stamp.
  • the synchronization control device When the synchronization control device detects a loss of the frame data, it further includes a missing frame detection unit that duplicates and inserts the next frame data of the missing frame data as the missing frame data. ..
  • the synchronous control device is further provided with a surplus frame detection unit that deletes the duplicated or surplus frame data when the duplicated or surplus of the frame data is detected.
  • video / audio data from a plurality of imaging devices can be controlled more reliably in synchronization.
  • the remote video monitoring device on the base side uses the MMT protocol to combine the video / audio data of the panoramic video that combines multiple camera images (video / audio data) and the object information detected from the video data. It is a system that synchronously transmits to a remote video monitoring device on the monitoring side via an IP network. In the transmission section of the IP network, NTP is used to realize synchronization control between video / audio data and object information with low delay.
  • the compositing processing device 10 receives a plurality of video / audio data from each of the plurality of imaging devices 2 arranged on the base side, synthesizes the received plurality of video data to generate a panoramic video, and receives the received video.
  • One or more objects are detected from the data and tracked, and the generated panoramic video data and audio data are encoded, and the encoded video / audio data is sent via the IP network 4 using the MMT protocol. It has a function of transmitting data to the remote video monitoring device B on the monitoring side.
  • the synthesis processing device 10 includes, for example, a synthesis processing unit 11, an encoding processing unit 12, and an object detection / tracking processing unit 13, as shown in FIG.
  • the compositing processing unit 11 inputs, for example, video / audio data of up to 4K size from the plurality of imaging devices 2 from the SDI interface, synchronizes at the input timing, and synthesizes the synchronized video data in real time.
  • the compositing processing unit 11 forms a seam of each video data synchronized between the plurality of video data.
  • the composition quality is improved by dynamically changing and utilizing the tracking processing result that tracks a predetermined object.
  • the encoding processing unit 12 performs encoding processing on the video / audio data of the panoramic video obtained by synthesis, converts it into an MMTP packet that can be received by the decoding device 30 constituting the remote video monitoring device B on the monitoring side, and converts it into an MMTP packet. It is sent to the decoding device 30 via the IP network 4.
  • the encoding processing unit 12 encodes the input video uncompressed data with the HEVC (High Efficiency Video Coding) codec or the AVC (Advanced Video Coding) codec, and encodes the audio uncompressed data with the AAC (Advanced Audio Coding) codec. Then, it is converted into an MMTP stream and sent out. At that time, by managing the time code of the MMTP stream, synchronization with the object information transmitted from the object information integration device 20 is ensured.
  • the object information integration device 20 receives object information from the object detection / tracking processing unit 13 via Websocket, and converts the coordinates on the camera image of the object included in the received object information into the coordinates on the surround image. Further, the object information integration device 20 integrates the objects that appear in the overlapping area at the same time into one object. Then, the object information integration device 20 adds a predetermined cooperation key to the tracking information in the object information, makes an inquiry to a predetermined external server (not shown), and adds the obtained additional information to the tracking information.
  • the object information integration device 20 After that, the object information integration device 20 generates a signaling message from the tracking information, converts it into an MMTP packet, converts it into an MMTP stream, and uses the MMT protocol to display the remote video monitoring device B on the monitoring side via the IP network 4. It is sent to the constituent integrated object information receiving device 40.
  • the decoding device 30 receives the MMTP stream from the encoding processing unit 12 of the synthesis processing device 10 via the IP network 4, and performs decoding processing on the video / audio data included in the MMTP packet in the received MMTP stream. It has a function of synchronously controlling video / audio data decoded by the decoding process among a plurality of output devices (not shown) and outputting the video / audio data to a plurality of display devices 3.
  • the integrated object information receiving device 40 receives the MMTP stream from the object information integrating device 20 via the IP network 4, acquires the object information included in the MMTP packet in the received MMTP stream, and obtains the object information contained in the MMTP packet in the received MMTP stream.
  • the coordinates are converted into the coordinates for each asset that identifies the video / audio component, and output to each of the plurality of display devices 3. Details regarding assets are described in Non-Patent Document 1.
  • an additional information superimposing device for superimposing video / audio data and object information is provided between the decoding device 30 and the integrated object information receiving device 40 and the display device 3, but the additional information Since the superimposing device has a data information superimposing function, it can be mounted on any one of the decoding device 30, the integrated object information receiving device 40, and the display system device 3.
  • the imaging device 2 is, for example, a 4K camera.
  • the display device 3 is, for example, a display, and the plurality of display devices 3 are multi-screens.
  • Synthesis processing device The functions of the synthesis processing device 10 are as described above, but the present embodiment solves the problem that it is difficult to completely synchronously control a plurality of video / audio data received from each of the plurality of imaging system devices 2. Therefore, the synthesis processing device 10 is further provided with a synchronization control unit (synchronization control device).
  • a synchronization control unit synchronization control device
  • FIG. 2 is a diagram showing a configuration example of a synthesis processing device 10 further provided with a synchronization control unit.
  • the synthesis processing device 10 controls to improve the synchronization accuracy of a plurality of video / audio data transmitted from the plurality of imaging system devices 2 at substantially the same timing.
  • the synthesis processing device 10 includes a camera image receiving unit 14, a synchronization control unit 15, and a synthesis processing unit 11.
  • the encoding processing unit 12 and the object detection / tracking processing unit 13 shown in FIG. 1 are omitted.
  • the camera image receiving unit 14 has a function of receiving a plurality of camera images output from the plurality of imaging devices 2 by a plurality of credit collecting devices and transmitting the received plurality of video / audio data to the synchronization control unit 15, respectively. To be equipped.
  • the synchronization control unit 15 functions between the camera image reception unit 14 and the synthesis processing unit 11, performs synchronous control on a plurality of video / audio data transmitted from the camera image reception unit 14, and a plurality of images after the synchronization control. It has a function of sending video / audio data to the synthesis processing unit 11, respectively.
  • the synchronization control unit 15 includes, for example, a frame acquisition unit 151, a frame shaping unit 152, a missing frame detection unit 153, and a surplus frame detection unit 154, as shown in FIG. Be prepared.
  • the frame acquisition unit 151 has a function of acquiring a plurality of frame data from the video / audio data for each video / audio data and assigning a frame time stamp based on the acquisition time to the plurality of frame data.
  • the frame shaping unit 152 sets a plurality of frame data that are close in time between the plurality of video / audio data at the same time, and the time interval between the plurality of frame data is evenly spaced. It has a function to add a new frame time stamp to a plurality of frame data so as to be.
  • the missing frame detection unit 153 determines whether or not the frame data of a plurality of video / audio data is missing, and when the missing frame data is detected, the missing frame data next to the missing frame data is used as the missing frame. It has a function to duplicate as data and insert it at the missing position.
  • the surplus frame detection unit 154 determines whether or not there is duplication or surplus in the frame data for a plurality of video / audio data, and when the duplication or surplus of the frame data is detected, the surplus frame data is deleted. It has a function to do.
  • the synchronization control unit 15 can be realized by a computer provided with a CPU, a memory, an input / output interface, a communication interface, and the like. It is also possible to create a synchronization control program for operating the computer as the synchronization control unit 15 and a storage medium for the synchronization control program.
  • FIG. 3 is a diagram showing a synchronization control processing flow of video data.
  • Step S1 First, the camera image receiving unit 14 receives a plurality of video data output from each of the plurality of imaging devices 2 at substantially the same timing, and sends the received plurality of video data to the synchronization control unit 15, respectively. After that, the synchronization control unit 15 executes steps S2 to S7, which will be described later, for each frame data included in each video data for the plurality of video data.
  • Step S2 First, the frame acquisition unit 151 acquires each frame data from each video data, and assigns a frame time stamp based on each acquisition time of each acquired frame data to each frame data.
  • the frame acquisition unit 151 assigns the acquisition times to the first frame data and the second frame data, respectively. The same applies to frame data from other cameras.
  • the frame acquisition unit 151 may use the frame data reception time or arrival time instead of the frame data acquisition time.
  • the "acquisition time” described in the claims includes the reception time and the arrival time.
  • Step S3 the frame shaping unit 152 sets the same time for a plurality of frame data that are close in time between the plurality of video data according to the frame rate of the video data based on the value of the frame time stamp given in step S2.
  • a new frame time stamp is added to a plurality of frame data so that the time intervals between the plurality of frame data are evenly spaced.
  • the frame shaping unit 152 shapes the frame time stamps given based on the frame data acquisition time and arrival time at equal intervals according to the frame rate.
  • Example of adding a new frame time stamp 1 For example, in the case of a video having a frame rate of 60 fps, the frame time interval is about 16.66 msec, so that the frame shaping unit 152 first calculates the current time (“2019/4/1/12”) from the predetermined reference time. : 00.000 ”) and later are calculated for each frame time interval as shown below. However, exactly ".000" is set every second. The example of the time below is a value rounded off to three decimal places.
  • the frame shaping unit 152 selects "2019/4/1/12: 00.050" closest to each arrival time from the above-mentioned plurality of "time for each frame time interval" calculated, and selects "2019". / 4/1 / 12: 00.050 "is added to the first frame data of all three video data.
  • various methods can be considered for selecting the time. For example, for the frame data received for the first time after starting the frame processing, the acquisition time of the frame data is compared with the "time for each frame time interval" before and after the acquisition time, and the closer time is set. select. When the acquisition time of the frame data is the center of the frame time interval, the frame shaping unit 152 selects the old time.
  • the frame shaping unit 152 assigns a time for each frame time interval (about 16.66 msec) to the frame data after the first frame data.
  • the frame time stamps shown below are given to all three video data, and the three video data are completely synchronized and controlled.
  • Example 2 of adding a new frame time stamp In the assignment example 1, a method of assigning a time for each frame time interval has been described for frame data other than the beginning. On the other hand, when the frame data is missing, surplus, or duplicated, if the time for each frame time interval is uniformly assigned to the frame data other than the beginning as in the assignment example 1, the time is temporal among the plurality of video data. May be given the same frame time stamp to completely different frame data.
  • the first frame data not only the first frame data but also the frame data other than the first frame data should be selected by comparing the acquisition time with the "time for each frame time interval".
  • a frame time stamp of a time that matches the acquisition time of the frame data is given, so that even if the frame data is missing or duplicated, the correct frame time stamp can be surely given.
  • each camera image from a plurality of imaging system devices 2 can be reliably controlled in synchronization.
  • the delay / fluctuation of the photographing process may be large depending on the situation or state at that time, and the frame data may be lost or surplus or duplicated.
  • step S4 and subsequent steps by confirming the excess or deficiency of the frame data and duplicating or deleting the frame data, even if the frame data has fluctuations, omissions, surpluses, or duplications, all camera images are always displayed. Make sure that the frame timestamps are in sync.
  • Step S4 the missing frame detection unit 153 determines whether or not the frame data related to each video data is missing. For example, the missing frame detection unit 153 refers to the value of the new frame time stamp given in step S3, and if there is a partial omission in the frame time stamp corresponding to the time ticked at the frame time interval, the frame data Judge that there is a defect. If the frame data is missing, the process proceeds to step S5, and if the frame data is not missing, the process proceeds to step S6.
  • Step S5 When the frame data is missing, the missing frame detection unit 153 duplicates and inserts the next frame data of the missing frame data as the missing frame data, as shown in FIG. That is, the missing frame detection unit 153 executes a repeat process of duplicating the next frame of the missing frame and additionally inputting it when the missing frame is detected. After that, the process proceeds to step S6.
  • Step S6 the surplus frame detection unit 154 determines whether or not there is duplication or surplus in the frame data.
  • the surplus frame detection unit 154 refers to the value of the frame time stamp given in step S3, and determines that the frame data has duplication or surplus when the same frame time stamp is given to a plurality of frame data. To do. If there is duplication or surplus in the frame data, the process proceeds to step S7, and if there is no duplication or surplus in the frame data, the process ends.
  • Step S7 When there is duplication or surplus in the frame data, the surplus frame detection unit 154 deletes the duplication or surplus frame data as shown in FIG. That is, the surplus frame detection unit 154 executes a skip process for deleting duplicates or surplus frames when a duplicate or surplus frame is detected. After that, the process ends.
  • the frame acquisition unit 151 assigns a frame time stamp based on the frame data acquisition time to each frame data for a plurality of video data.
  • the frame time stamp is shown by, for example, a white circle in FIG. 7 due to a delay or fluctuation in the shooting process.
  • the frame shaping unit 152 calculates the current time ("2019/4/1/12: 00.000") from the reference time ("1900/1/1 / 00:00") according to the frame rate (60fps) of the video data. ) To calculate the time (the circle with the diagonal hatch in Fig. 7) carved at the frame time interval (16.66 msec), and add the "time carved at the frame time interval" to each frame data as a new frame time stamp. .. That is, the frame shaping unit 152 performs a process of reallocating the frame time stamp based on the frame data acquisition time to the time calculated from the reference time according to the frame rate.
  • the video / audio data is for each video / audio data.
  • a frame acquisition unit 151 that acquires a plurality of frame data from the data and assigns a frame time stamp based on the acquisition time to each of the plurality of frame data, and between a plurality of video / audio data based on the value of the frame time stamp.
  • a frame shaping unit 152 that adds a new frame time stamp to a plurality of frame data so that a plurality of frame data that are close in time are at the same time and the time intervals between the plurality of frame data are equal. Therefore, in the remote video monitoring system, it is possible to more reliably perform synchronous control of a plurality of video / audio data from a plurality of imaging devices.
  • the frame shaping unit 152 uses the time ticked at the frame time interval of the video / audio data as a new frame time stamp, counting from 1900/1/1 / 00:00. It is possible to add a frame time stamp synchronized with UTC (Coordinated Universal Time) to all the input video frames.
  • UTC Coordinatd Universal Time
  • a plurality of missing frame detection units 153 are further provided, which duplicates and inserts the frame data next to the missing frame data as the missing frame data.
  • Video / audio data can be controlled more reliably in synchronization.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

複数の撮像系機器からの映像・音声データをより確実に同期制御する。複数の撮像系機器２からそれぞれ送信される複数の映像・音声データを同期する同期制御部１５において、映像・音声データ毎に、映像・音声データから複数のフレームデータを取得し、取得時刻を基にしたフレームタイムスタンプを複数のフレームデータにそれぞれ付与するフレーム取得部１５１と、フレームタイムスタンプの値を基に、複数の映像・音声データ間で時間的に近い複数のフレームデータが同時刻となり、複数のフレームデータ間の時間間隔が等間隔となるように、複数のフレームデータに新たなフレームタイムスタンプを付与するフレーム整形部１５２と、を備える。

Description

同期制御装置、同期制御方法及び同期制御プログラム
　本発明は、映像・音声データを同期制御する技術に関する。
　エンタープライズ分野では、複数の監視拠点を集約化する傾向にあり、複数の監視拠点を遠隔地で映像監視する遠隔映像監視技術の需要が拡大している。例えば、複数の空港を一拠点で監視可能な航空管制、空港ロビー・駅・スタジアムを一括監視可能な公共空間監視、土石流・津波・ダムを遠隔監視可能な防災監視を実現する遠隔映像監視システムが切望されている。
　当該遠隔映像監視システムは、複数の監視拠点を統合監視するだけでなく、監視拠点個々の広い監視エリアを効果的に状況把握するため、例えばテロ対策の強化や大規模な自然災害の未然防止を迅速に実現するため、高精細かつ広視野角な映像をリアルタイムに監視側に伝送する機能を持つ。
　例えば、拠点側の遠隔映像監視装置は、複数の撮像系機器から複数のカメラ映像（映像・音声データ）をそれぞれ受信し、受信した複数の映像・音声データを合成して、合成したパノラマ映像の映像・音声データと、映像データから検出したオブジェクト情報とを、ＭＭＴ（MPEG Media Transport）プロトコルを用いて、ＩＰネットワーク経由で、監視側の遠隔映像監視装置へ同期伝送する。ＩＰネットワークの伝送区間では、ＮＴＰ（Network Time Protocol）を用いるため、映像・音声データとオブジェクト情報との同期制御を担保可能である（非特許文献１）。
"デジタル放送におけるMMTによるメディアトランスポート方式"、標準規格、ARIB STD-B60、1.13版、一般社団法人電波産業会、2018年10月
　しかしながら、複数の撮像系機器と拠点側の遠隔映像監視装置との間では、各撮像系機器からそれぞれ受信する複数の映像・音声データを完全に同期制御することは難しいという課題がある。
　複数の撮像系機器には、撮影処理の遅延・ゆらぎ、撮影後に所定の映像処理を行う場合等、差分がある。また、拠点側の遠隔映像監視装置においても、内部時刻のゆらぎ等、各映像・音声データをそれぞれ受信する当該遠隔映像監視装置内の複数の集信用デバイス（集信用ボード）間に差分がある。
　そのため、図８に示すように、複数の撮像系機器２でそれぞれ同じ映像を撮影していた場合でも、複数の映像・音声データにそれぞれ付与されるフレームタイムスタンプにズレが発生する場合がある。これにより、拠点側の遠隔映像監視装置Ａで合成処理を行う際に合成対象の映像・音声フレームを特定できない事態が発生し、ＩＰネットワークの伝送区間及び監視側の提示系デバイス（出力用ボード）間で同期を担保したとしても再生時に同期ズレが発生する事態が発生してしまう。
　それ故、映像・音声データ間で同期制御を行う必要があるが、映像・音声データに付与されたフレームタイムスタンプのズレを把握するためには、一般に、集信系デバイスのログの確認、ＭＭＴプロトコルのパケットデータの確認が必要となり、非常に煩雑な処理を必要とする。また、フレームタイムスタンプのズレは集信系デバイスの状況（内部時刻のゆらぎ等）によって一定でない可能性もあり、そのズレを完全に同期させることは難しい。
　本発明は、上記事情を鑑みてなされたものであり、複数の撮像系機器からの映像・音声データをより確実に同期制御することを目的とする。
　上記課題を解決するため、本発明の同期制御装置は、複数の撮像系機器から送信される複数のデータを同期する同期制御装置において、前記データは、映像データ、音声データ、又は、映像及び音声データであり、前記データ毎に、前記データから複数のフレームデータを取得し、取得時刻を基にしたフレームタイムスタンプを前記複数のフレームデータにそれぞれ付与するフレーム取得部と、前記フレームタイムスタンプの値を基に、前記複数のデータ間で時間的に近い複数のフレームデータが同時刻となり、前記複数のフレームデータ間の時間間隔が等間隔となるように、前記複数のフレームデータに新たなフレームタイムスタンプを付与するフレーム整形部と、を備えることを特徴とする。
　上記同期制御装置において、前記フレーム整形部は、所定の基準時刻から起算して前記データのフレーム時間間隔で刻んだ時刻を前記新たなフレームタイムスタンプとすることを特徴とする。
　上記同期制御装置において、前記フレームデータの欠損を検出した場合、前記欠損したフレームデータの次のフレームデータを前記欠損したフレームデータとして複製して挿入する欠損フレーム検出部を更に備えることを特徴とする。
　上記同期制御装置において、前記フレームデータの重複又は余剰を検出した場合、前記重複又は余剰であるフレームデータを削除する余剰フレーム検出部を更に備えることを特徴とする。
　また、本発明の同期制御方法は、複数の撮像系機器から送信される複数のデータを同期する同期制御装置で行う同期制御方法において、前記データは、映像データ、音声データ、又は、映像及び音声データであり、前記データ毎に、前記データから複数のフレームデータを取得し、取得時刻を基にしたフレームタイムスタンプを前記複数のフレームデータにそれぞれ付与するステップと、前記フレームタイムスタンプの値を基に、前記複数のデータ間で時間的に近い複数のフレームデータが同時刻となり、前記複数のフレームデータ間の時間間隔が等間隔となるように、前記複数のフレームデータに新たなフレームタイムスタンプを付与するステップと、を行うことを特徴とする。
　また、本発明の同期制御プログラムは、上記同期制御方法をコンピュータに実行させることを特徴とする。
　本発明によれば、複数の撮像系機器からの映像・音声データをより確実に同期制御できる。
遠隔映像監視システムの構成例を示す図である。 合成処理装置の構成例を示す図である。 映像データの同期制御処理フローを示す図である。 同期処理後のフレームデータのイメージを示す図である。 同期及び複製処理後のフレームデータのイメージを示す図である。 同期及び削除処理後のフレームデータのイメージを示す図である。 フレームタイムスタンプの付与例を示す図である。 課題のイメージを示す図である。
　以下、本発明を実施する一実施形態について図面を用いて説明する。
　本実施形態では、上記課題を解決するため、同期制御装置、同期制御方法、及び同期制御プログラム（以下、本段落で単に「同期制御装置」という）を開示する。本実施形態では、当該同期制御装置を遠隔映像監視システムに適用する場合を例に説明する。但し、当該同期制御装置は、例えば、エンターテイメント分野のパブリックビューイングで用いられる情報処理システム等、遠隔監視以外の用途にも適用可能である。
　［遠隔映像監視システム］
　最初に、本実施形態に係る遠隔映像監視システムについて説明する。
　遠隔映像監視システムは、拠点側の遠隔映像監視装置が、複数のカメラ映像（映像・音声データ）を合成したパノラマ映像の映像・音声データと、映像データから検出したオブジェクト情報とを、ＭＭＴプロトコルを用いて、ＩＰネットワーク経由で、監視側の遠隔映像監視装置へ同期伝送するシステムである。ＩＰネットワークの伝送区間では、ＮＴＰを用いて、映像・音声データとオブジェクト情報との同期制御を低遅延に実現する。
　図１は、本実施形態に係る遠隔映像監視システム１の構成例を示す図である。当該遠隔映像監視システム１は、拠点側に配置された拠点側の遠隔映像監視装置Ａと、監視側に配置された監視側の遠隔映像監視装置Ｂと、を備える。
　まず、拠点側の遠隔映像監視装置Ａについて説明する。拠点側の遠隔映像監視装置Ａは、図１に示したように、例えば、合成処理装置１０と、オブジェクト情報統合装置２０と、を備える。
　合成処理装置１０は、拠点側に配置された複数の撮像系機器２から複数の映像・音声データをそれぞれ受信し、受信した複数の映像データを合成してパノラマ映像を生成して、受信した映像データから１以上のオブジェクトを検出してトラッキングを行うとともに、生成したパノラマ映像の映像データと音声データをエンコード処理して、エンコード処理後の映像・音声データを、ＭＭＴプロトコルを用いてＩＰネットワーク４経由で監視側の遠隔映像監視装置Ｂへ伝送する機能を備える。この機能を実行するため、合成処理装置１０は、図１に示したように、例えば、合成処理部１１と、エンコード処理部１２と、オブジェクト検出・トラッキング処理部１３と、を備える。
　合成処理部１１は、複数の撮像系機器２から例えば最大４Ｋサイズの映像・音声データをそれぞれＳＤＩインタフェースより入力し、入力したタイミングで同期を行い、同期した複数の映像データをリアルタイムに合成する。複数の映像データを合成する際には、撮像系機器２間の視差の影響を低減するため、合成処理部１１は、複数の映像データ間で同期している各映像データのつなぎ目（ｓｅａｍ）を動的に変更するとともに、所定のオブジェクトを追跡したトラッキング処理結果を活用することにより、合成品質の向上を図る。
　エンコード処理部１２は、合成により得たパノラマ映像の映像・音声データに対してエンコード処理を行い、監視側の遠隔映像監視装置Ｂを構成するデコード装置３０で受信可能なＭＭＴＰパケットに変換して、ＩＰネットワーク４経由で、当該デコード装置３０へ送出する。例えば、エンコード処理部１２は、入力された映像非圧縮データをＨＥＶＣ（High Efficiency Video Coding）コーデック又はＡＶＣ（Advanced Video Coding）コーデックでエンコードし、音声非圧縮データをＡＡＣ（Advanced Audio Coding）コーデックでエンコードして、ＭＭＴＰストリームに変換して送出する。その際、ＭＭＴＰストリームのタイムコードを管理することにより、オブジェクト情報統合装置２０から送出されるオブジェクト情報との同期を担保する。
　オブジェクト検出・トラッキング処理部１３は、複数の映像データから１つ以上のオブジェクトを検出してトラッキングを行い、当該オブジェクトの検出及びトラッキングの実行結果をオブジェクト情報としてオブジェクト情報統合装置２０にＷｅｂｓｏｃｋｅｔで送信する。尚、オブジェクトの検出及びトラッキング方法は、公知の技術を用いて実現可能である。
　オブジェクト情報統合装置２０は、オブジェクト検出・トラッキング処理部１３からオブジェクト情報をＷｅｂｓｏｃｋｅｔで受け取り、受け取ったオブジェクト情報に含まれるオブジェクトのカメラ映像上の座標をサラウンド映像上の座標へ変換する。また、オブジェクト情報統合装置２０は、重複領域に同時に表れるオブジェクトについては統合して１つのオブジェクトとする。そして、オブジェクト情報統合装置２０は、オブジェクト情報内のトラッキング情報に所定の連携キーを付加して図示しない所定の外部サーバへ問い合わせを行い、得られた任意の付加情報をトラッキング情報に追加する。その後、オブジェクト情報統合装置２０は、トラッキング情報からシグナリングメッセージを生成し、ＭＭＴＰパケット化してＭＭＴＰストリームに変換して、ＭＭＴプロトコルを用いて、ＩＰネットワーク４経由で、監視側の遠隔映像監視装置Ｂを構成する統合オブジェクト情報受信装置４０へ送出する。
　次に、監視側の遠隔映像監視装置Ｂについて説明する。監視側の遠隔映像監視装置Ｂは、図１に示したように、例えば、デコード装置３０と、統合オブジェクト情報受信装置４０と、を備える。
　デコード装置３０は、ＩＰネットワーク４を介して合成処理装置１０のエンコード処理部１２からＭＭＴＰストリームを受信し、受信したＭＭＴＰストリーム内のＭＭＴＰパケットに含まれる映像・音声データに対してデコード処理を行い、デコード処理により復号化された映像・音声データを図示しない複数の出力用デバイス間で同期制御して複数の表示系機器３へそれぞれ出力する機能を備える。
　統合オブジェクト情報受信装置４０は、ＩＰネットワーク４を介してオブジェクト情報統合装置２０からＭＭＴＰストリームを受信し、受信したＭＭＴＰストリーム内のＭＭＴＰパケットに含まれるオブジェクト情報を取得し、当該オブジェクト情報内のオブジェクトの座標を、映像・音声のコンポーネントを識別するアセット毎の座標へ変換して、複数の表示系機器３へそれぞれ出力する。尚、アセットに関する詳細については、非特許文献１に記載されている。
　尚、実際の運用では、デコード装置３０及び統合オブジェクト情報受信装置４０と表示系機器３との間に、映像・音声データとオブジェクト情報とを重畳する付加情報重畳装置が設けられるが、当該付加情報重畳装置はデータ情報の重畳機能であることから、デコード装置３０、統合オブジェクト情報受信装置４０、表示系機器３のうちいずれかに実装可能である。また、撮像系機器２とは、例えば、４Ｋカメラである。表示系機器３とは、例えば、ディスプレイであり、複数の表示系機器３は、マルチスクリーンである。
　［合成処理装置］
　合成処理装置１０の機能は、上述した通りであるが、本実施形態では、複数の撮像系機器２からそれぞれ受信する複数の映像・音声データを完全に同期制御することは難しいという課題を解決するため、合成処理装置１０に同期制御部（同期制御装置）を更に備える。
　図２は、同期制御部を更に備えた合成処理装置１０の構成例を示す図である。当該合成処理装置１０は、複数の撮像系機器２から概ね同じタイミングでそれぞれ送信される複数の映像・音声データの同期精度を向上させる制御を行う。例えば、合成処理装置１０は、カメラ映像受信部１４と、同期制御部１５と、合成処理部１１と、を備える。図２では、図１に示したエンコード処理部１２及びオブジェクト検出・トラッキング処理部１３については、省略している。
　カメラ映像受信部１４は、複数の撮像系機器２から出力される複数のカメラ映像を複数の集信用デバイスでそれぞれ受信し、受信した複数の映像・音声データを同期制御部１５にそれぞれ送出する機能を備える。
　同期制御部１５は、カメラ映像受信部１４と合成処理部１１との間で機能し、カメラ映像受信部１４から送出された複数の映像・音声データについて同期制御を行い、同期制御後の複数の映像・音声データを合成処理部１１にそれぞれ送出する機能を備える。この機能を実行するため、同期制御部１５は、図２に示したように、例えば、フレーム取得部１５１と、フレーム整形部１５２と、欠損フレーム検出部１５３と、余剰フレーム検出部１５４と、を備える。
　フレーム取得部１５１は、映像・音声データ毎に、映像・音声データから複数のフレームデータを取得し、取得時刻を基にしたフレームタイムスタンプを当該複数のフレームデータにそれぞれ付与する機能を備える。
　フレーム整形部１５２は、付与されたフレームタイムスタンプの値を基に、複数の映像・音声データ間で時間的に近い複数のフレームデータが同時刻となり、複数のフレームデータ間の時間間隔が等間隔となるように、複数のフレームデータに新たなフレームタイムスタンプを付与する機能を備える。
　欠損フレーム検出部１５３は、複数の映像・音声データについて、フレームデータに欠損があるか否を判定し、フレームデータの欠損を検出した場合、欠損したフレームデータの次のフレームデータを当該欠損したフレームデータとして複製して欠損位置に挿入する機能を備える。
　余剰フレーム検出部１５４は、複数の映像・音声データについて、フレームデータに重複又は余剰があるか否かを判定し、フレームデータの重複又は余剰を検出した場合、重複又は余剰であるフレームデータを削除する機能を備える。
　合成処理部１１の機能については、上述した通りである。同期制御部１５は、合成処理装置１０と同様に、ＣＰＵ、メモリ、入出力インタフェース、通信インタフェース等を備えたコンピュータで実現可能である。また、同期制御部１５としてコンピュータを機能させるための同期制御プログラム、当該同期制御プログラムの記憶媒体の作成も可能である。
　［同期制御方法］
　次に、複数のカメラ映像を同期制御する同期制御方法について説明する。当該同期制御方法では、カメラ映像に含まれる映像・音声データのうち、映像データを例に説明する。音声データ、又は、映像及び音声データの場合でも、当該同期制御方法を適用できる。図３は、映像データの同期制御処理フローを示す図である。
　ステップＳ１；
　最初に、カメラ映像受信部１４は、複数の撮像系機器２から概ね同じタイミングでそれぞれ出力された複数の映像データをそれぞれ受信し、受信した複数の映像データを同期制御部１５にそれぞれ送出する。その後、同期制御部１５は、複数の映像データについて、各映像データに含まれる各フレームデータに対して後述するステップＳ２～ステップＳ７を実行する。
　ステップＳ２；
　まず、フレーム取得部１５１は、各映像データから各フレームデータをそれぞれ取得し、取得した各フレームデータの各取得時刻を基にしたフレームタイムスタンプを各フレームデータにそれぞれ付与する。
　例えば、フレームレートが６０ｆｐｓの映像であれば、フレーム時間間隔は約１６．６６ｍｓｅｃとなるので、第１カメラから、先頭フレームデータを「2019/4/1/12:00.052」に取得し、第２フレームデータを「2019/4/1/12:00.070」に取得した場合、フレーム取得部１５１は、それらの取得時刻を先頭フレームデータと第２フレームデータとにそれぞれ付与する。他のカメラからのフレームデータについても同様である。
　尚、フレーム取得部１５１は、フレームデータの取得時刻に代えて、フレームデータの受信時刻又は到着時刻を用いてもよい。特許請求の範囲に記載した「取得時刻」は、受信時刻及び到着時刻を包含する。
　ステップＳ３；
　次に、フレーム整形部１５２は、ステップＳ２で付与されたフレームタイムスタンプの値を基に、映像データのフレームレートに従い、複数の映像データ間で時間的に近い複数のフレームデータが同時刻となり、複数のフレームデータ間の時間間隔が等間隔となるように、複数のフレームデータに新たなフレームタイムスタンプを付与する。
　つまり、フレーム整形部１５２は、フレームデータの取得時刻や到着時刻を基に付与したフレームタイムスタンプを、フレームレートに従い等間隔に整形する。このとき、新たなフレームタイムスタンプは、所定の基準時刻（1900/1/1/0:00.000＝NTPv4 64bit表現における0）から起算してフレーム時間間隔毎に算出した値とする。これにより、複数の撮像系機器２に関わらずズレのないフレームタイムスタンプの付与を可能とする。
　（新たなフレームタイムスタンプの付与例１）
　例えば、フレームレートが６０ｆｐｓの映像の場合、フレーム時間間隔は約１６．６６ｍｓｅｃとなるので、フレーム整形部１５２は、まず、上記所定の基準時刻から起算した現在時刻（「2019/4/1/12:00.000」）以降におけるフレーム時間間隔毎の時刻を下記に示すように算出する。但し、毎秒ちょうどは、「.000」とする。尚、下記時刻の例は、小数点３桁で四捨五入した値である。
　　2019/4/1/12:00.000
　　2019/4/1/12:00.017
　　2019/4/1/12:00.033
　　2019/4/1/12:00.050
　　2019/4/1/12:00.067
　　・・・
　そして、３つのカメラからの映像データの各到着時刻が下記に示す時刻から始まった場合、
　　第１カメラ（先頭フレームデータ）　2019/4/1/12:00.052
　　第２カメラ（先頭フレームデータ）　2019/4/1/12:00.055
　　第３カメラ（先頭フレームデータ）　2019/4/1/12:00.056
フレーム整形部１５２は、算出していた上記複数の「フレーム時間間隔毎の時刻」の中から当該各到着時刻に最も近い「2019/4/1/12:00.050」を選択し、選択した「2019/4/1/12:00.050」を３つ全ての映像データの先頭フレームデータにそれぞれ付与する。
　尚、時刻の選択方法については、様々な方法が考えられる。例えば、フレーム処理を開始してから初回に受信したフレームデータに対しては、当該フレームデータの取得時刻を当該取得時刻の前後の「フレーム時間間隔毎の時刻」と比較し、近い方の時刻を選択する。フレームデータの取得時刻がフレーム時間間隔の中心であった場合、フレーム整形部１５２は、古い時刻を選択する。
　その後、フレーム整形部１５２は、先頭フレームデータ以降のフレームデータに対しては、フレーム時間間隔（約16.66msec）毎の時刻を付与する。
　これにより、上記例の場合、３つ全ての映像データに対して下記に示すフレームタイムスタンプが付与されることとなり、３つの映像データが完全に同期制御される。尚、下記で付与したフレームタイムスタンプの「00:00.017」は、「16.66msec」＝「00:00.01666」を小数点３桁で四捨五入した値である。
　　先頭フレームデータ　2019/4/1/12:00.050
　　第２フレームデータ　2019/4/1/12:00.050+00:00.017×1
　　第３フレームデータ　2019/4/1/12:00.050+00:00.017×2
　　・・・
　　第ｎフレームデータ　2019/4/1/12:00.050+00:00.017×(n-1)
　（新たなフレームタイムスタンプの付与例２）
　付与例１では、先頭以外のフレームデータに対しては、フレーム時間間隔毎の時刻を付与する方法を説明した。一方、フレームデータに欠損又は余剰及び重複がある場合、付与例１のように先頭以外のフレームデータに対してフレーム時間間隔毎の時刻を一律付与してしまうと、複数の映像データ間で時間的に全く異なるフレームデータに同じフレームタイムスタンプが付与される可能性がある。
　そこで、先頭フレームデータのみに限らず、先頭以外のフレームデータについても、その取得時刻を「フレーム時間間隔毎の時刻」と比較して選択するようにする。これにより、フレームデータの取得時刻に合致する時刻のフレームタイムスタンプが付与されるので、フレームデータに欠損又は重複がある場合でも、正しいフレームタイムスタンプを確実に付与可能となる。
　ここまで説明したステップＳ１～ステップＳ３の処理を行うことで、図４に示すように、複数の撮像系機器２からの各カメラ映像を確実に同期制御できる。但し、前述したように、撮像系機器２によっては、その時々の状況や状態により撮影処理の遅延・ゆらぎが大きく生じ、フレームデータの欠損又は余剰及び重複が発生する可能性がある。
　そこで、ステップＳ４以降では、フレームデータの過不足を確認し、フレームデータの複製又は削除を行うことで、フレームデータにゆらぎや欠損・余剰・重複があった場合にも、常に全てのカメラ映像のフレームタイムスタンプが同期した状態を実現するようにする。
　ステップＳ４；
　次に、欠損フレーム検出部１５３は、各映像データに係るフレームデータに欠損があるか否かを判定する。例えば、欠損フレーム検出部１５３は、ステップＳ３で付与された新たなフレームタイムスタンプの値を参照し、フレーム時間間隔で刻んだ時刻に対応するフレームタイムスタンプに一部漏れがある場合、フレームデータに欠損があると判定する。フレームデータに欠損がある場合、ステップＳ５へ進み、フレームデータに欠損がない場合、ステップＳ６へ進む。
　ステップＳ５；
　フレームデータに欠損がある場合、欠損フレーム検出部１５３は、図５に示すように、欠損したフレームデータの次のフレームデータを当該欠損したフレームデータとして複製して挿入する。つまり、欠損フレーム検出部１５３は、フレームの欠損を検知した時点で欠損フレームの次フレームを複製して追加入力するリピート処理を実行する。その後、ステップＳ６へ進む。
　ステップＳ６；
　次に、余剰フレーム検出部１５４は、フレームデータに重複又は余剰があるか否かを判定する。例えば、余剰フレーム検出部１５４は、ステップＳ３で付与されたフレームタイムスタンプの値を参照し、複数のフレームデータに同じフレームタイムスタンプが付与されている場合、フレームデータに重複又は余剰があると判定する。フレームデータに重複又は余剰がある場合、ステップＳ７へ進み、フレームデータに重複又は余剰がない場合、処理を終了する。
　ステップＳ７；
　フレームデータに重複又は余剰がある場合、余剰フレーム検出部１５４は、図６に示すように、重複又は余剰であるフレームデータを削除する。つまり、余剰フレーム検出部１５４は、フレームの重複又は余剰を検知した時点で重複又は余剰フレームを削除するスキップ処理を実行する。その後、処理を終了する。
　最後に、フレームタイムスタンプの付与方法を纏める。
　まず、フレーム取得部１５１が、複数の映像データについて、フレームデータの取得時刻を基にしたフレームタイムスタンプを各フレームデータにそれぞれ付与する。当該フレームタイムスタンプは、撮影処理の遅延・ゆらぎ等により、例えば、図７の白丸で示すようになる。
　その後、フレーム整形部１５２が、映像データのフレームレート（60fps）に従い、基準時刻（「1900/1/1/0:00.000」）から起算した現在時刻（「2019/4/1/12:00.000」）からフレーム時間間隔（16.66msec）で刻んだ時刻（図７の斜線ハッチ入り丸）を算出し、当該「フレーム時間間隔で刻んだ時刻」を新たなフレームタイムスタンプとして各フレームデータにそれぞれ付与する。つまり、フレーム整形部１５２は、フレームデータの取得時刻を基にしたフレームタイムスタンプを、フレームレートに従い基準時刻から起算して算出した時刻に再割り当てする処理を行う。
　このとき、図７に示したフレームタイムスタンプＴＳ１のように、取得時刻を基にしたフレームタイムスタンプよりも過去の連続する２以上の付与予定フレームタイムスタンプに再割り当てが行われていない場合、１フレーム前までのフレームデータに対してリピート処理を実行する。また、フレームタイムスタンプＴＳ２のように、取得時刻を基にしたフレームタイムスタンプよりも未来の付与予定フレームタイムスタンプに既に再割り当てが行われている場合、スキップ処理を実行する。
　［実施形態の効果］
　以上より、本実施形態によれば、複数の撮像系機器２から概ね同じタイミングでそれぞれ送信される複数の映像・音声データを同期する同期制御部１５において、映像・音声データ毎に、映像・音声データから複数のフレームデータを取得し、取得時刻を基にしたフレームタイムスタンプを複数のフレームデータにそれぞれ付与するフレーム取得部１５１と、フレームタイムスタンプの値を基に、複数の映像・音声データ間で時間的に近い複数のフレームデータが同時刻となり、複数のフレームデータ間の時間間隔が等間隔となるように、複数のフレームデータに新たなフレームタイムスタンプを付与するフレーム整形部１５２と、を備えるので、遠隔映像監視システムにおいて複数の撮像系機器からの複数の映像・音声データをより確実に同期制御できる。
　また、本実施形態によれば、フレーム整形部１５２は、1900/1/1/0:00.000から起算して映像・音声データのフレーム時間間隔で刻んだ時刻を新たなフレームタイムスタンプとするので、入力された全ての映像フレームに対してＵＴＣ（Coordinated Universal Time）に同期したフレームタイムスタンプの付与を実現できる。
　また、本実施形態によれば、フレームデータの欠損を検出した場合、欠損したフレームデータの次のフレームデータを当該欠損したフレームデータとして複製して挿入する欠損フレーム検出部１５３を更に備えるので、複数の映像・音声データを更に確実に同期制御できる。
　また、本実施形態によれば、フレームデータの重複又は余剰を検出した場合、重複又は余剰であるフレームデータを削除する余剰フレーム検出部１５４を更に備えるので、複数の映像・音声データを更に確実に同期制御できる。
　１…遠隔映像監視システム
　２…撮像系機器
　３…表示系機器
　４…ＩＰネットワーク
　１０…合成処理装置
　１１…合成処理部
　１２…エンコード処理部
　１３…オブジェクト検出・トラッキング処理部
　１４…カメラ映像受信部
　１５…同期制御部
　１５１…フレーム取得部
　１５２…フレーム整形部
　１５３…欠損フレーム検出部
　１５４…余剰フレーム検出部
　２０…オブジェクト情報統合装置
　３０…デコード装置
　４０…統合オブジェクト情報受信装置
　Ａ…拠点側の遠隔映像監視装置
　Ｂ…監視側の遠隔映像監視装置

Claims (6)

  1. 　複数の撮像系機器から送信される複数のデータを同期する同期制御装置において、
    　前記データは、映像データ、音声データ、又は、映像及び音声データであり、
    　前記データ毎に、前記データから複数のフレームデータを取得し、取得時刻を基にしたフレームタイムスタンプを前記複数のフレームデータにそれぞれ付与するフレーム取得部と、
    　前記フレームタイムスタンプの値を基に、前記複数のデータ間で時間的に近い複数のフレームデータが同時刻となり、前記複数のフレームデータ間の時間間隔が等間隔となるように、前記複数のフレームデータに新たなフレームタイムスタンプを付与するフレーム整形部と、
    　を備えることを特徴とする同期制御装置。
  2. 　前記フレーム整形部は、
    　所定の基準時刻から起算して前記データのフレーム時間間隔で刻んだ時刻を前記新たなフレームタイムスタンプとすることを特徴とする請求項１に記載の同期制御装置。
  3. 　前記フレームデータの欠損を検出した場合、前記欠損したフレームデータの次のフレームデータを前記欠損したフレームデータとして複製して挿入する欠損フレーム検出部
    　を更に備えることを特徴とする請求項１に記載の同期制御装置。
  4. 　前記フレームデータの重複又は余剰を検出した場合、前記重複又は余剰であるフレームデータを削除する余剰フレーム検出部
    　を更に備えることを特徴とする請求項１に記載の同期制御装置。
  5. 　複数の撮像系機器から送信される複数のデータを同期する同期制御装置で行う同期制御方法において、
    　前記データは、映像データ、音声データ、又は、映像及び音声データであり、
    　前記データ毎に、前記データから複数のフレームデータを取得し、取得時刻を基にしたフレームタイムスタンプを前記複数のフレームデータにそれぞれ付与するステップと、
    　前記フレームタイムスタンプの値を基に、前記複数のデータ間で時間的に近い複数のフレームデータが同時刻となり、前記複数のフレームデータ間の時間間隔が等間隔となるように、前記複数のフレームデータに新たなフレームタイムスタンプを付与するステップと、
    　を行うことを特徴とする同期制御方法。
  6. 　請求項５に記載の同期制御方法をコンピュータに実行させることを特徴とする同期制御プログラム。
PCT/JP2020/019464 2019-05-31 2020-05-15 同期制御装置、同期制御方法及び同期制御プログラム WO2020241308A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/611,340 US20220210295A1 (en) 2019-05-31 2020-05-15 Synchronous control device, synchronous control method, and synchronous control program
CN202080040390.9A CN113906734A (zh) 2019-05-31 2020-05-15 同步控制装置、同步控制方法以及同步控制程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-102905 2019-05-31
JP2019102905A JP7208530B2 (ja) 2019-05-31 2019-05-31 同期制御装置、同期制御方法及び同期制御プログラム

Publications (1)

Publication Number Publication Date
WO2020241308A1 true WO2020241308A1 (ja) 2020-12-03

Family

ID=73553406

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/019464 WO2020241308A1 (ja) 2019-05-31 2020-05-15 同期制御装置、同期制御方法及び同期制御プログラム

Country Status (4)

Country Link
US (1) US20220210295A1 (ja)
JP (1) JP7208530B2 (ja)
CN (1) CN113906734A (ja)
WO (1) WO2020241308A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117119223A (zh) * 2023-10-23 2023-11-24 天津华来科技股份有限公司 基于多通道传输的视频流播放控制方法及系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022153385A1 (ja) * 2021-01-13 2022-07-21 日本電信電話株式会社 映像処理装置、映像処理方法、および、映像処理プログラム
CN116366780B (zh) * 2023-04-10 2024-04-02 小米汽车科技有限公司 用于帧同步的帧序号确定方法、装置及车辆
CN117528262B (zh) * 2023-12-29 2024-04-05 江西赛新医疗科技有限公司 一种医疗设备数据传输的控制方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017212515A (ja) * 2016-05-24 2017-11-30 日本電信電話株式会社 トランスコード装置、映像配信システム、トランスコード方法、映像配信方法及びトランスコードプログラム
WO2018088061A1 (ja) * 2016-11-08 2018-05-17 ソニー株式会社 画像転送装置、画像転送方法、プログラム、動画像生成システム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102510494B (zh) * 2011-10-09 2014-02-05 杭州华三通信技术有限公司 对i帧进行同步的方法及设备
US9280545B2 (en) * 2011-11-09 2016-03-08 Microsoft Technology Licensing, Llc Generating and updating event-based playback experiences
JP5940004B2 (ja) * 2013-03-04 2016-06-29 株式会社ドッドウエル ビー・エム・エス カメラ監視システム及びカメラ監視方法
US9912929B2 (en) * 2013-03-21 2018-03-06 Mediatek Inc. Video frame processing method
CN103414957A (zh) * 2013-07-30 2013-11-27 广东工业大学 一种音视频数据同步的方法和装置
CN103702013B (zh) * 2013-11-28 2017-02-01 北京航空航天大学 一种用于多路实时视频的帧同步方法
US9659598B2 (en) * 2014-07-21 2017-05-23 Avigilon Corporation Timeline synchronization control method for multiple display views
EP3213519B1 (en) * 2014-10-31 2018-07-11 Telefonaktiebolaget LM Ericsson (publ) Video stream synchronization
CN107251564B (zh) * 2015-03-05 2018-08-28 三菱电机株式会社 数据处理装置及数据处理方法
WO2016208102A1 (ja) * 2015-06-25 2016-12-29 パナソニックＩｐマネジメント株式会社 映像同期装置及び映像同期方法
CN105049917B (zh) * 2015-07-06 2018-12-07 深圳Tcl数字技术有限公司 录制音视频同步时间戳的方法和装置
CN105430537B (zh) * 2015-11-27 2018-04-17 刘军 对多路数据进行合成的方法、服务器及音乐教学系统
US10063613B2 (en) * 2016-11-15 2018-08-28 Genvid Technologies, Inc. Systems and methods for utilizing client-side synchronization of video and overlay
CN106791899A (zh) * 2016-12-13 2017-05-31 飞狐信息技术（天津）有限公司 直播中减少观众端画面卡顿的方法及装置以及客户端
US10271074B2 (en) * 2016-12-30 2019-04-23 Facebook, Inc. Live to video on demand normalization

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017212515A (ja) * 2016-05-24 2017-11-30 日本電信電話株式会社 トランスコード装置、映像配信システム、トランスコード方法、映像配信方法及びトランスコードプログラム
WO2018088061A1 (ja) * 2016-11-08 2018-05-17 ソニー株式会社 画像転送装置、画像転送方法、プログラム、動画像生成システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117119223A (zh) * 2023-10-23 2023-11-24 天津华来科技股份有限公司 基于多通道传输的视频流播放控制方法及系统
CN117119223B (zh) * 2023-10-23 2023-12-26 天津华来科技股份有限公司 基于多通道传输的视频流播放控制方法及系统

Also Published As

Publication number Publication date
JP2020198509A (ja) 2020-12-10
CN113906734A (zh) 2022-01-07
US20220210295A1 (en) 2022-06-30
JP7208530B2 (ja) 2023-01-19

Similar Documents

Publication Publication Date Title
WO2020241308A1 (ja) 同期制御装置、同期制御方法及び同期制御プログラム
US9819973B2 (en) Embedded appliance for multimedia capture
EP2469853B1 (en) Method and device for processing video image data, system and terminal for video conference
EP2866451A1 (en) Method and apparatus for IP video signal synchronization
HK1072856A1 (en) Secure device that is used to process high-quality audiovisual works
CN110958466A (zh) 一种基于rtmp传输的sdi信号同步回传方法
WO2020241309A1 (ja) 同期制御装置、同期制御方法及び同期制御プログラム
WO2007110822A1 (en) Method and apparatus for synchronising recording of multiple cameras
AU2019204751B2 (en) Embedded appliance for multimedia capture
WO2022269723A1 (ja) 同期制御を行う通信システム、その同期制御方法、受信サーバ及び同期制御プログラム
JP5367771B2 (ja) 映像伝送システム
WO2024011293A1 (en) Systems, methods, and storage media for transmitting multiple data streams over a communications network for remote inspection
AU2013254937B2 (en) Embedded Appliance for Multimedia Capture
CA2914803C (en) Embedded appliance for multimedia capture
JP2012253629A (ja) 動画フレーム同期システム
AU2012202843A1 (en) Embedded appliance for multimedia capture

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20815673

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20815673

Country of ref document: EP

Kind code of ref document: A1