WO2021260935A1 - 映像配信システム、映像配信方法、送信装置及び送信プログラム - Google Patents

映像配信システム、映像配信方法、送信装置及び送信プログラム Download PDF

Info

Publication number
WO2021260935A1
WO2021260935A1 PCT/JP2020/025310 JP2020025310W WO2021260935A1 WO 2021260935 A1 WO2021260935 A1 WO 2021260935A1 JP 2020025310 W JP2020025310 W JP 2020025310W WO 2021260935 A1 WO2021260935 A1 WO 2021260935A1
Authority
WO
WIPO (PCT)
Prior art keywords
video data
data
video
header
address
Prior art date
Application number
PCT/JP2020/025310
Other languages
English (en)
French (fr)
Inventor
稔久 藤原
友宏 谷口
央也 小野
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to JP2022532220A priority Critical patent/JPWO2021260935A1/ja
Priority to US18/011,462 priority patent/US20230283816A1/en
Priority to PCT/JP2020/025310 priority patent/WO2021260935A1/ja
Publication of WO2021260935A1 publication Critical patent/WO2021260935A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614Multiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4385Multiplex stream processing, e.g. multiplex stream decrypting
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/02Handling of images in compressed format, e.g. JPEG, MPEG
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2350/00Solving problems of bandwidth in display systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/10Use of a protocol of communication by packets in interfaces along the display data pipeline
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/14Use of low voltage differential signaling [LVDS] for display data communication
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006Details of the interface to the display terminal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H04N21/43635HDMI
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/64Addressing
    • H04N21/6405Multicasting

Definitions

  • the present invention relates to a system that distributes a screen to a remote location via a network.
  • Non-Patent Document 1 HDMI (High-Definition Multimedia Interface) (registered trademark) [Non-Patent Document 1] is a popular method for connecting a computer and its monitor, a television, and related AV (Audio / Visual) devices. However, it is not possible to directly connect a device in a remote location such as several kilometers away and transfer video data.
  • Non-Patent Documents 2 and 3 A method of packetizing an HDMI signal into an IP (Internet Protocol) packet in a predetermined format is known [Non-Patent Documents 2 and 3].
  • Video data When transferring video data to a remote location, it may be simultaneously distributed not only to one display device but also to multiple display devices for one video source. In particular, in order to realize low-delay delivery, it is necessary to transfer uncompressed video data.
  • the other is that there may be no display device that can display video corresponding to the pixels and frame rate of the video source. It is difficult for all display devices to support all video source formats when the video source is dynamically changed each time, or when distribution is performed to a large number of display devices, rather than a fixed system.
  • the transmitting side transmits video data in packets with different identifiers for each frame or scanning line, and the receiving side selectively receives packets with a predetermined identifier according to the network bandwidth or the image quality that can be displayed.
  • the video distribution system of the present disclosure is The transmitting device packets the video data for at least one of the frame and the scanning line, describes the plurality of identifiers in the header, and transmits the packet.
  • the receiving device selectively receives the video data in which a predetermined identifier among the plurality of identifiers is described in the header.
  • the video distribution method of the present disclosure is:
  • the transmitting device packets the video data for at least one of the frame and the scanning line, describes the plurality of identifiers in the header, and transmits the packet.
  • the receiving device selectively receives the video data in which a predetermined identifier among the plurality of identifiers is described in the header.
  • the transmitter of the present disclosure is A signal analysis unit that identifies at least one of the frames or scanning lines of video data, A packetizing unit that packets video data for at least one of a frame and a scanning line, A data transmission unit that describes each identifier in the header and transmits each packet generated by the packetization unit, and a data transmission unit. To prepare for.
  • the transmission program of the present disclosure is a program for realizing a computer as each functional unit provided in the transmission device according to the present disclosure, and for causing the computer to execute each step provided in the transmission method executed by the transmission device according to the present disclosure. It is a program of.
  • a large amount of video data can be transferred to a display device having a different display capability at a remote location via a plurality of networks having different available bands.
  • An example of the schematic configuration of the present disclosure is shown.
  • An example of address control using a frame is shown.
  • An example of address control using a scanning line is shown.
  • An example of address control using other than image data is shown.
  • the first arrangement example of voice data is shown.
  • a second arrangement example of voice data is shown.
  • An example of the system configuration of the present disclosure is shown.
  • the transmitting side On the transmitting side, one video source is transmitted with different identifiers used for distribution depending on the type of data such as pixels and the number of frames and the order of frames, and on the receiving side, the identifier is selected and the packet is received. This makes it possible to obtain video data having a required number of pixels and frames. As a result, the transmitting side can transmit only one video source, and can selectively receive and display the image according to the network band of the receiving side and the displayable image quality of the display device.
  • the present invention requires a plurality of video sources even when the receiving side has a plurality or a large number of receiving devices or display devices, or when a plurality of networks are interposed between the transmitting side and the receiving side. Since it does not, the system will be easy to expand.
  • the identifier used for the distribution is an arbitrary identifier described in the header of the packet that can be read by a general network device such as a router or a switch, and examples thereof include the following.
  • Ethernet registered trademark
  • IP Internet Protocol
  • TCP / UDP Transmission Control Protocol / User Datagram Protocol
  • S port number Destination port number
  • VLAN Virtual Local Area Network
  • Priority Priority.
  • VXLAN Virtual Extensible Local Area Network
  • VNI VXLAN ID
  • NVGRE Network Virtuation Outer identifier according to 4
  • STT Spin Torque Transfer
  • Context ID (8)
  • MPLS Multi-Protocol Label Switching
  • EXP Experimental
  • bit 9
  • PPPoE Point-to-Point Protocol over Ethernet
  • Session ID 10
  • L2TP Layer 2 Tunneling Protocol
  • the address may be either or both of a source address and a destination address.
  • a multicast address can be used as the destination address.
  • a different identifier included in the header of the packet or the like may be used. For example, in the case of a TCP / IP packet, a port number can also be used. In this way, any identifier can be adopted according to the protocol used for the packet.
  • the multicast address 239.0.0.1 is used as the destination address in the packet containing the data of the even-numbered traveling line pixels, and the data of the odd-numbered traveling line pixels is used.
  • the multicast address 239.0.0.2 is used as the destination address for the packet containing, and on the receiving side, only 239.0.0.1, only 239.0.0.2, or 239. Both .0.0.1 and 239.0.0.2 can be selectively received.
  • the multicast address is separately transferred from the receiving side to a route without a receiving terminal by the network side using MLD (Multicast Listener Discovery) or IGMP (Internet Group Management Protocol) to transfer the packet only to the route with the receiving terminal. It is possible to suppress unnecessary packet transmission.
  • MLD Multicast Listener Discovery
  • IGMP Internet Group Management Protocol
  • the content is provided by a general network device such as a router or a switch that can read the header information of the packet without using a device such as a DPI (Deep Packet Inspection) device that deeply understands the contents of the data.
  • a general network device such as a router or a switch that can read the header information of the packet without using a device such as a DPI (Deep Packet Inspection) device that deeply understands the contents of the data.
  • DPI Deep Packet Inspection
  • From the transmitting device 101 it is delivered to the receiving device 102 via the network 121, the network boundary device 112, and the network 122, and at the same time, it is delivered to the receiving device 103 via the network 121, the network boundary device 113, and the network 123.
  • the receiving device 102 is delivered to the receiving device 102 via the network 121, the network boundary device 112, and the network 122, and at the same time, it is delivered to the receiving device 103 via the network 121, the network boundary device 113, and the network 123.
  • one video source is distributed using the above addresses A and B, which differ depending on the pixel and frame.
  • the receiving device 102 can reproduce the content using the original one video source by receiving both the addresses A and B. ..
  • the receiving device 103 receives data of only one of the addresses A and B.
  • the transmitting side sends out at the address A for the 2kth frame and at the address B for the 2k + 1st frame. That is, the address of ⁇ A, B ⁇ is repeatedly transmitted for each frame.
  • the receiving side that can receive a high frame rate receives address A and address B.
  • the receiving side which can receive only at a low frame rate, selectively receives only the address A or the address B. For example, when the transmitted video data is 60 fps, when the addresses A and B are received, it can be received as 60 fps, and when only the address A or B is received, the amount of data is halved and can be received as 30 fps.
  • the present invention is not limited to this.
  • ⁇ A, B, A, C ⁇ when all ABCs are received, the original frame rate is used, and when A only or B, C is received, the data amount frame rate is 1/2, and only B or C.
  • ⁇ A, B, C ⁇ if all ABCs are received, the original frame rate is used, and if A, B or B, C or A, C is received, the data amount frame rate is 2/3.
  • only B or C it can be received with a data amount of 1/3 and a frame rate.
  • the video data used in the present disclosure is premised on video data having all the information of the video at a time of one sheet, and is an uncompressed video or a motion JPEG (Joint Photographic Experts Group) that does not use a compression method between frames. ) And other images with a relatively low compression rate. Further, regarding the proper use of identifiers in one screen, it is premised on progressive uncompressed video.
  • the transmitting side transmits at the address A for the 2kth scan line and at the address B for the 2k + 1st scan line. That is, the address of ⁇ A, B ⁇ is repeatedly transmitted for each scanning line.
  • the receiving side that can receive high image quality receives address A and address B.
  • the receiving side which can receive only with low image quality, selectively receives only the address A or the address B. For example, when the number of scanning lines in the transmitted video is 2160, when the addresses A and B are received, the data can be received as 2160, and when only the addresses A or B are received, the amount of data is halved and the data can be received as 1080.
  • the present invention is not limited to this.
  • ⁇ A, B, A, C ⁇ if all ABCs are received, the original number of lines is used, and if only A or B, C is received, the amount of data and the number of lines are halved, B or C. If you receive only, you can receive with 1/4 of the data amount and the number of lines.
  • ⁇ A, B, C ⁇ when all ABCs are received, the original number of lines is used, and when A, B or B, C or A, C is received, the amount of data and the number of lines are 2/3. If only A, B, or C is received, it can be received with 1/3 of the data amount and the number of lines.
  • Reference numeral 400 indicates the entire data series for one screen when transferring video data.
  • the region of 402, which is a part of the entire data series, is the pixel data itself and is the control target up to the above, and the remaining region of 401 is other data such as voice.
  • ⁇ Pattern 1 Information such as voice can be the same data regardless of the received image quality and frame rate. Therefore, for the data in the area of 401, an address different from the address used in the above 402 can be used. By commonly receiving the address only for 401 regardless of the image quality and frame rate to be received, it is possible to receive the voice and the like without interruption.
  • ⁇ Pattern 2 Information such as voice can be the same data regardless of the received image quality and frame rate. Therefore, it is possible to move the area of 401 to the data area for receiving voice information and the like in common while controlling the area of 401 to the same as the address of 402. For example, when the video is divided into ⁇ A, B ⁇ and there is a receiving device that receives (A, B) and a receiving device that receives only (A), B is originally in the data area of the A address. It is possible to move the voice data and the like contained in. This makes it possible to receive voice and the like without interruption.
  • FIG. 5 shows an example of arranging voice data in a part of the area 401.
  • the area 401 is controlled to be the same as the address 402, for example, when there is a terminal that receives only even-numbered line data, the voice data is missing. Therefore, as shown in FIG. 6, only the voice data is collected in the even-numbered lines at the time of transmission, so that even if only the even-numbered lines are received, the voice data can be received without omission.
  • 500 indicates a transmitting device of this system
  • 600 indicates a receiving device.
  • the 500 sends the video data input from the camera or computer via an interface such as HDMI, HD-SDI, USB, or GigE to the network
  • the 600 receives the video data from the 500
  • the TV or monitor receives HDMI, HD-.
  • Reference numeral 501 is an input buffer, and video data is read from 502 and 503 at a required timing.
  • Reference numeral 502nd is a signal analysis unit, which reads video data from 501, identifies frames, scan lines, audio data, and other control signals, and notifies 503 and 504. The data itself may be handed over to 503.
  • Reference numeral 503 is a data adjustment unit, which reads video data from 501 or 502, replaces and rewrites some data such as audio data based on the information from 502, and delivers the data to 504. At that time, the marker data may be embedded so that it can be understood that the data has been rewritten.
  • Reference numeral 504 is a packetization unit, which reads video data from 503 and packetizes it using the addresses described above based on the information from 502.
  • Reference numeral 505 is a data transmission unit, which transmits video data to the network at an appropriate speed. It may have an FEC function.
  • the above-mentioned appropriate speed is to keep the packet transmission speed below a certain level and keep the packet transmission interval constant within that rate so that packet loss in the network and delay due to the buffer in the network device do not become excessive.
  • the packet transmission rate and the packet transmission rate can be suppressed to about 1 Gbps, and the packet transmission interval can be kept constant so as to be about 1 Gbps. , Packet loss and excessive delay in the network can be suppressed.
  • Reference numeral 601 is a data receiving unit, which receives a packet from the network. At this time, the video data transmitted using the predetermined address is selectively received according to the network band of the data receiving unit or the image quality that can be displayed by the display device. The packet loss data may be restored by the FEC function.
  • Reference numeral 602 is a depacket unit, and data is taken out from the packet.
  • Reference numeral 603 is a signal analysis unit, which reads data from 602 and determines whether or not voice data or the like is rearranged. It may be discriminated from the marker data.
  • Reference numeral 604 is a data adjustment unit, and based on the information from 603, some data such as audio data is replaced and rewritten, video data reproducible on the display device is constructed, and the data is delivered to 605. If it is necessary to reduce the horizontal resolution, data thinning and integration processing are performed. Although it is possible to thin out the resolution in the vertical direction when the address is changed for each scanning line, it is difficult to thin out in the horizontal direction, so the horizontal direction is carried out on the receiving side. ..
  • Reference numeral 605 is a data output unit, which performs data buffering and IF conversion. If a response is required for a signal from a display device such as HDMI, the data output unit performs a response.
  • the receiving device and the display device may be provided in one device.
  • the receiving unit and the display unit provided in the terminal may be used as the receiving device 102 and the display device 132.
  • the transmitting device and the receiving device of the present disclosure can be realized by a computer and a program, and the program can be recorded on a recording medium or provided through a network.
  • the transmitting side transmits one video with different identifiers used for distribution depending on the type and order of data such as pixels and frames, and the receiving side receives the packet selectively by the identifier.
  • the feature is that it is possible to obtain images with the required number of pixels and frames.
  • the transmitting side sends only one image, and it matches the network band of the receiving side and the image quality that can be displayed. , Allowed to be selectively received and displayed.
  • the present invention does not require a plurality of video sources, so the system is easy to expand.
  • the identifier of the existing network packet header for traffic selection on the network it is possible to realize it by the existing network equipment.
  • This disclosure can be applied to the information and communication industry.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本開示は、大容量の映像データを利用可能帯域が異なる複数のネットワークを介して遠隔地の表示能力が異なる表示デバイスへ転送可能にすることを目的とする。 本開示の映像配信システムは、送信装置が、フレーム及び走査線の少なくともいずれかごとに映像データをパケット化し、複数の識別子をヘッダに記載してパケットを送信し、受信装置が、前記複数の識別子のうちの所定の識別子がヘッダに記載された映像データを選択的に受信する。

Description

映像配信システム、映像配信方法、送信装置及び送信プログラム
 本発明は、ネットワークを介して、画面を遠隔地に配信するシステムに関する。
 従来、ディスプレイやモニタなどの表示デバイスへの映像データの転送には、数mから数十m程度の近距離の接続が前提の接続方式が用いられてきた。例えば、HDMI(High-Definition Multimedia Interface)(登録商標)[非特許文献1]は、コンピュータとそのモニタや、テレビや関連するAV(Audio/Visual)機器同士を接続するために普及した方式であるが、数kmなど先などの遠隔地の機器を直接接続し、映像データを転送することはできない。
 遠隔地に映像データを転送するためには、上記のHDMIの信号を通信用に適した信号に変換するための装置が用いられる。HDMI信号を所定の形式でIP(Internet Protocol)パケット化する方式などが知られている[非特許文献2,3]。
https://www.hdmi.org/spec/hdmi2_1 https://www.aja-jp.com/news/press/1068-aja-announces-ipt-10g2-hdmi-and-ipt-10g2-sdi http://h-path.co.jp/service_product/3-monitoring-with-transmitter-receiver/
 遠隔地に映像データを転送する場合、1つの映像ソースに対して、1つの表示デバイスだけでなく、複数の表示デバイスに同時配信する場合がある。特に、低遅延の配信を実現する場合は、非圧縮の映像データの転送が必要となる。
 HDMI等の非圧縮映像データをネットワークで転送する従来方式では、1つの映像ソースに対して、複数の表示デバイスに対する効率的な配信が実現できていなかった。例えば、マルチキャストで、同一の映像データをすべての表示デバイスへ配信するだけであった。このようなシステムには2つの問題がある。
 1つはすべての受信装置に対して、十分な非圧縮映像データを伝送するネットワーク帯域がない場合があることである。一律高画質・高フレームレートで配信を実施すると、非圧縮映像データは膨大なデータ量となることから、帯域が十分でないネットワークで映像コンテンツが表示できないだけでなく、ネットワーク帯域を圧迫し、その他の通信をも阻害することとなる。また、低いネットワーク帯域に合わせて配信すると、高画質・高フレームレートの映像ソースの品質を活かした配信ができないという問題が生じる。
 もう1つは、映像ソースの画素及びフレームレートに対応した映像を表示できる表示デバイスがない場合があることである。固定的なシステムではなく、動的に都度映像ソースが変更になることや、多数の表示デバイスに配信する場合、全ての映像ソースのフォーマットに対して、すべての表示デバイスが対応することは難しい。
 つまり、本開示は、大容量の映像データを利用可能帯域が異なる複数のネットワークを介して遠隔地の表示能力が異なる表示デバイスへ転送可能にすることを目的とする。
 送信側が、映像データをフレームまたは走査線ごとに異なる識別子のパケットで送信し、受信側が、ネットワーク帯域または表示可能な画質に応じて、所定の識別子のパケットを選択的に受信する。
 具体的には、本開示の映像配信システムは、
 送信装置が、フレーム及び走査線の少なくともいずれかごとに映像データをパケット化し、複数の識別子をヘッダに記載してパケットを送信し、
 受信装置が、前記複数の識別子のうちの所定の識別子がヘッダに記載された映像データを選択的に受信する。
 具体的には、本開示の映像配信方法は、
 送信装置が、フレーム及び走査線の少なくともいずれかごとに映像データをパケット化し、複数の識別子をヘッダに記載してパケットを送信し、
 受信装置が、前記複数の識別子のうちの所定の識別子がヘッダに記載された映像データを選択的に受信する。
 具体的には、本開示の送信装置は、
 映像データのフレーム又は走査線の少なくともいずれかを識別する信号解析部と、
 フレーム及び走査線の少なくともいずれかごとに映像データをパケット化するパケット化部と、
 複数の識別子をヘッダに記載して、前記パケット化部で生成された各パケットを送出するデータ送出部と、
 を備える。
 本開示の送信プログラムは、本開示に係る送信装置に備わる各機能部としてコンピュータを実現させるためのプログラムであり、本開示に係る送信装置が実行する送信方法に備わる各ステップをコンピュータに実行させるためのプログラムである。
 本開示によれば、大容量の映像データを利用可能帯域が異なる複数のネットワークを介して遠隔地の表示能力が異なる表示デバイスへ転送することができる。
本開示の概略構成の一例を示す。 フレームを用いたアドレスの制御例を示す。 走査線を用いたアドレスの制御例を示す。 画像データ以外を用いたアドレスの制御例を示す。 音声データの第1の配置例を示す。 音声データの第2の配置例を示す。 本開示のシステム構成例を示す。
 以下、本開示の実施形態について、図面を参照しながら詳細に説明する。なお、本開示は、以下に示す実施形態に限定されるものではない。これらの実施の例は例示に過ぎず、本開示は当業者の知識に基づいて種々の変更、改良を施した形態で実施することができる。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。
(開発技術の具体的な説明)
 図1を参照しながら、本開示の映像配信システムの概略構成について説明する。送信側では、1つの映像ソースを、画素及びフレーム数等のデータの種類やフレームの順序によって、配信に利用する識別子を異なるもので送出し、受信側では、識別子を選択してパケットを受信することで、必要な画素及びフレーム数の映像データを得ることができることを特徴とする。これにより、送信側は1つの映像ソースのみの送出で、受信側のネットワーク帯域や、表示デバイスの表示可能な画質に合わせて、選択的に受信し、表示することが可能となる。特に、受信側が複数又は多数の受信装置や表示デバイスがある場合や、送信側と受信側の間に複数のネットワークが介在している場合であっても、本発明では複数の映像ソースを必要としないことから、拡張がしやすいシステムとなる。
 前記の配信に利用する識別子は、ルータやスイッチなどの一般的なネットワーク機器が読み取ることの可能な、パケットのヘッダに記載された任意の識別子であり、例えば以下が例示できる。
(1)Ethernet(登録商標):宛先MAC(Media Access Control address)アドレス、送信元MACアドレス
(2)IP(Internet Protocol):宛先アドレス、送信元アドレス、ToS
(3)TCP/UDP(Transmission Control Protocol/User Datagram Protocol):送信元ポート番号、宛先ポート番号
(4)VLAN(Virtual Local Area Network)(802.1Q,802.1ad):VLAN ID、優先度(PCP)
(5)VXLAN(Virtual eXtensible Local Area Network):VXLAN ID(VNI)、(1-4)に準じるOuter識別子
(6)NVGRE(Network Virtualization using Generic Routing Encapsulation):Tenant Network Identifier(TNI)、(1-4)に準じるOuter識別子
(7)STT(Spin Torque Transfer):Context ID
(8)MPLS(Multi-Protocol Label Switching):ラベル、EXP(Experimental)ビット
(9)PPPoE(Point-to-Point Protocol over Ethernet): セッションID
(10)L2TP(Layer 2 Tunneling Protocol):トンネルID、セッションID
 識別子としてアドレスを用いる場合、そのアドレスは、送信元アドレスおよび宛先アドレスのいずれかおよび両方でも構わない。また宛先アドレスにマルチキャストアドレスを用いることができる。またアドレスの他、パケット等のヘッダに含まれる異なる識別子を用いても構わない。例えば、TCP/IPパケットであれば、ポート番号を用いることもできる。このように、パケットに用いるプロトコルに応じた任意の識別子を採用することができる。
 さらに識別子としてIPアドレスを用いる場合について述べる。例えば、1画面のデータについて、偶数番目の走行線の画素のデータが載ったパケットには、マルチキャストアドレスである239.0.0.1を宛先アドレスとして用い、奇数番目の走行線の画素のデータが載ったパケットには、マルチキャストアドレスである239.0.0.2を宛先アドレスとして用い、受信側では、239.0.0.1のみ、もしくは、239.0.0.2のみ、もしくは239.0.0.1と239.0.0.2両方を選択的に受信することができる。また、マルチキャストアドレスは、別途、受信側からMLD(Multicast Listener Discovery)やIGMP(Internet Group Management Protocol)によって網側が、受信端末のある経路のみにパケットを転送することで、受信端末がない経路への無駄なパケット送出を抑制することが可能となる。
 つまり、前記方法によって、DPI(Deep Packet Inspection)装置などのデータの中身を深く理解する装置を用いず、ルータやスイッチなどのパケットのヘッダ情報を読み取ることの可能な一般的なネットワーク機器によって、コンテンツの選択的配信を実現することができる。以下、本開示では、識別子がアドレスである場合について説明する。
 送信装置101から、ネットワーク121、ネットワーク境界装置112、ネットワーク122を経由して、受信装置102へ配信し、同時に、ネットワーク121、ネットワーク境界装置113、ネットワーク123を経由して、受信装置103へ配信する場合を考える。101からは1つの映像ソースを上記、画素、フレームによって異なるアドレスAとBを利用して配信する。
 122および102が高画質、高フレームレートの受信が可能な場合は、アドレスAとBの両方を受信することで、もとの1つの映像ソースを用いてコンテンツを再生することができる。一方123または103が低画質、低フレームレートしか転送・受信できない場合は、103は、片方のアドレスのみのデータを受信する。
 アドレスが、マルチキャストであれば、113から123へは103が選択したアドレスのデータのみが転送されるため、123および103に必要以上に負荷をかけることがない。
 表示デバイス132の表示能力が高画質、高フレームレートである場合、受信装置102はアドレスAとBの両方を受信することで、もとの1つの映像ソースを用いてコンテンツを再生することができる。一方、表示デバイス133の表示能力が低画質、低フレームレートである場合、受信装置103はアドレスAとBのうちの片方のアドレスのみのデータを受信する。
 図2を参照しながら、フレームを用いてアドレス制御をする場合について述べる。送信側は、2k番目のフレームに対してアドレスAで、2k+1番目のフレームに対してアドレスBで、送出する。すなわち、フレーム毎に{A,B}のアドレスを繰り返して送出する。
 高フレームレートが受信可能な受信側は、アドレスAとアドレスBを受信する。低フレームレートでしか受信できない受信側は、アドレスAまたはアドレスBのみを選択的に受信する。例えば、送信される映像データが60fpsである場合、アドレスAとBを受信すると60fpsとして受信ができ、アドレスAまたはBのみを受信すると、データ量は半分となり、30fpsとして受信できる。
 前記は1/2にデータ量およびフレームレートを削減する場合について述べたが、これに限らない。
 例えば、{A,B,A,C}とすることで、ABCすべてを受信すると元のフレームレートで、AのみもしくはB,Cを受信すると1/2のデータ量フレームレートで、BもしくはCのみを受信すると1/4のデータ量およびフレームレートで受信ができる。
 例えば、{A,B,C}とすることで、ABCすべてを受信すると元のフレームレートで、A,BもしくはB,CもしくはA,Cを受信すると2/3のデータ量フレームレートで、AもしくはBもしくはCのみを受信すると1/3のデータ量およびフレームレートで受信ができる。
 なお、本開示で用いる映像データは、1枚である時刻の映像のすべての情報がある、映像データを前提とし、非圧縮映像または、フレーム間の圧縮手法を用いないモーションJPEG(Joint Photographic Experts Group)などの比較的圧縮率の低い映像を対象とする。また、1画面内での識別子の使い分けについては、プログレッシブの非圧縮映像を前提とする。
 図3を参照しながら、走査線を用いてアドレスを制御する場合について述べる。送信側は、2k番目の走査線に対してアドレスAで、2k+1番目の走査線に対してアドレスBで、送出する。すなわち、走査線毎に{A,B}のアドレスを繰り返して送出する。
 高画質が受信可能な受信側は、アドレスAとアドレスBを受信する。低画質でしか受信できない受信側は、アドレスAまたはアドレスBのみを選択的に受信する。例えば、送信映像における走査線のライン数が2160である場合、アドレスAとBを受信すると2160として受信ができ、アドレスAまたはBのみを受信すると、データ量は半分となり、1080として受信できる。
 前記は1/2にデータ量およびライン数を削減する場合について述べたが、これに限らない。
 例えば、{A,B,A,C}とすることで、ABCすべてを受信すると元のライン数で、AのみもしくはB,Cを受信すると1/2のデータ量とライン数で、BもしくはCのみを受信すると1/4のデータ量およびライン数で受信ができる。
 例えば、{A,B,C}とすることで、ABCすべてを受信すると元のライン数で、A,BもしくはB,CもしくはA,Cを受信すると2/3のデータ量とライン数で、AもしくはBもしくはCのみを受信すると1/3のデータ量およびライン数で受信ができる。
 図4を参照しながら、画像(画素)データ以外を用いてアドレスを制御する場合について述べる。400は映像データを転送する場合の1画面分のデータ系列全てを示している。全データ系列の一部である402の領域は画素データそのものであり前記までの制御対象であり、残りの401の領域は、音声等のその他のデータである。
・パタン1
 音声等の情報は、前記の受信する画質、フレームレートによらず、同一のデータとすることができる。そのために、401の領域のデータには、前記までの402で利用したアドレスとは異なるアドレスを用いることができる。前記の受信する画質、フレームレートによらず401のためだけのアドレスを共通に受信することで、音声等を切れることなく受信することが可能となる。
・パタン2
 音声等の情報は、前記の受信する画質、フレームレートによらず、同一のデータとすることができる。そのために、401の領域を402のアドレスと同じ制御にしながら、更に音声情報等を共通して受信するデータ領域に移動することができる。例えば{A,B}に映像を分割している場合で、(A,B)を受信する受信装置と、(A)のみを受信する受信装置がある場合、Aアドレスのデータ領域に、もともとBに含まれていた音声データ等を移動することができる。これにより、音声等を切れることなく受信することが可能となる。
 図5に401の領域の一部の音声データの配置例を示す。401の領域を402のアドレスと同じ制御にする場合で、例えば、偶数ラインのデータのみを受信する端末が居た場合は、音声データに欠落が生じる。そこで、音声データのみは、送信時に図6に示すように、偶数ラインに集めてしまうことで、偶数ラインのみの受信でも音声データに欠落なく受信することができる。画面フレームの選択受信の場合でも同様である。また、受信側では、元の音声データ位置に戻すこともできるが、戻さないこともできる。
 図7を参照しながら、本開示のシステム構成例を説明する。500に本システムの送信装置、600に受信装置を示す。500はカメラやコンピュータからのHDMI、HD-SDI、USB、GigEなどのインタフェースで入力した映像データを、ネットワークに送出し、600は500からの映像データを受信し、テレビやモニタにHDMI、HD-SDI、USB、GigEなどのインタフェースで出力する。
(送信装置)
 501は入力バッファであり、502や503から必要なタイミングで映像データが読み出される。
 502は信号解析部であり、501から映像データを読み取り、フレームの識別、走査線の識別、音声データの識別、その他制御信号の識別を行い、503,504に通知する。なお、データそのものを503に引き渡しても構わない。
 503はデータ調整部であり、501または502から映像データを読み込み、502からの情報に基づき、音声データ等、一部データの入れ替えと、書き換えを実施し、504にデータを引き渡す。その際書き換えたことが分かるようマーカデータを埋め込んでも良い。
 504はパケット化部であり、503から映像データを読み込み、502からの情報に基づき、前記までに述べたアドレスを用いて、パケット化する。
 505はデータ送出部であり、ネットワークに適切な速度で映像データを送出する。FEC機能を備えても良い。
 前記の適切な速度とは、ネットワーク内でパケットロスや、ネットワーク装置でのバッファによる遅延が過大にならないよう、パケットの送出速度を一定以下に抑え、かつパケットの送出間隔をそのレート内で一定に保つことである。例えば、ネットワークの帯域が10Gbpsであっても、映像の信号レートが1Gbpsであれば、パケットの送出レートと1Gbps程度に抑え、また、1Gbps程度になるようパケット送出間隔を一定にして送出することで、ネットワーク内でのパケットロスや過大な遅延を抑制することができる。
(受信装置)
 601はデータ受信部であり、ネットワークからパケットを受信する。このとき、データ受信部のネットワーク帯域又は表示デバイスで表示可能な画質に応じて、所定のアドレスを用いて送信された映像データを選択的に受信する。FEC機能によりパケットロスデータの復元を行っても良い。
 602はデパケット部であり、パケットからデータを取り出す。
 603は信号解析部であり、602からデータを読み取り、音声データ等の再配置が行われていかを判定する。前記マーカデータから判別してもよい。
 604はデータ調整部であり、603からの情報に基づき、音声データ等、一部データの入れ替えと、書き換えを実施し、表示デバイスで再生可能な映像データを構築し、605にデータを引き渡す。また、横方向の解像度を減らす必要がある場合は、データの間引き、統合処理を実施する。これは走査線毎にアドレスを変更する実装を行った場合に縦方向の解像度の間引きが可能であるものの、横方向の間引きが困難であることから、横方向は受信側で実施するものである。
 605はデータ出力部であり、データのバッファと、IFの変換を行う。HDMIのように表示デバイスからの信号に対して、応答が必要なものは本データ出力部で応答を実施する。
 なお、本開示は、受信装置及び表示デバイスは1つの装置に備わっていてもよい。例えば、図1において、端末に備わる受信部及び表示部を受信装置102及び表示デバイス132として用いてもよい。また、本開示の送信装置及び受信装置はコンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。
(発明によって生じる効果)
大容量の1つの映像を、利用可能帯域が異なる複数のネットワークを経由し、また遠隔地の複数の表示能力が異なる表示デバイスへ、転送する手段を提供できる。
(発明のポイント)
 従来、非圧縮映像は、数m~数十m程度の短距離を結ぶインタフェースが用いられてきた。これをネットワークで転送することで、低遅延で伝送するシステムも提案されているが、多数の受信装置への同時配信は、マルチキャストを用いるのみで、ネットワーク帯域の少ない、または表示能力の異なる表示デバイスに同時に配信することができなかった。
 本発明では、送信側では、1つの映像を画素、フレーム等の、データの種類、順序によって、配信に利用する識別子を異なるもので送出し、受信側では、識別子選択的にパケットを受信することで、必要な画素、フレーム数の映像を得ることができることを特徴とすることで、結果として、送信側は1つの映像のみの送出で、受信側のネットワーク帯域や、表示可能な画質に合わせて、選択的に受信し、表示することを可能とした。特に、受信側が複数・多数のネットワーク・受信装置がある場合、本発明では複数の映像ソースを必要としないことから、拡張がしやすいシステムとした。更に、ネットワーク上でのトラヒック選択に既存のネットワークパケットヘッダの識別子を利用することで、既存のネットワーク機器により実現することを可能とした。
 本開示は情報通信産業に適用することができる。
101:送信装置
102、103:受信装置
112、113:ネットワーク境界装置
121、122、123:ネットワーク
500:送信装置
501、601:入力バッファ
502、603:信号解析部
503、604:データ調整部
504:パケット化部
505:データ送出部
600:受信装置
602:デパケット部
605:データ出力部

Claims (8)

  1.  送信装置が、フレーム及び走査線の少なくともいずれかごとに映像データをパケット化し、複数の識別子をヘッダに記載してパケットを送信し、
     受信装置が、前記複数の識別子のうちの所定の識別子がヘッダに記載された映像データを選択的に受信する、
     映像配信システム。
  2.  前記受信装置は、ネットワーク帯域及び画質の少なくともいずれかで定められる識別子の映像データを受信する、
     請求項1に記載の映像配信システム。
  3.  前記送信装置が、映像データとは異なるデータを、映像データとは異なる識別子をヘッダに記載して送信する、
     請求項1又は2に記載の映像配信システム。
  4.  前記送信装置が、映像ソースからフレーム及び走査線の少なくともいずれかを間引いた第1の映像データと、前記第1の映像データにおいて前記映像ソースから間引かれた第2の映像データと、をそれぞれパケット化し、前記第1の映像データと第2の映像データとを異なる識別子をヘッダに記載して送信する、
     請求項1から3のいずれかに記載の映像配信システム。
  5.  前記受信装置は、
     前記第1の映像データ及び第2の映像データを受信し、
     前記第1の映像データ及び第2の映像データを組み合わせ、表示デバイスで再生可能な映像データを構築する、
     請求項4に記載の映像配信システム。
  6.  送信装置が、フレーム及び走査線の少なくともいずれかごとに映像データをパケット化し、複数の識別子をヘッダに記載してパケットを送信し、
     受信装置が、前記複数の識別子のうちの所定の識別子がヘッダに記載された映像データを選択的に受信する、
     映像配信方法。
  7.  映像データのフレーム又は走査線の少なくともいずれかを識別する信号解析部と、
     フレーム及び走査線の少なくともいずれかごとに映像データをパケット化するパケット化部と、
     複数の識別子をヘッダに記載して、前記パケット化部で生成された各パケットを送出するデータ送出部と、
     を備える送信装置。
  8.  請求項7に記載の送信装置に備わる各機能部としてコンピュータを機能させるための送信プログラム。
PCT/JP2020/025310 2020-06-26 2020-06-26 映像配信システム、映像配信方法、送信装置及び送信プログラム WO2021260935A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022532220A JPWO2021260935A1 (ja) 2020-06-26 2020-06-26
US18/011,462 US20230283816A1 (en) 2020-06-26 2020-06-26 Video distribution system, video distribution method, transmission device, and transmission program
PCT/JP2020/025310 WO2021260935A1 (ja) 2020-06-26 2020-06-26 映像配信システム、映像配信方法、送信装置及び送信プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/025310 WO2021260935A1 (ja) 2020-06-26 2020-06-26 映像配信システム、映像配信方法、送信装置及び送信プログラム

Publications (1)

Publication Number Publication Date
WO2021260935A1 true WO2021260935A1 (ja) 2021-12-30

Family

ID=79282196

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/025310 WO2021260935A1 (ja) 2020-06-26 2020-06-26 映像配信システム、映像配信方法、送信装置及び送信プログラム

Country Status (3)

Country Link
US (1) US20230283816A1 (ja)
JP (1) JPWO2021260935A1 (ja)
WO (1) WO2021260935A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012518969A (ja) * 2009-02-24 2012-08-16 マニュファクチャリング・リソーシズ・インターナショナル・インコーポレーテッド 複数の固有のビデオ/オーディオストリームを配信するシステム
JP2015005976A (ja) * 2013-06-18 2015-01-08 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 送信方法
JP2018056993A (ja) * 2016-09-26 2018-04-05 三星ディスプレイ株式會社Samsung Display Co.,Ltd. ビデオ送信方法及びデータ送信機
JP2019092183A (ja) * 2019-01-23 2019-06-13 マクセル株式会社 画像出力装置および出力方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012518969A (ja) * 2009-02-24 2012-08-16 マニュファクチャリング・リソーシズ・インターナショナル・インコーポレーテッド 複数の固有のビデオ/オーディオストリームを配信するシステム
JP2015005976A (ja) * 2013-06-18 2015-01-08 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 送信方法
JP2018056993A (ja) * 2016-09-26 2018-04-05 三星ディスプレイ株式會社Samsung Display Co.,Ltd. ビデオ送信方法及びデータ送信機
JP2019092183A (ja) * 2019-01-23 2019-06-13 マクセル株式会社 画像出力装置および出力方法

Also Published As

Publication number Publication date
US20230283816A1 (en) 2023-09-07
JPWO2021260935A1 (ja) 2021-12-30

Similar Documents

Publication Publication Date Title
US9571897B2 (en) Bit indexed explicit replication for professional media networks
US7483421B2 (en) Routing data
JP3998983B2 (ja) ユニキャスト−マルチキャスト変換装置および映像監視システム
US7996567B2 (en) Audio processing
US8601097B2 (en) Method and system for data communications in cloud computing architecture
RU2634206C2 (ru) Устройство и способ коммутации медиапотоков в режиме реального времени
WO2018174367A1 (ko) 방송 신호 송수신 방법 및 장치
JP4564782B2 (ja) データ受信装置およびデータ受信プログラム
US20110088069A1 (en) Network device, information processing apparatus, stream switching method, information processing method, program, and content distribution system
US20190238921A1 (en) STANDARDIZED HOT-PLUGGABLE TRANSCEIVING unit WITH BANDWIDTH OPTIMIZATION FUNCTIONALITIES
WO2021260935A1 (ja) 映像配信システム、映像配信方法、送信装置及び送信プログラム
JP2019201309A (ja) Ipビデオルータ、放送局システム、ipビデオ転送方法及びプログラム
JP4128354B2 (ja) 監視映像蓄積装置および映像監視方法
JP4665007B2 (ja) 監視映像送信装置および方法
JP2006222908A (ja) 再送方式
KR101112454B1 (ko) 무선 네트워크를 통한 디지털 멀티미디어 제어장치
US8427577B2 (en) Method for converting between interlaced video and progressive video during transmission via a network
JP5172343B2 (ja) コンテンツ再生装置およびコンテンツ再生方法
KR100590766B1 (ko) 복수의 멀티미디어 채널 전송 시스템 및 그 방법
US20100031302A1 (en) Stream distribution system, stream receiving device, and stream reproduction method
KR20210097550A (ko) 5g 이동 통신망을 이용한 휴대용 무선 방송 중계장치 및 방법
JP5174380B2 (ja) コンテンツ受信装置、コンテンツ再生装置、コンテンツ受信再生装置、コンテンツ受信方法、コンテンツ再生方法、コンテンツ受信再生方法、コンテンツ再生システム、プログラム、およびプログラムを記録したコンピュータ読み取り可能な記録媒体
WO2009005419A1 (en) A network unit, a central distribution control unit and a computer program product
KR20090056508A (ko) 다수 비압축 에이치디 스트림 제어방법 및 전송 시스템 및 프로그램을 기록한 기록매체
JP2009296027A (ja) ストリーム送信装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20942212

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022532220

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20942212

Country of ref document: EP

Kind code of ref document: A1