WO2023031989A1 - 映像配信装置、システム、方法、及びコンピュータ可読媒体 - Google Patents

映像配信装置、システム、方法、及びコンピュータ可読媒体 Download PDF

Info

Publication number
WO2023031989A1
WO2023031989A1 PCT/JP2021/031687 JP2021031687W WO2023031989A1 WO 2023031989 A1 WO2023031989 A1 WO 2023031989A1 JP 2021031687 W JP2021031687 W JP 2021031687W WO 2023031989 A1 WO2023031989 A1 WO 2023031989A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
pixel
captured
encoding
captured image
Prior art date
Application number
PCT/JP2021/031687
Other languages
English (en)
French (fr)
Inventor
奎祐 鈴木
康博 水越
隆志 山根
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2023544797A priority Critical patent/JPWO2023031989A5/ja
Priority to PCT/JP2021/031687 priority patent/WO2023031989A1/ja
Publication of WO2023031989A1 publication Critical patent/WO2023031989A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs

Definitions

  • the present disclosure relates to video distribution devices, systems, methods, and computer-readable media.
  • Patent Document 1 discloses a technology related to a server that performs streaming distribution.
  • an object of the present disclosure is to provide a video distribution device, system, method, and computer-readable medium that suppress deterioration in prediction accuracy of communication throughput.
  • the present disclosure provides: pixel shifting means for changing pixel values of pixels in the captured image when the amount of data after encoding of the captured image becomes small; encoding means for encoding the captured image; transmission means for transmitting the encoded captured image; prediction means for predicting communication throughput using the effective throughput of transmission of the captured video;
  • This disclosure is a video distribution device; a receiving device; with The video distribution device is changing the pixel value of one or more pixels included in the captured image when the amount of data after encoding of the captured image becomes small; encoding the captured video; transmitting the encoded captured image to the receiving device; Predicting communication throughput using the effective throughput of transmission of the captured video, Provide a video distribution system.
  • the present disclosure provides a method for a computer to when the amount of data after encoding of the captured image becomes small, changing the pixel value of the pixels in the captured image; encoding the captured video; transmitting the encoded imaged video, and using the effective throughput of the transmission of the imaged video to predict communication throughput; To provide a video distribution method.
  • the present disclosure allows a computer to a process of changing pixel values of pixels in the captured image when the amount of data after encoding of the captured image becomes small; a process of encoding the captured video; a process of transmitting the encoded captured video; and a process of predicting communication throughput using the effective throughput of transmission of the captured video; provides a non-transitory computer-readable medium storing a program for executing the
  • the video distribution device, system, method, and computer-readable medium according to the present disclosure suppress deterioration in prediction accuracy of communication throughput.
  • FIG. 1 is a block diagram showing a video distribution device according to the first embodiment
  • FIG. FIG. 11 is a block diagram showing a video distribution system according to the second embodiment
  • FIG. FIG. 4 is a schematic diagram schematically showing execution conditions for pixel shift processing
  • 7 is a graph showing prediction results of communication throughput when pixel shift processing is not performed
  • 7 is a graph showing prediction results of communication throughput when pixel shift processing is performed;
  • FIG. 1 is a block diagram showing the overall configuration of a video distribution device 1 according to the first embodiment.
  • the video distribution apparatus 1 is a computer that performs communication throughput prediction (bandwidth prediction) based on the effective throughput of video distribution.
  • the video distribution device 1 is connected to a receiving device (not shown) that receives video via a network (not shown).
  • a network (not shown) may be wired or wireless.
  • the video distribution device 1 transmits video captured by, for example, an in-vehicle camera or a surveillance camera to a receiving device (not shown).
  • the video distribution device 1 includes a pixel shifter 11 , an encoder 12 , a transmitter 13 and a predictor 14 .
  • the pixel shifting unit 11 changes the pixel values of the pixels in the captured video when the amount of encoded data of the captured video becomes small.
  • the pixel shifting section 11 may change the pixel values of the pixels within the frame (hereinafter also referred to as the captured image).
  • the process of changing the pixel values of pixels in the captured image is also called pixel shift process. For example, when the imaged image becomes solid black at night or the like, the amount of data after encoding of the imaged image becomes small, so pixel shift processing is performed.
  • the pixel shift unit 11 may select, for example, a number of pixels corresponding to the hit rate from all pixels included in the captured image, and change the pixel values of the selected pixels according to the shift width.
  • the encoding unit 12 encodes the captured video.
  • the encoding unit 12 encodes the image subjected to the pixel shift processing when the pixel shift processing is performed, and otherwise encodes the captured image as it is.
  • the encoding unit 12 may encode the captured video according to the target bit rate based on the prediction result of the prediction unit 14, which will be described later.
  • the transmission unit 13 transmits the captured video encoded by the encoding unit 12 to the receiving device (not shown).
  • the prediction unit 14 predicts communication throughput (band prediction) using the effective throughput of transmission of captured video.
  • the receiving device may feed back the effective throughput to the video distribution device 1 .
  • the video distribution apparatus changes the pixel values of the pixels in the captured video when the amount of data after encoding the captured video becomes small. Therefore, since it is possible to prevent a decrease in the effective throughput of transmission, it is possible to suppress a decrease in the prediction accuracy of the communication throughput.
  • the video distribution device 1 includes a processor, a memory, and a storage device (not shown). Further, the storage device stores a computer program in which the processing of the information processing method according to the present embodiment is implemented. Then, the processor loads the computer program from the storage device into the memory and executes the computer program. Thereby, the processor realizes the functions of the pixel shifting unit 11, the encoding unit 12, the transmitting unit 13, and the predicting unit 14. FIG.
  • the pixel shifting unit 11, the encoding unit 12, the transmitting unit 13, and the predicting unit 14 may each be realized by dedicated hardware.
  • part or all of each component of each device may be realized by general-purpose or dedicated circuitry, processors, etc., or combinations thereof. These may be composed of a single chip, or may be composed of multiple chips connected via a bus. A part or all of each component of each device may be implemented by a combination of the above-described circuits and the like and programs.
  • a processor a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), an FPGA (field-programmable gate array), a quantum processor (quantum computer control chip), or the like can be used.
  • each component of the video distribution device 1 when part or all of each component of the video distribution device 1 is realized by a plurality of information processing devices, circuits, etc., the plurality of information processing devices, circuits, etc. may be centrally arranged, They may be distributed.
  • the information processing device, circuits, and the like may be implemented as a form in which each is connected via a communication network, such as a client-server system, a cloud computing system, or the like.
  • the functions of the video distribution device 1 may be provided in a SaaS (Software as a Service) format.
  • Embodiment 2 is a specific example of Embodiment 1 described above.
  • the video delivery system according to the second embodiment uses technology called adaptive network technology to predict communication throughput while delivering video, and optimizes the video bit rate and frame rate based on the prediction result.
  • FIG. 2 is a block diagram showing the configuration of the video distribution system 1000 according to the second embodiment.
  • a video distribution system 1000 includes a camera 100 , a transmission terminal 200 and a reception device 300 . Transmitting terminal 200 and receiving device 300 are connected via network 400 .
  • the network 400 includes, for example, a network using a communication line standard such as LTE (Long Term Evolution), WiFi (registered trademark), or a wireless communication network such as a fifth generation mobile communication system.
  • LTE Long Term Evolution
  • WiFi registered trademark
  • wireless communication network such as a fifth generation mobile communication system.
  • the camera 100 is also called a video capture unit. Camera 100 captures a captured image.
  • the video distribution system 1000 may include multiple cameras 100 .
  • the transmission terminal 200 is a specific example of the video distribution device 1 described above.
  • the transmitting terminal 200 comprises a pixel shifter 210 , an encoder 220 , a transmitter 230 , a communication throughput predictor 240 and an adaptive network controller 250 .
  • the transmitting terminal 200 may be an in-vehicle terminal mounted in a vehicle.
  • the pixel shifter 210 is a specific example of the pixel shifter 11 described above.
  • the pixel shift unit 210 performs pixel shift processing when the amount of data after encoding the image captured by the camera 100 is minimal.
  • the pixel shift process is performed when the captured image becomes a simple or uniform image such as solid black.
  • the captured image will be a simple image.
  • images taken at night may be simple images. In such a case, the data after encoding becomes extremely small, and the transmission bit rate drops.
  • the pixel shift unit 210 first determines whether each pixel included in the captured image is to be subjected to pixel shift processing.
  • the pixel shifting unit 210 selects a number of pixels calculated by multiplying the number of vertical pixels (height), the number of horizontal pixels (width), and the hit rate (%).
  • the hit rate may be preset.
  • the pixel shifting unit 210 may randomly select (extract) the target of the pixel shifting process.
  • the pixel shifting unit 210 changes the pixel value of the selected pixel.
  • a threshold for example, 128 when the maximum value is 255
  • the pixel shift unit 210 adds the shift width to the RGB value. This makes the pixel slightly brighter.
  • the pixel shift unit 210 subtracts the shift width from the RGB value.
  • the captured image becomes an image that partially contains noise.
  • the hit rate and shift width may be appropriately set according to the use case.
  • the hit rate is high, the number of target pixels for the pixel shift processing is large, so the processing load is high.
  • the shift width is large, the amount of change in pixel value is large, and thus the visual appearance of the image is greatly affected.
  • a high hit rate eg, 30%
  • a low shift width eg, 1
  • a low hit rate eg, 0.3%)
  • a high shift width eg, 24
  • the encoder 220 is a specific example of the encoding section 12 described above, and is also called an encoding section.
  • the encoder 220 encodes the image captured by the camera 100 .
  • the encoder 220 encodes the imaged video subjected to the pixel shifting process when the pixel shifting process is performed.
  • the encoder 220 performs encoding according to the bit rate and frame rate determined by the adaptive network control section 250, which will be described later.
  • the transmission section 230 is a specific example of the transmission section 13 described above, and is also called a TCP/IP communication section.
  • the transmitter 230 transmits the captured video encoded by the encoder 220 to the receiver 300 .
  • the communication throughput prediction unit 240 is a specific example of the prediction unit 14 described above, and predicts future communication throughput (band prediction).
  • the communication throughput prediction unit 240 receives the effective throughput from the receiving device 300 and predicts the communication throughput.
  • the adaptive network control unit 250 optimizes the video bit rate and frame rate according to the communication throughput prediction by the communication throughput prediction unit 240 .
  • the adaptive network control unit 250 may allocate bit rates and the like to each of the plurality of cameras 100 .
  • the adaptive network controller 250 outputs the target bitrate of the video to the encoder.
  • the receiving device 300 includes a receiving section 310 and a reproducing section 320 .
  • the receiving unit 310 is also called a TCP/IP communication unit, and receives captured video from the transmitting terminal 200 .
  • the reproduction unit 320 is also called a decoding/display unit, decodes the received captured video, and displays it on a display device such as a display.
  • the video distribution system 1000 compensates data by pixel shift processing when the bit rate of the captured video is lowered. Therefore, even if the amount of data after encoding the captured video is extremely small, it is possible to prevent the prediction value from being lowered and the accuracy of band prediction from being lowered. In addition, since the video distribution system 1000 slightly changes the captured image, it is possible to suppress discomfort and data loss when viewing the captured video.
  • FIG. 3 is a schematic diagram schematically showing temporal changes in the target bitrate determined by the adaptive network control unit 250 and the bitrate of the most recently encoded captured video (also referred to as the effective bitrate).
  • the horizontal axis of FIG. 3 indicates time [t], and the vertical axis indicates throughput [Mbps].
  • a change in target bit rate over time is indicated by a dashed line, and a change in effective bit rate over time is indicated by a solid line.
  • the target bitrate decreases, but for the sake of simplicity, it is assumed that the target bitrate does not decrease.
  • the transmitting terminal 200 executes pixel shift processing based on the comparison result between the bit rate (effective bit rate) of the captured video encoded most recently and the target bit rate. Specifically, transmitting terminal 200 performs pixel shift processing when the following two conditions (A) and (B) are satisfied.
  • A) is that the bit rate (effective bit rate) of the captured video encoded most recently is smaller than a threshold (for example, 1.0 Mbps).
  • B) is that the bit rate (effective bit rate) of the captured video encoded most recently is smaller than the product of the target bit rate and a predetermined ratio (for example, 0.5). If such a condition is satisfied, transmitting terminal 200 performs pixel shift processing, increases the amount of data to near the threshold value as indicated by the upward arrow, and prevents a drop in the predicted band value.
  • the video resolution was set to 1280 ⁇ 720
  • the hit rate was set to 0.3%
  • the shift width was set to 24.
  • the conditions for pixel shift processing are that the effective bit rate is 2.0 Mbps or less and 50% or less of the target bit rate.
  • a frame of only a black image was inserted in the period from 15 seconds to 35 seconds after the start.
  • FIG. 4 is a graph showing temporal changes in the bandwidth prediction value (communication throughput prediction value) and effective throughput when pixel shift processing is not performed.
  • the horizontal axis indicates time, and the vertical axis indicates throughput.
  • a section indicated by T represents a section in which a black image frame is inserted. As the measured throughput decreases, the bandwidth prediction value also decreases significantly. In addition, it takes time for the band prediction value to return to the original value after the section indicated by T ends.
  • FIG. 5 is a graph showing temporal changes in the band prediction value and effective throughput when pixel shifting processing is performed.
  • the horizontal axis indicates time, and the vertical axis indicates throughput.
  • a section indicated by T represents a section in which a black image frame is inserted.
  • the video distribution system according to the second embodiment increases the amount of data without significantly impairing the appearance of captured video. Therefore, the video distribution system according to the second embodiment can maintain the accuracy of band prediction even in an environment where the amount of video data is extremely small.
  • Video distribution device 11 pixel shifting unit 12: encoding unit 13: transmitting unit 14: prediction unit 1000: video distribution system 100: camera 200: transmitting terminal 210: pixel shifting unit 220: encoder 230: transmitting unit 240: communication throughput
  • Predictor 250 adaptive network controller 300: receiver 310: receiver 320: reproducer 400: network

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

通信スループットの予測精度の低下を抑制する。映像配信装置（１）は、撮像映像のエンコード後のデータ量が小さくなる場合、撮像映像内の画素の画素値を変化させる画素ずらし部（１１）と、撮像画像をエンコードするエンコード部（１２）と、エンコードした撮像画像を送信する送信部（１３）と、撮像画像の送信の実効スループットを使用して通信スループットを予測する予測部（１４）と、を備える。

Description

映像配信装置、システム、方法、及びコンピュータ可読媒体
　本開示は、映像配信装置、システム、方法、およびコンピュータ可読媒体に関する。
　通信スループットを予測し、最適な映像配信を実現する技術が提案されている。このような技術では、映像を配信しながら通信スループットを予測し、予測結果に基づいて映像のビットレートやフレームレートを最適化する。これにより、映像は、途切れなく安定的に伝送される。
　このような技術において、通信スループットの予測は、映像送信の実効スループットを用いて行われる。したがって、回線に余裕があるときに映像送信のビットレートが低下すると、通信スループットの予測精度が低下するという問題がある。
　なお、特許文献１は、ストリーミング配信を行うサーバに関する技術を開示している。
特開２００６－２７９２８３号公報
　上記の通り、映像配信システムにおいて通信スループットの予測精度が低下するという問題があった。
　本開示は、上記事情に鑑み、通信スループットの予測精度の低下を抑制する映像配信装置、システム、方法、及びコンピュータ可読媒体を提供することを目的とする。
　上記目的を達成するため、本開示は、
　撮像映像のエンコード後のデータ量が小さくなる場合、前記撮像映像内の画素の画素値を変化させる画素ずらし手段と、
　前記撮像映像をエンコードするエンコード手段と、
　エンコードした前記撮像映像を送信する送信手段と、
　前記撮像映像の送信の実効スループットを使用して、通信スループットの予測を行う予測手段と、
　を備える映像配信装置を提供する。
　本開示は、
　映像配信装置と、
　受信装置と、
　を備え、
　前記映像配信装置は、
　撮像映像のエンコード後のデータ量が小さくなる場合、前記撮像映像に含まれる１つ以上の画素の画素値を変化させ、
　前記撮像映像をエンコードし、
　エンコードした前記撮像映像を前記受信装置に送信し、
　前記撮像映像の送信の実効スループットを使用して、通信スループットの予測を行う、
　映像配信システムを提供する。
　本開示は、コンピュータが、
　撮像映像のエンコード後のデータ量が小さくなる場合、前記撮像映像内の画素の画素値を変化させ、
　前記撮像映像をエンコードし、
　エンコードした前記撮像映像を送信し
　前記撮像映像の送信の実効スループットを使用して、通信スループットの予測を行う、
　映像配信方法を提供する。
　本開示は、コンピュータに、
　撮像映像のエンコード後のデータ量が小さくなる場合、前記撮像映像内の画素の画素値を変化させる処理と、
　前記撮像映像をエンコードする処理と、
　エンコードした前記撮像映像を送信する処理と
　前記撮像映像の送信の実効スループットを使用して、通信スループットの予測を行う処理と、
　を実行させるためのプログラムを格納する非一時的なコンピュータ可読媒体を提供する。
　本開示に係る映像配信装置、システム、方法、及びコンピュータ可読媒体は、通信スループットの予測精度の低下を抑制する。
本実施形態１に係る映像配信装置を示すブロック図。 本実施形態２に係る映像配信システムを示すブロック図。 画素ずらし処理の実行条件を模式的に示す模式図。 画素ずらし処理を行わない場合における通信スループットの予測結果を示すグラフ。 画素ずらし処理を行う場合における通信スループットの予測結果を示すグラフ。
　以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。
（実施形態１）
　図１は、本実施形態１にかかる映像配信装置１の全体構成を示すブロック図である。映像配信装置１は、映像配信の実効スループットに基づいて通信スループット予測（帯域予測）を行うコンピュータである。映像配信装置１は、ネットワーク（不図示）を介して、映像を受信する受信装置（不図示）と接続される。ネットワーク（不図示）は、有線であっても無線であってもよい。映像配信装置１は、例えば、車載カメラや監視カメラなどによる撮像映像を受信装置（不図示）に送信する。映像配信装置１は、画素ずらし部１１、エンコード部１２、送信部１３、および予測部１４を備えている。
　画素ずらし部１１は、撮像映像のエンコード後のデータ量が小さくなる場合、撮像映像内の画素の画素値を変化させる。撮像映像が動画である場合、画素ずらし部１１は、フレーム（以下、キャプチャ画像とも称する）内の画素の画素値を変化させてもよい。撮像映像内の画素の画素値を変化させる処理は、画素ずらし処理とも称される。例えば、夜間等において撮像映像が黒一色になる場合、撮像映像のエンコード後のデータ量は小さくなるため、画素ずらし処理が行われる。画素ずらし部１１は、例えば、キャプチャ画像に含まれる全画素からヒット率に応じた数の画素を選択し、選択された画素の画素値をずらし幅に応じて変化させてもよい。
　エンコード部１２は、撮像映像をエンコードする。エンコード部１２は、画素ずらし処理が行われた場合には画素ずらし処理を行った映像をエンコードし、そうでない場合には撮像された映像をそのままエンコードすることとなる。エンコード部１２は、後述する予測部１４の予測結果に基づく目標ビットレートにしたがって、撮像映像をエンコードしてもよい。
　送信部１３は、エンコード部１２によってエンコードされた撮像映像を受信装置（不図示）に送信する。予測部１４は、撮像映像の送信の実効スループットを使用して通信スループットの予測（帯域予測）を行う。ここで、受信装置（不図示）が、映像配信装置１に実効スループットをフィードバックしていてもよい。
　このように、本実施形態にかかる映像配信装置は、撮像映像をエンコードした後のデータ量が小さくなる場合、撮像映像内の画素の画素値を変化させる。したがって、送信の実効スループットの低下を防ぐことができるため、通信のスループットの予測精度の低下を抑制できる。
　なお、映像配信装置１は、図示しない構成としてプロセッサ、メモリ及び記憶装置を備えるものである。また、当該記憶装置には、本実施形態にかかる情報処理方法の処理が実装されたコンピュータプログラムが記憶されている。そして、当該プロセッサは、記憶装置からコンピュータプログラムを前記メモリへ読み込ませ、当該コンピュータプログラムを実行する。これにより、前記プロセッサは、画素ずらし部１１、エンコード部１２、送信部１３、および予測部１４の機能を実現する。
　または、画素ずらし部１１、エンコード部１２、送信部１３、および予測部１４は、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路（circuitry）、プロセッサ等やこれらの組合せによって実現されもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。また、プロセッサとして、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（field-programmable gate array）、量子プロセッサ（量子コンピュータ制御チップ）等を用いることができる。
　また、映像配信装置１の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。また、映像配信装置１の機能がＳａａＳ（Software as a Service）形式で提供されてもよい。
（実施形態２）
　実施形態２は、上述した実施形態１の具体例である。実施形態２にかかる映像配信システムは、適応ネットワーク技術と称される技術を用いて、映像を配信しながら通信スループットを予測し、予測結果に基づいて映像のビットレートやフレームレートを最適化する。
　図２は、本実施形態２にかかる映像配信システム１０００の構成を示すブロック図である。映像配信システム１０００は、カメラ１００、送信端末２００、および受信装置３００を備えている。送信端末２００および受信装置３００は、ネットワーク４００で接続されている。ネットワーク４００は、例えば、ＬＴＥ（Long Term Evolution）などの通信回線規格を用いたネットワーク、ＷｉＦｉ（登録商標）、又は第５世代移動通信システムなどの無線通信網を含む。
　カメラ１００は、映像キャプチャ部とも称される。カメラ１００は、撮像映像を撮像する。映像配信システム１０００は、複数のカメラ１００を備えていてもよい。
　送信端末２００は、上述した映像配信装置１の具体例である。送信端末２００は、画素ずらし部２１０、エンコーダ２２０、送信部２３０、通信スループット予測部２４０、および適応ネットワーク制御部２５０を備えている。送信端末２００は、車両に搭載された車載端末であってもよい。
　画素ずらし部２１０は、上述した画素ずらし部１１の具体例である。画素ずらし部２１０は、カメラ１００の撮像映像をエンコードした後のデータ量が極小となる場合、画素ずらし処理を行う。
　画素ずらし処理は、具体的には、撮像映像が黒一色のように単純または一様な映像となるときに行われる。例えば、カメラ１００が手や布に覆われた場合、撮像映像は単純な映像となる。また、車載カメラの場合、夜間の撮像映像は単純な映像となることがある。このような場合、エンコード後のデータが極小となり、送信ビットレートは低下してしまう。
　以下では、画素ずらし処理について具体的に説明する。なお、画素ずらし処理を実行する条件については後述する。画素ずらし部２１０は、まず、キャプチャ画像に含まれる各画素に対して、画素ずらし処理の対象であるか否かを判定する。画素ずらし部２１０は、縦のピクセル数（ｈｅｉｇｈｔ）と、横のピクセル数（ｗｉｄｔｈ）と、ヒット率（％）との積で算出される数の画素を選択する。ヒット率は、予め設定されていてもよい。画素ずらし部２１０は、画素ずらし処理の対象をランダムに選択（抽出）してもよい。
　次に、画素ずらし部２１０は、選択された画素の画素値を変化させる。画素ずらし部２１０は、選択された画素のＲＧＢ（Ｒｅｄ　Ｇｒｅｅｎ　Ｂｌｕｅ）値が閾値（例えば、最大値が２５５の場合には１２８）より小さいとき、ＲＧＢ値にずらし幅を加算する。これにより、当該画素は、僅かに明るくなる。また、画素ずらし部２１０は、選択された画素のＲＧＢ値が閾値（例えば、最大値が２５５の場合には１２８）以上であるとき、ＲＧＢ値からずらし幅を減算する。
　具体例として、ＲＧＢ値が（２３２、１０８、５５）である画素に対して画素ずらし処理を行う場合について説明する。２３２は１２８以上であり、１０８は１２８より小さく、５５は１２８より小さい。したがって、ずらし幅が１である場合、画素ずらし部２１０は、ＲＧＢ（２３２、１０８、５５）を、ＲＧＢ（２３１、１０９、５６）に変化させる。
　画素ずらし（例えば、ヒット率０．１％、ずらし幅６４）を行った結果として、キャプチャ画像は、部分的にノイズが入ったような画像となる。ヒット率およびずらし幅は、ユースケースに応じて適切に設定されてよい。ヒット率が高い場合、画素ずらし処理の対象画素が多いため、処理負荷が高くなる。一方、ずらし幅が大きい場合、画素値の変化量が大きいため、画像の見た目への影響が大きくなる。
　例えば、カメラ１００が固定監視カメラである場合、画像の内容が損なわれないことが重要視される。このような場合、高いヒット率（例えば、３０％）が設定され、低いずらし幅（例えば、１）が設定される。また、カメラ１００が車載カメラである場合、リアルタイム性が重要視される。このような場合、低いヒット率（例えば、０．３％）が設定され、高いずらし幅（例えば、２４）が設定される。
　エンコーダ２２０は、上述したエンコード部１２の具体例であり、符号化部とも称される。エンコーダ２２０は、カメラ１００による撮像映像をエンコードする。エンコーダ２２０は、画素ずらし処理が行われた場合には、画素ずらし処理が行われた撮像映像をエンコードする。エンコーダ２２０は、後述する適応ネットワーク制御部２５０によって決定されたビットレートやフレームレートに応じてエンコードを行う。
　送信部２３０は、上述した送信部１３の具体例であり、ＴＣＰ／ＩＰ通信部とも称される。送信部２３０は、エンコーダ２２０によってエンコードされた撮像映像を受信装置３００に送信する。
　通信スループット予測部２４０は、上述した予測部１４の具体例であり、未来の通信スループットの予測（帯域予測）を行う。通信スループット予測部２４０は、受信装置３００から実効スループットを受け取って、通信スループットの予測を行う。
　適応ネットワーク制御部２５０は、通信スループット予測部２４０による通信のスループット予測に応じて、映像のビットレートやフレームレートを最適化する。適応ネットワーク制御部２５０は、複数のカメラ１００の各々に対して、ビットレート等の割り当てを行ってもよい。適応ネットワーク制御部２５０は、映像の目標ビットレートをエンコーダに出力する。
　受信装置３００は、受信部３１０および再生部３２０を備える。受信部３１０は、ＴＣＰ／ＩＰ通信部とも称され、送信端末２００から撮像映像を受信する。再生部３２０は、復号・表示部とも称され、受信した撮像映像を復号し、ディスプレイ等の表示装置に表示させる。
　映像配信システム１０００は、撮像映像のビットレートが低下している場合、画素ずらし処理によるデータの補填を行う。したがって、撮像映像をエンコードした後のデータ量が極小となる場合であっても、予測値が低下することを防ぎ、帯域予測の精度の低下を防止できる。また、映像配信システム１０００は、キャプチャ画像を僅かに変化させるため、撮像映像を見たときの違和感やデータの欠損を抑えることができる。
　次に、図３を参照して、画素ずらし処理を行う条件について説明する。図３は、適応ネットワーク制御部２５０が決定した目標ビットレート、および直近にエンコードされた撮像映像のビットレート（実効ビットレートとも称される）の時間変化を模式的に示す概略図である。
　図３の横軸は時間［ｔ］を示しており、縦軸はスループット［Ｍｂｐｓ］を示している。目標ビットレートの時間変化は一点鎖線で示されており、実効ビットレートの時間変化は実線で示されている。実際には、実効ビットレートが低下すると目標ビットレートも低下するが、分かり易くするために目標ビットレートは低下しないものとしている。
　送信端末２００は、直近にエンコードされた撮像映像のビットレート（実効ビットレート）と、目標ビットレートとの比較結果に基づき、画素ずらし処理を実行する。具体的には、送信端末２００は、以下の(Ａ)および（Ｂ）の２つの条件を満たす場合に、画素ずらし処理を行う。（Ａ）は、直近にエンコードされた撮像映像のビットレート（実効ビットレート）が閾値（例えば、１．０Ｍｂｐｓ）より小さいことである。（Ｂ）は、直近にエンコードされた撮像映像のビットレート（実効ビットレート）が、目標ビットレートと所定の割合（例えば、０．５）の積より小さいことである。このような条件が満たされる場合、送信端末２００は、画素ずらし処理を行い、上向き矢印で示すように閾値付近までデータ量をかさ増しし、帯域予測値の低下を防止する。
　次に、図４および図５を参照して、発明者が行った検証の結果について説明する。映像の解像度は１２８０×７２０に設定され、ヒット率は０．３％に設定され、ずらし幅は２４に設定された。画素ずらし処理を行う条件は、実効ビットレートが２．０Ｍｂｐｓ以下であり、かつ目標ビットレートの５０％以下であることとした。検証用の撮像映像では、開始後１５秒から３５秒までの期間に黒画像のみのフレームが挿入された。
　図４は、画素ずらし処理を行わない場合における帯域予測値（通信スループットの予測値）および実効スループットの時間変化を示すグラフである。横軸は時刻を示しており、縦軸はスループットを示している。Ｔで示された区間は、黒画像のフレームが挿入された区間を表している。実測スループットの低下に伴って、帯域予測値も大きく低下している。また、Ｔで示された区間が終了した後、帯域予測値が元に戻るまでに時間がかかっている。
　図５は、画素ずらし処理を行った場合における帯域予測値および実効スループットの時間変化を示すグラフである。横軸は時間を示しており、縦軸はスループットを示している。Ｔで示された区間は、黒画像のフレームが挿入された区間を表している。画素ずらし処理を行う場合には、実効スループットの低下が抑えられているため、帯域予測値の低下も抑えられている。また、Ｔで示された区間が終了した後、帯域予測値は速やかに元に戻っている。
　実施形態２にかかる映像配信システムは、撮像映像の見た目を大きく損ねずにデータ量をかさ増しする。したがって、実施形態２にかかる映像配信システムは、映像のデータ量が極小となる環境下でも帯域予測の精度を維持できる。
　以上、本開示の実施形態を詳細に説明したが、本開示は、上記した実施形態に限定されるものではなく、本開示の趣旨を逸脱しない範囲で上記実施形態に対して変更や修正を加えたものも、本開示に含まれる。
１：映像配信装置
１１：画素ずらし部
１２：エンコード部
１３：送信部
１４：予測部
１０００：映像配信システム
１００：カメラ
２００：送信端末
２１０：画素ずらし部
２２０：エンコーダ
２３０：送信部
２４０：通信スループット予測部
２５０：適応ネットワーク制御部
３００：受信装置
３１０：受信部
３２０：再生部
４００：ネットワーク

Claims (10)

  1. 　撮像映像のエンコード後のデータ量が小さくなる場合、前記撮像映像内の画素の画素値を変化させる画素ずらし手段と、
    　前記撮像映像をエンコードするエンコード手段と、
    　エンコードした前記撮像映像を送信する送信手段と、
    　前記撮像映像の送信の実効スループットを使用して、通信スループットの予測を行う予測手段と、
    　を備える映像配信装置。
  2. 　前記画素ずらし手段は、
    　ヒット率に応じた数の前記画素を選択し、選択された画素の画素値をずらし幅に応じて変化させる、
    　請求項１に記載の映像配信装置。
  3. 　前記画素ずらし手段は、
    　選択された画素の前記画素値が閾値より小さい場合、前記画素値に前記ずらし幅を加算し、
    　選択された画素の前記画素値が前記閾値以上の場合、前記画素値から前記ずらし幅を減算する、
    　請求項２に記載の映像配信装置。
  4. 　前記エンコード手段は、
    　前記予測手段の予測結果に基づく目標ビットレートにしたがって、前記撮像映像をエンコードし、
    　前記画素ずらし手段は、
    　直近にエンコードされた撮像映像のビットレートと、前記目標ビットレートとの比較結果に基づき、前記撮像映像内の画素の画素値を変化させる、
    　請求項１から３のいずれか１項に記載の映像配信装置。
  5. 　前記画素ずらし手段は、
    　直近にエンコードされた撮像映像の前記ビットレートが、前記目標ビットレートの所定の割合以下であり、かつ閾値以下である場合、前記撮像映像内の画素の画素値を変化させる、
    　請求項４に記載の映像配信装置。
  6. 　映像配信装置と、
    　受信装置と、
    　を備え、
    　前記映像配信装置は、
    　撮像映像のエンコード後のデータ量が小さくなる場合、前記撮像映像内の画素の画素値を変化させ、
    　前記撮像映像をエンコードし、
    　エンコードした前記撮像映像を前記受信装置に送信し、
    　前記撮像映像の送信の実効スループットを使用して、通信スループットの予測を行う、
    　映像配信システム。
  7. 　前記映像配信装置は、
    　ヒット率に応じた数の画素を選択し、選択された画素の画素値をずらし幅に応じて変化させる、
    　請求項６に記載の映像配信システム。
  8. 　コンピュータが、
    　撮像映像のエンコード後のデータ量が小さくなる場合、前記撮像映像内の画素の画素値を変化させ、
    　前記撮像映像をエンコードし、
    　エンコードした前記撮像映像を送信し
    　前記撮像映像の送信の実効スループットを使用して、通信スループットの予測を行う、
    　映像配信方法。
  9. 　コンピュータに、
    　撮像映像のエンコード後のデータ量が小さくなる場合、前記撮像映像内の画素の画素値を変化させる処理と、
    　前記撮像映像をエンコードする処理と、
    　エンコードした前記撮像映像を送信する処理と
    　前記撮像映像の送信の実効スループットを使用して、通信スループットの予測を行う処理と、
    　を実行させるためのプログラムを格納する非一時的なコンピュータ可読媒体。
  10. 　撮像映像のエンコード後のデータ量が小さくなる場合、前記撮像映像内の画素の画素値を変化させる画素ずらし手段、
    　を備える映像配信装置。
PCT/JP2021/031687 2021-08-30 2021-08-30 映像配信装置、システム、方法、及びコンピュータ可読媒体 WO2023031989A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023544797A JPWO2023031989A5 (ja) 2021-08-30 映像配信装置、システム、方法、及びプログラム
PCT/JP2021/031687 WO2023031989A1 (ja) 2021-08-30 2021-08-30 映像配信装置、システム、方法、及びコンピュータ可読媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/031687 WO2023031989A1 (ja) 2021-08-30 2021-08-30 映像配信装置、システム、方法、及びコンピュータ可読媒体

Publications (1)

Publication Number Publication Date
WO2023031989A1 true WO2023031989A1 (ja) 2023-03-09

Family

ID=85412273

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/031687 WO2023031989A1 (ja) 2021-08-30 2021-08-30 映像配信装置、システム、方法、及びコンピュータ可読媒体

Country Status (1)

Country Link
WO (1) WO2023031989A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09214968A (ja) * 1996-01-30 1997-08-15 Ikegami Tsushinki Co Ltd 画像符号化方法および装置
WO2019044065A1 (ja) * 2017-08-30 2019-03-07 日本電気株式会社 動画再生ビットレート推定装置、方法、及びプログラムを格納した非一時的なコンピュータ可読媒体、並びに通信品質測定装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09214968A (ja) * 1996-01-30 1997-08-15 Ikegami Tsushinki Co Ltd 画像符号化方法および装置
WO2019044065A1 (ja) * 2017-08-30 2019-03-07 日本電気株式会社 動画再生ビットレート推定装置、方法、及びプログラムを格納した非一時的なコンピュータ可読媒体、並びに通信品質測定装置

Also Published As

Publication number Publication date
JPWO2023031989A1 (ja) 2023-03-09

Similar Documents

Publication Publication Date Title
US11503307B2 (en) System and method for automatic encoder adjustment based on transport data
JP6226490B2 (ja) 小待ち時間レート制御システムおよび方法
US9699099B2 (en) Method of transmitting data in a communication system
US8635357B2 (en) Dynamic selection of parameter sets for transcoding media data
CN111601118B (zh) 直播视频的处理方法、系统、装置及终端
CN108881931B (zh) 一种数据缓冲方法及网络设备
JPWO2011086952A1 (ja) 動画像符号化データの表示方法、装置及び通信システム
AU2021200428B2 (en) System and method for automatic encoder adjustment based on transport data
WO2009112547A1 (en) Method of transmitting data in a communication system
US20220408097A1 (en) Adaptively encoding video frames using content and network analysis
CN113286146B (zh) 媒体数据处理方法、装置、设备以及存储介质
JP6089846B2 (ja) 映像配信システム及びデコーダ並びに映像配信方法
WO2023031989A1 (ja) 映像配信装置、システム、方法、及びコンピュータ可読媒体
CN115348450A (zh) 编码方法及编码器
CN116962613A (zh) 数据传输方法及装置、计算机设备、存储介质
US20240137606A1 (en) Electronic apparatus, server apparatus and control method thereof
US11936698B2 (en) Systems and methods for adaptive video conferencing
CN111818336B (zh) 视频处理方法、装置、存储介质以及通信装置
CN117176984A (zh) 内容自适应的视频播放方法、服务器、系统及介质
CN117255177A (zh) 客户端自适应的视频播放及请求方法、设备、系统及介质
KR20240057844A (ko) 전자 장치, 서버 장치 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21955886

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023544797

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE