WO2019180869A1 - 画像伝送システム、画像送信装置及び画像受信装置 - Google Patents

画像伝送システム、画像送信装置及び画像受信装置 Download PDF

Info

Publication number
WO2019180869A1
WO2019180869A1 PCT/JP2018/011387 JP2018011387W WO2019180869A1 WO 2019180869 A1 WO2019180869 A1 WO 2019180869A1 JP 2018011387 W JP2018011387 W JP 2018011387W WO 2019180869 A1 WO2019180869 A1 WO 2019180869A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving image
image
receiving
encoding
screen
Prior art date
Application number
PCT/JP2018/011387
Other languages
English (en)
French (fr)
Inventor
辰也 敷地
大介 相田
矢島　武
Original Assignee
株式会社Ｈｙｓエンジニアリングサービス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｈｙｓエンジニアリングサービス filed Critical 株式会社Ｈｙｓエンジニアリングサービス
Priority to PCT/JP2018/011387 priority Critical patent/WO2019180869A1/ja
Priority to JP2020507206A priority patent/JPWO2019180869A1/ja
Publication of WO2019180869A1 publication Critical patent/WO2019180869A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Definitions

  • the present invention relates to an image transmission system, an image transmission device, and an image reception device for wirelessly transmitting a moving image.
  • encoding with a high compression rate is used for wireless transmission of moving images.
  • a moving image encoding method a method based on H.264 recommended by the international telecommunication union-telecommunication standardization sector (ITU-T) is known. This standard is also referred to as MPEG-4 part 10: advanced video cording (AVC).
  • AVC advanced video cording
  • the intra refresh method is also known.
  • a refresh area is periodically assigned to any one of a row, a column, and a block of a picture.
  • the image is refreshed with a constant code amount while preventing image quality deterioration due to a lack of code amount when intra-picture (I picture) is inserted.
  • the ratio of B pictures is increased, as the number of B pictures increases, it is necessary to accumulate pictures for a certain period, so the amount of buffer required for encoding and decoding increases. That is, the increase in the memory capacity to be secured leads to an increase in hardware scale.
  • an increase in the processing amount for writing to and reading from the buffer causes an increase in processing delay time.
  • the intra-refresh method for example, it is conceivable to apply the intra-refresh method to a P picture and perform codec using only the P picture without inserting an I picture. In this case, when an error occurs in the wireless system, it takes a time corresponding to the period of the intra refresh until it returns to a state where decoding is possible.
  • the present invention has been made paying attention to the above circumstances, and its purpose is to return to a state where decoding is possible in a short time when an event that makes decoding impossible occurs on the receiving side. It is an object of the present invention to provide an image transmission system, an image transmission device, and an image reception device that can perform the above-described functions.
  • an image transmission system including an image transmission device and an image reception device is provided in the image transmission device, and a number of screens constituting a moving image are the same.
  • the first method for encoding so as to be decodable with reference to another screen in the moving image and the second method for encoding so as to be decodable without referring to another screen in the same moving image are selected.
  • a first receiving unit that is provided in the image receiving device and receives the moving image data transmitted by the first transmitting unit; and a moving image data that is provided in the image receiving device and received by the first receiving unit.
  • Screen data included in Detection means for detecting the occurrence of a predetermined event that makes decoding impossible and a second means provided in the image receiving device for wirelessly transmitting an insertion command in response to the occurrence of the event detected by the detection means
  • the transmission means, the second reception means provided in the image transmission apparatus for receiving the insertion instruction transmitted by the second transmission means, and the insertion instruction received by the second reception means provided in the image transmission apparatus And a control means for controlling the encoding means so that the second method is selected over the predetermined number of screens in accordance with the selection, and the second method is selected thereafter.
  • the detection means of the first aspect is configured such that an uncorrectable error has occurred in moving image data, that moving image data is no longer received by the first receiving means, moving image data It is assumed that at least one of the fact that the decoding means for decoding the screen data constituting the screen and reproducing the screen is activated is detected as the occurrence of an event.
  • control means of the first aspect selects the second method for only one screen in response to the insertion instruction being received by the second receiving means. .
  • a large number of screens constituting a moving image are transferred by selecting a first method for encoding in a decodable manner with reference to another screen in the same moving image.
  • the rate can be reduced.
  • the encoding by the second method is applied either when an error occurs, when a failure occurs where data transmission cannot be performed normally, or when the decoding means is activated. Therefore, in these states, it is possible to return to a state where decoding is possible within a short time.
  • the encoding by the second method is applied only to one screen in response to the occurrence of an event that makes decoding impossible. Therefore, an increase in average transfer rate due to the application of the second method can be minimized.
  • FIG. 1 is a block diagram showing a configuration of an image transmission system according to an embodiment.
  • an image transmission system for displaying a moving image captured by an imaging unit on a display unit installed at a position away from the imaging unit will be described as an example.
  • FIG. 1 is a block diagram showing a configuration of an image transmission system 100 according to the present embodiment.
  • the image transmission system 100 includes an image transmission device 1 and an image reception device 2.
  • the image transmission device 1 wirelessly transmits a moving image.
  • the image receiving device 2 receives a moving image transmitted from the image transmitting device 1 and transmitted through the air.
  • the image transmission apparatus 1 includes an imaging unit 11, an H.264 encoder 12, a wireless transmission unit 13, an antenna 14, a control unit 15, a wireless transmission / reception unit 16, an antenna 17, and an operation unit 18.
  • the imaging unit 11 repeatedly captures an image in the field of view formed by the optical system as one screen at a predetermined screen rate, and sequentially outputs video signals corresponding to each of a number of screens.
  • a ready-made video camera can be used as the imaging unit 11 as it is.
  • the video signal typically conforms to a standard such as high definition serial digital interface (HD-SDI) or high definition multimedia interface (HDMI) (registered trademark).
  • the H.264 encoder 12 encodes the video signal input from the imaging unit 11 in the H.264 format, and sequentially represents image data representing an I picture or a P picture (hereinafter referred to as I picture data or P picture data). To get to.
  • the H.264 encoder 12 obtains P picture data when there is no special command from the control unit 15.
  • the H.264 encoder 12 receives an insertion command to be described later from the control unit 15, the H.264 encoder 12 obtains I picture data for a video signal for one screen that is input thereafter.
  • the H.264 encoder 12 converts the image data obtained by encoding into a transport stream (TS) packet, and then outputs the TS packet to the first radio unit.
  • TS transport stream
  • An I picture is a screen obtained by encoding using only information in one screen, regardless of the previous and subsequent screens.
  • a P picture is a screen obtained by encoding a screen to be encoded with reference to information in a screen earlier than that screen. Therefore, one screen can be decoded from one I picture. That is, the encoding method for obtaining I picture data is an example of a second method of encoding so that decoding can be performed without referring to another screen in the same moving image. Further, from the P picture, it is possible to decode one screen by referring to the past screen. That is, the encoding method for obtaining P picture data is an example of a first method for encoding so as to be decodable with reference to another screen in the same moving image.
  • the wireless transmission unit 13 performs processing such as energy spreading (randomization), interleaving, or error correction coding on the TS packet input from the H.264 encoder 12.
  • the wireless transmission unit 13 modulates the TS packet after the above processing to obtain a wireless transmission signal in a predetermined wireless frequency band.
  • the modulation scheme used by the wireless transmission unit 13 may be arbitrary, including whether it is a single carrier or a multicarrier.
  • the wireless transmission unit 13 amplifies the wireless transmission signal to a level necessary for wireless transmission and supplies the amplified signal to the antenna 14.
  • the antenna 14 radiates the radio transmission signal supplied from the radio transmission unit 13 into the air as a radio wave. As a result, a wireless transmission signal is wirelessly transmitted from the antenna 14.
  • the control unit 15 is connected to the H.264 encoder 12, the wireless transmission unit 13, the wireless transmission / reception unit 16, and the operation unit 18. Various commands are input to the control unit 15 from the wireless transmission / reception unit 16 and the operation unit 18.
  • the control unit 15 performs various settings related to the operation of the image transmission device 1 in accordance with these instructions.
  • the target of the setting is, for example, a transmission rate and an encoding method related to encoding by the H.264 encoder 12, or a modulation method, an error correction coding method, a time interleave depth, a frequency channel, and the like applied by the wireless transmission unit 13. .
  • the control unit 15 may be configured mainly by a computer including a processor, and may realize various control functions by information processing according to an information processing program, or may be application-specific integrated circuit ( It may be configured mainly by a logical processing circuit using an ASIC or the like, and implement various control functions by logical processing.
  • the wireless transmission / reception unit 16 performs a predetermined reception process such as demodulation on the signal input from the antenna 17 and acquires a command included in the signal.
  • the wireless transmission / reception unit 16 inputs the acquired command to the control unit 15.
  • the wireless transmission / reception unit 16 supplies a signal including a reception response to the antenna 17 to the image reception device 2.
  • the antenna 17 inputs an electrical signal induced by receiving radio waves that have propagated through the air to the radio transceiver 16.
  • the antenna 17 radiates the signal supplied from the wireless transmission / reception unit 16 into the air as a radio wave. Thereby, the signal supplied from the wireless transmission / reception unit 16 is wirelessly transmitted from the antenna 17.
  • the operation unit 18 receives an operation for an operator to specify a command.
  • the operation unit 18 inputs a command designated by the operator to the control unit 15.
  • the operation unit 18 may receive an operation for the operator to specify various setting information, and may include the setting information in the command.
  • the image receiving apparatus 2 includes an antenna 21, a wireless reception unit 22, an H.264 decoder 23, a display unit 24, an antenna 25, a wireless transmission / reception unit 26, a control unit 27, and an operation unit 28.
  • the antenna 21 inputs an electrical signal induced by receiving a radio wave that has propagated through the air to the wireless receiver 22.
  • the radio reception unit 22 includes a demodulation unit 221, a deinterleave / decode unit 222, and a packet structure unit 223.
  • a signal from the antenna 21 is first input to the demodulator 221.
  • the demodulation unit 221 performs demodulation processing according to the modulation scheme applied by the wireless transmission unit 13 and demodulates the TS packet.
  • the deinterleaving / decoding unit 222 performs processing such as error correction decoding, deinterleaving, or energy despreading (derandomization) on the TS packet, and the influence of processing such as energy spreading, interleaving, or error correction coding Is released.
  • the packet structure unit 223 restores the original TS packet.
  • the radio reception unit 22 notifies the control unit 27 to that effect. This notification is hereinafter referred to as error notification.
  • the H.264 decoder 23 includes a depacket unit 231, a video decoder 232, and a video render 233.
  • the TS packet restored by the packet structure unit 223 of the wireless reception unit 22 is input to the depacket unit 231.
  • the depacket unit 231 releases the packet structure of the TS packet and extracts image data.
  • the video decoder 232 decodes the video signal by processing based on H.264 / MPEG-4 AVC.
  • the video renderer 233 converts the decoded video signal into a video signal that conforms to the standard of the interface with the display unit 24.
  • the interface standard is, for example, HD-SDI or HDMI.
  • the H.264 decoder 23 When the de-packet unit 231 cannot receive the header synchronization byte in the TS packet within a predetermined period, the H.264 decoder 23 notifies the control unit 27 to that effect. This notification is hereinafter referred to as a failure notification.
  • the H.264 decoder 23 notifies the control unit 27 of a status indicating its own operation status. At least when the H.264 decoder 23 is activated and a video signal to be output to the display unit 24 can be reproduced from the TS packet, the H.264 decoder 23 notifies the control unit 27 of a status indicating activation. This notification will be referred to as an activation notification below.
  • the display unit 24 displays a moving image according to the video signal input from the video renderer 233.
  • the antenna 25 inputs an electrical signal induced by receiving radio waves that have propagated through the air to the wireless transmission / reception unit 26.
  • the antenna 25 radiates the signal supplied from the wireless transmission / reception unit 26 into the air as a radio wave. Thereby, the signal supplied from the wireless transmission / reception unit 26 is wirelessly transmitted from the antenna 25.
  • the wireless transmitting / receiving unit 26 performs a predetermined transmission process such as modulation on the command input from the control unit 27 to obtain a signal for wirelessly transmitting the command.
  • the wireless transmission / reception unit 26 notifies the control unit 27 that a command corresponding to the reception response has arrived at the image transmission device 1.
  • the control unit 27 is connected to the radio reception unit 22, the H.264 decoder 23, the radio transmission / reception unit 26, and the operation unit 28. Various commands are input to the control unit 27 from the wireless transmission / reception unit 26 and the operation unit 28.
  • the control unit 27 performs various settings related to the operation of the image receiving device 2 in accordance with these instructions.
  • the target of the setting is, for example, a modulation scheme, an error correction coding scheme, a time interleave depth, a frequency channel, or the like applied by the radio reception unit 22 or a transmission rate and an encoding scheme related to decoding by the H.264 decoder 23. .
  • the control unit 27 receives an error notification from the wireless reception unit 22, or a failure notification or activation notification from the H.264 decoder 23.
  • the control unit 27 may be configured mainly by a computer including a processor, and may realize various control functions by information processing according to an information processing program, or may be a logic using an ASIC or the like. It may be configured mainly by a typical processing circuit and implement various control functions by logical processing.
  • the operation unit 28 receives an operation for an operator to specify a command.
  • the operation unit 28 inputs a command designated by the operator to the control unit 27.
  • the operation unit 28 may receive an operation for the operator to specify various setting information, and may include the setting information in the command.
  • FIG. 2 is a diagram schematically showing a communication sequence in the first case. Note that FIG. 2 shows the passage of time from the top to the bottom, but the sensation in the illustration of each event does not accurately represent the time interval for the actual timing. That is, FIG. 2 represents the general order of each event.
  • the control unit 15 controls the H.264 encoder 12 so that the first image data is I picture data and the subsequent image data is P picture data.
  • the first GOP includes an I picture for one screen, all subsequent GOPs are composed of only P pictures.
  • FIG. 2 indicates whether the screen to be transmitted is an I picture or a P picture, and does not indicate that I picture data and P picture data are transmitted as they are.
  • the control unit 15 sets the image data corresponding to the video signal for the first screen as an I picture, and images corresponding to the subsequent video signals.
  • the H.264 encoder 12 is controlled so that all the data are P pictures.
  • the first GOP also includes an I picture for one screen, but all subsequent GOPs are composed of only P pictures.
  • Image data output from the H.264 encoder is input to the H.264 decoder 23 via the wireless transmission unit 13, the antenna 14, the antenna 21, and the wireless reception unit 22.
  • the H.264 decoder 23 is in a stopped state.
  • the H.264 decoder 23 is activated as shown as event E4
  • only the P picture is input to the H.264 decoder 23 as it is, and the H.264 decoder 23 cannot decode the video signal.
  • this case corresponds to a case where a predetermined event has occurred in which moving image data cannot be decoded.
  • the H.264 decoder 23 when the H.264 decoder 23 is activated and becomes ready for decoding, the H.264 decoder 23 notifies the control unit 27 of activation as indicated by event E5. Upon receiving this activation notification, the control unit 27 sends an insertion command to the control unit 15 via the wireless transmission / reception unit 26, the antenna 25, the antenna 17, and the wireless transmission / reception unit 16, as shown as event E6.
  • the control unit 15 When receiving the insertion command, the control unit 15 sends the insertion command to the H.264 encoder 12 as shown as event E7. When receiving the insertion instruction, the H.264 encoder 12 outputs I picture data for one screen as shown as event E8. The H.264 encoder 12 then regards all subsequent image data as P picture data. Thus, when an insertion command is issued, the GOP being transmitted or the next GOP includes an I picture for one screen, but each subsequent GOP is composed of only P pictures.
  • wireless transmission / reception part 16 will supply the signal containing a reception response to the antenna 17, if an insertion command is received.
  • the reception response is sent to the control unit 27 via the antenna 17, the antenna 25, and the wireless transmission / reception unit 26.
  • the control unit 27 retransmits the insertion command when a reception response cannot be obtained after the insertion command is transmitted and before a predetermined waiting time elapses.
  • the control unit 27 may retransmit the insertion command without limitation, or may retransmit the insertion command only within a limit set in advance as the limit number or the limit time. Note that the standby time, the number of times of limitation, and the time limit are appropriately determined by, for example, the designer of the image receiving device 2.
  • the control unit 27 may send the insertion command only when the H.264 decoder cannot decode the image data first input to the H.264 decoder 23 after the H.264 decoder 23 is activated. .
  • FIG. 3 is a diagram schematically showing a communication sequence in the second case. Note that FIG. 3 shows a rough order of events as in FIG.
  • the wireless reception unit 22 in response to the fact that the error cannot be corrected by the error correction decoding in the deinterleave / decoding unit 222, the wireless reception unit 22 notifies the control unit 27 of an error as indicated by event E12. Upon receiving this error notification, the control unit 27 sends an insertion command to the control unit 15 via the wireless transmission / reception unit 26, the antenna 25, the antenna 17, and the wireless transmission / reception unit 16, as shown as event E13.
  • the control unit 15 When receiving the insertion command, the control unit 15 sends the insertion command to the H.264 encoder 12 as shown as event E14. When receiving the insertion command, the H.264 encoder 12 outputs I picture data for one screen as shown as event E15. The H.264 encoder 12 then regards all subsequent image data as P picture data. Thus, when an insertion command is issued, the GOP being transmitted or the next GOP includes an I picture for one screen, but each subsequent GOP is composed of only P pictures.
  • block noise appears on the display screen reproduced based on the image data in which errors remain, and this block noise cannot be eliminated only from the P picture. However, it is refreshed by the decoding process using the I picture for one screen transmitted as described above, and thereafter, a display screen without block noise can be reproduced from only the P picture.
  • FIG. 4 is a diagram schematically showing a communication sequence in the third case. Note that FIG. 4 shows a rough order of events as in FIG.
  • the radio reception unit 22 cannot receive the header synchronization byte in the TS packet within the predetermined period by the depacket unit 231. Therefore, as shown as event E22, Provide fault notification.
  • the control unit 27 Upon receiving this failure notification, the control unit 27 sends an insertion command to the control unit 15 via the wireless transmission / reception unit 26, the antenna 25, the antenna 17, and the wireless transmission / reception unit 16, as shown as event E23.
  • the control unit 15 When receiving the insertion command, the control unit 15 sends the insertion command to the H.264 encoder 12 as shown as event E24. When receiving the insertion instruction, the H.264 encoder 12 outputs I picture data for one screen as shown as event E25. The H.264 encoder 12 then regards all subsequent image data as P picture data. Thus, when an insertion command is issued, the GOP being transmitted or the next GOP includes an I picture for one screen, but each subsequent GOP is composed of only P pictures.
  • a GOP is basically composed of only P pictures.
  • the amount of data used for encoding and decoding can be reduced, the size of the buffer to be provided in the H.264 encoder 12 and the H / 264 decoder 23 can be reduced, and processing delay does not occur.
  • the average transfer rate can be kept low.
  • the I picture transmitted by the image transmitting apparatus 1 in accordance with the insertion command is only for one screen, an increase in average transfer rate due to the transmission of the I picture can be minimized.
  • An encoding method other than the H.264 method may be applied as long as it is selectively used and encoded.
  • Predetermined events that make it impossible to decode moving image data need not be limited to the three shown in the above embodiment, and any of these three events may not be included, An event other than the three events may be included. What kind of event is set as a predetermined event that makes it impossible to decode the moving image data may be determined as appropriate by, for example, the designer of the image receiving apparatus.
  • the H.264 encoder 12 may continuously transmit I pictures for a plurality of screens in response to receiving the insertion command.
  • the image transmission apparatus 1 may not be provided with at least one of the imaging unit 11 and the operation unit 18, and a separate unit may be externally attached to the image transmission apparatus 1.
  • a separate unit may be externally attached to the image transmission apparatus 1.
  • an existing video camera or the like can be used as the imaging unit 11.
  • an existing information processing apparatus such as a personal computer or a smartphone can be used.
  • the image receiving device 2 may not be provided with at least one of the display unit 24 and the operation unit 28, and a separate unit may be externally attached to the image receiving device 2.
  • a separate unit may be externally attached to the image receiving device 2.
  • an existing general-purpose display device or the like can be used as the display unit 24.
  • an existing information processing apparatus such as a personal computer or a smartphone can be used.
  • the present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage.
  • various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above embodiments. For example, some components may be deleted from all the components shown in each embodiment. Furthermore, you may combine suitably the component covering different embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

動画像を構成する多数の画面を、同一の動画像内の別の画面を参照して復号可能に符号化する第１の方法及び同一の動画像内の別の画面を参照することなしに復号可能に符号化する第２の方法を選択的に用いて符号化するH.264エンコーダ１２と、符号化によりそれぞれ得られた多数の画面データにより構成される動画像データを無線により送受信する無線送信部１３及び無線受信部２２と、受信された動画像データに含まれた画面データの復号が不能となる予め定められた事象が発生したことを検出する無線受信部２２又はH.264デコーダ２３と、事象の発生が検出されたことに応じて挿入命令を無線により送受信する無線送受信部２６及び無線送受信部１６と、挿入命令が受信されたことに応じて予め定められた画面数に渡り、第２の方法を選択し、それ以降は第１の方法を選択するように前記H.264エンコーダ１２を制御する制御部１５と、を備える。

Description

画像伝送システム、画像送信装置及び画像受信装置
　この発明は、動画像を無線伝送するための画像伝送システム、画像送信装置及び画像受信装置に関する。
　近年、スマートフォンや無線local area network（LAN）の利用の拡大により、無線通信のトラフィックが増加している。また、既設の無線通信システムに加え、無線を利用する新たな無線通信システムが次々に登場しており、無線周波数が逼迫した状況にある。これらのため、無線通信システムは、狭い周波数帯幅により所要のデータを伝送できることが望まれている。
　一方で、動画像の伝送にあっては、高画質化が求められており、動画像データ自体のデータレートは増大する傾向にある。
　これらの事情から、動画像の無線伝送のためには、高圧縮率な符号化が用いられる。そして動画像の符号化方式としては、international telecommunication union - telecommunication standardization sector (ITU-T)勧告のH.264に準拠する方式が知られている。この規格は、MPEG-4 part 10: advanced video cording (AVC)とも称される。
　H.264では、group of picture (GOP)のうち、predictive-picture (Ｐピクチャ)及びbi-directionally predictive-picture (Ｂピクチャ)の割合を多くすることで、高画質を維持しながら、高圧縮率を実現している。
　なお、イントラリフレッシュ方式も知られている。イントラリフレッシュ方式では、リフレッシュ領域をピクチャの行、列及びブロックのいずれかに周期的に割り当てる。これにより、intra-picture (Ｉピクチャ)を挿入した時における符号量不足による画質劣化を防ぎつつ、一定の符号量で画像のリフレッシュを実施する。
特開２００４－３２８０２２号公報
　Ｂピクチャの割合を多くする場合、Ｂピクチャの増加に伴い、一定期間ピクチャの蓄積を必要とするため、符号化及び復号の際に必要となるバッファ量が増加する。つまり、確保すべきメモリ容量の増加により、ハードウェア規模の増大を来す。また、バッファへの書き込み及び読み出しのための処理量が増加することにより、処理遅延時間の増大を招いてしまう。
　イントラリフレッシュ方式では、例えばＰピクチャにイントラリフレッシュ方式を適用し、Ｉピクチャを挿入しないでＰピクチャのみでコーデックを行うことが考えられる。この場合、無線システムのエラー発生時において、復号が可能な状態に復帰するまでにイントラリフレッシュの周期分の時間を要する。
　この発明は上記事情に着目してなされたもので、その目的とするところは、復号が不能となる事象が受信側で発生した場合に、短時間のうちに復号が可能な状態に復帰することを可能とする画像伝送システム、画像送信装置及び画像受信装置を提供することにある。
　上記目的を達成するためにこの発明の第１の態様は、画像送信装置と画像受信装置とを備えた画像伝送システムを、画像送信装置に設けられ、動画像を構成する多数の画面を、同一の動画像内の別の画面を参照して復号可能に符号化する第１の方法及び同一の動画像内の別の画面を参照することなしに復号可能に符号化する第２の方法を選択的に用いて符号化する符号化手段と、画像送信装置に設けられ、符号化手段による符号化によりそれぞれ得られた多数の画面データにより構成される動画像データを無線送信する第１の送信手段と、画像受信装置に設けられ、第１の送信手段により送信された動画像データを受信する第１の受信手段と、画像受信装置に設けられ、第１の受信手段により受信された動画像データに含まれる画面データの復号が不能となる予め定められた事象が発生したことを検出する検出手段と、画像受信装置に設けられ、検出手段により事象の発生が検出されたことに応じて挿入命令を無線送信する第２の送信手段と、画像送信装置に設けられ、第２の送信手段により送信された挿入命令を受信する第２の受信手段と、画像送信装置に設けられ、第２の受信手段により挿入命令が受信されたことに応じて予め定められた画面数に渡り、第２の方法を選択し、それ以降は第２の方法を選択するように符号化手段を制御する制御手段と、を備えて構成した。
　この発明の第２の態様は、第１の態様の検出手段を、動画像データに訂正不能な誤りが発生したこと、第１の受信手段により動画像データが受信されなくなったこと、動画像データを構成する画面データを復号して画面を再生する復号手段が起動されたこと、のうちの少なくとも１つを事象の発生として検出する、ものとした。
　この発明の第３の態様は、第１の態様の制御手段を、第２の受信手段により挿入命令が受信されたことに応じて１画面についてのみ前記第２の方法を選択する、ものとした。
　第１の態様によれば、通常は、動画像を構成する多数の画面を、同一の動画像内の別の画面を参照して復号可能に符号化する第１の方法を選択することにより転送レートの低減を図られる。復号が不能となる事象が受信側で発生した場合には、画像送信装置から画像受信装置への挿入命令に応じて、同一の動画像内の別の画面を参照することなしに復号可能に符号化する第２の方法が選択される。これにより、第２の方法を適用して符号化されたデータが伝送され、短時間のうちに復号が可能な状態に復帰することが可能となる。
　第２の態様によれば、誤りの発生時、データ伝送が正常に行えない障害の発生時、あるいは復号手段が起動された時のいずれかにおいて、第２の方法による符号化が適用される。従って、これらの状態において、短時間のうちに復号が可能な状態に復帰することが可能となる。
　第３の態様によれば、復号が不能となる事象が発生したことに応じて第２の方法による符号化が適用されるのが１画面についてのみに限られる。従って、第２の方法を適用することによる平均的な転送レートの増加を最小限に抑えることができる。
本実施形態に係る画像伝送システムの構成を示すブロック図。 第１のケースにおける通信シーケンスを模式的に示す図。 第２のケースにおける通信シーケンスを模式的に示す図。 第３のケースにおける通信シーケンスを模式的に示す図。
　以下、図面を参照してこの発明に係わる実施形態を説明する。なお本実施形態においては、撮像部で撮像された動画像を、撮影部から離れた位置に設置された表示部で表示するための画像伝送システムを例示して説明することとする。
　（構成）
　図１は本実施形態に係る画像伝送システム１００の構成を示すブロック図である。
　画像伝送システム１００は、画像送信装置１及び画像受信装置２を含む。画像送信装置１は、動画像を無線送信する。画像受信装置２は、画像送信装置１により送信されて空中を介して伝送されてきた動画像を受信する。
　画像送信装置１は、撮像部１１、H.264エンコーダ１２、無線送信部１３、アンテナ１４、制御部１５、無線送受信部１６、アンテナ１７及び操作部１８を含む。
　撮像部１１は、光学系により形成される視野内の画像を１画面として、予め定められた画面レートで繰り返し撮像し、多数の画面のそれぞれに応じた映像信号を順次に出力する。撮像部１１としては、例えば既製のビデオカメラをそのまま用いることができる。映像信号は、典型的にはhigh definition serial digital interface (HD-SDI)又はhigh definition multimedia interface (HDMI)(登録商標)等の規格に準拠するものである。
　H.264エンコーダ１２は、撮像部１１から入力される映像信号をH.264方式でエンコードし、Ｉピクチャ又はＰピクチャを表す画像データ（以下、Ｉピクチャデータ又はＰピクチャデータと称する。）を順次に得る。H.264エンコーダ１２は、制御部１５からの特別な指令が無い場合には、Ｐピクチャデータを得る。H.264エンコーダ１２は、制御部１５から後述する挿入命令を受けると、その後に入力される１画面分の映像信号に関してはＩピクチャデータを得る。H.264エンコーダ１２は、エンコードにより得られた画像データをtransport stream (TS)パケット化した上で、当該TSパケットを第１の無線部へと出力する。
　Ｉピクチャは、１画面内の情報のみを用いて、前後の画面とは無関係に符号化することによって得られる画面である。Ｐピクチャは、符号化の対象となる画面を、その画面よりも過去の画面内の情報を参照して、符号化することによって得られる画面である。このため、１つのＩピクチャからは、１画面を復号することが可能である。つまり、Ｉピクチャデータを得るための符号化の方法は、同一の動画像内の別の画面を参照することなしに復号可能に符号化する第２の方法の一例である。またＰピクチャからは、過去の画面を参照することで１画面を復号することが可能である。つまり、Ｐピクチャデータを得るための符号化の方法は、同一の動画像内の別の画面を参照して復号可能に符号化する第１の方法の一例である。
　無線送信部１３は、H.264エンコーダ１２から入力されたTSパケットに対し、エネルギー拡散（ランダマイズ）、インターリーブ、あるいは誤り訂正符号化等の処理を施す。無線送信部１３は、上記の処理後のTSパケットを変調して、予め定められた無線周波数帯域の無線伝送信号を得る。なお、無線送信部１３が用いる変調方式は、シングルキャリア及びマルチキャリアのいずれであるかを含めて、任意であってよい。無線送信部１３は、無線伝送信号を、無線送信に必要なレベルまで増幅した上で、アンテナ１４に供給する。
　アンテナ１４は、無線送信部１３から供給された無線伝送信号を、電波として空中に放射する。これにより、無線伝送信号がアンテナ１４から無線送信される。
　制御部１５は、H.264エンコーダ１２、無線送信部１３、無線送受信部１６及び操作部１８に接続されている。制御部１５には、無線送受信部１６及び操作部１８から各種の命令が入力される。制御部１５は、これら命令に応じて、画像送信装置１の動作に関わる各種設定を行う。当該設定の対象は例えば、H.264エンコーダ１２でのエンコードに関する伝送レート及びエンコード方式等、あるいは無線送信部１３で適用する変調方式、誤り訂正符号化方式、時間インターリーブ深さ及び周波数チャネル等である。制御部１５は、プロセッサを含んで構成されたコンピュータを主体として構成されて、情報処理プログラムに従った情報処理により各種の制御機能を実現するものであってもよいし、application-specific integrated circuit (ASIC)等を用いた論理的な処理回路を主体として構成され、論理処理により各種の制御機能を実現するものであってもよい。
　無線送受信部１６は、アンテナ１７から入力される信号に対して復調などの予め定められた受信処理を施して、当該信号に含まれた命令を取得する。無線送受信部１６は、取得した命令を制御部１５に入力する。無線送受信部１６は、命令を正しく受信した場合には、画像受信装置２に対して受信応答を含んだ信号をアンテナ１７に供給する。
　アンテナ１７は、空中を伝播して到来した電波を受けて誘起された電気的な信号を、無線送受信部１６へと入力する。アンテナ１７は、無線送受信部１６から供給された信号を、電波として空中に放射する。これにより、無線送受信部１６から供給された信号がアンテナ１７から無線送信される。
　操作部１８は、操作者が命令を指定するための操作を受け付ける。操作部１８は、操作者が指定した命令を制御部１５に入力する。操作部１８は、操作者が各種の設定情報を指定するための操作を受け付け、当該設定情報を上記の命令に含める場合もある。
　画像受信装置２は、アンテナ２１、無線受信部２２、H.264デコーダ２３、表示部２４、アンテナ２５、無線送受信部２６、制御部２７及び操作部２８を含む。
　アンテナ２１は、空中を伝播して到来した電波を受けて誘起された電気的な信号を、無線受信部２２へと入力する。
　無線受信部２２は、復調部２２１、デインターリーブ／復号部２２２及びパケット構造部２２３を含む。
　アンテナ２１からの信号は、まず復調部２２１に入力される。復調部２２１は、無線送信部１３で適用された変調方式に応じた復調処理を行い、TSパケットを復調する。デインターリーブ／復号部２２２は、TSパケットに対して、誤り訂正復号、デインターリーブ、あるいはエネルギー逆拡散（デランダマイズ）等の処理を施し、エネルギー拡散、インターリーブ、あるいは誤り訂正符号化等の処理による影響を解除する。パケット構造部２２３は、元のTSパケットを復元する。
　無線受信部２２は、デインターリーブ／復号部２２２での誤り訂正復号により誤りを訂正できなかった場合には、その旨を制御部２７に通知する。当該通知を、以下においては誤り通知と称する。
　H.264デコーダ２３は、デパケット部２３１、ビデオデコーダ２３２及びビデオレンダ２３３を含む。無線受信部２２のパケット構造部２２３で復元されたTSパケットが、デパケット部２３１に入力される。デパケット部２３１は、TSパケットのパケット構造を解除し、画像データを抽出する。ビデオデコーダ２３２は、H.264/MPEG-4 AVCに基づく処理により映像信号をデコードする。ビデオレンダ２３３は、デコードされた映像信号を、表示部２４とのインターフェイスの規格に適合した映像信号に変換する。当該インターフェイスの規格は例えば、HD-SDI又はHDMI等である。
　H.264デコーダ２３は、デパケット部２３１にて、TSパケット中のヘッダ同期バイトを予め定められた期間内に受信できない場合に、その旨を制御部２７に通知する。当該通知を、以下においては障害通知と称する。H.264デコーダ２３は、自らの動作状況を表すステータスを制御部２７に通知する。H.264デコーダ２３は少なくとも、起動され、表示部２４へと出力する映像信号をTSパケットから再生できる状態となった場合に、起動を表すステータスを制御部２７に通知する。当該通知を、以下においては起動通知と称する。
　表示部２４は、ビデオレンダ２３３から入力される映像信号に応じて、動画像を表示する。
　アンテナ２５は、空中を伝播して到来した電波を受けて誘起された電気的な信号を、無線送受信部２６へと入力する。アンテナ２５は、無線送受信部２６から供給された信号を、電波として空中に放射する。これにより、無線送受信部２６から供給された信号がアンテナ２５から無線送信される。
　無線送受信部２６は、制御部２７から入力される命令に対して変調などの予め定められた送信処理を施して、命令を無線伝送するための信号を得る。無線送受信部２６は、アンテナ２５から入力される信号が受信応答を含む場合に、その受信応答に対応した命令が画像送信装置１に届いた旨を制御部２７に通知する。
　制御部２７は、無線受信部２２、H.264デコーダ２３、無線送受信部２６及び操作部２８に接続されている。制御部２７には、無線送受信部２６及び操作部２８から各種の命令が入力される。制御部２７は、これら命令に応じて、画像受信装置２の動作に関わる各種設定を行う。当該設定の対象は例えば、無線受信部２２で適用する変調方式、誤り訂正符号化方式、時間インターリーブ深さ及び周波数チャネル等、あるいはH.264デコーダ２３でのデコードに関する伝送レート及びエンコード方式等である。制御部２７は、無線受信部２２からの誤り通知、あるいはH.264デコーダ２３からの障害通知又は起動通知のいずれかを受けた場合には、Ｉピクチャの挿入を指示するための命令（以下、挿入命令と称する）を無線送受信部２６へと出力する。制御部２７は、プロセッサを含んで構成されたコンピュータを主体として構成されて、情報処理プログラムに従った情報処理により各種の制御機能を実現するものであってもよいし、ASIC等を用いた論理的な処理回路を主体として構成され、論理処理により各種の制御機能を実現するものであってもよい。
　操作部２８は、操作者が命令を指定するための操作を受け付ける。操作部２８は、操作者が指定した命令を制御部２７に入力する。操作部２８は、操作者が各種の設定情報を指定するための操作を受け付け、当該設定情報を上記の命令に含める場合もある。
　（動作）
　次に、以上のように構成された画像伝送システム１００の動作を説明する。
　［第１のケース：撮像部１１、H.264エンコーダ１２、H.264デコーダ２３の順で起動される場合。］
　図２は第１のケースにおける通信シーケンスを模式的に示す図である。なお、図２は上から下に向かって時間の経過を表すが、各イベントの図示における感覚は、実際のタイミングについての時間間隔を正確には表さない。つまり図２は、各イベントの大まかな順序を表す。
　まず、撮像部１１が起動されることにより、イベントＥ１として示すように、撮像部１１からH.264エンコーダ１２への映像信号の入力が開始される。なお図２においては、１つの矢印が１画面分の映像信号を表す。しかしながら、このときにはH.264エンコーダ１２が停止しているために、H.264エンコーダ１２からは画像データは出力されない。
　この状態から、H.264エンコーダ１２が起動し、エンコードが行われるようになると、イベントＥ２として示すように、H.264エンコーダ１２から画像データが出力されるようになる。なおこのときに制御部１５は、最初の画像データはＩピクチャデータとし、それ以降の画像データはいずれもＰピクチャデータとするようにH.264エンコーダ１２を制御する。かくして、最初のGOPは１画面分のＩピクチャを含むが、それ以降の各GOPは全てがＰピクチャのみで構成されることになる。
　なお、図２においては、伝送される画面がＩピクチャ及びＰピクチャのいずれであるかを表しており、Ｉピクチャデータ及びＰピクチャデータがそのまま伝送されることを表している訳ではない。
　H.264エンコーダ１２よりも撮像部１１が後に起動した場合には、制御部１５は、最初の１画面分の映像信号に応じた画像データをＩピクチャとし、それ以降の映像信号に応じた画像データをいずれもＰピクチャとするようにH.264エンコーダ１２を制御する。これにより、やはり最初のGOPは１画面分のＩピクチャを含むが、それ以降の各GOPは全てがＰピクチャのみで構成されることになる。
　H.264エンコーダから出力される画像データは、無線送信部１３、アンテナ１４、アンテナ２１及び無線受信部２２を介して、H.264デコーダ２３へと入力される。しかしながら、この第１のケースでは、上記のＩピクチャデータが、イベントＥ３として示すようにH.264デコーダ２３へと入力されるときには、H.264デコーダ２３は停止状態にある。そしてイベントＥ４として示すようにH.264デコーダ２３が起動されても、H.264デコーダ２３へと入力されるのは、そのままではＰピクチャばかりとなり、H.264デコーダ２３は映像信号を復号できない。つまり、このケースは、動画像データの復号が不能となる予め定められた事象が発生した場合に相当する。
　そこでH.264デコーダ２３は、起動されてデコードが可能な状態となると、イベントＥ５として示すように、制御部２７に対して起動通知を行う。制御部２７は、この起動通知を受けると、イベントＥ６として示すように、無線送受信部２６、アンテナ２５、アンテナ１７及び無線送受信部１６を介して、制御部１５に対して挿入命令を送る。
　制御部１５は、挿入命令を受けると、イベントＥ７として示すように、H.264エンコーダ１２に対して挿入命令を送る。H.264エンコーダ１２は、挿入命令を受けると、イベントＥ８として示すように、Ｉピクチャデータを１画面分だけ出力する。そしてH.264エンコーダ１２は、それ以降の画像データはいずれもＰピクチャデータとする。かくして、挿入命令がなされた際に伝送中のGOP又はその次のGOPには１画面分のＩピクチャが含まれるが、それ以降の各GOPは全てがＰピクチャのみで構成されることになる。
　なお、無線送受信部１６は、挿入命令を受信すると、受信応答を含んだ信号をアンテナ１７に供給する。これにより、当該受信応答が、アンテナ１７、アンテナ２５及び無線送受信部２６を介して制御部２７へと送られる。制御部２７は、挿入命令を送信してから予め定められた待機時間が経過するまでの間に受信応答が得られない場合には、挿入命令を再送信する。制御部２７は、挿入命令の再送信を無制限に行ってもよいし、制限回数又は制限時間として予め定められた限度内に限って挿入命令の再送信を行ってもよい。なお、待機時間、制限回数及び制限時間は、例えば画像受信装置２の設計者などにより適宜に定められる。
　ところで、H.264エンコーダ１２が起動されるよりも前にH.264デコーダ２３が起動された場合には、H.264エンコーダ１２の起動後に最初に送信されるＩピクチャをH.264デコーダ２３で処理することができる。このため、制御部２７は、H.264デコーダ２３の起動後にH.264デコーダ２３に最初に入力された画像データをH.264デコーダが復号できない場合にのみ、挿入命令を送るようにしてもよい。
　［第２のケース：Ｐピクチャに、伝送途中において訂正不能な誤りが発生した場合。］
　図３は第２のケースにおける通信シーケンスを模式的に示す図である。なお、図３は、図２と同様に各イベントの大まかな順序を表す。
　各GOPをＰピクチャのみで構成している状況において、イベントＥ１１として示すように、無線送信部１３から無線受信部２２へと伝送される間において、Ｐピウチャデータに訂正不能な誤りが発生している。つまり、このケースは、動画像データの復号が不能となる予め定められた事象が発生した場合に相当する。
　この場合には、無線受信部２２は、デインターリーブ／復号部２２２での誤り訂正復号により誤りを訂正できないことに応じて、イベントＥ１２として示すように、制御部２７に対して誤り通知を行う。制御部２７は、この誤り通知を受けると、イベントＥ１３として示すように、無線送受信部２６、アンテナ２５、アンテナ１７及び無線送受信部１６を介して、制御部１５に対して挿入命令を送る。
　制御部１５は、挿入命令を受けると、イベントＥ１４として示すように、H.264エンコーダ１２に対して挿入命令を送る。H.264エンコーダ１２は、挿入命令を受けると、イベントＥ１５として示すように、Ｉピクチャデータを１画面分だけ出力する。そしてH.264エンコーダ１２は、それ以降の画像データはいずれもＰピクチャデータとする。かくして、挿入命令がなされた際に伝送中のGOP又はその次のGOPには１画面分のＩピクチャが含まれるが、それ以降の各GOPは全てがＰピクチャのみで構成されることになる。
　画像受信装置２では、誤りの残った画像データに基づいて再生される表示画面には、ブロックノイズが現れてしまい、このブロックノイズはＰピクチャのみからは解消することができない。しかしながら、上記のように送信される1画面分のＩピクチャを用いたデコード処理によってリフレッシュされ、以降はＰピクチャのみからブロックノイズの無い表示画面を再生できる。
　［第３のケース：Ｐピクチャの伝送途中において伝送障害が発生し、無線受信部２２にて受信できなくなった場合。］
　図４は第３のケースにおける通信シーケンスを模式的に示す図である。なお、図４は、図２と同様に各イベントの大まかな順序を表す。
　各GOPをＰピクチャのみで構成している状況において、イベントＥ２１として示すように何らかの伝送障害が発生し、無線受信部２２にてＰピクチャデータを得られなくなっている。つまり、このケースは、動画像データの復号が不能となる予め定められた事象が発生した場合に相当する。
　この場合には、無線受信部２２は、デパケット部２３１にて、TSパケット中のヘッダ同期バイトを予め定められた期間内に受信できなくなるので、イベントＥ２２として示すように、制御部２７に対して障害通知を行う。制御部２７は、この障害通知を受けると、イベントＥ２３として示すように、無線送受信部２６、アンテナ２５、アンテナ１７及び無線送受信部１６を介して、制御部１５に対して挿入命令を送る。
　制御部１５は、挿入命令を受けると、イベントＥ２４として示すように、H.264エンコーダ１２に対して挿入命令を送る。H.264エンコーダ１２は、挿入命令を受けると、イベントＥ２５として示すように、Ｉピクチャデータを１画面分だけ出力する。そしてH.264エンコーダ１２は、それ以降の画像データはいずれもＰピクチャデータとする。かくして、挿入命令がなされた際に伝送中のGOP又はその次のGOPには１画面分のＩピクチャが含まれるが、それ以降の各GOPは全てがＰピクチャのみで構成されることになる。
　（効果）
　以上述べたように画像伝送システム１００によれば、動画像データの復号が不能となる予め定められた事象が画像受信装置２の側で発生した場合には、画像受信装置２からの命令に従って、画像送信装置１からＩピクチャが送信される。そして画像送信装置１は、その後には、Ｐピクチャを連続して送信する。
　かくして、GOPは基本的にはＰピクチャのみで構成されることになる。これにより、エンコード及びデコードの際に用いるデータの量が少なくて済み、H.264エンコーダ１２及びH/264デコーダ２３に設けるべきバッファのサイズを小さくすることができ、処理遅延も発生しない。
　また、Ｉピクチャに比べてデータ量が小さいＰピクチャの比率が高くなるため、平均的な転送レートを低く抑えることができる。
　また、挿入命令に伴って画像送信装置１が送信するＩピクチャを１画面分のみとしているため、Ｉピクチャを送信することによる平均的な転送レートの増加を最小限に抑えることが可能である。
　［その他の実施形態］
　同一の動画像内の別の画面を参照して復号可能に符号化する第１の方法及び同一の動画像内の別の画面を参照することなしに復号可能に符号化する第２の方法を選択的に用いて符号化するものであれば、H.264方式以外の符号化方式を適用してもよい。
　動画像データの復号が不能となる予め定められた事象は、上記の実施形態に示した３つに限る必要はなく、これら３つの事象のうちのいずれかが含まれなくてもよいし、これら３つの事象とは別の事象が含まれてもよい。どのような事象を動画像データの復号が不能となる予め定められた事象とするかは、例えば画像受信装置の設計者などによって適宜に定められてよい。
　H.264エンコーダ１２は、挿入命令を受けたことに応じて、複数画面分のＩピクチャを連続的に送信してもよい。
　撮像部１１及び操作部１８の少なくともいずれか一方を、画像送信装置１には備えずに、別体のユニットを画像送信装置１に外付けしてもよい。この場合、撮像部１１としては、既存のビデオカメラなどを用いることができる。また操作部１８としては、パーソナルコンピュータやスマートフォンなどの既存の情報処理装置を用いることができる。
　表示部２４及び操作部２８の少なくともいずれか一方を、画像受信装置２には備えずに、別体のユニットを画像受信装置２に外付けしてもよい。この場合、表示部２４としては、既存の汎用の表示デバイスなどを用いることができる。また操作部２８としては、パーソナルコンピュータやスマートフォンなどの既存の情報処理装置を用いることができる。
　要するにこの発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

Claims (5)

  1. 　画像送信装置と画像受信装置とを備えた画像伝送システムであって、
    　前記画像送信装置に設けられ、動画像を構成する多数の画面を、同一の動画像内の別の画面を参照して復号可能に符号化する第１の方法及び同一の動画像内の別の画面を参照することなしに復号可能に符号化する第２の方法を選択的に用いて符号化する符号化手段と、
    　前記画像送信装置に設けられ、前記符号化手段による符号化によりそれぞれ得られた多数の画面データにより構成される動画像データを無線送信する第１の送信手段と、
    　前記画像受信装置に設けられ、前記第１の送信手段により送信された前記動画像データを受信する第１の受信手段と、
    　前記画像受信装置に設けられ、前記第１の受信手段により受信された動画像データに含まれる前記画面データの復号が不能となる予め定められた事象が発生したことを検出する検出手段と、
    　前記画像受信装置に設けられ、前記検出手段により前記事象の発生が検出されたことに応じて挿入命令を無線送信する第２の送信手段と、
    　前記画像送信装置に設けられ、前記第２の送信手段により送信された前記挿入命令を受信する第２の受信手段と、
    　前記画像送信装置に設けられ、前記第２の受信手段により前記挿入命令が受信されたことに応じて予め定められた画面数に渡り、前記第２の方法を選択し、それ以降は前記第１の方法を選択するように前記符号化手段を制御する制御手段と、
    を具備した画像伝送システム。
  2. 　前記検出手段は、前記動画像データに訂正不能な誤りが発生したこと、前記第１の受信手段により前記動画像データが受信されなくなったこと、前記動画像データに含まれる前記画面データを復号して前記画面を再生する復号手段が起動されたこと、のうちの少なくとも１つを前記事象の発生として検出する、
    請求項１に記載の画像伝送システム。
  3. 　前記制御手段は、前記第２の受信手段により前記挿入命令が受信されたことに応じて１画面についてのみ前記第２の方法を選択する、
    請求項１に記載の画像伝送システム。
  4. 　無線伝送される動画像データを受信する第１の受信手段と、
    　前記第１の受信手段により受信された動画像データに含まれる画面データの復号が不能となる予め定められた事象が発生したことを検出する検出手段と、
    　前記検出手段により前記事象の発生が検出されたことに応じて挿入命令を無線送信する第２の送信手段と、
    を具備した画像受信装置とともに画像伝送システムを構成する画像送信装置であって、
    　動画像を構成する多数の画面を、同一の動画像内の別の画面を参照して復号可能に符号化する第１の方法及び同一の動画像内の別の画面を参照することなしに復号可能に符号化する第２の方法を選択的に用いて符号化する符号化手段と、
    　前記符号化手段による符号化によりそれぞれ得られた多数の画面データにより構成されるものとして前記動画像データを無線送信する第１の送信手段と、
    　前記第２の送信手段により送信された前記挿入命令を受信する第２の受信手段と、
    　前記第２の受信手段により前記挿入命令が受信されたことに応じて予め定められた画面数に渡り、前記第２の方法を選択し、それ以降は前記第１の方法を選択するように前記符号化手段を制御する制御手段と、
    を具備した画像送信装置。
  5. 　動画像を構成する多数の画面を、同一の動画像内の別の画面を参照して復号可能に符号化する第１の方法及び同一の動画像内の別の画面を参照することなしに復号可能に符号化する第２の方法を選択的に用いて符号化する符号化手段と、
    　前記符号化手段による符号化によりそれぞれ得られた多数の画面データにより構成される動画像データを無線送信する第１の送信手段と、
    　無線伝送される挿入命令を受信する第２の受信手段と、
    　前記第２の受信手段により前記挿入命令が受信されたことに応じて予め定められた画面数に渡り、前記第２の方法を選択し、それ以降は前記第１の方法を選択するように前記符号化手段を制御する制御手段と、
    を具備した画像送信装置とともに画像伝送システムを構成する画像受信装置であって、
    　前記第１の送信手段により送信された前記動画像データを受信する第１の受信手段と、
    　前記第１の受信手段により受信された動画像データに含まれる前記画面データの復号が不能となる予め定められた事象が発生したことを検出する検出手段と、
    　前記検出手段により前記事象の発生が検出されたことに応じて前記挿入命令を送信する第２の送信手段と、
    を具備した画像受信装置。
PCT/JP2018/011387 2018-03-22 2018-03-22 画像伝送システム、画像送信装置及び画像受信装置 WO2019180869A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2018/011387 WO2019180869A1 (ja) 2018-03-22 2018-03-22 画像伝送システム、画像送信装置及び画像受信装置
JP2020507206A JPWO2019180869A1 (ja) 2018-03-22 2018-03-22 画像伝送システム、画像送信装置及び画像受信装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/011387 WO2019180869A1 (ja) 2018-03-22 2018-03-22 画像伝送システム、画像送信装置及び画像受信装置

Publications (1)

Publication Number Publication Date
WO2019180869A1 true WO2019180869A1 (ja) 2019-09-26

Family

ID=67986893

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/011387 WO2019180869A1 (ja) 2018-03-22 2018-03-22 画像伝送システム、画像送信装置及び画像受信装置

Country Status (2)

Country Link
JP (1) JPWO2019180869A1 (ja)
WO (1) WO2019180869A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07193821A (ja) * 1993-12-27 1995-07-28 Canon Inc 動画像符号化装置および方法
JP2001045490A (ja) * 1999-07-28 2001-02-16 Matsushita Electric Ind Co Ltd 動画像信号の符号化装置及び符号化方法
JP2006508574A (ja) * 2002-11-27 2006-03-09 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 要求に応じたｉ画像の挿入
JP2008079061A (ja) * 2006-09-22 2008-04-03 Matsushita Electric Ind Co Ltd 画像ストリーミングシステム
JP2014519247A (ja) * 2011-05-04 2014-08-07 カビウム・インコーポレイテッド エンドツーエンドコード化ビデオ伝送システムのためのオンデマンドイントラリフレッシュ

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3788260B2 (ja) * 2001-04-09 2006-06-21 日本電気株式会社 配信システムとその配信方法、及び配信プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07193821A (ja) * 1993-12-27 1995-07-28 Canon Inc 動画像符号化装置および方法
JP2001045490A (ja) * 1999-07-28 2001-02-16 Matsushita Electric Ind Co Ltd 動画像信号の符号化装置及び符号化方法
JP2006508574A (ja) * 2002-11-27 2006-03-09 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 要求に応じたｉ画像の挿入
JP2008079061A (ja) * 2006-09-22 2008-04-03 Matsushita Electric Ind Co Ltd 画像ストリーミングシステム
JP2014519247A (ja) * 2011-05-04 2014-08-07 カビウム・インコーポレイテッド エンドツーエンドコード化ビデオ伝送システムのためのオンデマンドイントラリフレッシュ

Also Published As

Publication number Publication date
JPWO2019180869A1 (ja) 2021-03-11

Similar Documents

Publication Publication Date Title
US7525993B2 (en) Robust transmission system and method for mobile television applications
JP5043096B2 (ja) チャネル変更方法及びデジタル・ビデオ装置
US10771821B2 (en) Overcoming lost IP packets in streaming video in IP networks
US8681197B2 (en) Communication system, terminal apparatus and computer program
US9137477B2 (en) Fast channel change companion stream solution with bandwidth optimization
EP2156669B1 (en) System and method for reducing the zapping time
JP2015171114A (ja) 動画像符号化装置
US20130058409A1 (en) Moving picture coding apparatus and moving picture decoding apparatus
CN107210843B (zh) 使用喷泉编码的实时视频通信的系统和方法
JP2011216928A (ja) 映像送信装置、映像受信装置、映像伝送システム
US7403566B2 (en) System, computer program product, and method for transmitting compressed screen images from one computer to another or many computers
JP4488958B2 (ja) 映像伝送システム及び映像伝送方法
JP2010213119A (ja) 映像伝送システム、撮像装置及びモニタ装置
WO2019180869A1 (ja) 画像伝送システム、画像送信装置及び画像受信装置
JP2005277701A (ja) 動画データの伝送方法、伝送システム、配信装置及び受信装置
JP2007288604A (ja) 映像伝送システム及び映像伝送方法
US20150189231A1 (en) Video conferencing system
US8379148B2 (en) Digital broadcasting transmitter, digital broadcasting receiver, and methods thereof
WO2021012180A1 (zh) 码流的传输控制方法、设备及计算机可读存储介质
EP2417766A1 (en) Method and apparatus for asynchronous video transmission over a communication network
US11316627B2 (en) Communication system, transmission device, communication method, and recording medium
JP7264517B2 (ja) 送信装置、受信装置、制御方法、およびプログラム
US20140369424A1 (en) Video codec system and video stream transmission method
US20240236409A9 (en) Electronic apparatus, server apparatus and control method thereof
JP4024794B2 (ja) 映像復号化装置及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18910851

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020507206

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18910851

Country of ref document: EP

Kind code of ref document: A1