JP5098784B2 - Video communication device - Google Patents

Video communication device Download PDF

Info

Publication number
JP5098784B2
JP5098784B2 JP2008118888A JP2008118888A JP5098784B2 JP 5098784 B2 JP5098784 B2 JP 5098784B2 JP 2008118888 A JP2008118888 A JP 2008118888A JP 2008118888 A JP2008118888 A JP 2008118888A JP 5098784 B2 JP5098784 B2 JP 5098784B2
Authority
JP
Grant status
Grant
Patent type
Prior art keywords
frame
video
transmission
frames
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008118888A
Other languages
Japanese (ja)
Other versions
JP2009272684A (en )
Inventor
耕二 山宮
Original Assignee
サクサ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Description

本発明は、例えばMPEG−4等の符号化方式により符号化された映像を、RTP(Real−time Transport Protocol)を用いてパケット通信する映像通信装置に関する。 The present invention, for example, an image encoded by the encoding method such as MPEG-4, relates to a video communication apparatus which packet communication by using the RTP (Real-time Transport Protocol).

MPEG−4符号化方式で符号化されたフレームには、フレーム内予測により静止画モードで符号化されたIフレーム(Intra Picture)と、時間的に前のフレームから動き補償フレーム間予測により符号化されたPフレーム(Predictive Picture)が含まれている。 MPEG-4 in the encoded frames in the coding scheme, coding the encoded I-frame (Intra Picture) in the still image mode by intra-frame prediction, the motion compensation inter-frame prediction from the temporally previous frame have been P-frame (Predictive Picture) has been included.

こうしたフレームのパケット通信時にパケット損失によってデータの一部が欠落した場合、そのまま復号化処理と画面出力処理を継続すると、対象のフレームだけではなくその後のフレームに対してエラーが波及し、次のIフレームが到着するまで画面表示が乱れたままになり、その間、映像品質が非常に低下するという問題を生じている。 If some of the data by packet loss during packet communication of such frame is lost, when it continues decoding and screen output processing, spread errors for subsequent frames not only frame of interest, the next I remains screen display is disturbed until the frame arrives, meantime, it has arisen the problem of image quality is greatly reduced.

こうした問題を解消するために、次のような第1および第2の方法が考えられている(非特許文献1,2参照)。 To solve these problems, first and second the following methods have been considered (see Non-Patent Documents 1 and 2). すなわち、第1の方法は、受信側でRTPによりパケット損失が検出された場合、次のIフレームが送られてくるまで映像の更新を中止し、次のIフレームが送られてきたら映像の更新を再開する方法である。 That is, the first method, if the packet loss is detected by RTP at the receiving side, stops updating of the image until the next I-frame is sent, the update of the video Once sent the next I-frame it is a method to resume. この第1の方法は最後に正常受信した映像の表示を続行する方法でもある。 The first method is also a method to continue the last displayed image was normally received.

また、第2の方法は、送信側では受信側からのRTCP(RTP Control Protocol)パケットにより、受信側がパケット損失していたことが分かった場合、映像更新の再開を早めるために、次のフレームとしてIフレームを送信する方法である。 In the second method, the RTCP (RTP Control Protocol) packet from the receiving side in the transmitting side, if the receiver were found to have lost packet, in order to expedite the resumption of the image update, as the next frame a method of transmitting an I frame.

前述した第1の方法の場合は、映像品質が低下するという問題がある。 For the first method described above, there is a problem that image quality is degraded. また、第2の方法の場合は、正常な映像を表示するまでの時間を短縮できるが、依然として正常に表示できない時間が存在するとともに、Iフレームは1つのフレームの伝送量が多量であることから伝送レートを一定に保持しようとすると、映像の圧縮度を高めて送信することになり、その結果、やはり映像品質が低下するという問題を生じる。 Further, since the case of the second method, can shorten the time to display the normal image, with no time to be still displayed normally present, I frame transmission of one frame is a large amount If you try to hold the transmission rate constant, it will be transmitted enhance the degree of compression of video, as a result, also arises a problem that image quality is degraded.

本発明は以上のような問題点に鑑みてなされたものであり、その目的とするところは、符号化されたIフレームとPフレームとを含む映像をパケットデータとして通信した時にパケット損失が発生した場合、映像の品質低下を抑制することを目的とする。 The present invention has been made in view of the above problems, it is an object of packet loss when communicating image as packet data including the I and P frames coded occurs If, for the purpose of suppressing the degradation of the quality of the video.

このような課題を解決するために本発明は、映像信号をフレーム内予測により符号化したIフレーム(第1フレーム)と、映像信号を時間的に前のフレームから動き補償フレーム間予測により符号化したPフレーム(第2フレーム)とを含むフレームをパケットデータとして送受信することにより映像信号の通信を行う映像通信装置において、Iフレームの送信後、このIフレームを参照フレームとするn個のPフレームをそれぞれ生成して以降のn個の各送信時点でそれぞれ送信するようにしてn系列のPフレームを生成し送信する第1送信部と、第1送信部によるPフレームの送信後、n個の各送信時点でそれぞれ送信されたこれらn個のPフレームをそれぞれ参照フレームとするPフレームをそれぞれ生成してそれぞれ以降のn個の各 The present invention to solve such problems, an I frame encoded by intraframe prediction image signal (first frame), encoded by the motion compensation inter-frame prediction from the previous frame video signal temporally in video communication apparatus for communicating a video signal by transmitting and receiving the P-frame frame containing a (second frame) and a packet data after transmission of the I frame, n pieces of P frame to reference frame the I frame and a first transmission unit for generating generates a P-frame of the n sequences to so as to transmit respectively the n respective transmission time of the later are respectively transmitted, after the transmission of the P-frame by the first transmission unit, the n each transmitted each generated by the n-number of subsequent respectively each P frame to each reference frame these n pieces of P frames in each transmission time 信時点で送信する動作を順次繰り返し行うようにしてn系列のPフレームを生成し送信する第2送信部と、受信側における前記第2フレームの受信エラーを検出する検出部とを備え、第2送信部は、検出部により連続して受信エラーとして検出されたPフレームの数がn個に満たない場合は、受信エラーとして検出されない他の系列のPフレームのうち最後に送信したPフレームを参照フレームとするn個のPフレームをそれぞれ生成してそれぞれ以降のn個の各送信時点で送信し、検出部により連続して受信エラーとして検出されたPフレームの数がn個以上の場合は、受信側で正常に受信された最後のPフレームを参照フレームとするn個のPフレームをそれぞれ生成してそれぞれ以降のn個の各送信時点で送信することを特徴とする Comprising a second transmission section which in the sequentially repeated operation generating and transmitting P-frame of the n sequences transmitted at signal point, and a detector for detecting a reception error of the second frame on the receiving side, a second transmission unit, if the number of P frames detected as a reception error in succession by the detecting unit is less than n number, see P frame transmitted last among the P-frame of another sequence that is not detected as a received error transmitted at the n respective transmission time of the later each respectively generate the n P frame to frame, if the number of P frames detected as a reception error in succession by the detection unit is equal to or greater than n pieces, and transmitting the n P frames that the last P frame received correctly at the receiving side and the reference frame respectively generated by the n respective transmission time of the later respectively

本発明によれば、Iフレームの送信後、このIフレームを参照フレームとするn個のPフレームをそれぞれ生成して以降のn個の各送信時点でそれぞれ送信するようにしてn系列のPフレームを生成し送信する第1送信部と、第1送信部によるPフレームの送信後、n個の各送信時点でそれぞれ送信されたこれらn個のPフレームをそれぞれ参照フレームとするPフレームをそれぞれ生成してそれぞれ以降のn個の各送信時点で送信する動作を順次繰り返し行うようにしてn系列のPフレームを生成し送信する第2送信部と、受信側における第2フレームの受信エラーを検出する検出部とを備え、第2送信部で、検出部により連続して受信エラーとして検出されたPフレームの数がn個に満たない場合は、受信エラーとして検出されない他の According to the present invention, after the transmission of the I frame, P frame n sequences to be transmitted, respectively of n each transmission time of the later by n number of P frame to reference frame the I frame respectively generated generating respectively first transmission unit that generates and transmits an after sending P frame by the first transmission unit, the n P-frame to each reference frame these n pieces of P frames respectively transmitted at each transmission time a second transmission unit that generates and transmits a P-frame of the n series to sequentially repeated the operation of transmitting of n each transmission time of the later each detects the reception error of the second frame at the receiver and a detection unit, the second transmission unit, if the number of P frames detected as a reception error in succession by the detecting unit is less than n number, the other is not detected as a received error 列のPフレームのうち最後に送信したPフレームを参照フレームとするn個のPフレームをそれぞれ生成してそれぞれ以降のn個の各送信時点で送信し、検出部により連続して受信エラーとして検出されたPフレームの数がn個以上の場合は、受信側で正常に受信された最後のPフレームを参照フレームとするn個のPフレームをそれぞれ生成してそれぞれ以降のn個の各送信時点で送信するようにしたことにより、IフレームとPフレームとを含む映像をパケットデータとして通信した時にPフレームにパケット損失が発生しこれを受信できなかった場合でも、パケット損失の発生しない他の系列のPフレームのうち最後に送信したPフレームを参照フレームとするPフレームの映像、または、正常受信された最後のPフレームを参照フ Transmitting at last generated respectively n number of P frame to reference frame P frame transmitted to each transmission of n subsequent respective time of P-frame column, detected as a reception error in succession by the detecting unit It is when the number is at least n of the P frames, the last n of n respective transmission time of the subsequent P-frames each respectively generated to reference the P-frame frames received correctly at the receiving side in by which it is to be sent, even if a packet loss P frame can not be received this occurs when communicating images including an I frame and a P frame as a packet data, other sequences that do not occur in packet loss Finally image P frame to reference frame P frame transmitted or see off the last P frames have been successfully received, of the P-frame ームとするPフレームの映像を復号化し再生できることから、品質の低下を招くことなく映像の再生を行うことができる。 Because it can reproduce and decode the image of the P frame to over arm, it is possible to reproduce the image without lowering the quality.

以下、本発明について図面を参照して説明する。 It will be described below with reference to the drawings the present invention.
図1は、本発明に係る映像通信装置の構成を示すブロック図である。 Figure 1 is a block diagram showing the configuration of a video communication apparatus according to the present invention. 本映像通信装置は図1に示すように、映像送信装置1と映像受信装置2とから構成される。 The video communication apparatus as shown in FIG. 1, and a video transmission apparatus 1 and the video receiving apparatus 2.

ここで、映像送信装置1は図1(a)に示すように、カメラ11と、カメラ11により撮影された画像を例えばMPEG−4等の所定の符号化方式により符号化するエンコーダ12と、エンコーダ12により符号化されたデータをRTP(Real−time Transport Protocol)を用いてパケットデータとして映像受信装置2側へ送信するRTP送信部13と、映像受信装置2側からのRTCP(RTP Control Protocol)パケットを受信するRTCP受信部14と、RTCP受信部14により受信されたRTCPパケットに基づいてエンコーダ12を制御するエンコーダ制御部15とから構成される。 Here, the video transmission apparatus 1, as shown in FIG. 1 (a), a camera 11, an encoder 12 for encoding by a predetermined encoding method, such as, for example, MPEG-4 image taken by the camera 11, an encoder the RTP transmission unit 13 to be transmitted to the video receiving apparatus 2 side as a packet data using the RTP (Real-time Transport Protocol) data encoded by 12, RTCP (RTP Control Protocol) packets from the video receiving apparatus 2 a RTCP receiver 14 for receiving, and a encoder control unit 15 for controlling the encoder 12 based on the RTCP packets received by the RTCP receiver 14.

一方、映像受信装置2は図1(b)に示すように、映像送信装置1のRTP送信部13から送信されるRTPパケットを受信するRTP受信部21と、映像送信装置1側へRTCPパケットを送信するRTCP送信部22と、RTPパケットの受信エラーに基づくパケット損失をRTP受信部21を介して検出すると、“フレームエラー検出”旨のRTCPパケットをRTCP送信部22から映像送信装置1側へ送信させるように制御する制御部する制御部23と、RTP受信部21によりRTPパケットとして受信された符号化画像データを制御部23を介して入力すると画像データとして復号化処理するデコーダ24と、デコーダ24により復号化処理された画像データを表示する表示部25とから構成される。 On the other hand, the video receiving apparatus 2, as shown in FIG. 1 (b), an RTP receiving unit 21 that receives an RTP packet transmitted from the RTP transmitting unit 13 of the video transmission apparatus 1, the RTCP packet to the video transmitting apparatus 1 side and RTCP transmission unit 22 which transmits, upon detecting a packet loss based on the received error RTP packet via the RTP receiving section 21, "frame error detection" to RTCP packets to the effect from the RTCP transmitting unit 22 to the video transmitter apparatus 1 side a control unit 23 which controls unit controls to a decoder 24 for decoding as when the input image data via the control unit 23 the received encoded image data as an RTP packet by the RTP receiving section 21, a decoder 24 and a display unit 25 for displaying the decoded processed image data by.

次に、以上のように構成された映像通信装置の動作の概要について説明する。 An outline of the operation of the configuration video communication device as described above will be described.
映像送信装置1では、エンコーダ制御部15の制御のもとに、エンコーダ12が、カメラ11により撮影された画像を入力して、1つのIフレーム(Intra Picture)と、その後に続く複数のPフレーム(Predictive Picture)とに符号化して、順次RTP送信部13に送り、RTP送信部13から映像受信装置2側へRTPパケットとして送信させるようにしている。 In the video transmission apparatus 1, under the control of the encoder control unit 15, the encoder 12 inputs the image captured by the camera 11, and one I-frame (Intra Picture), a plurality of P frames subsequent (Predictive picture) and to be encoded are sequentially sent to the RTP transmission section 13, so as to transmit the RTP packets from the RTP transmitting unit 13 to the video receiving apparatus 2 side.

この場合、映像受信装置2側では、RTP受信部21がRTP送信部13からのRTPパケットを受信し、IフレームまたはPフレームの符号化画像データとして制御部23へ送り、制御部23からデコーダ24へ送出させる。 In this case, the video receiving apparatus 2 side, RTP reception unit 21 receives the RTP packet from the RTP transmitting unit 13 sends to the control unit 23 as the coded image data of the I-frame or P-frame, the decoder 24 from the control unit 23 to be sent to. デコーダ24では、その符号化画データを復号化処理して表示部25に送り表示させる。 In the decoder 24, and displays sent to the display unit 25 to process decodes the code Kaga data.

ここで、本発明では図2に示すように、エンコーダ制御部15の制御のもとに、エンコーダ12がまずIフレームI0を生成し、RTP送信部13が時点t1でこのIフレームI0を送信(ステップS1)した後、エンコーダ12がこのIフレームI0を参照フレームとし、その参照フレームから動き補償フレーム間予測により符号化した2つのPフレームP1(I0),P2(I0)を生成し、これらをRTP送信部13がそれぞれ時点t2,t3で送信する(ステップS2,S3)。 Here, as in the present invention shown in FIG. 2 transmission, under the control of the encoder control unit 15, the encoder 12 first produces an I frame I0, RTP transmission section 13 is the I frame I0 at time t1 ( step S1). Thereafter, the encoder 12 is the reference frame the I frame I0, that from the reference frame two were encoded by motion compensation inter-frame prediction P frame P1 (I0), to generate a P2 (I0), these RTP transmission section 13 transmits at time t2, t3, respectively (step S2, S3).

次に、エンコーダ12がこのPフレームP1,P2を参照フレームとして、その参照フレームP1,P2からそれぞれ動き補償フレーム間予測により符号化した2つのPフレームP3(P1),P4(P2)を生成し、これらをRTP送信部13がそれぞれ時点t4,t5で送信する(ステップS4,S5)。 Then, the encoder 12 is the reference frame to the P frame P1, P2, the reference frame P1, 2 two P frames from each of P2 was encoded by motion compensation inter-frame P3 (P1), to generate a P4 (P2) , these RTP transmission section 13 transmits at time t4, t5, respectively (step S4, S5). 続いて、エンコーダ12がこのPフレームP3,P4を参照フレームとして、その参照フレームP3,P4からそれぞれ動き補償フレーム間予測により符号化した2つのPフレームP5(P3),P6(P4)を生成し、これらをRTP送信部13がそれぞれ時点t6,t7で送信する(ステップS6,S7)。 Subsequently, as the encoder 12 is the reference frame to the P frame P3, P4, the reference frame P3, P4 from the two coded by motion compensation inter-frame each P-frame P5 (P3), to generate a P6 (P4) , these RTP transmission section 13 transmits at time t6, t7, respectively (step S6, S7).

続いて以下同様に、エンコーダ12がこのPフレームP5,P6を参照フレームとして、その参照フレームP5,P6からそれぞれ動き補償フレーム間予測により符号化した2つのPフレームP7(P5),P8(P6)を生成し、これらをRTP送信部13がそれぞれ時点t8,t9で送信する(ステップS8,S9)。 Subsequently Similarly, the encoder 12 is the P-frame P5, P6 as a reference frame, the two were encoded by each motion-compensated interframe prediction from the reference frame P5, P6 P frame P7 (P5), P8 (P6) generate, these RTP transmission section 13 transmits at time t8, t9, respectively (step S8, S9). さらに、エンコーダ12がこのPフレームP7,P8を参照フレームとして、その参照フレームP7,P8からそれぞれ動き補償フレーム間予測により符号化した2つのPフレームP9(P7),P10(P8)を生成し、これらをRTP送信部13がそれぞれ時点t10,t11で送信する(ステップS10,S11)。 Further, the encoder 12 is the reference frame to the P-frame P7, P8, 2 two P frames P9 (P7) encoded by the respective motion compensation inter-frame prediction from the reference frame P7, P8, to produce a P10 (P8), these RTP transmission section 13 transmits at time t10, t11, respectively (step S10, S11). さらにまた、エンコーダ12がこのPフレームP9,P10を参照フレームとして、その参照フレームP9,P10からそれぞれ動き補償フレーム間予測により符号化した2つのPフレームP11(P9),P12(P10)を生成し、これらをRTP送信部13がそれぞれ時点t12,t13で送信する(ステップS12,S13)。 Furthermore, as the encoder 12 is the reference frame to the P frame P9, P10, the reference frame P9, P10 from the two coded by motion compensation inter-frame each P-frame P11 (P9), to generate a P12 (P10) , these RTP transmission section 13 transmits at time t12, t13, respectively (step S12, S13).

映像受信装置2のRTP受信部21ではこれらのフレームの送信パケットをそれぞれ時点t1'〜t13'で受信し、フレームデータとして制御部23へ送る。 Receives the RTP receiving section 21 of the video receiving apparatus 2 to send packets of the frames at each time point t1'~t13 ', sent to the control section 23 as frame data. 制御部23はこれらの符号化されているフレームデータをデコーダ24に送って復号化処理させ、表示部25に表示させる。 The control unit 23 frame data are those encoded by the processing sent by decoding the decoder 24, on the display unit 25.

このように、映像送信装置1では、Iフレームを送信した後、次の送信時点t2と、その次の送信時点t3では、上記Iフレームを同一の参照フレームとしてそのIフレームから動き補償フレーム間予測により符号化した2つのPフレームP1(I0),P2(I0)をそれぞれ生成して送信し、さらに、以降、時間的に隣接した2つの送信時点においても同様に、Pフレームを参照フレームとしてそのPフレームから動き補償フレーム間予測により符号化した2つのPフレームを生成してそれぞれ送信するようにしたものである。 Thus, the video transmission apparatus 1, after transmitting the I-frame, the next transmission time point t2, that the next transmission time point t3, the motion compensation inter-frame prediction from the I-frame the I frame as the same reference frame encoded two P frames P1 (I0), P2 and (I0) to generate and transmit, respectively, further, since, similarly also in the two transmission time of the temporally adjacent manner, the reference frame P-frame is obtained so as to transmit each generate two P frames coded by motion compensation inter-frame from P-frames.

なお、図2及び後述の図3,図4では同一の参照フレームに対して2系列のPフレームを生成する例を示しているが、n個の系列のPフレーム系で構成することもできる。 Note that FIG. 2 and described below in FIG. 3, there is shown an example of generating a P-frame of two series relative reference frames same in FIG. 4, it may be constituted by P-frame system of n series. この場合、映像送信装置1では、Iフレームを送信した後、そのIフレームを参照フレームとする複数個(n個)のPフレームをそれぞれ生成して以降の各時点でそれぞれ送信し、その後さらに、前記n個のPフレームをそれぞれ参照フレームとするn個のPフレームをそれぞれ生成して以降の各時点でそれぞれ送信する。 In this case, the video transmission apparatus 1, after transmitting the I-frame, P-frame of a plurality of (n) to the reference I frames frames transmitted respectively at each time point subsequent to produce respectively, then further respectively transmit at each time point subsequent to respectively generate the n P-frame to the n respective reference frames P frames. これにより、n個のPフレーム系を構成することができ、その結果、或る系列のPフレームのパケット損失が発生した場合でも、映像受信装置2側では、他の系列の正常受信されたPフレームの映像を復号化し再生できることから、品質の低下を招くことなく映像の再生を行うことができる。 Thus, it is possible to constitute the n-number of P frames based, result, P even when the packet loss P frames of a certain sequence occurs, the video receiving apparatus 2 side, which is normally received in the other sequence because it can reproduce decoded video frames, it is possible to reproduce the image without lowering the quality.

次に、映像送信装置1からパケットデータとして送信された符号化画像データのパケット損失が発生した場合の本映像通信装置における第1および第2の回復動作について説明する。 Next, a description will be given of the first and second recovery operation in the video communication apparatus when a packet loss of the coded image data transmitted from the video transmission apparatus 1 as packet data has occurred.

(第1の実施の形態) (First Embodiment)
図3は映像送信装置1から送信されたPフレームのパケット損失が発生した場合の第1の回復動作を示すシーケンス図である。 Figure 3 is a sequence diagram showing a first recovery operation when packet loss P frame transmitted from the video transmission apparatus 1 has occurred.
前述したように、映像送信装置1側ではエンコーダ制御部15の制御のもとで、エンコーダ12がまずIフレームI0を生成し、RTP送信部13が時点t1でこのIフレームI0を送信(ステップS21)した後、エンコーダ12がこのIフレームI0を参照フレームとし、その参照フレームから動き補償フレーム間予測により符号化した2つのPフレームP1(I0),P2(I0)を生成し、これらをRTP送信部13がそれぞれ時点t2,t3で送信している(ステップS22,S23)。 As described above, the transmission under the control of the encoder control unit 15 in the video transmitting apparatus 1 side, the encoder 12 first produces an I frame I0, the I frame I0 in the RTP transmission section 13 is time t1 (step S21 ), and then the encoder 12 is the reference frame to the I frame I0, 2 two P frames were encoded by motion compensation inter-frame prediction from the reference frame P1 (I0), to generate a P2 (I0), these RTP transmission part 13 is transmitting at time t2, t3, respectively (step S22, S23).

続いて、エンコーダ12がこのPフレームP1,P2を参照フレームとして、その参照フレームP1,P2からそれぞれ動き補償フレーム間予測により符号化した2つのPフレームP3(P1),P4(P2)を生成し、これらをRTP送信部13がそれぞれ時点t4,t5で送信している(ステップS24,S25)。 Subsequently, as the encoder 12 is the reference frame to the P frame P1, P2, the reference frame P1, 2 two P frames from each of P2 was encoded by motion compensation inter-frame P3 (P1), to generate a P4 (P2) , these RTP transmission section 13 is transmitting at time t4, t5, respectively (step S24, S25).

ここで、映像受信装置2側では、映像送信装置1側からそれぞれ時点t,t2,t3,t4,…で送信されるフレームI0,P1(I0),P2(I0),P3(P1),…を、それぞれ時点t1',t2',t3',t4',…で受信して復号化し再生することになるが、時点t3'で受信されるべきフレームP2(I0)が受信できずに、次の時点t4'で受信されるべきフレームP3(P1)がRTP受信部21により受信された場合は、制御部23は、フレームP2(I0)を受信エラーとして検出し(ステップS27)、この“フレームP2エラー検出”の旨を示すRTCPパケット(すなわち、エラーとなったPフレームの番号の範囲を含むパケット損失検出通知パケット)をRTCP送信部22から映像送信装置1側へ送信させる(ス Here, in the video receiving apparatus 2, when each of the video transmitting apparatus 1 t, t2, t3, t4, the frame I0, P1 (I0) to be sent ... in, P2 (I0), P3 (P1), ... the respective time point t1 ', t2', t3 ', t4', ... to but receives and decodes will play, can not receive the frame P2 (I0) to be received at time t3 ', the following If the frame to be received at time t4 'of P3 (P1) are received by the RTP receiving unit 21, the control unit 23 detects the frame P2 to (I0) as a reception error (step S27), the "frame P2 RTCP packet indicating effect error detection "(i.e., packet loss detection notification packet including the range of numbers of P-frames in error) is transmitted from the RTCP transmitting section 22 to the video transmitting apparatus 1 side (scan ップS28)。 -Up S28).

この映像受信装置2側からのRTCPパケットはRTCP受信部14で受信され、エンコーダ制御部15に通知される。 The RTCP packet from the video receiving apparatus 2 is received by the RTCP receiver 14 is notified to the encoder control unit 15. ここで、エンコーダ制御部15はこのRTCPパケットで示されるエラーのフレームがフレームP2(I0)であることを確認すると、次に送信すべきPフレームが、エラーとなったフレームP2を参照フレームとした例えばフレームP6(P4)であれば、エンコーダ12を制御して、このフレームP6(P4)の送信に代えて、フレームP5(すなわち、エラーとなったフレームP2の直前に送信されて正常受信されたフレームP1を参照フレームのルーツとし最後に送信されたフレームP5)を参照フレームとしたフレームP6(P5)を生成させて、時点t7で送信させる(ステップS29)。 Here, the encoder control unit 15 confirms that frame errors indicated by the RTCP packet is a frame P2 (I0), P-frame to be next transmitted, and a reference frame to frame P2 of the error for example, if the frame P6 (P4), and controls the encoder 12, in place of the transmission of the frame P6 (P4), frame P5 (i.e., has been successfully received is transmitted to the previous frame P2 of the error by generating a frame P6 (P5) which is a reference frame to frame P5) which is transmitted last to the roots of the reference frame frames P1, it is sent when t7 (step S29). これにより、映像受信装置2側では、参照フレームが存在するPフレームのみを受信して復号化しその映像を再生できる。 Thus, the video receiving apparatus 2 receives and decodes only the P frame reference frame exists can play the video. その結果、品質の低下を招くことなく映像を再生することができる。 As a result, it is possible to reproduce video without degrading the quality.

その後、映像受信装置2側から、エラーとなったPフレームの番号の範囲を含むパケット損失検出通知パケットが送信されない場合は、エンコーダ制御部15は、エンコーダ12を制御して、従前どおりに、エンコーダ12により、PフレームP5,P6を参照フレームとする2つのPフレームP7(P5),P8(P6)を生成させ、これらをRTP送信部13からそれぞれ時点t8,t9で送信させる(ステップS30,S31)。 Then, from the video receiving device 2 side, if the packet loss detection notification packet including the range of numbers of P-frames in error is not sent, the encoder control unit 15 controls the encoder 12, previously always, encoder by 12, two P frames P7 to a reference frame to P frame P5, P6 (P5), P8 (P6) to generate, these is transmitted at each time point t8, t9 from the RTP transmitting unit 13 (step S30, S31 ). さらに、エンコーダ12によりこのPフレームP7,P8を参照フレームとする2つのPフレームP9(P7),P10(P8)を生成させ、これらをRTP送信部13からそれぞれ時点t10,t11で送信させる(ステップS32,S33)。 In addition, two P frame to reference frame the P frame P7, P8 by the encoder 12 P9 (P7), to produce a P10 (P8), to them transmitted at each time point t10, t11 from the RTP transmitting unit 13 (step S32, S33). さらにまた、エンコーダ12によりこのPフレームP9,P10を参照フレームとする2つのPフレームP11(P9),P12(P10)を生成させ、これらをRTP送信部13からそれぞれ時点t12,t13で送信させる(ステップS34,S35)。 Furthermore, two P frame to reference frame the P frame P9, P10 by the encoder 12 P11 (P9), to produce a P12 (P10), so these are transmitted at time t12, t13, respectively from the RTP transmitting section 13 ( step S34, S35). 映像受信装置2側では、これらの各Pフレームを、それぞれ時点t8'〜t13'で受信して復号化処理し、表示部25に表示する。 The video receiving apparatus 2 side, each of these P-frame, and decoding processing is received at T8'~t13 'respectively, and displays on the display unit 25.

このように、映像受信装置2側から、エラーとなったPフレームの番号の範囲を含むパケット損失検出通知パケットが送信された場合は、映像送信装置1のエンコーダ制御部15は、エラーとして通知されたPフレームを参照フレームとするPフレームの送信を行わずに、エラーとして通知されていないPフレームを参照フレームとするPフレームを生成させ、これの送信を行うように制御する。 Thus, if the video receiving device 2 side, the packet loss detection notification packet including the range of numbers of P-frames in error is transmitted, the encoder control unit 15 of the video transmission apparatus 1 is notified as an error the P-frame without transmission of P frame to reference frame, to generate a P frame to reference the P-frame frame not notified as an error, and controls to perform this transmission. すなわち、n個のPフレーム系で構成されている場合、パケット損失したPフレームの番号の範囲がn個未満のときには、映像送信装置1側では映像受信装置2側で正常に受信されている他のPフレーム系が存在していると判断し、そのPフレーム系のうち最後に送信したPフレームを参照フレームとするn個のPフレームをそれぞれ生成して各時点で送信するようにする。 That is, if it is constituted by n P-frame system, when a range of numbers of P frame packet loss is less than n number is a video transmitting apparatus 1 side is successfully received by the video receiving apparatus 2 side other of determining that P-frame system is present, so as to transmit in the last n number of P frame to reference frame P frame transmitted to the respectively generated to each time point of the P-frame system. そして、それ以降はさらに、前記n個のPフレームをそれぞれ参照フレームとするn個のPフレームを生成して各時点で送信する。 And thereafter further transmits to generate n P frame to each reference frame the n P frames at each time point. これにより、n個のPフレーム系が回復される。 Thus, n-number of P frames system is restored.

このように第1の実施の形態では、パケット損失したPフレームの番号の範囲がn個未満のときには、映像送信装置1側では映像受信装置2側で正常に受信されている他のPフレーム系が存在していると判断し、そのPフレーム系のうち最後に送信したPフレームを参照フレームとするn個のPフレームをそれぞれ生成して各時点で送信するようにしたことにより、複数個のPフレームのパケット損失が発生した場合でも、映像受信装置2側で正常に受信されている他のPフレーム系が存在している場合は、映像を正常に復号化し再生できることから、伝送帯域の増加やエンコーダの負荷の増加を招くことなく、映像の的確な再生を行うことができる。 Thus, in the first embodiment, when the range of the number of P frames packet loss is less than n number, the other P-frame system, which is successfully received by the video receiving apparatus 2 side in the video transmitting apparatus 1 side by but is determined to be present, and to transmit at last generated respectively n number of P frame to reference frame P frame transmitted to each point of the P-frame system, a plurality of even when packet loss P frame occurs, if the other P-frame system is received correctly by the picture receiving apparatus 2 side is present, because it can play successfully decode the video, increase in transmission bandwidth without increasing the or encoder of the load, it is possible to perform an accurate reproduction of the video.

(第2の実施の形態) (Second Embodiment)
図4映像送信装置1から送信されたPフレームのパケット損失が発生した場合の第2の回復動作を示すシーケンス図である。 Figure 4 is a sequence diagram showing a second recovery operation when packet loss P frame transmitted from the video transmission apparatus 1 has occurred.
前述したように、映像送信装置1側ではエンコーダ制御部15の制御のもとで、エンコーダ12がまずIフレームI0を生成し、RTP送信部13が時点t1でこのIフレームI0を送信(ステップS41)した後、エンコーダ12がこのIフレームI0を参照フレームとし、その参照フレームから動き補償フレーム間予測により符号化した2つのPフレームP1(I0),P2(I0)を生成し、これらをRTP送信部13がそれぞれ時点t2,t3で送信している(ステップS42,S43)。 As described above, the transmission under the control of the encoder control unit 15 in the video transmitting apparatus 1 side, the encoder 12 first produces an I frame I0, the I frame I0 in the RTP transmission section 13 is time t1 (step S41 ), and then the encoder 12 is the reference frame to the I frame I0, 2 two P frames were encoded by motion compensation inter-frame prediction from the reference frame P1 (I0), to generate a P2 (I0), these RTP transmission part 13 is transmitting at time t2, t3, respectively (step S42, S43).

続いて、エンコーダ12がこのPフレームP1,P2を参照フレームとして、その参照フレームP1,P2からそれぞれ動き補償フレーム間予測により符号化した2つのPフレームP3(P1),P4(P2)を生成し、これらをRTP送信部13がそれぞれ時点t4,t5で送信している(ステップS44,S45)。 Subsequently, as the encoder 12 is the reference frame to the P frame P1, P2, the reference frame P1, 2 two P frames from each of P2 was encoded by motion compensation inter-frame P3 (P1), to generate a P4 (P2) , these RTP transmission section 13 is transmitting at time t4, t5, respectively (step S44, S45). さらに、エンコーダ12がこのPフレームP3,P4を参照フレームとして、その参照フレームP3,P4からそれぞれ動き補償フレーム間予測により符号化した2つのPフレームP5(P3),P6(P4)を生成し、これらをRTP送信部13がそれぞれ時点t6,t7で送信している(ステップS46,S47)。 Further, the encoder 12 is the reference frame to the P frame P3, P4, the reference frame P3, P4 from the two coded by motion compensation inter-frame each P-frame P5 (P3), to generate a P6 (P4), these RTP transmission section 13 is transmitting at time t6, t7, respectively (step S46, S47).

ここで、映像受信装置2側では、映像送信装置1側からそれぞれ時点t1,t2,t3,t4,…で送信されるフレームI0,P1(I0),P2(I0),P3(P1),…を、それぞれ時点t1',t2',t3',t4',…で受信して復号化処理をすることになるが、時点t3'およびt4'でそれぞれ受信されるべきフレームP2(I0)およびP3(P1)が受信できずに、次の時点t5'で受信されるべきフレームP4(P2)がRTP受信部21により受信された場合は、制御部23は、フレームP2(I0)およびP3(P1)を受信エラーとして検出し(ステップS48)、この“フレームP2及びP3エラー検出”の旨を示すRTCPパケット(すなわち、エラーとなったPフレームの番号の範囲を含むパケット損失検出通知パ Here, in the video receiving apparatus 2, when each of the video transmitting apparatus 1 side t1, t2, t3, t4, the frame I0, P1 (I0) to be sent ... in, P2 (I0), P3 (P1), ... the respective time point t1 ', t2', t3 ', t4', but will the decoding process receives at ..., frame P2 (I0) to be received respectively by the time t3 'and t4' and P3 (P1) to the can not receive, if the frame P4 to be received at the next time point t5 '(P2) is received by the RTP receiving section 21, the control unit 23, the frame P2 (I0) and P3 (P1 ) is detected as a reception error (step S48), the RTCP packet the effect that "frames P2 and P3 error detection" (i.e., packet loss detection notification path and in the appended number of P frames in error ケット)をRTCP送信部22から映像送信装置1側へ送信させる(ステップS49)。 Packet) from the RTCP transmission unit 22 to transmit to the video transmitting apparatus 1 (step S49).

この映像受信装置2側からのRTCPパケットはRTCP受信部14で受信され、エンコーダ制御部15に通知される。 The RTCP packet from the video receiving apparatus 2 is received by the RTCP receiver 14 is notified to the encoder control unit 15. ここで、エンコーダ制御部15はこのRTCPパケットで示されるエラーのフレームがフレームP2(I0),P3(P1)であることを確認すると、次に送信すべきPフレームが、エラーとなったフレームP2,P3をそれぞれ参照フレームとした例えばフレームP8(P6),P7(P5)であれば、エンコーダ12を制御して、このフレームP8(P6),P7(P5)の送信に代えて、エラー検出されたフレームP2,P3の直前に送信し映像受信装置2側で正常受信されたフレームP1を参照フレームとするP8(P1),P7(P1)を生成させて、それぞれ時点t9と時点t8で送信させる(ステップS51,S50)。 Here, the error frame is the frame encoder control unit 15 shown in this RTCP packet P2 (I0), confirms that the P3 (P1), the frame P2 next P-frame to be transmitted, results in an error to, for example, each reference frame P3 frame P8 (P6), if P7 (P5), and controls the encoder 12, the frame P8 (P6), in place of the transmission of the P7 (P5), an error is detected frames P2, the frame P1 were successfully received by the video receiver apparatus 2 sends just before the P3 as reference frame P8 (P1), P7 (P1) and to generate, to transmit at time t9 and time t8, respectively (step S51, S50). これにより、映像受信装置2側では、参照フレームが存在するPフレームのみを受信して復号化しその映像を再生できる。 Thus, the video receiving apparatus 2 receives and decodes only the P frame reference frame exists can play the video. その結果、品質の低下を招くことなく映像を再生することができる。 As a result, it is possible to reproduce video without degrading the quality.

その後、映像受信装置2側から、エラーとなったPフレームの番号の範囲を含むパケット損失検出通知パケットが送信されない場合は、エンコーダ制御部15は、エンコーダ12を制御して、従前どおりに、エンコーダ12により、このPフレームP7,P8を参照フレームとする2つのPフレームP9(P7),P10(P8)を生成させ、これらをRTP送信部13からそれぞれ時点t10,t11で送信させる(ステップS52,S53)。 Then, from the video receiving device 2 side, if the packet loss detection notification packet including the range of numbers of P-frames in error is not sent, the encoder control unit 15 controls the encoder 12, previously always, encoder by 12, the P frame P7, 2 one P frame to reference frame P8 P9 (P7), P10 (P8) to generate, these is transmitted at each time point t10, t11 from the RTP transmitting unit 13 (step S52, S53). さらに、エンコーダ12によりこのPフレームP9,P10を参照フレームとする2つのPフレームP11(P9),P12(P10)を生成させ、これらをRTP送信部13からそれぞれ時点t12,t13で送信させる(ステップS54,S55)。 In addition, two P frame to reference frame the P frame P9, P10 by the encoder 12 P11 (P9), to produce a P12 (P10), so these are transmitted at time t12, t13, respectively from the RTP transmitting unit 13 (step S54, S55). 映像受信装置2側では、これらの各Pフレームを、それぞれ時点t10'〜t13'で受信して復号化処理し、表示部25に表示する。 The video receiving apparatus 2 side, each of these P-frame, and decoding processing is received at T10'~t13 'respectively, and displays on the display unit 25.

このように、映像受信装置2側から、エラーとなったPフレームの番号の範囲を含むパケット損失検出通知パケットが送信された場合は、映像送信装置1のエンコーダ制御部15は、エラーとして通知されたPフレームを参照フレームとするPフレームの送信を行わずに、エラーとして通知されていないPフレーム(映像受信装置2側で正常に受信された最後のPフレーム)を参照フレームとするPフレームを生成させ、これの送信を行うように制御する。 Thus, if the video receiving device 2 side, the packet loss detection notification packet including the range of numbers of P-frames in error is transmitted, the encoder control unit 15 of the video transmission apparatus 1 is notified as an error the P-frame without transmission of P frame to reference frame, a P frame to reference frame P-frame that is not notified (the last P frames received successfully in the video receiving apparatus 2) as an error is generated, it is controlled to perform this transmission. すなわち、n個のPフレーム系で構成されている場合、パケット損失したPフレームの番号の範囲がn個以上のときには、映像送信装置1側では、映像受信装置2側で正常に受信された最後のPフレームを参照フレームとするn個のPフレームをそれぞれ生成して各時点で送信するようにする。 That is, the last case being composed of the n P-frame system, a range of numbers of P frame packet loss when the least n, in the video transmission apparatus 1 side, which is successfully received in the video receiving apparatus 2 the n number of P frame to reference frame P frame to be transmitted at each time point to generate respectively. そして、それ以降はさらに前記n個のPフレームをそれぞれ参照フレームとするn個のPフレームを生成してそれぞれ各時点で送信する。 And thereafter further transmits the n-number of P frames at each time point each generating n P frame to each reference frame. これにより、n個のPフレーム系が回復される。 Thus, n-number of P frames system is restored.

このように第2の実施の形態では、パケット損失したPフレームの番号の範囲がn個以上のときには、映像送信装置1側では、映像受信装置2側で正常に受信された最後のPフレームを参照フレームとするn個のPフレームをそれぞれ生成して各時点で送信するようにしたことにより、連続したn個以上の全ての系列のPフレームのパケット損失が発生した場合でも、伝送帯域の増加やエンコーダの負荷の増加を招くことなく、さらには映像の品質低下を招くことなく、最短の時間で映像の正常な再生を回復できる。 Thus, in the second embodiment, when the range of the number of P frames packet loss is at least n, in the video transmission apparatus 1 side, the last P frames received successfully in the video receiving apparatus 2 by the n P frame to reference frame was to be transmitted at each time point to generate respectively, even when the packet loss P frames consecutive n or more of all the series occurs, the increase in the transmission band and without increasing the load of the encoder, even more without degrading the quality of the image, you can restore normal reproduction of the video in the shortest time.

本発明の映像通信装置の構成を示すブロック図である。 Is a block diagram showing the configuration of a video communication apparatus of the present invention. 本映像通信装置を構成する映像送信装置と映像受信装置との間で正常なパケット通信が行われた場合のシーケンス図である。 It is a sequence diagram of a case where a normal packet communication is performed between the video transmitter and the video receiver devices configuring the video communication apparatus. 本映像通信装置を構成する映像送信装置と映像受信装置との間のパケット通信時にパケット損失が発生した場合のシーケンス図である。 It is a sequence diagram of a case where packet loss occurs during packet communication between the video transmitter and the video receiver devices configuring the video communication apparatus. 本映像通信装置を構成する映像送信装置と映像受信装置との間のパケット通信時にパケット損失が発生した場合のシーケンス図である。 It is a sequence diagram of a case where packet loss occurs during packet communication between the video transmitter and the video receiver devices configuring the video communication apparatus.

符号の説明 DESCRIPTION OF SYMBOLS

1…映像送信装置、2…映像受信装置、11…カメラ、12…エンコーダ、13…RTP送信部、14…RTCP受信部、15…エンコーダ制御部、21…RTP受信部、22…RTCP受信部、23…制御部、24…デコーダ、25…表示部。 1 ... video transmission apparatus, 2 ... image receiving apparatus, 11 ... camera, 12 ... encoder, 13 ... RTP transmitting section, 14 ... RTCP receiver, 15 ... encoder controlling unit, 21 ... RTP receiving unit, 22 ... RTCP receiver, 23 ... control unit, 24 ... decoder, 25 ... display unit.

Claims (1)

  1. 映像信号をフレーム内予測により符号化した第1フレームと、映像信号を時間的に前のフレームから動き補償フレーム間予測により符号化した第2フレームとを含むフレームをパケットデータとして送受信することにより映像の通信を行う映像通信装置において、 Image by transmitting and receiving a first encoded frame by frame prediction image signal, a frame and a second frame obtained by encoding the motion compensation inter-frame prediction from the previous frame video signal temporally as packet data the video communication apparatus for the communication,
    前記第1フレームの送信後、この第1フレームを参照フレームとする複数個(n個)の第2フレームをそれぞれ生成して以降のn個の各送信時点でそれぞれ送信するようにしてn系列の第2フレームを生成し送信する第1送信部と、 After transmission of the first frame, the n sequences to be transmitted, respectively of n each transmission time of the second and subsequent frames to generate each of the plurality of (n) to the reference frame to the first frame a first transmission unit generating and transmitting a second frame,
    前記第1送信部による第2フレームの送信後、前記n個の各送信時点でそれぞれ送信されたこれらn個の第2フレームをそれぞれ参照フレームとする第2フレームをそれぞれ生成してそれぞれ以降のn個の各送信時点で送信する動作を順次繰り返し行うようにしてn系列の第2フレームを生成し送信する第2送信部と After transmission of the second frame by the first transmission unit, after the n each respectively generated respectively transmitted to the second frame to each reference frame these n second frame in each transmission time point n a second transmission unit that generates and transmits a second frame of the n series to sequentially repeated the operation of transmitting at each transmission time of the individual,
    受信側における前記第2フレームの受信エラーを検出する検出部とを備え、 And a detector for detecting a reception error of the second frame at the receiving side,
    前記第2送信部は、前記検出部により連続して受信エラーとして検出された第2フレームの数がn個に満たない場合は、受信エラーとして検出されない他の系列の第2フレームのうち最後に送信した第2フレームを参照フレームとするn個の第2フレームをそれぞれ生成してそれぞれ以降のn個の各送信時点で送信し、前記検出部により連続して受信エラーとして検出された第2フレームの数がn個以上の場合は、前記受信側で正常に受信された最後の第2フレームを参照フレームとするn個の第2フレームをそれぞれ生成してそれぞれ以降のn個の各送信時点で送信する Said second transmission unit, if the number of second frames detected as a reception error in succession by the detecting unit is less than n number at the end of the second frame of the other series are not detected as the reception error the n second frame to the reference frame and the second frame transmitted by generating each transmit of n each transmission time of the subsequent respective second frame detected continuously as a reception error by the detection unit If the number is at least n of the n-number of the second frame to a reference frame at the end of the second frame received normally by the receiving side at each transmission time of the n subsequent each respectively generated Send
    ことを特徴とする映像通信装置。 Video communication device, characterized in that.
JP2008118888A 2008-04-30 2008-04-30 Video communication device Active JP5098784B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008118888A JP5098784B2 (en) 2008-04-30 2008-04-30 Video communication device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008118888A JP5098784B2 (en) 2008-04-30 2008-04-30 Video communication device

Publications (2)

Publication Number Publication Date
JP2009272684A true JP2009272684A (en) 2009-11-19
JP5098784B2 true JP5098784B2 (en) 2012-12-12

Family

ID=41438895

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008118888A Active JP5098784B2 (en) 2008-04-30 2008-04-30 Video communication device

Country Status (1)

Country Link
JP (1) JP5098784B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5367687B2 (en) * 2010-12-27 2013-12-11 株式会社フォーラムエイト Data distribution system, data distribution apparatus, and data distribution method
US9578327B2 (en) 2012-05-29 2017-02-21 Canon Kabushiki Kaisha Encoding apparatus, encoding method, and non-transitory computer-readable storage medium

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3068002B2 (en) * 1995-09-18 2000-07-24 沖電気工業株式会社 Image encoding apparatus, image decoding apparatus and an image transmission system
JP3288985B2 (en) * 1998-03-02 2002-06-04 日本電信電話株式会社 Image communication method, an image communication system, and a recording medium recording an image communication program
GB2343321B (en) * 1998-11-02 2003-03-26 Nokia Mobile Phones Ltd Error concealment in a video signal
US7103669B2 (en) * 2001-02-16 2006-09-05 Hewlett-Packard Development Company, L.P. Video communication method and system employing multiple state encoding and path diversity
US20050201471A1 (en) * 2004-02-13 2005-09-15 Nokia Corporation Picture decoding method

Also Published As

Publication number Publication date Type
JP2009272684A (en) 2009-11-19 application

Similar Documents

Publication Publication Date Title
US6611561B1 (en) Video coding
US20060291475A1 (en) Selective forward error correction
EP1406452A2 (en) Video signal encoding and decoding method
US20070237098A1 (en) Classified Media Quality of Experience
US20080101466A1 (en) Network-Based Dynamic Encoding
US20050226325A1 (en) Moving picture data code conversion/transmission method and device, code conversion/reception method and device
US7870465B2 (en) Reducing channel-change time
US20110228845A1 (en) Systems and methods for transmitting and receiving data streams with feedback information over a lossy network
US7116714B2 (en) Video coding
US20060146830A1 (en) Use of frame caching to improve packet loss recovery
US20100080287A1 (en) Adaptive Video Processing of an Interactive Environment
US6357028B1 (en) Error correction and concealment during data transmission
US20100177776A1 (en) Recovering from dropped frames in real-time transmission of video over ip networks
US20070127437A1 (en) Medium signal transmission method, reception method, transmission/reception method, and device
JP2007088539A (en) Video stream supply system and apparatus, and video stream receiving apparatus
Wenger et al. Using RFC2429 and H. 263+ at low to medium bit-rates for low-latency applications
US20090097555A1 (en) Video encoding method and device
JP2005033556A (en) Data transmitter, data transmitting method, data receiver, data receiving method
US20100125768A1 (en) Error resilience in video communication by retransmission of packets of designated reference frames
JP2001016584A (en) Video transmission method and device
JPH10145794A (en) Image encoding method and device
JP2003023413A (en) System decoder and method for correcting packet data
JP2000341686A (en) Transcoder device
US8243117B2 (en) Processing aspects of a video scene
US5774483A (en) Method and apparatus for recovering an image in a video telephone system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111018

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111019

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120522

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120720

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120828

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120910

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151005

Year of fee payment: 3