JP4630357B2 - Video transmission / reception system and control method thereof - Google Patents
Video transmission / reception system and control method thereof Download PDFInfo
- Publication number
- JP4630357B2 JP4630357B2 JP2008169230A JP2008169230A JP4630357B2 JP 4630357 B2 JP4630357 B2 JP 4630357B2 JP 2008169230 A JP2008169230 A JP 2008169230A JP 2008169230 A JP2008169230 A JP 2008169230A JP 4630357 B2 JP4630357 B2 JP 4630357B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- transmission
- video transmission
- time code
- buffer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Circuits (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、映像送受信システム及び映像切替方法映像送受信システム及び映像切替方法及び映像送信装置及び映像受信装置及び制御装置に係り、特に、映像の中継・伝送において、複数の映像送信装置から一つを選んで、受信・再生を行う映像送受信システムに関し、受信映像を他の映像送信装置からの映像に切り替える際の映像信号の混信や一時的な欠落を防ぐ映像送受信システム及び映像切替方法映像送受信システム及び映像切替方法及び映像送信装置及び映像受信装置及び制御装置に関する。 The present invention relates to a video transmission / reception system and a video switching method, a video transmission / reception system, a video switching method, a video transmission device, a video reception device, and a control device, and in particular, one of a plurality of video transmission devices in video relay / transmission. Video transmission / reception system and video switching method for preventing video signal interference and temporary omission when switching received video to video from another video transmission device The present invention relates to a video switching method, a video transmission device, a video reception device, and a control device.
カメラやVTRなどの映像ソースと接続された映像送信装置が複数存在し、その中から一つを選んで再生する従来の映像再生システムでは、各々の映像送信装置からは常に映像信号が出力されており、映像切替装置により電気的なスイッチングを行うなどの手法がとられる。例えば、映像信号のアナログ・ディジタル変換を行い、メモリを利用して映像データのバッファリングを行い、映像切替の際の同期を維持する方法がある(例えば、特許文献1参照)。 In a conventional video playback system in which there are a plurality of video transmission devices connected to video sources such as cameras and VTRs, and one of them is played back, a video signal is always output from each video transmission device. Thus, a technique such as electrical switching by a video switching device is taken. For example, there is a method of performing analog / digital conversion of a video signal, buffering video data using a memory, and maintaining synchronization during video switching (see, for example, Patent Document 1).
また、映像切替装置を多段に接続し、多数の映像送信装置から1つの映像を選択して再生する手法がある(例えば、特許文献2参照)。 In addition, there is a technique in which video switching devices are connected in multiple stages and one video is selected from a number of video transmission devices and played back (see, for example, Patent Document 2).
また、映像送信装置と映像再生装置がネットワークで接続され、それぞれの映像が複数の符号化ストリームとして伝送されるシステムがある(例えば、特許文献3参照)。 In addition, there is a system in which a video transmission device and a video reproduction device are connected via a network, and each video is transmitted as a plurality of encoded streams (see, for example, Patent Document 3).
さらに、ネットワーク上に存在する複数のサーバ上の映像を、VOD(ビデオ・オン・デマンド)方式で順に伝送し、映像再生装置において映像の切れ目が発生しないように再生を行う手法がある(例えば、特許文献4参照)。
しかしながら、上記の特許文献1,2に示されるような従来のシステムでは、映像送信装置と映像切替装置がそれぞれ直接電気的に接続されている必要がある。映像送信装置が多数存在し、また離れた位置に分散して存在するような場合は、それぞれの映像送信装置と映像切替装置を電気的に直接接続させることは困難である。これに対し、特許文献2のような映像切替装置の多段接続を利用した場合、映像再生装置と映像切替装置の間に伝送遅延が存在すると、ユーザの希望する時刻で映像を切り替えることは困難である。
However, in the conventional systems as shown in
また、特許文献3に示されるように、映像の伝送経路をパケット交換式のネットワークにし、映像送信装置を利用することで、伝送距離が長距離であっても映像送信装置と映像再生装置の接続は容易になる。但し、この場合、符号化ストリームの合計のビットレートが伝送経路の帯域幅を超えると輻輳が発生し、正しく映像伝送ができなくなるため、接続可能な映像送信の数、もしくは映像品質に制限が生じる。 In addition, as shown in Patent Document 3, the video transmission path is a packet-switched network and the video transmission device is used, so that the video transmission device and the video reproduction device can be connected even when the transmission distance is long. Becomes easier. However, in this case, if the total bit rate of the encoded stream exceeds the bandwidth of the transmission path, congestion occurs and video transmission cannot be performed correctly, so the number of connectable video transmissions or video quality is limited. .
特許文献4では、映像送信装置となる複数のサーバのうち、選択した一つのサーバからの符号化ストリームのみが伝送されるが、映像切替の瞬間に2つの符号化ストリームが同時に伝送経路上に存在する可能性があるため、輻輳による映像品質の低下を避けるためには、2つの符号化ストリームの合計のビットレートが伝送経路の帯域幅よりも小さくなければならない。また、パケット交換式のネットワークにおいては、パケット到着の輻輳が起こらないように切替を制御するのは、それぞれの映像送信装置と輻輳発生地点の間の伝送遅延時間やパケット到達時間の揺らぎ(ジッタ)を考慮して、それぞれの映像送信装置の映像送信の開始/停止を制御しなければならない。 In Patent Document 4, only the encoded stream from one selected server among a plurality of servers serving as video transmission devices is transmitted, but at the moment of video switching, two encoded streams exist on the transmission path at the same time. Therefore, in order to avoid degradation of video quality due to congestion, the total bit rate of the two encoded streams must be smaller than the bandwidth of the transmission path. In packet-switched networks, switching is controlled so that packet arrival congestion does not occur. Transmission delay time between each video transmission device and the congestion occurrence point and packet arrival time fluctuation (jitter) Therefore, it is necessary to control the start / stop of video transmission of each video transmission device.
本発明は、上記の点に鑑みなされたもので、複数の映像送信装置が存在する状況において、映像送信装置の数、配置場所、映像受信再生装置からの伝送距離に関わらず、映像信号の混信や輻輳による画質劣化を起こすことなく、ユーザの要求する時刻で正確に、受信映像の切り替えを行うことが可能な映像送受信システム及び映像切替方法映像送受信システム及び映像切替方法及び映像送信装置及び映像受信装置及び制御装置を提供することを目的とする。 The present invention has been made in view of the above points, and in a situation where there are a plurality of video transmission devices, the interference of video signals regardless of the number of video transmission devices, the location of the video transmission devices, and the transmission distance from the video reception / playback device. Video transmission / reception system, video switching method, video transmission / reception system, video switching method, video transmission device, and video reception capable of switching received video accurately at the time requested by the user without causing image quality degradation due to congestion or congestion An object is to provide a device and a control device.
上記の課題を解決するために、本発明では、1つの映像受信装置に対して複数の映像送信装置のうち1つのみが映像送信を行い、映像切替元の映像送信を停止させ、映像切替先の映像送信を開始させて映像受信装置における映像切替を行う。また、各映像送信装置は生成したタイムコードを、映像送信の有無に関わらず映像受信装置に送信し、映像受信装置は計測した各映像送信装置からタイムコードの差分を用いて、映像送信装置に対し、映像送信開始の時刻を指定することを特徴とする。ここでのタイムコードとは、映像信号における時刻を表す値のことであり、映像信号1フレームを最小単位とするSMPTEタイムコードが代表的であるが、入力映像信号と同期した時刻情報であればどのようなものでもよい。 In order to solve the above problems, in the present invention, only one of a plurality of video transmission apparatuses performs video transmission to one video reception apparatus, stops video transmission of the video switching source, and switches the video switching destination. Video transmission is started and video switching is performed in the video receiver. Also, each video transmission device transmits the generated time code to the video reception device regardless of whether or not video transmission is performed, and the video reception device uses the time code difference from each measured video transmission device to the video transmission device. On the other hand, the video transmission start time is designated. The time code here is a value representing the time in the video signal, and is typically a SMPTE time code with one frame of the video signal as a minimum unit, but if it is time information synchronized with the input video signal. It can be anything.
本発明の請求項1によると、映像受信装置が複数の映像送信装置のうち1つの映像送信装置から他の映像送信装置へ受信映像の切替を行う映像送受信システムであって、
前記映像受信装置は、
前記映像送信装置から受信したタイムコードを映像ライン数の精度で計測するタイムコード計測手段と、
計測された前記タイムコードに基づき、現在の映像受信先の映像送信装置に対し、映像送信停止タイムコードETを生成して送信する映像送信停止タイムコード生成手段、または、計測された前記タイムコードに基づき、映像切替先の映像送信装置に対し、映像送信開始タイムコードSTを生成して送信する映像送信開始タイムコード生成手段と、を備え、
前記映像送信装置は、
タイムコードTを生成するタイムコード生成手段と、
所定時間分の映像信号を保持する送信バッファと、
前記ETを受信し、T=ETとなるとバッファリングを停止するよう前記バッファを制御するか、又は前記STを受信し、TとSTのフレーム番号が等しくなるとSTのライン番号SLの時間分だけバッファリングを開始するよう前記送信バッファを制御するバッファ制御部と、
前記SLの時間経過後、前記送信バッファの先頭にある映像信号から前記映像受信装置に送信を開始する映像送信手段と、を備える。
According to
The video receiver is
Time code measuring means for measuring the time code received from the video transmission device with the accuracy of the number of video lines;
Based on the measured time code, the video transmission stop time code generating means for generating and transmitting the video transmission stop time code ET to the current video receiving destination video transmitting device, or the measured time code A video transmission start time code generating means for generating and transmitting a video transmission start time code ST to the video transmission device of the video switching destination,
The video transmission device includes:
Time code generation means for generating a time code T;
A transmission buffer for holding a video signal for a predetermined time;
When the ET is received, the buffer is controlled to stop buffering when T = ET, or when the ST is received and the frame numbers of T and ST are equal, the buffer is provided for the time corresponding to the ST line number SL. A buffer control unit for controlling the transmission buffer to start a ring;
Video transmission means for starting transmission from the video signal at the head of the transmission buffer to the video reception device after the SL time has elapsed.
本発明の請求項2によると、前記映像受信装置は、
入力映像に対して所定の時間の映像を保持する受信バッファと、
前記受信バッファ内の映像信号の量の目標値、上限閾値、及び下限閾値を設定し、前記量が前記上限閾値を超え目標値を上回っている超過ライン数、又は前記量が前記下限閾値より低く目標値を下回っている不足ライン数を監視し、前記超過ライン数又は前記不足ライン数を前記映像送信開始タイムコード生成部へ送信するバッファ監視部、を更に備え、
前記映像送信開始タイムコード生成部は、前記超過ライン数又は前記不足ライン数、前記ET、及び前記計測タイムコードに基づき前記STを求める。
According to
A reception buffer that holds video for a predetermined time with respect to the input video;
A target value, an upper limit threshold value, and a lower limit threshold value of the amount of video signal in the reception buffer are set, and the number of excess lines exceeding the upper limit threshold and exceeding the target value, or the amount is lower than the lower limit threshold value. A buffer monitoring unit that monitors the number of insufficient lines below a target value and transmits the number of excess lines or the number of insufficient lines to the video transmission start time code generation unit;
The video transmission start time code generation unit obtains the ST based on the number of excess lines or the number of insufficient lines, the ET, and the measurement time code.
本発明の請求項3によると、前記映像送信装置は、
前記送信バッファ内の映像信号が所定のクロスフェード時間FTの半分になると、前記送信バッファ内の映像信号を、前記FTの経過と同時に完了するよう、送信ビットレートを段階的に低下もしくは通常のビットレートより低い一定量のビットレートを保って映像送信を行い、その後映像送信を停止する映像送信フェードアウト手段と、
前記SLの時間経過後、前記FTの半分の時間分の映像送信を、前記FTの経過と同時に完了するよう、送信ビットレートを段階的に増加もしくは通常のビットレートより低い一定量のビットレートを保って映像送信を開始し、前記FTの半分の時間分の映像信号をバッファリングする映像送信フェードイン手段と、を更に備える。
According to claim 3 of the present invention, the video transmission device comprises:
When the video signal in the transmission buffer becomes half of the predetermined crossfade time FT, the transmission bit rate is decreased stepwise or the normal bit so that the video signal in the transmission buffer is completed simultaneously with the FT. Video transmission fade-out means for performing video transmission with a constant bit rate lower than the rate, and then stopping video transmission;
After the SL time, the transmission bit rate is increased stepwise or a certain amount of bit rate lower than the normal bit rate so that video transmission for half the time of the FT is completed simultaneously with the FT. Video transmission fade-in means for starting video transmission while maintaining and buffering video signals for half the time of the FT.
本発明の請求項4によると、映像受信装置が複数の映像送信装置のうち1つの映像送信装置から他の映像送信装置へ受信映像の切替を行う映像送受信システムで、前記映像送信装置の送信バッファを制御する方法であって、
前記映像受信装置は、
前記映像送信装置から受信したタイムコードを映像ライン数の精度で計測するステップと、
計測された前記タイムコードに基づき、現在の映像受信先の映像送信装置に対し、映像送信停止タイムコードETを生成して送信するステップ、または、計測された前記タイムコードに基づき、映像切替先の映像送信装置に対し、映像送信開始タイムコードSTを生成して送信するステップと、を行い、
前記映像送信装置は、
タイムコードTを生成するステップと、
所定時間分の映像信号を保持するステップと、
前記ETを受信し、T=ETとなるとバッファリングを停止するよう前記バッファを制御するか、又は前記STを受信し、TとSTのフレーム番号が等しくなるとSTのライン番号SLの時間分だけバッファリングを開始するよう前記送信バッファを制御するステップと、
前記SLの時間経過後、前記送信バッファの先頭にある映像信号から前記映像受信装置に送信を開始するステップと、を行う。
According to a fourth aspect of the present invention, in a video transmission / reception system in which a video reception device switches received video from one video transmission device to another video transmission device among a plurality of video transmission devices, the transmission buffer of the video transmission device A method of controlling
The video receiver is
Measuring the time code received from the video transmission device with the accuracy of the number of video lines;
Based on the measured time code, a step of generating and transmitting a video transmission stop time code ET to the current video receiving destination video transmitting device, or based on the measured time code, a video switching destination Generating and transmitting a video transmission start time code ST to the video transmission device; and
The video transmission device includes:
Generating a time code T;
Holding a video signal for a predetermined time;
When the ET is received, the buffer is controlled to stop buffering when T = ET, or when the ST is received and the frame numbers of T and ST are equal, the buffer is provided for the time corresponding to the ST line number SL. Controlling the transmit buffer to initiate a ring;
After the SL time elapses, a step of starting transmission from the video signal at the head of the transmission buffer to the video receiving device is performed.
本発明の請求項5によると、前記映像受信装置は、
入力映像に対して所定の時間の映像を保持するステップと、
前記受信バッファ内の映像信号の量の目標値、上限閾値、及び下限閾値を設定し、前記量が前記上限閾値を超え目標値を上回っている超過ライン数、又は前記量が前記下限閾値より低く目標値を下回っている不足ライン数を監視し、前記超過ライン数又は前記不足ライン数を前記映像送信開始タイムコード生成部へ送信するステップ、
前記超過ライン数又は前記不足ライン数、前記ET、及び前記計測タイムコードに基づき前記STを求めるステップ、を行う。
According to claim 5 of the present invention, the video receiving device comprises:
Holding a video for a predetermined time with respect to the input video;
A target value, an upper limit threshold value, and a lower limit threshold value are set for the amount of video signal in the reception buffer, and the number of excess lines exceeds the upper limit threshold value and exceeds the target value, or the amount is lower than the lower limit threshold value. Monitoring the number of insufficient lines below a target value, and transmitting the excess line number or the insufficient line number to the video transmission start time code generation unit;
Obtaining the ST based on the number of excess lines or the number of insufficient lines, the ET, and the measurement time code.
本発明の請求項6によると、前記映像送信装置は、
前記送信バッファ内の映像信号が所定のクロスフェード時間FTの半分になると、前記送信バッファ内の映像信号を、前記FTの経過と同時に完了するよう、送信ビットレートを段階的に低下もしくは通常のビットレートより低い一定量のビットレートを保って映像送信を行い、その後映像送信を停止するステップと、
前記SLの時間経過後、前記FTの半分の時間分の映像送信を、前記FTの経過と同時に完了するよう、送信ビットレートを段階的に増加もしくは通常のビットレートより低い一定量のビットレートを保って映像送信を開始し、前記FTの半分の時間分の映像信号をバッファリングするステップと、を更に備える。
According to
When the video signal in the transmission buffer becomes half of the predetermined crossfade time FT, the transmission bit rate is decreased stepwise or the normal bit so that the video signal in the transmission buffer is completed simultaneously with the FT. Performing video transmission while maintaining a certain amount of bit rate lower than the rate, and then stopping video transmission;
After the SL time, the transmission bit rate is increased stepwise or a certain amount of bit rate lower than the normal bit rate so that video transmission for half the time of the FT is completed simultaneously with the FT. Maintaining the video transmission and buffering the video signal for half the time of the FT.
上記のように本発明によれば、複数の映像送信装置が存在する状況においても、映像送信装置の数、配置場所、映像受信再生装置からの伝送距離にかかわらず、映像信号の混信や輻輳による画像劣化を起こすことなく、ユーザの要求する時刻で正確に受信映像の切替を行うことが可能となる。 As described above, according to the present invention, even in a situation where there are a plurality of video transmission devices, regardless of the number of video transmission devices, the location of the video transmission devices, and the transmission distance from the video reception / playback device, The received video can be switched accurately at the time requested by the user without causing image degradation.
最初に本発明の動作原理を説明する。 First, the operation principle of the present invention will be described.
図1は本発明の原理構成図である。 FIG. 1 is a principle configuration diagram of the present invention.
図1のシステムは、映像受信装置と、複数の映像送信装置で構成され、複数の映像送信装置から1つを選択して映像を受信し、この間、他の映像送信装置は映像送信を停止する映像送受信システムであって、
映像送信装置は、
映像入力手段と、
映像信号を映像受信装置に送信する映像送信手段と、
タイムコードTを生成するタイムコード生成手段と、
タイムコードTを映像受信装置に送信するタイムコード送信手段と、
映像送信停止タイムコードETを受信し、T=ETとなったときに映像送信を停止する映像送信停止手段、または、映像送信開始タイムコードSTを受信し、T=STとなったときに映像送信を開始する映像送信開始手段と、
を備え、
映像受信装置は、
映像送信装置より伝送経路を介して映像信号を受信する映像受信手段と、
映像出力手段と、
映像送信装置で生成されたタイムコードを求めるタイムコード計測手段と、
現在の映像受信先の映像送信装置に対し、映像送信停止タイムコードETを生成して送信する映像送信停止タイムコード生成手段、または、映像切替先の映像送信装置に対し、映像送信開始タイムコードSTを生成して送信する映像送信開始タイムコード生成手段と、を備え、複数の映像送信装置からの受信映像の切替を行う。映像送信装置及び映像受信装置は、パーソナルコンピュータ、ワークステーション、専用コンピュータ、又は上述の機能を実行可能な如何なるコンピュータにより実施されてもよい。
The system of FIG. 1 includes a video receiving device and a plurality of video transmitting devices, and selects one of the plurality of video transmitting devices to receive a video. During this time, other video transmitting devices stop video transmission. A video transmission / reception system,
The video transmission device
Video input means;
Video transmission means for transmitting a video signal to a video receiver;
Time code generation means for generating a time code T;
Time code transmitting means for transmitting the time code T to the video receiver;
Video transmission stop means for receiving video transmission stop time code ET and stopping video transmission when T = ET or video transmission start time code ST is received, and video transmission is performed when T = ST Video transmission start means for starting
With
The video receiver
Video receiving means for receiving a video signal from a video transmission device via a transmission path;
Video output means;
Time code measuring means for obtaining a time code generated by the video transmission device;
Video transmission stop time code generating means for generating and transmitting a video transmission stop time code ET to the current video receiving destination video transmitting apparatus, or a video transmission starting time code ST for the video switching destination video transmitting apparatus Video transmission start time code generating means for generating and transmitting the video, and switching received video from a plurality of video transmission devices. The video transmission device and the video reception device may be implemented by a personal computer, a workstation, a dedicated computer, or any computer capable of executing the above-described functions.
図2は本発明の原理を説明するための図である。 FIG. 2 is a diagram for explaining the principle of the present invention.
図2の方法は、映像受信装置が複数の映像送信装置のうち1つの映像を受信している状態から、該映像送信装置へ映像送信停止の要求を送信し、他の映像送信装置へ映像送信開始の要求を送信して受信映像の切替を行う映像切替方法であって、
各映像送信装置において、
タイムコードを生成するステップ(ステップS1)と、
映像送信の有無にかかわらず映像伝送経路を介して映像受信装置にタイムコードを送信するステップ(ステップS2)と、を行い、
映像受信装置において、
映像送信停止タイムコードETAを生成するステップ(ステップS3)と、
映像の切替元となる映像送信装置Aに対し、ETAを送信するステップ(ステップS4)と、
映像受信装置で計測された映像送信装置BからのタイムコードOTBと映像送信装置AからのタイムコードOTAの差分DTBにETAを加算して映像送信開始タイムコードSTBを生成するステップ(ステップS5)と、
映像の切替先となる映像送信装置Bに対し、STBを送信するステップ(ステップS6)と、
映像送信装置Aにおいて、ETAを受信するステップ(ステップS7)と、
自身が生成するタイムコードTAがETAになると同時に映像送信を停止するステップ(ステップS8)と、を行い、
映像送信装置Bにおいて、
STBを受信するステップ(ステップS9)と、
自身が生成するタイムコードTBがSTBになると同時に映像送信を開始するステップ(ステップS10)と、
を行い、映像送信装置Aの映像から、映像送信装置Bの映像へと受信映像の切替を行う。
The method of FIG. 2 transmits a video transmission stop request to the video transmission device from the state in which the video reception device is receiving one of the video transmission devices, and transmits the video to another video transmission device. A video switching method for transmitting a start request and switching a received video,
In each video transmission device,
Generating a time code (step S1);
Performing a step (step S2) of transmitting a time code to the video receiver via the video transmission path regardless of whether or not the video is transmitted;
In the video receiver,
And step (step S3) for generating a video transmission stop time code ET A,
A step (step S4) of transmitting ETA to the video transmission device A which is a video switching source;
Generating a time code OT B and timecode OT A difference DT B to ET A addition to video transmission start time code ST B from the video transmission apparatus A from the video transmitting apparatus B that is measured by the video receiver (Step S5),
A step (step S6) of transmitting ST B to the video transmission device B as a video switching destination;
In the video transmitting apparatus A, the step (step S7) receiving the ET A,
Performs the step of the time code T A which itself produced to stop at the same time video transmission becomes to ET A (step S8), and the,
In video transmission device B,
Receiving ST B (step S9);
A step (step S10) that the time code T B which itself produces starts simultaneously video transmission becomes in ST B,
The received video is switched from the video of the video transmission device A to the video of the video transmission device B.
図3は、本発明の映像送信開始タイムコード生成処理の動作原理を説明する図である。 FIG. 3 is a diagram for explaining the operation principle of the video transmission start time code generation processing of the present invention.
2つの映像送信装置A,Bと2つの映像受信装置の伝送経路は途中の伝送経路結合装置10で1つに纏められる。伝送経路結合装置10は、パケット伝送ネットワークにおけるパケット交換装置や、2つの経路の信号を電気的に加算する装置等を示し、それぞれの映像送信装置A,Bから同時に映像送信が行われた場合は、ここで輻輳または映像信号の混信が発生する箇所となる。映像送信装置A、Bで生成されたタイムコードをそれぞれTA,TB、映像受信装置20で計測された映像送信装置A,BからのタイムコードをそれぞれOTA,OTBとし、映像送信装置A,Bから伝送経路結合装置10までの伝送遅延時間をDA,DB、伝送経路結合装置10から映像受信装置20までの伝送遅延時間をDCとすると、
TA=OTA+DC+DA (1)
TB=OTB+DC+DB (2)
という関係が成り立つ。映像送信装置Aにおいて、TA=ETAとなったときに映像送信を停止し、映像送信装置Bにおいて、TB=STBとなったときに映像送信を開始するように制御を行うとき、伝送経路結合装置10において輻輳または混信が発生しないための条件は、
ETA+DA−TA'=STB+DB−TB' (3)
となる。ここで、TA'及びTB'は、ある時刻におけるTAとTBの値を示す。この時刻において映像受信装置20で計測されたタイムコードをOTA'及びOTB'とすると、式(1)、式(2)、及び式(3)により、
STB=ETA+OTB'−OTA' (4)
が成り立つ。
The transmission paths of the two video transmission apparatuses A and B and the two video reception apparatuses are combined into one by the transmission
T A = OT A + D C + D A (1)
T B = OT B + D C + D B (2)
This relationship holds. When the video transmission apparatus A performs control so that video transmission is stopped when T A = ET A and video transmission apparatus B is controlled to start video transmission when T B = ST B , The conditions for preventing congestion or interference in the transmission path coupler 10 are as follows:
ET A + D A -T A ' = ST B + D B -T B' (3)
It becomes. Here, T A ′ and T B ′ indicate the values of T A and T B at a certain time. Assuming that the time code measured by the
ST B = ET A + OT B '-OT A' (4)
Holds.
伝送経路結合装置10において、
ETA'=ETA+DA−TA'、STB'=STB+DB−TB'
とすると、映像送信装置Aにおける後述する映像送信フェードアウト部により、映像信号Aのビットレートは、図4の時刻ETA'から時刻ETA'+FTまでのように推移し、映像送信装置Bにおける後述する映像送信フェードイン部により、映像信号Bのビットレートは、図4の時刻STBから時刻STB+FTまでのように推移する。なお、このクロスフェード処理は、映像送信フェードアウト時に映像受信装置20のバッファを消費することで可能となるものであり、このときの映像送信装置A,Bと映像受信装置20におけるバッファ量の推移は、図5に示す通りとなる。
In the transmission
ET A '= ET A + D A -T A', ST B '= ST B + D B -T B'
When, by the video transmission fadeout portion which will be described later in the video transmitting apparatus A, the bit rate of the video signal A is remained as 'from time ET A' time ET A in FIG. 4 to + FT, described later in the video transmitting apparatus B the video transmitting fade-section of the bit rate of the video signal B changes as from time ST B in FIG. 4 to time ST B + FT. This cross-fading process can be performed by consuming the buffer of the
これにより、図3に示した伝送遅延DA,DBがネットワークのジッタなどにより変動することで、映像切替の瞬間における映像信号Aと映像信号Bの合計ビットレートが変動する場合において、変動の割合を抑え、図6のような瞬間的な輻輳の発生を防ぐことができる。 As a result, the transmission delays D A and D B shown in FIG. 3 fluctuate due to network jitter and the like, so that when the total bit rate of the video signal A and the video signal B at the instant of video switching varies, The ratio can be suppressed and the occurrence of instantaneous congestion as shown in FIG. 6 can be prevented.
図1乃至図6を参照して説明した本発明の原理によると、切替制御の時間的粒度がタイムコードの粒度及び映像送受信装置における処理単位の粒度に依存する。例えばタイムコードの粒度が映像1フレーム単位であり、映像送受信装置においてタイムコードの送信/計測、映像送信の開始/停止の処理が映像1フレーム単位で行われる場合、映像1フレーム時間未満の精度で切替制御を行うことができない。これはすなわち、ストリームが切り替わる時刻が最大で映像1フレーム時間だけ前後することになり、切替時のオーバーラップが避けられないことを意味する。このオーバーラップによるネットワークの輻輳を防ぐために、上述の原理ではクロスフェード処理を行っている。 According to the principle of the present invention described with reference to FIGS. 1 to 6, the temporal granularity of the switching control depends on the granularity of the time code and the granularity of the processing unit in the video transmission / reception apparatus. For example, when the time code granularity is in units of one frame of video and the transmission / measurement of the time code and the start / stop processing of video transmission are performed in units of one frame of video in the video transmission / reception apparatus, the accuracy is less than the time of one video frame Switching control cannot be performed. This means that the time at which the stream is switched is at most around one frame time of video, and it is unavoidable that overlap occurs at the time of switching. In order to prevent network congestion due to this overlap, crossfading processing is performed according to the above-described principle.
本発明は、更に、ストリームのオーバーラップそのものを防ぐために、映像1フレーム以下、すなわち映像ライン単位での切替制御を行う。但し、映像送信装置から送られるタイムコードの粒度をライン単位にしたり、映像送受信装置の処理の粒度をライン単位にしたりすると、ネットワーク負荷及び処理負荷が増加し、システムのコストを増大させてしまう。従って、本発明は、システムのコストの増大を防ぎ、且つライン単位で切替制御を行う。更に、長時間のストリーム伝送において、映像切替のタイミングでバッファ量を調整することで、送信装置と受信装置のクロックのずれから発生するバッファオーバーフローとバッファアンダーフローを抑えることを可能とする。 The present invention further performs switching control for one frame or less of video, that is, for each video line, in order to prevent stream overlap itself. However, if the granularity of the time code sent from the video transmission apparatus is set on a line basis or the granularity of processing on the video transmission / reception apparatus is set on a line basis, the network load and the processing load increase, and the cost of the system increases. Therefore, the present invention prevents an increase in the cost of the system and performs switching control in line units. Further, in a long-time stream transmission, by adjusting the buffer amount at the video switching timing, it is possible to suppress the buffer overflow and the buffer underflow caused by the clock difference between the transmission device and the reception device.
ライン単位の切替制御を実現するため、本発明では、映像の時間軸方向の位置を示すタイムコードは映像1画面を単位とするフレーム番号と、更に細かい単位として走査線1本を単位とするライン番号を含む。タイムコードをT、フレーム番号をF、ライン番号をLとすると、T=F.Lと表される。映像1フレームを構成する映像ライン数をLMAXとすると、0≦L≦LMAX−1であり、L=LMAX−1のときLを1増加すると、Fが1増加しLが0になる。Ta=Fa.La、Tb=Fb.Lbのとき、加算及び減算は次のように行われる:
Ta+Tb
=(Fa+Fb).(La+Lb)
・・・La+Lb<LMAXのとき
=(Fa+Fb+1).(La+Lb−LMAX)
・・・La+Lb≧LMAXのとき (5)
Ta−Tb
=(Fa−Fb).(La−Lb)
・・・La≧Lbのとき
=(Fa−Fb−1).(La−Lb+LMAX)
・・・La<Lbのとき (6)
以下、図面を参照して本発明の実施の形態を詳細に説明する。
In order to realize line-by-line switching control, in the present invention, the time code indicating the position of the video in the time axis direction is a frame number in units of one video screen, and a line in units of one scanning line as a finer unit. Contains a number. If the time code is T, the frame number is F, and the line number is L, T = F. L. If the number of video lines constituting one video frame is L MAX , 0 ≦ L ≦ L MAX −1. When L = L MAX −1, when L is increased by 1, F is increased by 1 and L becomes 0. . Ta = Fa. La, Tb = Fb. For Lb, addition and subtraction are performed as follows:
Ta + Tb
= (Fa + Fb). (La + Lb)
... When La + Lb <L MAX = (Fa + Fb + 1). (La + Lb-L MAX )
... When La + Lb ≧ L MAX (5)
Ta-Tb
= (Fa-Fb). (La-Lb)
... When La ≧ Lb = (Fa−Fb−1). (La-Lb + L MAX )
... When La <Lb (6)
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[第1の実施の形態]
図7は、本発明の第1の実施の形態における送受信システムの構成を示す。
[First Embodiment]
FIG. 7 shows the configuration of the transmission / reception system according to the first embodiment of the present invention.
同図に示す送受信システムは、映像送信装置600A,600B、映像受信装置700から構成される。
The transmission / reception system shown in the figure includes
映像送信装置600は、映像入力部610、映像送信部620、タイムコード生成部630、タイムコード送信部640、バッファ650、映像フェードアウト部660、映像送信フェードイン部670、バッファ制御部680から構成される。 The video transmission apparatus 600 includes a video input unit 610, a video transmission unit 620, a time code generation unit 630, a time code transmission unit 640, a buffer 650, a video fade-out unit 660, a video transmission fade-in unit 670, and a buffer control unit 680. The
映像受信装置700は、映像受信部710、映像出力部720、タイムコード計測部730、映像送信停止タイムコード生成部740、映像送信開始タイムコード750、バッファ760から構成される。
The
複数の映像送信装置600A、600Bと映像受信装置700との伝送経路は、図3と同様に、途中の経路結合装置10で一つに纏められる。伝送経路は、回線占有型もしくはパケット伝送型の経路となり、伝送経路が回線占有型の経路の場合は、経路結合装置10は回線交換部もしくは信号加算部となる。伝送経路がパケット伝送型の経路の場合は、経路結合部はパケット交換部となる。
The transmission paths between the plurality of
図8は、本発明の第1の実施の形態における動作のシーケンスチャートである。 FIG. 8 is a sequence chart of the operation in the first embodiment of the present invention.
ステップS101で、映像の切替元となる映像送信装置100A及び映像の切替先となる映像送信装置100Bにおいて、映像入力部610A,610Bに映像信号が入力される。同時に、タイムコード生成部630A,630Bにおいて、入力された映像信号と対応付けられたタイムコードTA及びTBがそれぞれ生成される。タイムコードの生成は次の通り行われる。映像の切替元となる映像送信装置600A及び映像の切替先となる映像送信装置600Bにおいて、映像入力部610A,610Bに映像信号が入力される。同時に、タイムコード生成部630A,630Bにおいて、入力された映像信号と対応付けられたタイムコードTA及びTBがそれぞれ生成される。タイムコードの生成については、入力映像信号のクロックを基準として生成するか、入力映像信号にタイムコードが付与されている場合は、そのタイムコードをそのまま生成タイムコードとして利用してもよい。なお、一般に用いられるSMPTEタイムコード等では、時刻情報の最小単位が映像Iフレームとなるが、映像の水平同期信号を利用し、より細かい単位でのタイムコードを生成してもよい。つまり、タイムコードは映像1画面を単位とするフレーム番号と、更に細かい単位として走査線1本を単位とするライン番号を含んでよい。
In step S101, the video signal is input to the
ステップS102で、次に、映像送信装置600Aでは、入力映像信号を映像信号送信部620Aより伝送経路を介して送信する。このとき、映像送信装置600Aでは所定の時間BTの映像をバッファ650Aにバッファリングしながら映像信号送信部620Aから送出する。なお、これ以前に他の映像送信装置から映像送信装置600Aへの映像の切り替えが行われていない場合には、バッファリングは省略してもよい。
Next, in step S102,
ステップS103で、映像受信装置700において、映像送信装置600Aから送信された映像を映像受信部710で受信し、少なくとも所定の時間BTの映像をバッファ760にバッファリングしながら映像出力部720から映像出力を行う。
In step S103, the
ステップS104で、映像受信装置700のタイムコード計測部730において、両方の映像送信装置600A,600Bからのタイムコードの受信と計測を行い、映像送信装置600Aからの計測されたタイムコードOTAと映像送信装置600Bからの計測されたタイムコードOTBを得る。
In step S104, the time
ステップS105で、映像送信停止タイムコード生成部740は、ETAを生成し、映像送信装置600Aに送信する。ETAはユーザにより予め指定された値であってもよいし、ユーザから映像切替の要求を受けた時点でのOTAを基に生成してもよい。但し、この場合は、ETAと映像送信開始タイムコードSTBが映像送信装置600A及び映像送信装置600Bに到達したときに、既にその時刻が過ぎていないようにETAを生成しなくてはならない。このため、予め伝送遅延時間に比べ充分長い時間を設定し、その値をOTAに加算しETAを生成するか、映像受信装置700から両方の映像送信装置600A,600Bへの伝送遅延時間を計測し、長い方の伝送遅延時間をOTAに加算し、ETAを生成するのが望ましい。伝送遅延時間の計測は、ICMP(Internet Control Message Protocol)のEcho Message及びEcho Reply Message等を用いて計測する。また、クロスフェード時間FTの値を生成し、映像送信装置600Aに送信するようにしてもよい。
In step S105, the video transmission stop
また、映像送信開始タイムコード生成部750は映像ライン数の精度で計測されたタイムコードOTAとOTBを用いて次のようにSTBを生成する:
STB=ETA+(OTB−(OTA−OLA)) (7)
ここでOLAはOTAのライン番号部分の値である。そして映像送信開始タイムコード生成部750は生成したSTBを映像送信装置600Bに送信する。このとき、同様にクロスフェード時間FTの値を生成し、映像送信装置600Bに送信するようにしてもよい。クロスフェード時間FTの生成にあたっては、予め異なる時刻でDTBの測定を複数回行い、その統計値の標準偏差の大きさに応じてFTの値を増加させてもよい。
The video transmission start time
ST B = ET A + (OT B - (OT A -OL A)) (7)
Here, OL A is the value of the line number portion of OT A. The video transmission start time
ステップS106で、映像送信装置600Aのバッファ制御部680Aは、映像受信装置の映像送信停止タイムコード生成部740からETAを受信し、TA=ETAとなると同時に、バッファリングを停止するようバッファ650Aを制御し、送信停止処理を行う。フェードアウト処理を行わない場合は、送信バッファ650A内の映像信号を通常のビットレートで送信し、送信バッファ650Aが空になった時点で映像送信が停止する。映像送信装置600Aの映像送信フェードアウト部660Aにおいて、nフレーム時間でフェードアウト処理を行う場合は、バッファの残りデータ量がn/2になったときにフェードアウト処理を開始する。なお、ETAのライン数、即ちELAは必ず0となる。映像送信のフェードアウトは、その時点でバッファ650Aに存在する映像の送信を、クロスフェード時間nフレームの経過と同時に完了するよう、送信ビットレートを段階的に低下させるか、もしくは、通常のビットレートより低い一定量のビットレートを保って映像送信することで行い、その後映像送信を停止する。
In step S106, the
ステップS107で、上記のステップS106と並行して、映像送信装置600Bのバッファ制御部は、映像受信装置700の映像送信開始タイムコード生成部750からSTBを受信し、STBがタイムコードTBのフレーム番号SFBと等しくなると同時にSTBのライン番号SLBの時間だけバッファリングを開始するようバッファ650Bを制御する。SLBの時間経過後、バッファの先頭データより送信開始処理を行う。映像送信装置600Bの映像送信フェードイン部670Bにおいて、nフレーム時間でフェードイン処理を行う場合は、この時点で開始する。映像送信のフェードインは、n/2フレーム時間分の映像の送信をnフレーム時間の経過と同時に完了するよう、送信ビットレートを段階的に増加させるか、もしくは、通常のビットレートより低い一定量のビットレートを保って映像送信を開始することで行う。また、このとき、n/2フレーム時間分の映像のバッファリングが完了すると同時にフェードイン処理が完了する。
In step S107, in parallel with the step S106 described above, the buffer control unit of the
これによって、映像送信装置の負荷を増加させることなく、映像ライン精度での最適な切替タイミングで映像切替が可能になる。 This enables video switching at an optimal switching timing with video line accuracy without increasing the load on the video transmission device.
ステップS108で、映像受信装置700においては、映像送信装置600Aからの映像の再生が終わるまで、映像送信装置600Bからの映像のバッファリングを行う。
In step S108, the
ステップS109で、映像受信装置700は、バッファリングされた映像送信装置600Aからの映像がなくなり、再生が終了したと同時に、映像送信装置600Bからの映像の再生を開始する。
In step S109, the
[第2の実施の形態]
図9は、本発明の第2の実施の形態における送受信システムの構成を示す。図9は、図7の映像受信装置700にバッファ監視部770を追加した構成である。
[Second Embodiment]
FIG. 9 shows a configuration of a transmission / reception system according to the second embodiment of the present invention. FIG. 9 shows a configuration in which a buffer monitoring unit 770 is added to the
図10は、本発明の第3の実施の形態における動作のシーケンスチャートである。図10のステップS201〜ステップS204は、図8のステップS101〜ステップS104と同様であるのでその説明を省略する。 FIG. 10 is a sequence chart of the operation in the third embodiment of the present invention. Steps S201 to S204 in FIG. 10 are the same as steps S101 to S104 in FIG.
ステップS205は、上述のステップS105と次の点が異なる。バッファ監視部770は、バッファ760のバッファ量に目標値、上限閾値、及び下限閾値を設定し、映像受信装置700においてストリームを受信していて且つ映像切替期間でない定常状態において、映像受信装置700のバッファ量が上限閾値を超え、目標値を上回っている超過ライン数Lovを監視する。映像送信停止タイムコード生成部740はバッファ監視部770から超過ライン数Lovを得て、STBを次のように求める:
STB=ETA+(OTB−(OTA−OLA))+Lov (8)
また、逆にバッファ量が下限閾値より低く、目標値よりLudラインだけ少ないとき、目標値を下回っている不足ライン数Ludを監視する。映像送信停止タイムコード生成部740はバッファ監視部770から超過ライン数Ludを得て、STBを次のように求める:
STB=ETA+(OTB−(OTA−OLA))―Lud (9)
映像送信装置600側の映像ソースのクロックと、映像受信装置700のシステム内部クロックの偏差により、長時間のストリーミングにおいてクライアントにおけるバッファ量が徐々に変化し、バッファオーバーフローやバッファアンダーフローが引き起こされる可能性がある。これに対し、上述の方法により、映像切替の際に映像受信装置700のバッファ量を規定範囲内に調整することが可能となり、バッファオーバーフローとバッファアンダーフローの発生を回避することが可能となる。
Step S205 differs from step S105 described above in the following points. The buffer monitoring unit 770 sets a target value, an upper limit threshold value, and a lower limit threshold value for the buffer amount of the
ST B = ET A + (OT B - (OT A -OL A)) + L ov (8)
Conversely, when the buffer amount is lower than the lower limit threshold and is less than the target value by L ud lines, the number of short lines L ud below the target value is monitored. The video transmission stop time
ST B = ET A + (OT B − (OT A −OL A )) − L ud (9)
Due to the deviation between the video source clock on the video transmission device 600 side and the system internal clock of the
ステップS206〜ステップS209は、図8のステップS106〜ステップS109と同様である。 Steps S206 to S209 are the same as steps S106 to S109 in FIG.
[第3の実施の形態]
図11は、本発明の第3の実施の形態における映像送受信システムの構成を示す。
[Third Embodiment]
FIG. 11 shows the configuration of a video transmission / reception system according to the third embodiment of the present invention.
同図に示す映像送受信システムは、映像送信装置600A、600B、映像受信装置400、制御装置500から構成される。制御装置は、パーソナルコンピュータ、ワークステーション、専用コンピュータ、又は上述の機能を実行可能な如何なるコンピュータにより実施されてもよい。
The video transmission / reception system shown in the figure includes
本実施の形態では、第1の実施の形態における映像受信装置700のうち、映像送信停止タイムコード生成部740と映像送信開始タイムコード生成部750を制御装置500に移し、新たに、計測タイムコードを制御装置500に送信する計測タイムコード送信部を備える構成をとる。
In the present embodiment, the video transmission stop time
映像受信装置400は、映像受信部410、映像出力部420、タイムコード計測部430、計測タイムコード送信部440、バッファ460から構成される。
The
制御装置500は、映像送信停止タイムコード510、映像送信開始タイムコード生成部520から構成される。これらの構成は、第1の実施の形態の映像受信装置700の映像送信停止タイムコード生成部740と映像送信開始タイムコード生成部750と同様の機能を有する。
The
図12は、本発明の第3の実施の形態における動作のシーケンスチャートである。図10のステップS301〜ステップS304は、図8のステップS101〜ステップS104と同様であり、映像受信装置700を映像受信装置400に置き換えればよいのでその説明を省略する。
FIG. 12 is an operation sequence chart according to the third embodiment of the present invention. Steps S301 to S304 in FIG. 10 are the same as steps S101 to S104 in FIG. 8, and the description is omitted because the
ステップS305で、算出された計測タイムコードOTA,OTBを計測タイムコード送信部440より制御装置500に送信する。
In step S305, the calculated measurement time codes OT A and OT B are transmitted from the measurement time
ステップS306で、制御装置500の映像送信停止タイムコード生成部510において、OTAを受信し、映像送信開始タイムコード生成部520においてOTBを受信する。
In step S306, video transmission stop time
ステップS307で、映像送信停止タイムコード生成部510は、図8のステップS105と同様の方法により、映像送信停止タイムコードETAを生成し、映像送信装置600Aに送信する。また、映像送信開始タイムコード生成部520も、図8のステップS105と同様の方法により、生成したSTBを映像送信装置600Bに送信する。
In step S307, the video transmission stop time
ステップS308〜ステップS311は、図8のステップS106〜ステップS109と同様であるのでその説明を省略する。 Steps S308 to S311 are the same as steps S106 to S109 in FIG.
[第4の実施の形態]
図13は、本発明の第4の実施の形態における映像送受信システムの構成を示す。図13は、図11の映像受信装置400にバッファ監視部470、ライン数送信手段480を追加した構成である。
[Fourth Embodiment]
FIG. 13 shows the configuration of a video transmission / reception system according to the fourth embodiment of the present invention. FIG. 13 shows a configuration in which a buffer monitoring unit 470 and a line
図14は、本発明の第4の実施の形態における動作のシーケンスチャートである。図14のステップS401〜ステップS404は、図10のステップS201〜ステップS204と同様であるのでその説明を省略する。 FIG. 14 is a sequence chart of operations in the fourth embodiment of the present invention. Steps S401 to S404 in FIG. 14 are the same as steps S201 to S204 in FIG.
ステップS405で、バッファ監視部470は、バッファ460のバッファ量に目標値、上限閾値、及び下限閾値を設定し、映像受信装置400においてストリームを受信していて且つ映像切替期間でない定常状態において、映像受信装置400のバッファ量が上限閾値を超え、目標値を上回っている超過ライン数Lovを監視する。また、バッファ監視部470は、逆にバッファ量が下限閾値より低く目標値よりLudラインだけ少ないとき、目標値を下回っている不足ライン数Ludを監視する。
In step S405, the buffer monitoring unit 470 sets a target value, an upper limit threshold value, and a lower limit threshold value for the buffer amount of the
ステップS406で、算出された計測タイムコードOTA,OTBを計測タイムコード送信部440より制御装置500に送信する。また、ライン数送信手段480より映像送信停止タイムコード生成部510へLovとLudを送信する。
In step S406, the calculated measurement time codes OT A and OT B are transmitted from the measurement time
ステップS407で、制御装置500の映像送信停止タイムコード生成部510において、OTA、及びLov又はLudを受信し、映像送信開始タイムコード生成部520においてOTBを受信する。映像送信停止タイムコード生成部510はライン数送信手段480から超過ライン数Lovを得た場合、STBを次のように求める:
STB=ETA+(OTB−(OTA−OLA))+Lov (8)
映像送信停止タイムコード生成部340はライン数送信手段480から超過ライン数Ludを得た場合、STBを次のように求める:
STB=ETA+(OTB−(OTA−OLA))―Lud (9)
ステップS408〜ステップS411は、図10のステップS206〜ステップS209と同様である。
In step S407, the video transmission stop time
ST B = ET A + (OT B - (OT A -OL A)) + L ov (8)
When the video transmission stop time
ST B = ET A + (OT B − (OT A −OL A )) − L ud (9)
Steps S408 to S411 are the same as steps S206 to S209 in FIG.
図15乃至図18を参照し、画像1フレームを構成するライン数LMAX=1125であり、ライン番号Lが0≦L≦1124を満たし、映像受信装置における計測タイムコード算出期間dRTが1フレームである場合を説明する。 Referring to FIGS. 15 to 18, the number of lines constituting one frame L MAX = 1125, the line number L satisfies 0 ≦ L ≦ 1124, and the measurement time code calculation period dRT in the video receiving apparatus is one frame. A case will be described.
図15は、映像送信装置Aから映像送信装置Bへ切り替える場合の伝送遅延と各タイムコードの関係を説明する図である。制御装置において、ユーザの要求により映像送信停止タイミングETAを決定し、映像送信装置Aに送信する。ユーザによる切替操作を契機に映像切替を行う場合は、ユーザが切替操作を行ったときのOTAに、切替対象のうち往復伝送遅延の大きい方の値をマージン時間として加算した値をETAとして映像送信装置Aに送信する。なお、ETAはフレーム単位の値でなければならないため、OTAはフレーム単位に切り上げて計算を行う。往復伝送遅延は、各映像送信装置から映像受信装置までの遅延時間と、制御装置から各映像送信装置までの遅延時間の合計である。図15では、映像送信装置Aとの往復伝送遅延dAが5フレーム以下であるため、ユーザの切替操作時点のOTAにdAの値を加え、フレーム単位に切り上げることでETA=109.0を得る。
FIG. 15 is a diagram for explaining the relationship between the transmission delay and each time code when switching from the video transmission device A to the video transmission device B. In the control device, to determine the video transmission stop timing ET A by the user of the request to the video transmission apparatus A. When performing video switching in response to switching operation by the user, the OT A when the user performs the switching operation, the value obtained by adding the larger of round trip transmission delay as a margin time of switching target as ET A Transmit to the video transmission device A. Since ET A must be in the range of frames, OT A performs calculation by rounding up to the frame. The round trip transmission delay is the sum of the delay time from each video transmission device to the video reception device and the delay time from the control device to each video transmission device. In Figure 15, for round trip transmission delay d A of the video transmission apparatus A is less than 5 frames, ET A = 109 by the value of d A was added to the OT A switching operation time of the user, rounded up to the frame.
次に、映像停止タイミングSTBを上述の式(7)を用いて求める。つまり、
STB=ETA+(OTB−(OTA−OLA))
=109.0+(86.175−(103.1025−0.1025))
=92.175
求められたETAを映像送信装置Aに、STBを映像送信装置Bに、それぞれ制御装置から送信する。
Next, the video stop timing ST B is obtained using the above equation (7). That means
ST B = ET A + (OT B - (OT A -OL A))
= 109.0 + (86.175- (103.1025-0.1025))
= 92.175
The the obtained ET A to the video transmission device A, the ST B in the video transmission apparatus B, and transmitted from the respective control device.
図16は、クロスフェード期間が2フレームの場合の映像送信装置Aにおける送信停止処理を説明する図である。サーバAの内部タイムコードTAがETAと等しくなったとき、この時点でのバッファ量は1フレームと1025ラインであるので、バッファ量がクロスフェード期間の1/2である1フレームになるまで、すなわち1025ラインの間は通常のビットレートで送信する。このとき実際に送られるストリームは、タイムコードが107.100から108.0までの映像データとなる。続いて2フレーム時間で1フレームの映像データを送信するフェードアウト処理を行う。これにより、タイムコード108.0の映像フレームを最後に、ストリームAの送信を停止する。 FIG. 16 is a diagram illustrating transmission stop processing in the video transmission apparatus A when the cross-fade period is 2 frames. When the internal time code T A server A is equal to the ET A, since the buffer amount at this time is one frame and the 1025 line, until the buffer amount becomes 1 frame is half of the cross-fade period That is, transmission is performed at a normal bit rate for 1025 lines. At this time, the actually transmitted stream is video data with a time code of 107.100 to 108.0. Subsequently, fade-out processing for transmitting one frame of video data in two frame times is performed. As a result, the transmission of the stream A is stopped after the video frame having the time code 108.0.
図17は、映像送信装置Bにおける送信開始処理を説明する図である。映像送信装置Bの内部タイムコードTBのフレーム番号がSTBのフレーム番号、すなわち92と等しくなったとき、タイムコード92.0の映像フレームのバッファリングを開始する。次にTBのライン番号がSTBのライン番号、すなわち175と等しくなったとき、2フレーム時間で1フレームの映像データを送信するフェードイン処理を行う。これにより、フェードイン処理の完了後、映像送信装置Bのバッファ量は1フレームと175ラインとなる。 FIG. 17 is a diagram for explaining a transmission start process in the video transmission apparatus B. When the internal time code T frame number B of the video transmission apparatus B which becomes equal to the frame number, i.e. 92 ST B, starts buffering of the video frame of the time code 92.0. Then T line number is the line number of the ST B of B, ie when becomes equal to 175, it performs the fade-in process of transmitting the image data of one frame in two frame times. Thereby, after completion of the fade-in process, the buffer amount of the video transmission apparatus B becomes 1 frame and 175 lines.
図18は、同じ時間軸上で各映像送信装置のビットレートの変化を説明する図である。ストリームBがストリームAより1フレーム遅れて送信を開始されているが、図15よりdA1=2、dB1=1であり、ストリームBがストリームAより1フレーム早く映像受信装置に到着するため、映像受信装置においては2つのストリームが完全に同じタイミングで切り替わることが分かる。 FIG. 18 is a diagram illustrating changes in the bit rate of each video transmission device on the same time axis. Although transmission of the stream B is started one frame later than the stream A, since d A1 = 2 and d B1 = 1 from FIG. 15, the stream B arrives at the video receiving apparatus one frame earlier than the stream A. It can be seen that in the video receiver, the two streams are switched at exactly the same timing.
なお、プレイバックリストによる切替など、ETAがユーザにより予め指定されている場合には、OTAがETA−マージン時間に達する前に、ETA及びSTBを各映像送信装置に送信する。 Incidentally, such switching by playback list, when the ET A is designated in advance by the user, OT A is ET A - before reaching the margin time, transmits the ET A and ST B in the video transmission apparatus.
クロスフェード期間を2フレームとしたとき、映像受信装置のバッファ量は少なくとも1フレーム必要となる。目標とするバッファ量を1.100とし、下限閾値を1.0、上限閾値を1.200とする。図15の切替時点において映像受信装置のバッファ量が1.300であるときは、上限閾値を超え目標値より200ライン多いため、上述の式(8)を用い、
STB=ETA+(OTB−(OTA−OLA))+0.200
=92.400
と求められる。これによりストリームBの開始が200ライン分遅れるため、映像受信装置のバッファ量は200ライン分減り、目標値の1.100となる。
When the cross-fade period is 2 frames, the buffer amount of the video receiving apparatus needs at least 1 frame. The target buffer amount is 1.100, the lower threshold is 1.0, and the upper threshold is 1.200. When the buffer amount of the video reception device is 1.300 at the time of switching in FIG. 15, the upper limit threshold is exceeded and there are 200 lines more than the target value, so the above equation (8) is used,
ST B = ET A + (OT B - (OT A -OL A)) + 0.200
= 92.400
Is required. As a result, the start of the stream B is delayed by 200 lines, so that the buffer amount of the video receiving apparatus is reduced by 200 lines to the target value of 1.100.
反対に映像受信装置のバッファ量が0.1000であるときは、下限値より低く目標値より225ライン少ないため、上述の式(9)を用い、
STB=ETA+(OTB−(OTA−OLA))―0.225
=91.1100
と求められる。これによりストリームBの開始が225ライン分早まるため、映像受信装置のバッファ量は225ライン分増加し、目標値の1.100となる。
On the contrary, when the buffer amount of the video receiving device is 0.1000, since it is lower than the lower limit value and 225 lines less than the target value, the above equation (9) is used.
ST B = ET A + (OT B − (OT A −OL A )) − 0.225
= 91.1100
Is required. As a result, the start of the stream B is advanced by 225 lines, so that the buffer amount of the video receiving apparatus increases by 225 lines to reach the target value of 1.100.
なお、ストリームBの開始を早める場合、クロスフェード期間中の合計ビットレートが高まることになるため、伝送経路の帯域を超えない範囲で行う必要がある。 Note that when the start of the stream B is advanced, the total bit rate during the cross-fade period is increased, and therefore, it is necessary to perform within a range not exceeding the bandwidth of the transmission path.
上記の映像送信装置及び映像受信装置の機能をプログラムとして構築し、これらの装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。 The functions of the video transmission device and the video reception device described above can be constructed as a program, installed in a computer used as these devices, executed, or distributed via a network.
また、構築されたプログラムをハードディスクや、フレキシブルディスク・CD−ROM等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。 Further, the constructed program can be stored in a portable storage medium such as a hard disk, a flexible disk, or a CD-ROM, and can be installed or distributed in a computer.
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。 The present invention is not limited to the above-described embodiment, and various modifications and applications can be made within the scope of the claims.
上述のように、本発明によると、ライムコード計測手段において、映像受信手段における映像ストリーム受信処理と並行して映像送信装置からのタイムコードを受信し、当該タイムコードと、当該タイムコードを受信した時の映像受信装置内部でカウントされたタイムコードとに基づき、計測タイムコードを算出することができる。これにより、タイムコードの時間的粒度を映像ライン単位まで短縮することが可能となり、結果として映像切替時間を短縮することができる。 As described above, according to the present invention, the lime code measuring means receives the time code from the video transmitting apparatus in parallel with the video stream receiving process in the video receiving means, and receives the time code and the time code. The measurement time code can be calculated based on the time code counted inside the video receiver at the time. Thereby, the time granularity of the time code can be shortened to the video line unit, and as a result, the video switching time can be shortened.
本発明は、映像を中継・伝送する映像送受信システムに適用可能である。 The present invention is applicable to a video transmission / reception system that relays and transmits video.
100 映像送信装置
110 映像入力部
120 映像送信部
130 タイムコード生成手段
140 タイムコード送信手段
150 映像送信停止手段
160 映像送信開始手段
300 映像受信装置
310 映像受信手段
320 映像出力手段
330 タイムコード計測手段
340 映像送信停止タイムコード生成手段
350 映像送信開始タイムコード生成手段
400 映像受信装置
410 映像受信部
420 映像出力部
430 タイムコード計測部
440 計測タイムコード送信部
460 バッファ
470 バッファ監視部
480 ライン数送信手段
500 制御装置
510 映像送信停止タイムコード生成部
520 映像送信開始タイムコード生成部
600 映像送信装置
610 映像入力部
620 映像送信部
630 タイムコード生成部
640 タイムコード送信部
650 バッファ
660 映像送信フェードアウト部
670 映像送信フェードイン部
680 バッファ制御部
700 映像受信装置
710 映像受信部
720 映像出力部
730 タイムコード計測部
740 映像送信停止タイムコード生成部
750 映像送信開始タイムコード生成部
760 バッファ
DESCRIPTION OF SYMBOLS 100 Video transmission device 110 Video input part 120 Video transmission part 130 Time code production | generation means 140 Time code transmission means 150 Video transmission stop means 160 Video transmission start means 300
Claims (6)
前記映像受信装置は、
前記映像送信装置から受信したタイムコードを映像ライン数の精度で計測するタイムコード計測手段と、
計測された前記タイムコードに基づき、現在の映像受信先の映像送信装置に対し、映像送信停止タイムコードETを生成して送信する映像送信停止タイムコード生成手段、または、計測された前記タイムコードに基づき、映像切替先の映像送信装置に対し、映像送信開始タイムコードSTを生成して送信する映像送信開始タイムコード生成手段と、を備え、
前記映像送信装置は、
タイムコードTを生成するタイムコード生成手段と、
所定時間分の映像信号を保持する送信バッファと、
前記ETを受信し、T=ETとなるとバッファリングを停止するよう前記バッファを制御するか、又は前記STを受信し、TとSTのフレーム番号が等しくなるとSTのライン番号SLの時間分だけバッファリングを開始するよう前記送信バッファを制御するバッファ制御部と、
前記SLの時間経過後、前記送信バッファの先頭にある映像信号から前記映像受信装置に送信を開始する映像送信手段と、を備える、映像送受信システム。 A video transmission / reception system in which a video reception device switches received video from one video transmission device to another video transmission device among a plurality of video transmission devices,
The video receiver is
Time code measuring means for measuring the time code received from the video transmission device with the accuracy of the number of video lines;
Based on the measured time code, the video transmission stop time code generating means for generating and transmitting the video transmission stop time code ET to the current video receiving destination video transmitting device, or the measured time code A video transmission start time code generating means for generating and transmitting a video transmission start time code ST to the video transmission device of the video switching destination,
The video transmission device includes:
Time code generation means for generating a time code T;
A transmission buffer for holding a video signal for a predetermined time;
When the ET is received, the buffer is controlled to stop buffering when T = ET, or when the ST is received and the frame numbers of T and ST are equal, the buffer is provided for the time corresponding to the ST line number SL. A buffer control unit for controlling the transmission buffer to start a ring;
A video transmission / reception system comprising: video transmission means for starting transmission from the video signal at the head of the transmission buffer to the video reception device after elapse of the SL time.
入力映像に対して所定の時間の映像を保持する受信バッファと、
前記受信バッファ内の映像信号の量の目標値、上限閾値、及び下限閾値を設定し、前記量が前記上限閾値を超え目標値を上回っている超過ライン数、又は前記量が前記下限閾値より低く目標値を下回っている不足ライン数を監視し、前記超過ライン数又は前記不足ライン数を前記映像送信開始タイムコード生成部へ送信するバッファ監視部、を更に備え、
前記映像送信開始タイムコード生成部は、前記超過ライン数又は前記不足ライン数、前記ET、及び前記計測タイムコードに基づき前記STを求める、
前記請求項1記載の映像送受信システム。 The video receiver is
A reception buffer that holds video for a predetermined time with respect to the input video;
A target value, an upper limit threshold value, and a lower limit threshold value are set for the amount of video signal in the reception buffer, and the number of excess lines exceeds the upper limit threshold value and exceeds the target value, or the amount is lower than the lower limit threshold value. A buffer monitoring unit that monitors the number of insufficient lines below a target value, and transmits the number of excess lines or the number of insufficient lines to the video transmission start time code generation unit,
The video transmission start time code generation unit obtains the ST based on the number of excess lines or the number of insufficient lines, the ET, and the measurement time code.
The video transmission / reception system according to claim 1.
前記送信バッファ内の映像信号が所定のクロスフェード時間FTの半分になると、前記送信バッファ内の映像信号を、前記FTの経過と同時に完了するよう、送信ビットレートを段階的に低下もしくは通常のビットレートより低い一定量のビットレートを保って映像送信を行い、その後映像送信を停止する映像送信フェードアウト手段と、
前記SLの時間経過後、前記FTの半分の時間分の映像送信を、前記FTの経過と同時に完了するよう、送信ビットレートを段階的に増加もしくは通常のビットレートより低い一定量のビットレートを保って映像送信を開始し、前記FTの半分の時間分の映像信号をバッファリングする映像送信フェードイン手段と、を更に備える、請求項1記載の映像送受信システム。 The video transmission device includes:
When the video signal in the transmission buffer becomes half of the predetermined crossfade time FT, the transmission bit rate is decreased stepwise or the normal bit so that the video signal in the transmission buffer is completed simultaneously with the FT. Video transmission fade-out means for performing video transmission with a constant bit rate lower than the rate, and then stopping video transmission;
After the SL time, the transmission bit rate is increased stepwise or a certain amount of bit rate lower than the normal bit rate so that video transmission for half the time of the FT is completed simultaneously with the FT. 2. The video transmission / reception system according to claim 1, further comprising video transmission fade-in means for starting video transmission while maintaining and buffering video signals corresponding to half the time of the FT.
前記映像受信装置は、
前記映像送信装置から受信したタイムコードを映像ライン数の精度で計測するステップと、
計測された前記タイムコードに基づき、現在の映像受信先の映像送信装置に対し、映像送信停止タイムコードETを生成して送信するステップ、または、計測された前記タイムコードに基づき、映像切替先の映像送信装置に対し、映像送信開始タイムコードSTを生成して送信するステップと、を行い、
前記映像送信装置は、
タイムコードTを生成するステップと、
所定時間分の映像信号を保持するステップと、
前記ETを受信し、T=ETとなるとバッファリングを停止するよう前記バッファを制御するか、又は前記STを受信し、TとSTのフレーム番号が等しくなるとSTのライン番号SLの時間分だけバッファリングを開始するよう前記送信バッファを制御するステップと、
前記SLの時間経過後、前記送信バッファの先頭にある映像信号から前記映像受信装置に送信を開始するステップと、を行う、送信バッファ制御方法。 A method of controlling a transmission buffer of the video transmission device in a video transmission / reception system in which the video reception device switches received video from one video transmission device to another video transmission device among a plurality of video transmission devices,
The video receiver is
Measuring the time code received from the video transmission device with the accuracy of the number of video lines;
Based on the measured time code, a step of generating and transmitting a video transmission stop time code ET to the current video receiving destination video transmitting device, or based on the measured time code, a video switching destination Generating and transmitting a video transmission start time code ST to the video transmission device; and
The video transmission device includes:
Generating a time code T;
Holding a video signal for a predetermined time;
When the ET is received, the buffer is controlled to stop buffering when T = ET, or when the ST is received and the frame numbers of T and ST are equal, the buffer is provided for the time corresponding to the ST line number SL. Controlling the transmit buffer to initiate a ring;
And a step of starting transmission from the video signal at the head of the transmission buffer to the video reception device after the SL time has elapsed.
入力映像に対して所定の時間の映像を保持するステップと、
前記受信バッファ内の映像信号の量の目標値、上限閾値、及び下限閾値を設定し、前記量が前記上限閾値を超え目標値を上回っている超過ライン数、又は前記量が前記下限閾値より低く目標値を下回っている不足ライン数を監視し、前記超過ライン数又は前記不足ライン数を前記映像送信開始タイムコード生成部へ送信するステップ、
前記超過ライン数又は前記不足ライン数、前記ET、及び前記計測タイムコードに基づき前記STを求めるステップ、を行う
前記請求項4記載の送信バッファ制御方法。 The video receiver is
Holding a video for a predetermined time with respect to the input video;
A target value, an upper limit threshold value, and a lower limit threshold value are set for the amount of video signal in the reception buffer, and the number of excess lines exceeds the upper limit threshold value and exceeds the target value, or the amount is lower than the lower limit threshold value. Monitoring the number of insufficient lines below a target value, and transmitting the excess line number or the insufficient line number to the video transmission start time code generation unit;
5. The transmission buffer control method according to claim 4, wherein the ST is obtained based on the number of excess lines or the number of insufficient lines, the ET, and the measurement time code.
前記送信バッファ内の映像信号が所定のクロスフェード時間FTの半分になると、前記送信バッファ内の映像信号を、前記FTの経過と同時に完了するよう、送信ビットレートを段階的に低下もしくは通常のビットレートより低い一定量のビットレートを保って映像送信を行い、その後映像送信を停止するステップと、
前記SLの時間経過後、前記FTの半分の時間分の映像送信を、前記FTの経過と同時に完了するよう、送信ビットレートを段階的に増加もしくは通常のビットレートより低い一定量のビットレートを保って映像送信を開始し、前記FTの半分の時間分の映像信号をバッファリングするステップと、を更に行う、請求項4記載の送信バッファ制御方法。 The video transmission device includes:
When the video signal in the transmission buffer becomes half of the predetermined crossfade time FT, the transmission bit rate is decreased stepwise or the normal bit so that the video signal in the transmission buffer is completed simultaneously with the FT. Performing video transmission while maintaining a certain amount of bit rate lower than the rate, and then stopping video transmission;
After the SL time, the transmission bit rate is increased stepwise or a certain amount of bit rate lower than the normal bit rate so that video transmission for half the time of the FT is completed simultaneously with the FT. 5. The transmission buffer control method according to claim 4, further comprising: starting video transmission while maintaining and buffering video signals corresponding to half the time of the FT.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008169230A JP4630357B2 (en) | 2008-06-27 | 2008-06-27 | Video transmission / reception system and control method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008169230A JP4630357B2 (en) | 2008-06-27 | 2008-06-27 | Video transmission / reception system and control method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010011196A JP2010011196A (en) | 2010-01-14 |
JP4630357B2 true JP4630357B2 (en) | 2011-02-09 |
Family
ID=41591127
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008169230A Expired - Fee Related JP4630357B2 (en) | 2008-06-27 | 2008-06-27 | Video transmission / reception system and control method thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4630357B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102014220423A1 (en) * | 2014-10-08 | 2016-04-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus for generating a video output data stream, video source, video system and method for generating a video output data stream or a video source data stream, respectively |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06253213A (en) * | 1993-02-26 | 1994-09-09 | Victor Co Of Japan Ltd | Video signal switching device |
JPH1141585A (en) * | 1997-07-17 | 1999-02-12 | Nippon Telegr & Teleph Corp <Ntt> | Video communication system |
JPH11112964A (en) * | 1997-10-01 | 1999-04-23 | Fuji Electric Co Ltd | Image transmitter |
JP2003186460A (en) * | 2001-12-17 | 2003-07-04 | Yazaki Corp | Multi-stage connection type video switching system |
JP2004254149A (en) * | 2003-02-21 | 2004-09-09 | Nippon Telegr & Teleph Corp <Ntt> | Data transmission control method and system |
JP2008118237A (en) * | 2006-11-01 | 2008-05-22 | Canon Inc | Video image editing device |
-
2008
- 2008-06-27 JP JP2008169230A patent/JP4630357B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06253213A (en) * | 1993-02-26 | 1994-09-09 | Victor Co Of Japan Ltd | Video signal switching device |
JPH1141585A (en) * | 1997-07-17 | 1999-02-12 | Nippon Telegr & Teleph Corp <Ntt> | Video communication system |
JPH11112964A (en) * | 1997-10-01 | 1999-04-23 | Fuji Electric Co Ltd | Image transmitter |
JP2003186460A (en) * | 2001-12-17 | 2003-07-04 | Yazaki Corp | Multi-stage connection type video switching system |
JP2004254149A (en) * | 2003-02-21 | 2004-09-09 | Nippon Telegr & Teleph Corp <Ntt> | Data transmission control method and system |
JP2008118237A (en) * | 2006-11-01 | 2008-05-22 | Canon Inc | Video image editing device |
Also Published As
Publication number | Publication date |
---|---|
JP2010011196A (en) | 2010-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4838273B2 (en) | Adaptive media playback method and apparatus for intra-media synchronization | |
US6985501B2 (en) | Device and method for reducing delay jitter in data transmission | |
EP3136742B1 (en) | Bandwidth management | |
JP5191826B2 (en) | Stream communication apparatus, stream communication method, and stream communication system | |
EP1475922B1 (en) | Data processing device, data processing system, data processing method, data processing program and recording medium storing the program | |
KR20030095995A (en) | Method for transporting media, transmitter and receiver therefor | |
JP2015536594A (en) | Aggressive video frame drop | |
CN102883217B (en) | Method and device for controlling video playing | |
US20050238013A1 (en) | Packet receiving method and device | |
US20080133744A1 (en) | Multimedia data streaming server and method for dynamically changing amount of transmitting data in response to network bandwidth | |
US8434119B2 (en) | Communication apparatus and communication method | |
JP6143881B2 (en) | Wireless communication system, transmission device, reception device, and communication terminal | |
WO2008076537A1 (en) | Method and system for providing adaptive trick play control of streaming digital video | |
JP2012147107A (en) | Data transfer system and transfer method | |
JP4076981B2 (en) | Communication terminal apparatus and buffer control method | |
JP4630357B2 (en) | Video transmission / reception system and control method thereof | |
JP5068224B2 (en) | Video transmission / reception system and control method thereof | |
GB2395387A (en) | Method of controlling switching between different bandwidth v ersions of video streams | |
JP4541381B2 (en) | Video transmission / reception system and video switching method | |
JP2006109325A (en) | Communication system, communication device, and program | |
JP2005286749A (en) | Video image decoding device and video image transmission system using it | |
US10834166B2 (en) | Transmission apparatus that is capable of maintaining transmission quality in switching transmission path, reception apparatus, transmission and reception system, method of controlling transmission apparatus and reception apparatus, and storage medium | |
JP2006303724A (en) | Shaping apparatus and shaping method for variable length frame | |
JP2019211638A (en) | Processing device, output device, synchronization control system, and these control methods, as well as programs | |
US20060083271A1 (en) | Apparatus for transmitting frame and method for controlling transmission of frame for strict synchronization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101109 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101112 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131119 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |