New! View global litigation for patent families

JPH11331839A - Device and method for re-transmitting video in video transmission - Google Patents

Device and method for re-transmitting video in video transmission

Info

Publication number
JPH11331839A
JPH11331839A JP12988598A JP12988598A JPH11331839A JP H11331839 A JPH11331839 A JP H11331839A JP 12988598 A JP12988598 A JP 12988598A JP 12988598 A JP12988598 A JP 12988598A JP H11331839 A JPH11331839 A JP H11331839A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
data
transmission
importance
re
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP12988598A
Other languages
Japanese (ja)
Inventor
Haruka Nakakane
Hideaki Nanma
晴香 中兼
英明 南摩
Original Assignee
Matsushita Electric Ind Co Ltd
松下電器産業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Abstract

PROBLEM TO BE SOLVED: To avoid an important information from missing without requesting re-transmission of all data having a transmission error by a receiver side in the case of sending video data via a network and reproducing the data immediately. SOLUTION: A transmitter 100 of a transmission system checks position information with respect to a screen when video data are reproduced and places high importance to data closer to a center of the screen depending on a distance from the center and low importance to the data apart from the center and sends the data in the order of higher importance. A receiver 200 checks importance of the data with an error when detecting the data error and discriminates whether or not re-transmission of the data is to be requested depending on the importance. The receiver makes a re-transmission request of the data with higher importance. Even when an error takes place in the transmission, since the data with high importance are sent again, prevention of missing of the data having possibility of important information is realized.

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【発明の属する技術分野】ネットワークを介した映像伝送において、通信によるデータの欠落時に、データの再送をする映像伝送装置に関する。 A video transmission over the network BACKGROUND OF THE INVENTION, when missing of data by the communication relates to a video transmission apparatus for a retransmission of the data.

【0002】 [0002]

【従来の技術】近年、インターネットが普及し、ネットワークを介した情報伝達が頻繁に行われるようになった。 In recent years, the Internet has become popular, began to information transmission via the network is frequently performed. 文字、画像、音声といった、さまざまな形態の情報がやり取りできるようになっている。 Characters, images, such as voice, information in various forms is adapted to interact. 動画もその一種である。 Video is also the kind. そして、あらかじめ録画された映像だけでなく、 And, not only pre-recorded video,
ライブ中継や監視などのために、撮影された映像を、情報を受け取る側に即時に伝送し、再生するといった需要も高まっている。 For such live and monitoring, the captured image, transmitted immediately to the side receiving the information, there is growing demand such play.

【0003】通常、インターネット通信にはTCP(Transm [0003] Typically, the Internet communication TCP (Transm
ission Control Protocol )とUDP(User Datagram Proto ission Control Protocol) and UDP (User Datagram Proto
col)という通信プロトコルが使われている。 Communication protocol that col) is being used. この二つのプロトコルの特徴について簡単に述べる。 The features of the two protocols briefly described.

【0004】TCPは、コネクション型の通信であり、 [0004] TCP is a connection type communication,
信頼性の高い通信機能を保証する。 To ensure reliable communication function. 送信するパケットのヘッダ内に、誤り検出用のチェックサムをつけて送信する。 In the header of a packet to be transmitted, and transmits with a checksum for error detection. 受信側では、誤りを検出したら送信側に再送を自動的に要求する。 On the receiving side, automatically requesting retransmission to the transmitting side when detecting an error. したがって、正しいデータの伝送を保証するため、信頼性の高い通信をすることができる。 Therefore, in order to guarantee the transmission of correct data, it is possible to reliable communication. しかし、コネクションを開設するために伝送帯域を大きく使い、またすべての誤ったデータに対して再送処理を行うので、データの伝送に遅延が生じる可能性がある。 However, using a large transmission bandwidth in order to establish a connection, and since the retransmission processing for all the erroneous data, there is a possibility that a delay in the transmission of the data occurs.

【0005】UDPは、コネクションレス型の通信である。 [0005] UDP is a communication of the connectionless type. 受信されたデータが送信されたとおりのものかどうかを検証しないため、信頼性の高い通信機能を保証するわけではない。 Since the received data does not verify those as sent, it does not guarantee reliable communication function. したがって、データに誤りや欠落が発生し、信頼性が低くなる。 Therefore, errors or omissions occur in the data, the reliability becomes lower. しかし、コネクションを開設したり解放する手間がないために、高速に伝送処理をすることができる。 However, since there is no time to release or open a connection, it is possible to transmit high-speed processing.

【0006】動画はサイズの大きい連続データであるので、リアルタイムで再生する場合、高速に送る必要がある。 [0006] Since the video is a large continuous data of the size, if you want to play in real time, it is necessary to send to high speed. インターネットで動画を伝送する場合、高速に送信できるUDPを使うことが多い。 When transmitting video over the Internet, often use UDP can be transmitted at high speed.

【0007】連続データを伝送する装置として、「特開平9-191314号公報」がある。 [0007] As an apparatus for transmitting a continuous data, there is a "Japanese Patent Laid-Open No. 9-191314". これは送信側が、伝送するパケットにデータが到着して再生されるまでの制限時刻を示すタイムスタンプ情報をつける。 This sender, attach time stamp information indicating a time limit until data packet to be transmitted is reproduced arrived. 受信側は、データの誤りを検出したら、タイムスタンプの時刻とシステムクロックを比較し、タイムスタンプに押された受信制限時刻に余裕のあるパケットに限って再送要求を行い、受信制限時刻を越えている場合は、誤りを検出しても再送要求をしない、というものである。 Receiving side, when detecting an error in data, compares the time and the system clock time stamps, performs a retransmission request only for packets having a margin to the reception time limit pushed by the time stamp, beyond the receiving time limit If you are not the retransmission request even if an error is detected, is that.

【0008】図21を用いてこれらの動作について簡単に説明する. [0008] will be briefly described these operations with reference to FIG. 21. この連続データ伝送装置は、映像データ1を送信する送信機100と受信する受信機200から構成される。 The continuous data transmission apparatus, a reception apparatus 200 for receiving a transmitter 100 that transmits video data 1.

【0009】送信機100は、データの到着制限時刻を示すタイムスタンプを押すタイムスタンプ押印部141と、 [0009] The transmitter 100, and the time stamping unit 141 to push the time stamp indicating the arrival time limit of data,
タイムスタンプを付加したパケットを生成するパケット生成部142と、パケットを送受信する送受信管理部143 A packet generation unit 142 for generating a packet added with the time stamp, the transmission and reception managing unit 143 for transmitting and receiving a packet
と、受信側から再送要求があった場合に指定パケットを再度送信指示をする再送管理部144から構成される。 When, and a retransmission management unit 144 to re-transmit instruction to specify packet when there is a retransmission request from the receiving side.

【0010】受信機200は、パケットを送受信する送受信管理部241と、パケットの誤りを検出するパケット解析部242と、データの到着時刻とタイムスタンプに示された制限時刻とを比較するタイムスタンプ比較部243 [0010] The receiver 200 includes a transceiver control section 241 for transmitting and receiving a packet, the packet analysis unit 242 to detect errors in the packet, the time stamp comparison for comparing the time limit indicated in the arrival time and the time stamp of the data part 243
と、パケットの再送要求をするか判定する再送要求部24 When either determines retransmission request unit to the retransmission request packet 24
4と、受信データを元のデータに戻して再生する映像再生部245から成る。 4, including video playback unit 245 to play back the received data to the original data.

【0011】送信機100では、映像データ1を読み込んだら、タイムスタンプ押印部141が到着制限時刻Tsを算出して、パケット生成部142がタイムスタンプ押印部141 [0011] At transmitter 100, After reading the video data 1, the time stamping unit 141 calculates the arrival time limit Ts, the packet generation unit 142 is the time stamping unit 141
からタイムスタンプ情報を取り出し、パケットのヘッダ情報として付加する。 Removed timestamp information from and added as header information of the packet. 送受信管理部143が生成したパケットを送信する。 It transmits a packet reception management unit 143 has generated.

【0012】受信機200では、送受信管理部241がパケットを受信して、パケット解析部242で誤り検出を行い、 [0012] At receiver 200, the transmission and reception managing unit 241 receives the packet, detects an error in the packet analyzer 242,
同時にタイムスタンプ情報を読み取り、タイムスタンプ比較部243に送る。 Reads the time stamp information at the same time, it sends the time stamp comparing portion 243. タイムスタンプ比較部243で、システムクロックが示す現在時刻Scと、パケットに押印された到着制限時刻Tsと、あらかじめ見積もっていた再送にかかる時間Trから再送要求を判定する。 In the time stamp comparator 243 determines the current time Sc, and the arrival time limit Ts, which is stamped on the packet, the retransmission request from the time Tr according to the retransmission has been estimated in advance indicated by the system clock. Ts≦Sc の場合は、再送を行わない。 In the case of Ts ≦ Sc, it does not retransmit. Ts>Sc の場合は、さらに比較をする。 In the case of Ts> Sc, further to the comparison. Ts-Sc≦Tr ならば、再送を行わない。 If Ts-Sc ≦ Tr, it does not retransmit. Ts-Sc>Tr ならば、再送要求部244に通知する。 If Ts-Sc> Tr, to notify the retransmission request unit 244. 再送要求部244では、 In the retransmission request unit 244,
誤りを検出したパケットの再送要求するパケットを生成して、送受信管理部241で送信する。 Generates a packet retransmission request packet an error is detected, it transmits transmission and reception managing unit 241.

【0013】 [0013]

【発明が解決しようとする課題】しかしながら従来の技術では、データ伝送の誤りが発生したとき、再送をしても送信側が押印したタイムスタンプに示される到着制限時刻Tsに間に合うときに限って、再送要求を行っていた。 In the [0006] However the prior art, when an error of the data transmission occurs only when the time for the arrival time limit Ts, which is also shown in timestamp seal the sender to the retransmission, the retransmission request has been performed. このため、受信した時刻Scがすでにタイムスタンプに示された到着制限時刻Tsを超過している場合、または再送をすると到着制限時刻Tsを超える場合、パケットの再送を行わない。 Therefore, if the received time Sc has already exceeded the arrival time limit Ts described in the Timestamp, or if to retransmission than the arrival time limit Ts, does not retransmit the packet. パケットの再送を行わないで受信機が映像データを再生したとき、欠落したパケットが持っていたデータの部分の映像を正しく再生することはできない。 When the receiver without performing retransmission of the packet reproduced video data, it can not be reproduced video portions of the data missing packet had correctly. このような部分が画面の中心近くにあったときや、 And when such a part was near the center of the screen,
映像のシーンが大きく変わったときなどは、視聴者にとって重要な情報を持つ映像が再生されない可能性がある、という課題がある。 Such as when the scene of a video has changed significantly, there is a possibility that the images have important information for the viewer does not play, there is a problem that.

【0014】また、ネットワークの伝送速度が一定でないと、パケットの受信が連続して遅くなる。 Further, when the transmission speed of the network is not constant, the received packet is delayed continuously. このようなときにパケットの伝送で誤りが生じると、パケット受信時刻Scが到着制限時刻Tsを越えたためにパケットを破棄することになる。 When such time an error occurs in the transmission of a packet will be discarded packets to packet receive times Sc exceeds the arrival time limit Ts. 誤りの生じたパケットが連続して大量に発生した場合には、1フレーム分の映像データを受信できなくなることもある。 If the packet caused the error is large amount generated in succession, sometimes can not receive the video data for one frame. その結果、動画のフレームレートが低くなる、という課題がある。 As a result, video frame rate is low and there is a problem that.

【0015】本発明は、映像データをデータ生成時間と同じ時間で再生する場合、誤ったデータの再送による映像のフレームレートの低下を防ぎ、誤りが生じたデータに対して、すべて再送を要求するのではなく、しかしながら、重要な情報の欠落を回避してデータの伝送を行うことを目的とする。 [0015] The present invention, when reproducing video data in the same time as the data generation time, preventing a decrease in the frame rate of video by retransmission of erroneous data, requests the data an error occurs, all retransmission instead of, however, as intended for the transmission of data by avoiding loss of important information.

【0016】 [0016]

【課題を解決するための手段】この課題を解決するために本発明は、送信する映像データに(1)再生時に画面上でどの位置に表示されるかという位置情報、(2)伝送処理中であるフレームよりも一つ前のフレームにおいて、送信する映像データと同位置の映像データに変化があったかどうかという変化の度合い、(3)伝送処理中であるフレームと一つ前のフレームとを比較してフレーム全体の映像シーンに変化があるかというシーンの相関、(4)送信機が複数の異なる映像を読み込んで映像データ送信する場合に、それぞれの映像を相対的に比較して映像として動きが大きいか少ないかという相関関係、を算出する。 SUMMARY OF THE INVENTION The present invention in order to solve this problem, the position information indicating displayed at which position on the screen when the video data (1) reproducing to transmit, (2) Transmission Processing comparison in the previous frame than the frame, the degree of change of whether there has been a change in the video data in the same position for transmitting, and (3) are transmitting processing frame and the previous frame is correlation, the scene of whether there is a change in video scene of the entire frame and (4) when the transmitter transmits the video data by reading the image a plurality of different motion as an image by relatively comparing the respective images correlation, to calculate the of whether large or small.

【0017】その結果をもとに送信するデータの重要度を決定して、送信機は送信するデータの単位であるパケットを送信し、受信機はデータに誤りを検出した場合は、データの重要度に応じて再送を要求する。 [0017] to determine the importance of the data to be transmitted based on the result, the transmitter sends a packet which is a unit of data to be transmitted, if the receiver detects an error in the data, the data important to request a retransmission depending on the time. この手段をとることによって、重要であると思われる情報を持つデータに対してが欠落したときには再送し、重要な画面情報の欠落を回避することを実現する。 By taking this measure, the relative data having information appears to be important to retransmission when missing, to realize to avoid missing critical screen information.

【0018】 [0018]

【発明の実施の形態】本発明の請求項1に記載の発明は、ネットワークを介した通信を行うときに、データ伝送誤りが生じた場合、重要な情報の欠落を防ぐために、 DETAILED DESCRIPTION OF THE INVENTION According to a first aspect of the present invention, when performing communication via the network, if the data transmission error has occurred, to prevent loss of important information,
映像データを伝送する送信機が映像データを表示したときの画面の位置情報からデータに重要度を付加して伝送することを特徴とした映像伝送再送装置であり、データに重要度をつけることによって、通信時にデータが欠落したときに再送を行うかどうかを受信が我が判断することができるという作用を有する。 A video transmission retransmission apparatus, characterized in that transmitting by adding the importance from the position information on the data of the screen when the transmitter for transmitting video data is to display the image data, by attaching importance to data , receiving whether to retransmit when data is lost during the communication has an effect that it is possible to our judgment.

【0019】本発明の請求項2に記載の発明は、映像データを伝送する送信機と、受信する受信機で、ネットワークを介した通信を行うときに、送信機が映像データを表示したときの画面の位置情報からデータに重要度を付加して伝送し、データが正しく伝送されなかったときに受信機が重要度をもとに再送要求の判定をすることを特徴とした映像再送伝送装置であり、受信側が通信時にデータが欠落した場合にはそのデータの重要度に応じて再送要求を行い、重要度の高いデータに対しては再送を行うことによって映像データ再生時に重要な画面情報の欠落を回避することができるという作用を有する。 [0019] The invention according to claim 2 of the present invention, a transmitter for transmitting video data, the receiver for receiving, when performing communication via the network, when the transmitter has to display the image data transmitting the position information of the screen by adding a degree of importance to the data, the video retransmission transmission apparatus, characterized in that the determination of the original retransmission request severity receiver when data has not been transmitted correctly There, when the reception side data is lost during the communication performs a retransmission request according to the importance of the data, missing critical screen information during reproduction video data by performing retransmission for high importance data an effect that can be avoided.

【0020】本発明の請求項3に記載の発明は、データを読み込むデータ読込み手段と、映像データが画面のどの位置に表示されるかという位置情報を検査する位置情報検査手段と、送信するデータの順位を決める送信順位決定手段と、データを送信する単位であるパケットを生成するパケット生成手段と、データを送信するデータ送信手段と、データを受信するデータ受信手段と、正しく伝送されなかったデータに対して受信側から再送要求があった場合にデータを再送する再送処理手段を備えた映像伝送再送装置、としたものであり、データに重要度をつけることによって、通信時にデータの欠落が生じた場合に受信側が再送をするか判断し、重要なデータに対しては再送を行うという作用を有する。 [0020] The invention described in claim 3 of the present invention includes a data reading means for reading the data, the position information checking means for checking the position information indicating the image data is displayed at which position on the screen, the data to be transmitted a transmission order determination unit for determining the rank, and packet generation means for generating a packet which is a unit for transmitting data, and a data transmission means for transmitting data, and a data receiving means for receiving the data, the data that were not successfully transmitted video transmission retransmission apparatus having a retransmission processing means retransmits the data when there is a retransmission request from the receiving side, which was, by attaching importance to data, loss of data during communication raised against receiver determines whether a retransmission if, with the effect that a retransmission for important data.

【0021】本発明の請求項4に記載の発明は、データを読み込むデータ読込み手段と、映像データが画面のどの位置に表示されるかという位置情報を検査する位置情報検査手段と、送信するデータの順位を決める送信順位決定手段と、データを送信する単位であるパケットを生成するパケット生成手段と、データを送信するデータ送信手段と、データを受信するデータ受信手段と、正しく伝送されなかったデータに対して受信側から再送要求があった場合にデータを再送する再送処理手段を備えた送信機と、正しく伝送されなかったデータの誤りを検査するパケット解析手段と、正しく伝送されなかったデータの再送を要求するかどうかを判断する再送判定手段と、 [0021] The invention according to claim 4 of the present invention includes a data reading means for reading the data, the position information checking means for checking the position information indicating the image data is displayed at which position on the screen, the data to be transmitted a transmission order determination unit for determining the rank, and packet generation means for generating a packet which is a unit for transmitting data, and a data transmission means for transmitting data, and a data receiving means for receiving the data, the data that were not successfully transmitted a transmitter having a retransmission processing means retransmits the data when there is a retransmission request from the receiving side with respect to a packet analyzing means for checking an error in data that has not been correctly transmitted, the data that were not successfully transmitted and retransmission determination means for determining whether or not to request a retransmission,
再送要求を行う再送要求手段と、受信した映像データを再生するデータ再生手段を備えた受信機を持つ映像伝送再送装置、としたものであり、重要度の高いデータに対しては再送を行うことによって映像データ再生時に重要な画面情報の欠落を回避することができるという作用を有する。 A retransmission request unit requests retransmission, video transmission diversion means having a receiver with data reproducing means for reproducing the video data received, which was, by performing retransmission for high importance data an effect that can be avoided missing critical screen information during reproduction video data by.

【0022】本発明の請求項5に記載の発明は、映像データが画面のどの位置に表示されるかという位置情報をもとに、映像データの1フレームを構成する要素となるデータが画面の中心からどれくらい離れているかを設定する距離設定手段と、中心からの距離とデータの重要度の関係を記述したしきい値情報から重要度が矩形に分布するように決定する重要度決定手段を備えた映像伝送再送装置、としたものであり、画面の位置情報から矩形に分布した重要度を決定することができ、映像表示画面もまた矩形であるので表示画面に応じた重要度を決定するという作用を有する。 [0022] The invention described in claim 5 of the present invention, based on the position information indicating the image data is displayed at which position on the screen, the elements constituting one frame of the video data data screen comprising a distance setting means for setting a how far from the center, the importance degree determination means for determining as the importance of the distance and the threshold value information describing the importance of the relationship between the data from the center is distributed in a rectangular video transmission diversion means, which was, it is possible to determine the importance degree of distributed rectangular from the position information of the screen, that determines the degree of importance according to the display screen since the image display screen also is square It is having an effect.

【0023】本発明の請求項6に記載の発明は、映像データをバッファにいれるバッファ処理手段と、バッファに蓄えられた伝送処理中のフレームより一つ前以上のフレーム情報から、伝送処理中のフレームを構成するデータと画面に表示したときに同位置に表示されるデータを参照して、データの長さを比較することによってデータが持つ映像情報が変化したかどうかを判定するデータ長比較手段を備えた映像伝送再送装置としたものであり、 [0023] according to claim 6 of the present invention invention comprises a buffering means to have the video data in the buffer, from one or more prior frames information from the frame in the transmission processing stored in the buffer, in the transmission process It refers to data that is displayed in the same position when being displayed on the data and the screen constituting the frame, data length comparing means for determining whether the image information has changed with the data by comparing the length of the data is obtained by the video transmission retransmission apparatus provided with,
データ長の変化から重要度を決定するという作用を有する。 It has the effect of determining the importance of the change in the data length.

【0024】本発明の請求項7に記載の発明は、前フレーム情報から一つ以上前のフレームとの変化の度合いを比較するフレーム比較手段を備えた映像伝送再送装置としたものであり、フレーム同士の変化の度合いから重要度を決定するという作用を有する。 The invention described in claim 7 of the present invention is obtained by a previous video transmission retransmission apparatus provided with a frame comparing means for comparing the degree of change in the one or more previous frames from the frame information, the frame It has the effect of determining the importance of the degree of change between.

【0025】本発明の請求項8、9に記載の発明は、送信側が異なる複数映像データを読込み、受信側は異なる複数映像データを同一画面上で複数表示するマルチ画面において、複数の映像の中で相対的に比較して動きが大きいものと小さいものの相関関係を判定し管理するマルチ画面管理手段を備えた映像伝送再送装置としたものであり、映像の相関関係から重要度を決定するという作用を有する。 [0025] The invention according to claim 8, 9 of the present invention reads a plurality video data transmitting side is different, the receiving side in a multi-screen displaying a plurality on the same screen different video data, a plurality of video in is obtained by the video transmission retransmission apparatus having a multi screen management means for managing determined correlations relatively compared to having a large movement and small ones, effect that determines the degree of importance from the correlation of the video having.

【0026】以下に、本発明の各実施の形態について、 [0026] Hereinafter, embodiments of the present invention,
図1から図20を用いて説明する。 It will be described with reference to FIGS. 1 to 20. なお、本発明はこれら実施の形態に何等限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施し得る。 The present invention is not all limited to these embodiments without departing from the scope and spirit thereof may be carried out in various modes.

【0027】(実施の形態1)本実施例では、送信機10 [0027] In this embodiment (Embodiment 1), the transmitter 10
0が映像データに表示画面における位置情報をもとに重要度をつけて伝送し、受信機がデータの伝送に誤りが生じたときにデータの重要度に応じて再送を要求するか判断する映像伝送再送装置について説明する。 0 is transmitted with a degree of importance based on the position information on the display screen on the video data, the video to determine whether to request retransmission in accordance with the importance of the data when an error occurs receivers for the transmission of data for transmission retransmission apparatus. 本装置の構成図を図1に示す。 The block diagram of the apparatus shown in FIG.

【0028】図1において、1は映像データ、100はデータを送信する送信機、200はデータを受信する受信機である. [0028] In FIG. 1, 1 is the video data, 100 is a transmitter for transmitting data, 200 is a receiver for receiving data. 送信機100は、映像データ1を読み込むデータ読込み部101と、映像データのフレームを構成するブロックの位置情報を検査する位置情報検査部102と、位置情報から送信するブロックの順位を決める送信順位決定部10 The transmitter 100 includes a data reading unit 101 to read image data 1, and the position information checking unit 102 for checking the location information of the blocks constituting the frame of video data, transmission order determination that determines the order of blocks to be transmitted from the position information part 10
3と、送信するパケットを生成するパケット生成部104 3, the packet generation unit 104 generates a packet transmitted
と、データを送信するデータ送信部105と、データを受信するデータ受信部106と、受信機から再送要求があった場合に指定されたパケットを再送させる再送処理部10 When a data transmission unit 105 for transmitting data, a data receiving unit 106 for receiving data, retransmission processing unit to retransmit the designated when there is a retransmission request from the receiver packet 10
7から構成される。 7 consists of.

【0029】受信機200は、送信機から送信されたデータを受信する受信部201と、受信したパケットの誤りや欠落を検査するパケット解析部202と、パケットに対する再送要求をするかどうかを判断する再送判定部203 [0029] The receiver 200 includes a receiving unit 201 for receiving data transmitted from the transmitter, the packet analyzing unit 202 for checking the errors or omissions of the received packet, determines whether the retransmission request for the packet retransmission determination unit 203
と、再送判定部で再送要求が決定したパケットに対して再送要求を行う再送要求部204と、再送要求のデータを送信するデータ送信部205と、受信した映像データを再生するデータ再生部206から構成される。 When a retransmission request unit 204 which performs a retransmission request to retransmission request is determined packet retransmission determination unit, a data transmission unit 205 transmits the data retransmission request from the data reproducing unit 206 for reproducing the received video data constructed.

【0030】本実施例で扱う映像データ1とパケットについて説明する。 [0030] The video data 1 and the packet will be described handled in this embodiment. 本実施例では、DVやJPEGの圧縮方式のように映像データがフレームごとに構成されるものを扱う。 In the present embodiment deals with what image data is configured for each frame as DV and JPEG compression methods. 図2に本実施例で扱う映像データとパケットの概念図を示す。 Handled in the present embodiment in FIG. 2 shows a conceptual diagram of video data and packets.

【0031】まず送信機100で扱う映像データとパケットについて説明する。 [0031] will be described first video data and packets handled by the transmitter 100. フレームは、動画を構成する画面の単位である(21)。 Frame is a unit of a screen constituting a moving (21). DV圧縮方式では1秒間に30フレームを連続して表示することによって動画を構成する。 In DV compression method constituting a moving by continuously displaying 30 frames per second. 圧縮により符号化したフレームは、複数の可変長ブロックで構成される(22)。 Frame encoded by the compression is composed of a plurality of variable-length block (22). 本実施例では、それぞれのブロックに対して重要度を決定する。 In this embodiment, to determine the importance for each block. 一つのブロックは、複数のフレームの情報を持たない。 One block has no information of a plurality of frames. ネットワーク通信において、伝送するデータの単位であるパケットは、複数のブロックを集結してデータ部分を構成し、データ部分にヘッダ情報を付加して構成される(23)。 In network communications, a packet is a unit of data to be transmitted constitutes the data portion is gathered a plurality of blocks, and by adding header information to the data portion (23).

【0032】本実施例で扱うパケットは、ヘッダ情報として、パケット番号、伝送するフレームの番号、重要度、伝送するフレームのなかで等しい重要度を持つパケットの総数、という情報を持つ(24)。 The packets handled in this embodiment, as the header information, packet number, number of the frame to be transmitted, the importance, the total number of packets of equal importance among the frames to be transmitted, has information that (24).

【0033】パケットのデータ部分を構成するブロックは、同一フレームを構成するものであり、同じ重要度をつけたブロックで構成されるように生成する。 The blocks constituting the data portion of the packet is to constitute the same frame, to generate to consist of blocks with the same importance. 異なるフレームの情報を持つ、また異なる重要度を持つブロックからパケットは生成しない。 Having information of different frames, packets from a block having different importance or does not generate. これは、次の二つの理由からである。 This is from the following two reasons. (1)本実施例で扱う映像データ1はフレーム単位で伝送/再生の処理をするからである。 (1) video data 1 handled in this example because the processing of the transmission / reproduction on a frame-by-frame basis. (2)受信機2 (2) receiver 2
00で伝送に誤りの生じたパケットには、再送要求するかしないかをパケットのヘッダ情報につけられた重要度で判定するからである。 00 caused an error in the transmission in packets is because determining whether to retransmit requests Lighted importance to the header information of the packet. したがって、一つのパケットに対して重要度が一つに決まる。 Therefore, the importance for one packet is determined to one. そして、パケットは重要度の高い順番に送信する。 Then, the packet is sent to the high degree of importance the order. これは、次の二つの理由からである。 This is from the following two reasons. (1)重要度の高い順にパケットを送信すると、 (1) When sending a packet to the order of importance,
受信機200で伝送に誤りの生じたパケットに対して再送要求の判定をするときに、誤りが生じたパケット番号の前後の番号を持つパケットも重要度順に並んでいるので、前後のパケットが持つヘッダ情報にある重要度を参照して欠落したパケットの重要度を判断することができる。 When the determination of the retransmission request to the transmission at the receiver 200 to the error of the resulting packets, so arranged in the packet even order of importance with numbers before and after the packet number in which an error has occurred, with the front and rear of the packet it is possible to determine the importance of the missing packet by referring to the importance level in the header information. (2)重要度が高いパケットは、伝送に誤りが生じても必ず再送するように受信機200が判定するので、重要度の高いパケットを1フレーム分のデータを伝送する処理の中で最後の方のパケットで送ったために、再送をするとその欠落したパケットが再送されるまで受信機が映像データ再生開始を待ち、データ再生時刻が遅くなることを防ぐ。 (2) high importance packet, since the receiver 200 to determine to retransmit always even if an error occurs in the transmission, a high importance packets for one frame data last in the process of transmitting to sent by square of a packet, when a retransmission the receiver until the missing packet is retransmitted waits for a video data reproduction start, prevents data reproduction time is delayed. 受信機200が再送要求するパケットは、パケット番号と、再送を要求するデータのフレーム番号と、再送を要求するパケット番号から構成されている(25)。 Packet receiver 200 to the retransmission request includes a packet number, a frame number of data requesting the retransmission, and a packet number to request retransmission (25).

【0034】本実施例では、映像データを表示したときに画面の中心に近い位置に表示される情報を持つブロックに対して高い重要度を、中心から離れていくにしたがって低い重要度をつける。 [0034] In this embodiment, a high importance for blocks having information that is displayed at a position close to the center of the screen when displaying the image data, attaching low importance accordance moves away from the center. これは、(1)一般的に映像データを生成するときは、画面の中心に焦点を当てるため、中心に近い位置ほど重要な情報が含まれる、(2) This is (1) generally when generating the image data, in order to focus on the center of the screen includes the position more important information close to the center, (2)
映像データを見る視聴者も画面の端よりも中央に近い位置を見ている時間が長い、という理由からである。 The viewer to see the video data is also a long time looking at a position closer to the center than the edge of the screen, it is the reason that. 図3 Figure 3
に位置情報をもとに重要度をつけた映像データの概念図を示す。 It shows a conceptual diagram of video data with the importance level on the basis of the position information. この例では、1フレームが100個のブロックから構成され、重要度を最も高いレベルを1、最も低いレベルを5のように5段階に設定している。 In this example, one frame is composed of 100 blocks, and set the highest level of importance 1, the lowest level in five stages as 5. したがって、映像表示画面で中心に近い位置では重要度が1、画面の端に近い位置では重要度5となる。 Thus, the importance is located close to the center on the video display screen 1, the importance 5 at a position near the edge of the screen.

【0035】送信機の処理の流れについて説明する。 The description will be given of a flow of processing of the transmitter. 送信機100は、まずデータ読込み部101で映像データ1を読み込む。 Transmitter 100 first reads image data 1 by the data reading unit 101. データ読込み部101で読み込んだ映像データ1 Read by the data reading unit 101 image data 1
を、位置情報検査部102が、映像データ1が再生されたときに画面上で表示される位置の情報をそれぞれのブロックに対して検査する。 The position information checking unit 102 checks the information of the position where the image data 1 is displayed on the screen when it is played to each block. そして、検査した位置情報を送信順位決定部103に渡す。 Then, passing position information examined in transmission order determination unit 103. 送信順位決定部103では、位置情報をもとにブロックの重要度を決める。 The transmission order determination unit 103 determines the importance of the blocks based on the position information. 映像データ再生画面において、中心に近い位置の情報を持つブロックには高い重要度を、中心から離れるにしたがって、低い重要度をブロックにつける。 The video data playback screen, a high importance degree to the block with the information of the position close to the center, away from the center, giving less importance to the block. 送信順位決定部103で送信順位が決まったブロックを、パケット生成部104では、同じ重要度を持つブロックを1パケットのデータ分集め、 The block was decided transmission order in transmission order determination unit 103, the packet generation unit 104, a block having the same importance collected data content of one packet,
ヘッダ情報をつけ、送信するパケットとして生成する。 With the header information to generate a packet to be transmitted.
データ送信部105が、パケット生成部で生成したパケットを送信する。 Data transmitting section 105 transmits the packet generated by the packet generation unit.

【0036】受信機200の動作を図4、5、6を用いて説明する。 [0036] will be described with reference to FIG. 4, 5 and 6 the operation of the receiver 200. 図4は誤りの生じたパケットの再送までの処理の流れ、図5は誤りの生じたパケットの重要度を判定する処理の流れ、図6は欠落したパケットの概念図である。 Figure 4 is a conceptual diagram of a packet flow of a process up to the retransmission of the packet resulting in an error, Figure 5 is that missing severity determining processing flow, Figure 6 packets caused errors.
受信機200は、データ受信部201で送信機100から送信されたデータを受信する(41)。 The receiver 200 receives data transmitted from the transmitter 100 by the data receiving unit 201 (41). データ受信部201で受信したデータを、パケット解析部202で解析する。 The data received by the data receiving unit 201 analyzes the packet analysis unit 202. ここでは、パケットが完全な形で送られていないという「伝送の誤り」があるか判定する(42)。 Here, it is determined if the packet is "Incorrect transmission" that does not sent in complete form (42). 図6の例では、パケット番号10番のパケットが欠落して、伝送の誤りが生じたことを示す。 In the example of FIG. 6, the missing packet of the packet number 10, indicating that an error of the transmission occurs. 判定した結果を再送判定部203に通知し、 It notifies the determination result to the retransmission determination section 203,
誤りがあったと判定された場合には、誤りの生じたパケットの重要度を判別する(43)。 If it is determined that there is an error, it determines the importance of a packet caused the error (43). 図5の例では、誤りの生じたパケット番号の前後の番号をもつパケットのヘッダ情報を参照して、重要度を判定する。 In the example of FIG. 5, by referring to the header information of the packet having the front and rear number of errors resulting packet number, it determines the importance. 図6の場合では、1 In the case of FIG. 6, 1
0番のパケットが欠落したので、まず始めに9番のパケットのヘッダ情報を参照する(51)。 Since No. 0 of the packet is lost, firstly in referring to the header information of the ninth packet (51). ヘッダ情報によると、 According to the header information,
9番のパケットがもつデータのフレーム番号6、データの重要度はK1=1、フレーム番号6において重要度K1を持つパケットの総数N1が10であることがわかる。 Frame number 6 of the data held by ninth packet, the importance of the data K1 = 1, the total number N1 of packets with importance K1 in the frame number 6 is found to be 10. 10番より前のパケット番号をもち、すでに受信したパケットの中で重要度K1を持つもの総数を数え、N1と比較する(52)。 Has a packet number prior to 10th, already counted the total number that have importance K1 in the received packet is compared with N1 (52). N1 N1
に満たないなら、このパケットの重要度はK1と判定する If less than the importance of the packet is determined to K1
(53)。 (53). N1に達しているならば、欠落したパケットの次のパケットを参照する(54)。 If has reached N1, refer to the next packet of the missing packet (54). (62)の場合では、11番のヘッダ情報を参照する。 In the case of (62) refers to the header information of the number 11. 11番のパケットのヘッダ情報によると、11番のパケットの重要度はK2=2であるから、欠落した10番のパケットの重要度はK2と判定する(55)。 According to the header information of the number 11 of the packet, because the importance of the 11 th packet is K2 = 2, the importance of the missing 10th packet determines that K2 (55). 本実施例では、あらかじめ再送要求をするかしないかを決定する重要度のしきい値を設定しておく。 In this embodiment, setting the importance of the threshold for determining whether to advance retransmission request. (43)で重要度を判定したら、しきい値と比較する(44)。 When it is determined the importance degree (43), it is compared with a threshold (44). しきい値に記述してある重要度よりも判定した重要度が高かったら、 Tara is higher degree of importance it is determined than the degree of importance that is described in the threshold,
再送判定部203が、再送要求部204に通知する(45)。 Retransmission determination unit 203 notifies the retransmission requesting unit 204 (45). 判定した重要度がしきい値にある重要度よりも低かったら、 Tara lower than the importance of the determination degree of importance is on the threshold,
現時刻Tcと再送に要する時間Trをたしたものと、あらかじめ決めた処理中のフレームの再生開始時間Tpを比較して(46)、再送をしても間に合うならば、上記と同様に再送を要求する(45)。 To that plus time Tr required for retransmission and the current time Tc, by comparing the reproduction start time Tp of the frame being processed with predetermined (46), if in time even if a retransmission, the retransmission in the same manner as described above to request (45). 再送要求部204が再送を要求するパケット番号とフレーム番号から再送要求のパケットを生成して、データ送信部205が再送を要求するパケットを送信する。 Retransmission request unit 204 generates a packet retransmission request from the packet number and the frame number to request retransmission, and transmits a packet data transmission unit 205 to request retransmission. なお、再送に要する時間Trと再生開始時間Tp In addition, the time required for retransmission Tr and the reproduction start time Tp
は、あらかじめ受信機200が決めたものであり、決定方法については特定しない。 Is in advance to which the receiver 200 is decided not specific for determination method.

【0037】受信機200がパケットの誤りや欠落を検出し再送を要求してきたならば、送信機100のデータ受信部106で、その再送要求パケットを受信して、再送処理部107に通知する。 [0037] If the receiver 200 has requested detect retransmit errors or omissions packet, the data reception unit 106 of the transmitter 100 receives the retransmission request packet, and notifies the retransmission processing section 107. 再送処理部107では、伝送されたパケットから、送信機100が伝送して誤りの発生したパケットを判定する。 In the retransmission processing section 107, from the transmitted packet, it determines the generated packet error transmitter 100 is transmitting. そしてパケット生成部104へパケット番号を通知する。 And notifying a packet number to the packet generation unit 104. パケット生成部104が指定されたパケットを再生成し、データ送信部105で再送する。 Packet generating unit 104 regenerates the specified packet, retransmits the data transmission unit 105.

【0038】受信機200の映像データ再生部206は、1フレーム分の映像データを受信し終わったら、映像を再生する。 [0038] The video data playback unit 206 of the receiver 200, Once you have received the image data of one frame, to play the video.

【0039】このように、本実施の形態では、送信側が映像を表示したときの画面のどの位置に表示されるかという位置情報からデータに重要度をつけることによって、受信側が通信時にデータが欠落した場合にはそのデータの重要度に応じて再送要求を行い、例えば画面の中心にあるデータに対しては必ず再送を行うなど、映像再生時に重要な画面情報の欠落を回避することができ、その実用的効果は大きい。 [0039] Thus, in the present embodiment, by attaching importance to the data from the position information indicating displayed at which position on the screen when the transmitting side is displaying video, receiver data when communicating missing when performs a retransmission request according to the importance of the data, for example, always performed retransmission for data in the center of the screen, it is possible to avoid missing critical screen information during video playback, its practical effect is large.

【0040】(実施の形態2)実施の形態1では、画面の位置情報からデータに重要度をつけ、それをもとに受信機200が誤りの生じたデータに対する再送要求の判定を行った。 [0040] In Embodiment 1 Embodiment 2, with a degree of importance to the data from the position information of the screen, the receiver 200 makes a determination of the retransmission request for the data generated an error based on it. ここでは、画面の位置情報からデータの表示画面における座標を求め、それによってデータの重要度を決定する機能を持った装置について説明する。 Here, determine the coordinates on the display screen data from the position information of the screen is described whereby the apparatus having a function of determining the importance of the data.

【0041】図7は、画面の位置情報から重要度を決定する映像再送伝送装置の送信機の構成を示したものである。 FIG. 7 is a diagram showing the configuration of a transmitter of the video retransmission transmission apparatus for determining the importance of the position information on the screen. 本実施の形態では、図7において、1は映像データ、 In this embodiment, in FIG. 7, 1 is the video data,
100はデータを送信する送信機、200はデータを受信する受信機である。 100 transmitter for transmitting data, 200 is a receiver for receiving data.

【0042】送信機100は、実施の形態1の構成に、位置情報検査部102で求めた位置情報から座標を求めて中心からの距離を決定する距離設定部108と、送信するデータの重要度を決めるしきい値情報110を参照して重要度を決定する重要度決定部109を追加してある。 The transmitter 100, the configuration of the first embodiment, a distance setting unit 108 that determines the distance from the center seeking coordinates from the position information obtained by the position information checking unit 102, the importance of the data to be transmitted referring to threshold information 110 to decide have added the importance degree determination unit 109 which determines the degree of importance. その他の構成は、図1に示す実施の形態1の構成と同じである。 Other configurations are the same as those of the first embodiment shown in FIG.

【0043】図8に本実施の形態で述べる方法で重要度を決定した画面の例を示す。 [0043] An example of a screen to determine the severity by the method described in this embodiment in FIG. 実施の形態1では、画面の中心からの距離に応じて、データの重要度を決定した。 In the first embodiment, in accordance with the distance from the center of the screen, to determine the importance of the data.
データの表示位置と中心との間の距離を計算して、実施の形態1と同様に5段階に重要度を決定すると(81)のように同じ重要度を持つデータの範囲が円状に分布する。 The distance between the display position and the center of the data by calculating the distribution in a circular shape in a range of data having the same significance as determined the importance degree Similarly five stages in the first embodiment (81) to.
しかし、通常映像を表示する画面は長方形であるので、 However, since the screen displaying the normal image is a rectangle,
矩形に重要度を決定する方が表示画面に応じた重要度をつけることができる(82)。 It can be given a degree of importance better to determine the importance degree of rectangle corresponding to the display screen (82). そこで、本実施の形態では、表示画面における位置情報から座標を求め、矩形に重要度を決定する方法について説明する。 Therefore, in this embodiment, we obtain the coordinates from the position information on the display screen, a method for determining the severity rectangular.

【0044】図9に、位置情報から重要度を決定する処理のフローを示す。 [0044] FIG. 9 shows a flow of processing for determining the importance of the position information. 距離設定部108は、位置情報検査部1 Distance setting section 108, positional information examination unit 1
02で取得した位置情報から、映像表示画面の中心からの距離を求める。 From the acquired location information 02, obtains the distance from the center of the video display screen. 映像再生画面において中心となる点を The point at which the center in the video playback screen
(0,0)、右上端を(1,1)とした座標上で、検査対象となる映像データの表示位置の座標を取得する(91)。 (0,0), on coordinates of the top right corner and (1,1), to obtain the coordinates of the display position of the image data to be inspected (91). 図10に座標軸とデータの座標を取得する例を示す。 An example of obtaining the coordinates of the coordinate axis and the data in Figure 10. この例では、 In this case,
取得した座標は(0.5,0.3)となる。 Acquired coordinate is (0.5, 0.3). そして、取得した座標のx座標とy座標の絶対値を比較する(92)。 Then, comparing the absolute value of x and y coordinates of the obtained coordinate (92). x座標の絶対値の方が大きければ、中心からの距離はx座標の絶対値に設定し(93)、x座標の絶対値の方が小さければ、中心からの距離はy座標の絶対値に設定する(94)。 If is larger of the absolute value of x-coordinate, the distance from the center is set to the absolute value of x-coordinate (93), the smaller the better the absolute value of x-coordinate, the distance from the center to the absolute value of y-coordinate set (94).

【0045】図10の例の場合は、座標が(0.5,0.3)となるので、中心からの距離が0.5となる。 [0045] In the case of the example in FIG. 10, since the coordinate is (0.5, 0.3), the distance from the center is 0.5. そして、中心からの距離と重要度の相関関係情報が記述してあるしきい値情報110を参照して、重要度を決定する(95)。 Then, by referring to the threshold information 110 correlation information of the distance and severity from the center it is written, to determine the importance (95). 例として、しきい値情報110で、中心からの距離を百分率で表した比率が20%づつ増えるごとに重要度が変化するという相関関係が記述されている場合について示す。 As an example, the case where the threshold value information 110, correlation with a ratio that represents the distance from the center in percentage changes severity in each additional increments of 20% is described. 中心からの距離を百分率で表したものとは、中心からの距離が From that represents the distance from the center as a percentage, is the distance from the center
0のときは0%、1のときは100%としたときの比率である。 0% 0, when the 1 is the ratio of is 100%.

【0046】図10の例の場合は、中心からの距離が0.5 [0046] For example in FIG. 10, the distance from the center 0.5
なので、比率が50%となる。 So, the ratio is 50%. しきい値情報110で、中心からの距離が20%未満の場合には重要度が1、20%以上 In threshold information 110, importance when the distance from the center is less than 20% 1, 20% or more
40%未満の場合には重要度が2、40%以上60%未満の場合には重要度が3、60%以上80%未満の場合には重要度が4、80%以上の場合は重要度が5、のように定義されていたとする。 Importance in the case of more than 4,80% importance when importance is less than 80% 3,60% when importance is less than 60% 2,40% in the case of less than 40% There is 5, it has been defined as. この場合、図10にの例では、比率が50%なので重要度が3に決定される。 In this case, in the example of Figure 10, the ratio is 50% because importance is determined to 3.

【0047】このように、本実施の形態では、映像再生時の画面の位置情報を取得して、容易に重要度を決定することができる。 [0047] In this way, the present embodiment acquires the position information of the screen during video playback can be determined easily importance. また、中心からの距離が矩形に決定することによって、画面の面積比に応じた重要度をつけることができ、その実用的効果は大きい。 Also, by the distance from the center is determined as a rectangle, can be given a degree of importance according to the area ratio of the screen, its practical effect is large.

【0048】(実施の形態3)実施の形態1では、映像表示画面の位置情報をもとに重要度を決定した。 [0048] In Embodiment 1 (Embodiment 3) to determine the importance degree based on the position information of the video display screen. 実施の形態3では、データに重要度を決定するときに、伝送中のフレーム(現フレーム)より一つ以上前のフレーム(前フレーム)における同位置のデータと比べて変化があったかどうかで重要度を決定する。 In the third embodiment, when determining the importance degree of the data, importance on whether there is a change compared to the same position of the data in the frame being transmitted (current frame) one or more from the previous frame (previous frame) to determine. 変化があったかどうかは、一つ以上前のフレームにおける同位置のデータの長さを比較することによって判定する。 Whether there has been a change is determined by comparing the length of the data of the same position in one or more previous frames. DV圧縮データでは、1フレームの映像を構成するデータの単位をブロックという。 The DV compressed data, that blocks the unit of data constituting the image of one frame. 同じ映像情報を持つ二つのブロックは、再生したときに同じ映像を表示し、ブロックのデータの長さ(ブロック長)は等しい。 Two blocks having the same image information, displays the same image when reproduced, the length of the data blocks (block length) is equal.

【0049】そこで本実施の形態では、伝送中のフレームにおけるブロックを一つ以上前のフレームにおいて映像再生時に同じ位置の映像情報を持つブロックの長さを比較して、ブロック長が等しい場合には同じ映像が表示され、映像に変化がなかったものとする。 [0049] Therefore, in the present embodiment is different from the length of the block with the image information of the same position during video reproduction in the previous frame one or more blocks in a frame during transmission, if the block length is equal to the same image is displayed, it is assumed there was no change in the video. 変化があった場合には、前フレームの映像とは異なり、パケットが欠落しても前のフレームで補えない場合があるので、重要度を高くする。 If there is a change is different from the image of the previous frame, because it may be a packet is missing not compensated in the previous frame, increasing the importance. もし、変化がなかったとされたものなら、パケットが欠落しても前フレームのブロックを補うことができるので、再送要求の判定の元になる重要度を低くする本実施の形態では、伝送中のフレームよりも一つ前のフレームを前フレームとして扱った。 If, if those with there has been no change, it is possible to compensate for the block in the previous frame even packet missing, in the present embodiment to reduce the severity underlying the determination of the retransmission request, in the transmission dealing with the previous frame as the previous frame than the frame. なお、前フレームは一つ前のフレームに限定するものではない。 Incidentally, the previous frame is not limited to the previous frame. また本実施の形態では、比較するデータの単位をブロックとしたが、これはブロックに限定するものではない。 In the present embodiment has a block unit of data to be compared, this is not limited to the block.

【0050】図10は、ブロック長を比較して重要度を決定する映像再送伝送装置である. [0050] Figure 10 is a video retransmission transmission apparatus for determining a degree of importance by comparing the block length. 本実施の形態では、図 In the present embodiment, FIG.
11において、1は映像データ、100はデータを送信する送信機、200はデータを受信する受信機である。 In 11, 1 video data, 100 is a transmitter for transmitting data, 200 is a receiver for receiving data.

【0051】送信機100は、実施の形態1の位置情報検査部102に代わって、映像データのブロックをバッファに入れ、また参照する必要がなくなったバッファの中身を削除するバッファ処理部111と、バッファに確保された前フレーム情報から、現フレームのブロックと同位置の前フレームのブロックを獲得し、長さを比較するブロック長比較部112を追加したものである。 [0051] The transmitter 100 includes a buffer unit 111 to be deleted on behalf of the position information checking unit 102 of the first embodiment, putting a block of video data in a buffer, also the contents of the buffer is no longer necessary to refer, from the previous frame information secured in the buffer, acquiring a block of the previous frame of the block at the same position of the current frame is obtained by adding the block length comparison unit 112 for comparing the length. その他の構成は、図1に示す実施の形態1と同じである。 Other configurations are the same as that in the first embodiment shown in FIG.

【0052】受信機200は、実施の形態1に再生時に欠落したデータを補う前フレーム情報207を付加したものである。 [0052] The receiver 200 is obtained by adding the frame information 207 before supplementing the data missing at the time of reproduction in the first embodiment.

【0053】送信機100の処理の流れについて説明する. [0053] a description will be given of a flow of processing of the transmitter 100. 送信機100は、実施の形態1と同様にデータ読込み部101が映像データ1を読み込む。 Transmitter 100, data read unit 101 as in the first embodiment reads the image data 1. 読込んだデータを、バッファ処理部111がブロックごとにバッファに確保し、 The read elaborate data, the buffer unit 111 is secured in the buffer for each block,
不必要となったフレーム情報を順次バッファから消去していく。 Continue to erase from the sequential buffer the frame information that became unnecessary. バッファ処理部111によってバッファに確保されたデータは、前フレーム情報113として取っておく。 Data reserved in the buffer by the buffer processing section 111, set aside as previous frame information 113.

【0054】ブロック長を比較して重要度を決定する処理の流れを図13に示す。 [0054] showing a flow of processing by comparing the block length determining importance in FIG. ブロック長比較部112は、データ読込み部101で読み込んだ現フレームのデータから重要度決定対象となるブロックの長さL1を取得する(13 Block length comparison unit 112 obtains the length L1 block of read in the data reading unit 101 from the data of the current frame and the importance degree determination target (13
1)。 1). また、前フレーム情報113から、現フレームの重要度決定対象であるブロックと表示画面において同じ位置にある前フレームのブロックのブロック長L0を取得する Further, from the previous frame information 113, and acquires the block length L0 of the block of the previous frame at the same position on the display screen to be important degree determination target block of the current frame
(132)。 (132). 現フレームのブロック長L1と前フレームのブロック長L0を比較し(133)、L0≠L1ならば高い重要度を(1 Comparing the block length L0 of the previous frame and the block length L1 of the current frame (133), the L0 ≠ L1 if high importance (1
34)、L0=L1ならば低い重要度を(135)つける。 34), L0 = L1 if the low importance (135) attached. 図12にブロック長比較の概念図を示す。 It shows a conceptual diagram of block length compared to Figure 12. 前フレームと現フレームを比較して、(121)はブロック長が等しい場合を、 By comparing the previous frame and the current frame, where (121) the block length is equal,
(122)はブロック長が異なる場合を示している。 (122) shows a case where the block lengths are different. 図13 Figure 13
では、映像に変化があったと判定された場合は重要度を In, the importance if it is determined that there is a change in the video
1に、変化がなかったと判定された場合には重要度を5に決定した場合の例である。 1, an example in which to determine the importance level 5 when it is determined that there has been no change.

【0055】そして実施の形態1と同様に、パケット生成部104でパケットを生成し、データ送信部105で生成したパケットを送信する。 [0055] Then similarly to the first embodiment, generates a packet by the packet generation unit 104, and transmits the generated packet data transmission unit 105. また、再送要求があった場合には、データ受信部106で受信機200からの再送要求パケットを受信し、再送処理部107で指定されたパケットを判定し再送の処理を行う。 Further, when there is a retransmission request, receives a retransmission request packet from the receiver 200 at the data receiving unit 106 determines the specified by the retransmission processing section 107 the packet performs the process of retransmission.

【0056】受信機200は、実施の形態1と同様に、データ受信部201がデータを受信し、パケット解析部202で誤りや欠落が生じたか解析する。 [0056] The receiver 200 is, as in the first embodiment, the data receiving unit 201 receives the data, analyzing whether an error or missing occurs in the packet analysis unit 202. 誤りや欠落が生じた場合には、再送判定部203がデータの重要度をもとに再送要求の判定を行う。 If an error or missing occurs, retransmission determination section 203 performs the determination of the retransmission request based on the importance of the data. 再送要求部204が、重要度の高いデータに対しては再送要求をし、低いデータに対しては行わない。 Retransmission request unit 204, a retransmission request for the high importance data is not performed for low data. 1フレーム分のパケットを受信し終わったら、 Once it has received the one frame of the packet,
データ再生部206が映像を再生する。 Data playback unit 206 to play the video. ここで欠落している映像データ、すなわち伝送に誤りが生じてもパケットの再送を行わなかったデータがあったら、データ再生部 Video data missing here, i.e. if there is data that has not perform retransmission of the packet even if an error occurs in the transmission, the data reproducing unit
206は、あらかじめバッファに蓄えられていた前フレーム情報207から一つ前のフレームで同じ位置に表示されるデータを取得して、欠落したデータの代わりに補う。 206 acquires the data to be displayed at the same position in the previous frame from the frame information 207 before accumulated in the pre-buffer, supplement instead of missing data.
また、データ再生部206は、現在処理中のフレームのデータは、次のフレームのためにバッファに確保しておく。 The data reproducing unit 206, data of the frame currently being processed, be reserved buffer for the next frame.

【0057】このように、本実施の形態では、伝送中のフレームの映像データと、伝送中のフレームより一つ前のフレームにおける同位置のデータを比較して、映像に変化があったかどうかを判定し、重要度をつける。 [0057] Thus, in the present embodiment, the video data frame being transmitted, by comparing the data of the same position in the previous frame from the frame being transmitted, determining whether there has been a change in the video and, it puts the importance. このことによって、通信時にデータが欠落した場合には、そのデータの重要度に応じて再送要求を行い、映像再生時に重要な画面情報の欠落を回避することができ、その実用的効果は大きい。 Thereby, if data is lost during communication, performs a retransmission request according to the importance of the data, it is possible to avoid the loss of critical screen information during video playback, its practical effect is large.

【0058】(実施の形態4)実施の形態1では、位置情報をもとに重要度を決定した。 [0058] (Embodiment 4) In the first embodiment, to determine the importance on the basis of the position information. 実施の形態4では、重要度を決定する手法として、位置情報に加えて、伝送中であるフレーム(現フレーム)と、伝送中のフレームより一つ以上前のフレーム(前フレーム)とを比較して、 In the fourth embodiment, as a method of determining the importance, in addition to the position information, is in a transmission frame (the current frame) is compared with the one or more previous frame (previous frame) than the frame being transmitted Te,
フレーム全体の映像として変化があったか、シーンが変わったかという変化の度合いによって重要度を決定する。 There has been a change as an image of the entire frame, to determine the importance of the degree of change of whether changed scene. 図14は、実施の形態1にフレームの変化の度合いを比較して重要度を決定する機能を付加した映像再送伝送装置である。 Figure 14 is a video retransmission transmission apparatus adds a function of determining the degree of importance by comparing the degree of change of the frame to the first embodiment.

【0059】本実施の形態では、フレームのシーンの変化が大きいときは重要度を高く、変化が小さいときは重要度を低く設定する。 [0059] In this embodiment, when the change in the frame of the scene is large high importance, when the change is small, setting a low degree of importance. これは、シーンに変化がなかった場合には、前フレームの映像と近似している可能性が高いので、パケットが欠落しても前フレームのブロックを補うことができるものとして、再送要求の判定の元になる重要度をフレーム全体で低くする。 This is because if there is no change in the scene, there is a high possibility that the approximation with the picture of the previous frame, as can be compensated block of the previous frame after packet lost, the determination of the retransmission request to lower the degree of importance becomes the original in the entire frame. シーンが変わった場合には前フレームの映像とは異なり、パケットが欠落しても前のフレームで補えないので、フレーム全体の重要度を高くしてパケットの欠落を回避する。 Unlike the image of the previous frame if the scene has changed, because even if a packet is missing not compensated in the previous frame, to avoid missing of the packet by increasing the importance of the entire frame.

【0060】二つのフレームに変化があったかどうかの度合いを測る方法として、本実施の形態では関数K=Y(F [0060] As a method for measuring the degree of whether there has been a change in the two frames, in this embodiment the function K = Y (F
0,F1)を利用する。 0, F1) to use. これは、あらかじめ決められた関数であり、二つのフレーム情報 F0,F1を引数として、二フレーム間の変化の度合いを表す変数Kの値を返す。 This is a function which is determined in advance, the two frame information F0, F1 as an argument and returns the value of the variable K indicating the degree of change between two frames. なお、変化の度合いを求める関数Yについては、本実施の形態では特定しない。 Note that the function Y for obtaining the degree of change, not specified in this embodiment.

【0061】本実施の形態では、伝送中のフレームよりも一つ前のフレームを前フレームとして扱った。 [0061] In this embodiment, it treated as the previous frame the previous frame than the frame being transmitted. なお、 It should be noted that,
前フレームは一つ前のフレームに限定するものではない。 The previous frame is not limited to the previous frame.

【0062】本実施の形態では、図14において、1は映像データ、100はデータを送信する送信機、200はデータを受信する受信機である。 [0062] In this embodiment, in FIG. 14, 1 denotes an image data, 100 is a transmitter for transmitting data, 200 is a receiver for receiving data.

【0063】送信機100は、実施の形態1に読み込んだデータを前フレーム情報113としてバッファに入れるバッファ処理部111と、処理中のフレームと前フレームの変化の度合いを比較するフレーム比較部114を追加したものである。 [0063] The transmitter 100 includes a buffer unit 111 to buffer the read data to the first embodiment as previous frame information 113, the frame comparing section 114 for comparing the degree of change in the frame and the previous frame being processed in which added. それ以外の構成は、図1に示す実施の形態1 The other configuration, the embodiment shown in FIG. 1 1
と同じである。 Is the same as that. 受信機200は、図11に示す実施の形態3と同じである。 The receiver 200 is the same as the third embodiment shown in FIG. 11.

【0064】送信機100は、実施の形態1と同様にデータ読込み部101が映像データ1を読み込む。 [0064] Transmitter 100 is similarly data reading unit 101 in the first embodiment reads the image data 1. 実施の形態3 Embodiment 3
と同様に、バッファ処理部111が復元したデータをブロックごとにバッファに確保し、前フレーム情報113として取っておく。 Similarly, aside the data buffer unit 111 is restored secured in the buffer for each block, as the previous frame information 113 and.

【0065】位置情報検査部102と、フレーム比較部114 [0065] The position information checking unit 102, the frame comparing section 114
と、送信順位決定部103で、位置情報とフレームの変化の度合いから重要度を獲得する処理の流れを図16に示す。 If, in sending order determining unit 103, showing the flow of processing for acquiring importance from the degree of change of the position information and the frame in FIG. 16.

【0066】位置情報検査部102で、そのデータが再生されたときにどの位置に表示されるかという位置情報を検査する(161)。 [0066] In the position information checking unit 102, the data is examined positional information indicating displayed at any position when played (161). フレーム比較部114では,前のフレームと処理中のフレームを比較して、変化の度合いを表す変数K=Y(F0,F1) を算出する(162)。 The frame comparison unit 114 compares the previous frame and the frame being processed, the variable K = Y representing the degree of change (F0, F1) is calculated (162). 図15に前のフレームと現フレームを比較して、シーンに変化があった場合の例を示す。 By comparing the previous frame and the current frame in FIG. 15 shows an example of a case where there is a change in scene. (151)のように映像の変化が少なければ、シーンに変化がないものとして、変化度Kの値が小さくなる。 The less changes in the image as in (151), that there is no change in the scene, the value of the change degree K is reduced. (152)のように映像が大きく変わるものならば、シーンに変化があったものとして、変化度Kの値が大きくなる。 If those images as (152) largely changes, as there is a change in the scene, the value of the change degree K increases. 送信順位決定部103では、実施の形態1と同様に、位置情報検査部102で検査した位置情報から、 The transmission order determination unit 103, similarly to the first embodiment, the position information examined by the position information checking unit 102,
重要度を設定する(163)。 To set the importance (163). また、本実施の形態では、 Further, in this embodiment,
あらかじめ設定された、Kの値によって変化が大きいか小さいかを判定するしきい値を決定してある。 Preset, it is to determine the threshold for determining whether the change by the value of K is large or small. このしきい値を参照し、変化度Kと比較する(164)。 Referring to this threshold, compared to the degree of change K (164). Kがしきい値よりも大きかったら、すなわち変化が大きいと判定されたら、(163)で設定した重要度のレベルを最も高い値にし直す(165)。 K is Tara greater than the threshold, i.e., if it is determined that the change is large, again the highest value the level of importance set in (163) (165). Kがしきい値よりも小さかったら、 K is Tara smaller than the threshold value,
すなわち変化が少ないと判定されたら、(163)で設定した重要度のレベルを解析し(166)、最低レベルでなければ、重要度のレベルを1下げる(167)。 That If it is determined that there is little change, to analyze the level of importance set in (163) (166), if the lowest level, a level of importance lower 1 (167).

【0067】そして実施の形態1と同様に、パケット生成部104でパケットを生成し、データ送信部105でパケットを送信する。 [0067] Then similarly to the first embodiment, generates a packet by the packet generation unit 104 transmits the packet data transmission unit 105. また、再送要求があった場合には、データ受信部106で受信機からのパケットを受信し、再送処理部107で指定されたパケットを判定し再送の処理を行う。 Further, when there is a retransmission request, receives a packet from the receiver by the data receiving unit 106 determines the specified by the retransmission processing section 107 the packet performs the process of retransmission.

【0068】受信機200は、実施の形態1と同様に、データ受信部201がデータを受信し、パケット解析部202でに誤りや欠落が生じたか解析する。 [0068] The receiver 200 is, as in the first embodiment, the data receiving unit 201 receives the data, analyzing whether an error or missing occurs in the packet analysis unit 202. 誤りや欠落が生じた場合には、再送判定部203がデータの重要度をもとに再送要求の判定を行う。 If an error or missing occurs, retransmission determination section 203 performs the determination of the retransmission request based on the importance of the data. 再送要求部204が、重要度の高いデータに対しては再送要求をし、低いデータに対しては行わない。 Retransmission request unit 204, a retransmission request for the high importance data is not performed for low data. 1フレーム分受信し終わったら、データ再生部206が実施の形態3と同様にデータを再生する。 When you have received one frame, the data reproduction unit 206 reproduces the same data as in the third embodiment.

【0069】このように、本実施の形態では、伝送中のフレームの映像データと、伝送中のフレームより一つ前のフレームとの変化の度合いを比較して、映像シーンに変化があったかどうかを判定し、重要度をつける。 [0069] Thus, in the present embodiment, the video data frame being transmitted, by comparing the degree of change between the previous frame from the frame being transmitted, whether there has been a change in video scene judgment, put the importance. このことによって、通信時にデータが欠落した場合には、そのデータの重要度に応じて再送要求を行い、映像再生時に重要な画面情報の欠落を回避することができ、その実用的効果は大きい。 Thereby, if data is lost during communication, performs a retransmission request according to the importance of the data, it is possible to avoid the loss of critical screen information during video playback, its practical effect is large.

【0070】(実施の形態5)実施の形態1では、位置情報をもとに重要度を決定した。 [0070] (Embodiment 5) In the first embodiment, to determine the importance on the basis of the position information. 実施の形態5では、重要度を決定する手法として、位置情報に加えて、送信側が複数の異なる映像データを伝送し、受信側が一画面上で複数の異なる映像データを再生する装置において、読み込んでいる複数の映像データを比較して、それぞれの映像において一連のフレームの変化が大きいか小さいか、すなわち複数の映像を表示する画面の中で映像として相対的に比較して動きが大きいものであるか、または動きが少ないものかを判定して重要度を決定する。 In the fifth embodiment, as a method of determining the importance, in addition to the position information, the sender transmits a plurality of different video data, the apparatus receiving side reproduces a plurality of different video data on one screen, Loading comparing the plurality of image data are, but whether a change in a sequence of frames is large or small in each image, i.e., move in relatively compared as a video in a window for displaying a plurality of images is large or to determine whether having less motion determines the importance.

【0071】本実施の形態では、複数の異なる映像データを表示した画面(マルチ画面)において、相対的に動きの大きいと判定した映像には高い重要度を、動きが少ないと判定した映像には、低い重要度をつける。 [0071] In this embodiment, the screen displaying a plurality of different image data (multi-screen), a large and the determined higher importance degree to the image relatively moves, the image is judged to be less motion , put a low importance. これは、動きの大きい映像は、フレームごとに映像が大きく変化するので、一つ一つのフレームの重要性は高いと言え、また、動きの少ない映像は、フレームが代わっても映像の変化が少ないので、フレームの重要性は低いと言えるからである。 This is the big picture of the motion, since the image is greatly changed for each frame, although the high importance of every single frame, also less motion image is less change in the image even on behalf frame since, the importance of the frame is because it can be said that low. したがって、動きが小さいと判定された映像に対しては、フレーム全体に高い重要度を付加して、フレームレートが高くなるようにし、動きが小さいと判定された映像には、フレーム全体の重要度を低くする。 Thus, for images that are determined to motion is small, by adding a high importance to the entire frame, so the frame rate becomes higher, the image is determined to motion is small, the entire frame importance It is lowered.

【0072】n画面の映像を表示するマルチ画面の中で、映像として相対的に比較したとき動きが大きいものか、または動きが少ないかという度合い(映像相関)を測る方法として、本実施の形態では関数P=Q(D1,D2,...,D [0072] In a multi-screen which displays the image of the n screen, as a method to measure the degree of whether or not a large motion when relatively compared as a video or motion, it is small (image correlation), this embodiment the function P = Q (D1, D2, ..., D
n)を利用する。 n) to use. これは、あらかじめ決められた関数であり、n個の映像情報D1,D2,...,Dnを引数とし、映像Dkをマルチ画面におけるその他の映像との相関を表す相関変数Pkを算出する関数である。 This is a function predetermined, n pieces of video information D1, D2, ..., and arguments Dn, calculates a correlation variable Pk representing the correlation with other picture image Dk in the multi-picture function it is. なお、映像相関関数Qについては、本実施の形態では特定しない。 Note that the image correlation function Q is not specified in this embodiment.

【0073】図17と図18は実施の形態1に、複数の異なる映像データを表示した画面(マルチ画面)において、 [0073] Figures 17 and 18 the first embodiment, the screen displaying a plurality of different image data (multi-screen),
一つの映像が他の映像と比較して動きがあるかないかという映像どうしの相関を求めることによって、重要度を決定する機能を付加した映像再送伝送装置の受信機と送信機である。 By one video correlating video each other that whether there is movement in comparison with the other images, a transmitter and a receiver of the video retransmission transmission apparatus adds a function of determining the importance.

【0074】本実施の形態では、図17において、1はDV [0074] In the present embodiment, in FIG. 17, 1 DV
圧縮方式による映像データ、100はデータを送信する送信機、300-Nは、一つの映像データ1を読み込んでパケットを生成し、伝送するまでの一連の処理である。 Video data by compression method, 100 transmitter for transmitting data, 300-N generates a packet by reading a video data 1, a series of processing up to the transmission. 300-1 300-1
から300-Nまでは、同一構成でN種類の映像データをそれぞれの処理が読み込んで、パケットを生成し伝送する構成であることを示している。 From to 300-N indicates that loading the respective processing N kinds of video data with the same configuration, a configuration for generating and transmitting packets. 送信機100は、実施の形態1に、映像データを伝送する処理の過程で、映像データの相関を判定し、管理するマルチ画面管理部115を追加したものである。 Transmitter 100 in the first embodiment, in the course of processing for transmitting video data, with the addition of a multi screen management unit 115 determines the correlation of the video data and management.

【0075】図18において、200はデータを受信する受信機である。 [0075] In FIG. 18, 200 is a receiver for receiving data. 400-Nは、伝送された一つの映像データを受信して再生する一連の処理の流れである。 400-N is the processing sequence for receiving and reproducing one of the video data transmitted. 400-1から4 From 400-1 4
00-Nまでは、同一構成でN種類の映像データを受信して再生する構成であることを示している。 Until 00-N is shown to be configured to receive and play the N kinds of video data in the same configuration. その他の構成は、実施の形態1と同じである。 Other configurations are the same as in the first embodiment.

【0076】送信機100は、実施の形態1と同様にデータ読込み部101が映像データ1を読み込む。 [0076] Transmitter 100 is similarly data reading unit 101 in the first embodiment reads the image data 1. 位置情報検査部102と、マルチ画面管理部115、と送信順位決定部103 A location information checking unit 102, the multi screen management unit 115, a transmission order determination unit 103
で、位置情報とマルチ画面における映像の相関から重要度を決定する処理の流れを図19に示す。 In, showing the flow of processing for determining the importance of the correlation of the image in the position information and the multi-screen is shown in Figure 19.

【0077】位置情報検査部102で、映像データの表示画面でどの位置に表示されるかという位置情報を検査する(191)。 [0077] In the position information checking unit 102 checks the positional information indicating displayed at which position on the display screen of the video data (191). マルチ画面管理部115では、送信機100が複数の映像を送信する場合に、それぞれの映像の画面上での相対的な動きを比較して、映像Dkを他の映像と比較したときの相関関数Pk=Q(D1,D2,...,Dn)を算出する(1 In the multi screen management unit 115, when the transmitter 100 transmits a plurality of images, by comparing the relative movement on the screen of each video, the correlation function when comparing picture Dk and other video pk = Q (D1, D2, ..., Dn) is calculated (1
92)。 92). 映像を比較する例として、図17のように送信機が四つのカメラの映像を読み込んで、マルチ画面における動きの大きさの相関について比較する場合について説明する。 As an example of comparing a video transmitter as in FIG. 17 reads the four camera images, a case of comparing the correlation magnitude of the motion in the multi-screen. ここでは、四つの映像の動きを比較して、例えばカメラ4のようなスポーツの映像やカメラ3のような動く乗物の映像には、相関関数P3,P4を高く設定する。 Here, by comparing the four motion video, for example, the vehicle on the image of the moving like sports video and camera 3, such as a camera 4 is set higher correlation functions P3, P4. また、カメラ1のような風景やカメラ2のような静物の映像には、低い相関関数P1,P2を設定する。 In addition, the still life of the image, such as a landscape or a camera 2 such as a camera 1, sets a low correlation function P1, P2. 送信順位決定部1 Transmission order determining section 1
03では、まず、位置情報検査部102で検査した位置情報から、実施の形態1と同様に重要度を設定する(193)。 In 03, first, the position information examined by the position information checking unit 102 sets the equally important degree in the first embodiment (193).
本実施の形態では、あらかじめマルチ画面管理部115で求めたPkの値からデータにつける重要度を決定するしきい値が設定されている。 In the present embodiment, it is set the threshold to determine the severity give the value of Pk obtained in advance multi screen management unit 115 to the data. 送信順位決定部103では、しきい値を参照し、(192)で設定した相関関数Pkとしきい値を比較する(194)。 The transmission order determination unit 103, with reference to the threshold, comparing the correlation function Pk and the threshold set in (192) (194). Pkがしきい値よりも大きかったら、すなわち映像の動きが大きい画面であると判定されたら、(193)で設定した重要度のレベルを最も高い値に設定し直す(195)。 Pk is Tara greater than the threshold, i.e., if it is determined that the screen motion picture is large, re-set to the highest value the level of importance set in (193) (195). Pkがしきい値よりも小さかったら、すなわち映像の動きが少ない画面であると判定されたら、(193)で設定した重要度のレベルを解析し(18 Pk is Tara smaller than the threshold value, i.e. if it is determined that the screen motion of the image is small, analyzes the level of importance set in (193) (18
6)、最低レベルでなければ、重要度のレベルを1下げる(197)。 6) If the lowest level, a level of importance lower 1 (197).

【0078】そして実施の形態1と同様に、パケット生成部104でパケットを生成し、データ送信部105でパケットを送信する。 [0078] Then similarly to the first embodiment, generates a packet by the packet generation unit 104 transmits the packet data transmission unit 105. また、再送要求があった場合には、データ受信部106で受信機からのパケットを受信し、再送処理部で指定されたパケットを判定し再送の処理を行う。 Further, when there is a retransmission request, receives a packet from the receiver by the data receiving unit 106 determines the specified by the retransmission processing section packet performs the process of retransmission.

【0079】受信機200は、実施の形態1と同様に、データ受信部201がデータを受信し、パケット解析部202で誤りや欠落が生じたか解析する。 [0079] The receiver 200 is, as in the first embodiment, the data receiving unit 201 receives the data, analyzing whether an error or missing occurs in the packet analysis unit 202. 誤りや欠落が生じた場合には、再送判定部203がデータの重要度をもとに再送要求の判定を行う。 If an error or missing occurs, retransmission determination section 203 performs the determination of the retransmission request based on the importance of the data. 再送要求部204が、重要度の高いデータに対しては再送要求をし、低いデータに対しては行わない。 Retransmission request unit 204, a retransmission request for the high importance data is not performed for low data. 1フレーム分データを受信したら、データ再生部206が映像を再生する。 After receiving one frame data, the data reproducing unit 206 reproduces the video.

【0080】このように、本実施の形態では、送信する複数の映像において、高いフレームレートで伝送すべき映像とフレームレートを落として影響が少ないものとを判定して重要度をつける。 [0080] Thus, in the present embodiment, a plurality of images to be transmitted, to determine the as impact drop the video frame rate to be transmitted at a higher frame rate is less put importance. このことによって、通信時にデータが欠落した場合には、そのデータの重要度に応じて再送要求を行い、映像再生時に重要な画面情報の欠落を回避することができ、その実用的効果は大きい。 Thereby, if data is lost during communication, performs a retransmission request according to the importance of the data, it is possible to avoid the loss of critical screen information during video playback, its practical effect is large.

【0081】 [0081]

【発明の効果】以上のように本発明によれば、送信機が映像データを生成し伝送し、受信機が即時に再生する場合において、(1)誤りや欠落が生じたデータに対してデータの重要度に応じて再送を行うので映像画面の重要な情報の欠落を防ぐことができる、(2)誤りや欠落が生じたデータに対して、すべて再送を行うのではないので、 According to the present invention as described above, according to the present invention, transmitter transmits generates video data, when the receiver is to play immediately, (1) data for errors or missing occurs data it is possible to prevent the loss of important information of the video screen because a retransmission according to the importance of, the (2) for errors or omissions occurs data not do all retransmissions,
ネットワーク帯域の消費を軽減することができる、 It is possible to reduce the consumption of network bandwidth,
(3)表示画面の位置座標から、中心からの距離を求めて映像データのブロックの重要度を容易に決定できる、 (3) from the position coordinates of the display screen, the importance of blocks of video data can be determined easily seek distance from the center,
(4)前のフレームと処理中のフレームの変化の度合いを比較することによって映像データのブロックの重要度を決定できる。 (4) it can determine the importance of a block of video data by comparing the degree of change of the frame being processed as the previous frame. (5)複数のカメラの映像を再生するマルチ画面において、映像の相関を比較することによって映像データのブロックの重要度を決定できる、という効果が得られる。 (5) In the multi-screen reproducing video of a plurality of cameras can be determined the importance of blocks of video data by comparing the correlation of the image, the effect is obtained that.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明の実施の形態1における映像伝送再送装置の構成図 Diagram of a video transmission retransmission apparatus according to the first embodiment of the present invention; FIG

【図2】本発明の実施の形態1における映像データとパケットの構成図 Block diagram of an image data packet in the first embodiment of the present invention; FIG

【図3】本発明の実施の形態1における重要度をつけた映像データ例図 [3] The video data example diagram attached importance according to the first embodiment of the present invention

【図4】本発明の実施の形態1における再送判定処理の流れ図 Flow chart of retransmission determination process in the first embodiment of the present invention; FIG

【図5】本発明の実施の形態1における重要度判定の流れ図 Flowchart of importance determination in the first embodiment of the present invention; FIG

【図6】本発明の実施の形態1における伝送に誤り生じたデータ例図 [6] Data Examples Figure caused errors in transmission in the first embodiment of the present invention

【図7】本発明の実施の形態2における映像伝送再送装置の構成図 Diagram of a video transmission diversion means in the second embodiment of the present invention; FIG

【図8】本発明の実施の形態2における重要度をつけた映像データ例図 [8] video data example diagram attached importance in the second embodiment of the present invention

【図9】本発明の実施の形態2における重要度決定処理の流れ図 Figure 9 is a flow diagram of the importance degree determination process in the second embodiment of the present invention

【図10】本発明の実施の形態2における中心からの距離取得例図 Distance obtaining illustration of the center in the second embodiment of the invention; FIG

【図11】本発明の実施の形態3における映像伝送再送装置の構成図 Figure 11 is a configuration diagram of a video transmission retransmission device according to the third embodiment of the present invention

【図12】本発明の実施の形態3におけるブロック長比較例図 [12] The block length Comparative Example view of a third embodiment of the present invention

【図13】本発明の実施の形態3における重要度決定処理の流れ図 Figure 13 is a flow diagram of the importance degree determination process in the third embodiment of the present invention

【図14】本発明の実施の形態4における映像伝送再送装置の構成図 Figure 14 is a configuration diagram of a video transmission retransmission device in the fourth embodiment of the present invention

【図15】本発明の実施の形態4におけるフレーム比較例図 [15] Frame Comparative Example view of a fourth embodiment of the present invention

【図16】本発明の実施の形態4における重要度決定処理の流れ図 Flowchart of importance determination processing in the fourth embodiment of FIG. 16 the present invention

【図17】本発明の実施の形態5における映像伝送再送装置の送信機の構成図 Diagram of a transmitter of the video transmission retransmission device in the fifth embodiment of Figure 17 the present invention

【図18】本発明の実施の形態5における映像伝送再送装置の受信機の構成図 Figure 18 is a configuration diagram of a receiver of the video transmission retransmission device in the fifth embodiment of the present invention

【図19】本発明の実施の形態5における映像相関比較例図 [19] Video Correlation Comparative Example view of a fifth embodiment of the present invention

【図20】本発明の実施の形態5における重要度決定処理の流れ図 Figure 20 is a flow diagram of the importance degree determination process according to the fifth embodiment of the present invention

【図21】従来例の映像伝送装置の構成図 Figure 21 is a configuration diagram of a video transmission apparatus in the prior art

【符号の説明】 DESCRIPTION OF SYMBOLS

1 映像データ 100 送信機 101 データ読込み部 102 位置情報検査部 103 送信順位決定部 104 パケット生成部 105 データ送信部 106 データ受信部 107 再送処理部 108 距離設定部 109 重要度決定部 110 しきい値情報 111 バッファ処理部 112 ブロック長比較部 113 前フレーム情報 114 フレーム比較部 115 マルチ画面管理部 200 受信機 201 データ受信部 202 パケット解析部 203 再送判定部 204 再送要求部 205 データ送信部 206 データ再生部 207 前フレーム情報 1 the video data 100 transmitter 101 data read unit 102 position information checking unit 103 sending order determining unit 104 packet generating unit 105 data transmission unit 106 data receiving unit 107 retransmission processing unit 108 distance setting unit 109 importance degree determination unit 110 Threshold Information 111 buffer unit 112 block length comparing unit 113 before the frame information 114 frame comparing section 115 multi screen management unit 200 receiver 201 data receiving unit 202 packet analysis unit 203 retransmission determination unit 204 retransmission request unit 205 data transmission unit 206 data reproducing unit 207 the previous frame information

Claims (9)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】 データ伝送誤りが生じた場合、重要な情報の欠落を防ぐために、映像データを伝送する際に、その映像データが表示されたときの画面の位置情報からデータに重要度を付加することを特徴とした映像伝送方法。 1. A case where the data transmission error has occurred, to prevent loss of important information, when transmitting video data, adds importance to data from the position information of the screen when the video data is displayed video transmission method characterized by.
  2. 【請求項2】 データ伝送誤りが生じた場合、重要な情報の欠落を防ぐために、送信側が映像データを表示したときの画面の位置情報からデータに重要度を付加して伝送し、受信側がデータに付加された重要度をもとに再送要求の判定をすることを特徴とした映像伝送再送方法。 Wherein when the data transmission error has occurred, to prevent loss of important information, the sender transmits by adding a degree of importance from the position information on the data of the screen when displaying the image data, the receiving side data video transmission retransmission method which is characterized in that a decision is based on the retransmission request the added importance to.
  3. 【請求項3】 データを読み込むデータ読込み手段と、 3. A data reading means for reading the data,
    映像データが画面のどの位置に表示されるかという位置情報を検査する位置情報検査手段と、前記位置情報から送信するデータの順位を決める送信順位決定手段と、前記送信順位に従ってデータを送信するデータ送信手段と、データを受信するデータ受信手段と、正しく伝送されなかったデータに対して受信側から再送要求があった場合にデータを再送する再送処理手段とを備えた映像伝送装置。 Data to be transmitted and position information checking means for checking the location information of whether the video data is displayed at which position on the screen, and sending order determining means for determining the order of data to be transmitted from the position information, the data according to the sending order transmitting means, data receiving means for receiving data, video transmission apparatus and a retransmission processing means retransmits the data when there is a retransmission request from the receiving side with respect to not properly transmitted data.
  4. 【請求項4】 データを読み込むデータ読込み手段と、 4. A data reading means for reading the data,
    映像データが画面のどの位置に表示されるかという位置情報を検査する位置情報検査手段と、前記位置情報から送信するデータの順位を決める送信順位決定手段と、前記送信順位に従ってデータを送信するデータ送信手段と、データを受信するデータ受信手段と、 正しく伝送されなかったデータに対して受信側から再送要求があった場合にデータを再送する再送処理手段と、 Data to be transmitted and position information checking means for checking the location information of whether the video data is displayed at which position on the screen, and sending order determining means for determining the order of data to be transmitted from the position information, the data according to the sending order and transmitting means, the retransmission processing means retransmits the data receiving means for receiving the data, the data when there is a retransmission request from the receiving side with respect to not correctly transmitted data,
    を備えた送信機と、 正しく伝送されなかったデータの誤りを検査する解析手段と、正しく伝送されなかったデータの再送を要求するかどうかを判断する再送判定手段と、再送要求を行う再送要求手段と、受信した映像データを再生するデータ再生手段と、を備えた受信機と、を有する映像伝送再送装置。 A transmitter and a analysis means for checking an error in data that has not been transmitted correctly, a retransmission judging unit that determines whether to request retransmission of data that was not successfully transmitted, the retransmission request means requests retransmission When, video transmission diversion means having a receiver having a data reproducing means for reproducing the received video data.
  5. 【請求項5】 映像データが画面のどの位置に表示されるかという位置情報をもとに、映像データの1フレームを構成する要素となるデータが画面の中心からどれくらい離れているかを設定する距離設定手段と、中心からの距離とデータの重要度の関係を記述したしきい値情報から重要度が矩形に分布するように決定する重要度決定手段とを備たことを特徴とする請求項3に記載の映像伝送装置、または請求項4に記載の映像伝送再送装置。 5. The position information indicating the image data is displayed at which position on the screen based on a distance for setting whether data is an element constituting one frame of video data is far much from the center of the screen and setting means, according to claim 3 in which importance from the threshold information describing the importance of the relationship between the distance and data from the center is equal to or was Bei the importance degree determination means for determining so as to be distributed in a rectangular video transmission retransmission device according to the video transmission apparatus or claim 4, according to.
  6. 【請求項6】 映像データを送信側のバッファにいれるバッファ処理手段と、バッファに蓄えられた伝送処理中のフレームより一つ以上前のフレーム情報から、伝送処理中のフレームを構成するデータと画面に表示したときに同位置に表示されるデータを参照して、データの長さを比較することによってデータが持つ映像情報が変化したかどうかを判定するデータ長比較手段とを備え、 データ長の変化から重要度を決定することを特徴とする請求項3に記載の映像伝送装置、または請求項4に記載の映像伝送再送装置。 6. A buffering means which are in the buffer of the transmitting-side video data, from one or more previous frame information from the frame in the transmission processing stored in the buffer, the data and the screen constituting a frame during transmission processing referring to the data displayed in the same position when being displayed on, and a data length comparing means for determining whether the image information has changed with the data by comparing the length of the data, the data length video transmission retransmission device according to the video transmission apparatus or claim 4, according to claim 3, characterized in that to determine the importance of the change.
  7. 【請求項7】 バッファに蓄えられた伝送処理中のフレームより一つ以上前のフレーム情報から、伝送処理中のフレームと一つ前のフレームのシーンが変わったかどうかを比較するフレーム比較手段を備え、 シーンが大きく変わったかどうかの変化の度合いから重要度を決定する機能を備えた請求項3に記載の映像伝送装置、または請求項4に記載の映像伝送再送装置。 From 7. immediately preceding the above frames in the transmission processing stored in the buffer frame information, a frame comparing means for comparing whether the scene has changed in the frame and the previous frame in the transmission process , video transmission retransmission device according to the video transmission apparatus or claim 4, according to claim 3 having a function of determining the importance of the degree of change of whether the scene has changed significantly.
  8. 【請求項8】 複数映像データを読込み、複数の映像の中で相対的に比較して動きが大きいものと小さいものの相関関係を判定し管理するマルチ画面管理手段を備え、 8. Load multiple video data, includes a multi screen management means by relative comparison determines a correlation between having a large motion as small as managed among a plurality of images,
    複数映像の相関関係から重要度を決定する機能を備えた請求項3に記載の映像伝送装置。 Video transmission apparatus according to claim 3 having a function for determining an importance level from the correlation of multiple images.
  9. 【請求項9】 送信機が、異なる複数映像データを読込み、複数の映像の中で相対的に比較して動きが大きいものと小さいものの相関関係を判定し管理するマルチ画面管理手段を備え、 複数映像の相関関係から重要度を決定する機能を備えた請求項4に記載の映像伝送再送装置。 9. The transmitter is provided with a multi screen management means for managing determined read, a plurality of correlation of relative comparison to what a large movement and small things in the image a different video data, a plurality video transmission retransmission apparatus of claim 4 having a function of determining the degree of importance from the correlation of the image.
JP12988598A 1998-05-13 1998-05-13 Device and method for re-transmitting video in video transmission Pending JPH11331839A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP12988598A JPH11331839A (en) 1998-05-13 1998-05-13 Device and method for re-transmitting video in video transmission

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP12988598A JPH11331839A (en) 1998-05-13 1998-05-13 Device and method for re-transmitting video in video transmission

Publications (1)

Publication Number Publication Date
JPH11331839A true true JPH11331839A (en) 1999-11-30

Family

ID=15020756

Family Applications (1)

Application Number Title Priority Date Filing Date
JP12988598A Pending JPH11331839A (en) 1998-05-13 1998-05-13 Device and method for re-transmitting video in video transmission

Country Status (1)

Country Link
JP (1) JPH11331839A (en)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001274861A (en) * 2000-03-02 2001-10-05 Matsushita Electric Ind Co Ltd Method and device for data transmission
WO2002005566A1 (en) * 2000-07-07 2002-01-17 Matsushita Electric Industrial Co., Ltd. Image coding apparatus and image coding method
JP2002064474A (en) * 2000-08-07 2002-02-28 Lucent Technol Inc Method and system for radio link control(rlc) protocol enabling at least partial restoration of streaming service
JP2004166288A (en) * 2003-12-01 2004-06-10 Sharp Corp Radio communication device
JP2006129341A (en) * 2004-11-01 2006-05-18 Oki Electric Ind Co Ltd Transparent data transmitting method
JP2006174280A (en) * 2004-12-17 2006-06-29 Canon Inc Image processing apparatus, image processing method and program thereof
US7079582B2 (en) 2000-07-07 2006-07-18 Matsushita Electric Industrial Co., Ltd. Image coding apparatus and image coding method
WO2007000908A1 (en) * 2005-06-29 2007-01-04 Canon Kabushiki Kaisha Image processing device and image processing method
JP2007036540A (en) * 2005-07-26 2007-02-08 Matsushita Electric Ind Co Ltd Video scene information generating apparatus
JP2007086484A (en) * 2005-09-22 2007-04-05 Brother Ind Ltd Content delivery system, and content delivery method, delivery apparatus and terminal device used for the same, and program thereof
JP2007166479A (en) * 2005-12-16 2007-06-28 Matsushita Electric Ind Co Ltd Moving picture display device and moving picture display method
US7315898B2 (en) 2001-12-04 2008-01-01 Sony Corporation Data communication system, data transmission apparatus, data reception apparatus, data communication method, and computer program
JP2008022096A (en) * 2006-07-10 2008-01-31 Sanyo Electric Co Ltd Terrestrial digital broadcast receiver
JP2008312125A (en) * 2007-06-18 2008-12-25 Canon Inc Video receiving apparatus and control method of same
JP2009111605A (en) * 2007-10-29 2009-05-21 Canon Inc Video data transmission method, communication device and program
JP2009522900A (en) * 2006-01-04 2009-06-11 ノキア コーポレイション Method for verifying the state consistency between the video encoder and the video decoder
JP2009524364A (en) * 2006-01-20 2009-06-25 クゥアルコム・インコーポレイテッドQualcomm Incorporated Method and apparatus for determining an encoding method based on the distortion value associated with error concealment
JP2009153198A (en) * 2005-01-26 2009-07-09 Sanyo Electric Co Ltd Moving picture data reception apparatus
JP2010056964A (en) * 2008-08-28 2010-03-11 Canon Inc Receiving apparatus and control method thereof, program, and recording medium
JP2010088027A (en) * 2008-10-02 2010-04-15 Canon Inc X-ray image receiving system
JP2013093650A (en) * 2011-10-24 2013-05-16 Sony Corp Encoder, decoder and program
JP2013179704A (en) * 2013-06-13 2013-09-09 Canon Inc X-ray image reception system
US8861585B2 (en) 2006-01-20 2014-10-14 Qualcomm Incorporated Method and apparatus for error resilience algorithms in wireless video communication
US9252898B2 (en) 2000-01-28 2016-02-02 Zarbaña Digital Fund Llc Music distribution systems
US9659285B2 (en) 1999-08-27 2017-05-23 Zarbaña Digital Fund Llc Music distribution systems

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9659285B2 (en) 1999-08-27 2017-05-23 Zarbaña Digital Fund Llc Music distribution systems
US9252898B2 (en) 2000-01-28 2016-02-02 Zarbaña Digital Fund Llc Music distribution systems
JP4623616B2 (en) * 2000-03-02 2011-02-02 パナソニック株式会社 Data transmission method and apparatus
JP2001274861A (en) * 2000-03-02 2001-10-05 Matsushita Electric Ind Co Ltd Method and device for data transmission
US7079582B2 (en) 2000-07-07 2006-07-18 Matsushita Electric Industrial Co., Ltd. Image coding apparatus and image coding method
WO2002005566A1 (en) * 2000-07-07 2002-01-17 Matsushita Electric Industrial Co., Ltd. Image coding apparatus and image coding method
JP2002064474A (en) * 2000-08-07 2002-02-28 Lucent Technol Inc Method and system for radio link control(rlc) protocol enabling at least partial restoration of streaming service
US7315898B2 (en) 2001-12-04 2008-01-01 Sony Corporation Data communication system, data transmission apparatus, data reception apparatus, data communication method, and computer program
JP2004166288A (en) * 2003-12-01 2004-06-10 Sharp Corp Radio communication device
JP2006129341A (en) * 2004-11-01 2006-05-18 Oki Electric Ind Co Ltd Transparent data transmitting method
JP2006174280A (en) * 2004-12-17 2006-06-29 Canon Inc Image processing apparatus, image processing method and program thereof
JP2009153198A (en) * 2005-01-26 2009-07-09 Sanyo Electric Co Ltd Moving picture data reception apparatus
JP2007013419A (en) * 2005-06-29 2007-01-18 Canon Inc Image processor and image processing method
WO2007000908A1 (en) * 2005-06-29 2007-01-04 Canon Kabushiki Kaisha Image processing device and image processing method
US8705376B2 (en) 2005-06-29 2014-04-22 Canon Kabushiki Kaisha Image processing device and image processing method
JP4597803B2 (en) * 2005-07-26 2010-12-15 パナソニック株式会社 The video scene information generating device
JP2007036540A (en) * 2005-07-26 2007-02-08 Matsushita Electric Ind Co Ltd Video scene information generating apparatus
JP2007086484A (en) * 2005-09-22 2007-04-05 Brother Ind Ltd Content delivery system, and content delivery method, delivery apparatus and terminal device used for the same, and program thereof
JP2007166479A (en) * 2005-12-16 2007-06-28 Matsushita Electric Ind Co Ltd Moving picture display device and moving picture display method
JP2009522900A (en) * 2006-01-04 2009-06-11 ノキア コーポレイション Method for verifying the state consistency between the video encoder and the video decoder
US8325822B2 (en) 2006-01-20 2012-12-04 Qualcomm Incorporated Method and apparatus for determining an encoding method based on a distortion value related to error concealment
US8861585B2 (en) 2006-01-20 2014-10-14 Qualcomm Incorporated Method and apparatus for error resilience algorithms in wireless video communication
JP4908522B2 (en) * 2006-01-20 2012-04-04 クゥアルコム・インコーポレイテッドQualcomm Incorporated Method and apparatus for determining an encoding method based on the distortion value associated with error concealment
JP2009524364A (en) * 2006-01-20 2009-06-25 クゥアルコム・インコーポレイテッドQualcomm Incorporated Method and apparatus for determining an encoding method based on the distortion value associated with error concealment
JP2008022096A (en) * 2006-07-10 2008-01-31 Sanyo Electric Co Ltd Terrestrial digital broadcast receiver
US8194758B2 (en) 2007-06-18 2012-06-05 Canon Kabushiki Kaisha Image receiving apparatus and control method of image receiving apparatus
JP2008312125A (en) * 2007-06-18 2008-12-25 Canon Inc Video receiving apparatus and control method of same
JP2009111605A (en) * 2007-10-29 2009-05-21 Canon Inc Video data transmission method, communication device and program
US8358688B2 (en) 2007-10-29 2013-01-22 Canon Kabushiki Kaisha Method for transmitting moving image data and communication apparatus
JP2010056964A (en) * 2008-08-28 2010-03-11 Canon Inc Receiving apparatus and control method thereof, program, and recording medium
JP2010088027A (en) * 2008-10-02 2010-04-15 Canon Inc X-ray image receiving system
JP2013093650A (en) * 2011-10-24 2013-05-16 Sony Corp Encoder, decoder and program
US9693065B2 (en) 2011-10-24 2017-06-27 Sony Corporation Encoding apparatus, encoding method and program
JP2013179704A (en) * 2013-06-13 2013-09-09 Canon Inc X-ray image reception system

Similar Documents

Publication Publication Date Title
US7320099B2 (en) Method and apparatus for generating error correction data, and a computer-readable recording medium recording an error correction data generating program thereon
US6789123B2 (en) System and method for delivery of dynamically scalable audio/video content over a network
US20060233116A1 (en) Information processing apparatus and method, program, and recording medium
US20050050424A1 (en) Information processing device, its system, its method, its program, and recording medium storing the program
US6700893B1 (en) System and method for controlling the delay budget of a decoder buffer in a streaming data receiver
US5918002A (en) Selective retransmission for efficient and reliable streaming of multimedia packets in a computer network
US20090092311A1 (en) Method and apparatus for receiving multiview camera parameters for stereoscopic image, and method and apparatus for transmitting multiview camera parameters for stereoscopic image
US20050021827A1 (en) Data processing device, data processing system, data processing method, data processing program and recording medium storing the program
US6292834B1 (en) Dynamic bandwidth selection for efficient transmission of multimedia streams in a computer network
US20050249231A1 (en) Methods and systems for reliable distribution of media over a network
US6792470B2 (en) Method and apparatus for communicating with data frames having priority levels
US20030007785A1 (en) Network storage type video camera system
US20060251082A1 (en) Time-Aware Best-Effort Hole-Filling Retry Method and System for Network Communications
US20030126238A1 (en) Data communications system, data sender, data receiver, data communications method, and computer program
JP2001119437A (en) Data transmission method, data transmitter, data receiver and packet data structure
EP1175034A2 (en) A packet data transmission system with adaptive packet size
US7315898B2 (en) Data communication system, data transmission apparatus, data reception apparatus, data communication method, and computer program
JP2003069472A (en) Reception terminal device and communication system
US20090178087A1 (en) Intelligent retransmission of data stream segments
US20060168240A1 (en) Method and apparatus for determining client-perceived server response time
JPH0955776A (en) Packet communication device
US20080084821A1 (en) Method and devices for adapting the transmission rate of a data stream when there is interference
US7051358B2 (en) Data transmission in non-reliable networks
US20070079222A1 (en) Packet transmission apparatus, communication system and program
JPH09191314A (en) Continuous data transmission method and its transmitter

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees