JP7026232B2 - 通信システム、送信装置、通信方法およびプログラム - Google Patents
通信システム、送信装置、通信方法およびプログラム Download PDFInfo
- Publication number
- JP7026232B2 JP7026232B2 JP2020530776A JP2020530776A JP7026232B2 JP 7026232 B2 JP7026232 B2 JP 7026232B2 JP 2020530776 A JP2020530776 A JP 2020530776A JP 2020530776 A JP2020530776 A JP 2020530776A JP 7026232 B2 JP7026232 B2 JP 7026232B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- transmission
- video data
- transmission buffer
- completed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 141
- 238000004891 communication Methods 0.000 title claims description 99
- 230000005540 biological transmission Effects 0.000 claims description 348
- 238000003384 imaging method Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 description 102
- 238000012545 processing Methods 0.000 description 45
- 238000012790 confirmation Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 230000004044 response Effects 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 208000003028 Stuttering Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/637—Control signals issued by the client directed to the server or network components
- H04N21/6373—Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
- H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
- H04L1/1607—Details of the supervisory signal
- H04L1/1657—Implicit acknowledgement of correct or incorrect reception, e.g. with a moving window
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
- H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
- H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
- H04L1/1812—Hybrid protocols; Hybrid automatic repeat request [HARQ]
- H04L1/1819—Hybrid protocols; Hybrid automatic repeat request [HARQ] with retransmission of additional or different redundancy
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W28/00—Network traffic management; Network resource management
- H04W28/02—Traffic management, e.g. flow control or congestion control
- H04W28/10—Flow control between communication endpoints
- H04W28/14—Flow control between communication endpoints using intermediate storage
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
- H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
- H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
- H04L1/1867—Arrangements specially adapted for the transmitter end
- H04L1/1874—Buffer management
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Mobile Radio Communication Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
<第1実施形態>
図1は、本発明の第1実施形態に係る無線通信システム1の構成例を示す概略ブロック図である。
無線通信システム1は、送信装置100と、受信装置200と、を含んで構成される。送信装置100と受信装置200は、相互に各種のデータを無線で送信または受信可能に無線で接続される。送信装置100は、画像データを逐次に取得し、取得した画像データを無線で送信する画像送信装置として機能する。送信装置100は、クライアントとして機能してもよい。受信装置200は、送信装置100から画像データを無線で受信し、受信した画像データに基づく画像を表示する画像受信装置として機能する。受信装置200は、例えば、アクセスポイント(AP:Access Point)として機能してもよい。
図2は、本実施形態に係る送信装置100の構成例を示す概略ブロック図である。
送信装置100は、制御部101と、ROM(Read only Memory)102と、RAM(Random Access Memory)103と、無線通信部110と、撮像部121と、映像処理部122と、を含んで構成される。
無線通信部110は、例えば、無線送信機と無線受信機とを含む通信機である。より具体的には、無線通信部110は、無線回路111、送信バッファ112、受信バッファ113およびアンテナ114を含んで構成される。
高周波回路は、アンテナ114が受信した無線周波数帯域の受信信号を基底周波数帯域の受信信号にダウンコンバートし、ダウンコンバートして得られる受信信号を所定の復調方式で復調する。高周波回路は、復調により得られる符号化データを符号化・復号回路に出力する。他方、高周波回路は、符号化・復号回路から入力される符号化データを所定の変調方式で変調し、変調により得られる送信信号を無線周波数帯域の送信信号にアップコンバートする。高周波回路は、アップコンバートして得られる送信信号をアンテナ114に供給する。
また、符号化・復号回路は、高周波回路から入力される符号化データを所定の復号方式で復号してデータパケットを取得し、取得したデータパケットを受信バッファ113に順次記憶する。
受信バッファ113は、無線回路111が受信信号を復調および復号して得られる個々のデータパケットを受信データとして一時的に記憶するバッファメモリである。制御部101からの指示に従って、受信バッファ113からのデータパケットの読み出しが制御される。
図3は、本実施形態に係る受信装置200の構成例を示す概略ブロック図である。
受信装置200は、制御部201と、ROM202と、RAM203と、無線通信部210と、映像処理部220と、を含んで構成される。
無線通信部210は、例えば、無線送信機と無線受信機とを含む通信機である。より具体的には、無線通信部210は、無線回路211、送信バッファ212、受信バッファ213およびアンテナ214を含んで構成される。
高周波回路は、アンテナ214が受信した無線周波数帯域の受信信号を基底周波数帯域の受信信号にダウンコンバートし、ダウンコンバートして得られる受信信号を所定の復調方式で復調する。復調方式は、送信装置100の無線回路111が送信信号の変調に用いた変調方式に対応する復調方式であればよい。高周波回路は、復調により得られる符号化データを符号化・復号回路に出力する。他方、高周波回路は、符号化・復号回路から入力される符号化データを所定の変調方式で変調し、変調により得られる送信信号を無線周波数帯域の送信信号にアップコンバートする。変調方式は、送信装置100の無線回路111が受信信号の復調に用いる復調方式に対応する変調方式であればよい。高周波回路は、アップコンバートして得られる送信信号をアンテナ214に供給する。
また、符号化・復号回路は、高周波回路から入力される符号化データを所定の復号方式で復号してデータパケットを取得し、取得したデータパケットを受信バッファ213に順次記憶する。復号処理に用いる復号方式は、送信装置100の無線回路111が送信信号の符号化に用いる符号化方式に対応する復号方式であればよい。
受信バッファ213は、無線回路211が受信信号を復調および復号して得られる個々のデータパケットを受信データとして一時的に記憶するバッファメモリである。制御部201からの指示に従って、受信バッファ213からのデータパケットの読み出しが制御される。ここで、制御部201は、データパケットの読み出しにおいて、受信時刻が早いデータパケットほど優先し、読み出したデータパケットから受信データを抽出する。抽出される受信データは、送信装置100が送信した送信データに相当する。制御部201は、抽出した受信データをRAM203に記憶する。
図4は、本実施形態に係る送信装置100の動作例を示すフローチャートである。
(ステップS1001)電力の供給が開始されるとき(電源ON)、制御部101は、送信装置100の各機能部を初期化する。このとき、各機能部には、動作に要するパラメータが設定される。例えば、無線通信部110には通信チャネルの初期値が設定される。その後、ステップS1002の処理に進む。
(ステップS1002)制御部101は、接続要求を待ち受ける。接続要求には、例えば、受信装置200の識別情報としてMAC(Media Access Control)アドレスなどの情報が含まれる。受信装置200から接続要求を受信するとき(ステップS1002 YES)、ステップS1003の処理に進む。制御部101が接続要求を受信しないとき(ステップS1002 NO)、ステップS1002の処理を繰り返す。
(ステップS1004)制御部101は、その時点における時刻(現時刻)が映像データ書込開始時刻を経過したか否かを判定する。制御部101は、例えば、現時刻におけるタイマの時刻が所定時刻に達したとき、画像データ書込開始時刻を経過したと判定することができる。映像データ書込開始時刻は、各フレーム周期の終了時点より開始時点に近い時刻に予め設定される。但し、ステップS1004の映像データ書込開始時刻は、起動直後の初回の映像データ書込開始時刻である。制御部101は、垂直同期信号(Vsync)の割り込み処理(後述)により、映像データのフレームごとにタイマの時刻を初期値(例えば、0)に設定する。映像データ書込開始時刻を経過したとき(ステップS1004 YES)、ステップS1005の処理に進む。映像データ書込開始時刻を経過していないとき(ステップS1004 NO)、ステップS1004の処理を繰り返す。
(ステップS1005)制御部101は、映像データ書込処理を実行する。映像データ書込処理については、後述する。その後、ステップS1006の処理に進む。
(ステップS1007)制御部101は、送信バッファ制御を実行する。送信バッファ制御については、後述する。その後、ステップS1006の処理に進む。
(ステップS1009)制御部101は、映像データの送信状態情報を更新する。送信状態情報として、その時点で送信中の映像データのフレームの情報、または送信が完了した映像データのフレームの情報が含まれる。送信状態情報の更新については、後述する。その後、ステップS1006の処理に進む。
映像データ書込処理は、ステップS1101の処理と、ステップS1102の処理を有する。
(ステップS1101)制御部101は、1フレーム分の映像データが、無線通信部110の送信バッファ112への書き込みが完了したか否かを判定する。制御部101は、例えば、RAM103から読み出される映像データから垂直同期信号を検出するとき、前フレームの映像データの書き込みが完了したと判定することができる。完了したと判定する場合(ステップS1101 YES)、ステップS1006(図4)の処理に進む。完了していないと判定する場合(ステップS1101 NO)、ステップS1102の処理に進む。
(ステップS1102)制御部101は、まだ書き込まれていない映像データをRAM103から読み出し、所定の情報量を有する分割データに区分する。制御部101は、区分した分割データごとに所定の形式を有する映像データパケットを生成し、生成した映像データパケットを送信バッファ112に記憶する。その後、ステップS1006の処理に進む。
(ステップS1201)制御部101は、送信済みのフレームの情報として第2フレーム番号を示すフレーム情報が無線通信部110の無線回路111から入力されるとき、第1フレーム番号を、その時点に設定されている第2フレーム番号に更新する。ここで、第1フレーム番号とは、前回の映像書込開始時刻までに取得される最新のフレーム情報が示すフレーム番号を意味する。第2フレーム番号とは、今回の映像書込開始時刻までに取得される最新のフレーム情報が示すフレーム番号を意味する。今回の映像書込開始時刻とは、その時点で最新の映像書込開始時刻である。前回の映像書込開始時刻とは、今回の映像書込開始時刻の前の回の映像書込開始時刻である。その後、ステップS1202の処理に進む。
(ステップS1202)制御部101は、第2フレーム番号を、無線回路111から入力されたフレーム情報が示すフレーム番号に更新する。その後、ステップS1006(図4)の処理に進む。
(ステップS1301)制御部101は、第3フレーム番号をインクリメントする。ここで、第3フレーム番号とは、今回の画像データ書込開始時刻から、送信バッファ112に書き込む映像データのフレーム番号を意味する。インクリメントにより、第3フレーム番号が1増加する。その後、ステップS1302の処理に進む。
(ステップS1302)制御部101は、次の判定条件1が成立しているか否かを判定する。
判定条件1: 第2フレーム番号 > 第1フレーム番号
判定条件1により、今回送信完了を確認したフレーム(第2フレーム番号)が、その前に送信完了を確認したフレーム(第1フレーム番号)から1大きい番号に進んでいるか(成立)、または変化がないか(不成立)が判定される。
判定条件1が成立していると判定する場合(ステップS1302 YES)、ステップS1303の処理に進む。判定条件1が成立していないと判定する場合(ステップS1302 NO)、ステップS1006(図4)の処理に進む。
(ステップS1303)制御部101は、判定条件2が成立しているか否かを判定する。
判定条件2: 第3フレーム番号 > 第2フレーム番号+1
判定条件2により、今回の送信完了フレームの確認後に送信バッファ112に記憶する映像データのフレーム(第3フレーム番号)が、今回送信完了を確認したフレーム(第2フレーム番号)の次のフレームであるか(不成立)、またはさらに後のフレームであるか(成立)が判定される。判定条件2が成立していると判定する場合(ステップS1303 YES)、ステップS1304の処理に進む。判定条件2が成立していないと判定する場合(ステップS1303 NO)、ステップS1006の処理に進む。
(ステップS1304)制御部101は、送信バッファ112に記憶されている映像データパケットを全てクリア(消去)する。その後、ステップS1006の処理に進む。
(ステップS1401)制御部101は、垂直同期期間(Vsync期間)ごとに自部のタイマの時刻を初期値に設定(クリア)し、タイマの計時を再開する。制御部101は、例えば、映像処理部122から入力される垂直同期信号を検出することによって、垂直同期期間を判別することができる。従って、制御部101のタイマは、フレームごとに時刻を計時する。計時される時刻は、ステップS1004、S1006(図4)の処理に用いられる。
(ステップS1501)無線回路111は、送信バッファ112から各1個の映像データパケットを読み出し、読み出した映像データパケットを無線で送信する。映像データは、個々の映像データパケットに含まれる分割データの情報量と映像データパケットの送信間隔に応じた伝送速度で伝送される。その後、ステップS1502の処理に進む。
(ステップS1503)無線回路111は、受信確認を受信していない映像データパケットを、送信バッファ112から読み出し、読み出した映像データパケットを無線で再送する。受信確認を受信していない映像データパケットには、受信失敗(NACK)を受信した映像データパケットと、送信後、所定時間以内に受信確認(ACK)もしくは受信失敗(NACK)を受信していない映像データパケットがありうる。その後、ステップS1502の処理に進む。
(ステップS1505)無線回路111は、1フレーム分の映像データの送信を完了したフレームのフレーム番号を示すフレーム情報を制御部101に通知する。その後、ステップS1501に進む。無線回路111は、送信対象のフレームを次のフレームに変更する。
図10は、本実施形態に係る受信装置200の動作例を示すフローチャートである。
(ステップS2001)電力の供給が開始されるとき(電源ON)、制御部201は、受信装置200の各機能部を初期化する。このとき、各機能部には、動作に要するパラメータが設定される。例えば、無線通信部210には通信チャネルの初期値が設定される。その後、ステップS2002の処理に進む。
(ステップS2002)制御部201は、自装置と接続する送信装置100が選択されたか否かを判定する。制御部201は、例えば、操作入力部(図示せず)から選択情報が入力されるか否かに基づいて送信装置100が選択されたか否かを判定することができる。操作入力部は、操作者の操作を受け付け、受け付けた操作に応じた送信装置100を示す選択情報を制御部201に出力する。送信装置100が選択されるとき(ステップS2002 YES)、ステップS2003の処理に進む。送信装置100が選択されないとき(ステップS2002 NO)の処理を繰り返す。
(ステップS2004)制御部201は、接続要求の送信から所定期間内に接続要求応答を受信したか否かを判定する。接続要求応答を受信した場合(ステップS2004 YES)、送信装置100との接続が確立する。その後、ステップS2007の処理に進む。接続要求応答を受信していない場合(ステップS2004 NO)、ステップS2006の処理に進む。
(ステップS2006)制御部201は、接続エラー情報をモニタ部230に表示させる。ここで、制御部201は、ROM202から予め記憶した接続エラー情報を読み出し、読み出した接続エラー情報をモニタ部230に映像処理部220を経由して出力する。その後、ステップS2002の処理に進む。
(ステップS2007)制御部201は、映像メモリ221に記憶された全映像データを消去(クリア)する。その後、ステップS2010の処理に進む。
(ステップS2011)制御部201は、映像データの受信処理を実行する。映像データの受信処理については、後述する。その後、ステップS2010の処理に進む。
(ステップS2101)制御部201は、無線通信部210を経由して受信した映像データパケットをRAM203の所定の記憶領域に記憶(格納)する。その後、ステップS2102の処理に進む。
(ステップS2102)制御部201は、受信した映像データパケットの受信確認(ACK)を示す応答信号を生成し、生成した応答信号を送信装置100に無線通信部210を経由して送信する。なお、制御部201は、映像データパケットの受信失敗(NACK)を検出するとき、その映像データパケットの受信失敗を示す応答信号を送信装置100に送信してもよい。制御部201は、例えば、RAM203に記憶された映像データパケットごとに付加されたパケットIDに基づいて、欠落したパケットIDに係る映像データパケットを受信に失敗した映像データパケットとして判定することができる。但し、送信装置100の制御部101は、個々の映像データパケットに付加するパケットIDを、その映像データパケットの送信順に1ずつ増加させる。その後、ステップS2103の処理に進む。
図12は、左右方向に時刻を示し、上方から下方の順に垂直同期信号(Vsync)、映像出力、送信バッファ、映像伝送およびモニタ表示を示す。
「垂直同期信号(Vsync)」は、撮像部121から入力される映像信号のうち、各フレームの先頭に付加される。「映像出力」として、各フレームの映像を示す映像信号が撮像部121から映像処理部122に出力される。F1、F2、…等は、各フレームのフレーム番号を示す。映像処理部122は、フレームごとに映像データを生成し、制御部101に出力する。制御部101は、映像データを区分して得られる分割データごとに映像データパケットを生成し、生成した映像データパケットが所定量蓄積された後、送信バッファ112に順次書き込む。
例えば、フレームF1の送信の際は、通信状態が良好である。このとき、制御部101が送信バッファ112に書き込んだ映像データパケットは、直ちに伝送される。映像データパケットの送信が遅滞なく完了し、再送が要求されないためである。
「映像伝送」は、無線回路111から受信装置200に送信される映像データパケットに係るフレームを示す。「モニタ表示」は、モニタ部230が表示するフレームのフレーム番号を示す。[F1]等は、そのフレーム周期において表示が期待されるフレームのフレーム番号を示す。
この構成により、送信が開始された映像データについて、受信装置200において、その映像データを含む各1フレーム分の映像データの送信完了を待つことができる。そのため、連続して各フレームの映像データが棄却される現象であるフレーム落ちが生ずる可能性が減少する。また、映像データの送信が進捗しないために期待される表示時刻に間に合わず、かつ送信バッファに映像データが滞留する場合には、送信バッファ112に記憶した映像データが全て消去される。送信バッファ112に残された映像データが棄却され、新たに取得される映像データが伝送されるので、映像データの伝送遅延を低減することができる。
次に、本発明の第2の実施形態について説明する。第1の実施形態と共通の構成や処理については、共通の符号を付してその説明を援用する。
本実施形態では、受信装置200の制御部201は、送信装置100からの受信が完了した映像データのフレームを特定する。制御部201は、特定したフレームを示すフレーム情報を生成し、生成したフレーム情報をアプリケーション層の情報として送信装置100に無線通信部210を経由して送信する。
送信装置100の制御部101は、受信装置200から無線通信部110を経由してフレーム情報を受信する。制御部101は、受信したフレーム情報が示すフレームを送信完了フレームとして確認する。
図13は、本実施形態に係る送信装置100の動作例を示すフローチャートである。図13に示す処理は、ステップS1001-S1007、S1009の処理と、ステップS1008bの処理を有する。
図13に示す処理では、ステップS1006において映像データ書込開始時刻を経過していないと判定していないとき(ステップS1006 NO)、ステップS1008bの処理に進む。
(ステップS1008b)制御部101は、受信装置200からフレーム情報を格納したフレーム情報パケットを受信したか否かを判定する。フレーム情報パケットを受信したと判定するとき(ステップS1008b YES)、ステップS1009の処理に進む。フレーム情報パケットを受信していないと判定するとき(ステップS1008b NO)、ステップS1006の処理に進む。
図14の処理は、ステップS1501-1503の処理を有する。図14の処理は、図9の処理に含まれるステップS1504、S1505の処理が省略されてなる。但し、ステップS1502において、受信確認(ACK)を受信装置200から受信したか否かを判定する。受信したと判定するとき(ステップS1502 YES)、ステップS1501の処理に進む。また、ステップS1503の後、ステップS1502の処理に進む。
図15は、本実施形態に係る受信装置200の動作例を示すフローチャートである。図15は、本実施形態に係る受信装置200の動作例を示すフローチャートである。図15の処理は、ステップS2001-S2004、S2006、S2007、S2010-S2013の処理を有する。但し、ステップS2010において映像データを受信していない場合(ステップS2010 NO)、ステップS2012の処理に進む。
(ステップS2012)制御部201は、現時刻がフレーム情報パケット送信時刻を経過したか否かを判定する。制御部201は、例えば、現時刻におけるタイマ(フレーム情報送信タイマ)の時刻が所定時刻に達したとき、フレーム情報パケット送信時刻を経過したと判定することができる。フレーム情報パケット送信時刻は、各フレーム周期の開始時よりも終了時に近い時刻に設定される。フレーム情報パケット送信時刻を経過したとき(ステップS2012 YES)、ステップS2012の処理に進む。フレーム情報パケット送信時刻を経過していないとき(ステップS2012 NO)、ステップS2010の処理に進む。その後、ステップS2013の処理に進む。
(ステップS2013)制御部201は、フレーム情報送信処理(後述)を実行する。その後、ステップS2010の処理に進む。
(ステップS2201)制御部201は、その時点において最後に受信が完了した受信完了フレームのフレーム番号を判定する。その後、ステップS2202の処理に進む。
(ステップS2202)制御部201は、判定したフレーム番号を示すフレーム情報としてフレーム情報パケットを生成し、生成したフレーム情報パケットを送信装置100に無線通信部210を経由して送信する。その後、ステップS2010(図15)の処理に進む。
(ステップS2301)制御部201は、垂直同期期間(Vsync期間)ごとにタイマ(フレーム情報送信タイマ)の時刻を初期値に設定する。制御部201は、RAM203に記憶する映像データから垂直同期信号を検出することによって、垂直同期期間を判別することができる。従って、制御部201が備えるタイマは、フレームごとに時刻を所定の初期値に設定して計時を開始することができる。計時される時刻が、ステップS2012(図15)の処理に用いられる。
図18に示す例は、図12に示す例と、映像の撮像、送信バッファ112への映像データの記憶、映像データの伝送、映像の表示のタイミングが同様である。
但し、図18には、図12に対して、さらにフレーム情報受信の行が設けられている。「フレーム情報受信」は、送信装置100の制御部101が受信装置200からの伝送路を経由してフレーム情報パケットを受信するタイミングを表す。フレーム情報は、受信装置200が受信を完了した映像データのフレーム番号を示す。図18に示す例では、フレームF1の映像データパケットが伝送されるフレーム周期の末端であるフレーム情報パケット送信時刻において、受信装置200の制御部201は、最後に受信が完了した受信完了フレームをフレームF1と判定する。制御部201は、フレームF1を示すフレーム情報を含むフレーム情報パケットを送信装置100に送信する。送信装置100の制御部101は、受信装置200から受信したフレーム情報パケットからフレーム情報を検出し、検出したフレーム情報が示すフレームF1を、その時点において最後に送信が完了した送信完了フレームとして確認する。図18に示す例では、その後の送信完了フレームは、順にフレームF1、F1、F2、F5、F6となる。図18の第4フレーム周期から、第5フレーム周期の間で、送信完了フレームがF2からF5と急激に変化するのは、第5フレーム周期内の映像データ書込開始時刻において、送信バッファ112に記憶された映像データパケットが全て消去(クリア)されるためである。この時刻では、上記の判定条件1と判定条件2がいずれも満足される。よって、第5フレーム周期において、新たな分割データを含むフレーム情報パケットが送信バッファ112に新たに記憶され、無線回路111を経由して受信装置200に直ちに伝送される。
この構成により、映像データの送信確認を、映像データパケット単位で伝達せずに、フレーム単位での送信完了が判定可能となる。そのため、送信装置100から受信装置200への映像データの送信に係る処理の負荷を低減するとともに、無線での通信に要するリソースを有効に活用することができる。
図3に示す例では、モニタ部230は、受信装置200とは、別体であるが、これには限られない。受信装置200は、さらにモニタ部230を含んで単一の受信装置200として構成されてもよい。
また、上記の実施形態では、無線通信システム1において、送信装置100、受信装置200が、主にそれぞれクライアント、アクセスポイントとして機能する通信モード(インフラストラクチャモード)で通信する場合を例にしたが、これには限られない。送信装置100と受信装置200が対等な通信モード(アドホックモード)で通信を行ってもよい。また、送信装置100は、他の機器から受信した映像データを受信装置200に中継する中継器として機能してもよい。その場合には、送信装置100において撮像部121が省略されてもよい。
また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。
Claims (5)
- 送信装置と、受信装置とを備える通信システムであって、
前記送信装置は、
所定のフレーム周期ごとに撮像したフレーム映像の映像データを取得する撮像部と、
送信バッファと、
制御部と、
前記受信装置と無線で通信する通信部と、
を備え、
前記制御部は、
前記送信バッファに記憶された前記映像データを、所定の伝送速度で前記通信部に対して送信させ、
送信が完了した前記映像データを前記送信バッファから消去し、
送信が完了した前記映像データのフレームである送信完了フレームを前記フレーム周期ごとに確認し、
第1条件と第2条件が満たされる場合、
前記送信バッファに記憶した前記映像データの全部を消去した後、
前記撮像部が取得した前記映像データを前記送信バッファに記憶し、
前記第1条件と前記第2条件の少なくともいずれか一方が満たされない場合、
前記送信バッファに記憶した前記映像データを消去せずに、
前記撮像部が取得した前記映像データを前記送信バッファに記憶し、
前記第1条件は、今回のフレーム周期において確認した前記送信完了フレームのフレーム番号が、前回のフレーム周期において確認した前記送信完了フレームのフレーム番号よりも大きいことであり、
前記第2条件は、前記今回のフレーム周期において前記送信完了フレームが確認された後に前記送信バッファに記憶する前記映像データのフレームのフレーム番号が、前記今回のフレーム周期において確認した前記送信完了フレームの前記フレーム番号に1を加えたフレーム番号よりも大きいことである
通信システム。 - 前記受信装置は、
受信が完了した前記映像データのフレームを特定し、特定した前記フレームを示すフレーム情報を前記送信装置に送信させる制御部を備え、
前記送信装置の制御部は、
前記受信装置から受信した前記フレーム情報が示すフレームを前記送信完了フレームとして確認する
請求項1に記載の通信システム。 - 所定のフレーム周期ごとに撮像したフレーム映像の映像データを取得する撮像部と、
送信バッファと、
制御部と、
受信装置と無線で通信する通信部と、
を備え、
前記制御部は、
前記送信バッファに記憶された前記映像データを、所定の伝送速度で前記通信部に対して送信させ、
送信が完了した前記映像データを前記送信バッファから消去し、
送信が完了した前記映像データのフレームである送信完了フレームを前記フレーム周期ごとに確認し、
第1条件と第2条件が満たされる場合、
前記送信バッファに記憶した前記映像データの全部を消去した後、
前記撮像部が取得した前記映像データを前記送信バッファに記憶し、
前記第1条件と前記第2条件の少なくともいずれか一方が満たされない場合、
前記送信バッファに記憶した前記映像データを消去せずに、
前記撮像部が取得した前記映像データを前記送信バッファに記憶し、
前記第1条件は、今回のフレーム周期において確認した前記送信完了フレームのフレーム番号が、前回のフレーム周期において確認した前記送信完了フレームのフレーム番号よりも大きいことであり、
前記第2条件は、前記今回のフレーム周期において前記送信完了フレームが確認された後に前記送信バッファに記憶する前記映像データのフレームのフレーム番号が、前記今回のフレーム周期において確認した前記送信完了フレームの前記フレーム番号に1を加えたフレーム番号よりも大きいことである
送信装置。 - 所定のフレーム周期ごとに撮像したフレーム映像の映像データを取得する撮像部と、送信バッファと、受信装置と無線で通信する通信部と、を備える送信装置の通信方法であって、
前記送信バッファに記憶された前記映像データを、前記受信装置に前記通信部に対して所定の伝送速度で送信させる第1ステップと、
送信が完了した前記映像データを前記送信バッファから消去する第2ステップと、
送信が完了した前記映像データのフレームである送信完了フレームを前記フレーム周期ごとに確認する第3ステップと、
第1条件と第2条件が満たされる場合、
前記送信バッファに記憶した前記映像データの全部を消去した後、
前記撮像部が取得した前記映像データを前記送信バッファに記憶する第4ステップと、
前記第1条件と前記第2条件の少なくともいずれか一方が満たされない場合、
前記送信バッファに記憶した前記映像データを消去せずに、
前記撮像部が取得した前記映像データを前記送信バッファに記憶する第5ステップと、を有し、
前記第1条件は、今回のフレーム周期において確認した前記送信完了フレームのフレーム番号が、前回のフレーム周期において確認した前記送信完了フレームのフレーム番号よりも大きいことであり、
前記第2条件は、前記今回のフレーム周期において前記送信完了フレームが確認された後に前記送信バッファに記憶する前記映像データのフレームのフレーム番号が、前記今回のフレーム周期において確認した前記送信完了フレームの前記フレーム番号に1を加えたフレーム番号よりも大きいことである
通信方法。 - 所定のフレーム周期ごとに撮像したフレーム映像の映像データを取得する撮像部と、送信バッファと、受信装置と無線で通信する通信部と、を備える送信装置のコンピュータに、
前記送信バッファに記憶された前記映像データを、前記受信装置に前記通信部に対して所定の伝送速度で送信させる第1手順と、
送信が完了した前記映像データを前記送信バッファから消去する第2手順と、
送信が完了した前記映像データのフレームである送信完了フレームを前記フレーム周期ごとに確認する第3手順と、
第1条件と第2条件が満たされる場合、
前記送信バッファに記憶した前記映像データの全部を消去した後、
前記撮像部が取得した前記映像データを前記送信バッファに記憶する第4手順と、
前記第1条件と前記第2条件の少なくともいずれか一方が満たされない場合、
前記送信バッファに記憶した前記映像データを消去せずに、
前記撮像部が取得した前記映像データを前記送信バッファに記憶する第5手順と、を実行させるためのプログラムであって、
前記第1条件は、今回のフレーム周期において確認した前記送信完了フレームのフレーム番号が、前回のフレーム周期において確認した前記送信完了フレームのフレーム番号よりも大きいことであり、
前記第2条件は、前記今回のフレーム周期において前記送信完了フレームが確認された後に前記送信バッファに記憶する前記映像データのフレームのフレーム番号が、前記今回のフレーム周期において確認した前記送信完了フレームの前記フレーム番号に1を加えたフレーム番号よりも大きいことである
プログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/026870 WO2020016953A1 (ja) | 2018-07-18 | 2018-07-18 | 無線通信装置、無線通信システム、無線通信方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020016953A1 JPWO2020016953A1 (ja) | 2021-07-15 |
JP7026232B2 true JP7026232B2 (ja) | 2022-02-25 |
Family
ID=69163875
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020530776A Active JP7026232B2 (ja) | 2018-07-18 | 2018-07-18 | 通信システム、送信装置、通信方法およびプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11316627B2 (ja) |
JP (1) | JP7026232B2 (ja) |
CN (1) | CN112369039B (ja) |
WO (1) | WO2020016953A1 (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017130269A1 (ja) | 2016-01-25 | 2017-08-03 | オリンパス株式会社 | 画像送信装置、画像通信システム、画像送信方法、およびプログラム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09322078A (ja) * | 1996-05-24 | 1997-12-12 | Toko Inc | 画像伝送装置 |
JP2006203649A (ja) | 2005-01-21 | 2006-08-03 | Matsushita Electric Ind Co Ltd | 映像伝送装置及びシステム |
US7551782B2 (en) * | 2005-02-15 | 2009-06-23 | Dspv, Ltd. | System and method of user interface and data entry from a video call |
JP4914127B2 (ja) * | 2005-07-11 | 2012-04-11 | キヤノン株式会社 | ネットワークカメラ装置およびネットワークカメラ装置の映像フレームの送信方法 |
US8248489B2 (en) * | 2006-04-19 | 2012-08-21 | Nikon Corporation | Image playback device, camera and image playback system |
US9020966B2 (en) * | 2006-07-31 | 2015-04-28 | Ricoh Co., Ltd. | Client device for interacting with a mixed media reality recognition system |
JP2008311831A (ja) * | 2007-06-13 | 2008-12-25 | Panasonic Corp | 動画像通信装置、動画像通信システムおよび動画像通信用の半導体集積回路 |
JP2010141625A (ja) | 2008-12-12 | 2010-06-24 | Panasonic Corp | 無線伝送システム、無線基地局装置および通信チャンネル選択方法 |
US10681382B1 (en) * | 2016-12-20 | 2020-06-09 | Amazon Technologies, Inc. | Enhanced encoding and decoding of video reference frames |
-
2018
- 2018-07-18 JP JP2020530776A patent/JP7026232B2/ja active Active
- 2018-07-18 WO PCT/JP2018/026870 patent/WO2020016953A1/ja active Application Filing
- 2018-07-18 CN CN201880095264.6A patent/CN112369039B/zh active Active
-
2021
- 2021-01-13 US US17/147,859 patent/US11316627B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017130269A1 (ja) | 2016-01-25 | 2017-08-03 | オリンパス株式会社 | 画像送信装置、画像通信システム、画像送信方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN112369039B (zh) | 2022-12-30 |
US20210135798A1 (en) | 2021-05-06 |
WO2020016953A1 (ja) | 2020-01-23 |
JPWO2020016953A1 (ja) | 2021-07-15 |
US11316627B2 (en) | 2022-04-26 |
CN112369039A (zh) | 2021-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8908756B2 (en) | Image transmission apparatus and image reception apparatus | |
JP3816898B2 (ja) | ワイヤレス・ローカル・エリア・ネットワークによるリアルタイム映像・音声データの一対多伝送方法及びシステム | |
JP2006325150A (ja) | 撮像方法、撮像システムおよび撮像装置 | |
JP2008193510A (ja) | 映像送信装置、映像受信装置、及び映像伝送システム | |
JPWO2012114774A1 (ja) | 動画像符号化装置および動画像復号装置 | |
JP2008219522A (ja) | 撮像システム、撮像装置、撮像プログラム、及び撮像方法 | |
JP7026232B2 (ja) | 通信システム、送信装置、通信方法およびプログラム | |
JP2005027120A (ja) | 双方向データ通信システム | |
JP2015041860A (ja) | 通信装置、通信方法、及び通信プログラム | |
JP2011049888A (ja) | ネットワークカメラ及び映像配信システム | |
JP2005303561A (ja) | 移動体端末装置 | |
US20180070086A1 (en) | Compressed image data transmitting device, compressed image data transmitting and receiving system, compressed image data transmitting method, and non-transitory medium saving program | |
US20150288988A1 (en) | Video transmission terminal, video transmission method, video transmission program, and video transfer system | |
JP5515968B2 (ja) | 送信装置及び方法、並びにプログラム | |
GB2505225A (en) | Retransmission of video packets at time-varying compression levels | |
JP4250582B2 (ja) | 携帯端末 | |
US8073273B2 (en) | Moving image receiving apparatus | |
JP2008278355A (ja) | 信号伝送装置及び信号伝送方法 | |
JP2005244289A (ja) | 画像データ通信システム | |
JP4762340B2 (ja) | 信号処理装置及び信号処理方法 | |
WO2022185795A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP2011211630A (ja) | 送信装置及び方法、並びにプログラム | |
JP7194744B2 (ja) | 通信システム、受信端末、通信方法、およびプログラム | |
JP2009290790A (ja) | 映像送信装置および映像送信方法 | |
JP2006222719A (ja) | 画像撮像システム、画像撮像装置及びその通信方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210106 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210106 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220201 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220214 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7026232 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |