JP7026232B2 - 通信システム、送信装置、通信方法およびプログラム - Google Patents

通信システム、送信装置、通信方法およびプログラム Download PDF

Info

Publication number
JP7026232B2
JP7026232B2 JP2020530776A JP2020530776A JP7026232B2 JP 7026232 B2 JP7026232 B2 JP 7026232B2 JP 2020530776 A JP2020530776 A JP 2020530776A JP 2020530776 A JP2020530776 A JP 2020530776A JP 7026232 B2 JP7026232 B2 JP 7026232B2
Authority
JP
Japan
Prior art keywords
frame
transmission
video data
transmission buffer
completed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020530776A
Other languages
English (en)
Other versions
JPWO2020016953A1 (ja
Inventor
隆久 遠藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2020016953A1 publication Critical patent/JPWO2020016953A1/ja
Application granted granted Critical
Publication of JP7026232B2 publication Critical patent/JP7026232B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637Control signals issued by the client directed to the server or network components
    • H04N21/6373Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/12Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/1607Details of the supervisory signal
    • H04L1/1657Implicit acknowledgement of correct or incorrect reception, e.g. with a moving window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/12Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18Automatic repetition systems, e.g. Van Duuren systems
    • H04L1/1812Hybrid protocols; Hybrid automatic repeat request [HARQ]
    • H04L1/1819Hybrid protocols; Hybrid automatic repeat request [HARQ] with retransmission of additional or different redundancy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W28/00Network traffic management; Network resource management
    • H04W28/02Traffic management, e.g. flow control or congestion control
    • H04W28/10Flow control between communication endpoints
    • H04W28/14Flow control between communication endpoints using intermediate storage
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/12Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18Automatic repetition systems, e.g. Van Duuren systems
    • H04L1/1867Arrangements specially adapted for the transmitter end
    • H04L1/1874Buffer management

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、通信システム、送信装置、通信方法およびプログラムに関する。
内視鏡装置は、外部から直接観察することができない空間を観察するために様々な分野で用いられている。内視鏡システムとして、被検体内に挿入する挿入部の先端に映像を撮像し、撮像した映像を無線で伝送する内視鏡装置と、受信装置とを備える無線内視鏡システムが提案されている。受信装置は、内視鏡装置から無線で伝送された映像を受信し、受信した映像を表示する。映像を見ながら内視鏡装置を操作する際の操作性を確保するためには、映像の表示遅延を可能な限り小さくすることが求められている。理想的には、1フレーム分の映像データを1フレーム期間内で伝送することが望ましい。
現実には、無線伝送路の通信品質が低下するほど、無線パケットの再送回数が増加する傾向がある。1フレーム期間内に1フレーム分の映像データの伝送が完了できないために、フレーム毎に映像の表示更新ができなくなることがある。その結果、撮像から表示までの表示遅延の増加や、映像の動きが滑らかに表現されない(いわゆる、カクツキ)などの現象が生じうる。
例えば、特許文献1に記載の映像伝送システムにおいて、送信側は入力された映像データに第1の時間情報を付加して順次送信し、映像データに付加された第1の時間情報が示す時間から所定の時間が経過した場合に、映像送信バッファに蓄積された映像データを消去する。つまり、当該映像システムは、1フレーム分の映像データを1フレーム期間内に1フレーム分の映像データの伝送を完了しているか否かを判定し、映像データの伝送が完了していない場合には、無線伝送中の映像フレームの送信を中止し、次の映像フレームの送信を開始する。
日本国特開2006-203649号公報
しかしながら、特許文献1の映像伝送システムでは、劣悪な電波環境下において、映像データの「連続フレーム落ち」が生ずる可能性が高くなる。「連続フレーム落ち」とは、時間的に隣接する複数のフレームにわたり、映像データの伝送が完了せず表示に至らない現象を指す。見方を変えれば、フレーム毎の映像データの伝送完了を犠牲にして、映像の表示遅延の抑制が実現されているといえる。よって、電波環境が劣悪な場合には、映像の動きが滑らかに表現されない現象が顕著になる。
本発明は、このような課題を考慮してなされたものであり、映像品質の向上と表示遅延の低減を両立する通信システム、送信装置、通信方法およびプログラムを提供することを目的とする。
本発明の第1の態様は、送信装置と、受信装置とを備える通信システムであって、前記送信装置は、所定のフレーム周期ごとに撮像したフレーム映像の映像データを取得する撮像部と、送信バッファと、制御部と、前記受信装置と無線で通信する通信部と、を備え、前記制御部は、前記送信バッファに記憶された前記映像データを、所定の伝送速度で前記通信部に対して送信させ、送信が完了した前記映像データを前記送信バッファから消去し、送信が完了した前記映像データのフレームである送信完了フレームを前記フレーム周期ごとに確認し、第1条件と第2条件が満たされる場合、前記送信バッファに記憶した前記映像データの全部を消去した後、前記撮像部が取得した前記映像データを前記送信バッファに記憶し、前記第1条件と前記第2条件の少なくともいずれか一方が満たされない場合、前記送信バッファに記憶した前記映像データを消去せずに、前記撮像部が取得した前記映像データを前記送信バッファに記憶し、前記第1条件は、今回のフレーム周期において確認した前記送信完了フレームのフレーム番号が、前回のフレーム周期において確認した前記送信完了フレームのフレーム番号よりも大きいことであり、前記第2条件は、前記今回のフレーム周期において前記送信完了フレームが確認された後に前記送信バッファに記憶する前記映像データのフレームのフレーム番号が、前記今回のフレーム周期において確認した前記送信完了フレームの前記フレーム番号に1を加えたフレーム番号よりも大きいことである通信システムである。
本発明の第2の態様は、上記第1の態様において、前記受信装置は、受信が完了した前記映像データのフレームを特定し、特定した前記フレームを示すフレーム情報を前記送信装置に送信させる制御部を備え、前記送信装置の制御部は、前記受信装置から受信した前記フレーム情報が示すフレームを前記送信完了フレームとして確認してもよい。
本発明の第3の態様は、所定のフレーム周期ごとに撮像したフレーム映像の映像データを取得する撮像部と、送信バッファと、制御部と、受信装置と無線で通信する通信部と、を備え、前記制御部は、前記送信バッファに記憶された前記映像データを、所定の伝送速度で前記通信部に対して送信させ、送信が完了した前記映像データを前記送信バッファから消去し、送信が完了した前記映像データのフレームである送信完了フレームを前記フレーム周期ごとに確認し、第1条件と第2条件が満たされる場合、前記送信バッファに記憶した前記映像データの全部を消去した後、前記撮像部が取得した前記映像データを前記送信バッファに記憶し、前記第1条件と前記第2条件の少なくともいずれか一方が満たされない場合、前記送信バッファに記憶した前記映像データを消去せずに、前記撮像部が取得した前記映像データを前記送信バッファに記憶し、前記第1条件は、今回のフレーム周期において確認した前記送信完了フレームのフレーム番号が、前回のフレーム周期において確認した前記送信完了フレームのフレーム番号よりも大きいことであり、前記第2条件は、前記今回のフレーム周期において前記送信完了フレームが確認された後に前記送信バッファに記憶する前記映像データのフレームのフレーム番号が、前記今回のフレーム周期において確認した前記送信完了フレームの前記フレーム番号に1を加えたフレーム番号よりも大きいことである送信装置である。
本発明の第4の態様は、所定のフレーム周期ごとに撮像したフレーム映像の映像データを取得する撮像部と、送信バッファと、受信装置と無線で通信する通信部と、を備える送信装置の通信方法であって、前記送信バッファに記憶された前記映像データを、前記受信装置に前記通信部に対して所定の伝送速度で送信させる第1ステップと、送信が完了した前記映像データを前記送信バッファから消去する第2ステップと、送信が完了した前記映像データのフレームである送信完了フレームを前記フレーム周期ごとに確認する第3ステップと、第1条件と第2条件が満たされる場合、前記送信バッファに記憶した前記映像データの全部を消去した後、前記撮像部が取得した前記映像データを前記送信バッファに記憶する第4ステップと、前記第1条件と前記第2条件の少なくともいずれか一方が満たされない場合、前記送信バッファに記憶した前記映像データを消去せずに、前記撮像部が取得した前記映像データを前記送信バッファに記憶する第5ステップと、を有し、前記第1条件は、今回のフレーム周期において確認した前記送信完了フレームのフレーム番号が、前回のフレーム周期において確認した前記送信完了フレームのフレーム番号よりも大きいことであり、前記第2条件は、前記今回のフレーム周期において前記送信完了フレームが確認された後に前記送信バッファに記憶する前記映像データのフレームのフレーム番号が、前記今回のフレーム周期において確認した前記送信完了フレームの前記フレーム番号に1を加えたフレーム番号よりも大きいことである通信方法である。
本発明の第5の態様は、所定のフレーム周期ごとに撮像したフレーム映像の映像データを取得する撮像部と、送信バッファと、受信装置と無線で通信する通信部と、を備える送信装置のコンピュータに、前記送信バッファに記憶された前記映像データを、前記受信装置に前記通信部に対して所定の伝送速度で送信させる第1手順と、送信が完了した前記映像データを前記送信バッファから消去する第2手順と、送信が完了した前記映像データのフレームである送信完了フレームを前記フレーム周期ごとに確認する第3手順と、第1条件と第2条件が満たされる場合、前記送信バッファに記憶した前記映像データの全部を消去した後、前記撮像部が取得した前記映像データを前記送信バッファに記憶する第4手順と、前記第1条件と前記第2条件の少なくともいずれか一方が満たされない場合、前記送信バッファに記憶した前記映像データを消去せずに、前記撮像部が取得した前記映像データを前記送信バッファに記憶する第5手順と、を実行させるためのプログラムであって、前記第1条件は、今回のフレーム周期において確認した前記送信完了フレームのフレーム番号が、前回のフレーム周期において確認した前記送信完了フレームのフレーム番号よりも大きいことであり、前記第2条件は、前記今回のフレーム周期において前記送信完了フレームが確認された後に前記送信バッファに記憶する前記映像データのフレームのフレーム番号が、前記今回のフレーム周期において確認した前記送信完了フレームの前記フレーム番号に1を加えたフレーム番号よりも大きいことであるプログラムである。
本発明の各態様の通信システム、送信装置、通信方法およびプログラムによれば、映像品質の向上と表示遅延の低減を両立することができる。
第1実施形態に係る無線通信システムの構成例を示す概略ブロック図である。 第1実施形態に係る送信装置の構成例を示す概略ブロック図である。 第1実施形態に係る受信装置の構成例を示す概略ブロック図である。 第1実施形態に係る送信装置の動作例を示すフローチャートである。 第1実施形態に係る映像データ書込処理の例を示すフローチャートである。 第1実施形態に係る送信状態情報の更新処理の例を示すフローチャートである。 第1実施形態に係る送信バッファ制御の例を示すフローチャートである。 第1実施形態に係る垂直同期信号の割り込み処理の例を示すフローチャートである。 第1実施形態に係る映像データの送信処理の例を示すフローチャートである。 第1実施形態に係る受信装置の動作例を示すフローチャートである。 第1実施形態に係る映像データの受信処理の例を示すフローチャートである。 第1実施形態に係る無線通信システムの動作例を示すシーケンス図である。 第2実施形態に係る送信装置の動作例を示すフローチャートである。 第2実施形態に係る映像データの送信処理の例を示すフローチャートである。 第2実施形態に係る受信装置の動作例を示すフローチャートである。 第2実施形態に係る上りリンクパケット送信処理の例を示すフローチャートである。 第2実施形態に係る垂直同期信号の割り込み処理の例を示すフローチャートである。 第2実施形態に係る無線通信システムの動作例を示すシーケンス図である。
以下、図面を参照して本発明の実施形態について説明する。
<第1実施形態>
図1は、本発明の第1実施形態に係る無線通信システム1の構成例を示す概略ブロック図である。
無線通信システム1は、送信装置100と、受信装置200と、を含んで構成される。送信装置100と受信装置200は、相互に各種のデータを無線で送信または受信可能に無線で接続される。送信装置100は、画像データを逐次に取得し、取得した画像データを無線で送信する画像送信装置として機能する。送信装置100は、クライアントとして機能してもよい。受信装置200は、送信装置100から画像データを無線で受信し、受信した画像データに基づく画像を表示する画像受信装置として機能する。受信装置200は、例えば、アクセスポイント(AP:Access Point)として機能してもよい。
次に、本実施形態に係る送信装置100の構成例について説明する。
図2は、本実施形態に係る送信装置100の構成例を示す概略ブロック図である。
送信装置100は、制御部101と、ROM(Read only Memory)102と、RAM(Random Access Memory)103と、無線通信部110と、撮像部121と、映像処理部122と、を含んで構成される。
制御部101は、送信装置100の機能を制御する。制御部101は、1個以上のCPU(Central Processing Unit)などのプロセッサを含んで構成される。制御部101は、ROM102に予め記憶されたプログラムを読み出し、読み出したプログラムに記述された命令で指示される処理を実行してシーケンス制御を実現する。以下の説明では、プログラムに記述された命令で指示される処理を実行することを、単にプログラムを実行する、と呼ぶことがある。
ROM102は、送信装置100の動作に要する各種のデータや、送信装置100の動作により取得された各種のデータを永続的に記憶する不揮発性メモリである。ROM102は、例えば、フラッシュROMである。ROM102に記憶されるデータは、例えば、制御部101に実行させるプログラム、各種の設定データ、などがある。設定データには、例えば、通信設定パラメータなどが含まれる。
RAM103は、送信装置100の動作に要する各種のデータ、送信装置100の動作により取得された各種のデータを一時的に記憶する揮発性メモリである。RAM103には、記憶領域として、例えば、バッファエリア、ワークエリア、設定エリアなどが設けられる。バッファエリアには、例えば、映像処理部122から供給される映像データを一時的に記憶される。ワークエリアには、例えば、制御部101が演算して得られる演算値が一時的に記憶される。設定エリアには、制御部101の動作中における各種の設定データが一時的に記憶される。一時的に記憶される設定データには、上記の通信設定パラメータが含まれうる。
無線通信部110は、外部機器と所定の通信方式を用いて無線で接続し、各種のデータを送信および受信する。所定の通信方式として、例えば、IEEE802.11などの無線LAN(Local Area Network)規格で規定された方式が利用可能である。
無線通信部110は、例えば、無線送信機と無線受信機とを含む通信機である。より具体的には、無線通信部110は、無線回路111、送信バッファ112、受信バッファ113およびアンテナ114を含んで構成される。
無線回路111は、例えば、高周波回路、符号化・復号回路等の電気回路(図示せず)を含んで構成され、アンテナ114に電気的に接続される。
高周波回路は、アンテナ114が受信した無線周波数帯域の受信信号を基底周波数帯域の受信信号にダウンコンバートし、ダウンコンバートして得られる受信信号を所定の復調方式で復調する。高周波回路は、復調により得られる符号化データを符号化・復号回路に出力する。他方、高周波回路は、符号化・復号回路から入力される符号化データを所定の変調方式で変調し、変調により得られる送信信号を無線周波数帯域の送信信号にアップコンバートする。高周波回路は、アップコンバートして得られる送信信号をアンテナ114に供給する。
符号化・復号回路は、送信バッファ112に蓄積されたデータパケットの符号化処理を行い、符号化データを生成し、生成した符号化データを高周波回路に出力する。制御部101は、符号化処理において、送信バッファ112に記憶された時刻が早いデータパケットほど優先する。従って、映像データは、アンテナ114を用いて無線でデータパケット毎に順次送信される。
また、符号化・復号回路は、高周波回路から入力される符号化データを所定の復号方式で復号してデータパケットを取得し、取得したデータパケットを受信バッファ113に順次記憶する。
送信バッファ112は、制御部101から入力される送信データとしてデータパケットを一時的に記憶するバッファメモリである。制御部101は、RAM103に一時的に記憶された映像データを順次読み出し、所定の情報量を有する分割データに区分する。制御部101は、映像データの読み出しにおいて、RAM103に記憶された時刻が早い部分ほど優先する。制御部101は、個々の分割データを含むデータパケットを形成し、形成したデータパケットを送信バッファ112に記憶する。よって、制御部101からの指示に従って、送信バッファ112へのデータパケットの記憶が制御される。
受信バッファ113は、無線回路111が受信信号を復調および復号して得られる個々のデータパケットを受信データとして一時的に記憶するバッファメモリである。制御部101からの指示に従って、受信バッファ113からのデータパケットの読み出しが制御される。
撮像部121は、映像を所定のフレームレート(例えば、30、60、120フレーム/秒のいずれか)で撮像し、撮像した映像を示す映像信号を生成する。撮像部121は、生成した映像信号を映像処理部122に出力する。撮像部121は、例えば、ディジタルカメラなどの撮像機器として構成されてもよい。より具体的には、撮像部121は、レンズ、光電変換器およびADコンバータ(Analog-to-Diginal Converter;アナログ・ディジタル変換器)を含んで構成される(図示せず)。レンズは、入射する光を光電変換器の表面に収束する。光電変換器の表面には、収束した光で表される像が結像する。光電変換器は、表面に受光した光を電気信号に変換し、ADコンバータに出力する。光電変換器は、例えば、CCD(Charge-Coupled Device;電荷結合素子)センサ、CMOS(Complementary Metal-Oxide-Semiconductor;相補型金属酸化物半導体)センサなどの固体撮像素子である。ADコンバータは、光電変換器から入力されるアナログの電気信号をディジタルの映像信号に変換する。
映像処理部122は、撮像部121から入力される映像信号から各フレームの映像を表す映像データを生成する。映像処理部122は、映像データを生成する際、フレーム周期ごとに垂直同期信号(Vsync)を生成し、生成した垂直同期信号を入力される映像信号の各フレームの先頭に付加する。垂直同期信号により、フレームごとの映像を表す区間が画定される。なお、映像処理部122は、垂直同期信号を付加した映像信号に対して所定の映像符号化方式を用いて圧縮符号化してもよい。映像符号化方式として、例えば、MPEG-4 AVC(Advanced Video Coding)、MPEG-H HEVC(High Efficiency )Video Coding)のいずれかに規定された復号方式に対応する符号化方式が利用可能である。また、上記の分割データとして、例えば、これらの方式に規定されたNAL(Network Abstraction Layer)ユニットが用いられてもよい。映像処理部122は、生成した映像データをRAM103のバッファエリアに順次記憶する。映像処理部122は、フレーム周期ごとに生成した垂直同期信号を制御部101に出力する。
次に、本実施形態に係る受信装置200の構成例について説明する。
図3は、本実施形態に係る受信装置200の構成例を示す概略ブロック図である。
受信装置200は、制御部201と、ROM202と、RAM203と、無線通信部210と、映像処理部220と、を含んで構成される。
制御部201は、受信装置200の機能を制御する。制御部201は、1個以上のCPUなどのプロセッサを含んで構成される。制御部201は、ROM202に予め記憶されたプログラムを読み出し、読み出したプログラムを実行してシーケンス制御を実現する。
ROM202は、受信装置200の動作に要する各種のデータ、動作により取得された各種のデータを永続的に記憶する不揮発性メモリである。ROM202は、例えば、フラッシュROM等である。ROM202に記憶されるデータは、例えば、制御部201に実行させるプログラム、各種の設定データ、などがある。設定データには、例えば、通信設定パラメータなどが含まれる。
RAM203は、受信装置200の動作に要する各種のデータ、動作により取得された各種のデータを一時的に記憶する揮発性メモリである。RAM203には、記憶領域として、例えば、バッファエリア、ワークエリア、設定エリアなどが設けられる。バッファエリアには、例えば、無線通信部210から供給される受信データが一時的に記憶される。ワークエリアには、例えば、制御部201が演算して得られる演算値が一時的に記憶される。設定エリアには、制御部201の動作中における各種の設定データが一時的に記憶される。一時的に記憶される設定データには、上記の通信設定パラメータが含まれうる。
無線通信部210は、外部機器と所定の通信方式を用いて無線で接続し、各種のデータを送信および受信する。所定の通信方式として、例えば、通信相手先である送信装置100と同一の通信方式を用いる。
無線通信部210は、例えば、無線送信機と無線受信機とを含む通信機である。より具体的には、無線通信部210は、無線回路211、送信バッファ212、受信バッファ213およびアンテナ214を含んで構成される。
無線回路211は、例えば、高周波回路、符号化・復号回路等の電気回路(図示せず)を含んで構成され、アンテナ214に電気的に接続される。
高周波回路は、アンテナ214が受信した無線周波数帯域の受信信号を基底周波数帯域の受信信号にダウンコンバートし、ダウンコンバートして得られる受信信号を所定の復調方式で復調する。復調方式は、送信装置100の無線回路111が送信信号の変調に用いた変調方式に対応する復調方式であればよい。高周波回路は、復調により得られる符号化データを符号化・復号回路に出力する。他方、高周波回路は、符号化・復号回路から入力される符号化データを所定の変調方式で変調し、変調により得られる送信信号を無線周波数帯域の送信信号にアップコンバートする。変調方式は、送信装置100の無線回路111が受信信号の復調に用いる復調方式に対応する変調方式であればよい。高周波回路は、アップコンバートして得られる送信信号をアンテナ214に供給する。
符号化・復号回路は、送信バッファ212に蓄積されたデータパケットを順次読み出し、読み出したデータパケットに対して符号化処理を行って符号化データを生成する。符号化処理に用いる符号化方式は、送信装置100の無線回路111が受信信号の復号に用いる復号方式に対応する符号化方式であればよい。符号化・復号回路は、生成した符号化データを高周波回路に出力する。
また、符号化・復号回路は、高周波回路から入力される符号化データを所定の復号方式で復号してデータパケットを取得し、取得したデータパケットを受信バッファ213に順次記憶する。復号処理に用いる復号方式は、送信装置100の無線回路111が送信信号の符号化に用いる符号化方式に対応する復号方式であればよい。
送信バッファ212は、制御部201から入力される送信データとしてデータパケットを一時的に記憶するバッファメモリである。制御部201からの指示に従って、送信バッファ212へのデータパケットの記憶が制御される。
受信バッファ213は、無線回路211が受信信号を復調および復号して得られる個々のデータパケットを受信データとして一時的に記憶するバッファメモリである。制御部201からの指示に従って、受信バッファ213からのデータパケットの読み出しが制御される。ここで、制御部201は、データパケットの読み出しにおいて、受信時刻が早いデータパケットほど優先し、読み出したデータパケットから受信データを抽出する。抽出される受信データは、送信装置100が送信した送信データに相当する。制御部201は、抽出した受信データをRAM203に記憶する。
映像処理部220は、RAM203に記憶された受信データを個々の分割データとして読み出し、読み出した分割データを順次連結して各1フレームの映像を表す映像信号を生成する。ここで、映像処理部220は、映像メモリ221を備え、読み出した分割データを映像メモリ221に一時的に記憶する。映像処理部220は、垂直同期信号(Vsync)の部分を読み出すごとに各1フレームの映像を表す所定の形式の映像信号を生成し、生成した映像信号をモニタ部230に出力する。映像信号の形式は、例えば、NTSC(National Television System Commitee)方式、HDMI(登録商標)(High-Definition Multimesia Interface)方式などの映像規格で規定された形式が利用可能である。
モニタ部230は、映像処理部220から入力される映像信号に基づく映像を表示する。モニタ部230は、映像表示装置と制御回路を含んで構成される。映像表示装置は、例えば、液晶ディスプレイ、有機エレクトロルミネッセンスディスプレイなどのいずれであってもよい。制御回路は、映像表示装置による映像表示を制御する。制御回路は、例えば、映像処理部220から入力される映像信号が表す映像の輝度、コントラストなどを制御する。制御回路は、制御後の映像信号を映像表示装置に出力する。
次に、本実施形態に係る送信装置100の動作例について説明する。
図4は、本実施形態に係る送信装置100の動作例を示すフローチャートである。
(ステップS1001)電力の供給が開始されるとき(電源ON)、制御部101は、送信装置100の各機能部を初期化する。このとき、各機能部には、動作に要するパラメータが設定される。例えば、無線通信部110には通信チャネルの初期値が設定される。その後、ステップS1002の処理に進む。
(ステップS1002)制御部101は、接続要求を待ち受ける。接続要求には、例えば、受信装置200の識別情報としてMAC(Media Access Control)アドレスなどの情報が含まれる。受信装置200から接続要求を受信するとき(ステップS1002 YES)、ステップS1003の処理に進む。制御部101が接続要求を受信しないとき(ステップS1002 NO)、ステップS1002の処理を繰り返す。
(ステップS1003)制御部101は、接続要求に対する応答である接続要求応答を、無線通信部110を経由して受信装置200に送信する。その後、ステップS1003の処理に進む。
(ステップS1004)制御部101は、その時点における時刻(現時刻)が映像データ書込開始時刻を経過したか否かを判定する。制御部101は、例えば、現時刻におけるタイマの時刻が所定時刻に達したとき、画像データ書込開始時刻を経過したと判定することができる。映像データ書込開始時刻は、各フレーム周期の終了時点より開始時点に近い時刻に予め設定される。但し、ステップS1004の映像データ書込開始時刻は、起動直後の初回の映像データ書込開始時刻である。制御部101は、垂直同期信号(Vsync)の割り込み処理(後述)により、映像データのフレームごとにタイマの時刻を初期値(例えば、0)に設定する。映像データ書込開始時刻を経過したとき(ステップS1004 YES)、ステップS1005の処理に進む。映像データ書込開始時刻を経過していないとき(ステップS1004 NO)、ステップS1004の処理を繰り返す。
(ステップS1005)制御部101は、映像データ書込処理を実行する。映像データ書込処理については、後述する。その後、ステップS1006の処理に進む。
(ステップS1006)制御部101は、現時刻が映像データ書込開始時刻を経過したか否かを判定する。映像データ書込開始時刻を経過したとき(ステップS1006 YES)、ステップS1007の処理に進む。映像データ書込開始時刻を経過していないとき(ステップS1006 NO)、ステップS1008の処理に進む。
(ステップS1007)制御部101は、送信バッファ制御を実行する。送信バッファ制御については、後述する。その後、ステップS1006の処理に進む。
(ステップS1008)制御部101は、無線通信部110から送信完了通知が入力されたか否かを判定する。送信完了通知は、1フレームの映像データの送信完了を示す情報である。送信完了通知が入力されるとき(ステップS1008 YES)、ステップS1009の処理に進む。送信完了通知が入力されないとき(ステップS1008 NO)、ステップS1006の処理に進む。
(ステップS1009)制御部101は、映像データの送信状態情報を更新する。送信状態情報として、その時点で送信中の映像データのフレームの情報、または送信が完了した映像データのフレームの情報が含まれる。送信状態情報の更新については、後述する。その後、ステップS1006の処理に進む。
次に、映像データ書込処理の例について説明する。図5は、本実施形態に係る映像データ書込処理の例を示すフローチャートである。
映像データ書込処理は、ステップS1101の処理と、ステップS1102の処理を有する。
(ステップS1101)制御部101は、1フレーム分の映像データが、無線通信部110の送信バッファ112への書き込みが完了したか否かを判定する。制御部101は、例えば、RAM103から読み出される映像データから垂直同期信号を検出するとき、前フレームの映像データの書き込みが完了したと判定することができる。完了したと判定する場合(ステップS1101 YES)、ステップS1006(図4)の処理に進む。完了していないと判定する場合(ステップS1101 NO)、ステップS1102の処理に進む。
(ステップS1102)制御部101は、まだ書き込まれていない映像データをRAM103から読み出し、所定の情報量を有する分割データに区分する。制御部101は、区分した分割データごとに所定の形式を有する映像データパケットを生成し、生成した映像データパケットを送信バッファ112に記憶する。その後、ステップS1006の処理に進む。
次に、送信状態情報の更新処理について説明する。図6は、本実施形態に係る送信状態情報の更新処理の例を示すフローチャートである。
(ステップS1201)制御部101は、送信済みのフレームの情報として第2フレーム番号を示すフレーム情報が無線通信部110の無線回路111から入力されるとき、第1フレーム番号を、その時点に設定されている第2フレーム番号に更新する。ここで、第1フレーム番号とは、前回の映像書込開始時刻までに取得される最新のフレーム情報が示すフレーム番号を意味する。第2フレーム番号とは、今回の映像書込開始時刻までに取得される最新のフレーム情報が示すフレーム番号を意味する。今回の映像書込開始時刻とは、その時点で最新の映像書込開始時刻である。前回の映像書込開始時刻とは、今回の映像書込開始時刻の前の回の映像書込開始時刻である。その後、ステップS1202の処理に進む。
(ステップS1202)制御部101は、第2フレーム番号を、無線回路111から入力されたフレーム情報が示すフレーム番号に更新する。その後、ステップS1006(図4)の処理に進む。
次に、送信バッファ制御の例について説明する。図7は、本実施形態に係る送信バッファ制御の例を示すフローチャートである、
(ステップS1301)制御部101は、第3フレーム番号をインクリメントする。ここで、第3フレーム番号とは、今回の画像データ書込開始時刻から、送信バッファ112に書き込む映像データのフレーム番号を意味する。インクリメントにより、第3フレーム番号が1増加する。その後、ステップS1302の処理に進む。
(ステップS1302)制御部101は、次の判定条件1が成立しているか否かを判定する。
判定条件1: 第2フレーム番号 > 第1フレーム番号
判定条件1により、今回送信完了を確認したフレーム(第2フレーム番号)が、その前に送信完了を確認したフレーム(第1フレーム番号)から1大きい番号に進んでいるか(成立)、または変化がないか(不成立)が判定される。
判定条件1が成立していると判定する場合(ステップS1302 YES)、ステップS1303の処理に進む。判定条件1が成立していないと判定する場合(ステップS1302 NO)、ステップS1006(図4)の処理に進む。
(ステップS1303)制御部101は、判定条件2が成立しているか否かを判定する。
判定条件2: 第3フレーム番号 > 第2フレーム番号+1
判定条件2により、今回の送信完了フレームの確認後に送信バッファ112に記憶する映像データのフレーム(第3フレーム番号)が、今回送信完了を確認したフレーム(第2フレーム番号)の次のフレームであるか(不成立)、またはさらに後のフレームであるか(成立)が判定される。判定条件2が成立していると判定する場合(ステップS1303 YES)、ステップS1304の処理に進む。判定条件2が成立していないと判定する場合(ステップS1303 NO)、ステップS1006の処理に進む。
(ステップS1304)制御部101は、送信バッファ112に記憶されている映像データパケットを全てクリア(消去)する。その後、ステップS1006の処理に進む。
次に、垂直同期信号(Vsync)の割り込み処理の例について説明する。図8は、本実施形態に係る垂直同期信号の割り込み処理の例を示すフローチャートである。
(ステップS1401)制御部101は、垂直同期期間(Vsync期間)ごとに自部のタイマの時刻を初期値に設定(クリア)し、タイマの計時を再開する。制御部101は、例えば、映像処理部122から入力される垂直同期信号を検出することによって、垂直同期期間を判別することができる。従って、制御部101のタイマは、フレームごとに時刻を計時する。計時される時刻は、ステップS1004、S1006(図4)の処理に用いられる。
次に、映像データの送信処理の例について説明する。図9は、本実施形態に係る映像データの送信処理の例を示すフローチャートである。
(ステップS1501)無線回路111は、送信バッファ112から各1個の映像データパケットを読み出し、読み出した映像データパケットを無線で送信する。映像データは、個々の映像データパケットに含まれる分割データの情報量と映像データパケットの送信間隔に応じた伝送速度で伝送される。その後、ステップS1502の処理に進む。
(ステップS1502)無線回路111は、送信した個々の映像データパケットに対する応答信号として、受信確認(ACK)を受信装置200から受信したか否かを判定する。受信したと判定するとき(ステップS1502 YES)、ステップS1504の処理に進む。受信していないと判定するとき(ステップS1502 NO)、ステップS1503の処理に進む。
(ステップS1503)無線回路111は、受信確認を受信していない映像データパケットを、送信バッファ112から読み出し、読み出した映像データパケットを無線で再送する。受信確認を受信していない映像データパケットには、受信失敗(NACK)を受信した映像データパケットと、送信後、所定時間以内に受信確認(ACK)もしくは受信失敗(NACK)を受信していない映像データパケットがありうる。その後、ステップS1502の処理に進む。
(ステップS1504)無線回路111は、1フレーム分の映像データの送信を完了したか否かを判定する。無線回路111は、ある垂直同期信号(Vsync)から次の垂直同期信号までの1フレーム内の映像データパケットの全てについて受信確認(ACK)を受信したとき、その1フレーム分の映像データの送信を完了したと判定することができる。完了したと判定した場合(ステップS1504 YES)、ステップS1505の処理に進む。送信を完了していないと判定するとき(ステップS1504 NO)、ステップS1501の処理に進み、無線回路111は処理対象の映像データパケットを変更する。
(ステップS1505)無線回路111は、1フレーム分の映像データの送信を完了したフレームのフレーム番号を示すフレーム情報を制御部101に通知する。その後、ステップS1501に進む。無線回路111は、送信対象のフレームを次のフレームに変更する。
次に、本実施形態に係る受信装置200の動作例について説明する。
図10は、本実施形態に係る受信装置200の動作例を示すフローチャートである。
(ステップS2001)電力の供給が開始されるとき(電源ON)、制御部201は、受信装置200の各機能部を初期化する。このとき、各機能部には、動作に要するパラメータが設定される。例えば、無線通信部210には通信チャネルの初期値が設定される。その後、ステップS2002の処理に進む。
(ステップS2002)制御部201は、自装置と接続する送信装置100が選択されたか否かを判定する。制御部201は、例えば、操作入力部(図示せず)から選択情報が入力されるか否かに基づいて送信装置100が選択されたか否かを判定することができる。操作入力部は、操作者の操作を受け付け、受け付けた操作に応じた送信装置100を示す選択情報を制御部201に出力する。送信装置100が選択されるとき(ステップS2002 YES)、ステップS2003の処理に進む。送信装置100が選択されないとき(ステップS2002 NO)の処理を繰り返す。
(ステップS2003)制御部201は、選択された送信装置100に自装置との接続要求を無線で無線通信部210を経由して送信する。その後、ステップS2004の処理に進む。
(ステップS2004)制御部201は、接続要求の送信から所定期間内に接続要求応答を受信したか否かを判定する。接続要求応答を受信した場合(ステップS2004 YES)、送信装置100との接続が確立する。その後、ステップS2007の処理に進む。接続要求応答を受信していない場合(ステップS2004 NO)、ステップS2006の処理に進む。
(ステップS2006)制御部201は、接続エラー情報をモニタ部230に表示させる。ここで、制御部201は、ROM202から予め記憶した接続エラー情報を読み出し、読み出した接続エラー情報をモニタ部230に映像処理部220を経由して出力する。その後、ステップS2002の処理に進む。
(ステップS2007)制御部201は、映像メモリ221に記憶された全映像データを消去(クリア)する。その後、ステップS2010の処理に進む。
(ステップS2010)制御部201は、送信装置100から無線通信部210を経由して映像データを受信しているか否かを判定する。映像データを受信している場合(ステップS2010 YES)、ステップS2011の処理に進む。映像データを受信していない場合(ステップS2010 NO)、ステップS2010の処理を繰り返す。
(ステップS2011)制御部201は、映像データの受信処理を実行する。映像データの受信処理については、後述する。その後、ステップS2010の処理に進む。
次に、映像データの受信処理の例について説明する。図11は、本実施形態に係る映像データの受信処理の例を示すフローチャートである。
(ステップS2101)制御部201は、無線通信部210を経由して受信した映像データパケットをRAM203の所定の記憶領域に記憶(格納)する。その後、ステップS2102の処理に進む。
(ステップS2102)制御部201は、受信した映像データパケットの受信確認(ACK)を示す応答信号を生成し、生成した応答信号を送信装置100に無線通信部210を経由して送信する。なお、制御部201は、映像データパケットの受信失敗(NACK)を検出するとき、その映像データパケットの受信失敗を示す応答信号を送信装置100に送信してもよい。制御部201は、例えば、RAM203に記憶された映像データパケットごとに付加されたパケットIDに基づいて、欠落したパケットIDに係る映像データパケットを受信に失敗した映像データパケットとして判定することができる。但し、送信装置100の制御部101は、個々の映像データパケットに付加するパケットIDを、その映像データパケットの送信順に1ずつ増加させる。その後、ステップS2103の処理に進む。
(ステップS2103)制御部201は、1フレーム分の映像データを受信したか否かを判定する。制御部201は、例えば、RAM203に記憶した各映像データパケットから分割データを抽出し、抽出した分割データを順次連結して映像データを再構成する。制御部201は、再構成した映像データが、ある垂直同期信号(Vsync)から次の垂直同期信号までの1フレーム内で欠落がないとき、それらの垂直同期信号間の1フレーム分の映像データを受信したと判定することができる。1フレーム分の映像データを受信した場合(ステップS2103 YES)、ステップS2104の処理に進む。1フレーム分の映像データを受信していない場合(ステップS2103 NO)、ステップS2010(図10)の処理に進む。
(ステップS2104)制御部201は、映像処理部220の映像メモリ221に受信した1フレーム分の映像データを書き込むことにより、映像メモリ221を更新する。映像処理部220は、映像メモリ221に記憶された映像データを垂直同期信号(Vsync)で区分されるフレームごとに読み出し、読み出した映像データを所定の形式の映像信号(例えば、NTSC信号、HDMI信号などのいずれか)に変換する。映像処理部220は、変換した映像信号をモニタ部230に出力する。その後、ステップS2010の処理に進む。
次に、本実施形態に係る無線通信システム1の動作例について説明する。図12は、本実施形態に係る無線通信システム1の動作例を示すシーケンス図である。
図12は、左右方向に時刻を示し、上方から下方の順に垂直同期信号(Vsync)、映像出力、送信バッファ、映像伝送およびモニタ表示を示す。
「垂直同期信号(Vsync)」は、撮像部121から入力される映像信号のうち、各フレームの先頭に付加される。「映像出力」として、各フレームの映像を示す映像信号が撮像部121から映像処理部122に出力される。F1、F2、…等は、各フレームのフレーム番号を示す。映像処理部122は、フレームごとに映像データを生成し、制御部101に出力する。制御部101は、映像データを区分して得られる分割データごとに映像データパケットを生成し、生成した映像データパケットが所定量蓄積された後、送信バッファ112に順次書き込む。
例えば、フレームF1の送信の際は、通信状態が良好である。このとき、制御部101が送信バッファ112に書き込んだ映像データパケットは、直ちに伝送される。映像データパケットの送信が遅滞なく完了し、再送が要求されないためである。
「映像伝送」は、無線回路111から受信装置200に送信される映像データパケットに係るフレームを示す。「モニタ表示」は、モニタ部230が表示するフレームのフレーム番号を示す。[F1]等は、そのフレーム周期において表示が期待されるフレームのフレーム番号を示す。
映像伝送に関して、無線回路111は、送信バッファ112に書き込まれた順に映像データパケットを無線で受信装置200に送信する。受信装置200の制御部201は、送信装置100から無線通信部210を経由して受信した映像データパケットに含まれる分割データを抽出し、抽出した分割データを連結して映像データを再構成する。制御部201は、再構成した映像データをフレームごとに映像処理部220を経由してモニタ部230に、その次のフレーム周期に出力する。従って、モニタ部230は、通信状態が良好な場合には、送信装置100から受信したフレーム周期(例えば、フレームF1)の映像データの映像を、その次のフレーム周期において表示することができる。
しかしながら、通信状態が劣化すると送信が完了しない映像データパケットが頻発するため、送信バッファ112から消去されない映像データパケットが滞留する。例えば、「送信バッファ」と「映像伝送」において、フレームF2の映像データパケットは、1フレーム周期では送信が完了せず、送信完了までに2フレーム周期余りの期間を要する。そのため、モニタ部230は、フレームF2の表示が期待される期間[F2]であるにも関わらず、フレームF1の映像を表示する。
ところで、図7に示す処理において、制御部101は、フレームF5の映像データの送信バッファ112への書き込み開始時に、制御部101が判定条件1と判定条件2の両者が成立していると判定する。判定条件1が成立するのは、この時点で、制御部101が受信装置200において受信を完了した送信完了フレームがフレームF2、前回の送信完了フレームがフレームF1となるためである。判定条件2が成立するのは、今回の送信完了フレームの確認後に送信バッファに記憶するフレームがフレームF5と、送信完了を確認したフレームF2の3フレーム後のフレームとなるためである。その後、制御部101は、送信バッファ112に記憶した映像データパケットの全てを消去する(送信バッファをクリア)。従って、制御部101は、新たにフレームF5に係る映像データパケットを送信バッファ112に書き込むことができる。その後、通信状態が回復すると、無線回路111は、送信バッファ112に書き込まれた順に映像データパケットを無線で受信装置200に順次送信することができる。従って、送信バッファ112に記憶された映像データパケットを消去することで、映像データの遅延を解消することができる。図12に示す例では、フレームF5に係る映像データの送信に係るフレーム周期の次のフレーム周期[F5]において、モニタ部230は、フレームF5の映像を表示することができる。
次に、本実施形態について総括する。無線通信システム1は、送信装置100と受信装置200とを備える。送信装置100は、所定のフレーム周期毎に撮像したフレーム映像の映像データを取得する撮像部121と、送信バッファ112と、制御部101と、受信装置200と無線で通信する無線通信部110を備える。制御部101は、送信バッファ112に記憶された映像データを、所定の伝送速度で無線通信部110に対して送信させ、送信が完了した映像データを送信バッファ112から消去し、送信が完了した映像データのフレームである送信完了フレームをフレーム周期ごとに確認する。制御部101は、第1条件と第2条件が満たされる場合、送信バッファ112に記憶した映像データの全部を消去した後、撮像部121が取得した映像データを送信バッファ112に記憶する。制御部101は、第1条件と第2条件の少なくともいずれか一方が満たされない場合、送信バッファ112に記憶した映像データを消去せずに、撮像部121が取得した映像データを送信バッファ112に記憶する。第1条件は、今回の送信完了フレームである第2フレームが、前回の送信完了フレームである第1フレームよりも後のフレームであることであり、第2条件は、今回の前記確認の後に送信バッファに記憶する映像データのフレームである第3フレームが、第2フレームの次のフレームではないことである。
この構成により、送信が開始された映像データについて、受信装置200において、その映像データを含む各1フレーム分の映像データの送信完了を待つことができる。そのため、連続して各フレームの映像データが棄却される現象であるフレーム落ちが生ずる可能性が減少する。また、映像データの送信が進捗しないために期待される表示時刻に間に合わず、かつ送信バッファに映像データが滞留する場合には、送信バッファ112に記憶した映像データが全て消去される。送信バッファ112に残された映像データが棄却され、新たに取得される映像データが伝送されるので、映像データの伝送遅延を低減することができる。
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。第1の実施形態と共通の構成や処理については、共通の符号を付してその説明を援用する。
本実施形態では、受信装置200の制御部201は、送信装置100からの受信が完了した映像データのフレームを特定する。制御部201は、特定したフレームを示すフレーム情報を生成し、生成したフレーム情報をアプリケーション層の情報として送信装置100に無線通信部210を経由して送信する。
送信装置100の制御部101は、受信装置200から無線通信部110を経由してフレーム情報を受信する。制御部101は、受信したフレーム情報が示すフレームを送信完了フレームとして確認する。
次に、本実施形態に係る送信装置100の動作例について説明する。
図13は、本実施形態に係る送信装置100の動作例を示すフローチャートである。図13に示す処理は、ステップS1001-S1007、S1009の処理と、ステップS1008bの処理を有する。
図13に示す処理では、ステップS1006において映像データ書込開始時刻を経過していないと判定していないとき(ステップS1006 NO)、ステップS1008bの処理に進む。
(ステップS1008b)制御部101は、受信装置200からフレーム情報を格納したフレーム情報パケットを受信したか否かを判定する。フレーム情報パケットを受信したと判定するとき(ステップS1008b YES)、ステップS1009の処理に進む。フレーム情報パケットを受信していないと判定するとき(ステップS1008b NO)、ステップS1006の処理に進む。
次に、本実施形態に係る映像データの送信処理の例について説明する。図14は、本実施形態に係る映像データの送信処理の例を示すフローチャートである。
図14の処理は、ステップS1501-1503の処理を有する。図14の処理は、図9の処理に含まれるステップS1504、S1505の処理が省略されてなる。但し、ステップS1502において、受信確認(ACK)を受信装置200から受信したか否かを判定する。受信したと判定するとき(ステップS1502 YES)、ステップS1501の処理に進む。また、ステップS1503の後、ステップS1502の処理に進む。
次に、本実施形態に係る受信装置200の動作例について説明する。
図15は、本実施形態に係る受信装置200の動作例を示すフローチャートである。図15は、本実施形態に係る受信装置200の動作例を示すフローチャートである。図15の処理は、ステップS2001-S2004、S2006、S2007、S2010-S2013の処理を有する。但し、ステップS2010において映像データを受信していない場合(ステップS2010 NO)、ステップS2012の処理に進む。
(ステップS2012)制御部201は、現時刻がフレーム情報パケット送信時刻を経過したか否かを判定する。制御部201は、例えば、現時刻におけるタイマ(フレーム情報送信タイマ)の時刻が所定時刻に達したとき、フレーム情報パケット送信時刻を経過したと判定することができる。フレーム情報パケット送信時刻は、各フレーム周期の開始時よりも終了時に近い時刻に設定される。フレーム情報パケット送信時刻を経過したとき(ステップS2012 YES)、ステップS2012の処理に進む。フレーム情報パケット送信時刻を経過していないとき(ステップS2012 NO)、ステップS2010の処理に進む。その後、ステップS2013の処理に進む。
(ステップS2013)制御部201は、フレーム情報送信処理(後述)を実行する。その後、ステップS2010の処理に進む。
次に、フレーム情報送信処理の例について説明する。図16は、本実施形態に係るフレーム情報送信処理の例を示すフローチャートである。
(ステップS2201)制御部201は、その時点において最後に受信が完了した受信完了フレームのフレーム番号を判定する。その後、ステップS2202の処理に進む。
(ステップS2202)制御部201は、判定したフレーム番号を示すフレーム情報としてフレーム情報パケットを生成し、生成したフレーム情報パケットを送信装置100に無線通信部210を経由して送信する。その後、ステップS2010(図15)の処理に進む。
次に、本実施形態に係る垂直同期信号(Vsync)の割り込み処理について説明する。図17は、本実施形態に係る垂直同期信号の割り込み処理の例を示すフローチャートである。図17の処理は、受信装置200が実行する点で、図8の処理とは異なる。
(ステップS2301)制御部201は、垂直同期期間(Vsync期間)ごとにタイマ(フレーム情報送信タイマ)の時刻を初期値に設定する。制御部201は、RAM203に記憶する映像データから垂直同期信号を検出することによって、垂直同期期間を判別することができる。従って、制御部201が備えるタイマは、フレームごとに時刻を所定の初期値に設定して計時を開始することができる。計時される時刻が、ステップS2012(図15)の処理に用いられる。
次に、本実施形態に係る無線通信システム1の動作例について説明する。図18は、本実施形態に係る無線通信システム1の動作例を示すシーケンス図である。
図18に示す例は、図12に示す例と、映像の撮像、送信バッファ112への映像データの記憶、映像データの伝送、映像の表示のタイミングが同様である。
但し、図18には、図12に対して、さらにフレーム情報受信の行が設けられている。「フレーム情報受信」は、送信装置100の制御部101が受信装置200からの伝送路を経由してフレーム情報パケットを受信するタイミングを表す。フレーム情報は、受信装置200が受信を完了した映像データのフレーム番号を示す。図18に示す例では、フレームF1の映像データパケットが伝送されるフレーム周期の末端であるフレーム情報パケット送信時刻において、受信装置200の制御部201は、最後に受信が完了した受信完了フレームをフレームF1と判定する。制御部201は、フレームF1を示すフレーム情報を含むフレーム情報パケットを送信装置100に送信する。送信装置100の制御部101は、受信装置200から受信したフレーム情報パケットからフレーム情報を検出し、検出したフレーム情報が示すフレームF1を、その時点において最後に送信が完了した送信完了フレームとして確認する。図18に示す例では、その後の送信完了フレームは、順にフレームF1、F1、F2、F5、F6となる。図18の第4フレーム周期から、第5フレーム周期の間で、送信完了フレームがF2からF5と急激に変化するのは、第5フレーム周期内の映像データ書込開始時刻において、送信バッファ112に記憶された映像データパケットが全て消去(クリア)されるためである。この時刻では、上記の判定条件1と判定条件2がいずれも満足される。よって、第5フレーム周期において、新たな分割データを含むフレーム情報パケットが送信バッファ112に新たに記憶され、無線回路111を経由して受信装置200に直ちに伝送される。
制御部101は、その時点で受信したフレーム情報が示すフレーム番号を、判定条件1と判定条件2における第2フレーム番号として用いる。また、前フレーム周期で受信したフレーム情報が示すフレーム番号を、判定条件1における第1フレーム番号として用いる。そのため、本実施形態では、第1の実施形態とは異なり、無線回路111において、各フレーム内の映像データパケットの全てについて、より低位の階層であるデータリンク層の情報として伝送される受信確認(ACK)を受信したか否かに基づき1フレーム分の映像データの送信を完了したか否かを判定する処理を省略することができる。また、受信装置200の制御部201は、受信した映像データパケットの受信確認(ACK)を示す応答信号を生成し、送信装置100に送信する処理を省略することができる。
次に、本実施形態について総括する。無線通信システム1において、受信装置200は、受信が完了した映像データのフレームを特定し、特定したフレームを示すフレーム情報を送信装置に送信させる制御部201を備える。また、送信装置100の制御部101は、受信装置から受信したフレーム情報が示すフレームを送信完了フレームとして確認する。
この構成により、映像データの送信確認を、映像データパケット単位で伝達せずに、フレーム単位での送信完了が判定可能となる。そのため、送信装置100から受信装置200への映像データの送信に係る処理の負荷を低減するとともに、無線での通信に要するリソースを有効に活用することができる。
以上、本発明の実施形態について説明したが、本発明の要旨を逸脱しない範囲内において種々の変形を加えることができる。
図3に示す例では、モニタ部230は、受信装置200とは、別体であるが、これには限られない。受信装置200は、さらにモニタ部230を含んで単一の受信装置200として構成されてもよい。
また、上記の実施形態では、無線通信システム1において、送信装置100、受信装置200が、主にそれぞれクライアント、アクセスポイントとして機能する通信モード(インフラストラクチャモード)で通信する場合を例にしたが、これには限られない。送信装置100と受信装置200が対等な通信モード(アドホックモード)で通信を行ってもよい。また、送信装置100は、他の機器から受信した映像データを受信装置200に中継する中継器として機能してもよい。その場合には、送信装置100において撮像部121が省略されてもよい。
送信装置100の一部、例えば、制御部101を、受信装置200の一部、例えば、制御部201をそれぞれコンピュータで実現してもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、送信装置100または受信装置200に内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を経由してプログラムを送信する場合に用いられる通信線など短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリなど一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、上述した実施形態における送信装置100、受信装置200の一部、または全部を、LSI(Large Scale Integration)等の集積回路として実現してもよい。送信装置100、受信装置200の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。例えば、上記の制御部101、201は、それぞれ独立な制御回路として構成されてもよいまた、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態及びその変形例に限定されることはない。本発明の主旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。
また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。
上記各態様の通信システム、送信装置、通信方法およびプログラムによれば、送信が開始された映像データについて、受信装置において、その映像データを含む各1フレーム分の映像データの送信完了を待つことができる。そのため、連続して各フレームの映像データが棄却される現象であるフレーム落ちが生ずる可能性が低減する。また、映像データの送信が進捗しないために期待される表示時刻に間に合わず、かつ送信バッファに映像データが滞留する場合には、送信バッファに記憶した映像データが全て消去される。そのため、不要な映像データの送信を解消し、映像データの伝送遅延を低減することができる。
1…無線通信システム、100…送信装置、101…制御部、102…ROM、103…RAM、110…無線通信部、111…無線回路、112…送信バッファ、113…受信バッファ、114…アンテナ、121…撮像部、122…映像処理部、200…受信装置、201…制御部、202…ROM、203…RAM、210…無線通信部、211…無線回路、212…送信バッファ、213…受信バッファ、214…アンテナ、220…映像処理部、221…映像メモリ、230…モニタ部

Claims (5)

  1. 送信装置と、受信装置とを備える通信システムであって、
    前記送信装置は、
    所定のフレーム周期ごとに撮像したフレーム映像の映像データを取得する撮像部と、
    送信バッファと、
    制御部と、
    前記受信装置と無線で通信する通信部と、
    を備え、
    前記制御部は、
    前記送信バッファに記憶された前記映像データを、所定の伝送速度で前記通信部に対して送信させ、
    送信が完了した前記映像データを前記送信バッファから消去し、
    送信が完了した前記映像データのフレームである送信完了フレームを前記フレーム周期ごとに確認し、
    第1条件と第2条件が満たされる場合、
    前記送信バッファに記憶した前記映像データの全部を消去した後、
    前記撮像部が取得した前記映像データを前記送信バッファに記憶し、
    前記第1条件と前記第2条件の少なくともいずれか一方が満たされない場合、
    前記送信バッファに記憶した前記映像データを消去せずに、
    前記撮像部が取得した前記映像データを前記送信バッファに記憶し、
    前記第1条件は、今回のフレーム周期において確認した前記送信完了フレームのフレーム番号が、前回のフレーム周期において確認した前記送信完了フレームのフレーム番号よりも大きいことであり、
    前記第2条件は、前記今回のフレーム周期において前記送信完了フレームが確認された後に前記送信バッファに記憶する前記映像データのフレームのフレーム番号が、前記今回のフレーム周期において確認した前記送信完了フレームの前記フレーム番号に1を加えたフレーム番号よりも大きいことである
    通信システム。
  2. 前記受信装置は、
    受信が完了した前記映像データのフレームを特定し、特定した前記フレームを示すフレーム情報を前記送信装置に送信させる制御部を備え、
    前記送信装置の制御部は、
    前記受信装置から受信した前記フレーム情報が示すフレームを前記送信完了フレームとして確認する
    請求項1に記載の通信システム。
  3. 所定のフレーム周期ごとに撮像したフレーム映像の映像データを取得する撮像部と、
    送信バッファと、
    制御部と、
    受信装置と無線で通信する通信部と、
    を備え、
    前記制御部は、
    前記送信バッファに記憶された前記映像データを、所定の伝送速度で前記通信部に対して送信させ、
    送信が完了した前記映像データを前記送信バッファから消去し、
    送信が完了した前記映像データのフレームである送信完了フレームを前記フレーム周期ごとに確認し、
    第1条件と第2条件が満たされる場合、
    前記送信バッファに記憶した前記映像データの全部を消去した後、
    前記撮像部が取得した前記映像データを前記送信バッファに記憶し、
    前記第1条件と前記第2条件の少なくともいずれか一方が満たされない場合、
    前記送信バッファに記憶した前記映像データを消去せずに、
    前記撮像部が取得した前記映像データを前記送信バッファに記憶し、
    前記第1条件は、今回のフレーム周期において確認した前記送信完了フレームのフレーム番号が、前回のフレーム周期において確認した前記送信完了フレームのフレーム番号よりも大きいことであり、
    前記第2条件は、前記今回のフレーム周期において前記送信完了フレームが確認された後に前記送信バッファに記憶する前記映像データのフレームのフレーム番号が、前記今回のフレーム周期において確認した前記送信完了フレームの前記フレーム番号に1を加えたフレーム番号よりも大きいことである
    送信装置。
  4. 所定のフレーム周期ごとに撮像したフレーム映像の映像データを取得する撮像部と、送信バッファと、受信装置と無線で通信する通信部と、を備える送信装置の通信方法であって、
    前記送信バッファに記憶された前記映像データを、前記受信装置に前記通信部に対して所定の伝送速度で送信させる第1ステップと、
    送信が完了した前記映像データを前記送信バッファから消去する第2ステップと、
    送信が完了した前記映像データのフレームである送信完了フレームを前記フレーム周期ごとに確認する第3ステップと、
    第1条件と第2条件が満たされる場合、
    前記送信バッファに記憶した前記映像データの全部を消去した後、
    前記撮像部が取得した前記映像データを前記送信バッファに記憶する第4ステップと、
    前記第1条件と前記第2条件の少なくともいずれか一方が満たされない場合、
    前記送信バッファに記憶した前記映像データを消去せずに、
    前記撮像部が取得した前記映像データを前記送信バッファに記憶する第5ステップと、を有し、
    前記第1条件は、今回のフレーム周期において確認した前記送信完了フレームのフレーム番号が、前回のフレーム周期において確認した前記送信完了フレームのフレーム番号よりも大きいことであり、
    前記第2条件は、前記今回のフレーム周期において前記送信完了フレームが確認された後に前記送信バッファに記憶する前記映像データのフレームのフレーム番号が、前記今回のフレーム周期において確認した前記送信完了フレームの前記フレーム番号に1を加えたフレーム番号よりも大きいことである
    通信方法。
  5. 所定のフレーム周期ごとに撮像したフレーム映像の映像データを取得する撮像部と、送信バッファと、受信装置と無線で通信する通信部と、を備える送信装置のコンピュータに、
    前記送信バッファに記憶された前記映像データを、前記受信装置に前記通信部に対して所定の伝送速度で送信させる第1手順と、
    送信が完了した前記映像データを前記送信バッファから消去する第2手順と、
    送信が完了した前記映像データのフレームである送信完了フレームを前記フレーム周期ごとに確認する第3手順と、
    第1条件と第2条件が満たされる場合、
    前記送信バッファに記憶した前記映像データの全部を消去した後、
    前記撮像部が取得した前記映像データを前記送信バッファに記憶する第4手順と、
    前記第1条件と前記第2条件の少なくともいずれか一方が満たされない場合、
    前記送信バッファに記憶した前記映像データを消去せずに、
    前記撮像部が取得した前記映像データを前記送信バッファに記憶する第5手順と、を実行させるためのプログラムであって、
    前記第1条件は、今回のフレーム周期において確認した前記送信完了フレームのフレーム番号が、前回のフレーム周期において確認した前記送信完了フレームのフレーム番号よりも大きいことであり、
    前記第2条件は、前記今回のフレーム周期において前記送信完了フレームが確認された後に前記送信バッファに記憶する前記映像データのフレームのフレーム番号が、前記今回のフレーム周期において確認した前記送信完了フレームの前記フレーム番号に1を加えたフレーム番号よりも大きいことである
    プログラム。
JP2020530776A 2018-07-18 2018-07-18 通信システム、送信装置、通信方法およびプログラム Active JP7026232B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/026870 WO2020016953A1 (ja) 2018-07-18 2018-07-18 無線通信装置、無線通信システム、無線通信方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2020016953A1 JPWO2020016953A1 (ja) 2021-07-15
JP7026232B2 true JP7026232B2 (ja) 2022-02-25

Family

ID=69163875

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020530776A Active JP7026232B2 (ja) 2018-07-18 2018-07-18 通信システム、送信装置、通信方法およびプログラム

Country Status (4)

Country Link
US (1) US11316627B2 (ja)
JP (1) JP7026232B2 (ja)
CN (1) CN112369039B (ja)
WO (1) WO2020016953A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017130269A1 (ja) 2016-01-25 2017-08-03 オリンパス株式会社 画像送信装置、画像通信システム、画像送信方法、およびプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09322078A (ja) * 1996-05-24 1997-12-12 Toko Inc 画像伝送装置
JP2006203649A (ja) 2005-01-21 2006-08-03 Matsushita Electric Ind Co Ltd 映像伝送装置及びシステム
US7551782B2 (en) * 2005-02-15 2009-06-23 Dspv, Ltd. System and method of user interface and data entry from a video call
JP4914127B2 (ja) * 2005-07-11 2012-04-11 キヤノン株式会社 ネットワークカメラ装置およびネットワークカメラ装置の映像フレームの送信方法
US8248489B2 (en) * 2006-04-19 2012-08-21 Nikon Corporation Image playback device, camera and image playback system
US9020966B2 (en) * 2006-07-31 2015-04-28 Ricoh Co., Ltd. Client device for interacting with a mixed media reality recognition system
JP2008311831A (ja) * 2007-06-13 2008-12-25 Panasonic Corp 動画像通信装置、動画像通信システムおよび動画像通信用の半導体集積回路
JP2010141625A (ja) 2008-12-12 2010-06-24 Panasonic Corp 無線伝送システム、無線基地局装置および通信チャンネル選択方法
US10681382B1 (en) * 2016-12-20 2020-06-09 Amazon Technologies, Inc. Enhanced encoding and decoding of video reference frames

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017130269A1 (ja) 2016-01-25 2017-08-03 オリンパス株式会社 画像送信装置、画像通信システム、画像送信方法、およびプログラム

Also Published As

Publication number Publication date
CN112369039B (zh) 2022-12-30
US20210135798A1 (en) 2021-05-06
WO2020016953A1 (ja) 2020-01-23
JPWO2020016953A1 (ja) 2021-07-15
US11316627B2 (en) 2022-04-26
CN112369039A (zh) 2021-02-12

Similar Documents

Publication Publication Date Title
US8908756B2 (en) Image transmission apparatus and image reception apparatus
JP3816898B2 (ja) ワイヤレス・ローカル・エリア・ネットワークによるリアルタイム映像・音声データの一対多伝送方法及びシステム
JP2006325150A (ja) 撮像方法、撮像システムおよび撮像装置
JP2008193510A (ja) 映像送信装置、映像受信装置、及び映像伝送システム
JPWO2012114774A1 (ja) 動画像符号化装置および動画像復号装置
JP2008219522A (ja) 撮像システム、撮像装置、撮像プログラム、及び撮像方法
JP7026232B2 (ja) 通信システム、送信装置、通信方法およびプログラム
JP2005027120A (ja) 双方向データ通信システム
JP2015041860A (ja) 通信装置、通信方法、及び通信プログラム
JP2011049888A (ja) ネットワークカメラ及び映像配信システム
JP2005303561A (ja) 移動体端末装置
US20180070086A1 (en) Compressed image data transmitting device, compressed image data transmitting and receiving system, compressed image data transmitting method, and non-transitory medium saving program
US20150288988A1 (en) Video transmission terminal, video transmission method, video transmission program, and video transfer system
JP5515968B2 (ja) 送信装置及び方法、並びにプログラム
GB2505225A (en) Retransmission of video packets at time-varying compression levels
JP4250582B2 (ja) 携帯端末
US8073273B2 (en) Moving image receiving apparatus
JP2008278355A (ja) 信号伝送装置及び信号伝送方法
JP2005244289A (ja) 画像データ通信システム
JP4762340B2 (ja) 信号処理装置及び信号処理方法
WO2022185795A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP2011211630A (ja) 送信装置及び方法、並びにプログラム
JP7194744B2 (ja) 通信システム、受信端末、通信方法、およびプログラム
JP2009290790A (ja) 映像送信装置および映像送信方法
JP2006222719A (ja) 画像撮像システム、画像撮像装置及びその通信方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210106

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220214

R151 Written notification of patent or utility model registration

Ref document number: 7026232

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151