JP5361245B2 - Transmission / reception system, transmission / reception method by transmission / reception system, transmission apparatus, transmission method by transmission apparatus - Google Patents
Transmission / reception system, transmission / reception method by transmission / reception system, transmission apparatus, transmission method by transmission apparatus Download PDFInfo
- Publication number
- JP5361245B2 JP5361245B2 JP2008131745A JP2008131745A JP5361245B2 JP 5361245 B2 JP5361245 B2 JP 5361245B2 JP 2008131745 A JP2008131745 A JP 2008131745A JP 2008131745 A JP2008131745 A JP 2008131745A JP 5361245 B2 JP5361245 B2 JP 5361245B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- transmission
- file
- video data
- stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Transfer Between Computers (AREA)
Abstract
Description
本発明は、映像データについてのストリームデータを送信する送信装置と、該送信装置から該ストリームデータを受信する受信装置とを有する送受信システム、送受信システムによる送受信方法、送信装置、送信装置による送信方法に関する。 The present invention relates to a transmission / reception system including a transmission device that transmits stream data of video data and a reception device that receives the stream data from the transmission device, a transmission / reception method using the transmission / reception system, a transmission device, and a transmission method using the transmission device. .
近年のテレビ(以下、TVと称する)の中には、自身に接続されたデジタルビデオカメラ(以下、DVカメラと称する)から、映像データについてのストリームデータを受信して、映像を表示することが可能なものがある。 Some recent televisions (hereinafter referred to as TV) may receive stream data about video data from a digital video camera (hereinafter referred to as DV camera) connected thereto and display the video. There is something possible.
ところで、このようにしてTVに表示されている映像を複数のユーザが見ている状況では、該映像を見続けたいユーザAがいるにもかかわらず、別のユーザBがDVカメラを撮影等に使用したくなる場合がある。 By the way, in a situation where a plurality of users are watching the video displayed on the TV in this way, even though there is a user A who wants to continue watching the video, another user B takes a picture of the DV camera. You may want to use it.
このような場合、ユーザBが撮影等のためにDVカメラを屋外等に持ち去ると、TVとDVカメラとの接続が切断されてしまい、TVはDVカメラからストリームデータを受信して映像を表示することができなくなる。このため、ユーザAは、該映像の残りを見ることができなくなってしまう。 In such a case, when the user B takes the DV camera outdoors for shooting or the like, the connection between the TV and the DV camera is disconnected, and the TV receives the stream data from the DV camera and displays the video. I can't do that. For this reason, the user A cannot see the rest of the video.
よって、TVがDVカメラからストリームデータを受信して映像を表示している間に、TVとDVカメラとの接続が切断されても、ユーザAが該映像の残りを見ることを可能にすることは重要である。 Therefore, even when the connection between the TV and the DV camera is disconnected while the TV receives the stream data from the DV camera and displays the video, the user A can view the rest of the video. Is important.
これを可能にする方法として、映像データについてのストリームデータをDVカメラがTVに送信している間に、別途、該映像データについてのファイルをDVカメラからTVに送信しておき、該ファイルをTVに蓄積させる方法が考えられる。そして、TVとDVカメラとの接続が切断された後は、TVが蓄積したファイルに基づいて映像を表示することで、ユーザAは残りの映像を見ることが可能になる。 As a method for enabling this, while the DV camera is transmitting the stream data for the video data to the TV, a file for the video data is separately transmitted from the DV camera to the TV, and the file is transmitted to the TV. The method of accumulating in can be considered. Then, after the connection between the TV and the DV camera is disconnected, the video can be displayed based on the file stored in the TV, so that the user A can view the remaining video.
このような方法に関連する技術として、特許文献1では、ファイル受信装置に対して、実時間再生メディアのファイルを送信しながら、該送信に使用されていない余り帯域を用いて、非実時間再生メディアのファイルも送信するファイル送信装置が提案されている。 As a technique related to such a method, in Patent Document 1, non-real time reproduction is performed using a surplus bandwidth that is not used for transmission while transmitting a file of real time reproduction media to a file receiving apparatus. There has been proposed a file transmission apparatus for transmitting media files.
ここで、実時間再生メディアのファイルとは、ファイル受信装置によって、データの受信開始と同時に実時間で再生開始されるデータを格納したファイルである。一方、非実時間再生メディアのファイルとは、ファイル受信装置によって、受信データが全て蓄積された後に再生されるデータを格納したファイルである。
しかしながら、特許文献1に開示されている技術では、実時間再生メディアのファイル送信中に、別途、非実時間再生メディアのファイルを送信しているが、非実時間再生メディアのファイルの送信が完了した旨をユーザに通知する構成はない。つまり、特許文献1に開示されている技術では、ユーザは、残りの映像を見るために必要な、映像データについてのファイルの蓄積が完了したことが分からない。 However, in the technique disclosed in Patent Document 1, a non-real time playback media file is separately transmitted during real time playback media file transmission, but the transmission of the non real time playback media file is completed. There is no configuration for notifying the user of the fact. That is, with the technique disclosed in Patent Document 1, the user does not know that the accumulation of the file regarding the video data necessary for viewing the remaining video is completed.
このため、特許文献1に開示されている技術では、TVとDVカメラとの接続を切断するのが早すぎて、映像データについてのファイルの蓄積が完了しておらず、ユーザは残りの映像を見ることができないことがある。 For this reason, in the technique disclosed in Patent Document 1, the connection between the TV and the DV camera is cut off too early, and the file storage of the video data is not completed, and the user can view the remaining video. You may not be able to see it.
また、特許文献1に開示されている技術では、映像データについてのファイルの蓄積が完了しているにもかかわらず、TVとDVカメラとの接続を切断できることにユーザが気付かない場合がある。従って、特許文献1に開示されている技術では、該接続を切断するのが遅すぎて、TVがDVカメラから受信したストリームデータに基づいて表示する映像の終了を待って、該接続を切断するのと変わらなくなってしまうことがある。 In addition, in the technique disclosed in Patent Document 1, the user may not notice that the connection between the TV and the DV camera can be disconnected even though the file of the video data has been accumulated. Therefore, in the technique disclosed in Patent Document 1, it is too late to disconnect the connection, and the TV disconnects the connection after waiting for the video to be displayed based on the stream data received from the DV camera. There are times when it will not change.
本発明は、上記課題を解決するためになされたものである。即ち、本発明は、受信装置により送信装置から受信されたストリームデータに基づく映像について、ユーザが残りの映像を見たい場合に、適切かつ迅速に、送信装置と受信装置との接続を切断可能な旨をユーザに通知可能な送受信システム、送受信システムによる送受信方法、送信装置、送信装置による送信方法の提供を目的とする。 The present invention has been made to solve the above problems. That is, the present invention can disconnect the connection between the transmission device and the reception device appropriately and quickly when the user wants to view the remaining video for the video based on the stream data received from the transmission device by the reception device. It is an object of the present invention to provide a transmission / reception system capable of notifying a user, a transmission / reception method using a transmission / reception system, a transmission device, and a transmission method using a transmission device .
上記目的を達成するために、本発明の送受信システムは、送信装置と受信装置とを備える送受信システムであって、前記送信装置は、映像データを記録する記録手段と、前記映像データの総データ量を前記受信装置に送信する送信手段と、前記映像データの先頭から読み出して、前記受信装置にストリームデータを送信するストリーム送信手段と、前記映像データの末尾から所定の単位毎に分割して、前記受信装置にファイルデータを送信するファイル送信手段と、を備え、前記受信装置は、前記送信手段により送信された映像データの総データ量と、前記ストリーム送信手段により送信されたストリームデータと、前記ファイル送信手段により送信されたファイルデータと、を受信する受信手段と、前記受信手段により受信されたファイルデータを蓄積する蓄積手段と、前記受信手段により受信されたストリームデータのデータ量と、前記蓄積手段により蓄積されたファイルデータのデータ量との合計が、前記映像データの総データ量と一致したか否かを判定する判定手段と、前記判定手段により前記合計が前記映像データの総データ量と一致したと判定された場合は、前記送信装置と前記受信装置との接続が切断可能な旨をユーザに通知する通知手段と、を備える。そして、前記送信装置の前記ファイル送信手段は、前記ストリーム送信手段が前記ストリームデータを送信している間に、前記送信装置と前記受信装置との接続の切断をユーザから要求されたことに応じて、前記ファイルデータの送信を開始する。
本発明の送受信方法は、送信装置と受信装置とを備える送受信システムによる送受信方法であって、前記送信装置が映像データを記録する記録ステップと、前記送信装置が前記映像データの総データ量を前記受信装置に送信する送信ステップと、前記送信装置が前記映像データの先頭から読み出して、前記受信装置にストリームデータを送信するストリーム送信ステップと、前記送信装置が前記映像データの末尾から所定の単位毎に分割して、前記受信装置にファイルデータを送信するファイル送信ステップと、前記受信装置が、前記送信ステップで送信された前記映像データの総データ量と、前記ストリーム送信ステップで送信されたストリームデータと、前記ファイル送信ステップで送信されたファイルデータと、を受信する受信ステップと、 前記受信ステップで受信されたファイルデータを蓄積する蓄積ステップと、 前記受信ステップで受信されたストリームデータのデータ量と、前記蓄積ステップで蓄積されたファイルデータのデータ量との合計が、前記映像データの総データ量と一致したか否かを判定する判定ステップと、前記判定ステップで前記合計が前記映像データの総データ量と一致したと判定された場合は、前記送信装置と前記受信装置との接続が切断可能な旨をユーザに通知する通知ステップと、を有する。そして、前記ファイル送信ステップは、前記ストリーム送信ステップが前記ストリームデータを送信している間に、前記送信装置と前記受信装置との接続の切断をユーザから要求されたことに応じて、前記ファイルデータの送信を開始する。
本発明の送信装置は、映像データを記録する記録手段と、前記映像データの総データ量を前記受信装置に送信する送信手段と、前記映像データの先頭から読み出して、前記受信装置にストリームデータを送信するストリーム送信手段と、前記映像データの末尾から所定の単位毎に分割して、前記受信装置にファイルデータを送信するファイル送信手段と、を備える。前記ファイル送信手段は、前記ストリーム送信手段が前記ストリームデータを送信している間に、前記送信装置と前記受信装置との接続の切断をユーザから要求されたことに応じて、前記ファイルデータの送信を開始する。
本発明の送信方法は、送信装置による送信方法であって、映像データを記録する記録ステップと、前記映像データの総データ量を前記受信装置に送信する送信ステップと、前記映像データの先頭から読み出して、前記受信装置にストリームデータを送信するストリーム送信ステップと、前記映像データの末尾から所定の単位毎に分割して、前記受信装置にファイルデータを送信するファイル送信ステップと、を有する。そして、前記ファイル送信ステップは、前記ストリーム送信ステップが前記ストリームデータを送信している間に、前記送信装置と前記受信装置との接続の切断をユーザから要求されたことに応じて、前記ファイルデータの送信を開始する。
To achieve the above object, transmitting and receiving system of the present invention is a reception system comprising a transmitter and the receiver, the transmitting apparatus includes a recording means for recording the video data, the total data of the movies image data transmitting means for transmitting the amount of the receiving device, it is read from the beginning of the previous Kiutsu image data, and a stream transmitting means for transmitting the stream data to the receiving device, before the end of Kiutsu image data for each predetermined unit divided and, and a file transmission means for transmitting the file data to the receiving device, the receiving device, the total amount of video data transmitted by the transmitting means, transmitted by the stream transmission means stream Receiving means for receiving data and file data sent by the file sending means; and a file received by the receiving means The sum of the data amount of the stream data received by the receiving means and the data amount of the file data stored by the storage means matches the total data amount of the video data. A determination means for determining whether or not the sum is equal to a total amount of the video data by the determination means, the connection between the transmission device and the reception device can be disconnected. a notification unit that notifies the user, Ru comprising a. The file transmission unit of the transmission device responds to a request for disconnection of the connection between the transmission device and the reception device while the stream transmission unit is transmitting the stream data. The transmission of the file data is started .
The transmission / reception method of the present invention is a transmission / reception method by a transmission / reception system including a transmission device and a reception device, wherein the transmission device records video data, and the transmission device determines the total data amount of the video data. A transmitting step for transmitting to the receiving device; a stream transmitting step for reading from the head of the video data by the transmitting device and transmitting stream data to the receiving device; and a unit for each predetermined unit from the end of the video data. A file transmission step for transmitting file data to the receiving device, the total amount of the video data transmitted by the receiving device in the transmission step, and the stream data transmitted in the stream transmitting step. And a reception step for receiving the file data transmitted in the file transmission step. And a storage step for storing the file data received in the reception step, a data amount of the stream data received in the reception step, and a data amount of the file data stored in the storage step, A determination step for determining whether or not the total amount of video data matches, and the transmission device and the reception device when the determination step determines that the total matches the total data amount of the video data And a notification step for notifying the user that the connection with can be disconnected. The file transmission step includes the file data in response to a request from the user to disconnect the transmission device and the reception device while the stream transmission step is transmitting the stream data. Start sending.
The transmission apparatus of the present invention includes a recording means for recording video data, a transmission means for transmitting the total data amount of the video data to the reception apparatus, and reading stream data from the head of the video data to the reception apparatus. Stream transmitting means for transmitting, and file transmitting means for dividing the video data into predetermined units from the end of the video data and transmitting the file data to the receiving device. The file transmission unit transmits the file data in response to a request from the user to disconnect the transmission device and the reception device while the stream transmission unit is transmitting the stream data. To start.
The transmission method of the present invention is a transmission method by a transmission device, wherein a recording step of recording video data, a transmission step of transmitting the total amount of the video data to the reception device, and reading from the head of the video data A stream transmitting step for transmitting stream data to the receiving device, and a file transmitting step for dividing the video data into predetermined units from the end of the video data and transmitting the file data to the receiving device. The file transmission step includes the file data in response to a request from the user to disconnect the transmission device and the reception device while the stream transmission step is transmitting the stream data. Start sending.
以上説明したように、本発明は、受信装置が送信装置から受信したストリームデータに基づく映像について、ユーザが残りの映像を見たい場合に、適切かつ迅速に、送信装置と受信装置との接続を切断可能な旨をユーザに通知可能という効果を有する。 As described above, according to the present invention, for a video based on stream data received by a receiving device from a transmitting device, when the user wants to view the remaining video, the connection between the transmitting device and the receiving device is appropriately and quickly performed. There is an effect that it is possible to notify the user that disconnection is possible.
(実施例1)
図1は、送信装置としてのDVカメラ100と、受信装置としてのTV101とを有する送受信システムのシステム構成図である。なお、本実施例において、DVカメラ100とTV101とは、無線LANを介して通信可能に接続されているものとするが、無線LANに限るものではない。
Example 1
FIG. 1 is a system configuration diagram of a transmission / reception system including a
本実施例におけるDVカメラ100は、映像データについてのストリームデータをTV101に送信可能である。また、本実施例におけるDVカメラ100は、映像データについてのファイルをTV101に送信可能である。
The
一方、本実施例におけるTV101は、映像データについてのストリームデータをDVカメラ100から受信して、映像を表示することができる。また、本実施例におけるTV101は、映像データについてのファイルをDVカメラ100から受信して、映像を表示することができる。
On the other hand, the TV 101 in the present embodiment can receive the stream data for the video data from the
なお、本実施例では、送信装置としてDVカメラ100を用いることとするが、本発明における送信装置は、DVカメラ100に限定されるものではない。また、本実施例では、受信装置としてTV101を用いることとするが、本発明における受信装置はTV101に限定されるものではない。
In this embodiment, the
図2は、本発明の実施例1におけるDVカメラ100の概略構成を示すブロック図である。
FIG. 2 is a block diagram illustrating a schematic configuration of the
記録部102は、映像データを記録する。ストリーム送信制御部103は、後述する制御部106からの指示を受け、記録部102が記録する映像データの読み出しを、該映像データの先頭から開始する。そして、ストリーム送信制御部103は、読み出した映像データについてのストリームデータを通信部105に転送する。
The
ファイル送信制御部104は、後述する制御部106からの指示を受け、記録部102が記録する映像データの複数ファイルへの分割を、該映像データの末尾から開始する。そして、ファイル送信制御部104は、分割したファイルを通信部105に転送する。
In response to an instruction from the
通信部105は、後述する制御部106の指示を受け、ストリーム送信制御部103から転送されたストリームデータと、ファイル送信制御部104から転送されたファイルと、を重畳してTV101に送信する。また、通信部105は、後述する制御部106から入力された映像データの総データ量をTV101に送信する。
In response to an instruction from the
制御部106は、記録部102が記録する映像データのうち、いずれかの映像データが、ユーザによって選択されたか否かを判定する。なお、ユーザは、DVカメラ100を操作可能な操作部(不図示)やリモコン(不図示)を用いて、映像データの選択を行う。
The
そして、制御部106は、映像データがユーザによって選択された場合は、選択された映像データの総データ量を通信部105に通知する。次に、制御部106は、ストリーム送信制御部103に対して、選択された映像データについてのストリームデータの転送処理を開始させるように制御する。
Then, when the video data is selected by the user, the
また、制御部106は、ストリームデータの転送処理の開始と同時に、ファイル送信制御部104に対して、選択された映像データについてのファイルの転送処理を開始させるように制御する。
The
更に、制御部106は、通信部105に対して、ストリーム送信制御部103から転送されたストリームデータと、ファイル送信制御部104から転送されたファイルとを重畳して、TV101に送信させるように制御する。このような映像データ送信処理については、図5を用いて後述する。
Further, the
続いて、本発明の実施例1におけるTV101の概略構成について説明する。図3は、TV101の概略構成を示すブロック図である。
Next, a schematic configuration of the
通信部107は、ストリームデータやファイル等を含むデータをDVカメラ100から受信して、受信したデータを分解部108に出力する。
The communication unit 107 receives data including stream data and files from the
分解部108は、通信部107から入力されたデータを、ストリームデータと、ファイルとに分解する。そして、分解部108は、ストリームデータはバッファ109に、ファイルは蓄積部111に出力する。また、分解部108は、通信部107から入力されたデータに映像データの総データ量が含まれている場合は、該総データ量を制御部112に通知する。
The
バッファ109は、分解部108から入力されたストリームデータを一時的にバッファする。そして、バッファ109は、バッファしたストリームデータを第1映像デコード部110に出力する。
The buffer 109 temporarily buffers the stream data input from the
第1映像デコード部110は、バッファ109から入力されたストリームデータをデコードして映像データを生成する。そして、第1映像デコード部110は、生成した映像データを表示切替部114に出力する。 The first video decoding unit 110 decodes the stream data input from the buffer 109 to generate video data. Then, the first video decoding unit 110 outputs the generated video data to the display switching unit 114.
蓄積部111は、分解部108から入力されたファイルを蓄積する。なお、本実施例では、蓄積部111はTV101に内蔵されているものとするが、これに限るものではない。例えば、蓄積部111は、TV101の外部にあって、TV101に接続されていてもよい。
The storage unit 111 stores the file input from the
ここで、TV101がDVカメラ100から受信するストリームデータと、TV101がDVカメラ100から受信するファイルとの関係について、図4を用いて説明する。
Here, the relationship between the stream data received by the
映像データについてのストリームデータの送信処理は、該映像データの先頭から開始される。一方、映像データについてのファイルの送信処理は、映像データの末尾から開始される。よって、ストリームデータ及びファイルの送信処理が進むと、どこかの時点で、今までにTV101がDVカメラ100から受信したストリームデータ及びファイルに含まれる映像データの合計データ量が、映像データの総データ量に一致する。
Stream data transmission processing for video data is started from the top of the video data. On the other hand, the file transmission process for video data starts from the end of the video data. Therefore, when the stream data and file transmission process proceeds, the total amount of video data included in the stream data and file received by the
そこで、制御部112は、今までにTV101がDVカメラ100から受信したストリームデータに含まれる映像データのデータ量と、今までにTV101がDVカメラ100から受信したファイルに含まれる映像データのデータ量とを合計する。そして、制御部112は、合計したデータ量と、映像データの総データ量とが一致したか否かを判定する。なお、制御部112は、映像データの総データ量については、分解部108から通知される。
Therefore, the control unit 112 determines the amount of video data included in the stream data received by the
次に、制御部112は、合計データ量と、映像データの総データ量とが一致したと判定した場合は、蓄積部111が蓄積するファイルを結合して、映像データを生成する。そして、制御部112は、生成した映像データを後述する第2映像デコード部113に出力する。 Next, when the control unit 112 determines that the total data amount matches the total data amount of the video data, the control unit 112 combines the files stored in the storage unit 111 to generate video data. And the control part 112 outputs the produced | generated video data to the 2nd video decoding part 113 mentioned later.
更に、制御部112は、後述する表示切替部114に対して、後述する表示部115に出力する映像データを、第1映像デコード部110により入力された映像データから、第2映像デコード部113により入力された映像データに切り替えさせるように制御する。最後に、制御部112は、表示部115に対して、DVカメラ100とTV101とを切り離すことができる旨のメッセージを表示部115に表示させるように制御する。このような切り離し可能通知処理については、図6を用いて後述する。
Further, the control unit 112 causes the second video decoding unit 113 to output video data to be output to the display unit 115 described later from the video data input by the first video decoding unit 110 to the display switching unit 114 described later. Control to switch to the input video data. Finally, the control unit 112 controls the display unit 115 to display a message indicating that the
第2映像デコード部113は、制御部112から入力された映像データをデコードする。そして、第2映像デコード部113は、デコードした映像データを表示切替部114に出力する。 The second video decoding unit 113 decodes the video data input from the control unit 112. Then, the second video decoding unit 113 outputs the decoded video data to the display switching unit 114.
表示切替部114は、第1映像デコード部110から入力された映像データを表示部115に出力する。ただし、表示切替部114は、制御部112の指示を受けた場合は、表示部115に出力する映像データを、第1映像デコード部110により入力された映像データから、第2映像デコード部113により入力された映像データへ切り替える。表示部115は、表示切替部114から入力された映像データに基づいて映像を表示する。 The display switching unit 114 outputs the video data input from the first video decoding unit 110 to the display unit 115. However, when the display switching unit 114 receives an instruction from the control unit 112, the second video decoding unit 113 converts the video data output to the display unit 115 from the video data input by the first video decoding unit 110. Switch to the input video data. The display unit 115 displays a video based on the video data input from the display switching unit 114.
続いて、ユーザによって選択された映像データについてのストリームデータをTV101に送信し始めると同時に、該映像データについてのファイルをTV101に送信し始めるための映像データ送信処理について説明する。該処理は、制御部106によって実行される。図5は、映像データ送信処理を示すフローチャートである。
Next, video data transmission processing for starting transmission of stream data for video data selected by the user to the
ステップS101では、制御部106は、記録部102によって記録されている映像データのうち、いずれかの映像データが、ユーザによって選択されたか否かを判定する。
In step S <b> 101, the
制御部106は、ユーザによって映像データが選択されたと判定した場合はステップS102に進み、ユーザによって映像データが選択されていないと判定した場合はステップS101に戻る。
When it is determined that the video data has been selected by the user, the
ステップS102では、制御部106は、通信部105に対して、ステップS101で選択された映像データの総データ量をTV101に送信させるように制御する。
In step S102, the
ステップS103では、制御部106は、ストリーム送信制御部103に対して、ステップS101で選択された映像データについてのストリームデータの転送処理を、該映像データの先頭から開始させるように制御する。
In step S103, the
ステップS104では、制御部106は、ステップS103でストリーム送信制御部103が転送を開始する映像データについてのストリームデータの送信に必要なビットレートと、伝送路である無線LANの最大ビットレートとの差分(余り帯域)を計算する。
In step S104, the
ステップS105では、制御部106は、ファイル送信制御部104に対して、ステップS101で選択された映像データについてのファイルの転送処理を、該映像データの末尾から開始させるように制御する。
In step S105, the
具体的には、制御部106は、ファイル送信制御部104に対して、ステップS101で選択された映像データの複数ファイルへの分割処理を、該映像データの末尾から開始させるように制御する。なお、ファイル送信制御部104は、ステップS101で選択された映像データを複数のファイルに分割する際、該映像データを独立して再生できる単位毎に分割する。例えば、映像データがMPEG2で圧縮符号化されている場合、ファイル送信制御部104は、該映像データをGOP毎に分割する。
Specifically, the
そして、制御部106は、ファイル送信制御部104に対して、分割された映像データが格納されたファイルの通信部105への転送処理を開始させるように制御する。この際、ファイル送信制御部104は、通信部105が該ファイルをステップS103で計算された余り帯域を用いてTV101に送信できるように、該ファイルを通信部105へ転送する。
Then, the
このように、制御部106は、ステップS101で選択された映像データについてのファイルの送信を、該映像データの末尾から開始するので、該ファイルの送信開始タイミングを伝送路の帯域等を考慮して算出する必要がない。
Thus, the
なお、制御部106は、ステップS103〜ステップS105の処理を同時に実行するものとする。すなわち、制御部106は、ストリーム送信制御部103に対してストリームデータの転送処理を開始させるように制御すると同時に、ファイル送信制御部104に対してファイルの転送処理を開始させるように制御する。
Note that the
ステップS106では、制御部106は、通信部105に対して、ストリーム送信制御部103及びファイル送信制御部104夫々から通信部105が受け取ったデータをTV101に送信させるように制御する。
In step S106, the
具体的には、まず、制御部106は、通信部105に対して、ストリーム送信制御部103から通信部105が受け取ったストリームデータと、ファイル送信制御部104から通信部105が受け取ったファイルとを重畳させる。そして、制御部106は、通信部105に対して、重畳させたデータをTV101に送信させるように制御する。
Specifically, first, the
続いて、DVカメラ100とTV101とを切り離すことができるタイミングをユーザに通知するための、切り離し可能通知処理について説明する。該処理は、制御部112によって実行される。図6は、切り離し可能通知処理を示すフローチャートである。
Next, a detachable notification process for notifying the user of the timing at which the
ステップS201では、制御部112は、映像データの総データ量を分解部108から通知されたか否かを判定する。制御部112は、映像データの総データ量を分解部108から通知されたと判定した場合はステップS202に進み、通知されていないと判定した場合はステップS201に戻る。
In step S201, the control unit 112 determines whether or not the total data amount of the video data has been notified from the
ステップS202では、制御部112は、今までにTV101がDVカメラ100から受信したストリームデータに含まれる映像データのデータ量と、今までにTV101がDVカメラ100から受信したファイルに含まれる映像データのデータ量とを合計する。具体的には、制御部112は、通信部107が今までにDVカメラ100から受信したストリームデータに含まれる映像データの総データ量と、蓄積部111が今までに蓄積したファイル夫々に含まれる映像データの総データ量とを合計した合計データ量を求める。
In step S202, the control unit 112 determines the amount of video data included in the stream data received by the
ステップS203では、制御部112は、ステップS202で求めた合計データ量と、ステップS201で通知された総データ量とが一致したか否かを判定する。 In step S203, the control unit 112 determines whether or not the total data amount obtained in step S202 matches the total data amount notified in step S201.
具体的には、制御部112は、ステップS202で求めた合計データ量が、ステップS201で通知された総データ量以上になった場合は、合計データ量がステップS201で通知された総データ量と一致したと判定する。一方、制御部112は、ステップS202で求めた合計データ量が、ステップS201で通知された総データ量以上になっていない場合は、合計データ量がステップS201で通知された総データ量と一致していないと判定する。 Specifically, when the total data amount obtained in step S202 is equal to or larger than the total data amount notified in step S201, the control unit 112 determines that the total data amount is the total data amount notified in step S201. It is determined that they match. On the other hand, if the total data amount obtained in step S202 is not equal to or greater than the total data amount notified in step S201, the control unit 112 matches the total data amount notified in step S201. Judge that it is not.
制御部112は、ステップS202で求めた合計データ量がステップS201で通知された総データ量と一致したと判定した場合はステップS204に進み、一致していないと判定した場合はステップS202に戻る。 If the control unit 112 determines that the total data amount obtained in step S202 matches the total data amount notified in step S201, the control unit 112 proceeds to step S204. If it determines that the total data amount does not match, the control unit 112 returns to step S202.
ステップS204では、制御部112は、第2映像デコード部113に対して、制御部112が蓄積部111に蓄積されたファイルを結合して生成した映像データを、デコードさせるように制御する。具体的には、制御部112は、蓄積部111に蓄積されたファイルを結合して、映像データを生成する。 In step S204, the control unit 112 controls the second video decoding unit 113 to decode the video data generated by the control unit 112 by combining the files stored in the storage unit 111. Specifically, the control unit 112 combines video files stored in the storage unit 111 to generate video data.
次に、制御部112は、生成した映像データを第2映像デコード部113に入力する。そして、制御部112は、第2映像デコード部113に対して、入力した映像データをデコードさせるように制御する。 Next, the control unit 112 inputs the generated video data to the second video decoding unit 113. Then, the control unit 112 controls the second video decoding unit 113 to decode the input video data.
ステップS205では、制御部112は、表示切替部114に対して、表示部115に出力する映像データを、第1映像デコード部110により入力された映像データから、第2映像デコード部113により入力された映像データに切り替えさせるように制御する。この際、制御部112は、第1映像デコード部110により入力された映像データと、第2映像デコード部113により入力された映像データとが同期するように、表示切替部114を制御する。 In step S205, the control unit 112 receives the video data to be output to the display unit 115 from the video data input by the first video decoding unit 110 to the display switching unit 114 by the second video decoding unit 113. The video data is controlled to be switched. At this time, the control unit 112 controls the display switching unit 114 so that the video data input by the first video decoding unit 110 and the video data input by the second video decoding unit 113 are synchronized.
ステップS206では、制御部112は、DVカメラ100とTV101とを切り離すことができる旨のメッセージを表示部115に表示する。これにより、ユーザは、DVカメラ100とTV101とを切り離し可能なタイミングを知ることができる。
In step S206, the control unit 112 displays a message indicating that the
以上、本実施例における送信装置は、映像データについてのストリームデータを、該映像データの先頭から受信装置に送信し始めると同時に、該映像データについてのファイルを、該映像データの末尾から受信装置に送信し始める。また、本実施例における受信装置は、送信装置から受信したストリームデータ及びファイルに含まれる映像データの合計データ量が、該映像データの総データ量に一致した場合は、送信装置と受信装置との接続を切断可能な旨をユーザに通知する。 As described above, the transmission apparatus according to the present embodiment starts transmitting the stream data for the video data to the reception apparatus from the beginning of the video data, and simultaneously transmits the file for the video data to the reception apparatus from the end of the video data. Start sending. In addition, the receiving device in the present embodiment, when the total data amount of the video data included in the stream data and the file received from the transmitting device matches the total data amount of the video data, between the transmitting device and the receiving device. Notify the user that the connection can be disconnected.
これにより、本実施例における送受信システムは、受信装置により送信装置から受信されたストリームデータに基づく映像について、ユーザが残りの映像を見たい場合に、より迅速に、送信装置と受信装置との接続を切断可能な旨をユーザに通知できる。 As a result, the transmission / reception system in the present embodiment connects the transmission device and the reception device more quickly when the user wants to view the remaining video with respect to the video based on the stream data received from the transmission device by the reception device. Can be notified to the user that it can be disconnected.
(実施例2)
実施例1では、DVカメラ100は、映像データについてのストリームデータの送信処理を開始すると同時に、該映像データについてのファイルの送信処理も開始していた。しかし、本実施例におけるDVカメラ100は、映像データについてのストリームデータの送信処理中に、DVカメラ100とTV101との接続の切断をユーザから要求された場合に、該映像データについてのファイルの送信処理を開始する。以下、実施例1との相違点についてのみ説明する。
(Example 2)
In the first embodiment, the
本実施例における制御部106は、DVカメラ100とTV101との接続の切断をユーザから要求された場合は、ファイル送信制御部104に対して、ユーザによって選択された映像データについてのファイルの転送処理を開始させるように制御する。なお、ユーザは、このようなDVカメラ100とTV101との接続の切断要求を、DVカメラ100を操作可能な操作部(不図示)やリモコン(不図示)を用いて行う。
In the present embodiment, when the user requests disconnection of the connection between the
続いて、ユーザによって選択された映像データについてストリームデータの送信処理中に、DVカメラ100とTV101との接続の切断をユーザから要求された場合は、該映像データについてのファイルの送信処理を開始するための映像データ送信処理を説明する。該処理は、制御部106によって実行される。図7は、本実施例における映像デ−タ送信処理を示すフローチャートである。
Subsequently, when the user requests disconnection of the connection between the
ステップS301は、図5に示すステップS101と同様であるので、その説明を省略する。 Step S301 is the same as step S101 shown in FIG.
ステップS302は、図5に示すステップS103と同様であるので、その説明を省略する。 Step S302 is the same as step S103 shown in FIG.
ステップS303では、制御部106は、通信部105に対して、ストリーム送信制御部103から通信部105が受け取ったストリームデータをTV101に送信させるように制御する。
In step S303, the
ステップS304では、制御部106は、DVカメラ100とTV101との接続の切断をユーザから要求されたか否かを判定する。制御部106は、DVカメラ100とTV101との接続の切断をユーザから要求されたと判定した場合はステップS305に進み、要求されていないと判定した場合はステップS304に戻る。
In step S304, the
ステップS305は、図5に示すステップS102と同様であるので、その説明を省略する。 Step S305 is the same as step S102 shown in FIG.
ステップS306〜ステップS308は、図5に示すステップS104〜ステップS106と同様であるので、その説明を省略する。 Steps S306 to S308 are the same as steps S104 to S106 shown in FIG.
以上、本実施例における送信装置は、映像データについてのストリームデータを、該映像データの先頭から受信装置に送信している間に、ユーザから要求があった場合は、該映像データについてのファイルを、該映像データの末尾から受信装置に送信し始める。また、本実施例における受信装置は、送信装置から受信したストリームデータ及びファイルに含まれる映像データの合計データ量が、該映像データの総データ量に一致した場合は、送信装置と受信装置との接続を切断可能な旨をユーザに通知する。 As described above, when the transmission device in the present embodiment transmits a stream data of video data to the receiving device from the head of the video data, when a request is received from the user, the file of the video data is saved. Then, transmission to the receiving device starts from the end of the video data. In addition, the receiving device in the present embodiment, when the total data amount of the video data included in the stream data and the file received from the transmitting device matches the total data amount of the video data, between the transmitting device and the receiving device. Notify the user that the connection can be disconnected.
これにより、本実施例における送受信システムは、送信装置と受信装置との接続を切断する必要がユーザにない場合は、映像データについてのファイルの送信処理を開始しないので、送信装置と受信装置との間の通信帯域を効率的に利用できる。 As a result, the transmission / reception system in the present embodiment does not start the file transmission process for the video data when the user does not need to disconnect the connection between the transmission device and the reception device. The communication bandwidth can be used efficiently.
なお、本実施例では、ユーザは、DVカメラ100とTV101との接続の切断要求を、DVカメラ100を操作可能な操作部(不図示)やリモコン(不図示)を用いて行っていたが、これに限るものではない。例えば、TV101を操作可能な操作部(不図示)やリモコン(不図示)を用いて行っても良い。
In this embodiment, the user makes a disconnection request for the connection between the
このような場合、制御部112は、DVカメラ100とTV101との接続の切断をユーザから指示されたか否かを判定する。次に、制御部112は、DVカメラ100とTV101との接続の切断をユーザから指示された場合は、指示された旨をDVカメラ100に送信させるように通信部107を制御する。
In such a case, the control unit 112 determines whether or not the user has instructed disconnection of the connection between the
続いて、通信部105は、DVカメラ100とTV101との接続の切断をユーザから指示された旨をTV101から受信した場合は、指示された旨を制御部106に通知する。そして、制御部106は、図7に示すステップS304において、指示された旨を通信部105から通知された場合は、DVカメラ100とTV101との接続の切断をユーザから要求されたと判定する。一方、制御部106は、指示された旨を通信部105から通知されない場合は、DVカメラ100とTV101との接続の切断をユーザから要求されていないと判定する。
Subsequently, when the
100 DVカメラ
101 TV
102 記録部
103 ストリーム送信制御部
104 ファイル送信制御部
105 通信部
106 制御部
107 通信部
108 分解部
109 バッファ
110 第1映像デコード部
111 蓄積部
112 制御部
114 表示切替部
115 表示部
100
DESCRIPTION OF
Claims (10)
前記送信装置は、
映像データを記録する記録手段と、
前記映像データの総データ量を前記受信装置に送信する送信手段と、
前記映像データの先頭から読み出して、前記受信装置にストリームデータを送信するストリーム送信手段と、
前記映像データの末尾から所定の単位毎に分割して、前記受信装置にファイルデータを送信するファイル送信手段と、を備え、
前記受信装置は、
前記送信手段により送信された映像データの総データ量と、前記ストリーム送信手段により送信されたストリームデータと、前記ファイル送信手段により送信されたファイルデータと、を受信する受信手段と、
前記受信手段により受信されたファイルデータを蓄積する蓄積手段と、
前記受信手段により受信されたストリームデータのデータ量と、前記蓄積手段により蓄積されたファイルデータのデータ量との合計が、前記映像データの総データ量と一致したか否かを判定する判定手段と、
前記判定手段により前記合計が前記映像データの総データ量と一致したと判定された場合は、前記送信装置と前記受信装置との接続が切断可能な旨をユーザに通知する通知手段と、を備え、
前記送信装置の前記ファイル送信手段は、前記ストリーム送信手段が前記ストリームデータを送信している間に、前記送信装置と前記受信装置との接続の切断をユーザから要求されたことに応じて、前記ファイルデータの送信を開始することを特徴とする送受信システム。 A transmission / reception system comprising a transmission device and a reception device,
The transmitter is
Recording means for recording video data ;
Transmitting means for transmitting the total data amount of the Film image data to the receiving device,
Is read from the beginning of the previous Kiutsu image data, and a stream transmitting means for transmitting the stream data to the receiving device,
Separately from the end of the previous Kiutsu image data for each predetermined unit, and a file transmission means for transmitting the file data to the receiving device,
The receiving device is:
The total amount of video data transmitted by the transmitting means, and the stream data transmitted by the stream transmission means, a receiving means for receiving a file data transmitted by the file transmission means,
Storage means for storing file data received by the receiving means;
Determining means for determining whether the sum of the data amount of the stream data received by the receiving means and the data amount of the file data accumulated by the accumulating means coincides with the total data amount of the video data; ,
Notification means for notifying a user that the connection between the transmission device and the reception device can be disconnected when the determination means determines that the total matches the total data amount of the video data. ,
The file transmission unit of the transmission device is configured to respond to a request from the user to disconnect the transmission device and the reception device while the stream transmission unit is transmitting the stream data. transmission and reception system, characterized that you start the transmission of the file data.
前記判定手段により前記合計が前記映像データの総データ量と一致したと判定された場合に、表示部に表示する映像を、前記受信手段により受信されたストリームデータに係る映像から、前記蓄積手段により蓄積されたファイルデータに係る映像に切り替える表示制御手段をさらに備えることを特徴とする請求項1に記載の送受信システム。 The receiving device is:
When the determination unit determines that the total matches the total data amount of the video data, the storage unit converts the video to be displayed on the display unit from the video related to the stream data received by the reception unit. transmission and reception system according to claim 1, further comprising a display control hand stage to switch to the video according to the stored file data.
前記送信装置が映像データを記録する記録ステップと、A recording step in which the transmission device records video data;
前記送信装置が前記映像データの総データ量を前記受信装置に送信する送信ステップと、A transmitting step in which the transmitting device transmits a total data amount of the video data to the receiving device;
前記送信装置が前記映像データの先頭から読み出して、前記受信装置にストリームデータを送信するストリーム送信ステップと、A stream transmission step in which the transmitting device reads from the head of the video data and transmits stream data to the receiving device;
前記送信装置が前記映像データの末尾から所定の単位毎に分割して、前記受信装置にファイルデータを送信するファイル送信ステップと、A file transmission step in which the transmission device divides the video data into predetermined units from the end of the video data, and transmits file data to the reception device;
前記受信装置が、前記送信ステップで送信された前記映像データの総データ量と、前記ストリーム送信ステップで送信されたストリームデータと、前記ファイル送信ステップで送信されたファイルデータと、を受信する受信ステップと、A receiving step in which the receiving device receives the total amount of the video data transmitted in the transmitting step, the stream data transmitted in the stream transmitting step, and the file data transmitted in the file transmitting step. When,
前記受信ステップで受信されたファイルデータを蓄積する蓄積ステップと、An accumulation step for accumulating the file data received in the reception step;
前記受信ステップで受信されたストリームデータのデータ量と、前記蓄積ステップで蓄積されたファイルデータのデータ量との合計が、前記映像データの総データ量と一致したか否かを判定する判定ステップと、A determination step for determining whether a sum of the data amount of the stream data received in the reception step and the data amount of the file data stored in the storage step matches a total data amount of the video data; ,
前記判定ステップで前記合計が前記映像データの総データ量と一致したと判定された場合は、前記送信装置と前記受信装置との接続が切断可能な旨をユーザに通知する通知ステップと、を有し、A notification step of notifying the user that the connection between the transmission device and the reception device can be disconnected when the determination step determines that the total matches the total data amount of the video data. And
前記ファイル送信ステップは、前記ストリーム送信ステップが前記ストリームデータを送信している間に、前記送信装置と前記受信装置との接続の切断をユーザから要求されたことに応じて、前記ファイルデータの送信を開始することを特徴とする送受信方法。The file transmission step transmits the file data in response to a user requesting disconnection of the connection between the transmission device and the reception device while the stream transmission step is transmitting the stream data. A transmission / reception method characterized by starting
前記映像データの総データ量を前記受信装置に送信する送信手段と、Transmitting means for transmitting the total amount of the video data to the receiving device;
前記映像データの先頭から読み出して、前記受信装置にストリームデータを送信するストリーム送信手段と、Stream transmission means for reading from the head of the video data and transmitting stream data to the receiving device;
前記映像データの末尾から所定の単位毎に分割して、前記受信装置にファイルデータを送信するファイル送信手段と、を備え、File transmission means for dividing the video data into predetermined units from the end and transmitting file data to the receiving device;
前記ファイル送信手段は、前記ストリーム送信手段が前記ストリームデータを送信している間に、前記送信装置と前記受信装置との接続の切断をユーザから要求されたことに応じて、前記ファイルデータの送信を開始することを特徴とする送信装置。The file transmission unit transmits the file data in response to a request from the user to disconnect the transmission device and the reception device while the stream transmission unit is transmitting the stream data. A transmission apparatus characterized by starting
映像データを記録する記録ステップと、A recording step for recording video data;
前記映像データの総データ量を前記受信装置に送信する送信ステップと、A transmission step of transmitting a total data amount of the video data to the receiving device;
前記映像データの先頭から読み出して、前記受信装置にストリームデータを送信するストリーム送信ステップと、A stream transmission step of reading from the head of the video data and transmitting stream data to the receiving device;
前記映像データの末尾から所定の単位毎に分割して、前記受信装置にファイルデータを送信するファイル送信ステップと、を有し、A file transmission step of dividing the video data into predetermined units from the end of the video data and transmitting the file data to the receiving device;
前記ファイル送信ステップは、前記ストリーム送信ステップが前記ストリームデータを送信している間に、前記送信装置と前記受信装置との接続の切断をユーザから要求されたことに応じて、前記ファイルデータの送信を開始することを特徴とする送信方法。The file transmission step transmits the file data in response to a user requesting disconnection of the connection between the transmission device and the reception device while the stream transmission step is transmitting the stream data. The transmission method characterized by starting.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008131745A JP5361245B2 (en) | 2008-05-20 | 2008-05-20 | Transmission / reception system, transmission / reception method by transmission / reception system, transmission apparatus, transmission method by transmission apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008131745A JP5361245B2 (en) | 2008-05-20 | 2008-05-20 | Transmission / reception system, transmission / reception method by transmission / reception system, transmission apparatus, transmission method by transmission apparatus |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2009284052A JP2009284052A (en) | 2009-12-03 |
JP2009284052A5 JP2009284052A5 (en) | 2011-06-23 |
JP5361245B2 true JP5361245B2 (en) | 2013-12-04 |
Family
ID=41454071
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008131745A Expired - Fee Related JP5361245B2 (en) | 2008-05-20 | 2008-05-20 | Transmission / reception system, transmission / reception method by transmission / reception system, transmission apparatus, transmission method by transmission apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5361245B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6036373B2 (en) * | 2013-02-15 | 2016-11-30 | 株式会社バッファロー | Content reproduction system, communication apparatus, and content reproduction method |
JP6191341B2 (en) * | 2013-09-04 | 2017-09-06 | 株式会社バッファロー | Content reproduction system, communication device, information storage device, and program |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000050230A (en) * | 1998-07-30 | 2000-02-18 | Toshiba Corp | Bidirectional telecasting system |
JP4584226B2 (en) * | 2006-10-26 | 2010-11-17 | シャープ株式会社 | Content recording / reproducing system, content recording / reproducing apparatus, content recording / reproducing program, and computer-readable recording medium recording the content recording / reproducing program |
-
2008
- 2008-05-20 JP JP2008131745A patent/JP5361245B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009284052A (en) | 2009-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI406570B (en) | Personal video recorder functionality for placeshifting | |
US9118950B2 (en) | Broadcast receiving apparatus, playback apparatus, broadcast communication system, broadcast receiving method, playback method, and program | |
JP2008113301A (en) | Video transmitter and transmitting method | |
WO2013145419A1 (en) | Content data recording device, content data recording method, control program and recording medium | |
JP4706278B2 (en) | Information processing system, playback terminal device and playback method, information processing device and method, and program | |
JP2010124038A (en) | Image converter, image reproducer, image conversion/reproduction system, and program | |
JP4935185B2 (en) | Display device, content transfer system, and transfer method | |
JP5675141B2 (en) | Playback apparatus and playback method | |
JP2010171620A (en) | Display device and control method of the same, and imaging device and control method of the same | |
JP2007013658A (en) | Information reproduction device, image processing device, and information reproduction program | |
JP5361245B2 (en) | Transmission / reception system, transmission / reception method by transmission / reception system, transmission apparatus, transmission method by transmission apparatus | |
JP4888955B2 (en) | Content delivery method and apparatus | |
JP2008167251A (en) | Content reproduction device and content guide method | |
JP2010263532A (en) | Content recording and playback system | |
JP5072524B2 (en) | Moving picture reproduction apparatus, processing method thereof, and program thereof | |
JP2008103806A (en) | Communication terminal and control method thereof, and communication system | |
JP4762340B2 (en) | Signal processing apparatus and signal processing method | |
JP6034113B2 (en) | Video content distribution device | |
JPH10294939A (en) | System and device for image transmission | |
JP2009159351A (en) | Image recording/reproducing/distributing apparatus | |
JP2010171659A (en) | Image transmitting device, image transmission method and program | |
JP2009088739A (en) | Data transfer unit | |
JP2008078905A (en) | Content output device, program and content output method | |
US20100031302A1 (en) | Stream distribution system, stream receiving device, and stream reproduction method | |
JP2008131106A (en) | Communication conference system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100201 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20100630 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110510 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110510 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130423 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130624 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130806 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130903 |
|
LAPS | Cancellation because of no payment of annual fees |