JP6548538B2 - Image delivery system and server - Google Patents
Image delivery system and server Download PDFInfo
- Publication number
- JP6548538B2 JP6548538B2 JP2015182023A JP2015182023A JP6548538B2 JP 6548538 B2 JP6548538 B2 JP 6548538B2 JP 2015182023 A JP2015182023 A JP 2015182023A JP 2015182023 A JP2015182023 A JP 2015182023A JP 6548538 B2 JP6548538 B2 JP 6548538B2
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- image data
- scene
- server
- scene information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Processing (AREA)
Description
本発明には、画像配信システム及びサーバに関する。 The present invention relates to an image delivery system and a server.
複数のクライアント装置がアクセス可能なサーバの記憶部にデータが保存され、各クライアント装置が、必要に応じて、サーバにアクセスし、サーバの記憶部からデータを取得する通信システムがある。このような通信システムによれば、複数のデバイスが同じデータ(サーバが記憶しているデータ)を参照することができる。また、このような通信システムに関する多数の従来技術が提案されている。 There is a communication system in which data is stored in a storage unit of a server accessible to a plurality of client devices, and each client device accesses the server as necessary to acquire data from the storage unit of the server. According to such a communication system, a plurality of devices can refer to the same data (data stored by the server). Also, a number of conventional techniques for such communication systems have been proposed.
しかしながら、インターネットの普及、記憶部の大容量化、マルチメディアデータの情報量の増加、等により、サーバからクライアント装置に送信するデータのデータサイズの増加が進んでいる。例えば、デジタルカメラの高解像度化などに伴い、撮影によって生成された画像データのデータサイズの増加が進んでいる。サーバとクライアント装置の間の通信量の増加は、通信速度の制限、通信料金の増加、等を招くため、好ましくない。 However, with the spread of the Internet, the increase in storage capacity, and the increase in the amount of information of multimedia data, the data size of data to be transmitted from the server to the client device is increasing. For example, with the increase in resolution of digital cameras, the data size of image data generated by photographing has been increasing. An increase in the amount of communication between the server and the client device is not preferable because it causes a restriction on communication speed, an increase in communication charges, and the like.
クライアント装置において、サーバが記憶している動画データ(記憶動画データ)の一部のシーンのみが必要とされることがある。しかしながら、従来の技術では、記憶動画データの一部のシーンのみをクライアント装置が必要としても、不必要なシーンを含む動画データがサーバからクライアント装置に送信される。例えば、記憶動画データの一部のみをクライアント装置が必要としても、記憶動画データの全部、または、記憶動画データの最初のフレームから必要なシーンの最後のフレームまでの動画データが、サーバからクライアント装置に送信される。このような不必要なシーンの送信は、通信量の増加を招く。 In the client device, only a part of scenes of moving image data (stored moving image data) stored by the server may be required. However, in the related art, even if the client device needs only a part of the stored moving image data, moving image data including unnecessary scenes is transmitted from the server to the client device. For example, even if the client device needs only a part of stored moving image data, moving image data from the entire frame of the stored moving image data or the first frame of the stored moving image data to the last frame of the required scene is from the server to the client device Sent to Transmission of such unnecessary scenes causes an increase in the amount of communication.
また、上述した通信システムに関する技術として、特許文献1に開示の技術がある。特許文献1に開示の技術では、サーバにより、サーバとクライアント装置の間の通信速度に基づいて、動画データの再生速度と同じ速度で動画データが送信されるように、動画データにデータ圧縮処理が施される。特許文献1に開示の技術によれば、データ圧縮処理により通信量を低減することができる。しかしながら、特許文献1に開示の技術では、クライアント装置が高画質の動画データを必要としても、低画質の動画データがサーバからクライアント装置に送信される虞がある。そして、特許文献1に開示の技術では、動画データの送信時にデータ圧縮処理が行われる。そのため、サーバから複数のクライアント装置への動画データの送信が同時に行われる場合に、各クライアント装置についてデータ圧縮処理が個別に行われる。そして、複数のデータ圧縮処理により、サーバから複数のクライアント装置への動画データの送信が滞る虞がある。 Further, as a technology related to the above-described communication system, there is a technology disclosed in Patent Document 1. In the technology disclosed in Patent Document 1, data compression processing is performed on moving image data so that the moving image data is transmitted by the server at the same speed as the reproduction speed of the moving image data based on the communication speed between the server and the client device. Applied. According to the technology disclosed in Patent Document 1, the amount of communication can be reduced by data compression processing. However, in the technology disclosed in Patent Document 1, even if the client device requires high-quality moving image data, there is a possibility that low-quality moving image data may be transmitted from the server to the client device. Then, in the technology disclosed in Patent Document 1, data compression processing is performed at the time of transmission of moving image data. Therefore, when transmission of moving image data from a server to a plurality of client devices is simultaneously performed, data compression processing is individually performed for each client device. Then, due to the plurality of data compression processes, there is a possibility that transmission of moving image data from the server to the plurality of client devices may be delayed.
本発明は、サーバからクライアント装置に所望の動画データを送信することができ、かつ、サーバとクライアント装置の間の通信量を低減することができる技術を提供することを目的とする。 An object of the present invention is to provide a technology capable of transmitting desired moving image data from a server to a client device, and reducing the amount of communication between the server and the client device.
本発明の第1の態様は、
サーバとクライアント装置を有する画像配信システムであって、
前記サーバは、
第1動画データと、第1動画データよりもデータサイズが小さく、かつ、前記第1動画データと同じ動画を表す第2動画データとを記憶可能な記憶手段と、
前記第2動画データを前記クライアント装置に送信する第1送信手段と、
前記第2動画データの少なくとも一部のシーンを示すシーン情報を前記クライアント装置から受信する第1受信手段と、
前記シーン情報が示すシーンの動画データを、前記第1動画データから抽出する第1抽出手段と、
前記第1抽出手段によって抽出された動画データである抽出動画データを、前記クラ
イアント装置に送信する第2送信手段と、
を有し、
前記クライアント装置は、
前記第2動画データを前記サーバから受信する第2受信手段と、
前記第2動画データに基づいて前記シーン情報を生成する第1生成手段と、
前記シーン情報を前記サーバに送信する第3送信手段と、
前記抽出動画データを前記サーバから受信する第3受信手段と、
を有し、
前記第1抽出手段は、前記シーン情報が示すシーンの始点の時間位置に時間位置が最も近いフレームから、前記シーン情報が示すシーンの終点の時間位置に時間位置が最も近いフレームまでの動画データを、前記第1動画データから抽出する
ことを特徴とする画像配信システムである。
The first aspect of the present invention is
An image delivery system comprising a server and a client device, wherein
The server is
Storage means capable of storing first moving image data, and second moving image data smaller in data size than the first moving image data and representing the same moving image as the first moving image data;
First transmitting means for transmitting the second moving image data to the client device;
First receiving means for receiving from the client apparatus scene information indicating at least a part of a scene of the second moving image data;
First extraction means for extracting moving image data of a scene indicated by the scene information from the first moving image data;
A second transmission unit that transmits extracted moving image data, which is moving image data extracted by the first extraction unit, to the client device;
Have
The client device is
Second receiving means for receiving the second moving image data from the server;
First generation means for generating the scene information based on the second moving image data;
Third transmitting means for transmitting the scene information to the server;
Third receiving means for receiving the extracted moving image data from the server;
I have a,
The first extraction means is moving image data from a frame whose time position is closest to the time position of the start point of the scene indicated by the scene information to a frame whose time position is closest to the time position of the end point of the scene indicated by the scene information. The image delivery system is characterized in that it is extracted from the first moving image data .
本発明の第2の態様は、
他のコンピュータ装置に接続可能なコンピュータ装置であって、
第1動画データと、第1動画データよりもデータサイズが小さく、かつ、前記第1動画データと同じ動画を表す第2動画データとを記憶可能な記憶手段と、
前記第2動画データを前記他のコンピュータ装置に送信する第1送信手段と、
前記第2動画データの少なくとも一部のシーンを示すシーン情報を前記他のコンピュータ装置から受信する受信手段と、
前記シーン情報が示すシーンの動画データを、前記第1動画データから抽出する抽出手段と、
前記抽出手段によって抽出された動画データである抽出動画データを、前記他のコンピュータ装置に送信する第2送信手段と、
を有し、
前記抽出手段は、前記シーン情報が示すシーンの始点の時間位置に時間位置が最も近いフレームから、前記シーン情報が示すシーンの終点の時間位置に時間位置が最も近いフレームまでの動画データを、前記第1動画データから抽出する
ことを特徴とするコンピュータ装置である。
The second aspect of the present invention is
A computer apparatus connectable to another computer device,
Storage means capable of storing first moving image data, and second moving image data smaller in data size than the first moving image data and representing the same moving image as the first moving image data;
First transmitting means for transmitting the second moving image data to the other computer device ;
Receiving means for receiving scene information indicating at least a part of the second moving image data from the other computer device ;
Extracting means for extracting moving image data of a scene indicated by the scene information from the first moving image data;
Second transmitting means for transmitting extracted moving image data, which is moving image data extracted by the extracting means, to the other computer device ;
Have
The extraction means is for moving image data from a frame whose time position is closest to the time position of the start point of the scene indicated by the scene information to a frame whose time position is closest to the time position of the end point of the scene indicated by the scene information. It is a computer apparatus characterized by extracting it from the first moving image data .
本発明の第3の態様は、
サーバとクライアント装置を有する画像配信システムの制御方法であって、
前記サーバが、第1動画データよりもデータサイズが小さく、かつ、前記第1動画データと同じ動画を表す第2動画データを前記クライアント装置に送信する第1送信ステップと、
前記クライアント装置が、前記第2動画データを前記サーバから受信する第1受信ステップと、
前記クライアント装置が、前記第2動画データに基づいて、前記第2動画データの少な
くとも一部のシーンを示すシーン情報を生成する生成ステップと、
前記クライアント装置が、前記シーン情報を前記サーバに送信する第2送信ステップと、
前記サーバが、前記シーン情報を前記クライアント装置から受信する第2受信ステップと、
前記サーバが、前記シーン情報が示すシーンの動画データを、前記第1動画データから抽出する抽出ステップと、
前記サーバが、前記抽出ステップによって抽出された動画データである抽出動画データを、前記クライアント装置に送信する第3送信ステップと、
前記クライアント装置が、前記抽出動画データを前記サーバから受信する第3受信ステップと、
を有し、
前記抽出ステップでは、前記シーン情報が示すシーンの始点の時間位置に時間位置が最も近いフレームから、前記シーン情報が示すシーンの終点の時間位置に時間位置が最も近いフレームまでの動画データを、前記第1動画データから抽出する
ことを特徴とする制御方法である。
The third aspect of the present invention is
A control method of an image delivery system having a server and a client device, comprising:
A first transmission step of transmitting, to the client device, second moving image data in which the server has a smaller data size than the first moving image data and which represents the same moving image as the first moving image data;
A first receiving step in which the client device receives the second moving image data from the server;
A generating step of generating scene information indicating a scene of at least a part of the second moving image data based on the second moving image data;
A second transmission step in which the client device transmits the scene information to the server;
A second receiving step in which the server receives the scene information from the client device;
An extraction step in which the server extracts moving image data of a scene indicated by the scene information from the first moving image data;
A third transmission step of transmitting, to the client device, the extracted moving image data, which is the moving image data extracted by the extraction step, by the server;
A third receiving step in which the client device receives the extracted moving image data from the server;
I have a,
In the extraction step, moving image data from a frame whose time position is closest to the time position of the start point of the scene indicated by the scene information to a frame whose time position is closest to the time position of the end point of the scene indicated by the scene information is It is a control method characterized by extracting it from the first moving image data .
本発明の第4の態様は、
他のコンピュータ装置に接続可能なコンピュータ装置の制御方法であって、
第1動画データよりもデータサイズが小さく、かつ、前記第1動画データと同じ動画を表す第2動画データを前記他のコンピュータ装置に送信する第1送信ステップと、
前記第2動画データの少なくとも一部のシーンを示すシーン情報を前記他のコンピュータ装置から受信する受信ステップと、
前記シーン情報が示すシーンの動画データを、前記第1動画データから抽出する抽出ステップと、
前記抽出ステップによって抽出された動画データである抽出動画データを、前記他のコンピュータ装置に送信する第2送信ステップと、
を有し、
前記抽出ステップでは、前記シーン情報が示すシーンの始点の時間位置に時間位置が最も近いフレームから、前記シーン情報が示すシーンの終点の時間位置に時間位置が最も近いフレームまでの動画データを、前記第1動画データから抽出する
ことを特徴とする制御方法である。
The fourth aspect of the present invention is
A control method of a computer device connectable to another computer device , comprising:
A first transmitting step of transmitting, to the other computer device , second moving image data having a smaller data size than the first moving image data and representing the same moving image as the first moving image data;
Receiving scene information indicating at least a part of the second moving image data from the other computer device ;
Extracting moving image data of a scene indicated by the scene information from the first moving image data;
A second transmitting step of transmitting extracted moving image data, which is moving image data extracted by the extracting step, to the other computer device ;
Have
In the extraction step, moving image data from a frame whose time position is closest to the time position of the start point of the scene indicated by the scene information to a frame whose time position is closest to the time position of the end point of the scene indicated by the scene information is It is a control method characterized by extracting it from the first moving image data .
本発明の第5の態様は、上述した制御方法の各ステップをコンピュータに実行させることを特徴とするプログラムである。 A fifth aspect of the present invention is a program causing a computer to execute the steps of the control method described above.
本発明によれば、サーバからクライアント装置に所望の動画データを送信することができ、かつ、サーバとクライアント装置の間の通信量を低減することができる。 According to the present invention, desired moving picture data can be transmitted from the server to the client device, and the amount of communication between the server and the client device can be reduced.
以下に、本発明の実施形態について説明する。図1は、本実施形態に係る画像配信システムの構成の一例を示すブロック図である。図1に示すように、本実施形態に係る画像配信システムは、互いに接続可能なカメラ(画像生成装置)100、サーバ110、及び、クライアント装置120を有する。サーバ110やクライアント装置120としては、例えば、パーソナルコンピュータ(PC)を使用することができる。なお、画像生成装置は、カメラ100に限らない。画像生成装置は、画像データを生成可能な装置であれば、どのような装置であってもよい。例えば、画像生成装置としてPCが使用されてもよい。カメラ100とサーバ110は互いに接続されており、サーバ110とクライアント装置は互いに接続されている。
Hereinafter, embodiments of the present invention will be described. FIG. 1 is a block diagram showing an example of the configuration of an image delivery system according to the present embodiment. As shown in FIG. 1, the image delivery system according to the present embodiment includes a camera (image generation device) 100, a
カメラ100は、CPU(Central Processing Unit)105、メモリ104、ネットワークボード106、及び、CCD(Charge Coupled Device)イメージセンサ108を有する。CPU105は、メモリ104に
記録されたプログラムを実行することにより、カメラ100の処理を制御する。ネットワークボード106は、カメラ100とサーバ110の間の通信のために使用される。例えば、CPU105は、ネットワークボード106を用いて、インターネットを介してのサーバ110との通信を行う。CCDイメージセンサ108は、撮影によって画像データ(撮影画像データ)を生成する。具体的には、CCDイメージセンサ108は、光を電気信号に変換することにより、撮影画像データを生成する。メモリ104は、CPU105の処理に必要なプログラムを記憶する。また、メモリ104は、カメラ100の作業メモリとして使用されたり、撮影画像データを記憶したりする。
The
サーバ110は、CPU115、ネットワークボード116、メモリ114、及び、HDD(Hard Disk Drive)117を有する。CPU115は、HDD117に記録されたプログラムを実行することにより、サーバ110の処理を制御する。HDD117は、CPU115の処理に必要なプログラムを含む記憶する。HDD117は、プログラム以外のデータを記憶可能である。メモリ114は、サーバ110の作業メモリとして使用される。ネットワークボード116は、カメラ100とサーバ110の間の通信、及び、クライアント装置120とサーバ110の間の通信のために使用される。例えば、CPU115は、ネットワークボード116を用いて、インターネットを介してのカメラ100との通信、及び、インターネットを介してのクライアント装置120との通信を行う。
The
クライアント装置120は、CPU125、ネットワークボード126、メモリ124、HDD127、表示部121、マウス122、及び、キーボード123を有する。CPU125は、HDD127に記録されたプログラムを実行することにより、クライアント装置120の処理を制御する。HDD127は、CPU125の処理に必要なプログラムを含む記憶する。HDD127は、プログラム以外のデータを記憶可能である。メモリ124は、クライアント装置120の作業メモリとして使用される。ネットワークボード126は、クライアント装置120とサーバ110の間の通信のために使用される。例えば、CPU125は、ネットワークボード126を用いて、インターネットを介してのサーバ110との通信を行う。表示部121は、CPU125の処理結果を表示する。表示部121としては、液晶表示パネル、有機EL表示パネル、プラズマ表示パネル、等を使用することができる。マウス122とキーボード123は、クライアント装置120に対するユーザ操作を受け付ける操作部である。例えば、マウス122とキーボード123は、クライアント装置120のプログラムで使用される種々の情報をクライアント装置120に入力するユーザ操作を受け付ける。なお、表示部121、マウス122、及び、キーボード123の少なくともいずれかは、クライアント装置120に対して着脱可能であってもよいし、そうでなくてもよい。クライアント装置120に対して着脱可能な機能部は、クライアント装置120の一部とも言えるし、クライアント装置120と別体の装置とも言える。
The
なお、図1には、カメラ100、サーバ110、及び、クライアント装置120の機能部として、具体的なハードウェアが示されているが、以下で説明する処理が行われれば、各機能部の構成は特に限定されない。例えば、メモリやHDD以外の記憶部が使用されてもよい。具体的には、記憶部として光ディスクが使用されてもよい。マウスやキーボード以外の操作部が使用されてもよい。具体的には、操作部としてタッチパネルが使用されてもよい。
Although specific hardware is shown in FIG. 1 as the functional units of the
本実施形態では、画像データ(撮影画像データ)として、第1動画データと第2動画データが使用される。第2動画データは、第1動画データよりもデータサイズが小さく、かつ、第1動画データと同じ動画を表す動画データである。カメラ100のメモリ104、サーバ110のHDD117、及び、クライアント装置120のHDD127は、第1動
画データと第2動画データを記憶可能である。本実施形態では、カメラ100のCCDイメージセンサ108で生成された電気信号であるRAW動画データ(RAW形式の動画データ)が、第1動画データとして使用される。そして、RAW動画データにデータ圧縮処理を施すことによって生成されたMP4動画データ(MP4形式の動画データ)が、第2動画データとして使用される。上記データ圧縮処理は、動画データのフォーマットをRAW形式からMP4形式に変換するフォーマット変換処理とも言える。
In the present embodiment, first moving image data and second moving image data are used as image data (captured image data). The second moving image data is moving image data having a smaller data size than the first moving image data and representing the same moving image as the first moving image data. The
なお、第1動画データと第2動画データのフォーマットは特に限定されない。RAW動画データに第1のデータ圧縮処理を施すことによって生成された動画データが第1動画データとして使用され、RAW動画データに第2のデータ圧縮処理を施すことによって生成された動画データが第2動画データとして使用されてもよい。 The formats of the first moving image data and the second moving image data are not particularly limited. The moving image data generated by performing the first data compression process on the RAW moving image data is used as the first moving image data, and the moving image data generated by performing the second data compression process on the RAW moving image data is the second It may be used as video data.
本実施形態では、カメラ100のCPU105により、RAW動画データからMP4動画データが生成される。なお、MP4動画データは、サーバ110のCPU115によって生成されてもよい。RAW動画データとMP4動画データを生成する処理(第2生成処理;動画生成処理)の処理フローについて、図2のフローチャートを用いて説明する。図2に示す処理フローは、カメラ100によって撮影が行われたことをトリガとして開始される。まず、S201にて、CCDイメージセンサ108が、光を電気信号に変換し、得られた電気信号であるRAW動画データをメモリ104に記録する。次に、S202にて、CPU105が、S201でメモリ104に記録されたRAW動画データをメモリ104から読み出し、読み出したRAW動画データを、メモリ104に記録されたプログラムを用いてMP4動画データに変換する。そして、CPU105は、得られたMP4動画データをメモリ104に記録する。その後、S203にて、CPU105が、S201で生成されたRAW動画データと、S202で生成されたMP4動画データとに関する情報を、メモリ104に記録された画像管理テーブルに追加する。そして、図2の処理フローが終了される。
In the present embodiment, the
カメラ100で使用される画像管理テーブル(カメラ管理テーブル)の一例を図3(C)に示す。カメラ管理テーブルでは、RAW動画データとMP4動画データの組み合わせに対して、組み合わせを示す識別子である画像IDが関連付けられている。同じ画像IDが複数の組み合わせに関連付けられなければ、どのような方法で画像IDが決定されてもよい。例えば、撮影順を示す番号が画像IDとして使用されてもよい。カメラ管理テーブルでは、RAW動画データに対して、RAW動画データのファイル名、RAW動画データのフレームレート、及び、RAW動画データの保存フォルダ(メモリ104内でRAW動画データが保存されているフォルダ)が関連付けられている。そして、カメラ管理テーブルでは、MP4動画データに対して、MP4動画データのファイル名、MP4動画データのフレームレート、及び、MP4動画データの保存フォルダが関連付けられている。ここで、「MP4動画データの保存フォルダ」は、メモリ104内でMP4動画データが保存されているフォルダである。画像管理テーブルにおいて、「−」は、対応するデータが存在しないことを意味する。
An example of an image management table (camera management table) used by the
次に、本実施形態に係る画像配信システムの処理フローの一例について、図4のフローチャートを用いて説明する。図4の処理フローの開始前に、カメラ100のCPU105により、ネットワークボード106を用いて、RAW動画データとMP4動画データが、カメラ100からサーバ110に送信される(第4送信処理)。そして、サーバ110では、CPU115により、ネットワークボード116を用いて、RAW動画データとMP4動画データが、カメラ100から受信される(第4受信処理)。そして、CPU115により、受信されたRAW動画データとMP4動画データが、HDD117に記録される。なお、MP4動画データのみがHDD117に記録されてもよい。このタイミングでは、RAW動画データはカメラ100からサーバ110に送信されなくてもよい。
Next, an example of the processing flow of the image delivery system according to the present embodiment will be described using the flowchart of FIG. 4. Before the process flow of FIG. 4 starts, RAW moving image data and MP4 moving image data are transmitted from the
まず、S401にて、サーバ110のCPU115が、ネットワークボード116を用いて、MP4動画データをクライアント装置120に送信する(第1送信処理)。そして、クライアント装置120のCPU125が、ネットワークボード126を用いて、MP4動画データをサーバ110から受信する(第2受信処理)。S401の処理フローについて、図5のフローフローチャートを用いて詳細に説明する。
First, in S401, the
まず、S501にて、CPU115が、ネットワークボード116を用いて、クライアント装置120のHDD127に記録された画像管理テーブル(クライアント管理テーブル)を参照する。クライアント管理テーブルの一例を図3(A)に示す。クライアント管理テーブルは、カメラ管理テーブルと同様の構成を有する。但し、クライアント管理テーブルは、保存フォルダとして、HDD127内のフォルダを示す。図3(A)のクライアント管理テーブルには、画像ID「103」のMP4動画データ、及び、画像ID「103」のRAW動画データのみが示されている。このクライアント管理テーブルから、画像ID「103」のMP4動画データ、及び、画像ID「103」のRAW動画データのみがクライアント装置120に記録されていることがわかる。
First, in S501, the
次に、S502にて、CPU115が、サーバ110に記録されており、かつ、クライアント装置120に記録されていないMP4動画データである未記録MP4動画データを検出する。未記録MP4動画データは、サーバ110のHDD117に記録された画像管理テーブル(サーバ管理テーブル)と、クライアント管理テーブルとを比較することによって検出される。サーバ管理テーブルの一例を図3(B)に示す。サーバ管理テーブルは、カメラ管理テーブルやクライアント管理テーブルと同様の構成を有する。但し、サーバ管理テーブルは、保存フォルダとして、HDD117内のフォルダを示す。図3(A)のクライアント管理テーブルと、図3(B)のサーバ管理テーブルとが比較された場合には、未記録MP4動画データとして、画像ID「101」のMP4動画データと、画像ID「102」のMP4動画データとが検出される。
Next, in S502, the
そして、S503にて、CPU115が、S502の検出結果に応じてその後の処理を切り替える。具体的には、未記録MP4動画データが検出されなかった場合には、サーバ110からクライアント装置120へのMP4動画データの送信が省略され、図5の処理フローが終了される。未記録MP4動画データが検出された場合には、S504に処理が進められる。
Then, in S503, the
S504では、CPU115が、ネットワークボード116を用いて、未記録MP4動画データと、未記録MP4動画データの画像IDとをクライアント装置120に送信する。そして、CPU125が、ネットワークボード126を用いて、未記録MP4動画データと、未記録MP4動画データの画像IDとをサーバ110から受信する。
In S504, the
そして、S505にて、CPU125が、受信した未記録MP4動画データをHDD127に記録し、受信した未記録MP4動画データに関する情報を、クライアント管理テーブルに追加する。その後、図5の処理フローが終了される。
Then, in S505, the
なお、クライアント装置120のCPU125が、図6(A)に示すような確認画面(ダイアログ)を表示部121に表示する表示制御を行い、MP4動画データの受信の可否やタイミングをユーザに選択させてもよい。また、S401で送受信するMP4動画データは特に限定されない。全ての未記録MP4動画データが送受信されてもよいし、複数の未記録MP4動画データの中から選択された未記録動画データが送受信されてもよい。クライアント装置120が記憶しているMP4動画データが再度送受信されてもよい。
The
図4の説明に戻る。S401の処理(MP4動画データの送受信)が完了すると、S402の処理が行われる。S402では、クライアント装置120のCPU125が、受信したMP4動画データに基づく動画(MP4動画)を再生する。即ち、CPU125は、MP4動画を表示部121に表示する表示制御を行う。MP4動画の再生は、図6(B)に示すようなGUI(アプリケーションのGUI)を用いて行われる。複数のMP4動画データが受信された場合には、複数のMP4動画データのうちのいずれかが選択され、選択されたMP4動画データに基づくMP4動画が再生される。図6(B)において、画像表示領域601は、再生されたMP4動画が表示される領域である。
It returns to the explanation of FIG. When the process of S401 (transmission and reception of MP4 moving image data) is completed, the process of S402 is performed. In S402, the
MP4動画の再生が開始すると、S403の処理が行われる。S403では、CPU125が、再生対象のMP4動画データに基づいて、当該MP4動画データの少なくとも一部のシーンを示すシーン情報を生成する(第1生成処理)。具体的には、CPU125は、シーン選択操作に応じてシーン情報を生成する。シーン選択操作は、ユーザが再生されたMP4動画を確認しながら当該MP4動画の少なくとも一部のシーンを選択するユーザ操作である。シーン選択操作は、図6(B)に示すようなGUIを用いて行われる。その後、クライアント装置120によってシーン情報の送信(第3送信処理)が行われ、サーバ110によってシーン情報の受信(第1受信処理)が行われる。具体的には、CPU125が、ネットワークボード126を用いて、シーン情報を含む切り出し要求を、サーバ110に送信する。そして、CPU115が、ネットワークボード116を用いて、切り出し要求をクライアント装置120から受信する。
When the reproduction of the MP4 moving image starts, the process of S403 is performed. In S403, the
なお、MP4動画データを用いた方法であれば、シーン情報の生成方法は特に限定されない。例えば、画像の動きが閾値以上であるシーンがMP4動画データから検出され、検出されたシーンを示すシーン情報が生成されてもよい。また、音量が閾値以上であるシーンがMP4動画データから検出され、検出されたシーンを示すシーン情報が生成されてもよい。これらの方法によれば、ユーザ操作を必要とせずに、盛り上がりがあると予想されるシーンを示すシーン情報を自動で生成することができる。 The method of generating scene information is not particularly limited as long as the method uses MP4 moving image data. For example, a scene whose image motion is equal to or greater than a threshold may be detected from the MP4 moving image data, and scene information indicating the detected scene may be generated. In addition, a scene whose volume is equal to or higher than a threshold may be detected from the MP4 moving image data, and scene information indicating the detected scene may be generated. According to these methods, it is possible to automatically generate scene information indicating a scene that is expected to be exciting, without requiring a user operation.
図6(B)において、再生ボタン602は、MP4動画再生の開始ためにユーザが操作するボタンであり、一時停止ボタン603は、MP4動画再生の一時停止のためにユーザが操作するボタンである。シークバー604は、MP4動画の全期間を示し、スライダー606は、現在の再生位置(再生されているフレームの時間位置)を示す。ユーザは、マウス122を用いてスライダー606を操作することにより、再生位置を変更することができる。
In FIG. 6B, the
上述した切り出し要求は、動画データまたは静止画データの送信の要求である。ラジオボタン608は、動画データの送信をサーバ110に要求するためにユーザが選択するラジオボタンであり、ラジオボタン609は、静止画データの送信をサーバ110に要求するためにユーザが選択するラジオボタンである。ラジオボタン608とラジオボタン609には排他的に選択可能である。即ち、ユーザは、ラジオボタン608とラジオボタン609の一方のみを選択でき、ラジオボタン608とラジオボタン609の両方を選択することはできない。
The cutout request described above is a request for transmission of moving image data or still image data. The radio button 608 is a radio button selected by the user to request the
動画用のラジオボタン608が選択されると、始点指定ボタン610と終点指定ボタン612が操作可能になる。一方、静止画シーン指定ボタン614は操作不可能になる。始点指定ボタン610は、シーンの始点を決定するためにユーザが操作するボタンであり、終点指定ボタン612は、シーンの終点を決定するためにユーザが操作するボタンである。始点指定ボタン610が押下されると、始点指定ボタン610が押下されたタイミングでのスライダー606の位置に、始点マーカー605が配置される。始点マーカー605は、シーンの始点を示す。終点指定ボタン612が押下されると、終点指定ボタン612
が押下されたタイミングでのスライダー606の位置に、終点マーカー607が配置される。終点マーカー607は、シーンの終点を示す。始点マーカー605と終点マーカー607がシークバー604上に配置されると、切り出し再生ボタン613が操作可能になる。切り出し再生ボタン613は、始点マーカー605と終点マーカー607で示されたシーンのみのMP4動画の再生を開始するためにユーザが操作するボタンである。切り出し再生ボタン613が押下されると、始点マーカー605で示された始点のフレームから、終点マーカー607で示された終点のフレームまでのMP4動画が、画像表示領域601に表示される。
When the video radio button 608 is selected, the start
The
静止画用のラジオボタン609が選択されると、静止画シーン指定ボタン614が操作可能になる。一方、始点指定ボタン610と終点指定ボタン612が操作不可能になる。また、切り出し再生ボタン613も操作不可能になる。静止画シーン指定ボタン614は、シーンの始点であり且つシーンの終点であるフレームを決定するためにユーザが操作するボタンである。静止画シーン指定ボタン614が押下されると、静止画シーン指定ボタン614が押下されたタイミングでのスライダー606の位置に、フレームマーカーが配置される。フレームマーカーは、シーンの始点であり且つシーンの終点であるフレームを示す。
When the still
要求ボタン616は、切り出し要求をサーバ110に送信するためにユーザが操作するボタンである。静止画用のラジオボタン609が選択された状態で要求ボタン616が押下されると、フレームマーカーによって示されたフレームを示すシーン情報が生成される。そして、生成されたシーン情報を含む切り出し要求がクライアント装置120からサーバ110に送信される。動画用のラジオボタン608が選択された状態で要求ボタン616が押下されると、始点マーカー605で示された始点のフレームから、終点マーカー607で示された終点のフレームまでのシーンを示すシーン情報が生成される。そして、生成されたシーン情報を含む切り出し要求がクライアント装置120からサーバ110に送信される。キャンセルボタン615は、切り出し要求の送信をキャンセルするためにユーザが操作するボタンである。キャンセルボタン615が押下されると、シーンの指定等が全て無視され、切り出し要求がサーバ110に送信されずに、アプリケーションが終了される。
The
クライアント装置120からサーバ110に送信される切り出し要求の一例を、図7(A)に示す。図7(A)の例では、切り出し要求は、開始フレーム番号、終了フレーム番号、画像ID、及び、フォーマット指定を含む。例えば、開始フレーム番号と終了フレーム番号の組み合わせがシーン情報である。開始フレーム番号は、シーンの始点のフレームを示す番号であり、終了フレーム番号は、シーンの終点のフレームを示す番号である。動画用のラジオボタン608が選択された状態で要求ボタン616が押下された場合には、始点マーカー605で示された始点のフレームの番号が、開始フレーム番号として設定される。そして、終点マーカー607で示された終点のフレームの番号が、終了フレーム番号として設定される。静止画用のラジオボタン609が選択された状態で要求ボタン616が押下された場合には、フレームマーカーによって示されたフレームの番号が、開始フレーム番号および終了フレーム番号として設定される。切り出し要求に含まれる画像IDは、切り出し要求(シーン情報)の生成に使用されたMP4動画データの画像IDである。フォーマット指定は、サーバに要求する画像データのフォーマットを示すフォーマット情報である。フォーマット指定も、シーン情報と同様に、MP4動画データに基づいて生成される。なお、切り出し要求にフォーマット指定(フォーマット情報)が含まれていなくてもよい。フォーマット指定の送受信は行われなくてもよい。フォーマット指定、シーン情報、及び、画像IDの少なくともいずれかは、切り出し要求とは別に送受信されてもよい。
An example of the extraction request transmitted from the
図4の説明に戻る。S403の処理(切り出し要求の送受信)が完了すると、S404の処理が行われる。S404では、切り出し要求(シーン情報)が示すシーンの動画データをRAW動画データから切り出す(抽出する)切り出し処理が行われる。切り出し処理の処理フローについて、図8のフローチャートを用いて詳細に説明する。 It returns to the explanation of FIG. When the process of S403 (transmission and reception of the cutout request) is completed, the process of S404 is performed. In S404, the moving image data of the scene indicated by the cutout request (scene information) is cut out (extracted) from the RAW moving image data. The processing flow of the cutout processing will be described in detail with reference to the flowchart of FIG.
まず、S801にて、サーバ110のCPU115が、受信した切り出し要求に対応するRAW動画データである対応RAW動画データを判断する。具体的には、CPU115は、切り出し要求に含まれた画像IDと同じ画像IDに関連付けられたRAW動画データが対応RAW動画データであると判断する。
First, in S801, the
次に、S802にて、CPU115が、対応RAW動画データをサーバ110が記憶している否かを判断する。具体的には、CPU115は、サーバ管理テーブルに対応RAW動画データの情報が記述されているか否かを判断する。サーバ管理テーブルに対応RAW動画データの情報が記述されている場合には、対応RAW動画データをサーバ110が記憶していると判断され、S803に処理が進められる。サーバ管理テーブルに対応RAW動画データの情報が記述されていない場合には、対応RAW動画データをサーバ110が記憶していないと判断され、S804に処理が進められる。
Next, in S802, the
例えば、サーバ管理テーブルが図3(B)のサーバ管理テーブルであり、かつ、切り出し要求に含まれた画像IDが「101」である場合に、対応RAW動画データをサーバ110が記憶していると判断され、S803に処理が進められる。サーバ管理テーブルが図3(B)のサーバ管理テーブルであり、かつ、切り出し要求に含まれた画像IDが「102」である場合に、対応RAW動画データをサーバ110が記憶していないと判断され、S804に処理が進められる。
For example, when the server management table is the server management table of FIG. 3B and the image ID included in the cutout request is “101”, it is assumed that the
なお、対応RAW動画データをサーバ110が記憶していない場合には、対応RAW動画データが存在しないことに関するエラー情報がサーバ110からクライアント装置120に送信されてもよい。そして、クライアント装置120のCPU125によって、「対応RAW動画データが存在しないこと」、「切り出し要求が受け入れられないこと」、等がユーザに通知されてもよい。この場合、画像配信システムにおいて、カメラ100は不要となる。ユーザへの通知は、画像表示、音声出力、ランプの点灯、等によって実現できる。
When the corresponding raw moving image data is not stored in the
S803では、CPU115が、切り出し要求が示すシーンの動画データを対応RAW動画データから切り出す切り出し処理(第1切り出し処理;第1抽出処理)を行う。第1切り出し処理の処理フローについて、図9のフローチャートを用いて詳細に説明する。
In S803, the
まず、S901にて、CPU115が、切り出し要求が示すシーンに対応するシーン(対応シーン)を対応RAW動画データから検出する。MP4動画データのフレームレートがRAW動画データのフレームレートと一致するとは限らない。例えば、MP4動画データの用途が、RAW動画データの用途と異なることがある。具体的には、MP4動画データが配布用や簡易閲覧用の動画データであるのに対し、RAW動画データがそうでないことがある。そのため、MP4動画データのフレームレートがRAW動画データのフレームレートと異なることがある。このような理由により、S901の処理が必要となる。S901の処理フローについて、図10のフローチャートを用いて詳細に説明する。
First, in S901, the
まず、S1001にて、CPU115が、切り出し要求から開始フレーム番号と終了フレーム番号を取得する。次に、S1002にて、CPU115が、切り出し要求に含まれた画像IDに対応するMP4動画データのフレームレートと、切り出し要求に含まれた画像IDに対応するRAW動画データのフレームレートとを、サーバ管理テーブルから取得
する。そして、CPU115が、取得した2つのフレームレートの比率を算出する。その後、S1003にて、CPU115が、S1002で算出された比率に基づいて、開始フレーム番号と終了フレーム番号を、RAW動画データのフレームを示すフレーム番号に変換する。S1002とS1003の処理は、例えば、以下の式1によって表される。式1において、「RAW番号」はRAW動画データのフレーム番号であり、「MP4番号」はMP4動画データのフレーム番号である。「RAWレート」はRAW動画データのフレームレートであり、「MP4レート」はMP4動画データのフレームレートである。「INT(X)」は、Xの小数点以下を切り捨てる関数である。式1を用いて図7(A)の切り出し要求(開始フレーム番号と終了フレーム番号)が補正された場合、補正後の切り出し要求として図7(B)に示す切り出し要求が得られる。そして、図10の処理フローが終了される。
RAW番号=MP4番号×INT((RAWレート/MP4レート)+0.5)
・・・(式1)
First, in S1001, the
RAW number = MP4 number x INT ((RAW rate / MP4 rate) + 0.5)
... (Equation 1)
図10の処理フローによれば、シーン情報が示すシーンの始点の時間位置に時間位置が最も近いRAW動画データのフレームが、対応シーンの始点として検出される。そして、シーン情報が示すシーンの終点の時間位置に時間位置が最も近いRAW動画データのフレームが、対応シーンの終点として検出される。また、シーン情報がMP4動画データの1つのフレームを示す場合には、シーン情報が示すフレームの時間位置に時間位置が最も近いRAW動画データのフレームが、対応シーン(対応フレーム)として検出される。なお、対応シーンの検出方法は特に限定されない。例えば、シーン情報が示すシーンの始点の時間位置よりも時間位置が前である複数のフレームのうち、シーン情報が示すシーンの始点の時間位置に時間位置が最も近いフレームが、対応シーンの始点として検出されてもよい。シーン情報が示すシーンの終点の時間位置よりも時間位置が後である複数のフレームのうち、シーン情報が示すシーンの終点の時間位置に時間位置が最も近いフレームが、対応シーンの始点として検出されてもよい。 According to the processing flow of FIG. 10, a frame of RAW moving image data whose time position is closest to the time position of the start point of the scene indicated by the scene information is detected as the start point of the corresponding scene. Then, a frame of RAW moving image data whose time position is closest to the time position of the end point of the scene indicated by the scene information is detected as the end point of the corresponding scene. When the scene information indicates one frame of the MP4 moving image data, a frame of RAW moving image data whose time position is closest to the time position of the frame indicated by the scene information is detected as a corresponding scene (corresponding frame). The method of detecting the corresponding scene is not particularly limited. For example, among a plurality of frames whose time position is earlier than the time position of the start point of the scene indicated by the scene information, the frame whose time position is closest to the time position of the start point of the scene indicated by the scene information is the start point of the corresponding scene. It may be detected. Among the plurality of frames whose time position is later than the time position of the end point of the scene indicated by the scene information, the frame whose time position is closest to the time position of the end point of the scene indicated by the scene information is detected as the start point of the corresponding scene May be
図9の説明に戻る。S901の次に、S902にて、CPU115が、対応RAW動画データから対応シーンの動画データを切り出す。対応シーンが複数のフレームのシーンである場合には、当該複数のフレームを順番に表す動画データが切り出される。対応シーンが1つのフレームのシーンである場合には、当該1つのフレームを表す静止画データが切り出される。以後、S902の処理によって切り出された動画データを、「第1抽出動画データ」と記載する。
It returns to the explanation of FIG. After S901, in S902, the
そして、S903にて、CPU115が、受信した切り出し要求にフォーマット指定が含まれているか否かを判断する。切り出し要求にフォーマット指定が含まれている場合には、S904に処理が進められ、切り出し要求にフォーマット指定が含まれていない場合には、S905に処理が進められる。
Then, in S903, the
S904では、CPU115が、第1抽出動画データのフォーマットを、フォーマット指定が示すフォーマットに変換することにより、変換後の動画データである第1変換動画データを生成する(第1変換処理)。その後、S905に処理が進められる。例えば、図7(C)の切り出し要求が受信された場合は、図7(A)の切り出し要求が受信された場合と同じ方法(式1を用いた方法)で、切り出し要求が補正される。その結果、補正後の切り出し要求として、図7(D)の切り出し要求が得られる。次に、図7(D)の切り出し要求が示す対応シーン(図7(D)の切り出し要求が示す開始フレーム番号から、図7(D)の切り出し要求が示す終了フレーム番号までのシーン)の動画データが、対応RAW動画データから切り出される。そして、切り出された動画データのフォーマットが、R
AW形式からMP4形式に変換される。なお、S903とS904の処理は省略されてもよい。
In S904, the
Converted from AW format to MP4 format. The processes of S903 and S904 may be omitted.
S905では、CPU115が、ネットワークボード116を用いて、動画データをクライアント装置120に送信する(第2送信処理)。そして、クライアント装置120のCPU125が、ネットワークボード126を用いて、動画データをサーバ110から受信する(第3受信処理)。切り出し要求にフォーマット指定が含まれていない場合には、第1抽出動画データが送受信され、切り出し要求にフォーマット指定が含まれている場合には、第1抽出動画データの代わりに第1変換動画データが送受信される。その後、図9の処理フローが終了される。即ち、図8のS803の処理が完了する。そして、図8の処理フローが終了される。
In S 905, the
図8の説明に戻る。S804では、CPU115が、ネットワークボード116を用いて、対応RAW動画データの送信を指示する送信要求をカメラ100に送信する(第5送信処理)。そして、カメラ100のCPU105が、ネットワークボード106を用いて、送信要求をサーバ110から受信する(第5受信処理)。本実施形態では、送信要求の送受信として、補正前の切り出し要求の送受信が行われる。
It returns to the explanation of FIG. In S804, the
次に、S805にて、CPU105が、対応RAW動画データを判断する。対応RAW動画データの判断方法は、S801と同じである。そして、S806にて、CPU105が、対応RAW動画データをカメラ100が記憶している否かを判断する。具体的には、CPU105は、カメラ管理テーブルに対応RAW動画データの情報が記述されているか否かを判断する。カメラ管理テーブルに対応RAW動画データの情報が記述されている場合には、対応RAW動画データをカメラ100が記憶していると判断され、S807に処理が進められる。カメラ管理テーブルに対応RAW動画データの情報が記述されていない場合には、対応RAW動画データをカメラ100が記憶していないと判断され、S808に処理が進められる。
Next, in step S805, the
例えば、カメラ管理テーブルが図3(C)のカメラ管理テーブルであり、かつ、送信要求(切り出し要求)に含まれた画像IDが「102」である場合に、対応RAW動画データをカメラ100が記憶していると判断され、S807に処理が進められる。カメラ管理テーブルが図3(C)のカメラ管理テーブルであり、かつ、送信要求に含まれた画像IDが「103」である場合に、対応RAW動画データをカメラ100が記憶していないと判断され、S808に処理が進められる。
For example, when the camera management table is the camera management table shown in FIG. 3C and the image ID included in the transmission request (extraction request) is "102", the
S807では、CPU105が、送信要求(切り出し要求)が示すシーンの動画データを対応RAW動画データから切り出す切り出し処理(第2切り出し処理;第2抽出処理)を行う。その後、S809に処理が進められる。第2切り出し処理の方法は、第1切り出し処理の方法と同じである。S808の処理により、対応RAW動画データから対応シーンの動画データが切り出される。以後、S808の処理によって切り出された動画データを、「第2抽出動画データ」と記載する。そして、送信要求にフォーマット指定が含まれている場合には、S808において、第2抽出動画データのフォーマットを、フォーマット指定が示すフォーマットに変換することにより、第2変換動画データが生成される(第2変換処理)。送信要求にフォーマット指定が含まれていない場合には、S808において、第2抽出動画データがカメラ100からサーバ110に送信される。送信要求にフォーマット指定が含まれている場合には、第2変換動画データがカメラ100からサーバ110に送信される。
In S807, the
S808では、CPU105が、ネットワークボード106を用いて、対応RAW動画データが存在しないことに関するエラー情報をサーバ110に送信する。そして、サーバ
110のCPU115が、ネットワークボード116を用いて、エラー情報をカメラ100から受信する。その後、S809に処理が進められる。
In step S808, the
S809では、サーバ110のCPU115が、ネットワークボード106を用いて、S807またはS808の処理によって受信されたデータ(第2抽出動画データ、第2変換動画データ、または、エラー情報)をクライアント装置120に送信する。そして、クライアント装置120のCPU125が、ネットワークボード126を用いて、上記データをサーバ110から受信する。その後、図8の処理フローが終了される。
In S809, the
なお、送信要求にフォーマット指定が含まれているか否かに拘らず、第2抽出動画データがカメラ100からサーバ110に送信されてもよい。そして、第2変換動画データの生成がサーバ110によって行われてもよい。また、対応RAW動画データ全体がカメラ100からサーバ110に送信されてもよい。そして、第2抽出動画データの切り出しと、第2抽出動画データの生成とがサーバ110によって行われてもよい。
The second extracted moving image data may be transmitted from the
図4の説明に戻る。S404(図8の処理フロー)の次に、S405にて、クライアント装置120のCPU125が、受信したデータに基づく処理を行う。そして、図4の処理フローが終了される。エラー情報がサーバ110からクライアント装置120に送信された場合には、CPU125は、「対応RAW動画データが存在しないこと」、「切り出し要求が受け入れられないこと」、等をユーザに通知する。動画データがサーバ110からクライアント装置120に送信された場合には、CPU125は、受信した動画データをHDD127に記録したり、受信した動画データに基づく動画を再生したりする。ここで、サーバ110からクライアント装置120に送信された動画データは、第1抽出動画データ、第1変換動画データ、第2抽出動画データ、または、第2変換動画データである。受信した動画データに基づく動画は、図6(B)の画像表示領域601で再生されてもよいし、他のアプリケーションを用いて再生されてもよい。
It returns to the explanation of FIG. Next to S404 (the processing flow of FIG. 8), the
以上述べたように、本実施形態によれば、データサイズが小さい第2動画データがサーバからクライアント装置に送信され、クライアント装置において、第2動画データに基づいてシーン(所望のシーン)が決定される。そして、決定されたシーンを示すシーン情報がクライアント装置からサーバに送信され、サーバにおいて、シーン情報が示すシーンの動画データが、データサイズが大きい第1動画データから抽出される。その後、抽出された動画データが、サーバからクライアント装置に送信される。それにより、サーバからクライアント装置に所望の動画データ(所望のシーンの動画データ)を送信することができる。また、サーバからクライアント装置に送信する第2動画データを、シーン情報が示すシーンの動画データに制限したことにより、サーバとクライアント装置の間の通信量を低減することもできる。また、本実施形態によれば、第2動画データが予め用意されるため、サーバからクライアント装置への第2動画データの送信が滞ることはない。 As described above, according to the present embodiment, the second moving image data having a small data size is transmitted from the server to the client device, and the client device determines a scene (desired scene) based on the second moving image data. Ru. Then, scene information indicating the determined scene is transmitted from the client device to the server, and the server extracts moving image data of the scene indicated by the scene information from the first moving image data having a large data size. Thereafter, the extracted moving image data is transmitted from the server to the client device. Thereby, desired moving image data (moving image data of a desired scene) can be transmitted from the server to the client device. In addition, by limiting the second moving image data transmitted from the server to the client device to moving image data of the scene indicated by the scene information, the amount of communication between the server and the client device can be reduced. Further, according to the present embodiment, since the second moving image data is prepared in advance, the transmission of the second moving image data from the server to the client device is not delayed.
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこの特定の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。例えば、本実施形態では、撮影画像データを用いた例を説明したが、処理対象の動画データは撮影画像データに限らない。例えば、処理対象の動画データは、コンピュータグラフィクスの動画データであってもよいし、アニメーションの動画データであってもよい。 Although the present invention has been described in detail based on its preferred embodiment, the present invention is not limited to this specific embodiment, and various forms within the scope of the present invention are also included in the present invention. included. For example, in the present embodiment, an example using captured image data has been described, but moving image data to be processed is not limited to captured image data. For example, moving image data to be processed may be moving image data of computer graphics or moving image data of animation.
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。ま
た、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
<Other Embodiments>
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. Can also be realized. It can also be implemented by a circuit (eg, an ASIC) that implements one or more functions.
110:サーバ 115,125:CPU 116,126:ネットワークボード
117:HDD 120:クライアント装置
110:
Claims (14)
前記サーバは、
第1動画データと、第1動画データよりもデータサイズが小さく、かつ、前記第1動画データと同じ動画を表す第2動画データとを記憶可能な記憶手段と、
前記第2動画データを前記クライアント装置に送信する第1送信手段と、
前記第2動画データの少なくとも一部のシーンを示すシーン情報を前記クライアント装置から受信する第1受信手段と、
前記シーン情報が示すシーンの動画データを、前記第1動画データから抽出する第1抽出手段と、
前記第1抽出手段によって抽出された動画データである抽出動画データを、前記クライアント装置に送信する第2送信手段と、
を有し、
前記クライアント装置は、
前記第2動画データを前記サーバから受信する第2受信手段と、
前記第2動画データに基づいて前記シーン情報を生成する第1生成手段と、
前記シーン情報を前記サーバに送信する第3送信手段と、
前記抽出動画データを前記サーバから受信する第3受信手段と、
を有し、
前記第1抽出手段は、前記シーン情報が示すシーンの始点の時間位置に時間位置が最も近いフレームから、前記シーン情報が示すシーンの終点の時間位置に時間位置が最も近いフレームまでの動画データを、前記第1動画データから抽出する
ことを特徴とする画像配信システム。 An image delivery system comprising a server and a client device, wherein
The server is
Storage means capable of storing first moving image data, and second moving image data smaller in data size than the first moving image data and representing the same moving image as the first moving image data;
First transmitting means for transmitting the second moving image data to the client device;
First receiving means for receiving from the client apparatus scene information indicating at least a part of a scene of the second moving image data;
First extraction means for extracting moving image data of a scene indicated by the scene information from the first moving image data;
A second transmission unit that transmits extracted moving image data, which is moving image data extracted by the first extraction unit, to the client device;
Have
The client device is
Second receiving means for receiving the second moving image data from the server;
First generation means for generating the scene information based on the second moving image data;
Third transmitting means for transmitting the scene information to the server;
Third receiving means for receiving the extracted moving image data from the server;
I have a,
The first extraction means is moving image data from a frame whose time position is closest to the time position of the start point of the scene indicated by the scene information to a frame whose time position is closest to the time position of the end point of the scene indicated by the scene information. An image delivery system characterized by extracting from the first moving image data .
前記第1生成手段は、ユーザが前記第2動画データに基づく動画を確認しながら前記第2動画データの少なくとも一部のシーンを選択するユーザ操作に応じて、前記シーン情報を生成する
ことを特徴とする請求項1に記載の画像配信システム。 The client device further includes display control means for performing display control to display a moving image based on the second moving image data on a display unit,
The first generation means is characterized in that the scene information is generated in response to a user operation of selecting a scene of at least a part of the second moving image data while the user confirms a moving image based on the second moving image data. The image delivery system according to claim 1.
前記第3送信手段は、前記フォーマット情報をさらに送信し、
前記第1受信手段は、前記フォーマット情報をさらに受信し、
前記サーバは、前記第1受信手段によって前記フォーマット情報が受信された場合に、前記第1動画データから抽出された前記動画データのフォーマットを、前記フォーマット情報が示すフォーマットに変換する第1変換手段、をさらに有し、
前記第2送信手段は、前記第1受信手段によって前記フォーマット情報が受信された場合に、前記第1変換手段による変換後の動画データを、前記第1動画データから抽出された前記動画データの代わりに、前記クライアント装置に送信する
ことを特徴とする請求項1または2に記載の画像配信システム。 The first generation unit further generates format information indicating a format of moving image data based on the second moving image data,
The third transmission means further transmits the format information.
The first receiving means further receives the format information.
The server converts the format of the moving image data extracted from the first moving image data into the format indicated by the format information, when the format information is received by the first receiving unit; And have
The second transmission means substitutes the moving picture data converted by the first converting means from the moving picture data extracted from the first moving picture data, when the format information is received by the first receiving means. The image delivery system according to claim 1 or 2, wherein the image delivery system transmits the image to the client device.
前記第1抽出手段は、前記シーン情報が示す前記1つのフレームに対応する1つのフレームの静止画データを、前記第1動画データから抽出する
ことを特徴とする請求項1〜3のいずれか1項に記載の画像配信システム。 When the scene information indicates one frame of the second moving image data,
The first extraction means, a still picture data of one frame corresponding to said one frame the scene information indicating any one of claims 1-3, characterized by extracting from the first moving image data 1 The image delivery system described in Item.
前記画像生成装置は、
前記第1動画データと前記第2動画データを生成する第2生成手段と、
前記第1動画データと前記第2動画データを、前記サーバに送信する第4送信手段と、
を有し、
前記サーバは、前記第1動画データと前記第2動画データを前記画像生成装置から受信する第4受信手段、をさらに有する
ことを特徴とする請求項1〜4のいずれか1項に記載の画像配信システム。 The image delivery system further comprises an image generating device,
The image generating device is
A second generation unit configured to generate the first moving image data and the second moving image data;
Fourth transmitting means for transmitting the first moving image data and the second moving image data to the server;
Have
The image according to any one of claims 1 to 4 , wherein the server further includes fourth receiving means for receiving the first moving image data and the second moving image data from the image generation device. Delivery system.
前記画像生成装置は、前記送信要求を前記サーバから受信する第5受信手段、をさらに有し、
前記第4送信手段は、前記第5受信手段が前記送信要求を受信したことに応じて、前記第1動画データを前記サーバに送信する
ことを特徴とする請求項5に記載の画像配信システム。 The server requests transmission of the first moving image data when the first receiving unit receives the scene information and the storage unit does not store the first moving image data. And fifth transmitting means for transmitting to the image generating device,
The image generating apparatus further includes fifth receiving means for receiving the transmission request from the server,
The image distribution system according to claim 5 , wherein the fourth transmission unit transmits the first moving image data to the server in response to the fifth reception unit receiving the transmission request.
前記画像生成装置は、前記シーン情報が示すシーンの動画データを、前記第1動画データから抽出する第2抽出手段、をさらに有し、
前記第4送信手段は、前記第5受信手段が前記送信要求を受信したことに応じて、前記第2抽出手段によって抽出された動画データを、前記サーバに送信し、
前記第2送信手段は、前記第5受信手段が前記送信要求を受信したことに応じて前記第4送信手段から送信された前記動画データを、前記抽出動画データの代わりに、前記クライアント装置に送信する
ことを特徴とする請求項6に記載の画像配信システム。 The transmission request includes the scene information,
The image generation apparatus further includes second extraction means for extracting moving image data of a scene indicated by the scene information from the first moving image data,
The fourth transmission means transmits the moving image data extracted by the second extraction means to the server in response to the fifth reception means receiving the transmission request.
The second transmission unit transmits the moving image data transmitted from the fourth transmission unit to the client device instead of the extracted moving image data in response to the fifth reception unit receiving the transmission request. The image delivery system according to claim 6 , characterized in that:
前記第3送信手段は、前記フォーマット情報をさらに送信し、
前記第1受信手段は、前記フォーマット情報をさらに受信し、
前記第1受信手段によって前記フォーマット情報が受信された場合に、前記送信要求は、前記フォーマット情報を含み、
前記画像生成装置は、前記送信要求に前記フォーマット情報が含まれている場合に、前記第2抽出手段によって抽出された前記動画データのフォーマットを、前記フォーマット情報が示すフォーマットに変換する第2変換手段、をさらに有し、
前記送信要求に前記フォーマット情報が含まれている場合に、前記第4送信手段は、前記第5受信手段が前記送信要求を受信したことに応じて、前記第2変換手段による変換後の動画データを、前記第2抽出手段によって抽出された前記動画データの代わりに、前記サーバに送信する
ことを特徴とする請求項7に記載の画像配信システム。 The first generation unit further generates format information indicating a format of moving image data based on the second moving image data,
The third transmission means further transmits the format information.
The first receiving means further receives the format information.
The transmission request includes the format information, when the format information is received by the first receiving unit.
A second conversion unit configured to convert a format of the moving image data extracted by the second extraction unit into a format indicated by the format information, when the transmission request includes the format information; And further,
When the format information is included in the transmission request, the fourth transmission unit is the moving image data after conversion by the second conversion unit in response to the fifth reception unit receiving the transmission request. The image delivery system according to claim 7, wherein the image delivery system is sent to the server instead of the moving image data extracted by the second extraction means.
ことを特徴とする請求項7または8に記載の画像配信システム。 The second extraction means is moving image data from a frame whose time position is closest to the time position of the start point of the scene indicated by the scene information to a frame whose time position is closest to the time position of the end point of the scene indicated by the scene information. the image distribution system according to claim 7 or 8, characterized in that extracted from the first video data.
前記第2抽出手段は、前記シーン情報が示す前記1つのフレームに対応する1つのフレームを、前記第1動画データから抽出し、
前記第4送信手段は、前記第5受信手段が前記送信要求を受信したことに応じて、前記第2抽出手段によって抽出された1つのフレームを表す静止画データを、前記サーバに送信する
ことを特徴とする請求項7〜9のいずれか1項に記載の画像配信システム。 When the scene information indicates one frame of the second moving image data,
The second extraction unit extracts one frame corresponding to the one frame indicated by the scene information from the first moving image data.
The fourth transmission means transmits, to the server, still image data representing one frame extracted by the second extraction means in response to the fifth reception means receiving the transmission request. The image delivery system according to any one of claims 7 to 9 , which is characterized by the above.
第1動画データと、第1動画データよりもデータサイズが小さく、かつ、前記第1動画データと同じ動画を表す第2動画データとを記憶可能な記憶手段と、
前記第2動画データを前記他のコンピュータ装置に送信する第1送信手段と、
前記第2動画データの少なくとも一部のシーンを示すシーン情報を前記他のコンピュータ装置から受信する受信手段と、
前記シーン情報が示すシーンの動画データを、前記第1動画データから抽出する抽出手段と、
前記抽出手段によって抽出された動画データである抽出動画データを、前記他のコンピュータ装置に送信する第2送信手段と、
を有し、
前記抽出手段は、前記シーン情報が示すシーンの始点の時間位置に時間位置が最も近いフレームから、前記シーン情報が示すシーンの終点の時間位置に時間位置が最も近いフレームまでの動画データを、前記第1動画データから抽出する
ことを特徴とするコンピュータ装置。 A computer apparatus connectable to another computer device,
Storage means capable of storing first moving image data, and second moving image data smaller in data size than the first moving image data and representing the same moving image as the first moving image data;
First transmitting means for transmitting the second moving image data to the other computer device ;
Receiving means for receiving scene information indicating at least a part of the second moving image data from the other computer device ;
Extracting means for extracting moving image data of a scene indicated by the scene information from the first moving image data;
Second transmitting means for transmitting extracted moving image data, which is moving image data extracted by the extracting means, to the other computer device ;
I have a,
The extraction means is for moving image data from a frame whose time position is closest to the time position of the start point of the scene indicated by the scene information to a frame whose time position is closest to the time position of the end point of the scene indicated by the scene information. A computer apparatus characterized by extracting it from the first moving image data .
前記サーバが、第1動画データよりもデータサイズが小さく、かつ、前記第1動画データと同じ動画を表す第2動画データを前記クライアント装置に送信する第1送信ステップと、
前記クライアント装置が、前記第2動画データを前記サーバから受信する第1受信ステップと、
前記クライアント装置が、前記第2動画データに基づいて、前記第2動画データの少なくとも一部のシーンを示すシーン情報を生成する生成ステップと、
前記クライアント装置が、前記シーン情報を前記サーバに送信する第2送信ステップと
、
前記サーバが、前記シーン情報を前記クライアント装置から受信する第2受信ステップと、
前記サーバが、前記シーン情報が示すシーンの動画データを、前記第1動画データから抽出する抽出ステップと、
前記サーバが、前記抽出ステップによって抽出された動画データである抽出動画データを、前記クライアント装置に送信する第3送信ステップと、
前記クライアント装置が、前記抽出動画データを前記サーバから受信する第3受信ステップと、
を有し、
前記抽出ステップでは、前記シーン情報が示すシーンの始点の時間位置に時間位置が最も近いフレームから、前記シーン情報が示すシーンの終点の時間位置に時間位置が最も近いフレームまでの動画データを、前記第1動画データから抽出する
ことを特徴とする制御方法。 A control method of an image delivery system having a server and a client device, comprising:
A first transmission step of transmitting, to the client device, second moving image data in which the server has a smaller data size than the first moving image data and which represents the same moving image as the first moving image data;
A first receiving step in which the client device receives the second moving image data from the server;
A generating step of generating scene information indicating a scene of at least a part of the second moving image data based on the second moving image data;
A second transmission step in which the client device transmits the scene information to the server;
A second receiving step in which the server receives the scene information from the client device;
An extraction step in which the server extracts moving image data of a scene indicated by the scene information from the first moving image data;
A third transmission step of transmitting, to the client device, the extracted moving image data, which is the moving image data extracted by the extraction step, by the server;
A third receiving step in which the client device receives the extracted moving image data from the server;
I have a,
In the extraction step, moving image data from a frame whose time position is closest to the time position of the start point of the scene indicated by the scene information to a frame whose time position is closest to the time position of the end point of the scene indicated by the scene information is A control method characterized by extracting from the first moving image data .
第1動画データよりもデータサイズが小さく、かつ、前記第1動画データと同じ動画を表す第2動画データを前記他のコンピュータ装置に送信する第1送信ステップと、
前記第2動画データの少なくとも一部のシーンを示すシーン情報を前記他のコンピュータ装置から受信する受信ステップと、
前記シーン情報が示すシーンの動画データを、前記第1動画データから抽出する抽出ステップと、
前記抽出ステップによって抽出された動画データである抽出動画データを、前記他のコンピュータ装置に送信する第2送信ステップと、
を有し、
前記抽出ステップでは、前記シーン情報が示すシーンの始点の時間位置に時間位置が最も近いフレームから、前記シーン情報が示すシーンの終点の時間位置に時間位置が最も近いフレームまでの動画データを、前記第1動画データから抽出する
ことを特徴とする制御方法。 A control method of a computer device connectable to another computer device , comprising:
A first transmitting step of transmitting, to the other computer device , second moving image data having a smaller data size than the first moving image data and representing the same moving image as the first moving image data;
Receiving scene information indicating at least a part of the second moving image data from the other computer device ;
Extracting moving image data of a scene indicated by the scene information from the first moving image data;
A second transmitting step of transmitting extracted moving image data, which is moving image data extracted by the extracting step, to the other computer device ;
I have a,
In the extraction step, moving image data from a frame whose time position is closest to the time position of the start point of the scene indicated by the scene information to a frame whose time position is closest to the time position of the end point of the scene indicated by the scene information is A control method characterized by extracting from the first moving image data .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015182023A JP6548538B2 (en) | 2015-09-15 | 2015-09-15 | Image delivery system and server |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015182023A JP6548538B2 (en) | 2015-09-15 | 2015-09-15 | Image delivery system and server |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017059953A JP2017059953A (en) | 2017-03-23 |
JP6548538B2 true JP6548538B2 (en) | 2019-07-24 |
Family
ID=58390585
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015182023A Active JP6548538B2 (en) | 2015-09-15 | 2015-09-15 | Image delivery system and server |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6548538B2 (en) |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3772502B2 (en) * | 1997-12-22 | 2006-05-10 | ソニー株式会社 | Receiving apparatus and information processing apparatus |
JP4183231B2 (en) * | 2002-05-09 | 2008-11-19 | キヤノン株式会社 | Image processing server, control method therefor, program, image processing system, and terminal |
JP2004289718A (en) * | 2003-03-25 | 2004-10-14 | Nippon Hoso Kyokai <Nhk> | Photographed video editing method and apparatus therefor |
JP2005117084A (en) * | 2003-10-02 | 2005-04-28 | Nagoya City | Still image information distribution system, server, and client |
JP2006166407A (en) * | 2004-11-09 | 2006-06-22 | Canon Inc | Imaging device and its control method |
CN101421724A (en) * | 2006-04-10 | 2009-04-29 | 雅虎公司 | Video generation based on aggregate user data |
US20110206351A1 (en) * | 2010-02-25 | 2011-08-25 | Tal Givoli | Video processing system and a method for editing a video asset |
WO2012011466A1 (en) * | 2010-07-20 | 2012-01-26 | シャープ株式会社 | Relay device, relay method, communications system, relay control program, and recoding medium |
US8768142B1 (en) * | 2012-01-26 | 2014-07-01 | Ambarella, Inc. | Video editing with connected high-resolution video camera and video cloud server |
-
2015
- 2015-09-15 JP JP2015182023A patent/JP6548538B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017059953A (en) | 2017-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110213616B (en) | Video providing method, video obtaining method, video providing device, video obtaining device and video providing equipment | |
US9445142B2 (en) | Information processing apparatus and control method thereof | |
JP6465541B2 (en) | COMMUNICATION DEVICE, REPRODUCTION DEVICE, ITS METHOD, AND PROGRAM | |
JP6541309B2 (en) | Transmission apparatus, transmission method, and program | |
JP2008311888A (en) | Image recorder, image recording system, image reproduction method | |
JP6270555B2 (en) | Image processing system, imaging apparatus, and control method thereof | |
JP5915604B2 (en) | Information processing apparatus, program, and information processing method | |
JP2021111943A (en) | Image processing device and control method thereof, program, and storage medium | |
JP6360300B2 (en) | COMMUNICATION DEVICE, IMAGING DEVICE, ITS CONTROL METHOD, AND PROGRAM | |
US9277261B2 (en) | Information processing apparatus and control method thereof | |
JP2016208268A (en) | Imaging apparatus, control method therefor and program | |
JP6548538B2 (en) | Image delivery system and server | |
JP6632360B2 (en) | Information processing device | |
JP2019033362A (en) | Distribution apparatus, reception apparatus, and program | |
CN112188269B (en) | Video playing method and device and video generating method and device | |
JP7099693B2 (en) | Video monitoring method and server and video monitoring system | |
JP6295634B2 (en) | Information processing system and program | |
JP2006304163A (en) | Still image generating system | |
JP6669402B2 (en) | Communication device, system, information processing method and program | |
JP6282136B2 (en) | Imaging apparatus and control method thereof | |
US20240160658A1 (en) | Communication device and method for controlling the same | |
JP2013098998A (en) | Display control device and information transmission method | |
JP6970143B2 (en) | Distribution server, distribution method and program | |
JP7319340B2 (en) | Distribution server, distribution method and program | |
JP6209835B2 (en) | Information processing system, server device, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180911 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20181116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190319 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190514 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190528 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190625 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6548538 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |