JP4796367B2 - Video distribution system - Google Patents
Video distribution system Download PDFInfo
- Publication number
- JP4796367B2 JP4796367B2 JP2005283070A JP2005283070A JP4796367B2 JP 4796367 B2 JP4796367 B2 JP 4796367B2 JP 2005283070 A JP2005283070 A JP 2005283070A JP 2005283070 A JP2005283070 A JP 2005283070A JP 4796367 B2 JP4796367 B2 JP 4796367B2
- Authority
- JP
- Japan
- Prior art keywords
- distribution
- data
- terminal device
- moving image
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
この発明は携帯電話などの再生端末装置に対して動画を配信する動画配信システムに関するものである。 The present invention relates to a moving image distribution system that distributes moving images to a reproduction terminal device such as a mobile phone.
撮像した動画をリアルタイム性を維持しつつ携帯電話装置に配信するシステムが、特許文献１に開示されている。このシステムでは、撮像した動画データを、サーバにてブロック単位に記録し、これにより携帯電話における再生を容易にしている。
A system that distributes a captured moving image to a mobile phone device while maintaining real-time performance is disclosed in
しかしながら、上記のような従来技術では、リアルタイム性を維持しつつ携帯電話装置側にて動画再生を行うためには、携帯電話装置の動画再生能力が十分に確保されなければならない。一般に、携帯電話装置の動画再生能力は十分とは言えず、この点において問題があった。 However, in the conventional technology as described above, in order to perform moving image reproduction on the mobile phone device side while maintaining real-time characteristics, the moving image reproduction capability of the mobile phone device must be sufficiently ensured. In general, it cannot be said that the mobile phone device has sufficient moving picture reproduction capability, and there is a problem in this respect.
また、携帯端末装置がＭＰＥＧなどの圧縮形式のフォーマットに対応していなければ、このような形式にてストリーミングを行うことができなかった。 Also, unless the mobile terminal device supports a compression format such as MPEG, streaming cannot be performed in such a format.
この発明は上記のような問題点を解決して、再生端末装置に対してリアルタイムに動画を配信することのできるシステムを提供することを目的とする。 SUMMARY OF THE INVENTION An object of the present invention is to solve the above-described problems and provide a system capable of delivering a moving image to a playback terminal device in real time.
この発明の複数の側面を示すと以下のとおりである。 A plurality of aspects of the present invention are as follows.
(1)この発明に係る動画配信システムは、対象を撮像し、画像データおよび音声データを含む撮像動画ストリームとして出力する撮像手段と、撮像手段から撮像動画ストリームを受け、画像データと音声データを抽出するとともに、抽出した画像データのフレームを間引いて生成した圧縮画像データと、抽出した音声データとを含む圧縮動画ストリームを生成して出力する圧縮手段と、圧縮手段から圧縮動画ストリームを受けて、当該圧縮動画ストリームに含まれる音声データストリームを再生端末装置が再生可能なフォーマットに変換した配信用動画ストリームを生成して出力する配信用変換手段と、配信用変換手段からの配信用動画ストリームを受けて蓄積し、再生端末装置からの要求を受けて蓄積した配信用動画ストリームを再生端末装置に送信する動画配信手段とを備えている。 (1) A moving image distribution system according to the present invention captures an object, outputs it as an imaged moving image stream including image data and audio data, receives an imaged moving image stream from the image capturing unit, and extracts image data and audio data And generating a compressed video stream including the compressed image data generated by thinning out the frames of the extracted image data and the extracted audio data, and receiving the compressed video stream from the compression unit. A distribution conversion unit that generates and outputs a distribution video stream obtained by converting an audio data stream included in the compressed video stream into a format that can be reproduced by the playback terminal device, and a distribution video stream received from the distribution conversion unit The distribution video stream stored and received in response to a request from the playback terminal device And a video distribution unit to be sent to.
撮像動画ストリームから画像データと音声データを抽出し、画像データに含まれる完全画像データを選び出して生成した圧縮画像データと、抽出した音声データとを含む圧縮動画ストリームを生成するようにしている。したがって、迅速に圧縮動画ストリームを生成することができ、リアルタイム性を有する動画配信が可能となる。 Image data and audio data are extracted from the captured moving image stream, and a compressed moving image stream including the compressed image data generated by selecting complete image data included in the image data and the extracted audio data is generated. Therefore, a compressed moving image stream can be generated quickly, and moving image distribution having real-time characteristics is possible.
(2)この発明に係る動画配信システムは、撮像手段が複数設けられ、各撮像手段の出力する撮像ストリームに対応して、圧縮手段、配信用変換手段、動画配信手段がそれぞれ設けられており、各動画配信手段に蓄積されている複数の配信用動画ストリームの一覧データを生成し、再生端末装置からの要求に応じて、当該一覧データを再生端末装置に送信する一覧生成手段をさらに備えたことを特徴としている。 (2) The moving image distribution system according to the present invention is provided with a plurality of imaging means, and corresponding to the imaging stream output from each imaging means, a compression means, a conversion means for distribution, and a moving image distribution means are provided, It further comprises list generation means for generating list data of a plurality of distribution moving image streams stored in each moving picture distribution means and transmitting the list data to the reproduction terminal apparatus in response to a request from the reproduction terminal apparatus. It is characterized by.
したがって、再生端末装置の側からの要求により、いずれの撮像手段の動画を再生するかを選択することができる。 Therefore, it is possible to select which imaging means to reproduce the moving image in response to a request from the reproduction terminal device.
(3)この発明に係る動画配信システムは、時間とともに移動する撮像対象に設けられた位置検出手段に基づいて送信されてくる対象位置データを記録する対象位置データ記録部と、撮像手段の設置位置データを記録する設置位置データ記録部とを備え、前記一覧生成手段は、対象位置データと設置位置データとに基づいて、撮像手段の位置と撮像対象の位置の関係を示すデータを再生端末装置に送信することを特徴としている。 (3) The moving image distribution system according to the present invention includes a target position data recording unit that records target position data transmitted based on a position detection unit provided in an imaging target that moves with time, and an installation position of the imaging unit. An installation position data recording unit for recording data, and the list generation means stores data indicating a relationship between the position of the imaging means and the position of the imaging target to the playback terminal device based on the target position data and the installation position data. It is characterized by transmitting.
したがって、再生端末装置の側において、撮像対象の現在位置に応じて適切な撮像手段を選択して、動画再生を行うことができる。 Therefore, on the playback terminal device side, it is possible to select an appropriate imaging unit according to the current position of the imaging target and perform moving image playback.
(4)この発明に係る動画配信システムは、撮像対象が複数個存在し、対象位置データ記録部は、各撮像対象ごとに対象位置データを記録しており、一覧生成手段は、再生端末装置において各撮像対象が区別可能なように表示できるようにデータを送信することを特徴としている。 (4) In the moving image distribution system according to the present invention, there are a plurality of imaging targets, the target position data recording unit records target position data for each imaging target, and the list generation means is a playback terminal device. Data is transmitted so that each imaging target can be displayed in a distinguishable manner.
したがって、再生端末装置の側において、所望の撮像対象の現在位置に応じて適切な撮像手段を選択して、動画再生を行うことができる。 Therefore, on the playback terminal device side, it is possible to select a suitable imaging unit according to the current position of the desired imaging target and perform moving image playback.
(5)この発明に係る動画配信システムは、撮像対象がコースを走行する車であり、撮像手段は当該コースに設けられていることを特徴としている。 (5) The moving image distribution system according to the present invention is characterized in that the imaging target is a car traveling on a course, and the imaging means is provided on the course.
したがって、再生端末装置の側において、車の現在位置に応じて適切な撮像手段を選択して、動画再生を行うことができる。 Therefore, on the playback terminal device side, it is possible to select a suitable imaging means in accordance with the current position of the car and perform moving image playback.
(8)この発明に係る動画配信システムは、配信用変換手段は再生端末装置の機種ごとに設けられており、各配信用変換手段は、各再生用端末装置の機種に応じて再生可能なフォーマットを持つ配信用動画ストリームを生成し、動画配信手段は再生端末装置の機種ごとに設けられており、各動画配信手段は再生端末装置の各機種に対応した配信用動画ストリームを複数記録しており、再生端末装置からの要求を受けて、再生端末装置の機種を判別し、当該機種に対応する動画配信手段が配信用動画ストリームを送信するよう制御する機種判別手段をさらに備えることを特徴としている。 (8) In the moving image distribution system according to the present invention, the distribution conversion means is provided for each model of the reproduction terminal device, and each distribution conversion means is a format that can be reproduced according to the model of each reproduction terminal device. A distribution video stream is provided for each model of the playback terminal device, and each video distribution unit records a plurality of distribution video streams corresponding to each model of the playback terminal device. The apparatus further comprises a model discriminating unit for receiving a request from the playback terminal device, discriminating the model of the playback terminal device, and controlling the video delivery unit corresponding to the model to transmit the video stream for delivery. .
したがって、再生端末装置の機種に応じて、対応するフォーマットにて動画をリアルタイムに配信することができる。 Therefore, a moving image can be distributed in real time in a corresponding format according to the model of the playback terminal device.
この発明において「撮像手段」とは、対象を撮像し動画ストリームを生成する手段をいい、実施形態ではディジタルカメラ２がこれに該当する。
In the present invention, “imaging means” refers to means for capturing an image of a target and generating a moving image stream, and the
「圧縮手段」とは、少なくとも、撮像動画ストリームのデータ量を削減する手段をいい、実施形態では動画キャプチャ装置６がこれに該当する。
The “compression unit” means at least a unit that reduces the data amount of the captured moving image stream, and the moving
「配信用変換手段」とは、再生端末装置が再生可能なフォーマットに変換する手段をいい、実施形態では動画変換サーバ１０がこれに該当する。
The “distribution converting means” means means for converting into a format that can be played back by the playback terminal device, and the moving
「動画配信手段」とは、再生端末装置に対して配信用動画ストリームを送信する手段をいい、実施形態では動画配信サーバ１４がこれに該当する。
The “video distribution means” means means for transmitting a distribution video stream to the playback terminal device, and the
「一覧データ」とは、複数の配信用動画ストリームを選択するためのデータをいい、実施形態では図１５、図１７の画面データまたはこの画面データを生成するためのデータがこれに該当する。 “List data” refers to data for selecting a plurality of moving image streams for distribution, and in the embodiment, the screen data of FIGS. 15 and 17 or data for generating the screen data corresponds to this.
「位置検出手段」とは、対象の位置を検出するための手段であり、実施形態でＧＰＳ装置がこれに該当する。 “Position detection means” is means for detecting the position of an object, and corresponds to the GPS device in the embodiment.
「プログラム」とは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。 The “program” is a concept that includes not only a program that can be directly executed by the CPU, but also a source format program, a compressed program, an encrypted program, and the like.
１．第１の実施形態
(1)全体構成
図１に、この発明の一実施形態による動画配信システムを示す。撮像手段であるデジタルカメラ２によって対象が撮像され、撮像動画ストリーム（たとえばＤＶ方式のデータ）４が生成される。この撮像動画ストリーム４は、ＮＴＳＣ方式のコンポジット信号をディジタル化したものであり、画像データと音声データを含んでいる。
1. First embodiment
(1) Overall Configuration FIG. 1 shows a moving image distribution system according to an embodiment of the present invention. An object is imaged by the
この撮像動画ストリーム４は、動画キャプチャ装置６(圧縮手段)に与えられる。動画キャプチャ装置６は、撮像動画ストリーム４を解析し、画像データおよび音声データの抽出を行う。なお、抽出の際、画像データを構成するフレームを間引いて、データ量を低減するとともに、携帯電話などの再生端末装置２０の1秒あたりのフレーム再生能力に合致した画像データを生成する。このようにして得た画像データと音声データにより圧縮動画ストリーム８を生成し、出力する。
This captured moving
動画変換サーバ１０(配信用変換手段)は、圧縮動画ストリーム８を受けて、音声データを再生端末装置２０が再生可能なフォーマット（たとえば、ＭＦｉフォーマット）に変換する。このようにして、配信用動画ストリーム１２が得られる。
The video conversion server 10 (distribution conversion means) receives the
この配信用動画ストリーム１２は、動画配信サーバ１４（動画配信手段）に蓄積される。動画配信サーバ１４は、再生端末装置２０からの要求を受けて、インターネット１６を介して、配信用動画ストリーム１２を送信する。
This distribution moving
再生端末装置２０は、この配信用動画１２ストリームを受けて、画像および音声を再生する。したがって、再生端末装置２０において、ディジタルカメラ２が撮像した動画をリアルタイムに再生することができる。
The
(2)ハードウエア構成
図２に、動画キャプチャ装置６のハードウエア構成を示す。動画変換サーバ１０、動画配信サーバ１４の構成も基本的に同様である。
(2) Hardware Configuration FIG. 2 shows a hardware configuration of the moving
ＣＰＵ３０には、キーボード／マウス３２、ディスプレイ３４、メモリ３６、ハードディスク３８、通信部４０が接続されている。通信部４０は、外部とのデータのやりとりを行うためのものである。ハードディスク３８には、動画キャプチャプログラムが記録されている。
A keyboard /
なお、動画変換サーバ１０においては、ハードディスク３８に動画変換プログラムが記録され、動画配信サーバ１４においては、ハードディスク３８に動画配信プログラムが記録される。
In the moving
図３に、再生端末装置２０（この実施形態では携帯電話）のハードウエア構成を示す。なお、通常の通話処理に関する部分は省略している。ＣＰＵ５０には、ディスプレイ５２、音源５４、メモリ５８、ＲＯＭ６０、通信部６２が接続されている。音源５４にはスピーカ５６が接続され、音声データが再生可能となっている。なお、音源５４はソフトウエアによって実現してもよい。ＲＯＭ６０には、動画再生のアプリケーションが記録されている。通信部６２は、インターネット１６を介して、動画配信サーバ１４と通信するためのものである。
FIG. 3 shows a hardware configuration of the reproduction terminal device 20 (a mobile phone in this embodiment). Note that portions relating to normal call processing are omitted. A
(3)処理
図４、図５に、動画キャプチャ装置６の動画キャプチャプログラム、動画変換サーバ１０の動画変換プログラム、動画配信サーバ１４の動画配信プログラム、再生端末装置２０の動画再生プログラムのフローチャートを示す。
(3) Processing FIG. 4 and FIG. 5 show flowcharts of the video capture program of the
ビデオカメラ２からの撮像動画ストリーム４は、動画キャプチャ装置６に与えられる。図６に、1ライン分の撮像動画ストリーム４を示す。図においては、アナログ形式で示しているが、実際にはディジタルデータである。
The captured moving
オペレータが動画キャプチャ装置６の動画キャプチャアプリケーションを起動すると（ステップＳ１）、ＣＰＵ３０は、撮像動画ストリーム４を復元してディスプレイ３４に表示する(ステップＳ２)。オペレータは、このディスプレイ３４を見て、動画をモニタすることができる。
When the operator activates the video capture application of the video capture device 6 (step S1), the
なお、図においては、ビデオカメラ２から直接に動画キャプチャアプリケーションへ撮像動画ストリーム４が与えられているが、撮像動画ストリーム４を一旦、動画キャプチャ装置６のハードディスク３８に記録した後、動画キャプチャアプリケーションに与えるようにしてもよい。
In the figure, the captured moving
その後、オペレータがストリーミング開始指令を入力すると、動画キャプチャアプリケーションは、ストリーミング開始コマンドを動画変換サーバ１０に送信する。これにより、動画変換サーバ１０は、ストリーミング処理の開始を知る。さらに、このストリーミング開始コマンドは、動画配信サーバ１４にも転送される。
Thereafter, when the operator inputs a streaming start command, the moving image capture application transmits a streaming start command to the moving
動画キャプチャアプリケーションは、図６の撮像動画ストリーム４中の音声・画像信号部分αから、画像データおよび音声データの抽出・圧縮処理を行う(ステップＳ３)。この処理の詳細なフローチャートを図７に示す。
The moving image capture application extracts and compresses image data and audio data from the audio / image signal portion α in the captured moving
ストリーミング開始コマンド(UpLoad開始コマンド)を受けると、ＣＰＵ３０は、図６に示す撮像動画ストリーム４から音声データを抽出する(ステップＳ３１）。続いて、撮像動画ストリーム４から画像データを抽出する(ステップＳ３２）。この際に、ＣＰＵ３０は、画像データのフレームを所定数間引いて、再生端末装置２０の再生能力に合わせたＪＰＥＧ形式の画像を生成する。また、この際、再生端末装置２０の能力に合わせて、画像サイズも縮小する。上記のような処理を経て、所定フレーム分の画像データと音声データを有する圧縮画像を生成する。
When receiving the streaming start command (UpLoad start command), the
図８に圧縮動画ストリーム８のデータ構造を示す。各フレームの画像データは、ＪＰＥＧの形式となっている。再生端末装置２０の機能を考慮して、ＭＰＥＧのように差分画像を含めていない。また、音声データはＰＣＭの形式としている。撮像動画ストリーム４の音声データがＰＣＭ形式であれば、変換の必要はない。
FIG. 8 shows the data structure of the compressed moving
ＣＰＵ３０は、この圧縮動画ストリームデータを、動画変換サーバ１０に送信する(ステップＳ３４)。動画キャプチャアプリケーションは、上記の処理を繰り返す。
The
図４のフロチャートに戻って、圧縮動画ストリーム８を受けた動画変換サーバ１０は、再生端末装置２０の再生可能なフォーマットに変換を行う(ステップS４)。なお、この実施形態では、再生端末装置２０においてＪＰＥＧ画像は再生可能であるので変換の必要はない。ＰＣＭ音声について、変換が必要である。
Returning to the flowchart of FIG. 4, the moving
図９に、動画変換プログラムの詳細なフローチャートを示す。動画変換サーバ１０のＣＰＵ３０は、動画キャプチャ装置６からストリーミング開始コマンドを受けて、ストリーミング開始処理を行う(ステップＳ４１)。ストリーミング開始処理において、ＣＰＵ３０は、ストリーミング開始コマンドを動画配信サーバ１４に転送する(ステップＳ４１１)。
FIG. 9 shows a detailed flowchart of the moving image conversion program. The
次に、図８の圧縮動画ストリーム８を受けて、その受信処理を行う(ステップＳ５１)。まず、圧縮動画ストリーム８から音声データを抽出する（ステップＳ５１１）。続いて、ＣＰＵ３０は、その音声データを再生端末装置２０において再生可能なフォーマットに変換する。この実施形態では、ＭＦｉ形式に変換する。
Next, the compressed moving
図１０に、ＭＦｉ形式の一部を構成するＡＤＰＣＭフォーマットを模式的に示す。このＡＤＰＣＭフォーマットは、再生端末装置２０の機種ごとに異なる場合がある。たとえば、再生端末装置２０が有する音源により、サンプリング周波数が固定であったり指定できたりする。サンプリング周波数を変更指定可能な再生端末装置２０に適合したＡＤＰＣＭフォーマットにおいては、ヘッダの部分にこのサンプリング周波数指定が記述される。また、そうでない再生端末装置２０に適合したＡＤＰＣＭフォーマットにおいては、ヘッダの部分にこのサンプリング周波数指定のデータ領域がない。また、機種により、音声データ自体のデータフォーマットも変わってくる。
FIG. 10 schematically shows an ADPCM format that constitutes a part of the MFi format. This ADPCM format may differ depending on the model of the
この実施形態では、各種の再生端末装置２０を想定し、再生端末装置２０の各機種に対応するＡＤＰＣＭフォーマットを有するＭＦｉ音声データを生成している（ステップＳ５１２）。したがって、１つの圧縮動画ストリーム８の音声データに対して複数のＭＦｉ音声データが生成されることになる。
In this embodiment, assuming various
次に、ＣＰＵ３０は、圧縮動画ストリーム８の音声データを、上記で生成したＭＦｉ音声データに置き換えて、配信用動画ストリーム１２を生成する（ステップＳ５１３）。このようにして、再生端末装置２０に対応したフォーマットの配信用動画ストリーム１２を得ることができる。なお、この配信用動画ストリーム１２も、再生端末装置２０の機種に対応して複数個生成される。
Next, the
続いて、ＣＰＵ３０は、生成した配信用動画ストリーム１２を、動画配信サーバ１４に送信する（ステップＳ５１４）。
Subsequently, the
動画変換サーバ１０のＣＰＵ３０は、次々と送られてくる圧縮動画ストリーム８を、以上の処理によって、配信用動画ストリーム１２に変換していく。
The
図４に戻って、動画配信サーバ１４は、受信した配信用動画ストリーム１２を再生端末装置２０の各機種ごとにハードディスク３８に蓄積する（ステップＳ５、図１１参照）。
Returning to FIG. 4, the moving
次に、図５に示すように、ユーザの操作により再生端末装置２０において動画再生プログラムが起動されると、再生端末装置２０のＣＰＵ３０は、動画配信サーバ１４に対して、データ要求を送信する。動画配信サーバ１４のＣＰＵ３０は、これを受けて、当該データ要求中のヘッダを解析し、再生端末装置２０の機種名を判断する（ステップＳ６）。そして、動画配信サーバ１４は、判断した機種に対応する配信用動画ストリーム１２を読み出して、再生端末装置２０に送信する（ステップＳ７）。
Next, as illustrated in FIG. 5, when the moving image reproduction program is activated in the
再生端末装置２０は、これを受けて配信用動画ストリーム１２を再生する（ステップＳ８）。つまり、動画データをディスプレイ５２に表示し、音声データを音源５４を介してスピーカ５６から出力する。なお、再生端末装置２０は、ユーザによって停止指令が入力されるまで（ステップＳ９）、配信用動画ストリームの受信と再生の処理を繰り返す。
Receiving this, the
上記のようにして、リアルタイムに動画ストリームの配信を行うことができる。また、この実施形態では、再生端末装置２０の機種に応じた配信用動画ストリーム１２を自動的に選択して配信することができる。
As described above, the video stream can be distributed in real time. In this embodiment, the
なお、動画配信サーバ１４は、次々と配信用動画ストリーム１２を受け取るので、再生端末装置２０に送信済みの配信用動画ストリーム１２は破棄することで、記憶容量を有効に使用することができる。ただし、再放送を行う予定である場合には、すべての配信用動画ストリーム１２を保存しておく。
Since the moving
なお、上記実施形態では、複数機種の再生端末装置２０を用いることとし、複数の配信用動画ストリーム１２を生成しているが、特定の一機種の再生端末装置２０だけに配信するシステムとしてもよい。この場合には、動画配信サーバ１４における機種判定は行う必要がない。
In the above embodiment, a plurality of types of
２．第２の実施形態
第２の実施形態では、図１２に示すように、複数のディジタルカメラ２ａ、２ｂ・・・２ｎが設けられている。動画キャプチャ装置６は、各カメラ２ａ、２ｂ・・・２ｎの識別子を付して、各カメラに対応する圧縮動画ストリーム８を生成する。動画変換サーバ１０も、各カメラに対応する配信用動画ストリーム１２を生成して動画配信サーバ１４に送信する。動画配信サーバ１４は、各カメラ２ａ、２ｂ・・・２ｎの識別子Ｃ１、Ｃ２・・・Ｃｎに対応づけて、それぞれの配信用動画ストリーム１２をハードディスク３８に記録する（図１３参照）。
2. Second Embodiment In the second embodiment, as shown in FIG. 12, a plurality of
なお、図１３において、当該カメラが現在ストリーム配信中であるか否かを示すために、有効フラグが設けられている。有効フラグが「１」であれば現在配信中、「０」であれば現在配信していないことを示す。配信用動画ストリーム１２のＣＰＵ３０は、当該カメラについてのストリーム開始コマンドを受けると、当該カメラのフラグを「１」にし、終了コマンドを受けると「０」にする。
In FIG. 13, a valid flag is provided to indicate whether or not the camera is currently streaming. If the valid flag is “1”, it is currently distributed, and if it is “0”, it indicates that it is not currently distributed. When receiving the stream start command for the camera, the
この実施形態において、再生端末装置２０から再生要求があった場合の処理を、図１４に示す。まず、再生端末装置２０から配信状況取得要求が動画配信サーバ１４に送られると、動画配信サーバ１４は配信状況の収集を行う（ステップＳ１１）。
In this embodiment, FIG. 14 shows the processing when there is a reproduction request from the
動画配信サーバ１４のＣＰＵ３０は、動画配信プログラムにしたがって、次のようにして配信状況の収集を行う。まず、図１３のように記録した各カメラに対応する配信用動画ストリーム１２のうち有効フラグが「１」であるものを選択し、これらについて静止画をそれぞれ読み出す。この静止画は、各カメラに対応するものとなる。次に、複数の静止画のサイズを縮小して、再生端末装置２０の画面サイズにする。そして、各静止画にカメラの識別子を付して、配信状況を生成する。
The
続いて、ＣＰＵ３０は、生成した配信状況を再生端末装置２０に送信する。これを受信した再生端末装置２０では、配信状況として各カメラの静止画をディスプレイ５２に表示する（ステップS１２）。このようにして再生端末装置２０に表示された画面を図１５に示す。なお、この実施形態では配信用動画ストリーム１２の一部の静止画を用いたが、動画を用いるようにしてもよい。併せて、カメラの配置位置なども予め記録しておいて、再生端末装置２０において表示するようにしてもよい。また、画像だけでなく音声データも送信するようにしてもよい。
Subsequently, the
ユーザは、図１５の画面を見て、再生端末装置２０のキー（図示せず）などを操作してカメラを選択する。カメラの選択データは、再生端末装置２０から、動画配信サーバ１４に送信される。これを受けて、動画配信サーバ１４は、当該カメラに対応する配信用動画ストリーム１２をハードディスク３８から読み出し、再生端末装置２０に送信する（ステップＳ１３）。
The user views the screen of FIG. 15 and operates a key (not shown) of the
再生端末装置２０は、配信用動画ストリーム１２を受信して再生する（ステップＳ１４）。
The
このようにして、複数のカメラの動画をユーザが選択して視聴することができる。 In this way, the user can select and view videos from a plurality of cameras.
なお、番組配信を終了する場合には、動画キャプチャ装置６から、動画変換サーバ１０、動画配信サーバ４に、ストリーミング終了コマンドを送信すればよい（ステップＳ１６）。
In addition, what is necessary is just to transmit a streaming end command from the moving
また、第２の実施形態では、再生端末装置２０の機種を一つに固定している。しかし、第２の実施形態においても、第１の実施形態のように複数の機種に対応した配信用動画ストリームを生成するようにしてもよい。
In the second embodiment, the
３．応用例
本実施形態の応用例を、図１６を用いて説明する。図１６において、コースＬは、自動車レースを行うためのコースである。地点Ａがスタートであり、地点Ｂがゴールである。コースＬの主要な箇所には、カメラＣ１、Ｃ２・・・Ｃ５が設けられている。図１６では、既にレースが開始された状態を示しており、車Ｍ１、Ｍ２、Ｍ３がコースＬ上に位置している。それぞれの車Ｍ１、Ｍ２、Ｍ３には、ＧＰＳ装置が搭載されている。
3. Application Example An application example of this embodiment will be described with reference to FIG. In FIG. 16, a course L is a course for performing an automobile race. Point A is the start and point B is the goal. Cameras C1, C2,... C5 are provided at main points of the course L. FIG. 16 shows a state in which a race has already started, and the cars M1, M2, and M3 are located on the course L. Each vehicle M1, M2, M3 is equipped with a GPS device.
ユーザが再生端末装置２０から、このレース状況を見るため、動画配信サーバ１２に配信状況の要求を行う。これに応じて、動画配信サーバ１２のＣＰＵ３０は、予めハードディスク３８に記録しているコースの形状およびカメラの設置位置を示すデータを読み出す。さらに、ＧＰＳシステムを利用して、各車Ｍ１、Ｍ２、Ｍ３の現在位置データを取得する。これらのデータに基づいて図１７に示すような画像を、再生端末装置２０に送信する。図１７において、各車Ｃ１、Ｃ２、Ｃ３は記号や色によって区別可能なようにされている。また、各カメラＣ１、Ｃ２・・・Ｃ５の文字は、再生端末装置２０の側においてクリックによって選択可能に構成されている。
The user requests the distribution status from the
再生端末装置１７は、図１７のデータを受け取ってディスプレイ５２に表示する。ユーザは、自分の見たい車を撮像しているカメラを画面から選択して入力ボタンなどによってクリックする。このようにして選択されたカメラの識別符号は、動画配信サーバ１２に送信される。動画配信サーバ１２は、これを受けて、当該カメラの配信用動画ストリーム１２を、再生端末装置１７に送信する。
The playback terminal device 17 receives the data of FIG. 17 and displays it on the
車が移動し、他のカメラによって当該車が撮像されるようになれば、ユーザは、再生端末装置２０から動画配信サーバ１４に対して配信状況の要求を行い、上記と同様にしてカメラを選択することができる。
When the vehicle moves and the vehicle is picked up by another camera, the user requests the distribution status from the
このように、撮像対象物が移動する場合であっても適切にカメラの選択を行うことが可能である。 As described above, it is possible to appropriately select the camera even when the imaging object moves.
また、上記では車のレースの撮像配信に適用したが、同様にして、テーマパークなどのパレードの撮像配信にも適用することができる。この場合、パレードの先頭、中央部、最後端など複数の箇所にＧＰＳ装置を配置する。パレードの進み具合とカメラの位置に基づいて、ユーザが所望のカメラを選択することができる。
In the above description, the present invention is applied to imaging and distribution of car races. However, it can be similarly applied to imaging and distribution of parades such as theme parks. In this case, GPS devices are arranged at a plurality of locations such as the top, center, and end of the parade. Based on the progress of the parade and the position of the camera, the user can select a desired camera.
４．その他
上記例では、カメラが固定で撮像対象が移動する場合について説明した。しかし、カメラ・撮像対象の双方が移動する場合であっても適用することができる。
4). Others In the above example, the case where the camera is fixed and the imaging target moves is described. However, the present invention can be applied even when both the camera and the imaging target move.
上記各実施形態では、撮像動画ストリームとしてＤＶ形式にて説明したが、ＭＰＥＧストリームであってもよい。この際には、Ｉピクチャ、Ｂピクチャ、Ｐピクチャに基づいて各フレーム画像を復元した後、フレームを間引くようにすればよい。また、再生端末装置２０の能力と合致すれば、Ｉフレームだけを抽出するようにしてもよい。
In each of the embodiments described above, the captured moving image stream is described in the DV format, but an MPEG stream may be used. In this case, after restoring each frame image based on the I picture, B picture, and P picture, the frames may be thinned out. Alternatively, only the I frame may be extracted if it matches the capability of the
また、上記実施形態では、再生端末装置２０が画像としてＪＰＥＧ形式、音声としてＭｆｉ形式に対応している場合について説明した。しかし、画像としてGifやPNGなどの形式に対応する再生端末装置であってもよい。この場合には、動画キャプチャ装置６は、これらのフォーマットに合致するように抽出と変換を行う。また音声としてSmafなどの形式に対応する再生端末装置であってもよい。この場合には、動画変換サーバ装置１０は、これらのフォーマットに合致するように変換を行う。
In the above-described embodiment, the case where the
上記実施形態では、動画変換サーバ１０において音声のフォーマットを再生端末装置に合致するように変換しているが、動画キャプチャ装置においてこれを行うようにしてもよい。
In the above embodiment, the moving
また、動画キャプチャ装置６と動画変換サーバ１０は、一つの装置によって構成してもよい。同様に、動画変換サーバ１０と動画配信サーバ１４も一つの装置として構成してもよい。
Moreover, you may comprise the moving
上記実施形態では、ディジタルカメラを用いているがアナログカメラによる信号をディジタル化して使用してもよい。 In the above embodiment, a digital camera is used, but a signal from an analog camera may be digitized and used.
上記実施形態では、再生端末装置２０のＲＯＭ６０にプログラムを記録するようにしたが、Ｐ−ＲＯＭ、ハードディスクなどの記録装置に記録するようにしてもよい、
上記実施形態では、各機能を実現するためにＣＰＵとプログラムを用いている。しかし、その一部または全部をハードウエアロジックによって構築するようにしてもよい。
In the above embodiment, the program is recorded in the
In the above embodiment, a CPU and a program are used to realize each function. However, some or all of them may be constructed by hardware logic.
２・・・ディジタルカメラ
４・・・撮像動画ストリーム
６・・・動画キャプチャ装置
８・・・圧縮動画ストリーム
１０・・・動画変換サーバ
１２・・・動画配信ストリーム
１４・・・動画配信サーバ
１６・・・インターネット
２０・・・再生端末装置
DESCRIPTION OF
Claims (6)
撮像手段から撮像動画ストリームを受け、画像データと音声データを抽出するとともに、抽出した画像データのフレームを間引いて生成した圧縮画像データと、抽出した音声データとを含む圧縮動画ストリームを生成して出力する圧縮手段、
圧縮手段から圧縮動画ストリームを受けて、当該圧縮動画ストリームに含まれる音声データストリームを再生端末装置が再生可能なフォーマットに変換した配信用動画ストリームを生成して出力する配信用変換手段と、
配信用変換手段からの配信用動画ストリームを受けて蓄積し、再生端末装置からの要求を受けて蓄積した配信用動画ストリームを再生端末装置に送信する動画配信手段と、
を備えたことを特徴とする動画配信システムであって、
前記撮像手段が複数設けられ、各撮像手段の出力する撮像ストリームに対応して、圧縮手段、配信用変換手段、動画配信手段がそれぞれ設けられており、
各動画配信手段に蓄積されている複数の配信用動画ストリームの一覧データを生成し、再生端末装置からの要求に応じて、当該一覧データを再生端末装置に送信する一覧生成手段と、
時間とともに移動する撮像対象に設けられた位置検出手段に基づいて送信されてくる対象位置データを記録する対象位置データ記録部と、
撮像手段の設置位置データを記録する設置位置データ記録部とをさらに備え、
前記一覧生成手段は、対象位置データと設置位置データとに基づいて、撮像手段の位置と撮像対象の位置の関係を示すデータを再生端末装置に送信することを特徴とする動画配信システム。 Imaging means for imaging a target and outputting as a captured moving image stream including image data and audio data;
Receives a captured video stream from the imaging means, extracts image data and audio data, and generates and outputs a compressed video stream including the compressed image data generated by thinning out the frames of the extracted image data and the extracted audio data Compression means to
Distribution conversion means for receiving a compressed video stream from the compression means, and generating and outputting a distribution video stream obtained by converting the audio data stream included in the compressed video stream into a format that can be reproduced by the playback terminal device;
Video distribution means for receiving and storing a distribution video stream from the distribution conversion means, and transmitting the distribution video stream stored in response to a request from the reproduction terminal apparatus to the reproduction terminal apparatus;
A video distribution system characterized by comprising:
A plurality of the imaging means are provided, and a compression means, a conversion conversion means, and a moving picture distribution means are provided corresponding to the imaging streams output by each imaging means,
List generating means for generating list data of a plurality of distribution moving image streams stored in each moving image distribution means, and transmitting the list data to the reproduction terminal apparatus in response to a request from the reproduction terminal apparatus;
A target position data recording unit that records target position data transmitted based on position detection means provided on an imaging target that moves with time;
An installation position data recording unit for recording the installation position data of the imaging means;
The moving image distribution system, wherein the list generation unit transmits data indicating a relationship between the position of the imaging unit and the position of the imaging target to the reproduction terminal device based on the target position data and the installation position data.
前記撮像対象は複数個存在し、
対象位置データ記録部は、各撮像対象ごとに対象位置データを記録しており、
一覧生成手段は、再生端末装置において各撮像対象が区別可能なように表示できるようにデータを送信することを特徴とするシステム。 The system of claim 1, wherein
There are a plurality of the imaging objects,
The target position data recording unit records target position data for each imaging target,
The list generation means transmits data so that each imaging target can be displayed in a playback terminal device so as to be distinguishable.
前記撮像対象は、コースを走行する車であり、
前記撮像手段は、当該コースに設けられていることを特徴とするシステム。 The system of claim 1 or 2,
The imaging object is a car traveling on a course,
The image pickup means is provided in the course.
前記配信用変換手段は再生端末装置の機種ごとに設けられており、各配信用変換手段は、各再生用端末装置の機種に応じて再生可能なフォーマットを持つ配信用動画ストリームを生成し、
前記動画配信手段は再生端末装置の機種ごとに設けられており、各動画配信手段は再生端末装置の各機種に対応した配信用動画ストリームを複数記録しており、
再生端末装置からの要求を受けて、再生端末装置の機種を判別し、当該機種に対応する動画配信手段が配信用動画ストリームを送信するよう制御する機種判別手段をさらに備えることを特徴とするシステム。 The moving image distribution system according to claim 1,
The distribution conversion means is provided for each model of the reproduction terminal device, and each distribution conversion means generates a distribution video stream having a format that can be reproduced according to the model of each reproduction terminal device,
The video distribution means is provided for each model of the playback terminal device, each video distribution means records a plurality of video streams for distribution corresponding to each model of the playback terminal device,
The system further comprising a model discriminating unit that receives a request from the playback terminal device, discriminates the model of the playback terminal device, and controls the video delivery unit corresponding to the model to transmit the video stream for delivery. .
コンピュータを、
再生端末装置からの要求を受けて、再生端末装置の機種を判別して動画配信手段を選択する機種判別手段と、
機種判別手段によって選択された再生端末装置の機種に対応するフォーマットの配信用動画ストリームを蓄積部から読み出して送信する動画配信手段と、
して機能させるためのプログラムであって、
前記撮像手段が複数設けられ、各撮像手段の出力する撮像ストリームに対応して動画配信手段が設けられており、
前記プログラムは、コンピュータを、さらに、各動画配信手段に蓄積されている複数の配信用動画ストリームの一覧データを生成し、再生端末装置からの要求に応じて、当該一覧データを再生端末装置に送信する一覧生成手段として機能させるためのものであり、
前記コンピュータは、
時間とともに移動する撮像対象に設けられた位置検出手段に基づいて送信されてくる対象位置データを記録する対象位置データ記録部と、
撮像手段の設置位置データを記録する設置位置データ記録部とをさらに備え、
前記一覧生成手段は、対象位置データと設置位置データとに基づいて、撮像手段の位置と撮像対象の位置の関係を示すデータを再生端末装置に送信することを特徴とするプログラム。 A moving picture distribution apparatus using a computer having a storage unit for storing a plurality of distribution moving picture streams obtained by converting an audio data stream included in a compressed moving picture stream generated by being picked up by an image pickup unit into a plurality of formats that can be played back by a playback terminal Is a program for realizing
Computer
In response to a request from the playback terminal device, a model determination unit that determines a model of the playback terminal device and selects a video distribution unit;
A video delivery means for reading out and sending a delivery video stream in a format corresponding to the model of the playback terminal device selected by the model discrimination means;
A program to make it function,
A plurality of the imaging means are provided, and a moving image distribution means is provided corresponding to an imaging stream output from each imaging means,
The program further generates a list data of a plurality of video streams for distribution stored in each video distribution means and transmits the list data to the playback terminal apparatus in response to a request from the playback terminal apparatus. For functioning as a list generation means
The computer
A target position data recording unit that records target position data transmitted based on position detection means provided on an imaging target that moves with time;
An installation position data recording unit for recording the installation position data of the imaging means;
The list generating means transmits data indicating the relationship between the position of the imaging means and the position of the imaging target to the reproduction terminal device based on the target position data and the installation position data.
時間とともに移動する撮像対象の対象位置を取得し、
撮像動画ストリームから画像データと音声データを抽出するとともに、抽出した画像データのフレームを間引いて生成した圧縮画像データと、抽出した音声データとを含む圧縮動画ストリームを生成し、
圧縮動画ストリームを受けて、当該圧縮動画ストリームに含まれる音声データストリームを再生端末装置が再生可能なフォーマットに変換した配信用動画ストリームを生成して出力し、
配信用動画ストリームを受けて蓄積し、再生端末装置からの要求を受けて蓄積した配信用動画ストリームを再生端末装置に送信することを特徴とする動画配信方法であって、
蓄積されている複数の配信用動画ストリームの一覧データを生成し、再生端末装置からの要求に応じて、当該一覧データを再生端末装置に送信する際に、対象位置と設置位置とに基づいて、撮像手段の位置と撮像対象の位置の関係を示すデータを再生端末装置に送信することを特徴とする動画配信方法。
Capture the target from multiple installation positions , output as a captured video stream containing image data and audio data,
Obtain the target position of the imaging target that moves with time,
Extracting image data and audio data from the captured video stream, and generating a compressed video stream including the compressed image data generated by thinning out the frames of the extracted image data and the extracted audio data,
Receiving the compressed video stream, generating and outputting a delivery video stream obtained by converting the audio data stream included in the compressed video stream into a format that can be played back by the playback terminal device,
A video distribution method characterized by receiving and storing a distribution video stream, and transmitting the distribution video stream stored in response to a request from the reproduction terminal device to the reproduction terminal device,
Based on the target position and the installation position when generating list data of a plurality of stored video streams for distribution and transmitting the list data to the playback terminal apparatus in response to a request from the playback terminal apparatus, A moving image distribution method, comprising: transmitting data indicating a relationship between a position of an imaging unit and a position of an imaging target to a reproduction terminal device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005283070A JP4796367B2 (en) | 2005-09-28 | 2005-09-28 | Video distribution system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005283070A JP4796367B2 (en) | 2005-09-28 | 2005-09-28 | Video distribution system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007096721A JP2007096721A (en) | 2007-04-12 |
| JP4796367B2 true JP4796367B2 (en) | 2011-10-19 |
Family
ID=37981888
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005283070A Expired - Fee Related JP4796367B2 (en) | 2005-09-28 | 2005-09-28 | Video distribution system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4796367B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5498124B2 (en) * | 2009-10-26 | 2014-05-21 | 株式会社日立製作所 | Video storage conversion system and program |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001265562A (en) * | 1999-12-30 | 2001-09-28 | Nokia Corp | Real time communication of sport event |
| JP2002344897A (en) * | 2001-05-16 | 2002-11-29 | Mitsubishi Electric Corp | Video display device |
| JP2003284062A (en) * | 2002-03-26 | 2003-10-03 | Kubota Corp | Monitoring system |
| JP2004222124A (en) * | 2003-01-17 | 2004-08-05 | Fuji Photo Film Co Ltd | Moving picture distribution server |
| JP4315827B2 (en) * | 2004-01-29 | 2009-08-19 | 株式会社日立国際電気 | Image display method, image display apparatus, and image display program |
-
2005
- 2005-09-28 JP JP2005283070A patent/JP4796367B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2007096721A (en) | 2007-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3398081B2 (en) | Digital camera | |
| US10685681B2 (en) | Information recording/reproducing apparatus | |
| JP4292891B2 (en) | Imaging apparatus, image recording apparatus, and image recording method | |
| JP2011509626A (en) | Video processing system, video processing method, and video transmission method | |
| JP4407549B2 (en) | Shooting device, video playback device, video recording / playback program | |
| JP4938615B2 (en) | Video recording / playback device | |
| JP4564190B2 (en) | Digital camera suitable for image input in video conference system | |
| JP4796367B2 (en) | Video distribution system | |
| JP6248314B2 (en) | Imaging apparatus, captured image processing method, and imaging system | |
| JP4256250B2 (en) | DATA RECORDING SYSTEM, DATA RECORDING DEVICE, DATA TRANSMITTING DEVICE, DATA RECORDING METHOD, RECORDING PROGRAM, AND RECORDING MEDIUM RECORDING THE SAME | |
| JP2003339003A (en) | Image photographing distribution apparatus and image photographing distribution method | |
| JP7137287B2 (en) | Image processing device and method | |
| JP5336920B2 (en) | Recording device | |
| JP6469772B2 (en) | Imaging device | |
| CN208424594U (en) | In-vehicle networking live broadcast system | |
| JP2008199662A (en) | Imaging apparatus, image recorder and image recording method | |
| JP2009159351A (en) | Image recording/reproducing/distributing apparatus | |
| JP2009189065A (en) | Video camera and information transmitting method | |
| JP2005117439A (en) | Recording and reproducing device, and recording method | |
| JP5509159B2 (en) | Image processing device | |
| JP4395282B2 (en) | Image and audio playback device | |
| JP2024005948A (en) | Imaging apparatus, method for controlling the same, and program | |
| JP2022034941A (en) | Moving image communication system | |
| JP4465655B2 (en) | Video camera and information transmission method | |
| JP3724363B2 (en) | Network surveillance camera system, surveillance camera and camera system control device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080630 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080909 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110523 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110530 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110630 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110719 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110729 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4796367 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140805 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |