JP4250449B2 - 映像通信システム、映像通信装置、端末及び端末のカメラ制御方法 - Google Patents
映像通信システム、映像通信装置、端末及び端末のカメラ制御方法 Download PDFInfo
- Publication number
- JP4250449B2 JP4250449B2 JP2003125334A JP2003125334A JP4250449B2 JP 4250449 B2 JP4250449 B2 JP 4250449B2 JP 2003125334 A JP2003125334 A JP 2003125334A JP 2003125334 A JP2003125334 A JP 2003125334A JP 4250449 B2 JP4250449 B2 JP 4250449B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- camera
- server
- video clip
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Mobile Radio Communication Systems (AREA)
- Studio Devices (AREA)
Description
【発明の属する技術分野】
本発明は、通信によって映像データを配信する技術に関し、特に、カメラ装置などのライブ映像ソースの制御情報を反映して、携帯電話端末など携帯情報端末向けに映像データ(映像クリップ)を提供する技術に関するものである。
【0002】
【従来の技術】
本発明に関係する既存の技術は、以下の通りである。
【0003】
[ライブ映像通信システム]
撮影したライブ映像を、インターネットなどの通信インフラストラクチャを使って配信するとともに、撮影のためのカメラ設定やカメラ操作などを指示する技術が確立され、製品が販売されている。
【0004】
これらの映像配信システムなどでは、映像配信に加えて、パン、チルト、ズーム、逆光補正といったカメラ制御を、ネットワークを介して提供可能となっている。また、アクセス制御機能を備え、利用者のアクセス権限に応じて、カメラ制御や映像配信の制限を行うことができる。
【0005】
さらに、カメラ制御によって撮像される領域に関しても制限することが可能になっている。例えば、特権ユーザでは、カメラに備わるズーム機能のすべてを利用できるが、通常ユーザは、ズーム機能の一部(たとえば、テレ端を使い切れない)のみ利用可能とするような制限である。パン機能やチルト機能についても同様である。
【0006】
[第三世代携帯電話技術]
従来の携帯電話サービスよりも高い電波利用効率と通信帯域を備えた携帯電話サービスとして、第三世代(3G)の携帯電話サービスが提供されるようになっている。
【0007】
第三世代(3G)の携帯電話では、電話通話しながらインターネットアクセスなどのデータ通信が可能となっている。例えば、これらはマルチアクセスと呼ばれる接続形態を用意しており、これを利用することで、ウェブブラウジングなどのデータ通信を行いながら、電話通話を可能にしている。
【0008】
さらに、第三世代携帯電話端末では、端末自体の処理能力も強化されており、これまでPC(パーソナルコンピュータ)などで行っていた作業を携帯電話端末で処理可能になっている。例えば、メールやウェブブラウジングおよび映像送受信などの機能を実装している携帯電話端末が提供されている。
【0009】
[MPEG-4コーデック]
移動体通信網に接続する携帯情報端末から広帯域インターネットに接続するPCまでの映像送受信端末の広がりを受けて、数十kpbsから数十Mbpsの広いビットレートをカバーする高圧縮符号化効率、および、無線やインターネットなどの伝送路誤りに対する強い耐性などを備えた動画像圧縮符号化方式として、ISOで1999年にMPEG-4が制定されている。
【0010】
この、MPEG-4を用いた映像配信サービスが、個人情報端末(PDA)や携帯電話端末向けに提供されている。
【0011】
[携帯電話向けMPEG-4クリップ技術]
携帯電話端末に映像クリップ(ファイル)を表示する技術が提供されている。
【0012】
これらのサービスでは、MPEG-4コーデックなどで圧縮符号化された映像データ(映像クリップあるいは映像ファイル)をサーバに保存し、携帯電話端末に内蔵するデータ通信機能を使ってサーバからダウンロードした上で、同じく携帯電話端末に内蔵するデコーダを使って映像を携帯電話端末の画面に表示する。
【0013】
また、これらの映像クリップのデータフォーマットは、マイクロソフト社のASF (Advanced Streaming Format) 形式や、ISO標準のMP4形式 (ISO/IEC14496-1 Amd1 MPEG-4システム Version2) など、インターネットやPCなどで広く普及している形式に準拠している。
【0014】
また、これらのサービスでは、いずれも映像クリップの上限(例えば、240kbytes)が決められている。
【0015】
[映像クリップへのリンクやコマンドの関連付け技術]
マイクロソフト社のASF (Advanced Streaming Format) 形式や Apple社 QuickTime File Formatなどでは、映像クリップにURLなどのハイパーリンク機能を関連付けることができる。
【0016】
例えば、ASFでは、"Script Command Object"を定義することが可能であり、このオブジェクト内に、ASFファイル再生時のタイムラインに同期するように設定したリンク情報をリストできる。さらに、ASFでは、ScriptCommand Objectの名前のとおり、リンク情報ばかりでなく、スクリプトなどのコマンド情報も記述可能となっている。
【0017】
また、KDDI社のezmovie仕様にも、映像クリップにハイパーリンク機能付きのテキストテロップ(字幕)を追加する機能が備わっている。このテロップ記述言語には、KDDI社のSTML(Synchronous Telop Mark-up Languageの略)を利用する。この機能により、ユーザは、音声通話やメール送信やホームページリンクなどを、映像クリップと関連付けることができる。
【0018】
【特許文献1】
特開2003−108472号公報
【0019】
【発明が解決しようとする課題】
本発明は、上述したような携帯電話端末に代表される新たな端末に対応可能な装置を提供することを目的とする。
【0020】
【課題を解決するための手段】
本発明の映像通信システムは、カメラに接続されるカメラサーバから得られる画像を端末に送信する映像通信システムであって、映像通信装置は、前記カメラに接続される前記カメラサーバから映像データおよび前記カメラの制御状態情報を取得する映像取得手段と、前記映像データを映像クリップに変換し、時間軸に沿って保持された前記カメラのパン、チルト、ズームのうち少なくとも1つの制御状態情報から生成されるカメラ制御シーケンス情報および前記カメラサーバの識別子を参照するためのリンク情報を前記映像クリップに関連付ける映像クリップ変換手段と、前記映像クリップ変換手段によって変換された映像クリップを前記端末に対して送信する送信手段とを有し、前記端末は、前記送信手段によって送信された映像クリップを再生表示する表示手段と、前記表示手段によって映像クリップが再生されているときに指定された時点に表示されている映像データに対応するリンク情報を抽出する抽出手段と、前記抽出手段によって抽出されたリンク情報に含まれるカメラ制御シーケンス情報に基づいて前記カメラの制御をリクエストするコマンドを前記リンク情報に含まれる識別子に対応する前記カメラサーバに送信する手段とを有することを特徴とする。
本発明の映像通信装置は、カメラに接続されるカメラサーバから映像データおよび前記カメラの制御状態情報を取得する映像取得手段と、前記映像データを映像クリップに変換し、時間軸に沿って保持された前記カメラのパン、チルト、ズームのうち少なくとも1つの制御状態情報から生成されるカメラ制御シーケンス情報および前記カメラサーバの識別子を参照するためのリンク情報を前記映像クリップに関連付ける映像クリップ変換手段と、前記映像クリップ変換手段によって変換された映像クリップを端末に対して送信する送信手段とを有することを特徴とする。
本発明の端末は、時間軸に沿って保持された、パン、チルト、ズームのうち少なくとも1つのカメラの制御状態情報から生成されるカメラ制御シーケンス情報およびカメラサーバの識別子を参照するためのリンク情報が関連付けられた映像クリップを再生表示する表示手段と、前記表示手段によって映像クリップが再生されているときに指定された時点に表示されている映像データに対応するリンク情報を抽出する抽出手段と、前記抽出手段によって抽出されたリンク情報に含まれるカメラ制御シーケンス情報に基づいて前記カメラの制御をリクエストするコマンドを前記リンク情報に含まれる識別子に対応する前記カメラサーバに送信する手段とを有することを特徴とする。
本発明の端末のカメラ制御方法は、時間軸に沿って保持された、パン、チルト、ズームのうち少なくとも1つのカメラの制御状態情報から生成されるカメラ制御シーケンス情報およびカメラサーバの識別子を参照するためのリンク情報が関連付けられた映像クリップを端末において再生表示する表示ステップと、前記表示ステップにおいて映像クリップが再生されているときに指定された時点に表示されている映像データに対応するリンク情報を抽出する抽出ステップと、前記抽出ステップにおいて抽出されたリンク情報に含まれるカメラ制御シーケンス情報に基づいて前記カメラの制御をリクエストするコマンドを前記リンク情報に含まれる識別子に対応する前記カメラサーバに送信する送信ステップとを有することを特徴とする。
【0021】
【発明の実施の形態】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
<第1の実施形態>
第1の実施形態では、ネットワーク上に配置されたカメラサーバから取得したライブ映像を、携帯電話端末向けに変換して送信する例について説明する。この中で、映像の変換を行い映像クリップを生成する映像変換サーバが、映像に付帯するカメラ制御状態情報(パン、チルト、ズーム、あるいは、制御権などの情報)を反映して、適切な映像クリップを生成する例についても説明する。特に、本実施形態の映像変換サーバでは、映像クリップが作成された時点のカメラ制御状態情報を使って、現在のカメラサーバにアクセスできるよう映像クリップを作成する点に特徴がある。
【0022】
さらに、映像変換サーバは、携帯電話端末に備わる標準的な映像ビューワ(以下、カメラ制御機能などを備えない意味で『非専用ビューワ』と記述する)を用いて再生表示可能な映像クリップを生成した上で、その映像クリップ中に適切なリンク情報を組み込むことで、リンク情報を参照した場合に、カメラ制御機能などを備える専用ビューワ(以下、専用ビューワ)に、適切なカメラ制御情報を引き渡すことを可能とする。
【0023】
図1は、本発明を用いた実施形態の典型的な利用形態を示した図であり、101および102はライブ映像通信システムによるカメラサーバ、200はネットワークに接続されたPCなどにインストールされたビューワである。カメラサーバとビューワとはそれぞれネットワークに接続され、ビューワからネットワークを介してリクエストがカメラサーバへ送られ、これが受け入れられるとカメラサーバからビューワへ映像データが配送され、ビューワでカメラ映像を表示することが可能となる。またビューワからカメラ制御コマンドがカメラサーバへ送られ、カメラのズーム、パン、チルトなどの操作が可能となる。さらに、ネットワーク上には、中継サーバ300が置かれビューワとカメラサーバとの通信を中継することがある。
【0024】
さらに、400は本実施形態による映像変換サーバであり、カメラサーバが提供する映像データを携帯電話端末向けに変換した上で、携帯電話向けに中継する。また、500は本実施形態のネットワークと携帯電話回線網とを仲介するゲートウェイであり、601および602は、本発明のビューワを搭載した携帯電話端末である。このゲートウェイ500を介して、本実施形態のネットワークに接続された機器と携帯電話端末601および602とが通信可能となる。なお、携帯電話端末上のビューワプログラムは、典型的には、工場出荷時にインストールされるが、Java(R)プログラムのように実行時(利用時)にダウンロードされて実行される形態であっても良い。
【0025】
図1のネットワークは企業あるいは組織内で運用されるイントラネットである場合もあり、広く世界をつないでいるインターネットである場合もある。また、中継サーバや映像変換サーバは、典型的には、インターネットイクスチェンジ(IX)やデータセンター(IDC : Internet Data Center)に配置され、通信負荷の軽減を図るよう設計される。
【0026】
図2は、映像変換サーバを動作させるハードウェア構成の一例を示したものであり、サーバ向けコンピュータ、より詳細には、プログラムやデータを格納する記憶装置、ネットワークと接続するためのネットワークI/F、プログラムによる各種の処理を実行するCPU、などからなる。記憶装置は、主記憶装置となるRAM、フラッシュメモリやHD装置などからなる二次記憶装置、および、プロ
グラムを媒体からロードするためのFD装置などから構成される。
【0027】
また、図示しないが、設定などを行うための入出力装置を備える場合もある。具体的には、ディスプレイを接続する表示装置、キーボードやマウスなどのコントローラなどである。
【0028】
図3はカメラサーバのハードウェア構成の一例を示したものであり、実際に撮像を行うカメラ装置とコンピュータ、より詳細には、プログラムやデータを格納する記憶装置、映像データを取り込むための映像キャプチャボード、カメラ装置にコマンドを送るためのシリアルI/F、ネットワークと接続するためのネットワークI/F、プログラムによる各種の処理を実行するCPU、などからなる。記憶装置は、主記憶装置となるRAM、フラッシュメモリやHD装置などからなる二次記憶装置、および、プログラムを媒体からロードするためのFD装置などから構成される。
【0029】
なお、カメラサーバは、カメラ装置とコンピュータとが一体化されたサーバ内蔵型ネットワークカメラで構成されても良い。
【0030】
図4はビューワを動作させるハードウェア構成の一例を示したものであり、携帯電話端末を使ってビューワを動作させる場合について説明している。より詳細には、プログラムやデータを格納する記憶装置、携帯電話網と接続するための無線通信I/F、プログラムによる各種の処理を実行するCPU、および、周辺装置などからなる。記憶装置は、主記憶装置となるRAM、フラッシュメモリなどからなる。周辺装置は、携帯電話端末上に配置されたボタンやスイッチ類などの入力装置、ディスプレイなどの表示出力装置、および、マイクロフォンやスピーカなどの音声入出力装置を含む。
【0031】
図5はプログラムの構成する部分を模式化した図であり、カメラサーバ内にはカメラの制御をつかさどるカメラ制御サーバと映像の配送をつかさどる映像サーバの2つのモジュールを含む。
【0032】
同様に、携帯電話端末上で動作するビューワ内にはカメラ制御コマンドの発行やカメラ状態通知に対応するカメラ制御部、映像クリップの表示を担当する映像表示部を含む。
【0033】
さらに、映像変換サーバには、カメラ制御コマンド列(以下、PTZシーケンスと呼ぶ)を解釈し、カメラサーバにカメラ制御命令を発行するカメラ制御部、ならびに、カメラサーバから映像を取得し、携帯電話向けに変換し、さらに、それを携帯電話網向け映像クリップに編集するモジュール(映像取得部、映像変換部、映像送信部)、がそれぞれ含まれる。
【0034】
図6は携帯電話上で映像クリップを再生表示する非専用ビューワの動作の流れを示す図である。
ステップS601で、まず、映像変換サーバ400の識別子を入手する。これは、ユーザが直接キー操作により識別子を入力するのでも良いし、メールやウェブページに含まれる識別子を選択するのであっても良い。また、この場合の識別子は、典型的には、映像変換サーバ400を識別するURLである。
【0035】
続いて、ステップS602で、映像変換サーバ400が接続すべきカメラサーバの識別子、そのカメラサーバに指示するカメラ制御(パン,チルト,ズーム)用のPTZシーケンス、および、ユーザ識別子やパスワードなどアクセス制御用のユーザ識別情報を入手する。
【0036】
カメラサーバ識別子やPTZシーケンスは、ユーザが直接キー操作によりカメラ制御コマンドを構成するよう入力するのでも良いし、メールやウェブページに含まれるカメラサーバ識別子やPTZシーケンスを選択するのであっても良い。
【0037】
また、PTZシーケンスは、空であっても構わない。この場合、カメラ制御を伴わないカメラサーバの現状の映像クリップを意味する。また、ユーザ識別情報は、通常、ユーザが直接キー操作により入力するが、空であっても構わない。この場合、通常ユーザとしてのカメラサーバへの接続を意味する。続いてステップS603で、ゲートウェイ500を経由して、入手した映像変換サーバ400の識別子に基づき映像変換サーバ400の映像送信部に接続する。
【0038】
さらにステップS604で、携帯電話ビューワは、映像変換サーバに映像クリップを要求する。この要求は、要求する映像クリップの作成方法の指定などを含み、典型的には、HTTPプロトコルに則り送信される。
【0039】
この際、PTZシーケンスを入手している場合には、そのPTZシーケンスを映像変換サーバに送信する。この要求およびPTZシーケンスの送信は、HTTP接続のGETメソッドでURLに組み込んでも良いし、HTTP接続のPOSTメソッドで送信されても良い。ここでは、POSTメソッドで送信される場合について説明する。例えば、以下の通りである。なお、実際には、URLエンコードが適用されるが、以下では、説明の都合上URLエンコードを適用していない部分もある。
POST /getvideoclip/ HTTP/1.1
Host: 202.28.30.208:8080
User-Agent: MozilePhone/2.0 C2101V(c100)
Pragma: no-cache
videoencodeparam=QCIF:fps15.0:bps64000:intraframe5:me8
cameraservers=webview://vb101_4.x-zone.canon.co.jp:34560+34561+34562
PTZ=HZ15_30S3_40S4_40P-10_20
moviesizemax=240kbytes
notifyto=mailto:riyousha3@mailserver.usersite.co.jp
userid=331245
userpw=15215294
【0040】
ただし、『videoencodeparam=』に続く部分は、映像変換サーバがカメラサーバから受取ったソース映像を携帯電話向けにエンコードする際のパラメータ情報を指示するものである。また、『cameraservers=』に続く部分は、映像変換サーバが接続するカメラサーバを指定している。また、『PTZ=』に続く部分は、映像変換サーバがカメラサーバに関して実行すべきカメラ制御のコマンドを並べたPTZシーケンスを指定している。また、『moviesizemax=』に続く部分は、携帯電話端末あるいは携帯電話網が規定する映像クリップの最大サイズを指定している。また、『notifyto=』に続く部分は、映像クリップ作成時に通知すべき連絡先である。典型的には、携帯電話端末ユーザのメールアドレスを指定する。また、『userid=』と『userpw=』とに続く部分は、それぞれ、ユーザ識別子とパスワードとである。この中で、PTZシーケンスの構成要素は、以下のような意味を持つ。nは、数値データ(正負あり)である。
Pn パン(水平方向カメラ制御)指定
Tn チルト(垂直方向カメラ制御)指定
Zn ズーム指定
Bn 逆光補正、逆光補正のON/OFF
H ホームポジション指定
Sn プリセット位置指定、n番目のプリセット位置
Cn カメラサーバ接続切換え指定、n番目のカメラサーバ
Kn カメラサーバ内カメラ切換え指定、n番目のカメラ
_n 時間経過指定。0.1秒単位
【0041】
続いて、ステップS605で、映像変換サーバ400からのレスポンスを待つ。続いて、ステップS606で、映像変換サーバ400から受取ったレスポンスを解釈して携帯電話端末の表示装置に表示する。例えば、図15(a)の通りである。もしも、映像変換サーバ400からのレスポンスが、何らかの理由からすぐに映像を生成できないことを示す内容であった場合には、ステップS607に進む。反対に、映像をすぐに生成できたことを示す内容であった場合には、ステップS608に進む。
【0042】
ステップS607では、映像変換サーバ400からのメール通知を待受ける。メール通知は、例えば、SMTP (Simple Mail Transfer Protocol)によるが、SMS(Short Message Service)であってもよい。メール通知を受取った場合には、そのメール内容を映像変換サーバ400からのレスポンスとして表示し、ステップS608に進む。例えば、図15(b)の通りである。ステップS608では、レスポンスに含まれる映像クリップの一つを選択し、ダウンロードして再生表示する。例えば、図15(c)の通りである。
【0043】
ここでは、ダウンロード完了を待っているが、映像クリップの再生表示処理は、ダウンロード完了を待たず、表示再生可能な映像クリップデータが揃った時点で、再生表示処理を開始しても良い。
【0044】
そして、携帯電話ビューワでの映像クリップの再生表示中に、携帯電話端末ユーザがクリックした場合には、クリックした時点に表示されている映像データ(映像区間、または、映像セグメントと呼ぶ事がある)に対応するリンク情報およびカメラの制御情報が映像クリップから抽出され、携帯電話端末に備わるブラウザ機能を使って、そのリンク情報が示すリンク先情報にアクセスする。リンク先情報へのアクセスでは、典型的には、カメラ制御を可能とする専用ビューワを起動し、再生されている映像クリップに対応するカメラの撮影方向にカメラを制御しながら撮影を行う。具体的には、指定された映像クリップの再生区間に時系列的に対応してカメラのパン,チルト,ズームを順次制御する。また、携帯電話端末の設定によっては、設定されたアクションを行う場合もある。例えば、アクセスされたリンク情報をメール添付したメールの発信である。
【0045】
図19は、専用ビューワの動作の流れを説明している。ステップS651で起動時に指示されたカメラサーバを構成する映像サーバのアドレスおよび接続ポートの情報に従い、映像サーバへ接続する。ここで、接続以降の処理を行うための動作プログラム(実現方法としては、スレッドあるいはプロセスの起動となる)が起動され、このプログラムは終了までステップS661を繰り返す。ステップS661では、映像サーバからの映像データが届くたびにそれを受け取り表示する。
【0046】
さらにメインのプログラムはステップS652で、同じく起動時に指示されたカメラ制御サーバのアドレスおよび接続ポートの情報に従い、カメラ制御サーバへ接続する。
【0047】
そして、これ以降メインプログラムはユーザからの操作要求を受けつけ、実行するメインループへ続く。まず、ステップS653でユーザの操作をキーボタン操作などから受け取る。これがカメラ制御に関する場合にはステップS654でカメラ制御サーバへコマンドを発行する。また、映像サーバに関する場合にはステップS655で映像サーバへコマンドを発する。
【0048】
また、ユーザの操作がビューワの状態を変更する操作(たとえば表示サイズの変更操作など)の場合にはステップS656で内部状態を更新する。そして、ユーザの操作が終了の場合には、ステップS657でビューワの動作に関連する各プログラムを順次終了する。S654〜S657の処理が完了するとS653へ戻り、ユーザの操作入力を待つ。
【0049】
携帯電話端末上で動作する専用ビューワは、携帯電話端末の出荷時に備わるソフトウェアとして実装される場合もあるが、Java(R)プログラムのようにネットワークからダウンロードして実装されるソフトウェアである場合もある。
【0050】
図7はカメラサーバ内のカメラ制御サーバの動作を示した流れ図である。カメラ制御サーバはまず起動時にステップS701で特定のファイル(OSによってはレジストリなどのシステムデータベース)からカメラ制御サーバの動作設定情報を読み出して、それに基づき動作を開始する。ここでクライアントであるビューワプログラムや映像変換サーバからのリクエストを受け付けるポートを開き、続いて、ステップS702のリクエスト受付状態に入る。
【0051】
リクエスト(接続リクエストもしくは操作コマンドリクエスト)が受け付けられたら、S702を抜け、接続リクエストならばステップS703で接続の可否の判定を行う。否ならば接続拒否のエラーコードを返し、S702に戻る。可ならば、ステップS704で接続処理として、クライアントからのコマンドの受付処理を行うスレッドを生成し、クライアントの登録を行ってから、S702に戻る。生成されたスレッドでは、ステップS707で対応するクライアントからのコマンドの受付を行う。
【0052】
コマンドが届いたならば、それを受け付け、カメラ操作を行う主プログラムへ受け渡す。主プログラムはステップS702でこれを受け、操作コマンドに対してはステップS705へ進み、操作コマンドを発行したスレッドが接続しているクライアントの権限に応じてカメラ操作を行って、その結果(操作が成功か失敗かを示すコードなど)をカメラ操作要求を受け付けたクライアント対応のスレッドへ伝える。このクライアント対応のスレッドはステップS708で結果をクライアントへ送り返す。主プログラム部分では、ステップS706でカメラの操作により変化した状態(たとえば、パン・チルト・ズームの値、および、禁止エリア検出の有無などを含むカメラ状態情報など)をすべてのクライアント対応のスレッドに伝える。
【0053】
各クライアント対応のスレッドはステップS709でカメラ制御状態の変化をクライアントへ通達する。クライアント対応のスレッドはクライアントから接続終了のコマンドを受けたならば、それを主プログラムへ通達し、さらにステップS710で自身のスレッドを終了する。
【0054】
図8はカメラサーバ内の映像サーバの動作を示した流れ図である。映像サーバはまず起動時にステップS801で特定のファイル(OSによってはレジストリなどのシステムデータベース)から映像サーバの動作設定情報を読み出して、それに基づき動作を開始する。ここで、映像の獲得と符号化と蓄積を行うスレッドを生成し(最初このスレッドは休止状態)、クライアントであるビューワプログラムや映像変換サーバからのリクエストを受け付けるポートを開き、続いて、ステップS802のリクエスト受付状態に入る。
【0055】
リクエスト(接続リクエストもしくはコマンドリクエスト)が受け付けられたら、S802を抜け、接続リクエストならばステップS803で接続の可否の判定を行う。否ならば接続拒否のエラーコードを返し、S802に戻る。可ならば、ステップS804で接続処理として、クライアントごとのセッションを識別するためのセッション識別子を生成し、クライアントからのコマンドの受付処理を行うスレッドを生成し、接続リクエストを発行したクライアントのアクセス権情報などに則してクライアントの登録を行い、S802に戻る。
【0056】
なお、この際、リクエスト内容がライブ映像への接続であり、かつ、映像の獲得と符号化を行うスレッドが休止状態ならば、S802に戻る前に、動作開始を指示する。生成されたクライアント対応のスレッドでは、ステップS807で対応するクライアントからのコマンドの受付を行う。コマンドが届いたならば、それを受け付け、映像処理を行う主プログラムへ受け渡す。
【0057】
主プログラムはステップS802でこれを受け、操作コマンドに対してはステップS805へ進み、映像の獲得や符号化・送信などに関する設定の変更操作を行って、その結果(操作の成功か失敗を示すコード)をコマンド要求を受け付けたクライアント対応のスレッドへ伝える。クライアント対応のスレッドはステップS808で、この結果をクライアントへ送り返す。
【0058】
主プログラム部分では、ステップS804からの映像の獲得と符号化を行うスレッドへの動作開始の指示により、ステップS806では前もって設定された時間間隔で映像データを映像キャプチャボードを使って獲得し、これを圧縮データに変換する。さらにこの圧縮データを、ライブ映像に接続しているすべてのクライアント対応のスレッドに伝える。
【0059】
各クライアント対応のスレッドはステップS809で、クライアントからの次映像フレーム送信要求の有無を判定し、要求があるならば、圧縮データをクライアントへ配送する。この際、禁止エリアが検出されている場合には、予め登録されているクライアントに関する情報に照らして、登録されているクライアントの接続以外には、禁止エリアに該当しているため圧縮データを配信しない旨(禁止エリア検出通知)を通知する。
【0060】
そして、ライブ映像に接続しているクライアント対応のスレッドが、クライアントからの次映像フレーム送信要求(これはクライアントでの圧縮映像データの受け取り完了に対して、送り返されるのが一般的である)を受け取った場合には映像フレーム送信要求のフラグを設定する。
【0061】
また、クライアントから接続終了のコマンドを受けたならば、それを主プログラムへ通達し、さらにステップS810で自身のスレッドを終了する。
【0062】
図9は、PTZシーケンスを作成する時の携帯電話端末の様子を例示した図である。PTZシーケンスを作成する際には、携帯電話端末のキーに図示のように、パン(カメラの横振り)、チルト(カメラの縦振り)、ズーム(拡大倍率変更)、逆光補正などの機能が割り当てられる。なお、この画面は図6に説明したPTZシーケンス入手操作を行うためのUIであり、ここで作成されたPTZシーケンスは、S602へ送られる。
【0063】
PTZシーケンスを作成の流れは、以下のように実現される(図16)。まず、ステップS901で、事前に取得したカメラサーバの識別子を使って、カメラサーバのカメラ制御によって可視範囲に入る画像を合成したパノラマ画像、事前にカメラサーバに設定されているカメラ制御情報(プリセット情報)、および、現在のカメラ状態パラメータ(パン角、チルト角、ズーム値など)を、カメラサーバから取得する。
【0064】
次に、ステップS902で、PTZシーケンスの初期値として空データを設定し、また、表示用カメラ状態パラメータおよび設定用カメラ状態パラメータとして取得した現在のカメラ状態パラメータを設定する。
【0065】
次に、ステップS903で、表示用カメラ状態パラメータにしたがって、可視領域を計算し、可視領域に相当する画像をパノラマ画像から切り出して携帯電話端末の画面に表示する。
【0066】
次に、ステップS904で、ユーザからのキー入力を受取る。キー入力が、カーソルキーによる可視領域の変更、あるいは、プリセット位置への移動の指示であった場合には、ステップS905で、表示用カメラ状態パラメータを変更し、ステップS903に進む。
【0067】
キー入力が、PTZシーケンスを追加/修正などの編集指示であった場合には、ステップS906で、PTZシーケンスの値を変更し、ステップS903に進む。PTZシーケンス追加の場合には、その時点の表示用カメラ状態パラメータと設定用カメラ状態パラメータとの差分から制御すべきカメラ制御値を計算し、そのカメラ制御値をPTZシーケンスに追加する。そして、表示用カメラ状態パラメータを設定用カメラ状態パラメータの新しい値とする。
【0068】
キー入力が、PTZシーケンス作成の終了を指示する場合には、ステップS907に進んだ上で、決定やキャンセルを判定し、決定である場合には、PTZシーケンスをS602へ送り、処理を終了する。
【0069】
図10はカメラサーバの用いる設定値、すなわち、カメラ制御サーバや映像サーバが読み出す動作設定情報を特定のファイル(OSによってはレジストリなどのシステムデータベース)に設定するカメラサーバ設定プログラムの表示画面の一例を示した図であり、カメラ制御サーバ、映像サーバ、動画品質、接続制限事項などに関する各種のパラメータ(後述)を設定できるようになっている。OKボタンを押すと設定した値が特定のファイルあるいはレジストリに書き込まれ、キャンセルすると書き込まれずに終了する。
【0070】
図11は図10のカメラサーバの設定プログラムの動作を示す流れ図である。設定プログラムは起動時にまずステップS1101でカメラ制御サーバおよび映像サーバに関する設定情報を格納した特定のファイル(OSによってはレジストリなどのシステムデータベース)から設定情報を読み出し、内部データに設定する。以降、ユーザの操作入力を受け取り、実施するループを繰り返す。
【0071】
ステップ1102でユーザの操作入力を待ち、入力があればそれを受け取り、続いてステップ1103で入力された値が適正範囲内であるか否かを判定し、適正でなければステップ1104でエラーメッセージを出力して、値を戻して、ユーザの入力待ちS1102へ戻る。適正範囲内であるならば、内部データを更新して、S1102に戻る。
【0072】
ここで設定できる値には次の項目がある。カメラ制御の通信用のTCPポート番号、カメラと接続するCOM(シリアル)ポート、シャッタースピード、カメラ制御関連のログ情報の有無とログファイル名、映像関連の通信用のTCPポート番号、ログ情報の有無とログファイル名、映像をキャプチャする時間間隔を規定するフレームレートと圧縮の品質を決メールQ-Factor、圧縮の元データの画面サイズ、1つのクライアントビューワの最大接続時間、カメラ制御に関する制御権の順番待ち人数、1つのビューワの制御権保持占有時間、映像とカメラ制御に関する接続可能な最大クライアント数などである。
【0073】
ユーザからの入力がOKボタンの場合には、S1102からステップS1105に進み、更新された内部データをカメラ制御サーバおよび映像サーバに関する設定情報を格納する特定のファイルなどへ書き出し、ステップS1106で変更を反映するためにカメラサーバを再起動するかを尋ねるパネルを出す。再起動する場合にはステップS1107でカメラ制御サーバや映像サーバなどを再起動して、ステップS1108で設定プログラムを終了する。再起動しない場合にはS1106から直接S1108に進み、終了する。また、S1102でのユーザの入力がキャンセルボタンである場合には、S1102から直接S1108に進み、終了する。
【0074】
図12は、映像変換サーバにおける映像データの大まかな流れを、模式化した図である。カメラサーバから送信されたソース映像データ(Motion JPEG、QVGAサイズ320x240)は、映像変換サーバのカメラサーバ向け通信スタックを経由して受信され、JPEGデコーダに渡され、続いて、携帯電話向けに設定されたMPEG-4 エンコーダに渡され、携帯電話向け映像データ(MPEG-4 simple profile, QCIFサイズ176x144, 64Kbps)に加工された上で、映像クリップとして、携帯電話網向けの通信スタックを経由して、携帯電話ビューワへと送信される。
【0075】
図13は映像変換サーバの動作を示した流れ図である。映像変換サーバはまず起動時にステップS1301で特定のファイル(OSによってはレジストリなどのシステムデータベース)から映像変換サーバの動作設定情報を読み出して、それに基づき動作を開始する。ここで、クライアントである携帯電話ビューワプログラムからのリクエストを受け付ける通信ポートを開き、続いて、ステップS1302のリクエスト受付状態に入る。
【0076】
リクエスト(HTTPリクエストのメッセージなど)が受け付けられたら、S1302を抜け、ステップS1303で接続の可否の判定を行う。否ならば接続拒否のエラーコードを返し、S1302に戻る。可ならば、ステップS1304で接続処理として、クライアントとの情報の受渡しを行うクライアント対応スレッドを生成し、クライアントの登録を行い、S1302に戻る。
【0077】
生成されたクライアント対応スレッドでは、ステップS1311で対応するクライアントからのリクエストを読み込み、内容を解析する。リクエストは、典型的には、HTTPリクエストとして、映像変換サーバに渡される。なお、HTTPリクエストには、POSTメソッドが使われる場合もあり、GETメソッドが利用される場合もある。
【0078】
次に、ステップS1312で、リクエスト内容から、エンコードパラメータ情報(映像変換パラメータ)、カメラサーバへの接続情報(ソース映像情報)、PTZシーケンス、映像クリップの最大サイズ(映像クリップ上限値)、通知先情報(通知先アドレス)、および、ユーザ識別子やパスワードなどユーザ識別情報を取り出す。これらは、それぞれ『videoencodeparam=』『cameraservers=』『PTZ=』『moviesizemax=』『notifyto=』『userid=』『userpw=』の値として指示されている。
【0079】
映像変換パラメータは、変換用コーデックの選択やそのコーデックへのパラメータ、および、コーデック入力用/出力用のデータ形式などを記述している。ソース映像情報とは、例えば、ライブ映像を提供するカメラサーバのネットワークアドレスとポート番号などの通信属性情報である。通知先アドレスとは、典型的には、ユーザの携帯電話端末を指定したメールアドレスである。
【0080】
次に、ステップS1313で、HTTPリクエストに対するHTTPレスポンスとして、『すぐに映像を生成できないので、しばらくしてメール連絡します』との旨を示す情報を返す。
【0081】
次に、ステップS1314で、ソース映像情報およびユーザ識別情報にしたがって、映像取得部を初期化する。具体的には、ソース映像を提供するカメラサーバに接続し、ソース映像取得を開始する。
【0082】
そして、ステップS1315に進み、映像変換パラメータに従って映像変換部を初期化する。この映像変換部は、MPEG-4エンコーダなどから構成される。そして、ステップS1316に進み、映像送信部を初期化する。この際、映像送信部に映像クリップ上限値、および、通知先アドレスを指示する。
【0083】
さらに、ステップS1317に進み、映像取得部から映像変換部へ、映像変換部から映像送信部へとそれぞれの処理データが受渡しされるように相互の関連付けを行った上で、カメラ制御部が、PTZシーケンスにしたがってカメラサーバのカメラ制御を行う。
【0084】
そして、ステップS1318に進み、映像取得部、映像変換部、映像送信部の後処理を行う。そして、ステップS1319に進み、クライアント対応スレッドを終了する。
【0085】
次に、映像変換サーバの中で機能している映像取得部、映像変換部、映像送信部、カメラ制御部について順次説明する。映像取得部は、まず、初期化時に受取ったソース映像情報およびユーザ識別情報に従って、ライブ映像を提供するカメラサーバに接続する。そして、カメラサーバから映像データを取得し、取得時のタイムスタンプを付与して映像データを映像変換部へ渡す。本実施形態におけるカメラサーバは、映像データをMotion JPEG形式で提供するので、タイムスタンプが付与されるのは、個々のJPEGデータである。
【0086】
また、カメラサーバから禁止エリア検出を通知された場合には、映像データに代えて禁止エリア検出通知を映像変換部へ渡す。次に、映像変換部では、まず、初期化時に受取ったコーデックへのパラメータ、および、コーデック入力用/出力用のデータ形式などをMPEG-4エンコーダに設定する。
【0087】
そして、映像取得部から受取ったソース映像データを、コーデック入力用のデータ形式および画像サイズに整えてからMPEG-4エンコーダに入力し、その処理結果を、映像送信部へ渡す。本実施形態における映像変換部では、JPEG形式のソース映像データを、予め、QCIFサイズかつYUV411形式に整えてからMPEG-4コーデックへ入力し、生成されたMPEG-4データ(I-frameまたはP-frame)を映像送信部へ受け渡す。この際、映像取得部で付与されたタイムスタンプも併せてMPEG-4コーデックへ入力される。
【0088】
なお、映像取得部から禁止エリア検出が通知されている場合には、カメラ制御を制限された領域であって映像を表示できない旨を示す合成画面を、ソース映像データに代えて、MPEG-4コーデックへ入力する。
【0089】
次に、映像送信部では、まず、初期化時に受取った映像クリップ上限値にしたがってメモリ領域を確保する。そして、映像変換部が生成した携帯電話向け映像データを受取り、確保したメモリ領域に保持する。
【0090】
さらに、映像送信部では、禁止エリア検出通知を受け取った時点から禁止エリアを外れたことを検知した時点までの区間に対応して、メモリ領域の利用率をも加味した上で、映像クリップの分割点を決定する。そして、分割点と判断した場合には、携帯電話向け映像クリップのデータフォーマットに準拠したヘッダ情報を前置して、メモリ領域に保持している映像データをファイルとして保存し、メモリ領域を再利用する。これによって、映像クリップが複数のファイルに分割保存される。
【0091】
また、映像送信部では、映像取得部で得られるカメラ制御状態情報を受け取り、時間軸に沿って保持する。そして、予め設定されている時間周期でカメラ制御状態情報から、カメラ制御状態情報に相当するカメラ制御シーケンス(PTZシーケンス)を生成して、そのPTZシーケンスをパラメータとする専用ビューワの起動支持をリンク情報として映像クリップに組み込む。
【0092】
典型的には、隣接するカメラ制御状態情報の差分からPTZシーケンスを構成するが、PTZシーケンス初期値を指定する場合やプリセット位置やホームポジションなどと一致する場合には、絶対値指定を指示する。この際、図14に示すように、ある映像データの区間(映像セグメント)に対応するリンク情報には、時間軸を逆方向に過剰な長さのカメラ制御シーケンスを割当てる。すなわち、映像クリップ中で隣接するリンク情報には、重複したカメラ制御シーケンスが冗長的に割当てられることになる。
【0093】
そして、カメラ制御部からPTZシーケンスの終了を通知された時点で、メモリ領域に保持している映像データの残りを同様にファイルとして保存した上で、それまでに保存している複数の映像クリップへのリンク情報を埋め込んだ携帯電話端末への通知情報を作成し、初期化時に受取った通知先アドレスへ通知する。これによって、通知情報を受取った携帯電話端末から各映像クリップへのダウンロード要求を可能とする。
【0094】
なお、映像送信部は、HTTPサーバ機能を備えており、携帯電話端末からのHTTP利用の映像クリップのダウンロード要求に対応する。
【0095】
次に、カメラ制御部では、PTZシーケンスを解釈して、カメラサーバに送るべきカメラ制御コマンドを作成し、PTZシーケンスに指示されたタイミングで作成したカメラ制御コマンドをカメラサーバに送信することで、カメラサーバのカメラ制御を行う。そして、PTZシーケンスを解釈し終えた時点で、PTZシーケンスの終了を映像送信部に通知する。
【0096】
以上の構成で、携帯電話端末上に実装された映像クリップビューワを使うユーザは、映像変換サーバに映像クリップを要求することができる。そして、映像変換サーバの機能により、映像クリップが作成された時点のカメラ制御状態情報を、映像クリップ再生ユーザが利用可能となる。
【0097】
以上で、ネットワーク上に配置されたカメラサーバから送られるライブ映像を、携帯電話端末向け映像クリップに変換してユーザに提供する事ができる。特に、本実施形態の映像変換サーバでは、カメラサーバのカメラ制御状態情報を反映した映像クリップを生成する点に特徴がある。
【0098】
本実施形態では、携帯電話網とネットワークとを結ぶゲートウェイとは独立に、ネットワーク上に映像変換サーバが実装される例について説明しているが、映像変換サーバが、ゲートウェイの一部として実装されても良い。また、映像変換サーバとゲートウェイとが、VPN(Virtual Private Network)なども含めて専用線で接続されるような接続形態も容易に想像できる。
【0099】
また、本実施形態では、HTTP通信を用いて、携帯電話ビューワと映像変換サーバとが通信する例について説明しているが、この通信は、SMTP (Simple Mail Transfer Protocol) を用いた通信であっても良い。
【0100】
また、携帯電話ビューワと映像変換サーバとのHTTP通信やSMTP通信は、SSL(Secure Socket Layer)などの併用により、安全な通信経路を利用しても良い。
【0101】
本実施形態では、携帯電話ビューワが、カメラ制御コマンド列 (PTZシーケンス)を発行することで、カメラ制御を行うユーザと映像クリップ要求するユーザとが同一である例について説明しているが、カメラ制御コマンドを発行するユーザは、別のユーザであっても良い。例えば、あるユーザがPC上の専用ビューワなどを利用してカメラ制御を行っている際に、別のユーザが映像クリップを要求するような事例である。
【0102】
さらに、SMTP通信などを利用して映像クリップを要求する場合には、映像クリップ要求ユーザと映像クリップ受信ユーザとが異なっていることも考えられる。この場合には、映像クリップ要求ユーザのアクセス権限と映像クリップ受信ユーザのアクセス権限との一方あるいは両方を評価して、映像クリップ生成に反映することが考えられる。
【0103】
本実施形態では、設定された一定の周期でカメラ制御シーケンスを含むリンク情報を生成し映像クリップに組み込む例について説明しているが、リンク情報の生成のタイミングは、一定周期に限定されない。例えば、カメラ制御状態情報の変化値の累積値が所定の条件を満たしたタイミングであっても良い。また、映像データ自体の変化値(例えば、画像認識されるオブジェクトの個体数の変化)が所定の条件を満たしたタイミングであっても良い。
【0104】
また、本実施形態の映像送信部で生成しているカメラ制御シーケンスは、映像取得部から得られるカメラ状態情報に基づき生成しているが、これは、カメラ制御部が解釈しているPTZシーケンスから部分シーケンスを切り出す事で生成しても良い。
【0105】
この方法の場合、映像クリップ作成を要求したユーザの意図に一層近いカメラ制御シーケンスが得られる一方で、禁止エリアへのカメラ制御などを含む場合には、映像データと同期しないカメラ制御シーケンスが生成されるという得失がある。
【0106】
本実施形態の映像送信部では、映像クリップ中のある映像データ区間に対応するリンク情報に、隣接する映像データ区間の時間中のカメラ制御シーケンスを割当てられる例について説明しているが、割当てられるカメラ制御シーケンスの長さ(あるいは時間)は、映像データ区間の時間と従属する必要は無い。典型的には、映像変換サーバに事前設定された固定長(時間)であっても良い。また、割当てられるカメラ制御シーケンスの長さ(時間)は、各種の事象の発生に依存することも容易に想像できる。
【0107】
本実施形態では、カメラサーバから取得した映像を携帯電話向け映像クリップに変換して送信する例について説明したが、映像クリップの形式は、携帯電話向け映像クリップに限定されない。例えば、マイクロソフト社のWindows(R) MediaPlayerでは、ISO標準の MPEG-4 コーデックにも対応するため、本実施形態の映像送信部が映像クリップを生成する時点で、マイクロソフト社のASF形式に準拠したデータフォーマットに整形し、かつ、そのフォーマットの中でMPEG-4コーデックを指定することで、Windows(R) MediaPlayerでの再生が可能となる。同様にして、Apple社 QuickTime File Formatに準拠することで、QuickTimePlayerにも対応可能である。
【0108】
また、映像クリップへのリンク情報組込みとして、本実施形態では、カメラ制御情報を組み込む例について説明しているが、例えば、映像クリップの末尾では、カメラ制御情報の如何に関わらず、現在のカメラサーバに接続するリンク情報を組み込むことも容易に想像できる(図17(a))。また、カメラ制御コマンドをリンク情報として組み込む場合、そのカメラ制御コマンドが行おうとしている制御を説明するテロップを映像に挿入することも考えられる(図17(b))。また、映像変換サーバに事前設定されたリンク情報(例えば、広告情報へのリンク情報)を組み込むことも容易に想像できる。さらに、これらの複数種類のリンク情報が混在していても良い。
【0109】
<第2の実施形態:サーバ側に制御識別子の管理表を保持、間接制御>
第2の実施形態では、第1の実施形態同様、インターネット上に配置されたカメラサーバから取得したライブ映像を、携帯電話端末向け映像クリップに変換して送信する例について説明する。特に、本実施形態では、映像変換サーバが、カメラ制御情報履歴の管理表を保持する点に特徴がある。
【0110】
本実施形態では、ネットワークの接続形態やハードウェア構成、および、各ソフトウェアの動作の多くは、第1の実施形態で説明した通りである。ただし、図13で示した映像変換サーバの一部の動作が、第1の実施形態とは、異なる。
【0111】
本実施形態では、映像変換サーバの映像送信部が次のように動作する。本実施形態の映像送信部は、映像クリップへ組み込むリンク情報の記述が、映像変換サーバ内部に管理するカメラ制御情報履歴の管理表を参照する専用ビューワの起動となる点で、第1の実施形態の映像送信部と異なる。
【0112】
第2の実施形態の映像変換部では、まず、第1の実施形態同様、受け取ったカメラ状態情報を時間軸に沿って保持し、そこから、カメラ制御状態情報に相当するカメラ制御シーケンス(PTZシーケンス)を生成するが、この際、生成したPTZシーケンスを直接リンク情報として映像クリップに組み込む事をしない。代わりに、生成したPTZシーケンスを、映像変換サーバ内の管理表(以下、制御履歴管理表、図18)に格納し、その制御履歴管理表への参照情報をリンク情報として映像クリップに組み込む。制御履歴管理表への参照情報としては、制御履歴管理表の各項目に識別子を割当て、その識別子を参照情報とする。
【0113】
割当てる識別子は、例えば、カメラサーバ識別子(典型的には、IPアドレス)とPTZシーケンスの生成時刻とから合成する事ができる。あるいは、順番に割当てたシリアル番号であっても良い。
【0114】
そして、携帯電話端末で実行される専用ビューワからのカメラ制御情報参照要求があった場合には、識別子をキーとして制御履歴管理表内で検索し、見つかったPTZシーケンスを携帯電話端末で実行される専用ビューワに返答するよう動作する。
【0115】
以上の構成で、携帯電話端末上に実装された映像クリップビューワを使うユーザは、映像変換サーバに映像クリップを要求することができる。そして、映像変換サーバの機能により、映像クリップが作成された時点のカメラ制御状態情報を、映像クリップ再生ユーザが利用可能となる。
【0116】
特に、本実施形態では、映像変換サーバ内に蓄積されたカメラ制御情報を参照して、実際のカメラサーバを制御する。 これにより、映像クリップ生成時点ではなく、映像クリップ再生時点でのカメラ制御パラメータなどをも反映した処理が可能となる。例えば、映像クリップ生成を要求したユーザと映像クリップを再生しているユーザとが異なったアクセス権限を設定されている場合に、再生ユーザの権限を反映してカメラ制御することが可能となる。これは、映像クリップが複数のユーザ間でメールなどで受渡しされる状況下で効果がある。
【0117】
また、映像変換サーバ内に管理される制御履歴管理表を参照することによって、生成された映像クリップの時間枠に隣接する時間枠のカメラ制御情報を参照することも可能となる。すなわち、映像クリップに含まれる識別子(制御履歴管理表への参照情報)をたどる事によって、映像クリップの前後で行われたカメラ制御を、芋づる式に取得することが可能となる。
【0118】
本実施形態では、携帯電話端末で実行される専用ビューワが、映像クリップ中に組み込まれた識別子を使って、映像変換サーバにカメラ制御情報を問い合わせ、カメラ制御情報を取得し、カメラ制御する例について説明しているが、カメラ制御を実行するのは、携帯電話端末で実行される専用ビューワに限定されない。例えば、映像クリップ中に組み込まれた識別子を指定した上で、映像変換サーバにカメラサーバのカメラ制御を委譲するよう実施しても良い。
【0119】
本実施形態では、映像変換サーバ自身が、制御履歴管理表を管理する例について説明しているが、制御履歴管理表は、別のデータベースサーバなどが管理しても良い。
【0120】
<第3の実施形態:映像クリップ中のカメラ状態情報からビューワが抽出>
第3の実施形態では、第1の実施形態と同様、インターネット上に配置されたカメラサーバから取得したライブ映像を、携帯電話端末向け映像クリップに変換して送信する例について説明する。特に、本実施形態では、カメラ制御機能などが必要な際に起動される専用ビューワが、映像クリップ内に組み込まれたカメラ状態情報を抽出して、カメラサーバのカメラ制御する点に特徴がある。
【0121】
本実施形態では、ネットワークの接続形態やハードウェア構成、および、各ソフトウェアの動作の多くは、第1の実施形態で説明した通りである。ただし、図13で示した映像変換サーバの一部の動作、および、図19で説明した専用ビューワの一部の動作が、第1の実施形態とは異なる。
【0122】
本実施形態では、映像変換サーバの映像送信部が次のように動作する。本実施形態の映像送信部は、映像クリップへ組み込むリンク情報の記述が、映像クリップ自身への参照と映像クリップ中の経過時間とをパラメータとする専用ビューワの起動指示となる点で、第1の実施形態の映像送信部と異なる。
【0123】
また、本実施形態では、専用ビューワのカメラ制御部が次のように動作する。本実施形態のカメラ制御部は、ステップS652で初期化され、起動時に指示されたカメラ制御サーバに接続した後、同じく起動時に指示された映像クリップを解釈して、そこに含まれるカメラ状態情報からカメラ制御コマンドを抽出して、自動カメラ制御する点で、第1の実施形態の専用ビューワのカメラ制御部と異なる。
【0124】
この中で、映像クリップを解釈して、そこに含まれるカメラ状態情報からカメラ制御コマンドを抽出手順については、第1の実施形態の映像変換サーバの映像送信部と同様の手順で実施される。
【0125】
すなわち、映像クリップに含まれるカメラ制御状態情報を取り出し、時間軸に沿って保持する。そして、予め設定されている時間周期でカメラ制御状態情報から、カメラ制御状態情報に相当するカメラ制御シーケンス(PTZシーケンス)を生成する。典型的には、隣接するカメラ制御状態情報の差分からPTZシーケンスを構成するが、PTZシーケンス初期値を指定する場合やプリセット位置やホームポジションなどと一致する場合には、絶対値指定を指示する。
【0126】
以上の構成で、携帯電話端末上に実装された専用ビューワが、映像クリップ内に組み込まれたカメラ状態情報を抽出して、カメラサーバのカメラ制御することができる。
【0127】
特に、本実施形態では、カメラ状態情報からカメラ制御コマンド列(PTZシーケンス)を生成する作業を、各携帯電話端末に分散させ、かつ、本当に必要となる時点まで遅延させることによって、映像変換など多くの計算能力(コンピューティングパワー)を必要とする映像変換サーバにおける計算量を削減することが可能となり、クライアントサーバ間の良好なレスポンスを達成することが可能となる。
【0128】
<第4の実施形態:カメラサーバ一体型の映像変換サーバ(VB組み込み例)>
第4の実施形態では、第1の実施形態と同様、インターネット上に配置されたカメラサーバから取得したライブ映像を、携帯電話端末向け映像クリップに変換して送信する例について説明する。特に、本実施形態では、映像変換サーバが、カメラサーバと一体化している点に特徴がある。
【0129】
本実施形態では、ネットワークの接続形態やハードウェア構成、および、各ソフトウェアの動作の多くは、第1の実施形態で説明した通りである。ただし、図1の利用形態、図2の映像変換サーバのハードウェア構成、および、図13で示した映像変換サーバの一部の動作が第1の実施形態とは異なる。
【0130】
まず、本実施形態では、映像変換サーバとカメラサーバとが一体化しているため、利用形態は、図20の通りである。また、映像変換サーバのハードウェア構成も、図3のカメラサーバのハードウェア構成の通りである。さらに、映像変換サーバの映像取得部は、映像サーバのステップS806と同様に、ハードウェア構成の映像キャプチャボードを使って映像データを獲得する。
【0131】
本実施形態では、映像変換サーバが、ハードウェア構成の映像キャプチャボードを使って映像データを獲得する例について説明したが、カメラサーバと一体化した映像変換サーバであっても、第1の実施形態と同様に、他のカメラサーバの映像サーバからも映像データを取得できるよう設計することも容易に想像できる。これによって、カメラサーバのエンコード処理の負荷分散、配送処理の負荷分散、および、ネットワーク通信インフラにおける輻輳防止などの効果がある。
【0132】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【0133】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【0134】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。
【0135】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(基本システム或いはオペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0136】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0137】
ここで、本発明の実施態様を以下に列挙する。
[実施態様1]ネットワーク上に配置される映像通信装置であって、
映像データを取得し、前記映像データの取得に伴う前記映像データの取得先の状態情報を前記映像データに付与する映像取得手段と、
前記映像データを映像クリップに変換し、前記映像取得手段の制御に関する情報を前記映像クリップに関連付ける映像クリップ変換手段と、
前記映像クリップを外部端末に対して送信する映像送信手段とを有することを特徴とする映像通信装置。
【0138】
[実施態様2]前記映像取得手段は、当該映像通信装置に内蔵されるカメラ装置から前記映像データを取得することを特徴とする実施態様1に記載の映像通信装置。
【0139】
[実施態様3]前記映像取得手段は、前記ネットワーク上に接続されるカメラサーバから前記映像データを取得することを特徴とする実施態様1に記載の映像通信装置。
【0140】
[実施態様4]前記映像クリップ変換手段は、前記制御情報であるカメラ制御情報の発行を関連付けることを特徴とする実施態様1に記載の映像通信装置。
【0141】
[実施態様5]前記映像クリップ変換手段は、前記映像取得手段が映像に付与する前記状態情報であるカメラ状態情報の差分からカメラ制御情報を生成することを特徴とする実施態様4に記載の映像通信装置。
【0142】
[実施態様6]前記映像クリップ変換手段は、前記映像取得手段における条件を満たす事象発生時のタイミングで映像クリップを区分分割し、それぞれの映像区間に映像を反映したカメラ制御情報を含むリンク情報を関連付けることを特徴とする実施態様4に記載の映像通信装置。
【0143】
[実施態様7]前記映像クリップ変換手段は、それぞれの映像区間に割当てるカメラ制御情報を、隣接する映像区間に割当てるカメラ制御情報と一部重複するよう冗長的に割当てることを特徴とする実施態様6に記載の映像通信装置。
【0144】
[実施態様8]前記映像クリップ変換手段は、前記映像取得手段が映像に付与するカメラ状態情報の差分から生成したカメラ制御情報と映像変換サーバに事前設定されたカメラ制御情報とを混在させたカメラ制御情報を生成することを特徴とする実施態様4に記載の映像通信装置。
【0145】
[実施態様9]カメラから出力される映像データの取得に伴う前記映像データの取得先の状態情報を前記映像データに付与する映像取得ステップと、
前記映像データを映像クリップに変換し、前記カメラの制御に関する情報を前記映像クリップの一部区間あるいは全体に関連付ける映像クリップ変換ステップと、
前記映像クリップを外部端末に対して送信する映像クリップ送信ステップとを含むことを特徴とする情報処理方法。
【0146】
[実施態様10]実施態様9に記載の情報処理方法をコンピュータに実行させるためのプログラム。
【0147】
[実施態様11]実施態様10に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【0148】
【発明の効果】
本発明によれば、映像クリップ再生時点でのカメラの制御状態情報から生成されるカメラ制御シーケンス情報に基づいてカメラの制御を行うことが可能となる。
【図面の簡単な説明】
【図1】本発明を用いた典型的な利用形態を示した図である。
【図2】映像変換サーバのハードウェア構成の一例を示した図である。
【図3】カメラサーバのハードウェア構成の一例を示した図である。
【図4】ビューワを動作させるハードウェア構成の一例を示した図である。
【図5】プログラムの構成する部分を模式化した図である。
【図6】携帯電話ビューワの動作の流れを示す図である。
【図7】カメラサーバ内のカメラ制御サーバの動作を示した流れ図である。
【図8】カメラサーバ内の映像サーバの動作を示した流れ図である。
【図9】 PTZシーケンスを作成する携帯電話端末の様子を例示した図である。
【図10】カメラサーバの設定画面を例示した図である。
【図11】カメラサーバの設定プログラムの動作を示す流れ図である。
【図12】映像変換サーバにおける映像データの流れを模式化した図である。
【図13】映像変換サーバの動作を示した流れ図である。
【図14】映像変換サーバにおいて映像クリップに挿入されるPTZシーケンスと映像区間との対応を説明するための図である。
【図15】携帯電話端末の表示例を説明するための図である。
【図16】 PTZシーケンス作成の流れを示す図である。
【図17】映像クリップの表示例を説明するための図である。
【図18】第2の実施形態における制御履歴管理表を説明するための図である。
【図19】第1の実施形態における専用ビューワの流れを示す図である。
【図20】第4の実施形態における典型的な利用形態を示した図である。
【符号の説明】
101、102 カメラサーバ
200 ビューワ
300 中継サーバ
400 映像変換サーバ
500 ゲートウェイ
601、602 携帯電話端末
Claims (7)
- カメラに接続されるカメラサーバから得られる画像を端末に送信する映像通信システムであって、
映像通信装置は、
前記カメラに接続される前記カメラサーバから映像データおよび前記カメラの制御状態情報を取得する映像取得手段と、
前記映像データを映像クリップに変換し、時間軸に沿って保持された前記カメラのパン、チルト、ズームのうち少なくとも1つの制御状態情報から生成されるカメラ制御シーケンス情報および前記カメラサーバの識別子を参照するためのリンク情報を前記映像クリップに関連付ける映像クリップ変換手段と、
前記映像クリップ変換手段によって変換された映像クリップを前記端末に対して送信する送信手段とを有し、
前記端末は、
前記送信手段によって送信された映像クリップを再生表示する表示手段と、
前記表示手段によって映像クリップが再生されているときに指定された時点に表示されている映像データに対応するリンク情報を抽出する抽出手段と、
前記抽出手段によって抽出されたリンク情報に含まれるカメラ制御シーケンス情報に基づいて前記カメラの制御をリクエストするコマンドを前記リンク情報に含まれる識別子に対応する前記カメラサーバに送信する手段とを有することを特徴とする映像通信システム。 - 前記カメラは前記カメラサーバと一体化されていることを特徴とする請求項1に記載の映像通信システム。
- 前記映像クリップ変換手段は、予め設定された時間で映像クリップを区分分割し、それぞれの映像区間に対応するカメラ制御シーケンス情報を含む前記カメラのリンク情報を関連付けることを特徴とする請求項1に記載の映像通信システム。
- 前記映像通信装置は、前記カメラサーバと一体化されていることを特徴とする請求項1に記載の映像通信システム。
- カメラに接続されるカメラサーバから映像データおよび前記カメラの制御状態情報を取得する映像取得手段と、
前記映像データを映像クリップに変換し、時間軸に沿って保持された前記カメラのパン、チルト、ズームのうち少なくとも1つの制御状態情報から生成されるカメラ制御シーケンス情報および前記カメラサーバの識別子を参照するためのリンク情報を前記映像クリップに関連付ける映像クリップ変換手段と、
前記映像クリップ変換手段によって変換された映像クリップを端末に対して送信する送信手段とを有することを特徴とする映像通信装置。 - 時間軸に沿って保持された、パン、チルト、ズームのうち少なくとも1つのカメラの制御状態情報から生成されるカメラ制御シーケンス情報およびカメラサーバの識別子を参照するためのリンク情報が関連付けられた映像クリップを再生表示する表示手段と、
前記表示手段によって映像クリップが再生されているときに指定された時点に表示されている映像データに対応するリンク情報を抽出する抽出手段と、
前記抽出手段によって抽出されたリンク情報に含まれるカメラ制御シーケンス情報に基づいて前記カメラの制御をリクエストするコマンドを前記リンク情報に含まれる識別子に対応する前記カメラサーバに送信する手段とを有することを特徴とする端末。 - 時間軸に沿って保持された、パン、チルト、ズームのうち少なくとも1つのカメラの制御状態情報から生成されるカメラ制御シーケンス情報およびカメラサーバの識別子を参照するためのリンク情報が関連付けられた映像クリップを端末において再生表示する表示ステップと、
前記表示ステップにおいて映像クリップが再生されているときに指定された時点に表示されている映像データに対応するリンク情報を抽出する抽出ステップと、
前記抽出ステップにおいて抽出されたリンク情報に含まれるカメラ制御シーケンス情報に基づいて前記カメラの制御をリクエストするコマンドを前記リンク情報に含まれる識別子に対応する前記カメラサーバに送信する送信ステップとを有することを特徴とする端末のカメラ制御方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003125334A JP4250449B2 (ja) | 2003-04-30 | 2003-04-30 | 映像通信システム、映像通信装置、端末及び端末のカメラ制御方法 |
US10/810,703 US20040189871A1 (en) | 2003-03-31 | 2004-03-29 | Method of generating moving picture information |
CNB2004100306047A CN100493177C (zh) | 2003-03-31 | 2004-03-30 | 动图像信息的生成方法及分发设备 |
US13/329,432 US8692897B2 (en) | 2003-03-31 | 2011-12-19 | Method of generating moving picture information |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003125334A JP4250449B2 (ja) | 2003-04-30 | 2003-04-30 | 映像通信システム、映像通信装置、端末及び端末のカメラ制御方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2004336126A JP2004336126A (ja) | 2004-11-25 |
JP2004336126A5 JP2004336126A5 (ja) | 2006-01-05 |
JP4250449B2 true JP4250449B2 (ja) | 2009-04-08 |
Family
ID=33502634
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003125334A Expired - Fee Related JP4250449B2 (ja) | 2003-03-31 | 2003-04-30 | 映像通信システム、映像通信装置、端末及び端末のカメラ制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4250449B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4510519B2 (ja) * | 2004-05-28 | 2010-07-28 | キヤノン株式会社 | 映像通信装置、映像通信方法及びコンピュータプログラム |
JP5401134B2 (ja) * | 2009-03-18 | 2014-01-29 | 株式会社 沖情報システムズ | デコーダ装置 |
-
2003
- 2003-04-30 JP JP2003125334A patent/JP4250449B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004336126A (ja) | 2004-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8692897B2 (en) | Method of generating moving picture information | |
KR100654783B1 (ko) | 화상배신방법 | |
JP4546202B2 (ja) | 映像受信装置とその制御方法とプログラム及び記憶媒体 | |
JP4026944B2 (ja) | 映像発信装置及びその制御方法 | |
US6728753B1 (en) | Presentation broadcasting | |
US8108489B2 (en) | Server reservation method, reservation control apparatus and program storage medium | |
US20050223041A1 (en) | Server reservation method, reservation control appartus and program storage medium | |
US20090070840A1 (en) | Terminal-Cooperated System, Terminal, Server and Method for Uninterrupted Reception of Contents | |
JP2004193979A (ja) | 映像配信システム | |
CN114422460B (zh) | 一种在即时通信应用中建立同屏交流分享的方法、系统 | |
JP4317234B2 (ja) | 画像表示制御装置および画像表示制御方法および画像表示制御プログラム | |
JP4401672B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
WO2008101997A2 (en) | Method and system for transmitting and recording synchronized data streams | |
JP4764596B2 (ja) | データ転送方法及びサーバコンピュータ | |
JP4250449B2 (ja) | 映像通信システム、映像通信装置、端末及び端末のカメラ制御方法 | |
KR20000054715A (ko) | 인터넷상의 동영상컨텐츠 서비스시스템과 그 방법, 및동영상파일의 생성 및 전송방법과 그 기록매체 | |
JP2004120543A (ja) | 画像送信装置 | |
JP4510519B2 (ja) | 映像通信装置、映像通信方法及びコンピュータプログラム | |
JP4261934B2 (ja) | 映像クリップ生成装置、映像クリップ生成方法、プログラム及び記憶媒体 | |
JP2004343175A (ja) | 映像中継装置 | |
JPH11196404A (ja) | 映像発信装置及び映像受信装置及びその制御方法及び記憶媒体 | |
JP2006211524A (ja) | 映像表示装置、映像処理装置の制御方法、プログラム、及び記憶媒体 | |
JP4791213B2 (ja) | 通信装置、通信方法及びプログラム | |
JP2007243605A (ja) | 通信装置、通信方法及びプログラム | |
JP2006222720A (ja) | 映像通信システム、情報処理装置、映像通信方法及びそのプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051110 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051110 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080715 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080916 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090113 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090119 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120123 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4250449 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130123 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140123 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |