JP4401672B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP4401672B2 JP4401672B2 JP2003097074A JP2003097074A JP4401672B2 JP 4401672 B2 JP4401672 B2 JP 4401672B2 JP 2003097074 A JP2003097074 A JP 2003097074A JP 2003097074 A JP2003097074 A JP 2003097074A JP 4401672 B2 JP4401672 B2 JP 4401672B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- information
- camera
- server
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Telephonic Communication Services (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Mobile Radio Communication Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、通信によって映像データを配信する映像配信技術に関し、特に、多数のカメラ装置などのライブ映像ソースの制御情報を反映して、携帯電話端末など携帯情報端末向けに映像データ（映像クリップ）を提供する場合の映像変換技術に関するものである。
【０００２】
【従来の技術】
本発明に関係する従来の技術は、以下の通りである。
[ライブ映像通信システム]
撮影したライブ映像を、インターネットなどの通信インフラストラクチャを使って配信するとともに、撮影のためのカメラ設定やカメラ操作などを指示する技術が確立され、製品が販売されている。例えば、本願出願人が提案する映像配信システムWebView/Livescope、および、同じく本願出願人が提案するライブネットワークカメラサーバVB101やネットワークカメラVB-C10などである。
【０００３】
また、ネットワークカメラについては特開２００２−０８４４４５号公報にも開示されており、本従来例においては、ネットワークカメラの端末として、携帯電話が使用されている。
【０００４】
本願出願人が提案する映像配信システムなどでは、映像配信に加えて、パン、チルト、ズーム、逆光補正といったカメラ制御をネットワークを介して提供可能となっている。また、アクセス制御機能を備え、利用者のアクセス権限に応じて、カメラ制御や映像配信の制限を行うことができる。
【０００５】
さらに、カメラ制御によって撮像される領域に関しても制限することが可能になっている。例えば、特権ユーザでは、カメラに備わるズーム機能の全てを利用できるが、通常ユーザは、ズーム機能の一部(たとえば、テレ端を使い切れない)のみ利用可能とするような制限である。パン機能やチルト機能についても同様である。
【０００６】
[第三世代携帯電話技術]
従来の携帯電話サービスよりも高い電波利用効率と通信帯域を備えた携帯電話サービスとして、第三世代(3G)の携帯電話サービスが提供されるようになっている。例えば、NTTドコモ社の第三世代(3G)携帯電話サービスFOMAやKDDI社のcdma2000 1xがある。
【０００７】
第三世代(3G)の携帯電話では、電話通話しながらインターネットアクセスなどのデータ通信が可能となっている。例えば、NTTドコモ社によるFOMAサービスでは、マルチアクセスと呼ばれる接続形態を用意しており、これを利用することで、ウェブブラウジングなどのデータ通信を行いながら、電話通話を可能にしている。
【０００８】
さらに、第三世代携帯電話端末では、端末自体の処理能力も強化されており、これまでPC(パーソナルコンピュータ)などで行っていた作業を携帯電話端末で処理可能になっている。例えば、メイルやウェブブラウジングおよび映像送受信などの機能を実装している携帯電話端末が提供されている。
【０００９】
また、第三世代携帯電話サービスでは、映像配信のサービスも行われており、ドコモ社のiモーションやM-stage Visualあるいは、KDDI社のezmovieなどのサービスが行われている。
【００１０】
[MPEG-4コーデック]
移動体通信網に接続する携帯情報端末から広帯域インターネットに接続するPCまでの映像送受信端末の広がりを受けて、数十kpbsから数十Mbpsの広いビットレートをカバーする高圧縮符号化効率、および、無線やインターネットなどの伝送路誤りに対する強い耐性などを備えた動画像圧縮符号化方式として、ISOで1999年にMPEG-4が制定されている。
【００１１】
また、MPEG-4を用いた映像配信サービスが、個人情報端末(PDA)や携帯電話端末向けに提供されている。例えば、NTTドコモ社やKDDI社の第三世代(3G)携帯電話サービスでは、携帯電話端末(ビジュアル端末)間でMPEG-4を用いて相互に映像を送受信するサービスを提供している。
【００１２】
[携帯電話向けMPEG-4クリップ技術]
携帯電話端末に映像クリップ(ファイル)を表示する技術が提供されている。例えば、NTTドコモ社のiモーションやM-stage visual、あるいは、KDDI社の ezmovieなどがある。
【００１３】
これらのサービスでは、MPEG-4コーデックなどで圧縮符号化された映像データ(映像クリップあるいは映像ファイル)をサーバに保存し、携帯電話端末に内蔵するデータ通信機能を使ってサーバからダウンロードした上で、同じく携帯電話端末に内蔵するデコーダを使って映像を携帯電話端末の画面に表示する。
【００１４】
また、これらの映像クリップのデータフォーマットは、マイクロソフト社のASF (Advanced Streaming Format)形式や、ISO標準のMP4形式(ISO/IEC14496-1 Amd1 MPEG-4システム Version2)など、インターネットやPCなどで広く普及している形式に準拠している。
【００１５】
さらに、これらのサービスでは、いずれも映像クリップの上限が決められており、例えば、KDDI社のezmovieの場合、240kbytesが上限となっている。
【００１６】
[映像クリップへのリンクやコマンドの関連付け技術]
マイクロソフト社のASF (Advanced Streaming Format)形式やApple社のQuickTime File Formatなどでは、映像クリップにURLなどのハイパーリンク機能を関連付けることができる。例えば、ASFでは、"Script Command Object"を定義することが可能であり、このオブジェクト内に、ASFファイル再生時のタイムラインに同期するように設定したリンク情報をリストできる。さらに、ASFでは、Script Command Objectの名前のとおり、リンク情報ばかりでなく、スクリプトなどのコマンド情報も記述可能となっている。
【００１７】
また、KDDI社のezmovie仕様にも、映像クリップにハイパーリンク機能付きのテキストテロップ(字幕)を追加する機能が備わっている。このテロップ記述言語には、KDDI社のSTML（Synchronous Telop Mark-up Languageの略）を利用する。この機能により、ユーザは、音声通話やメール送信やホームページリンクなどを、映像クリップと関連付けることができる。
【００１８】
【特許文献１】
特開２００２−０８４４４５号公報
【００１９】
【発明が解決しようとする課題】
しかしながら、インターネット上でサービスされている膨大な数のカメラ制御可能なカメラサーバの映像情報を携帯電話端末へサービスする場合、映像情報に付帯するカメラ制御情報(パン、チルト、ズーム、あるいは、制御権などの情報)が適切に利用できないという問題があった。あるいは、利用できた場合でも、PC上などで実行される専用ビューワの利用に比べて、携帯電話向けの映像サービスでは、カメラ制御情報の利用が制限される問題があった。
【００２０】
本発明は、上記問題点に鑑みてなされたものであり、例えばカメラサーバ等の撮像装置によって取得された画像データに、その画像データに付帯する例えば撮像装置の制御情報等の前記撮像装置の状態情報を反映させ、携帯情報端末に対して適切に提供することを可能とする。
【００２１】
【課題を解決するための手段】
本発明の情報処理装置は、一又は複数の携帯情報端末に対して画像データを送信する情報処理装置であって、一又は複数の撮像装置より画像データを取得する画像取得手段と、前記撮像装置を制御可能なソフトウェアであって前記携帯情報端末に搭載されるソフトウェアの起動指示情報を前記画像取得手段にて取得された前記画像データに組み込む処理手段と、前記処理手段により前記ソフトウェアの起動指示情報が組み込まれた前記画像データを前記一又は複数の携帯情報端末に対して送信する画像送信手段とを有することを特徴とする。
本発明の情報処理方法は、一又は複数の携帯情報端末に対して画像データを送信する情報処理装置が行う情報処理方法であって、一又は複数の撮像装置より画像データを取得する取得工程と、前記撮像装置を制御可能なソフトウェアであって前記携帯情報端末に搭載されるソフトウェアの起動指示情報を前記取得工程にて取得された前記画像データに組み込む処理工程と、前記処理工程により前記ソフトウェアの起動指示情報が組み込まれた前記画像データを前記一又は複数の携帯情報端末に対して送信する送信工程とを有することを特徴とする。
本発明のプログラムは、一又は複数の携帯情報端末に対して画像データを送信するコンピュータに、一又は複数の撮像装置より画像データを取得する取得手順と、前記撮像装置を制御可能なソフトウェアであって前記携帯情報端末に搭載されるソフトウェアの起動指示情報を前記取得手順にて取得された前記画像データに組み込む処理手順と、前記処理手順により前記ソフトウェアの起動指示情報が組み込まれた前記画像データを前記一又は複数の携帯情報端末に対して送信する送信手順とを実行させることを特徴とする。
【００２６】
【発明の実施の形態】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
＜第１の実施形態＞
第１の実施形態では、ネットワーク上に配置された多数のカメラサーバから取得したライブ映像を、携帯電話端末向けに変換して送信する例について説明する。
この中で、映像の変換を行い映像クリップを生成する映像変換サーバが、映像に付帯するカメラ制御状態情報(パン、チルト、ズーム、あるいは、制御権などの情報)を反映して、適切な映像クリップを生成する例についても説明する。特に、本実施形態の映像変換サーバでは、映像クリップが作成された時点のカメラ制御状態情報を使って、映像クリップ再生時点のカメラサーバに選択的にアクセスできるよう映像クリップを作成する点に特徴がある。
【００２７】
さらに、映像変換サーバは、携帯電話端末に備わる標準的な映像ビューワ(以下、カメラ制御機能などを備えない意味で「非専用ビューワ」と称する)を用いて再生表示可能な映像クリップを生成した上で、その映像クリップ中に適切なリンク情報を組み込むことで、リンク情報を参照した場合に、カメラ制御機能などを備える専用ビューワ(以下、専用ビューワと称する)に、適切なカメラ制御情報を引き渡すことを可能とする。
【００２８】
図１は、本発明の第１の実施形態に係るライブ映像通信システムの構成を概略的に示した図であり、101および102はライブ映像通信システムによるカメラサーバ、200はネットワークに接続されたPCなどにインストールされたビューワである。カメラサーバとビューワとはそれぞれネットワークに接続され、ビューワからネットワークを介してリクエストがカメラサーバへ送られ、これが受け入れられるとカメラサーバ101、102からビューワ200へ映像データが配送され、ビューワ200でカメラ映像を表示することが可能となる。またビューワ200からカメラ制御コマンドがカメラサーバ101、102へ送られ、カメラのズーム、パン、チルトなどの操作が可能となる。さらに、ネットワーク上には、中継サーバ300が置かれビューワ200とカメラサーバ101、102との通信を中継することがある。
【００２９】
さらに、400は映像変換サーバであり、カメラサーバ101、102が提供する映像データを携帯電話端末向けに変換した上で、携帯電話601、602向けに中継する。また、500はネットワークと携帯電話回線網とを仲介するゲートウェイであり、601および602は、ビューワを搭載した携帯電話端末である。このゲートウェイ500を介して、ネットワークに接続された機器と携帯電話端末601および602とが通信可能となる。なお、携帯電話端末601、602上のビューワプログラムは、典型的には、工場出荷時にインストールされるが、Java（Ｒ）プログラムのように実行時(利用時)にダウンロードされて実行される形態であっても良い。
【００３０】
図１のネットワークは企業あるいは組織内で運用されるイントラネットである場合もあり、広く世界をつないでいるインターネットである場合もある。また、中継サーバ300や映像変換サーバ400は、典型的には、インターネットイクスチェンジ(IX)やデータセンター(IDC : Internet Data Center)に配置され、通信負荷の軽減を図るよう設計される。
【００３１】
図２は、映像変換サーバ400を動作させるハードウェア構成の一例を示したものであり、サーバ向けコンピュータ、より詳細には、プログラムやデータを格納する記憶装置401、ネットワークと接続するためのネットワークI/F402、プログラムによる各種の処理を実行するCPU403、などからなる。記憶装置401は、主記憶装置となるRAM、フラッシュメモリやHD装置などからなる二次記憶装置、および、プログラムを媒体からロードするためのFD装置などから構成される。また、図示しないが、設定などを行うための入出力装置を備える場合もある。具体的には、ディスプレイを接続する表示装置、キーボードやマウスなどのコントローラなどである。
【００３２】
図３はカメラサーバ101、102のハードウェア構成の一例を示したものであり、実際に撮像を行うカメラ装置とコンピュータ、より詳細には、プログラムやデータを格納する記憶装置1011、映像データを取り込むための映像キャプチャボード1012、カメラ装置にコマンドを送るためのシリアルI/F1013、ネットワークと接続するためのネットワークI/F1014、プログラムによる各種の処理を実行するCPU1015、などからなる。記憶装置1011は、主記憶装置となるRAM、フラッシュメモリやHD装置などからなる二次記憶装置、および、プログラムを媒体からロードするためのFD装置などから構成される。
【００３３】
また、図示しないが、設定などを行うための入出力装置を備える場合もある。具体的には、ディスプレイを接続する表示装置、キーボードやマウスなどのコントローラなどである。さらに、図示しないが、カメラサーバは、カメラ装置とコンピュータとが一体化されたサーバ内蔵型ネットワークカメラで構成されても良い。
【００３４】
図４はビューワを動作させるハードウェア構成の一例を示したものであり、携帯電話端末を使ってビューワを動作させる場合について説明している。より詳細には、プログラムやデータを格納する記憶装置6011、携帯電話網と接続するための無線通信I/F6012、プログラムによる各種の処理を実行するCPU6013、および、周辺装置などからなる。記憶装置6011は、主記憶装置となるRAM、フラッシュメモリなどからなる。周辺装置は、携帯電話端末上に配置されたボタンやスイッチ類などの入力装置、ディスプレイなどの表示出力装置、および、マイクロフォンやスピーカなどの音声入出力装置を含む。
【００３５】
図５はプログラムを構成する部分を模式化した図であり、カメラサーバ101内にはカメラの制御を司るカメラ制御サーバ101aと映像の配送を司る映像サーバ101bの２つのモジュールを含む。同様に、携帯電話端末上で動作するビューワ内にはカメラ制御コマンドの発行やカメラ状態通知に対応するカメラ制御部601a、映像クリップの表示を担当する映像表示部601bを含む。
【００３６】
さらに、映像変換サーバ400には、カメラ制御コマンド列(以下、PTZシーケンスと称す)を解釈し、カメラサーバ101にカメラ制御命令を発行するカメラ制御部400a、ならびに、カメラサーバ101から映像を取得し、携帯電話向けに変換し、さらに、それを携帯電話網向け映像クリップに編集するモジュール(映像取得部400b、映像変換部400c、映像送信部400d)、がそれぞれ含まれる。
【００３７】
図６は、携帯電話上で映像クリップを再生表示する非専用ビューワの動作の流れを示す図である。
ステップS601で、まず、映像変換サーバ400の識別子を入手する。これは、ユーザが直接キー操作により識別子を入力するのでも良いし、メイルやウェブページに含まれる識別子を選択するのであっても良い。また、この場合の識別子は、典型的には映像変換サーバ400を識別するURLである。
【００３８】
続いて、ステップS602で、映像変換サーバ400が接続すべきカメラサーバ101、102の識別子、そのカメラサーバ101、102に指示するカメラ制御用のPTZシーケンス、および、ユーザ識別子やパスワードなどアクセス制御用のユーザ識別情報を入手する。カメラサーバ識別子やPTZシーケンスは、ユーザが直接キー操作によりカメラ制御コマンドを構成するよう入力する方法でも良いし、メイルやウェブページに含まれるカメラサーバ識別子やPTZシーケンスから選択する方法であっても良い。また、PTZシーケンスは、空であっても構わない。この場合、カメラ制御を伴わないカメラサーバ101、102の現状の映像クリップを意味する。また、ユーザ識別情報は、通常、ユーザが直接キー操作により入力するが、空であっても構わない。この場合、通常ユーザとしてのカメラサーバ101、102への接続を意味する。
【００３９】
続いてステップS603で、ゲートウェイ500を経由して、入手した映像変換サーバ400の識別子に基づき映像変換サーバ400の映像送信部に接続する。さらにステップS604で、携帯電話ビューワは、映像変換サーバ400に映像クリップを要求する。この要求は、要求する映像クリップの作成方法の指定などを含み、例えば、HTTPプロトコルに則り送信される。この際、PTZシーケンスを入手している場合には、そのPTZシーケンスを映像変換サーバ400に送信する。この要求およびPTZシーケンスの送信は、HTTP接続のGETメソッドでURLに組み込んでも良いし、HTTP接続のPOSTメソッドで送信されても良い。
【００４０】
ここでは、POSTメソッドで送信される場合について説明する。例えば、以下の通りである。なお、実際には、URLエンコードが適用されるが、以下では、説明の都合上URLエンコードを適用していない部分もある。
POST /getvideoclip/ HTTP/1.1
Host: 202.28.30.208:8080
User-Agent: MozilePhone/2.0 C2101V(c100)
Pragma: no-cache
videoencodeparam=QCIF:fps15.0:bps64000:intraframe5:me8
cameraservers=webview://162.61.5.22:6513+6514;webview://201.218.187.23:6513+6514;webview://150.122.43.154:6513+6514;
PTZ=HZ15_30S3_40C2S4_25P-10_20Z-15S3_15S4_40P-10_20H_3P10_1P5_1P5_1P5_1P5_1P5C3S4_10P-20_20H_5P-60_3P5_3P5_3P5
moviesizemax=240kbytes
notifyto=mailto:riyousha3@mailserver.usersite.co.jp
userid=331245
userpw=15215294
【００４１】
ただし、「videoencodeparam=」に続く部分は、映像変換サーバ400がカメラサーバ101、102から受取ったソース映像を携帯電話向けにエンコードする際のパラメータ情報を指示するものである。また、「cameraservers=」に続く部分は、映像変換サーバ400が接続するカメラサーバ101、102を指定している。また、「PTZ=」に続く部分は、映像変換サーバ400がカメラサーバ101、102に関して実行すべきカメラ制御のコマンドを並べたPTZシーケンスを指定している。また、「moviesizemax=」に続く部分は、携帯電話端末あるいは携帯電話網が規定する映像クリップの最大サイズを指定している。また、「notifyto=」に続く部分は、映像クリップ作成時に通知すべき連絡先である、例えば、携帯電話端末ユーザのメイルアドレスを指定する。また、「userid=」と「userpw=」とに続く部分は、それぞれ、ユーザ識別子とパスワードとである。
【００４２】
この中で、PTZシーケンスの構成要素は、以下のような意味を持つ。nは、数値データ(正負あり)である。
Pn パン(水平方向カメラ制御)指定
Tn チルト(垂直方向カメラ制御)指定
Zn ズーム指定
Bn 逆光補正。逆光補正のON/OFF
H ホームポジション指定
Sn プリセット位置指定。n番目のプリセット位置
Cn カメラサーバ接続切換え指定。n番目のカメラサーバ
Kn カメラサーバ内カメラ切換え指定。n番目のカメラ
_n 時間経過指定。0.1秒単位
【００４３】
続いて、ステップS605で、映像変換サーバ400からのレスポンスを待つ。続いて、ステップS606で、映像変換サーバ400から受取ったレスポンスを解釈して携帯電話端末の表示装置に表示する。例えば、図１５（ａ）の通りである。もしも、映像変換サーバ400からのレスポンスが、何らかの理由からすぐに映像を生成できないことを示す内容であった場合には、ステップS607に進む。反対に、映像をすぐに生成できたことを示す内容であった場合には、ステップS608に進む。
【００４４】
ステップS607では、映像変換サーバ400からのメイル通知を待受ける。メイル通知は、例えば、SMTP (Simple Mail Transfer Protocol)によるが、SMS(Short Message Service)であってもよい。メイル通知を受取った場合には、そのメイル内容を映像変換サーバ400からのレスポンスとして表示し、ステップS608に進む。例えば、図１５（ｂ）の通りである。
【００４５】
ステップS608では、レスポンスに含まれる映像クリップの一つを選択し、ダウンロードして再生表示する。例えば、図１５（ｃ）の通りである。ここでは、ダウンロード完了を待っているが、映像クリップの再生表示処理は、ダウンロード完了を待たず、表示再生可能な映像クリップデータが揃った時点で、再生表示処理を開始しても良い。
【００４６】
なお、携帯電話ビューワでの映像クリップ表示中に、携帯電話端末ユーザがクリックした場合には、クリック時点に表示中の映像データ(映像区間、または、映像セグメントと呼ぶ事がある)に対応するリンク情報が映像クリップから抽出され、携帯電話端末に備わるブラウザ機能を使って、そのリンク情報が示すリンク先情報にアクセスする。リンク先情報へのアクセスでは、カメラ制御を可能とする専用ビューワを起動するが、携帯電話端末の設定によっては、設定されたアクションを行う場合もある。例えば、アクセスされたリンク情報をメイル添付したメイルの発信である。
【００４７】
図１９は、専用ビューワの動作の流れを示した図である。
ステップS651で起動時に指示されたカメラサーバ101を構成する映像サーバ101bのアドレスおよび接続ポートの情報に従い、映像サーバ101bへ接続する。この時、複数のカメラサーバ101、102が指示されている場合には、ダイアログをポップアップ表示して、いずれのカメラサーバに接続すべきかユーザに問合せる。
【００４８】
ここで、接続以降の処理を行うための動作プログラム（実現方法としては、スレッドあるいはプロセスの起動となる）が起動され、このプログラムは終了までステップS661を繰り返す。ステップS661では、映像サーバ101bからの映像データが届くたびにそれを受け取り表示する。
【００４９】
さらにメインのプログラムはステップS652で、同じく起動時に指示されたカメラ制御サーバ101aのアドレスおよび接続ポートの情報に従い、カメラ制御サーバ101aへ接続する。そして、これ以降メインプログラムはユーザからの操作要求を受け付け、実行するメインループへ続く。
【００５０】
まず、ステップS653でユーザの操作をキーボタン操作などから受け取る。これがカメラ制御に関する場合にはステップS654でカメラ制御サーバ101aへコマンドを発行する。また、映像サーバ101bに関する場合にはステップS655で映像サーバ101bへコマンドを発する。
【００５１】
また、ユーザの操作がビューワの状態を変更する操作（例えば、表示サイズの変更操作など）の場合にはステップS656で内部状態を更新する。そして、ユーザの操作が終了の場合には、ステップS657でビューワの動作に関連する各プログラムを順次終了する。S654〜S657の処理が完了するとS653へ戻り、ユーザの操作入力を待つ。
【００５２】
携帯電話端末上で動作する専用ビューワは、携帯電話端末の出荷時に備わるソフトウェアとして実装される場合もあるが、Java（Ｒ）プログラムのようにネットワークからダウンロードして実装されるソフトウェアである場合もある。
【００５３】
図７は、カメラサーバ101内のカメラ制御サーバ101aの動作の流れを示した図である。カメラ制御サーバ101aはまず起動時にステップS701で特定のファイル（OSによってはレジストリなどのシステムデータベース）からカメラ制御サーバ101aの動作設定情報を読み出して、それに基づき動作を開始する。ここでクライアントであるビューワプログラムや映像変換サーバ400からのリクエストを受け付けるポートを開き、続いて、ステップS702のリクエスト受付状態に入る。リクエスト（接続リクエストもしくは操作コマンドリクエスト）が受け付けられたら、S702を抜け、接続リクエストならばステップS703で接続の可否の判定を行う。否ならば接続拒否のエラーコードを返し、S702に戻る。可ならば、ステップS704で接続処理として、クライアントからのコマンドの受付処理を行うスレッドを生成し、クライアントの登録を行ってから、S702に戻る。
【００５４】
生成されたスレッドでは、ステップS707で対応するクライアントからのコマンドの受付を行う。コマンドが届いたならば、それを受け付け、カメラ操作を行う主プログラムへ受け渡す。主プログラムはステップS702でこれを受け、操作コマンドに対してはステップS705へ進み、操作コマンドを発行したスレッドが接続しているクライアントの権限に応じてカメラ操作を行って、その結果（操作が成功か失敗かを示すコードなど）をカメラ操作要求を受け付けたクライアント対応のスレッドへ伝える。このクライアント対応のスレッドはステップS708で結果をクライアントへ送り返す。主プログラム部分では、ステップS706でカメラの操作により変化した状態（たとえば、パン・チルト・ズームの値、および、禁止エリア検出の有無などを含むカメラ状態情報など）を全てのクライアント対応のスレッドに伝える。
【００５５】
各クライアント対応のスレッドは、ステップS709でカメラ制御状態の変化をクライアントへ通達する。クライアント対応のスレッドはクライアントから接続終了のコマンドを受けたならば、それを主プログラムへ通達し、さらにステップS710で自身のスレッドを終了する。尚、操作コマンドの扱いにおいては、具体的な操作コマンドの発行の前に、カメラ操作権の割り当て要求を必要とすることも可能である。これは複数の人間がカメラの操作を要求するような状況での混乱を無くす。この場合、まず、クライアントからはカメラ操作権獲得の要求コマンドが発行され、これに対して、カメラ制御サーバ101aは現在のカメラ制御権の割り当て状態から、拒絶・割り当て・順番待ちを選びクライアントへ返答する。
【００５６】
カメラ制御権は前もって定められた特定の時間か、クライアントが接続を終了するまでの短いほうの時間で剥奪され、次の順番待ちの人に割り当てられる。順番待ち人数はやはり前もって定められた人数（たとえば5人）に制限され、それ以上のリクエストは拒絶される。クライアントはカメラ制御権が獲得されてから剥奪されるまでの間だけ、操作コマンドを発行する。カメラ制御サーバ101aはカメラ制御権が付与されているクライアントからの操作コマンドのみを受け付ける。
【００５７】
また、特権ユーザからの接続に関しては、優先的にカメラ操作権を割り当てられる点、および、操作コマンドが禁止エリアを含む撮像領域へのカメラ制御であっても許可される点などが、通常ユーザからの接続とは異なる。
【００５８】
図８はカメラサーバ内の映像サーバの動作の流れを示した図である。
映像サーバ101bは、まず起動時にステップS801で特定のファイル（OSによってはレジストリなどのシステムデータベース）から映像サーバ101bの動作設定情報を読み出して、それに基づき動作を開始する。ここで、映像の獲得と符号化と蓄積を行うスレッドを生成し（最初このスレッドは休止状態）、クライアントであるビューワプログラムや映像変換サーバからのリクエストを受け付けるポートを開き、続いて、ステップS802のリクエスト受付状態に入る。
【００５９】
リクエスト（接続リクエストもしくはコマンドリクエスト）が受け付けられたら、S802を抜け、接続リクエストならばステップS803で接続の可否の判定を行う。否ならば接続拒否のエラーコードを返し、S802に戻る。可ならば、ステップS804で接続処理として、クライアントごとのセッションを識別するためのセッション識別子を生成し、クライアントからのコマンドの受付処理を行うスレッドを生成し、接続リクエストを発行したクライアントのアクセス権情報などに則してクライアントの登録を行い、S802に戻る。なお、この際、リクエスト内容がライブ映像への接続であり、かつ、映像の獲得と符号化を行うスレッドが休止状態ならば、S802に戻る前に、動作開始を指示する。
【００６０】
生成されたクライアント対応のスレッドでは、ステップS807で対応するクライアントからのコマンドの受付を行う。コマンドが届いたならば、それを受け付け、映像処理を行う主プログラムへ受け渡す。主プログラムはステップS802でこれを受け、操作コマンドに対してはステップS805へ進み、映像の獲得や符号化・送信などに関する設定の変更操作を行って、その結果（操作の成功か失敗を示すコード）をコマンド要求を受け付けたクライアント対応のスレッドへ伝える。
【００６１】
クライアント対応のスレッドはステップS808で、この結果をクライアントへ送り返す。主プログラム部分では、ステップS804からの映像の獲得と符号化を行うスレッドへの動作開始の指示により、ステップS806では前もって設定された時間間隔で映像データを映像キャプチャボードを使って獲得し、これを圧縮データに変換する。さらにこの圧縮データを、ライブ映像に接続している全てのクライアント対応のスレッドに伝える。
【００６２】
各クライアント対応のスレッドはステップS809で、クライアントからの次映像フレーム送信要求の有無を判定し、要求があるならば、圧縮データをクライアントへ配送する。この際、禁止エリアが検出されている場合には、登録されているクライアント情報に照らして、特権ユーザの接続以外には、禁止エリアに該当しているため圧縮データを配信しない旨(禁止エリア検出通知)を通知する。
【００６３】
そして、ライブ映像に接続しているクライアント対応のスレッドが、クライアントからの次映像フレーム送信要求（これはクライアントでの圧縮映像データの受け取り完了に対して、送り返されるのが一般的である）を受け取った場合には映像フレーム送信要求のフラグを設定する。また、クライアントから接続終了のコマンドを受けたならば、それを主プログラムへ通達し、さらにステップS810で自身のスレッドを終了する。
【００６４】
図９は、PTZシーケンスを作成する時の携帯電話の様子を例示した図である。
PTZシーケンスを作成する際には、携帯電話端末のキーに図示のように、パン（カメラの横振り）、チルト（カメラの縦振り）、ズーム(拡大倍率変更)、逆光補正などの機能が割り当てられる。なお、この画面は図６を用いて説明したPTZシーケンス入手操作を行うためのUI（ユーザインタフェース）であり、ここで作成されたPTZシーケンスは、S602へ送られる。
【００６５】
次に、PTZシーケンスの作成の流れを図１６に示す。
まず、ステップS901で、事前に取得したカメラサーバの識別子を使って、カメラサーバのカメラ制御によって可視範囲に入る画像を合成したパノラマ画像、事前にカメラサーバに設定されているカメラ制御情報(プリセット情報)、および、現在のカメラ状態パラメータ(パン角、チルト角、ズーム値など)を、カメラサーバから取得する。
【００６６】
次に、ステップS902で、PTZシーケンスの初期値として空データを設定し、また、表示用カメラ状態パラメータおよび設定用カメラ状態パラメータとして取得した現在のカメラ状態パラメータを設定する。次に、ステップS903で、表示用カメラ状態パラメータに従って、可視領域を計算し、可視領域に相当する画像をパノラマ画像から切り出して携帯電話端末の画面に表示する。
【００６７】
次に、ステップS904で、ユーザからのキー入力を受取る。キー入力が、カーソルキーによる可視領域の変更、あるいは、プリセット位置への移動の指示であった場合には、ステップS905で、表示用カメラ状態パラメータを変更し、ステップS903に進む。キー入力が、PTZシーケンスを追加/修正などの編集指示であった場合には、ステップS906で、PTZシーケンスの値を変更し、ステップS903に進む。PTZシーケンス追加の場合には、その時点の表示用カメラ状態パラメータと設定用カメラ状態パラメータとの差分から制御すべきカメラ制御値を計算し、そのカメラ制御値をPTZシーケンスに追加する。そして、表示用カメラ状態パラメータを設定用カメラ状態パラメータの新しい値とする。
【００６８】
キー入力が、PTZシーケンス作成の終了を指示する場合には、ステップS907に進んだ上で、決定やキャンセルを判定し、決定である場合には、PTZシーケンスをS602へ送り、処理を終了する。
【００６９】
図１０は、カメラサーバの用いる設定値、すなわちカメラ制御サーバや映像サーバが読み出す動作設定情報を特定のファイル（OSによってはレジストリなどのシステムデータベース）に設定するカメラサーバ設定プログラムの表示画面の一例を示した図であり、カメラ制御サーバ、映像サーバ、動画品質、接続制限事項などに関する各種のパラメータ（後述）を設定できるようになっている。OKボタンを押すと設定した値が特定のファイルあるいはレジストリに書き込まれ、キャンセルすると書き込まれずに終了する。
【００７０】
図１１は、図１０のカメラサーバの設定プログラムの動作を示す流れ図である。
設定プログラムは起動時にまずステップS1101でカメラ制御サーバおよび映像サーバに関する設定情報を格納した特定のファイル（OSによってはレジストリなどのシステムデータベース）から設定情報を読み出し、内部データに設定する。以降、ユーザの操作入力を受け取り、実施するループを繰り返す。
【００７１】
ステップS1102でユーザの操作入力を待ち、入力があればそれを受け取り、続いてステップS1103で入力された値が適正範囲内であるか否かを判定し、適正でなければステップS1104でエラーメッセージを出力して、値を戻して、ユーザの入力待ちS1102へ戻る。適正範囲内であるならば、内部データを更新して、S1102に戻る。ここで設定できる値には次の項目がある。カメラ制御の通信用のTCPポート番号、カメラと接続するCOM（シリアル）ポート、シャッタースピード、カメラ制御関連のログ情報の有無とログファイル名、映像関連の通信用のTCPポート番号、ログ情報の有無とログファイル名、映像をキャプチャする時間間隔を規定するフレームレートと圧縮の品質を決めるQ-Factor、圧縮の元データの画面サイズ、１つのクライアントビューワの最大接続時間、カメラ制御に関する制御権の順番待ち人数、１つのビューワの制御権保持占有時間、映像とカメラ制御に関する接続可能な最大クライアント数などである。
【００７２】
ユーザからの入力がOKボタンの場合には、ステップS1102からステップS1105に進み、更新された内部データをカメラ制御サーバおよび映像サーバに関する設定情報を格納する特定のファイルなどへ書き出し、ステップS1106で変更を反映するためにカメラサーバを再起動するかを尋ねるパネルを出す。再起動する場合にはステップS1107でカメラ制御サーバや映像サーバなどを再起動して、ステップS1108で設定プログラムを終了する。再起動しない場合にはステップS1106から直接ステップS1108に進み、終了する。また、ステップS1102でのユーザの入力がキャンセルボタンである場合には、ステップS1102から直接ステップS1108に進み、終了する。
【００７３】
図１２は、映像変換サーバにおける映像データの大まかな流れを、模式的に示した図である。
カメラサーバから送信されたソース映像データ(Motion JPEG、QVGAサイズ320x240)は、映像変換サーバのカメラサーバ向け通信スタックを経由して受信され、JPEGデコーダに渡され、続いて、携帯電話向けに設定されたMPEG-4 エンコーダに渡され、携帯電話向け映像データ(MPEG-4 simpleprofile, QCIFサイズ176x144, 64Kbps)に加工された上で、映像クリップとして、携帯電話網向けの通信スタックを経由して、携帯電話ビューワへと送信される。
【００７４】
図１３は、映像変換サーバ400の動作を示した流れ図である。
映像変換サーバ400は、まず起動時にステップS1301で特定のファイル（OSによってはレジストリなどのシステムデータベース）から映像変換サーバの動作設定情報を読み出して、それに基づき動作を開始する。ここで、クライアントである携帯電話ビューワプログラムからのリクエストを受け付ける通信ポートを開き、続いて、ステップS1302のリクエスト受付状態に入る。
【００７５】
リクエスト（HTTPリクエストのメッセージなど）が受け付けられたら、S1302を抜け、ステップS1303で接続の可否の判定を行う。否ならば接続拒否のエラーコードを返し、S1302に戻る。可ならば、ステップS1304で接続処理として、クライアントとの情報の受渡しを行うクライアント対応スレッドを生成し、クライアントの登録を行い、S1302に戻る。
【００７６】
生成されたクライアント対応スレッドでは、ステップS1311で対応するクライアントからのリクエストを読み込み、内容を解析する。リクエストは、例えばHTTPリクエストとして映像変換サーバ400に渡される。なお、HTTPリクエストには、POSTメソッドが使われる場合もあり、GETメソッドが利用される場合もある。
【００７７】
次に、ステップS1312で、リクエスト内容からエンコードパラメータ情報(映像変換パラメータ)、カメラサーバへの接続情報(ソース映像情報)、PTZシーケンス、映像クリップの最大サイズ(映像クリップ上限値)、通知先情報(通知先アドレス)、および、ユーザ識別子やパスワードなどユーザ識別情報を取り出す。これらは、それぞれ「videoencodeparam=」、「cameraservers=」、「PTZ=」、「moviesizemax=」、「notifyto=」、「userid=」、「userpw=」の値として指示されている。
【００７８】
映像変換パラメータは、変換用コーデックの選択やそのコーデックへのパラメータ、および、コーデック入力用/出力用のデータ形式などを記述している。ソース映像情報とは、例えば、ライブ映像を提供するカメラサーバのネットワークアドレスとポート番号などの通信属性情報である。通知先アドレスとは、例えば、ユーザの携帯電話端末を指定したメイルアドレスである。
【００７９】
次に、ステップS1313で、リクエストに対するレスポンスとして、「すぐに映像を生成できないので、しばらくしてメイル連絡します」との旨を示す情報を返す。次に、ステップS1314で、ソース映像情報およびユーザ識別情報に従って、映像取得部を初期化する。具体的には、ソース映像を提供するカメラサーバに接続し、ソース映像取得を開始する。
【００８０】
そして、ステップS1315に進み、映像変換パラメータに従って映像変換部を初期化する。この映像変換部は、MPEG-4エンコーダなどから構成される。そして、ステップS1316に進み、映像送信部を初期化する。この際、映像送信部に映像クリップ上限値、および、通知先アドレスを指示する。
【００８１】
さらに、ステップS1317に進み、映像取得部から映像変換部へ、映像変換部から映像送信部へとそれぞれの処理データが受渡しされるように相互の関連付けを行った上で、カメラ制御部がPTZシーケンスに従ってカメラサーバのカメラ制御を行う。そして、ステップS1318に進み、映像取得部、映像変換部、映像送信部の後処理を行う。そして、ステップS1319に進み、クライアント対応スレッドを終了する。
【００８２】
次に、映像変換サーバの中で機能している映像取得部、映像変換部、映像送信部、カメラ制御部について順次説明する。
映像取得部は、まず、初期化時に受取ったソース映像情報およびユーザ識別情報に従って、ライブ映像を提供するカメラサーバに接続する。そして、カメラサーバから映像データを取得し、取得時のタイムスタンプを付与して映像データを映像変換部へ渡す。本実施形態におけるカメラサーバは、映像データをMotion JPEG形式で提供するので、タイムスタンプが付与されるのは、個々のJPEGデータである。
【００８３】
また、カメラ制御部からカメラサーバ接続切換え指定を受けた場合には、指示内容に従って、接続先カメラサーバを切り換える。また、カメラサーバから禁止エリア検出を通知された場合には、映像データに代えて禁止エリア検出通知を映像変換部へ渡す。
【００８４】
次に、映像変換部では、まず、初期化時に受取ったコーデックへのパラメータ、および、コーデック入力用/出力用のデータ形式などをMPEG-4エンコーダに設定する。そして、映像取得部から受取ったソース映像データを、コーデック入力用のデータ形式および画像サイズに整えてからMPEG-4エンコーダに入力し、その処理結果を映像送信部へ渡す。本実施形態における映像変換部では、JPEG形式のソース映像データを予めQCIFサイズかつYUV411形式に整えてからMPEG-4コーデックへ入力し、生成されたMPEG-4データ(I-frameまたはP-frame)を映像送信部へ受け渡す。この際、映像取得部で付与されたタイムスタンプも併せてMPEG-4コーデックへ入力される。
【００８５】
なお、映像取得部から禁止エリア検出が通知されている場合には、カメラ制御を制限された領域であって映像を表示できない旨を示す合成画面を、ソース映像データに代えて、MPEG-4コーデックへ入力する。
【００８６】
次に、映像送信部では、まず、初期化時に受取った映像クリップ上限値に従ってメモリ領域を確保する。そして、映像変換部が生成した携帯電話向け映像データを受取り、確保したメモリ領域に保持する。さらに、映像送信部では、禁止エリア検出通知を受け取った時点で、メモリ領域の利用率をも加味した上で、映像クリップの分割点を決定する。そして、分割点と判断した場合には、携帯電話向け映像クリップのデータフォーマットに準拠したヘッダ情報を前置して、メモリ領域に保持している映像データをファイルとして保存し、メモリ領域を再利用する。これによって、映像クリップが複数のファイルに分割保存される。
【００８７】
また、映像送信部では、映像取得部で得られるカメラ制御状態情報を受け取り、時間軸に沿って保持する。そして、予め設定されている時間周期でカメラ制御状態情報から、カメラ制御状態情報に相当するカメラ制御シーケンス(PTZシーケンス)を生成して、そのPTZシーケンスをパラメータとする専用ビューワの起動指示をリンク情報として映像クリップに組み込む。例えば、隣接するカメラ制御状態情報の差分からPTZシーケンスを構成するが、PTZシーケンス初期値を指定する場合やプリセット位置やホームポジションなどと一致する場合には、絶対値指定を指示する。この際、図１４に示すように、ある映像データの区間(映像セグメント)に対応するリンク情報には、時間軸を逆方向に過剰な長さのカメラ制御シーケンスを割当てる。すなわち、映像クリップ中で隣接するリンク情報には、重複したカメラ制御シーケンスが冗長に割当てられることになる。
【００８８】
また、映像送信部は、一定周期のタイミングで映像データを区分分割し、複数の映像区間を順番に連結した上で、それぞれの映像区間にPTZシーケンスを関連付ける。複数の映像区間を順番に連結する際には、各映像区間の時間、優先度及び関連性等を反映させる。尚、映像データを区分分割するタイミングは、カメラサーバの所定事象の発生時としても良い。ここで、映像区間の優先度及び関連性は、例えば、カメラサーバに対する制御頻度、制御回数及びカメラサーバにおける発生事象内容等のカメラサーバ側の属性、或いは、例えば、携帯電話ユーザの個人情報及び好み設定等の携帯側の属性に基づいて決定される。
【００８９】
さらに、カメラサーバ切り換えが行われた直後の映像区間に対応するリンク情報では、カメラサーバ切り換え前後のカメラサーバ接続情報の指定を追加する。そして、カメラ制御部からPTZシーケンスの終了を通知された時点で、メモリ領域に保持している映像データの残りを同様にファイルとして保存した上で、それまでに保存している複数の映像クリップへのリンク情報を埋め込んだ携帯電話端末への通知情報を作成し、初期化時に受取った通知先アドレスへ通知する。これによって、通知情報を受取った携帯電話端末から各映像クリップへのダウンロード要求を可能とする。なお、映像送信部は、HTTPサーバ機能を備えており、携帯電話端末からのHTTP利用の映像クリップのダウンロード要求に対応する。
【００９０】
次に、カメラ制御部では、PTZシーケンスを解釈して、カメラサーバに送るべきカメラ制御コマンドを作成し、PTZシーケンスに指示されたタイミングで作成したカメラ制御コマンドをカメラサーバに送信することで、カメラサーバのカメラ制御を行う。また、PTZシーケンス中にカメラサーバ接続切換え指定を見つけた場合には、映像取得部にその旨を指示する。そして、PTZシーケンスを解釈し終えた時点で、PTZシーケンスの終了を映像送信部に通知する。
【００９１】
以上の構成で、携帯電話端末上に実装された映像クリップビューワを使うユーザは、映像変換サーバに映像クリップを要求することができる。そして、映像変換サーバの機能により、映像クリップが作成された時点のカメラ制御状態情報を、映像クリップ再生ユーザが利用可能となる。特に、膨大な数のカメラサーバが存在する際に、ユーザの求めるカメラ制御およびその結果得られた映像を提供することが可能となる。
【００９２】
以上で、ネットワーク上に配置されたカメラサーバから送られるライブ映像を、携帯電話端末向け映像クリップに変換してユーザに提供することができる。特に、本実施形態の映像変換サーバでは、カメラサーバのカメラ制御状態情報を反映した映像クリップを生成する点に特徴がある。
【００９３】
本実施形態では、携帯電話網とネットワークとを結ぶゲートウェイとは独立にネットワーク上に映像変換サーバが実装される例について説明しているが、映像変換サーバがゲートウェイの一部として実装されても良い。また、映像変換サーバとゲートウェイとがVPN(Virtual Private Network)なども含めて専用線で接続されるような接続形態も容易に想像できる。
【００９４】
また、本実施形態では、HTTP通信を用いて携帯電話ビューワと映像変換サーバとが通信する例について説明しているが、この通信は、SMTP(Simple MailTransfer Protocol)を用いた通信であっても良い。また、携帯電話ビューワと映像変換サーバとのHTTP通信やSMTP通信は、SSL(Secure Socket Layer)などの併用により、安全な通信経路を利用しても良い。
【００９５】
本実施形態では、電話ビューワがカメラ制御コマンド列(PTZシーケンス)を発行することで、カメラ制御を行うユーザと映像クリップ要求するユーザとが同一である例について説明しているが、カメラ制御コマンドを発行するユーザは別のユーザであっても良い。例えば、あるユーザがPC上の専用ビューワなどを利用してカメラ制御を行っている際に、別のユーザが映像クリップを要求するような事例である。
【００９６】
さらに、SMTP通信などを利用して映像クリップを要求する場合には、映像クリップ要求ユーザと映像クリップ受信ユーザとが異なっていることも考えられる。この場合には、映像クリップ要求ユーザのアクセス権限と映像クリップ受信ユーザのアクセス権限との何れか一方あるいは両方を評価して、映像クリップ生成に反映することが考えられる。
【００９７】
本実施形態では、設定された一定の周期でカメラ制御シーケンスを含むリンク情報を生成し、映像クリップに組み込む例について説明しているが、リンク情報の生成のタイミングは、一定周期に限定されない。例えば、カメラ制御状態情報の変化値の累積値が所定の条件を満たしたタイミングであっても良い。また、映像データ自体の変化値(例えば、画像認識されるオブジェクトの個体数の変
化)が所定の条件を満たしたタイミングであっても良い。
【００９８】
また、本実施形態の映像送信部で生成しているカメラ制御シーケンスは、映像取得部から得られるカメラ状態情報に基づき生成しているが、これは、カメラ制御部が解釈しているPTZシーケンスから部分シーケンスを切り出すことで生成しても良い。この方法の場合、映像クリップ作成を要求したユーザの意図に一層近いカメラ制御シーケンスが得られる一方で、禁止エリアへのカメラ制御などを含む場合には、映像データと同期しないカメラ制御シーケンスが生成されるという得失がある。
【００９９】
本実施形態の映像送信部では、映像クリップ中のある映像データ区間に対応するリンク情報に、隣接する映像データ区間の時間中のカメラ制御シーケンスを割当てられる例について説明しているが、割当てられるカメラ制御シーケンスの長さ(あるいは時間)は、映像データ区間の時間と従属する必要は無い。典型的には、映像変換サーバに事前設定された固定長(時間)であっても良い。また、
割当てられるカメラ制御シーケンスの長さ(時間)は、各種の事象の発生に依存することも容易に想像できる。
【０１００】
本実施形態では、カメラサーバから取得した映像を携帯電話向け映像クリップに変換して送信する例について説明したが、映像クリップの形式は、携帯電話向け映像クリップに限定されない。例えば、マイクロソフト社のWindows（Ｒ） MediaPlayerでは、ISO標準のMPEG-4コーデックにも対応するため、本実施形態の映像送信部が映像クリップを生成する時点で、マイクロソフト社のASF形式に準拠したデータフォーマットに整形し、かつ、そのフォーマットの中でMPEG-4コーデックを指定することで、Windows（Ｒ） MediaPlayerでの再生が可能となる。同様にして、Apple社 QuickTime File Formatに準拠することで、QuickTimePlayerにも対応可能である。
【０１０１】
また、映像クリップへのリンク情報組込みとして、本実施形態では、カメラ制御情報を組み込む例について説明しているが、例えば、映像クリップの末尾では、カメラ制御情報の如何に関わらず、現在のカメラサーバに接続するリンク情報を組み込むことも容易に想像できる（図１７（ａ））。また、カメラ制御コマンドをリンク情報として組み込む場合、そのカメラ制御コマンドが行おうとしている制御を説明するテロップを映像に挿入することも考えられる（図１７（ｂ））。また、映像変換サーバに事前設定されたリンク情報（例えば、広告情報へのリンク情報）を組み込むことも容易に想像できる。さらに、これらの複数種類のリンク情報が混在していても良い。
【０１０２】
本実施形態では、携帯電話端末のユーザが非専用ビューワを使って映像クリップ再生中にクリックを検出すると、その時点で、専用ビューワを起動する例について説明したが、クリック時のアクションは、これに限定されない。例えば、リンク情報中に指定されたカメラ制御情報を使って制御した映像クリップを再生成するアクションであっても良い。
【０１０３】
＜第２の実施形態＞
（サーバ側に制御識別子の管理表を保持、間接制御）
本発明の第２の実施形態では、第１の実施形態同様、インターネット上に配置された多数のカメラサーバから取得したライブ映像を、携帯電話端末向け映像クリップに変換して送信する例について説明する。特に、本実施形態では、映像変換サーバがカメラ制御情報履歴の管理表を保持する点に特徴がある。
【０１０４】
本実施形態では、ネットワークの接続形態やハードウェア構成、および、各ソフトウェアの動作の多くは、第１の実施形態で説明した通りである。ただし、図１３で示した映像変換サーバの一部の動作が第１の実施形態とは異なる。
【０１０５】
本実施形態では、映像変換サーバの映像送信部が次のように動作する。本実施形態の映像送信部は、映像クリップへ組み込むリンク情報の記述が映像変換サーバ内部に管理するカメラ制御情報履歴の管理表を参照する専用ビューワの起動となる点で、第１の実施形態の映像送信部と異なる。
【０１０６】
第２の実施形態の映像送信部では、まず、第１の実施形態と同様、受け取ったカメラ状態情報を時間軸に沿って保持し、そこからカメラ制御状態情報に相当するカメラ制御シーケンス(PTZシーケンス)を生成するが、この際、生成したPTZシーケンスやカメラサーバ接続情報を直接リンク情報として映像クリップに組み込む事をしない。代わりに、生成したPTZシーケンスやカメラサーバ接続情報を映像変換サーバ内の管理表(以下、制御履歴管理表と称す。図18)に格納し、その制御履歴管理表への参照情報をリンク情報として映像クリップに組み込む。
【０１０７】
制御履歴管理表への参照情報としては、制御履歴管理表の各項目に識別子を割当て、その識別子を参照情報とする。割当てる識別子は、例えば、カメラサーバ識別子(典型的には、IPアドレス)とPTZシーケンスの生成時刻とから合成することができる。あるいは、順番に割当てたシリアル番号であっても良い。
【０１０８】
そして、携帯電話端末で実行される専用ビューワからのカメラ制御情報参照要求があった場合には、識別子をキーとして制御履歴管理表内で検索し、見つかったPTZシーケンスやカメラサーバ接続情報を携帯電話端末で実行される専用ビューワに返答するよう動作する。
【０１０９】
以上の構成で、携帯電話端末上に実装された映像クリップビューワを使うユーザは、映像変換サーバに映像クリップを要求することができる。そして、映像変換サーバの機能により、映像クリップが作成された時点のカメラ制御状態情報を、映像クリップ再生ユーザが利用可能となる。
【０１１０】
特に、本実施形態では、映像変換サーバ内に蓄積されたカメラ制御情報を参照して、実際のカメラサーバを制御する。これにより、映像クリップ生成時点ではなく、映像クリップ再生時点でのカメラ制御パラメータなどをも反映した処理が可能となる。例えば、映像クリップ生成を要求したユーザと映像クリップを再生しているユーザとが異なったアクセス権限を設定されている場合に、再生ユーザの権限を反映してカメラ制御することが可能となる。これは、映像クリップが複数のユーザ間でメイルなどで受渡しされる状況下で効果がある。
【０１１１】
また、映像変換サーバ内に管理される制御履歴管理表を参照することによって、生成された映像クリップの時間枠に隣接する時間枠のカメラ制御情報を参照することも可能となる。すなわち、映像クリップに含まれる識別子(制御履歴管理表への参照情報)をたどる事によって、映像クリップの前後で行われたカメラ制御を、芋づる式に取得することが可能となる。
【０１１２】
本実施形態では、携帯電話端末で実行される専用ビューワが、映像クリップ中に組み込まれた識別子を使って、映像変換サーバにカメラ制御情報を問い合わせ、カメラ制御情報を取得し、カメラを制御する例について説明しているが、カメラ制御を実行するのは、携帯電話端末で実行される専用ビューワに限定されない。例えば、映像クリップ中に組み込まれた識別子を指定した上で、映像変換サーバにカメラサーバのカメラ制御を委譲するよう実施しても良い。
【０１１３】
尚、本実施形態では、映像変換サーバ自身が制御履歴管理表を管理する例について説明しているが、制御履歴管理表は、別のデータベースサーバなどが管理しても良い。
【０１１４】
＜第３の実施形態＞
（映像クリップ中に連結するカメラサーバの選択と割当ての工夫）
本発明の第３の実施形態では、第１の実施形態と同様、インターネット上に配置された多数のカメラサーバから取得したライブ映像を、携帯電話端末向け映像クリップに変換して送信する例について説明する。特に、本実施形態では、事前に複数のカメラサーバの映像ストリームを映像クリップに変換しておき、それらを適切に編集(切り出しと連結)する点に特徴がある。
【０１１５】
本実施形態では、ネットワークの接続形態やハードウェア構成、および、各ソフトウェアの動作の多くは、第１の実施形態で説明した通りである。ただし、図１３で示した映像変換サーバの一部の動作が第１の実施形態とは異なる。
【０１１６】
本実施形態では、映像変換サーバがステップS1312のリクエスト内容から、複数台のカメラサーバへの接続情報を取り出した時点で、各カメラサーバに対応する映像取得部、映像変換部、カメラ制御部を用意し、各カメラサーバからの映像ストリームを並行して映像クリップへと変換する点で、第１の実施形態の映像変換サーバと異なる。
【０１１７】
そして、リクエスト元が指定する基準に従って、それぞれの映像クリップから適切な長さの映像区間を切り出し、第１の実施形態の映像送信部と同様に、カメラ制御情報やカメラサーバ接続情報を含むリンク情報を組み込んだ映像クリップを作成し、リクエスト元に送信する。
【０１１８】
この中で、リクエスト元が指定する基準には、映像ストリーム取得中の各カメラサーバでのカメラ制御量、カメラ制御頻度、動き検知や接点などイベント発生の有無や発生順序、あるいは、取得された映像のフレームレートや画質などが用いられる。
【０１１９】
以上の構成で、携帯電話端末上に実装された専用ビューワが、映像クリップ内に組み込まれたカメラ状態情報を抽出して、カメラサーバのカメラ制御することができる。特に、本実施形態では、複数のカメラサーバから得られる映像データを映像区間単位で編集し、適切な長さ(時間)の映像クリップをユーザに提供することが可能となる。
【０１２０】
本実施形態では、カメラサーバ側の属性(カメラ制御量やイベント発生など)を基準として映像クリップの切り出しと連結を行っているが、この基準は、映像クリップのリクエスト元である携帯電話端末側の属性であっても良い。例えば、携帯電話端末の端末識別子に対応して携帯電話キャリアが管理している個人情報(性別、年齢、職業、地域など)や、事前に収集したユーザの好み情報などが
考えられる。
【０１２１】
＜第４の実施形態＞
（カメラサーバ一体型の映像変換サーバ(VB組み込み例)）
本発明の第４の実施形態では、第１の実施形態と同様、インターネット上に配置されたカメラサーバから取得したライブ映像を、携帯電話端末向け映像クリップに変換して送信する例について説明する。特に、本実施形態では、映像変換サーバがカメラサーバと一体化している点に特徴がある。
【０１２２】
本実施形態では、ネットワークの接続形態やハードウェア構成、および、各ソフトウェアの動作の多くは、第１の実施形態で説明した通りである。ただし、図１の利用形態、図２の映像変換サーバのハードウェア構成、および、図１３で示した映像変換サーバの一部の動作が第１の実施形態とは、異なる。
【０１２３】
まず、本実施形態では、映像変換サーバとカメラサーバとが一体化しているため、利用形態は、図２０の通りである。また、映像変換サーバのハードウェア構成も図３のカメラサーバのハードウェア構成の通りである。さらに、映像変換サーバの映像取得部は映像サーバのステップS806と同様に、ハードウェア構成の映像キャプチャボードを使って映像データを獲得する。
【０１２４】
本実施形態では、映像変換サーバが、ハードウェア構成の映像キャプチャボードを使って映像データを獲得する例について説明したが、カメラサーバと一体化した映像変換サーバであっても、第１の実施形態と同様に、他のカメラサーバの映像サーバからも映像データを取得できるよう設計することも容易に想像できる。これによって、カメラサーバのエンコード処理の負荷分散、配送処理の負荷分散、および、ネットワーク通信インフラにおける輻輳防止などの効果がある。
【０１２５】
以上説明したように、上記実施形態によれば、カメラサーバに装備されたカメラ制御機能を適切に反映して映像クリップを生成する事で、携帯電話端末に広く実装されている映像クリップ再生表示機能とカメラ制御機能付きカメラサーバとの連携を向上させることが可能となる。
【０１２６】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【０１２７】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１２８】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【０１２９】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ(基本システム或いはオペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１３０】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１３１】
【発明の効果】
本発明によれば、例えばカメラサーバ等の撮像装置によって取得された画像データに、その画像データに付帯する例えば撮像装置の制御情報等の前記撮像装置の状態情報を反映させ、携帯情報端末に対して適切に提供することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係るライブ映像通信システムの構成を概略的に示した図である。
【図２】映像変換サーバを動作させるハードウェア構成の一例を示した図である。
【図３】カメラサーバのハードウェア構成の一例を示した図である。
【図４】ビューワを動作させるハードウェア構成の一例を示した図である。
【図５】プログラムを構成する部分を模式化した図である。
【図６】携帯電話上で映像クリップを再生表示する非専用ビューワの動作の流れを示した図である。
【図７】カメラサーバのカメラ動作サーバの動作の流れを示した図である。
【図８】カメラサーバ内の映像サーバの動作の流れを示した図である。
【図９】 PTZシーケンスを作成する時の携帯電話の様子を例示した図である。
【図１０】カメラ制御サーバや映像サーバが読み出す動作設定情報を特定のファイルに設定するカメラサーバ設定プログラムの表示画面の一例を示した図である。
【図１１】カメラサーバの設定プログラムの動作を示した図である。
【図１２】映像変換サーバにおける映像データの大まかな流れを模式的に示した図である。
【図１３】映像変換サーバの動作の流れを示した図である。
【図１４】映像データに対して時間軸を逆方向に過剰な長さのカメラ制御シーケンスを割当てた様子を模式的に示した図である。
【図１５】携帯電話端末の表示装置上における表示例を示した図である。
【図１６】 PTZシーケンスの作成の流れを示した図である。
【図１７】映像クリップの表示例を示した図である。
【図１８】本発明の第２の実施形態における制御履歴管理表を説明するための図である。
【図１９】本発明の第１の実施形態における専用ビューワの流れを示した図である。
【図２０】本発明の第４の実施形態における典型的な利用形態を示した図である。
【符号の説明】
１０１、１０２ カメラサーバ
２００ ビューワ
３００ 中継サーバ
４００ 映像変換サーバ
５００ ゲートウェイ
６０１、６０２ 携帯電話端末
４０１、１０１１、６０１１ 記憶装置
４０２、１０１４ ネットワークＩ／Ｆ
４０３、１０１５、６０１３ ＣＰＵ
１０１２ 映像キャプチャボード
１０１３ シリアルＩ／Ｆ
６０１２ 無線通信Ｉ／Ｆ
１０１ａ カメラ制御サーバ
１０１ｂ 映像サーバ
４００ａ カメラ制御部
４００ｂ 映像取得部
４００ｃ 映像変換部
４００ｄ 映像送信部
６０１ａ カメラ制御部
６０１ｂ 映像表示部
【発明の属する技術分野】
本発明は、通信によって映像データを配信する映像配信技術に関し、特に、多数のカメラ装置などのライブ映像ソースの制御情報を反映して、携帯電話端末など携帯情報端末向けに映像データ（映像クリップ）を提供する場合の映像変換技術に関するものである。
【０００２】
【従来の技術】
本発明に関係する従来の技術は、以下の通りである。
[ライブ映像通信システム]
撮影したライブ映像を、インターネットなどの通信インフラストラクチャを使って配信するとともに、撮影のためのカメラ設定やカメラ操作などを指示する技術が確立され、製品が販売されている。例えば、本願出願人が提案する映像配信システムWebView/Livescope、および、同じく本願出願人が提案するライブネットワークカメラサーバVB101やネットワークカメラVB-C10などである。
【０００３】
また、ネットワークカメラについては特開２００２−０８４４４５号公報にも開示されており、本従来例においては、ネットワークカメラの端末として、携帯電話が使用されている。
【０００４】
本願出願人が提案する映像配信システムなどでは、映像配信に加えて、パン、チルト、ズーム、逆光補正といったカメラ制御をネットワークを介して提供可能となっている。また、アクセス制御機能を備え、利用者のアクセス権限に応じて、カメラ制御や映像配信の制限を行うことができる。
【０００５】
さらに、カメラ制御によって撮像される領域に関しても制限することが可能になっている。例えば、特権ユーザでは、カメラに備わるズーム機能の全てを利用できるが、通常ユーザは、ズーム機能の一部(たとえば、テレ端を使い切れない)のみ利用可能とするような制限である。パン機能やチルト機能についても同様である。
【０００６】
[第三世代携帯電話技術]
従来の携帯電話サービスよりも高い電波利用効率と通信帯域を備えた携帯電話サービスとして、第三世代(3G)の携帯電話サービスが提供されるようになっている。例えば、NTTドコモ社の第三世代(3G)携帯電話サービスFOMAやKDDI社のcdma2000 1xがある。
【０００７】
第三世代(3G)の携帯電話では、電話通話しながらインターネットアクセスなどのデータ通信が可能となっている。例えば、NTTドコモ社によるFOMAサービスでは、マルチアクセスと呼ばれる接続形態を用意しており、これを利用することで、ウェブブラウジングなどのデータ通信を行いながら、電話通話を可能にしている。
【０００８】
さらに、第三世代携帯電話端末では、端末自体の処理能力も強化されており、これまでPC(パーソナルコンピュータ)などで行っていた作業を携帯電話端末で処理可能になっている。例えば、メイルやウェブブラウジングおよび映像送受信などの機能を実装している携帯電話端末が提供されている。
【０００９】
また、第三世代携帯電話サービスでは、映像配信のサービスも行われており、ドコモ社のiモーションやM-stage Visualあるいは、KDDI社のezmovieなどのサービスが行われている。
【００１０】
[MPEG-4コーデック]
移動体通信網に接続する携帯情報端末から広帯域インターネットに接続するPCまでの映像送受信端末の広がりを受けて、数十kpbsから数十Mbpsの広いビットレートをカバーする高圧縮符号化効率、および、無線やインターネットなどの伝送路誤りに対する強い耐性などを備えた動画像圧縮符号化方式として、ISOで1999年にMPEG-4が制定されている。
【００１１】
また、MPEG-4を用いた映像配信サービスが、個人情報端末(PDA)や携帯電話端末向けに提供されている。例えば、NTTドコモ社やKDDI社の第三世代(3G)携帯電話サービスでは、携帯電話端末(ビジュアル端末)間でMPEG-4を用いて相互に映像を送受信するサービスを提供している。
【００１２】
[携帯電話向けMPEG-4クリップ技術]
携帯電話端末に映像クリップ(ファイル)を表示する技術が提供されている。例えば、NTTドコモ社のiモーションやM-stage visual、あるいは、KDDI社の ezmovieなどがある。
【００１３】
これらのサービスでは、MPEG-4コーデックなどで圧縮符号化された映像データ(映像クリップあるいは映像ファイル)をサーバに保存し、携帯電話端末に内蔵するデータ通信機能を使ってサーバからダウンロードした上で、同じく携帯電話端末に内蔵するデコーダを使って映像を携帯電話端末の画面に表示する。
【００１４】
また、これらの映像クリップのデータフォーマットは、マイクロソフト社のASF (Advanced Streaming Format)形式や、ISO標準のMP4形式(ISO/IEC14496-1 Amd1 MPEG-4システム Version2)など、インターネットやPCなどで広く普及している形式に準拠している。
【００１５】
さらに、これらのサービスでは、いずれも映像クリップの上限が決められており、例えば、KDDI社のezmovieの場合、240kbytesが上限となっている。
【００１６】
[映像クリップへのリンクやコマンドの関連付け技術]
マイクロソフト社のASF (Advanced Streaming Format)形式やApple社のQuickTime File Formatなどでは、映像クリップにURLなどのハイパーリンク機能を関連付けることができる。例えば、ASFでは、"Script Command Object"を定義することが可能であり、このオブジェクト内に、ASFファイル再生時のタイムラインに同期するように設定したリンク情報をリストできる。さらに、ASFでは、Script Command Objectの名前のとおり、リンク情報ばかりでなく、スクリプトなどのコマンド情報も記述可能となっている。
【００１７】
また、KDDI社のezmovie仕様にも、映像クリップにハイパーリンク機能付きのテキストテロップ(字幕)を追加する機能が備わっている。このテロップ記述言語には、KDDI社のSTML（Synchronous Telop Mark-up Languageの略）を利用する。この機能により、ユーザは、音声通話やメール送信やホームページリンクなどを、映像クリップと関連付けることができる。
【００１８】
【特許文献１】
特開２００２−０８４４４５号公報
【００１９】
【発明が解決しようとする課題】
しかしながら、インターネット上でサービスされている膨大な数のカメラ制御可能なカメラサーバの映像情報を携帯電話端末へサービスする場合、映像情報に付帯するカメラ制御情報(パン、チルト、ズーム、あるいは、制御権などの情報)が適切に利用できないという問題があった。あるいは、利用できた場合でも、PC上などで実行される専用ビューワの利用に比べて、携帯電話向けの映像サービスでは、カメラ制御情報の利用が制限される問題があった。
【００２０】
本発明は、上記問題点に鑑みてなされたものであり、例えばカメラサーバ等の撮像装置によって取得された画像データに、その画像データに付帯する例えば撮像装置の制御情報等の前記撮像装置の状態情報を反映させ、携帯情報端末に対して適切に提供することを可能とする。
【００２１】
【課題を解決するための手段】
本発明の情報処理装置は、一又は複数の携帯情報端末に対して画像データを送信する情報処理装置であって、一又は複数の撮像装置より画像データを取得する画像取得手段と、前記撮像装置を制御可能なソフトウェアであって前記携帯情報端末に搭載されるソフトウェアの起動指示情報を前記画像取得手段にて取得された前記画像データに組み込む処理手段と、前記処理手段により前記ソフトウェアの起動指示情報が組み込まれた前記画像データを前記一又は複数の携帯情報端末に対して送信する画像送信手段とを有することを特徴とする。
本発明の情報処理方法は、一又は複数の携帯情報端末に対して画像データを送信する情報処理装置が行う情報処理方法であって、一又は複数の撮像装置より画像データを取得する取得工程と、前記撮像装置を制御可能なソフトウェアであって前記携帯情報端末に搭載されるソフトウェアの起動指示情報を前記取得工程にて取得された前記画像データに組み込む処理工程と、前記処理工程により前記ソフトウェアの起動指示情報が組み込まれた前記画像データを前記一又は複数の携帯情報端末に対して送信する送信工程とを有することを特徴とする。
本発明のプログラムは、一又は複数の携帯情報端末に対して画像データを送信するコンピュータに、一又は複数の撮像装置より画像データを取得する取得手順と、前記撮像装置を制御可能なソフトウェアであって前記携帯情報端末に搭載されるソフトウェアの起動指示情報を前記取得手順にて取得された前記画像データに組み込む処理手順と、前記処理手順により前記ソフトウェアの起動指示情報が組み込まれた前記画像データを前記一又は複数の携帯情報端末に対して送信する送信手順とを実行させることを特徴とする。
【００２６】
【発明の実施の形態】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
＜第１の実施形態＞
第１の実施形態では、ネットワーク上に配置された多数のカメラサーバから取得したライブ映像を、携帯電話端末向けに変換して送信する例について説明する。
この中で、映像の変換を行い映像クリップを生成する映像変換サーバが、映像に付帯するカメラ制御状態情報(パン、チルト、ズーム、あるいは、制御権などの情報)を反映して、適切な映像クリップを生成する例についても説明する。特に、本実施形態の映像変換サーバでは、映像クリップが作成された時点のカメラ制御状態情報を使って、映像クリップ再生時点のカメラサーバに選択的にアクセスできるよう映像クリップを作成する点に特徴がある。
【００２７】
さらに、映像変換サーバは、携帯電話端末に備わる標準的な映像ビューワ(以下、カメラ制御機能などを備えない意味で「非専用ビューワ」と称する)を用いて再生表示可能な映像クリップを生成した上で、その映像クリップ中に適切なリンク情報を組み込むことで、リンク情報を参照した場合に、カメラ制御機能などを備える専用ビューワ(以下、専用ビューワと称する)に、適切なカメラ制御情報を引き渡すことを可能とする。
【００２８】
図１は、本発明の第１の実施形態に係るライブ映像通信システムの構成を概略的に示した図であり、101および102はライブ映像通信システムによるカメラサーバ、200はネットワークに接続されたPCなどにインストールされたビューワである。カメラサーバとビューワとはそれぞれネットワークに接続され、ビューワからネットワークを介してリクエストがカメラサーバへ送られ、これが受け入れられるとカメラサーバ101、102からビューワ200へ映像データが配送され、ビューワ200でカメラ映像を表示することが可能となる。またビューワ200からカメラ制御コマンドがカメラサーバ101、102へ送られ、カメラのズーム、パン、チルトなどの操作が可能となる。さらに、ネットワーク上には、中継サーバ300が置かれビューワ200とカメラサーバ101、102との通信を中継することがある。
【００２９】
さらに、400は映像変換サーバであり、カメラサーバ101、102が提供する映像データを携帯電話端末向けに変換した上で、携帯電話601、602向けに中継する。また、500はネットワークと携帯電話回線網とを仲介するゲートウェイであり、601および602は、ビューワを搭載した携帯電話端末である。このゲートウェイ500を介して、ネットワークに接続された機器と携帯電話端末601および602とが通信可能となる。なお、携帯電話端末601、602上のビューワプログラムは、典型的には、工場出荷時にインストールされるが、Java（Ｒ）プログラムのように実行時(利用時)にダウンロードされて実行される形態であっても良い。
【００３０】
図１のネットワークは企業あるいは組織内で運用されるイントラネットである場合もあり、広く世界をつないでいるインターネットである場合もある。また、中継サーバ300や映像変換サーバ400は、典型的には、インターネットイクスチェンジ(IX)やデータセンター(IDC : Internet Data Center)に配置され、通信負荷の軽減を図るよう設計される。
【００３１】
図２は、映像変換サーバ400を動作させるハードウェア構成の一例を示したものであり、サーバ向けコンピュータ、より詳細には、プログラムやデータを格納する記憶装置401、ネットワークと接続するためのネットワークI/F402、プログラムによる各種の処理を実行するCPU403、などからなる。記憶装置401は、主記憶装置となるRAM、フラッシュメモリやHD装置などからなる二次記憶装置、および、プログラムを媒体からロードするためのFD装置などから構成される。また、図示しないが、設定などを行うための入出力装置を備える場合もある。具体的には、ディスプレイを接続する表示装置、キーボードやマウスなどのコントローラなどである。
【００３２】
図３はカメラサーバ101、102のハードウェア構成の一例を示したものであり、実際に撮像を行うカメラ装置とコンピュータ、より詳細には、プログラムやデータを格納する記憶装置1011、映像データを取り込むための映像キャプチャボード1012、カメラ装置にコマンドを送るためのシリアルI/F1013、ネットワークと接続するためのネットワークI/F1014、プログラムによる各種の処理を実行するCPU1015、などからなる。記憶装置1011は、主記憶装置となるRAM、フラッシュメモリやHD装置などからなる二次記憶装置、および、プログラムを媒体からロードするためのFD装置などから構成される。
【００３３】
また、図示しないが、設定などを行うための入出力装置を備える場合もある。具体的には、ディスプレイを接続する表示装置、キーボードやマウスなどのコントローラなどである。さらに、図示しないが、カメラサーバは、カメラ装置とコンピュータとが一体化されたサーバ内蔵型ネットワークカメラで構成されても良い。
【００３４】
図４はビューワを動作させるハードウェア構成の一例を示したものであり、携帯電話端末を使ってビューワを動作させる場合について説明している。より詳細には、プログラムやデータを格納する記憶装置6011、携帯電話網と接続するための無線通信I/F6012、プログラムによる各種の処理を実行するCPU6013、および、周辺装置などからなる。記憶装置6011は、主記憶装置となるRAM、フラッシュメモリなどからなる。周辺装置は、携帯電話端末上に配置されたボタンやスイッチ類などの入力装置、ディスプレイなどの表示出力装置、および、マイクロフォンやスピーカなどの音声入出力装置を含む。
【００３５】
図５はプログラムを構成する部分を模式化した図であり、カメラサーバ101内にはカメラの制御を司るカメラ制御サーバ101aと映像の配送を司る映像サーバ101bの２つのモジュールを含む。同様に、携帯電話端末上で動作するビューワ内にはカメラ制御コマンドの発行やカメラ状態通知に対応するカメラ制御部601a、映像クリップの表示を担当する映像表示部601bを含む。
【００３６】
さらに、映像変換サーバ400には、カメラ制御コマンド列(以下、PTZシーケンスと称す)を解釈し、カメラサーバ101にカメラ制御命令を発行するカメラ制御部400a、ならびに、カメラサーバ101から映像を取得し、携帯電話向けに変換し、さらに、それを携帯電話網向け映像クリップに編集するモジュール(映像取得部400b、映像変換部400c、映像送信部400d)、がそれぞれ含まれる。
【００３７】
図６は、携帯電話上で映像クリップを再生表示する非専用ビューワの動作の流れを示す図である。
ステップS601で、まず、映像変換サーバ400の識別子を入手する。これは、ユーザが直接キー操作により識別子を入力するのでも良いし、メイルやウェブページに含まれる識別子を選択するのであっても良い。また、この場合の識別子は、典型的には映像変換サーバ400を識別するURLである。
【００３８】
続いて、ステップS602で、映像変換サーバ400が接続すべきカメラサーバ101、102の識別子、そのカメラサーバ101、102に指示するカメラ制御用のPTZシーケンス、および、ユーザ識別子やパスワードなどアクセス制御用のユーザ識別情報を入手する。カメラサーバ識別子やPTZシーケンスは、ユーザが直接キー操作によりカメラ制御コマンドを構成するよう入力する方法でも良いし、メイルやウェブページに含まれるカメラサーバ識別子やPTZシーケンスから選択する方法であっても良い。また、PTZシーケンスは、空であっても構わない。この場合、カメラ制御を伴わないカメラサーバ101、102の現状の映像クリップを意味する。また、ユーザ識別情報は、通常、ユーザが直接キー操作により入力するが、空であっても構わない。この場合、通常ユーザとしてのカメラサーバ101、102への接続を意味する。
【００３９】
続いてステップS603で、ゲートウェイ500を経由して、入手した映像変換サーバ400の識別子に基づき映像変換サーバ400の映像送信部に接続する。さらにステップS604で、携帯電話ビューワは、映像変換サーバ400に映像クリップを要求する。この要求は、要求する映像クリップの作成方法の指定などを含み、例えば、HTTPプロトコルに則り送信される。この際、PTZシーケンスを入手している場合には、そのPTZシーケンスを映像変換サーバ400に送信する。この要求およびPTZシーケンスの送信は、HTTP接続のGETメソッドでURLに組み込んでも良いし、HTTP接続のPOSTメソッドで送信されても良い。
【００４０】
ここでは、POSTメソッドで送信される場合について説明する。例えば、以下の通りである。なお、実際には、URLエンコードが適用されるが、以下では、説明の都合上URLエンコードを適用していない部分もある。
POST /getvideoclip/ HTTP/1.1
Host: 202.28.30.208:8080
User-Agent: MozilePhone/2.0 C2101V(c100)
Pragma: no-cache
videoencodeparam=QCIF:fps15.0:bps64000:intraframe5:me8
cameraservers=webview://162.61.5.22:6513+6514;webview://201.218.187.23:6513+6514;webview://150.122.43.154:6513+6514;
PTZ=HZ15_30S3_40C2S4_25P-10_20Z-15S3_15S4_40P-10_20H_3P10_1P5_1P5_1P5_1P5_1P5C3S4_10P-20_20H_5P-60_3P5_3P5_3P5
moviesizemax=240kbytes
notifyto=mailto:riyousha3@mailserver.usersite.co.jp
userid=331245
userpw=15215294
【００４１】
ただし、「videoencodeparam=」に続く部分は、映像変換サーバ400がカメラサーバ101、102から受取ったソース映像を携帯電話向けにエンコードする際のパラメータ情報を指示するものである。また、「cameraservers=」に続く部分は、映像変換サーバ400が接続するカメラサーバ101、102を指定している。また、「PTZ=」に続く部分は、映像変換サーバ400がカメラサーバ101、102に関して実行すべきカメラ制御のコマンドを並べたPTZシーケンスを指定している。また、「moviesizemax=」に続く部分は、携帯電話端末あるいは携帯電話網が規定する映像クリップの最大サイズを指定している。また、「notifyto=」に続く部分は、映像クリップ作成時に通知すべき連絡先である、例えば、携帯電話端末ユーザのメイルアドレスを指定する。また、「userid=」と「userpw=」とに続く部分は、それぞれ、ユーザ識別子とパスワードとである。
【００４２】
この中で、PTZシーケンスの構成要素は、以下のような意味を持つ。nは、数値データ(正負あり)である。
Pn パン(水平方向カメラ制御)指定
Tn チルト(垂直方向カメラ制御)指定
Zn ズーム指定
Bn 逆光補正。逆光補正のON/OFF
H ホームポジション指定
Sn プリセット位置指定。n番目のプリセット位置
Cn カメラサーバ接続切換え指定。n番目のカメラサーバ
Kn カメラサーバ内カメラ切換え指定。n番目のカメラ
_n 時間経過指定。0.1秒単位
【００４３】
続いて、ステップS605で、映像変換サーバ400からのレスポンスを待つ。続いて、ステップS606で、映像変換サーバ400から受取ったレスポンスを解釈して携帯電話端末の表示装置に表示する。例えば、図１５（ａ）の通りである。もしも、映像変換サーバ400からのレスポンスが、何らかの理由からすぐに映像を生成できないことを示す内容であった場合には、ステップS607に進む。反対に、映像をすぐに生成できたことを示す内容であった場合には、ステップS608に進む。
【００４４】
ステップS607では、映像変換サーバ400からのメイル通知を待受ける。メイル通知は、例えば、SMTP (Simple Mail Transfer Protocol)によるが、SMS(Short Message Service)であってもよい。メイル通知を受取った場合には、そのメイル内容を映像変換サーバ400からのレスポンスとして表示し、ステップS608に進む。例えば、図１５（ｂ）の通りである。
【００４５】
ステップS608では、レスポンスに含まれる映像クリップの一つを選択し、ダウンロードして再生表示する。例えば、図１５（ｃ）の通りである。ここでは、ダウンロード完了を待っているが、映像クリップの再生表示処理は、ダウンロード完了を待たず、表示再生可能な映像クリップデータが揃った時点で、再生表示処理を開始しても良い。
【００４６】
なお、携帯電話ビューワでの映像クリップ表示中に、携帯電話端末ユーザがクリックした場合には、クリック時点に表示中の映像データ(映像区間、または、映像セグメントと呼ぶ事がある)に対応するリンク情報が映像クリップから抽出され、携帯電話端末に備わるブラウザ機能を使って、そのリンク情報が示すリンク先情報にアクセスする。リンク先情報へのアクセスでは、カメラ制御を可能とする専用ビューワを起動するが、携帯電話端末の設定によっては、設定されたアクションを行う場合もある。例えば、アクセスされたリンク情報をメイル添付したメイルの発信である。
【００４７】
図１９は、専用ビューワの動作の流れを示した図である。
ステップS651で起動時に指示されたカメラサーバ101を構成する映像サーバ101bのアドレスおよび接続ポートの情報に従い、映像サーバ101bへ接続する。この時、複数のカメラサーバ101、102が指示されている場合には、ダイアログをポップアップ表示して、いずれのカメラサーバに接続すべきかユーザに問合せる。
【００４８】
ここで、接続以降の処理を行うための動作プログラム（実現方法としては、スレッドあるいはプロセスの起動となる）が起動され、このプログラムは終了までステップS661を繰り返す。ステップS661では、映像サーバ101bからの映像データが届くたびにそれを受け取り表示する。
【００４９】
さらにメインのプログラムはステップS652で、同じく起動時に指示されたカメラ制御サーバ101aのアドレスおよび接続ポートの情報に従い、カメラ制御サーバ101aへ接続する。そして、これ以降メインプログラムはユーザからの操作要求を受け付け、実行するメインループへ続く。
【００５０】
まず、ステップS653でユーザの操作をキーボタン操作などから受け取る。これがカメラ制御に関する場合にはステップS654でカメラ制御サーバ101aへコマンドを発行する。また、映像サーバ101bに関する場合にはステップS655で映像サーバ101bへコマンドを発する。
【００５１】
また、ユーザの操作がビューワの状態を変更する操作（例えば、表示サイズの変更操作など）の場合にはステップS656で内部状態を更新する。そして、ユーザの操作が終了の場合には、ステップS657でビューワの動作に関連する各プログラムを順次終了する。S654〜S657の処理が完了するとS653へ戻り、ユーザの操作入力を待つ。
【００５２】
携帯電話端末上で動作する専用ビューワは、携帯電話端末の出荷時に備わるソフトウェアとして実装される場合もあるが、Java（Ｒ）プログラムのようにネットワークからダウンロードして実装されるソフトウェアである場合もある。
【００５３】
図７は、カメラサーバ101内のカメラ制御サーバ101aの動作の流れを示した図である。カメラ制御サーバ101aはまず起動時にステップS701で特定のファイル（OSによってはレジストリなどのシステムデータベース）からカメラ制御サーバ101aの動作設定情報を読み出して、それに基づき動作を開始する。ここでクライアントであるビューワプログラムや映像変換サーバ400からのリクエストを受け付けるポートを開き、続いて、ステップS702のリクエスト受付状態に入る。リクエスト（接続リクエストもしくは操作コマンドリクエスト）が受け付けられたら、S702を抜け、接続リクエストならばステップS703で接続の可否の判定を行う。否ならば接続拒否のエラーコードを返し、S702に戻る。可ならば、ステップS704で接続処理として、クライアントからのコマンドの受付処理を行うスレッドを生成し、クライアントの登録を行ってから、S702に戻る。
【００５４】
生成されたスレッドでは、ステップS707で対応するクライアントからのコマンドの受付を行う。コマンドが届いたならば、それを受け付け、カメラ操作を行う主プログラムへ受け渡す。主プログラムはステップS702でこれを受け、操作コマンドに対してはステップS705へ進み、操作コマンドを発行したスレッドが接続しているクライアントの権限に応じてカメラ操作を行って、その結果（操作が成功か失敗かを示すコードなど）をカメラ操作要求を受け付けたクライアント対応のスレッドへ伝える。このクライアント対応のスレッドはステップS708で結果をクライアントへ送り返す。主プログラム部分では、ステップS706でカメラの操作により変化した状態（たとえば、パン・チルト・ズームの値、および、禁止エリア検出の有無などを含むカメラ状態情報など）を全てのクライアント対応のスレッドに伝える。
【００５５】
各クライアント対応のスレッドは、ステップS709でカメラ制御状態の変化をクライアントへ通達する。クライアント対応のスレッドはクライアントから接続終了のコマンドを受けたならば、それを主プログラムへ通達し、さらにステップS710で自身のスレッドを終了する。尚、操作コマンドの扱いにおいては、具体的な操作コマンドの発行の前に、カメラ操作権の割り当て要求を必要とすることも可能である。これは複数の人間がカメラの操作を要求するような状況での混乱を無くす。この場合、まず、クライアントからはカメラ操作権獲得の要求コマンドが発行され、これに対して、カメラ制御サーバ101aは現在のカメラ制御権の割り当て状態から、拒絶・割り当て・順番待ちを選びクライアントへ返答する。
【００５６】
カメラ制御権は前もって定められた特定の時間か、クライアントが接続を終了するまでの短いほうの時間で剥奪され、次の順番待ちの人に割り当てられる。順番待ち人数はやはり前もって定められた人数（たとえば5人）に制限され、それ以上のリクエストは拒絶される。クライアントはカメラ制御権が獲得されてから剥奪されるまでの間だけ、操作コマンドを発行する。カメラ制御サーバ101aはカメラ制御権が付与されているクライアントからの操作コマンドのみを受け付ける。
【００５７】
また、特権ユーザからの接続に関しては、優先的にカメラ操作権を割り当てられる点、および、操作コマンドが禁止エリアを含む撮像領域へのカメラ制御であっても許可される点などが、通常ユーザからの接続とは異なる。
【００５８】
図８はカメラサーバ内の映像サーバの動作の流れを示した図である。
映像サーバ101bは、まず起動時にステップS801で特定のファイル（OSによってはレジストリなどのシステムデータベース）から映像サーバ101bの動作設定情報を読み出して、それに基づき動作を開始する。ここで、映像の獲得と符号化と蓄積を行うスレッドを生成し（最初このスレッドは休止状態）、クライアントであるビューワプログラムや映像変換サーバからのリクエストを受け付けるポートを開き、続いて、ステップS802のリクエスト受付状態に入る。
【００５９】
リクエスト（接続リクエストもしくはコマンドリクエスト）が受け付けられたら、S802を抜け、接続リクエストならばステップS803で接続の可否の判定を行う。否ならば接続拒否のエラーコードを返し、S802に戻る。可ならば、ステップS804で接続処理として、クライアントごとのセッションを識別するためのセッション識別子を生成し、クライアントからのコマンドの受付処理を行うスレッドを生成し、接続リクエストを発行したクライアントのアクセス権情報などに則してクライアントの登録を行い、S802に戻る。なお、この際、リクエスト内容がライブ映像への接続であり、かつ、映像の獲得と符号化を行うスレッドが休止状態ならば、S802に戻る前に、動作開始を指示する。
【００６０】
生成されたクライアント対応のスレッドでは、ステップS807で対応するクライアントからのコマンドの受付を行う。コマンドが届いたならば、それを受け付け、映像処理を行う主プログラムへ受け渡す。主プログラムはステップS802でこれを受け、操作コマンドに対してはステップS805へ進み、映像の獲得や符号化・送信などに関する設定の変更操作を行って、その結果（操作の成功か失敗を示すコード）をコマンド要求を受け付けたクライアント対応のスレッドへ伝える。
【００６１】
クライアント対応のスレッドはステップS808で、この結果をクライアントへ送り返す。主プログラム部分では、ステップS804からの映像の獲得と符号化を行うスレッドへの動作開始の指示により、ステップS806では前もって設定された時間間隔で映像データを映像キャプチャボードを使って獲得し、これを圧縮データに変換する。さらにこの圧縮データを、ライブ映像に接続している全てのクライアント対応のスレッドに伝える。
【００６２】
各クライアント対応のスレッドはステップS809で、クライアントからの次映像フレーム送信要求の有無を判定し、要求があるならば、圧縮データをクライアントへ配送する。この際、禁止エリアが検出されている場合には、登録されているクライアント情報に照らして、特権ユーザの接続以外には、禁止エリアに該当しているため圧縮データを配信しない旨(禁止エリア検出通知)を通知する。
【００６３】
そして、ライブ映像に接続しているクライアント対応のスレッドが、クライアントからの次映像フレーム送信要求（これはクライアントでの圧縮映像データの受け取り完了に対して、送り返されるのが一般的である）を受け取った場合には映像フレーム送信要求のフラグを設定する。また、クライアントから接続終了のコマンドを受けたならば、それを主プログラムへ通達し、さらにステップS810で自身のスレッドを終了する。
【００６４】
図９は、PTZシーケンスを作成する時の携帯電話の様子を例示した図である。
PTZシーケンスを作成する際には、携帯電話端末のキーに図示のように、パン（カメラの横振り）、チルト（カメラの縦振り）、ズーム(拡大倍率変更)、逆光補正などの機能が割り当てられる。なお、この画面は図６を用いて説明したPTZシーケンス入手操作を行うためのUI（ユーザインタフェース）であり、ここで作成されたPTZシーケンスは、S602へ送られる。
【００６５】
次に、PTZシーケンスの作成の流れを図１６に示す。
まず、ステップS901で、事前に取得したカメラサーバの識別子を使って、カメラサーバのカメラ制御によって可視範囲に入る画像を合成したパノラマ画像、事前にカメラサーバに設定されているカメラ制御情報(プリセット情報)、および、現在のカメラ状態パラメータ(パン角、チルト角、ズーム値など)を、カメラサーバから取得する。
【００６６】
次に、ステップS902で、PTZシーケンスの初期値として空データを設定し、また、表示用カメラ状態パラメータおよび設定用カメラ状態パラメータとして取得した現在のカメラ状態パラメータを設定する。次に、ステップS903で、表示用カメラ状態パラメータに従って、可視領域を計算し、可視領域に相当する画像をパノラマ画像から切り出して携帯電話端末の画面に表示する。
【００６７】
次に、ステップS904で、ユーザからのキー入力を受取る。キー入力が、カーソルキーによる可視領域の変更、あるいは、プリセット位置への移動の指示であった場合には、ステップS905で、表示用カメラ状態パラメータを変更し、ステップS903に進む。キー入力が、PTZシーケンスを追加/修正などの編集指示であった場合には、ステップS906で、PTZシーケンスの値を変更し、ステップS903に進む。PTZシーケンス追加の場合には、その時点の表示用カメラ状態パラメータと設定用カメラ状態パラメータとの差分から制御すべきカメラ制御値を計算し、そのカメラ制御値をPTZシーケンスに追加する。そして、表示用カメラ状態パラメータを設定用カメラ状態パラメータの新しい値とする。
【００６８】
キー入力が、PTZシーケンス作成の終了を指示する場合には、ステップS907に進んだ上で、決定やキャンセルを判定し、決定である場合には、PTZシーケンスをS602へ送り、処理を終了する。
【００６９】
図１０は、カメラサーバの用いる設定値、すなわちカメラ制御サーバや映像サーバが読み出す動作設定情報を特定のファイル（OSによってはレジストリなどのシステムデータベース）に設定するカメラサーバ設定プログラムの表示画面の一例を示した図であり、カメラ制御サーバ、映像サーバ、動画品質、接続制限事項などに関する各種のパラメータ（後述）を設定できるようになっている。OKボタンを押すと設定した値が特定のファイルあるいはレジストリに書き込まれ、キャンセルすると書き込まれずに終了する。
【００７０】
図１１は、図１０のカメラサーバの設定プログラムの動作を示す流れ図である。
設定プログラムは起動時にまずステップS1101でカメラ制御サーバおよび映像サーバに関する設定情報を格納した特定のファイル（OSによってはレジストリなどのシステムデータベース）から設定情報を読み出し、内部データに設定する。以降、ユーザの操作入力を受け取り、実施するループを繰り返す。
【００７１】
ステップS1102でユーザの操作入力を待ち、入力があればそれを受け取り、続いてステップS1103で入力された値が適正範囲内であるか否かを判定し、適正でなければステップS1104でエラーメッセージを出力して、値を戻して、ユーザの入力待ちS1102へ戻る。適正範囲内であるならば、内部データを更新して、S1102に戻る。ここで設定できる値には次の項目がある。カメラ制御の通信用のTCPポート番号、カメラと接続するCOM（シリアル）ポート、シャッタースピード、カメラ制御関連のログ情報の有無とログファイル名、映像関連の通信用のTCPポート番号、ログ情報の有無とログファイル名、映像をキャプチャする時間間隔を規定するフレームレートと圧縮の品質を決めるQ-Factor、圧縮の元データの画面サイズ、１つのクライアントビューワの最大接続時間、カメラ制御に関する制御権の順番待ち人数、１つのビューワの制御権保持占有時間、映像とカメラ制御に関する接続可能な最大クライアント数などである。
【００７２】
ユーザからの入力がOKボタンの場合には、ステップS1102からステップS1105に進み、更新された内部データをカメラ制御サーバおよび映像サーバに関する設定情報を格納する特定のファイルなどへ書き出し、ステップS1106で変更を反映するためにカメラサーバを再起動するかを尋ねるパネルを出す。再起動する場合にはステップS1107でカメラ制御サーバや映像サーバなどを再起動して、ステップS1108で設定プログラムを終了する。再起動しない場合にはステップS1106から直接ステップS1108に進み、終了する。また、ステップS1102でのユーザの入力がキャンセルボタンである場合には、ステップS1102から直接ステップS1108に進み、終了する。
【００７３】
図１２は、映像変換サーバにおける映像データの大まかな流れを、模式的に示した図である。
カメラサーバから送信されたソース映像データ(Motion JPEG、QVGAサイズ320x240)は、映像変換サーバのカメラサーバ向け通信スタックを経由して受信され、JPEGデコーダに渡され、続いて、携帯電話向けに設定されたMPEG-4 エンコーダに渡され、携帯電話向け映像データ(MPEG-4 simpleprofile, QCIFサイズ176x144, 64Kbps)に加工された上で、映像クリップとして、携帯電話網向けの通信スタックを経由して、携帯電話ビューワへと送信される。
【００７４】
図１３は、映像変換サーバ400の動作を示した流れ図である。
映像変換サーバ400は、まず起動時にステップS1301で特定のファイル（OSによってはレジストリなどのシステムデータベース）から映像変換サーバの動作設定情報を読み出して、それに基づき動作を開始する。ここで、クライアントである携帯電話ビューワプログラムからのリクエストを受け付ける通信ポートを開き、続いて、ステップS1302のリクエスト受付状態に入る。
【００７５】
リクエスト（HTTPリクエストのメッセージなど）が受け付けられたら、S1302を抜け、ステップS1303で接続の可否の判定を行う。否ならば接続拒否のエラーコードを返し、S1302に戻る。可ならば、ステップS1304で接続処理として、クライアントとの情報の受渡しを行うクライアント対応スレッドを生成し、クライアントの登録を行い、S1302に戻る。
【００７６】
生成されたクライアント対応スレッドでは、ステップS1311で対応するクライアントからのリクエストを読み込み、内容を解析する。リクエストは、例えばHTTPリクエストとして映像変換サーバ400に渡される。なお、HTTPリクエストには、POSTメソッドが使われる場合もあり、GETメソッドが利用される場合もある。
【００７７】
次に、ステップS1312で、リクエスト内容からエンコードパラメータ情報(映像変換パラメータ)、カメラサーバへの接続情報(ソース映像情報)、PTZシーケンス、映像クリップの最大サイズ(映像クリップ上限値)、通知先情報(通知先アドレス)、および、ユーザ識別子やパスワードなどユーザ識別情報を取り出す。これらは、それぞれ「videoencodeparam=」、「cameraservers=」、「PTZ=」、「moviesizemax=」、「notifyto=」、「userid=」、「userpw=」の値として指示されている。
【００７８】
映像変換パラメータは、変換用コーデックの選択やそのコーデックへのパラメータ、および、コーデック入力用/出力用のデータ形式などを記述している。ソース映像情報とは、例えば、ライブ映像を提供するカメラサーバのネットワークアドレスとポート番号などの通信属性情報である。通知先アドレスとは、例えば、ユーザの携帯電話端末を指定したメイルアドレスである。
【００７９】
次に、ステップS1313で、リクエストに対するレスポンスとして、「すぐに映像を生成できないので、しばらくしてメイル連絡します」との旨を示す情報を返す。次に、ステップS1314で、ソース映像情報およびユーザ識別情報に従って、映像取得部を初期化する。具体的には、ソース映像を提供するカメラサーバに接続し、ソース映像取得を開始する。
【００８０】
そして、ステップS1315に進み、映像変換パラメータに従って映像変換部を初期化する。この映像変換部は、MPEG-4エンコーダなどから構成される。そして、ステップS1316に進み、映像送信部を初期化する。この際、映像送信部に映像クリップ上限値、および、通知先アドレスを指示する。
【００８１】
さらに、ステップS1317に進み、映像取得部から映像変換部へ、映像変換部から映像送信部へとそれぞれの処理データが受渡しされるように相互の関連付けを行った上で、カメラ制御部がPTZシーケンスに従ってカメラサーバのカメラ制御を行う。そして、ステップS1318に進み、映像取得部、映像変換部、映像送信部の後処理を行う。そして、ステップS1319に進み、クライアント対応スレッドを終了する。
【００８２】
次に、映像変換サーバの中で機能している映像取得部、映像変換部、映像送信部、カメラ制御部について順次説明する。
映像取得部は、まず、初期化時に受取ったソース映像情報およびユーザ識別情報に従って、ライブ映像を提供するカメラサーバに接続する。そして、カメラサーバから映像データを取得し、取得時のタイムスタンプを付与して映像データを映像変換部へ渡す。本実施形態におけるカメラサーバは、映像データをMotion JPEG形式で提供するので、タイムスタンプが付与されるのは、個々のJPEGデータである。
【００８３】
また、カメラ制御部からカメラサーバ接続切換え指定を受けた場合には、指示内容に従って、接続先カメラサーバを切り換える。また、カメラサーバから禁止エリア検出を通知された場合には、映像データに代えて禁止エリア検出通知を映像変換部へ渡す。
【００８４】
次に、映像変換部では、まず、初期化時に受取ったコーデックへのパラメータ、および、コーデック入力用/出力用のデータ形式などをMPEG-4エンコーダに設定する。そして、映像取得部から受取ったソース映像データを、コーデック入力用のデータ形式および画像サイズに整えてからMPEG-4エンコーダに入力し、その処理結果を映像送信部へ渡す。本実施形態における映像変換部では、JPEG形式のソース映像データを予めQCIFサイズかつYUV411形式に整えてからMPEG-4コーデックへ入力し、生成されたMPEG-4データ(I-frameまたはP-frame)を映像送信部へ受け渡す。この際、映像取得部で付与されたタイムスタンプも併せてMPEG-4コーデックへ入力される。
【００８５】
なお、映像取得部から禁止エリア検出が通知されている場合には、カメラ制御を制限された領域であって映像を表示できない旨を示す合成画面を、ソース映像データに代えて、MPEG-4コーデックへ入力する。
【００８６】
次に、映像送信部では、まず、初期化時に受取った映像クリップ上限値に従ってメモリ領域を確保する。そして、映像変換部が生成した携帯電話向け映像データを受取り、確保したメモリ領域に保持する。さらに、映像送信部では、禁止エリア検出通知を受け取った時点で、メモリ領域の利用率をも加味した上で、映像クリップの分割点を決定する。そして、分割点と判断した場合には、携帯電話向け映像クリップのデータフォーマットに準拠したヘッダ情報を前置して、メモリ領域に保持している映像データをファイルとして保存し、メモリ領域を再利用する。これによって、映像クリップが複数のファイルに分割保存される。
【００８７】
また、映像送信部では、映像取得部で得られるカメラ制御状態情報を受け取り、時間軸に沿って保持する。そして、予め設定されている時間周期でカメラ制御状態情報から、カメラ制御状態情報に相当するカメラ制御シーケンス(PTZシーケンス)を生成して、そのPTZシーケンスをパラメータとする専用ビューワの起動指示をリンク情報として映像クリップに組み込む。例えば、隣接するカメラ制御状態情報の差分からPTZシーケンスを構成するが、PTZシーケンス初期値を指定する場合やプリセット位置やホームポジションなどと一致する場合には、絶対値指定を指示する。この際、図１４に示すように、ある映像データの区間(映像セグメント)に対応するリンク情報には、時間軸を逆方向に過剰な長さのカメラ制御シーケンスを割当てる。すなわち、映像クリップ中で隣接するリンク情報には、重複したカメラ制御シーケンスが冗長に割当てられることになる。
【００８８】
また、映像送信部は、一定周期のタイミングで映像データを区分分割し、複数の映像区間を順番に連結した上で、それぞれの映像区間にPTZシーケンスを関連付ける。複数の映像区間を順番に連結する際には、各映像区間の時間、優先度及び関連性等を反映させる。尚、映像データを区分分割するタイミングは、カメラサーバの所定事象の発生時としても良い。ここで、映像区間の優先度及び関連性は、例えば、カメラサーバに対する制御頻度、制御回数及びカメラサーバにおける発生事象内容等のカメラサーバ側の属性、或いは、例えば、携帯電話ユーザの個人情報及び好み設定等の携帯側の属性に基づいて決定される。
【００８９】
さらに、カメラサーバ切り換えが行われた直後の映像区間に対応するリンク情報では、カメラサーバ切り換え前後のカメラサーバ接続情報の指定を追加する。そして、カメラ制御部からPTZシーケンスの終了を通知された時点で、メモリ領域に保持している映像データの残りを同様にファイルとして保存した上で、それまでに保存している複数の映像クリップへのリンク情報を埋め込んだ携帯電話端末への通知情報を作成し、初期化時に受取った通知先アドレスへ通知する。これによって、通知情報を受取った携帯電話端末から各映像クリップへのダウンロード要求を可能とする。なお、映像送信部は、HTTPサーバ機能を備えており、携帯電話端末からのHTTP利用の映像クリップのダウンロード要求に対応する。
【００９０】
次に、カメラ制御部では、PTZシーケンスを解釈して、カメラサーバに送るべきカメラ制御コマンドを作成し、PTZシーケンスに指示されたタイミングで作成したカメラ制御コマンドをカメラサーバに送信することで、カメラサーバのカメラ制御を行う。また、PTZシーケンス中にカメラサーバ接続切換え指定を見つけた場合には、映像取得部にその旨を指示する。そして、PTZシーケンスを解釈し終えた時点で、PTZシーケンスの終了を映像送信部に通知する。
【００９１】
以上の構成で、携帯電話端末上に実装された映像クリップビューワを使うユーザは、映像変換サーバに映像クリップを要求することができる。そして、映像変換サーバの機能により、映像クリップが作成された時点のカメラ制御状態情報を、映像クリップ再生ユーザが利用可能となる。特に、膨大な数のカメラサーバが存在する際に、ユーザの求めるカメラ制御およびその結果得られた映像を提供することが可能となる。
【００９２】
以上で、ネットワーク上に配置されたカメラサーバから送られるライブ映像を、携帯電話端末向け映像クリップに変換してユーザに提供することができる。特に、本実施形態の映像変換サーバでは、カメラサーバのカメラ制御状態情報を反映した映像クリップを生成する点に特徴がある。
【００９３】
本実施形態では、携帯電話網とネットワークとを結ぶゲートウェイとは独立にネットワーク上に映像変換サーバが実装される例について説明しているが、映像変換サーバがゲートウェイの一部として実装されても良い。また、映像変換サーバとゲートウェイとがVPN(Virtual Private Network)なども含めて専用線で接続されるような接続形態も容易に想像できる。
【００９４】
また、本実施形態では、HTTP通信を用いて携帯電話ビューワと映像変換サーバとが通信する例について説明しているが、この通信は、SMTP(Simple MailTransfer Protocol)を用いた通信であっても良い。また、携帯電話ビューワと映像変換サーバとのHTTP通信やSMTP通信は、SSL(Secure Socket Layer)などの併用により、安全な通信経路を利用しても良い。
【００９５】
本実施形態では、電話ビューワがカメラ制御コマンド列(PTZシーケンス)を発行することで、カメラ制御を行うユーザと映像クリップ要求するユーザとが同一である例について説明しているが、カメラ制御コマンドを発行するユーザは別のユーザであっても良い。例えば、あるユーザがPC上の専用ビューワなどを利用してカメラ制御を行っている際に、別のユーザが映像クリップを要求するような事例である。
【００９６】
さらに、SMTP通信などを利用して映像クリップを要求する場合には、映像クリップ要求ユーザと映像クリップ受信ユーザとが異なっていることも考えられる。この場合には、映像クリップ要求ユーザのアクセス権限と映像クリップ受信ユーザのアクセス権限との何れか一方あるいは両方を評価して、映像クリップ生成に反映することが考えられる。
【００９７】
本実施形態では、設定された一定の周期でカメラ制御シーケンスを含むリンク情報を生成し、映像クリップに組み込む例について説明しているが、リンク情報の生成のタイミングは、一定周期に限定されない。例えば、カメラ制御状態情報の変化値の累積値が所定の条件を満たしたタイミングであっても良い。また、映像データ自体の変化値(例えば、画像認識されるオブジェクトの個体数の変
化)が所定の条件を満たしたタイミングであっても良い。
【００９８】
また、本実施形態の映像送信部で生成しているカメラ制御シーケンスは、映像取得部から得られるカメラ状態情報に基づき生成しているが、これは、カメラ制御部が解釈しているPTZシーケンスから部分シーケンスを切り出すことで生成しても良い。この方法の場合、映像クリップ作成を要求したユーザの意図に一層近いカメラ制御シーケンスが得られる一方で、禁止エリアへのカメラ制御などを含む場合には、映像データと同期しないカメラ制御シーケンスが生成されるという得失がある。
【００９９】
本実施形態の映像送信部では、映像クリップ中のある映像データ区間に対応するリンク情報に、隣接する映像データ区間の時間中のカメラ制御シーケンスを割当てられる例について説明しているが、割当てられるカメラ制御シーケンスの長さ(あるいは時間)は、映像データ区間の時間と従属する必要は無い。典型的には、映像変換サーバに事前設定された固定長(時間)であっても良い。また、
割当てられるカメラ制御シーケンスの長さ(時間)は、各種の事象の発生に依存することも容易に想像できる。
【０１００】
本実施形態では、カメラサーバから取得した映像を携帯電話向け映像クリップに変換して送信する例について説明したが、映像クリップの形式は、携帯電話向け映像クリップに限定されない。例えば、マイクロソフト社のWindows（Ｒ） MediaPlayerでは、ISO標準のMPEG-4コーデックにも対応するため、本実施形態の映像送信部が映像クリップを生成する時点で、マイクロソフト社のASF形式に準拠したデータフォーマットに整形し、かつ、そのフォーマットの中でMPEG-4コーデックを指定することで、Windows（Ｒ） MediaPlayerでの再生が可能となる。同様にして、Apple社 QuickTime File Formatに準拠することで、QuickTimePlayerにも対応可能である。
【０１０１】
また、映像クリップへのリンク情報組込みとして、本実施形態では、カメラ制御情報を組み込む例について説明しているが、例えば、映像クリップの末尾では、カメラ制御情報の如何に関わらず、現在のカメラサーバに接続するリンク情報を組み込むことも容易に想像できる（図１７（ａ））。また、カメラ制御コマンドをリンク情報として組み込む場合、そのカメラ制御コマンドが行おうとしている制御を説明するテロップを映像に挿入することも考えられる（図１７（ｂ））。また、映像変換サーバに事前設定されたリンク情報（例えば、広告情報へのリンク情報）を組み込むことも容易に想像できる。さらに、これらの複数種類のリンク情報が混在していても良い。
【０１０２】
本実施形態では、携帯電話端末のユーザが非専用ビューワを使って映像クリップ再生中にクリックを検出すると、その時点で、専用ビューワを起動する例について説明したが、クリック時のアクションは、これに限定されない。例えば、リンク情報中に指定されたカメラ制御情報を使って制御した映像クリップを再生成するアクションであっても良い。
【０１０３】
＜第２の実施形態＞
（サーバ側に制御識別子の管理表を保持、間接制御）
本発明の第２の実施形態では、第１の実施形態同様、インターネット上に配置された多数のカメラサーバから取得したライブ映像を、携帯電話端末向け映像クリップに変換して送信する例について説明する。特に、本実施形態では、映像変換サーバがカメラ制御情報履歴の管理表を保持する点に特徴がある。
【０１０４】
本実施形態では、ネットワークの接続形態やハードウェア構成、および、各ソフトウェアの動作の多くは、第１の実施形態で説明した通りである。ただし、図１３で示した映像変換サーバの一部の動作が第１の実施形態とは異なる。
【０１０５】
本実施形態では、映像変換サーバの映像送信部が次のように動作する。本実施形態の映像送信部は、映像クリップへ組み込むリンク情報の記述が映像変換サーバ内部に管理するカメラ制御情報履歴の管理表を参照する専用ビューワの起動となる点で、第１の実施形態の映像送信部と異なる。
【０１０６】
第２の実施形態の映像送信部では、まず、第１の実施形態と同様、受け取ったカメラ状態情報を時間軸に沿って保持し、そこからカメラ制御状態情報に相当するカメラ制御シーケンス(PTZシーケンス)を生成するが、この際、生成したPTZシーケンスやカメラサーバ接続情報を直接リンク情報として映像クリップに組み込む事をしない。代わりに、生成したPTZシーケンスやカメラサーバ接続情報を映像変換サーバ内の管理表(以下、制御履歴管理表と称す。図18)に格納し、その制御履歴管理表への参照情報をリンク情報として映像クリップに組み込む。
【０１０７】
制御履歴管理表への参照情報としては、制御履歴管理表の各項目に識別子を割当て、その識別子を参照情報とする。割当てる識別子は、例えば、カメラサーバ識別子(典型的には、IPアドレス)とPTZシーケンスの生成時刻とから合成することができる。あるいは、順番に割当てたシリアル番号であっても良い。
【０１０８】
そして、携帯電話端末で実行される専用ビューワからのカメラ制御情報参照要求があった場合には、識別子をキーとして制御履歴管理表内で検索し、見つかったPTZシーケンスやカメラサーバ接続情報を携帯電話端末で実行される専用ビューワに返答するよう動作する。
【０１０９】
以上の構成で、携帯電話端末上に実装された映像クリップビューワを使うユーザは、映像変換サーバに映像クリップを要求することができる。そして、映像変換サーバの機能により、映像クリップが作成された時点のカメラ制御状態情報を、映像クリップ再生ユーザが利用可能となる。
【０１１０】
特に、本実施形態では、映像変換サーバ内に蓄積されたカメラ制御情報を参照して、実際のカメラサーバを制御する。これにより、映像クリップ生成時点ではなく、映像クリップ再生時点でのカメラ制御パラメータなどをも反映した処理が可能となる。例えば、映像クリップ生成を要求したユーザと映像クリップを再生しているユーザとが異なったアクセス権限を設定されている場合に、再生ユーザの権限を反映してカメラ制御することが可能となる。これは、映像クリップが複数のユーザ間でメイルなどで受渡しされる状況下で効果がある。
【０１１１】
また、映像変換サーバ内に管理される制御履歴管理表を参照することによって、生成された映像クリップの時間枠に隣接する時間枠のカメラ制御情報を参照することも可能となる。すなわち、映像クリップに含まれる識別子(制御履歴管理表への参照情報)をたどる事によって、映像クリップの前後で行われたカメラ制御を、芋づる式に取得することが可能となる。
【０１１２】
本実施形態では、携帯電話端末で実行される専用ビューワが、映像クリップ中に組み込まれた識別子を使って、映像変換サーバにカメラ制御情報を問い合わせ、カメラ制御情報を取得し、カメラを制御する例について説明しているが、カメラ制御を実行するのは、携帯電話端末で実行される専用ビューワに限定されない。例えば、映像クリップ中に組み込まれた識別子を指定した上で、映像変換サーバにカメラサーバのカメラ制御を委譲するよう実施しても良い。
【０１１３】
尚、本実施形態では、映像変換サーバ自身が制御履歴管理表を管理する例について説明しているが、制御履歴管理表は、別のデータベースサーバなどが管理しても良い。
【０１１４】
＜第３の実施形態＞
（映像クリップ中に連結するカメラサーバの選択と割当ての工夫）
本発明の第３の実施形態では、第１の実施形態と同様、インターネット上に配置された多数のカメラサーバから取得したライブ映像を、携帯電話端末向け映像クリップに変換して送信する例について説明する。特に、本実施形態では、事前に複数のカメラサーバの映像ストリームを映像クリップに変換しておき、それらを適切に編集(切り出しと連結)する点に特徴がある。
【０１１５】
本実施形態では、ネットワークの接続形態やハードウェア構成、および、各ソフトウェアの動作の多くは、第１の実施形態で説明した通りである。ただし、図１３で示した映像変換サーバの一部の動作が第１の実施形態とは異なる。
【０１１６】
本実施形態では、映像変換サーバがステップS1312のリクエスト内容から、複数台のカメラサーバへの接続情報を取り出した時点で、各カメラサーバに対応する映像取得部、映像変換部、カメラ制御部を用意し、各カメラサーバからの映像ストリームを並行して映像クリップへと変換する点で、第１の実施形態の映像変換サーバと異なる。
【０１１７】
そして、リクエスト元が指定する基準に従って、それぞれの映像クリップから適切な長さの映像区間を切り出し、第１の実施形態の映像送信部と同様に、カメラ制御情報やカメラサーバ接続情報を含むリンク情報を組み込んだ映像クリップを作成し、リクエスト元に送信する。
【０１１８】
この中で、リクエスト元が指定する基準には、映像ストリーム取得中の各カメラサーバでのカメラ制御量、カメラ制御頻度、動き検知や接点などイベント発生の有無や発生順序、あるいは、取得された映像のフレームレートや画質などが用いられる。
【０１１９】
以上の構成で、携帯電話端末上に実装された専用ビューワが、映像クリップ内に組み込まれたカメラ状態情報を抽出して、カメラサーバのカメラ制御することができる。特に、本実施形態では、複数のカメラサーバから得られる映像データを映像区間単位で編集し、適切な長さ(時間)の映像クリップをユーザに提供することが可能となる。
【０１２０】
本実施形態では、カメラサーバ側の属性(カメラ制御量やイベント発生など)を基準として映像クリップの切り出しと連結を行っているが、この基準は、映像クリップのリクエスト元である携帯電話端末側の属性であっても良い。例えば、携帯電話端末の端末識別子に対応して携帯電話キャリアが管理している個人情報(性別、年齢、職業、地域など)や、事前に収集したユーザの好み情報などが
考えられる。
【０１２１】
＜第４の実施形態＞
（カメラサーバ一体型の映像変換サーバ(VB組み込み例)）
本発明の第４の実施形態では、第１の実施形態と同様、インターネット上に配置されたカメラサーバから取得したライブ映像を、携帯電話端末向け映像クリップに変換して送信する例について説明する。特に、本実施形態では、映像変換サーバがカメラサーバと一体化している点に特徴がある。
【０１２２】
本実施形態では、ネットワークの接続形態やハードウェア構成、および、各ソフトウェアの動作の多くは、第１の実施形態で説明した通りである。ただし、図１の利用形態、図２の映像変換サーバのハードウェア構成、および、図１３で示した映像変換サーバの一部の動作が第１の実施形態とは、異なる。
【０１２３】
まず、本実施形態では、映像変換サーバとカメラサーバとが一体化しているため、利用形態は、図２０の通りである。また、映像変換サーバのハードウェア構成も図３のカメラサーバのハードウェア構成の通りである。さらに、映像変換サーバの映像取得部は映像サーバのステップS806と同様に、ハードウェア構成の映像キャプチャボードを使って映像データを獲得する。
【０１２４】
本実施形態では、映像変換サーバが、ハードウェア構成の映像キャプチャボードを使って映像データを獲得する例について説明したが、カメラサーバと一体化した映像変換サーバであっても、第１の実施形態と同様に、他のカメラサーバの映像サーバからも映像データを取得できるよう設計することも容易に想像できる。これによって、カメラサーバのエンコード処理の負荷分散、配送処理の負荷分散、および、ネットワーク通信インフラにおける輻輳防止などの効果がある。
【０１２５】
以上説明したように、上記実施形態によれば、カメラサーバに装備されたカメラ制御機能を適切に反映して映像クリップを生成する事で、携帯電話端末に広く実装されている映像クリップ再生表示機能とカメラ制御機能付きカメラサーバとの連携を向上させることが可能となる。
【０１２６】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【０１２７】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１２８】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【０１２９】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ(基本システム或いはオペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１３０】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１３１】
【発明の効果】
本発明によれば、例えばカメラサーバ等の撮像装置によって取得された画像データに、その画像データに付帯する例えば撮像装置の制御情報等の前記撮像装置の状態情報を反映させ、携帯情報端末に対して適切に提供することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係るライブ映像通信システムの構成を概略的に示した図である。
【図２】映像変換サーバを動作させるハードウェア構成の一例を示した図である。
【図３】カメラサーバのハードウェア構成の一例を示した図である。
【図４】ビューワを動作させるハードウェア構成の一例を示した図である。
【図５】プログラムを構成する部分を模式化した図である。
【図６】携帯電話上で映像クリップを再生表示する非専用ビューワの動作の流れを示した図である。
【図７】カメラサーバのカメラ動作サーバの動作の流れを示した図である。
【図８】カメラサーバ内の映像サーバの動作の流れを示した図である。
【図９】 PTZシーケンスを作成する時の携帯電話の様子を例示した図である。
【図１０】カメラ制御サーバや映像サーバが読み出す動作設定情報を特定のファイルに設定するカメラサーバ設定プログラムの表示画面の一例を示した図である。
【図１１】カメラサーバの設定プログラムの動作を示した図である。
【図１２】映像変換サーバにおける映像データの大まかな流れを模式的に示した図である。
【図１３】映像変換サーバの動作の流れを示した図である。
【図１４】映像データに対して時間軸を逆方向に過剰な長さのカメラ制御シーケンスを割当てた様子を模式的に示した図である。
【図１５】携帯電話端末の表示装置上における表示例を示した図である。
【図１６】 PTZシーケンスの作成の流れを示した図である。
【図１７】映像クリップの表示例を示した図である。
【図１８】本発明の第２の実施形態における制御履歴管理表を説明するための図である。
【図１９】本発明の第１の実施形態における専用ビューワの流れを示した図である。
【図２０】本発明の第４の実施形態における典型的な利用形態を示した図である。
【符号の説明】
１０１、１０２ カメラサーバ
２００ ビューワ
３００ 中継サーバ
４００ 映像変換サーバ
５００ ゲートウェイ
６０１、６０２ 携帯電話端末
４０１、１０１１、６０１１ 記憶装置
４０２、１０１４ ネットワークＩ／Ｆ
４０３、１０１５、６０１３ ＣＰＵ
１０１２ 映像キャプチャボード
１０１３ シリアルＩ／Ｆ
６０１２ 無線通信Ｉ／Ｆ
１０１ａ カメラ制御サーバ
１０１ｂ 映像サーバ
４００ａ カメラ制御部
４００ｂ 映像取得部
４００ｃ 映像変換部
４００ｄ 映像送信部
６０１ａ カメラ制御部
６０１ｂ 映像表示部
Claims (10)
- 一又は複数の携帯情報端末に対して画像データを送信する情報処理装置であって、
一又は複数の撮像装置より画像データを取得する画像取得手段と、
前記撮像装置を制御可能なソフトウェアであって前記携帯情報端末に搭載されるソフトウェアの起動指示情報を前記画像取得手段にて取得された前記画像データに組み込む処理手段と、
前記処理手段により前記ソフトウェアの起動指示情報が組み込まれた前記画像データを前記一又は複数の携帯情報端末に対して送信する画像送信手段とを有することを特徴とする情報処理装置。 - 前記画像取得手段は、前記撮像装置の状態情報を取得し、前記処理手段は、前記状態情報に基づく前記撮像装置の制御指示データをパラメータとする前記起動指示情報を生成し、生成した前記起動指示情報を前記画像取得手段にて取得された前記画像データに組み込むことを特徴とする請求項１に記載の情報処理装置。
- 前記処理手段は、前記制御指示データをパラメータとする前記起動指示情報を前記画像データの一部区間或いは全体に組み込むことを特徴とする請求項２に記載の情報処理装置。
- 前記起動指示情報は、画像データの取得先の切り換え前後における撮像装置を指定する情報を含むことを特徴とする請求項１に記載の情報処理装置。
- 前記処理手段は、前記撮像装置において所定事象が発生したタイミングで前記画像データを区分分割し、複数の画像区間を順番に連結した上で、それぞれの画像区間に前記制御指示データをパラメータとする前記起動指示情報を組み込むことを特徴とする請求項３に記載の情報処理装置。
- 前記処理手段は、各画像区間の時間、各画像区間の優先度及び各画像区間の関連性のうちの少なくとも何れか１つを反映させて、前記複数の画像区間を順番に連結することを特徴とする請求項５に記載の情報処理装置。
- 前記処理手段は、隣接する画像区間に組み込む前記制御指示データと一部重複するように各画像区間に前記制御指示データをパラメータとする前記起動指示情報を冗長に組み込むことを特徴とする請求項５又は６に記載の情報処理装置。
- 前記各画像区間の優先度及び前記各画像区間の関連性は、前記撮像装置に対する制御頻度、前記撮像装置に対する制御回数、及び、前記撮像装置における発生事象内容のうちの少なくとも何れか１つに基づいて決定されることを特徴とする請求項６に記載の情報処理装置。
- 一又は複数の携帯情報端末に対して画像データを送信する情報処理装置が行う情報処理方法であって、
一又は複数の撮像装置より画像データを取得する取得工程と、
前記撮像装置を制御可能なソフトウェアであって前記携帯情報端末に搭載されるソフトウェアの起動指示情報を前記取得工程にて取得された前記画像データに組み込む処理工程と、
前記処理工程により前記ソフトウェアの起動指示情報が組み込まれた前記画像データを前記一又は複数の携帯情報端末に対して送信する送信工程とを有することを特徴とする情報処理方法。 - 一又は複数の携帯情報端末に対して画像データを送信するコンピュータに、
一又は複数の撮像装置より画像データを取得する取得手順と、
前記撮像装置を制御可能なソフトウェアであって前記携帯情報端末に搭載されるソフトウェアの起動指示情報を前記取得手順にて取得された前記画像データに組み込む処理手順と、
前記処理手順により前記ソフトウェアの起動指示情報が組み込まれた前記画像データを前記一又は複数の携帯情報端末に対して送信する送信手順とを実行させるためのプログラム。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003097074A JP4401672B2 (ja) | 2003-03-31 | 2003-03-31 | 情報処理装置、情報処理方法及びプログラム |
| US10/810,703 US20040189871A1 (en) | 2003-03-31 | 2004-03-29 | Method of generating moving picture information |
| CNB2004100306047A CN100493177C (zh) | 2003-03-31 | 2004-03-30 | 动图像信息的生成方法及分发设备 |
| US13/329,432 US8692897B2 (en) | 2003-03-31 | 2011-12-19 | Method of generating moving picture information |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003097074A JP4401672B2 (ja) | 2003-03-31 | 2003-03-31 | 情報処理装置、情報処理方法及びプログラム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004304651A JP2004304651A (ja) | 2004-10-28 |
| JP2004304651A5 JP2004304651A5 (ja) | 2006-05-11 |
| JP4401672B2 true JP4401672B2 (ja) | 2010-01-20 |
Family
ID=33408959
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003097074A Expired - Fee Related JP4401672B2 (ja) | 2003-03-31 | 2003-03-31 | 情報処理装置、情報処理方法及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4401672B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4510519B2 (ja) * | 2004-05-28 | 2010-07-28 | キヤノン株式会社 | 映像通信装置、映像通信方法及びコンピュータプログラム |
| JP4954462B2 (ja) | 2004-10-19 | 2012-06-13 | 株式会社フジミインコーポレーテッド | 窒化シリコン膜選択的研磨用組成物およびそれを用いる研磨方法 |
| JP2007208888A (ja) * | 2006-02-06 | 2007-08-16 | Seru Corporation:Kk | 動画像配信システム |
| US20080094466A1 (en) * | 2006-10-18 | 2008-04-24 | Richard Eric Helvick | Target use video limit notification on wireless communication device |
| WO2010021042A1 (ja) * | 2008-08-21 | 2010-02-25 | 株式会社 アロー | データ通信システム |
| CN110652292B (zh) * | 2018-06-29 | 2023-03-10 | 博西华电器（江苏）有限公司 | 监控方法、装置、系统以及冰箱 |
| KR102167276B1 (ko) * | 2018-09-05 | 2020-10-19 | 주식회사 엘지유플러스 | 복수의 동영상 처리를 위한 장치 및 방법 |
| CN114554094B (zh) * | 2022-02-25 | 2024-04-26 | 深圳市豪恩声学股份有限公司 | 基于头戴式耳机的摄像控制方法以及头戴式耳机 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002077879A (ja) * | 2000-08-30 | 2002-03-15 | Toshiba Corp | 映像監視方法および映像監視システム |
| JP2002084445A (ja) * | 2000-09-08 | 2002-03-22 | Canon Inc | 携帯電話を用いてカメラを制御する方法 |
| JP2002142189A (ja) * | 2000-11-06 | 2002-05-17 | Canon Inc | 画像処理装置、画像処理方法及び記憶媒体 |
| JP2003037836A (ja) * | 2001-07-24 | 2003-02-07 | Ntt Docomo Inc | 画像配信方法、画像配信システム、コンピュータ読取可能な記録媒体及びコンピュータ・プログラム |
-
2003
- 2003-03-31 JP JP2003097074A patent/JP4401672B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004304651A (ja) | 2004-10-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8692897B2 (en) | Method of generating moving picture information | |
| US7177872B2 (en) | Interface for media publishing | |
| JP4546202B2 (ja) | 映像受信装置とその制御方法とプログラム及び記憶媒体 | |
| KR100654783B1 (ko) | 화상배신방법 | |
| US20020147687A1 (en) | Method and computer system for program recording service | |
| US20040128354A1 (en) | Teleconference system, teleconference support method, and computer program | |
| JPWO2007055206A1 (ja) | 通信装置、通信方法、通信システム、プログラム、および、コンピュータ読み取り可能な記録媒体 | |
| JP2004193979A (ja) | 映像配信システム | |
| US7904529B2 (en) | Method and system for transmitting and recording synchronized data streams | |
| JP4401672B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP4764596B2 (ja) | データ転送方法及びサーバコンピュータ | |
| KR20000054715A (ko) | 인터넷상의 동영상컨텐츠 서비스시스템과 그 방법, 및동영상파일의 생성 및 전송방법과 그 기록매체 | |
| JP4250449B2 (ja) | 映像通信システム、映像通信装置、端末及び端末のカメラ制御方法 | |
| JP4261934B2 (ja) | 映像クリップ生成装置、映像クリップ生成方法、プログラム及び記憶媒体 | |
| JP4510519B2 (ja) | 映像通信装置、映像通信方法及びコンピュータプログラム | |
| JP2004343175A (ja) | 映像中継装置 | |
| JPH11196404A (ja) | 映像発信装置及び映像受信装置及びその制御方法及び記憶媒体 | |
| JP4791213B2 (ja) | 通信装置、通信方法及びプログラム | |
| JP2007243605A (ja) | 通信装置、通信方法及びプログラム | |
| JP2006211524A (ja) | 映像表示装置、映像処理装置の制御方法、プログラム、及び記憶媒体 | |
| JP2006222720A (ja) | 映像通信システム、情報処理装置、映像通信方法及びそのプログラム | |
| JP2003299062A (ja) | 映像変換装置およびその方法 | |
| JP2003163917A (ja) | サーバ装置、端末識別情報提供方法、端末識別情報提供プログラム、及び端末識別情報提供プログラムが記録された記録媒体、情報処理端末装置、並びに端末識別情報授受システム及び端末識別情報授受方法 | |
| JP2004023706A (ja) | 多地点会議システム | |
| JP2005084875A (ja) | メディア配信装置及び方法並びにプログラムを記録した記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060314 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060314 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090224 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090415 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091013 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091028 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4401672 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121106 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131106 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |