JPH11196404A - 映像発信装置及び映像受信装置及びその制御方法及び記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 ユーザ側であるクライアントからの指定に基
づき選択した映像データを撮像した映像データに重畳し
て提供できる。 【解決手段】 クライアント側で動作しているビューワ
１０２から重畳合成させようとする画像の選択指示がな
されると、重畳画像獲得手段１０５はサーバマシン１０
３に対してその重畳画像を要求し、重畳画像格納手段１
０６に格納する。一方、カメラ装置１０７で撮影された
映像はキャプチャ手段１０８でデジタルデータに変換さ
れる。そして、画像合成手段１０９で、キャプチャした
映像データを重畳画像とを合成し、それを圧縮符号化手
段１１０で圧縮符号化し、データ発信手段１１１でビュ
ーワ１０２に発信する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は映像発信装置及び映
像受信装置及びその制御方法及び記憶媒体、例えば、動
画カメラから得られるデータを連続的にキャプチャし、
圧縮して、ネットワークに伝送する映像配送システムの
送信装置とその受信装置及びその制御方法とそれを実現
するためのプログラムを格納した記憶媒体に関するもの
である。

【０００２】

【従来の技術】本願出願人は、インターネットなどのネ
ットワークを介して遠隔地の映像を見るために、ビデオ
カメラをネットワークに接続し、このビデオカメラによ
り撮像された映像や音声などのメディアデータを、その
ネットワークを介して複数のクライアントに送信する映
像伝送システムを提案してきた。

【０００３】一方、テレビジョン放映などの一部の領域
では、従来より動画映像データを特定の背景データなど
と合成して、より魅力的な映像データを作り出す、クロ
マキーなどの映像合成方法が一般に用いられてきた。

【０００４】

【発明が解決しようとする課題】しかしながら、上記の
ようなこれまでの映像伝送システムでは、カメラで撮像
された映像に他の映像を合成することは行われていなか
った。

【０００５】これに対して本願出願人は特願平９−００
０７５５号或いは特願平９−１４６５８３号のような提
案を行った。

【０００６】ここで、カメラ映像を送信する装置をカメ
ラサーバ、カメラ映像を受信して再生する装置をビュー
ワと呼ぶことにする。これまでの発明考案では、カメラ
映像に対して合成される映像はカメラサーバもしくはビ
ューワに備え付けのものであり、カメラの撮像パラメー
タによる撮像アングルの変化に対して固定的に定まった
ものであったため、利用価値に制限があった。

【０００７】元来、映像の付加価値を上げるという意味
で、ユーザの好みにより合成する映像を選び出したいと
いう要望があった。第２に合成する映像の種類を増やし
つつカメラサーバやビューワなどのメモリサイズを増や
したくないことから別種のサーバから必要な時に必要な
映像データを得るようにしたいという要望もあった。第
３にカメラの撮像アングル以外にもカメラサーバの内部
状態や動作、通信状況に関する情報を見たいという要望
があった。第４にビューワの位置情報が分かる場合など
にビューワの位置や状況に応じて適切な情報を合成表示
したいという要望があった。

【０００８】本発明では、元来の映像送信装置・映像受
信装置からなるシステムに外部の映像データのサーバと
の間の通信機構を設け、また、ユーザに選択可能な合成
要素データの一覧を見せて選択させる手段や通信経路の
状態を知る手段、サーバの状態を知る手段などを設ける
ことで、上述の要望を実現し、多数の映像データの中か
らユーザの好みのデータや状況に応じて必要とされるデ
ータを選択して合成映像のサービスを行なうもしくは受
けることを可能ならしめる映像発信装置及び映像受信装
置及びその制御方法及び記憶媒体を提供しようとするも
のである。

【０００９】

【課題を解決するための手段】この課題を解決するた
め、例えば本発明の映像発信装置は以下の構成を備え
る。

【００１０】映像データを所定のネットワークを介して
クライアントに発信する映像発信装置であって、合成に
用いる第１の映像データをサーバ或いはクライアントに
関連して選択する選択手段と、撮像して得られた映像デ
ータを第２の映像データとし、当該２の映像データと前
記選択手段で選択された第１の映像データとを合成する
合成手段とを備え、前記合成手段で合成して得られた映
像データを前記クライアントに向けて発信することを特
徴とする。

【００１１】

【発明の実施の形態】以下、添付図面に従って本発明に
係る実施形態を詳細に説明する。

【００１２】図１は実施形態におけるシステムブロック
構成図である。図中、１０１は本実施形態による映像送
信装置であるカメラサーバ、１０２は映像受信装置（ク
ライアント）であるビューワ、１０３は合成される要素
画像データ（以下重畳画像データとする）を格納してい
るサーバマシンである。

【００１３】カメラサーバ１０１において、１０４は重
畳画像データの指示を受け取る重畳画像要求受付手段、
１０５は重畳画像データのリクエストをサーバマシンに
向けて発し、受け取る重畳画像獲得手段、１０６は受け
取った重畳画像データを格納する重畳画像格納手段、１
０７は実際に撮像を行うカメラ装置、１０８は映像信号
をキャプチャーしてディジタル映像信号にするキャプチ
ャー手段、１０９はキャプチャー手段１０８から出力さ
れるディジタル映像信号と重畳画像格納手段１０６内の
重畳画像データを合成し映像データとして出力する画像
合成手段である。１１０は映像データを圧縮符号化する
圧縮符号化手段、１１１は符号化された映像データをパ
ケット化してビューワ１０２へネットワークを介して送
信するデータ発信手段である。

【００１４】上記構成において、カメラ装置１０７から
出力されるＮＴＳＣコンポジット形式などのアナログビ
デオ信号はキャプチャー手段１０８によりディジタルの
ＲＧＢあるいはＹＵＶ画像信号に変換される。そして、
画像合成手段によって、ビューワより指示された重畳画
像と撮影して得られた映像データの合成画像はＪＰＥＧ
或いはＭＰＥＧ方式などの既存の圧縮符号化方式を用い
る圧縮符号化手段１１０によって圧縮データに変換さ
れ、データ発信手段１０２によってパケット化されてビ
ューワへ送信される。圧縮符号化手段に関する特別な制
約はなく、例えばＩＴＵ−Ｔ勧告Ｈ．２６１，Ｈ．２６
３といった方式も利用可能である。また、カメラ自体が
デジタル信号を出力する場合にはキャプチャ手段は不要
になることは言うまでもない。

【００１５】本実施形態におけるカメラサーバの全体の
動作に関しては図９および図１０を用いて後述するが、
それに先立って本実施形態の主となる動作部分を図２お
よび図３を用いて説明する。

【００１６】図２は、実施形態による重畳画像の指定に
対応する処理の工程を示している。図示において、ステ
ップＳ２０１では重畳画像要求受付手段１０４は画像デ
ータの指示要求を受け取り、それに基づき重畳画像獲得
手段１０５が指定された画像に対するＵＲＬを見い出
す。

【００１７】ステップＳ２０２では、重畳画像獲得手段
１０５は、指定された画像データをサーバ１０３に要求
する。もし、その要求がエラーで終わったとき（該当す
るファイルが存在しなかった場合等）にはステップＳ２
０３において、エラーメッセージを出力する。また、該
当する画像があるとステップＳ２０４では、重畳画像獲
得手段１０５は指定された画像データを受け取る。そし
て、ステップＳ２０５に進んで、受け取った画像データ
を重畳画像格納手段（例えばハードディスクやメモリ
等）１０６に格納する。

【００１８】尚、重畳画像の指定方法には、デフォルト
の画像リストの中の番号で示す第１の方法と、ＵＲＬ指
定で示す第２の方法がある。第１の方法の場合には、重
畳画像獲得手段１０５が持つ（あるいはサーバから受け
取る）重畳画像用のＵＲＬリスト中から番号に対応する
ものを読み出し、第２の方法の場合にはＵＲＬそのもの
を使う。

【００１９】図３は映像データの加工・圧縮処理の工程
を示すフローチャートである。以下、同図に従い、説明
する。

【００２０】先ず、ステップＳ３０１はカメラ装置１０
８で撮像された映像データをキャプチャー手段１０８を
用いてディジタル化し取り込む。次いで、ステップＳ３
０２において、重畳画像格納手段１０６にある格納画像
データと、キャプチャーした映像データを画像合成手段
１０９で合成する。そして、ステップＳ３０３に進み、
合成映像データを圧縮符号化手段１１０で圧縮し符号化
する。符号化されたデータはさらにデータ発信手段１１
１によりネットワークを介してビューワ１０２ヘと配送
される。ここで、画像合成手段１０９では、重畳のため
に格納された画像データをｇ(x,y)、キャプチャーした
映像データをｆ(x,y)とすると、出力される合成データ
ｈ(x,y)は、特定の透過色Ｃでない場合にはｇ(x,y)、Ｃ
である場合にはｆ(x,y)とする。すなわち、以下のよう
な変換処理となる。

【００２１】 これは、αプレーンとして知られる指定用のデータを別
に用意しても可能である。この場合の処理は指定用のデ
ータをａ(x,y)とすると である。

【００２２】図４は実施形態におけるカメラサーバおよ
びビューワが利用される状況を示している。図中、４０
１は実施形態におけるカメラサーバ、４０２はビューワ
である。カメラサーバ４０１とビューワ４０２はそれぞ
れネットワークに接続され、ビューワ４０２からネット
ワークを介してリクエストがカメラサーバ４０１へ送ら
れ、これが受け入れられるとカメラサーバ４０１からビ
ューワ４０２へ映像データが配送され、ビューワでカメ
ラ映像を見ることが可能となる。またビューワ４０２か
らカメラ制御コマンドがカメラサーバ４０１へ送られ、
カメラのズーム，パン，チルトなどの操作が可能とな
る。

【００２３】尚、図示のネットワークは企業あるいは組
織内で運用されるイントラネットである場合もあり、広
く世界をつないでいるインターネットである場合もあ
る。

【００２４】図５は広く普及したＷｅｂ技術を併用した
構成例を示している。図中、５０１は実施形態における
カメラサーバ、５０２は実施形態におけるビューワ、５
０３は既存のＷＷＷサーバである。ＷＷＷサーバ内のＷ
ｅｂページデータには、どのアドレスでカメラサーバへ
接続できるかを示すリンクが配置され、これにより、容
易に所望のカメラサーバへ接続することが可能となる。

【００２５】尚、カメラサーバおよびビューワを構成す
るハードウェアは一般的なコンピュータと周辺機器の組
み合わせで実現でき、以下図１１および図１２に簡単な
模式図を示す。

【００２６】図１１はカメラサーバのハードウェア構成
の一例を示したものであり、実際に撮像を行うカメラ装
置とコンピュータ、より詳細には、プログラムを格納し
たＨＤ装置およびメモリ、映像データを取り込むための
映像キャプチャボード、カメラ装置にコマンドを送るた
めのシリアルＩ／Ｆ、ネットワークと接続するためのネ
ットワークＩ／Ｆ、プログラムによる各種の処理を実行
するＣＰＵ、プログラムを媒体からロードするためのＦ
Ｄ装置などからなる。

【００２７】本実施形態での機能を実現するプログラム
もこのＦＤ装置を介してプログラム媒体からロードする
ことができる。また、ＩＳＤＮやＰＳＴＮ（通常の電話
線）での接続を行う場合にはネットワークＩ／Ｆの代わ
りにモデムなどが利用される。

【００２８】図１２はビューワを動作させるハードウェ
ア構成の一例を示したものであり、一般のコンピュー
タ、より詳細には、プログラムを格納したＨＤ装置およ
びメモリ、ネットワークと接続するためのネットワーク
Ｉ／Ｆ、プログラムによる各種の処理を実行するＣＰ
Ｕ、プログラムを媒体からロードするためのＦＤ装置な
どからなる。

【００２９】本実施形態を実現するプログラムもこのＦ
Ｄ装置を介してプログラム媒体からロードすることがで
きる。また、ＩＳＤＮやＰＳＴＮ（通常の電話線）での
接続を行う場合にはネットワークＩ／Ｆの代わりにモデ
ムなどが利用される。

【００３０】図６は、上記ハードウェア上で動作するプ
ログラムの部分構成を模式化した図であり、カメラサー
バはコンピュータ６０１とカメラ装置６０３から構成さ
れ、コンピュータ内にはカメラの制御をつかさどるカメ
ラ制御サーバ６０４と映像の配送をつかさどる映像サー
バ６０５の２つのモジュールを含む。同様に、クライア
ントマシン６０２内には、ビューワ６０７が１つのアプ
リケーションプログラムとして実行され、ビューワ内に
はカメラ制御の指令や状態通知に対応するカメラ制御部
６０８とカメラ映像の表示を担当する映像表示部６０９
を含む。

【００３１】図７はビューワが動作しているときのクラ
イアント側ホストマシンの画面の様子を例示した図であ
る。図中、７０１はＷｅｂブラウザプログラムであり、
例えば米国Ｎｅｔｓｃａｐｅ社のＮａｖｉｇａｔｏｒ
（同社の商標）や米国Ｍｉｃｒｏｓｏｆｔ社のＩｎｔｅ
ｒｎｅｔＥｘｐｌｏｒｅｒ（同社の商標）などがある。
７０２はＷｅｂブラウザプログラムの表示領域内で動作
するビューワプログラムである。７０３は映像表示部、
７０４はチルト（カメラの縦振り）用のスクロールバ
ー、７０５はパン（カメラの横振り）用のスクロールバ
ー、７０６はズーム用のスクロールバー、７０７はカメ
ラ制御権の要求のためのボタンであり、７０８はカメラ
制御権の状態を表示する部分であり、７０９は逆光補正
用のボタンである。これらはクライアントに用意されて
いるポインティングデバイス（マウス等）で操作するこ
とになる。

【００３２】図８はビューワ側での動作の流れを示す図
である。ステップＳ８０１でビューワマシン上のＷｅｂ
ブラウザが指示されたＵＲＬに対応するＷＷＷサーバに
接続し、ＨＴＭＬ形式で記述されたＷｅｂページデータ
をリクエストする。続いてステップＳ８０２でＷＷＷサ
ーバからＷｅｂページデータを受け取り、これをＷｅｂ
ブラウザに表示し始める。ここで受け取ったＷｅｂペー
ジデータの中には本システムのビューワを起動しカメラ
サーバへ接続するための情報を示した以下のようなｅｍ
ｂｅｄタグもしくはハイパーリンクが含まれているす
る。

【００３３】 <embed src="camera1.wvp"width=480 height=320> ＷｅｂブラウザはさらにステップＳ８０３でｅｍｂｅｄ
タグで指定されたデータファイル（上の場合、"camera
1.wvp"ファイル）をＷＷＷサーバヘアクセスしてダウン
ロードし、ステップＳ８０４でデータファイルの識別子
に対応するプログラム、すなわち本システムのビューワ
プログラムを起動する。ダウンロードしたファイルには
ネットワーク接続に必要なカメラ制御サーバと映像サー
バのネットワークアドレスや通信ポートなどの情報が含
まれる。ビューワプログラムはステップＳ８０５でダウ
ンロードしたデータファイルを読み込み、そこに記載さ
れているカメラサーバを構成する映像サーバのアドレス
および接続ポートの情報に従い、映像サーバへ接続す
る。ここで、接続以降の処理を行うための動作プログラ
ム（実現方法としては、スレッドあるいはプロセスの起
動となる）が起動され、映像サーバとの間で通信に関す
るパラメータのやり取りを行い、その後、このプログラ
ムは終了までステップＳ８１１を繰り返し、映像サーバ
からの映像データが届くたびにそれを受け取り、表示す
る。さらにメインのプログラムはステップＳ８０６でダ
ウンロードしたデータファイルに記載されているカメラ
制御サーバのアドレスおよび接続ポートの情報に従い、
カメラ制御サーバへ接続し、カメラ制御サーバとの間で
通信に関するパラメータのやり取りを行う。これ以降メ
インプログラムはユーザからの操作要求を受けつけ、実
行するメインループへ続く。

【００３４】メインループでは、まずステップＳ８０７
で図７で示したＧＵＩに対するユーザの操作をメニュー
操作などのマウス操作あるいはキーボード繰作から受け
取り、これがカメラ制御に関する場合にはステップＳ８
０８でカメラ制御サーバヘコマンドを発し、映像サーバ
に関する場合にはステップＳ８０９で映像サーバへコマ
ンドを発する。また、ユーザの操作がビューワの状態を
変更する（たとえば表示サイズを変更する）ものの場合
にはステップＳ８１０で内部状態を更新し、コンピュー
タに付属するオペレーティングシステムおよびウィンド
ウシステムの提供する機能を用いて表示サイズの変更な
どを実現する。ユーザ操作が終了の場合には、ビューワ
の動作に関連する各プログラムを順次終了するＳ８０８
〜Ｓ８１０の処理が完了するとＳ８０７へ戻り、ユーザ
の操作入力を待つ。

【００３５】このような動作により、図７のビューワが
動作する。すなわち、ステップＳ８１１で受けとった映
像データは映像表示部７０３に表示され、スクロールバ
ー７０４〜７０６や操作ボタンからの指示はステップＳ
８０７で受け取られ、ステップＳ８０８〜Ｓ８１０で処
理され、カメラ制御サーバなどへ送られる。

【００３６】これに対するカメラサーバ側の動作内容を
以下に説明する。特に、本実施形態の要件となる部分に
関しては先に図２および図３で説明したが、これらは次
に図９および図１０を用いて説明する全体動作の一部と
なる。

【００３７】図９はカメラサーバ内のカメラ制御サーバ
の動作を示したフローチャートである。

【００３８】カメラ制御サーバはまず起動時にステップ
Ｓ９０１で特定のファイル（ＯＳによってはレジストリ
などのシステムデータベース）からカメラ制御サーバの
動作設定情報を読み出して、それに基づき動作を開始す
る。ここでクライアントであるビューワプログラムから
のリクエストを受け付けるポートを開き、続いて、ステ
ップＳ９０２のリクエスト受付状態に入る。リクエスト
（接続リクエストもしくは操作コマンドリクエスト）を
受け付けたら、ステップＳ９０２を抜ける。接続リクエ
ストならばステップＳ９０３でこれを受け付け、ステッ
プＳ９０４で接続の可否の判定を行う。否ならば接続拒
否のエラーコードを返し、ステップＳ９０２に戻る。ま
た、接続可ならば、ステップＳ９０５で接続処理とし
て、クライアントからのコマンドの受付処理を行うスレ
ッドを生成し、クライアントの登録を行ってから、ステ
ップＳ９０２に戻る。

【００３９】生成されたスレッドでは、まずクライアン
トであるビューワプログラムとの間で通信のパラメータ
を決めるやり取りを行い、以降、ステップＳ９０８で対
応するクライアントからのコマンドの受付を行う。コマ
ンドが届いたならば、それを受け付け、カメラ操作を行
う主プログラムヘ受け渡す。主プログラムはステップＳ
９０２でこれを受け、操作コマンドに対してはステップ
Ｓ９０６へ進み、カメラ操作を行って、その結果（操作
が成功か失敗かを示すコードなど）をカメラ操作要求を
受け付けたクライアント対応のスレッドへ伝える。この
クライアント対応のスレッドはステップＳ９０９で結果
をクライアントビューワヘ送り返す。主プログラム部分
では、ステップＳ９０７でカメラの操作により変化した
状態（たとえば、パン・チルトズームの値）をすべての
クライアント対応のスレッドに伝える。各クライアント
対応のスレッドはステップＳ９１０でカメラ制御状態の
変化（現在のパン角、チルト角、ズーム倍率等）をクラ
イアントビューアへ通達する。クライアント対応のスレ
ッドはクライアントから接続終了のコマンドを受けたな
らば、それを主プログラムへ通達し、さらにステップＳ
９１１で自身のスレッドを終了する。

【００４０】尚、操作コマンドの扱いにおいては、具体
的な操作コマンドの発行の前に、カメラ操作権の割り当
て要求という段階を置くことも可能である。これは複数
の人間がカメラの操作を要求するような状況での混乱を
無くすためであり、唯一人に対してカメラの操作権を与
えるものである。この場合、まず、クライアントビュー
ワからはカメラ操作権獲得の要求コマンドが発行され、
これに対して、カメラ制御サーバは現在のカメラ制御権
の割り当て状態から、拒絶・割り当て・順番待ちを選び
クライアントへ返答する。カメラ制御権は前もって定め
られた特定の時間か、クライアントが接続を終了するま
での短いほうの時間で剥奪され、次の順番待ちの人に割
り当てられる。順番待ち人数はやはり前もって定められ
た人数（たとえば５人）に制限され、それ以上のリクエ
ストは拒絶される。クライアントビューワはカメラ制御
権が獲得されてから剥奪されるまでの間だけ、操作コマ
ンドを発行する。カメラ制御サーバはカメラ制御権が付
与されているクライアントからの操作コマンドのみを受
け付ける。

【００４１】図１０はカメラサーバ内の映像サーバの動
作を示すフローチャートである。

【００４２】映像サーバはまず起動時にステップＳ１０
０１で特定のファイル（ＯＳによってはレジストリなど
のシステムデータベース）から映像サーバの動作設定情
報を読み出して、それに基づき動作を開始する。ここ
で、映像の獲得と符号化を行うスレッドを生成し（最初
このスレッドは休止状態）、クライアントであるビュー
ワプログラムからのリクエストを受け付けるポートを開
き、続いて、ステップＳ１００２のリクエスト受付状態
に入る。リクエスト（接続リクエストもしくはコマンド
リクエスト）が受け付けられたら、ステップＳ１００２
を抜け、接続リクエストならばステップＳ１００３でこ
れを受け取り、さらにステップＳ１００４で接続の可否
の判定を行う。否ならば接続拒否のエラーコードを返
し、ステップＳ１００２に戻る。可ならば、ステップＳ
１００５で接続処理として、クライアントからのコマン
ドの受付処理を行うスレッドを生成し、クライアントの
登録を行い、もし映像の獲得と符号化を行うスレッドが
休止状態ならば動作開始を指示してから、ステップＳ１
００２に戻る。

【００４３】生成されたクライアント対応のスレッドで
は、まずクライアントであるビューワプログラムとの間
で通信のパラメータを決めるやり取りを行い、以降、ス
テップＳ１００９で対応するクライアントからのコマン
ドの受付を行う。コマンドが届いたならば、それを受け
付け、映像処理を行う主プログラムへ受け渡す。主プロ
グラムはステップＳ１００２でこれを受け、操作コマン
ドに対してはステップＳ１００６へ進み、映像の獲得や
符号化・送信などに関する設定の変更操作を行って、そ
の結果（操作の成功か失敗を示すコード）をコマンド要
求を受け付けたクライアント対応のスレッドヘ伝える。
このクライアント対応のスレッドはステップＳ１０１０
で結果をクライアントビューワへ送り返す。

【００４４】主プログラム部分では、ステップＳ１００
５の映像の獲得と符号化を行うスレッドへの動作開始を
指示により、ステップＳ１００７では前もって設定され
た時間間隔で映像データを映像キャプチャボードを使っ
て獲得し、これを圧縮データに変換する。さらにステッ
プＳ１００８でこの圧縮データをすべてのクライアント
対応のスレッドに伝える。クライアント対応のスレッド
はクライアントからの次映像フレーム送信要求コマンド
（これはクライアントビューワでの圧縮映像データの受
け取り完了に対して、送り返されるのが一般的である）
を受け取った場合には映像フレーム送信要求のフラグを
設定する。各クライアント対応のスレッドはＳ１００８
で新規の映像データが用意されると、ステップＳ１０１
１で、クライアントビューアからの次映像フレーム送信
要求の有無を判定し、要求があるならば、圧縮データを
クライアントビューワへ配送する。この際、映像データ
とともにサーバマシンでの現在時刻、サーバマシンに設
定されたメッセージなどを送信データのヘッダーに付加
することができる。映像サーバにおける各クライアント
対応のスレッドはクライアントから接続終了のコマンド
を受けたならば、それを主プログラムヘ通達し、さらに
ステップＳ１０１２で自身のスレッドを終了する。

【００４５】ここで、ステップＳ１００９で受け付けら
れるコマンドの一つが重畳画像の指定であり、指定する
内容をパラメータとして持っている場合には、図２で示
した重畳画像の指定処理は、ステップＳ１００６で実行
される処理の内容の一部として、上記のコマンドに対し
て実行される。

【００４６】また、上述のコマンドによる重畳画像の指
定が行われた場合には、ステップＳ１００７の映像のキ
ャプチャーと圧縮を行う工程の、より詳細な内容が図３
で示した映像データの加工・圧縮処理となる。

【００４７】図２６はカメラサーバの用いる設定値、す
なわち、ステップＳ９０１およびＳ１００１でカメラ制
御サーバや映像サーバが読み出す動作設定情報を特定の
ファイル（ＯＳによってはレジストリなどのシステムデ
ータベース）に設定する、カメラサーバ設定プログラム
の表示画面の一例を示した図である。図示では、カメラ
制御サーバ、映像サーバ、動画品質、接続制限事項など
に関する各種のパラメータ（後述）を設定できるように
なっている。ＯＫボタンを押すと設定した値が特定のフ
ァイルあるいはレジストリに書き込まれ、キャンセルす
ると書き込まれずに終了する。

【００４８】図２７は図２６のカメラサーバの設定プロ
グラムの動作を示すフローチャートである。

【００４９】設定プログラムは起動時にまずステップＳ
２７０１でカメラ制御サーバおよび映像サーバに関する
設定情報を格納した特定のファイル（ＯＳによってはレ
ジストリなどのシステムデータベース）から設定情報を
読み出し、内部データに設定する。以降、ユーザの操作
入力を受け取り、実施するループを繰り返す。ステップ
Ｓ２７０２でユーザの操作入力を待ち、入力があればそ
れを受け取り、続いてステップＳ２７０３で入力された
値が適正範囲内であるか否かを判定し、適正でなければ
ステップＳ２７０４でエラーメッセージを出力して、値
を戻して、ユーザの入力待ちＳ２７０２へ戻る。適正範
囲内であるならば、ステップＳ２７０５で内部データを
更新して、Ｓ２７０２に戻る。尚、ここで設定できるも
のには次の項目がある。すなわち、カメラ制御の通信用
のＴＣＰポート番号、カメラと接続するＣＯＭ（シリア
ル）ポート、シャッタースピード、カメラ制御関連のロ
グ情報の有無とログファイル名、映像関連の通信用のＴ
ＣＰポート番号、ログ情報の有無とログファイル名、映
像をキャプチャする時間間隔を規定するフレームレート
と圧縮の品質を決めるＱ−Ｆａｃｔｏｒ、圧縮の元デー
タの画面サイズ、１つのクライアントビューワの最大接
続時間、カメラ制御に関する制御権の順番待ち人数、１
つのビューワの制御権保持占有時間、映像とカメラ制御
に関する接続可能な最大クライアント数など、である。

【００５０】ユーザからの入力がＯＫボタンの場合に
は、ステップＳ２７０２からステップＳ２７０６に進
み、更新された内部データをカメラ制御サーバおよび映
像サーバに関する設定情報を格納する特定のファイルな
などへ書き出し、ステップＳ２７０７で変更を反映する
ためにカメラサーバを再起動するかを尋ねるパネルを出
す。再起動する場合にはステップＳ２７０８でカメラ制
御サーバや映像サーバなどを再起動して、ステップＳ２
７０９で設定プログラムを終了する。再起動しない場合
にはステップＳ２７０７から直接ステップＳ２７０９に
進み、終了する。また、ステップＳ２７０２でのユーザ
の入力がキャンセルボタンである場合には、ステップＳ
２７０２から直接ステップＳ２７０９に進み、終了す
る。

【００５１】続いて、ビューワ例のより詳細な内容を説
明する。

【００５２】図１３はビューワの内部構成を示したブロ
ック図であり、１３０１は映像データなどを受信するデ
ータ受信手段、１３０２は受信した圧縮符号化データを
伸長復号化してもとに戻す復号化手段、１３０３は映像
を表示する表示手段、１３０４は重畳画像を指定する画
像指定手段、１３０５は指定を行うために候補画像の一
覧を獲得する画像一覧獲得手段である。

【００５３】図８で説明したビューワの内部動作中、ス
テップＳ８０７でメニューから重畳画像選択が選ばれる
とステップＳ８１０でビューワの内部状態が更新され、
重畳画像を選択するために必要なウィンドウが起動され
る。

【００５４】図１４は重畳画像を選択するためのウィン
ドウの画面例を模式化して示した図である。複数の小画
像が並び、選択可能となっている。選択後、ＯＫを押す
と選択が有効になり、キャンセルを押すと選択を指示せ
ずに終了する。尚、この重畳画像選択ウインドウは、カ
メラサーバに対して重畳画像選択のための要求コマンド
を発行することで、カメラサーバ（実際は、カメラサー
バがサーバマシンから獲得する）から転送されてきたも
のである。

【００５５】図１５は画像指定手段１３０４および画像
一覧獲得手段１３０５を用いて上記の動作を実現する重
畳画像の選択処理の動作内容を示した図であり、ビュー
ワは上述の過程を経て図１４のウィンドウを起動した
後、重畳画像の選択処理に移る。重畳画像の選択処理で
は、まずステップＳ１５０１で重畳画像の一覧表示用の
データの転送要求コマンドをサーバに送る。ここで一覧
表示用のデータとは重畳画像に使える画像データを縮小
した画像データであり、カメラサーバ運用者が用意しサ
ーバマシンもしくはカメラサーバ自身に記憶保持させて
おく、ビューワはそれをすべての候補の分だけ要求す
る。また、サーバとしては、専用のものを用意すること
も可能だが、一般のＷＷＷ用に利用されるＷＷＷサーバ
を利用することができる。サーバは要求に対して縮小画
像データのセットもしくは、正しく返答できない場合に
はエラーコードを送り、ビューワはステップＳ１５０２
でこれを受け取る。エラーの場合にはステップＳ１５０
３でエラーメッセージを出力し、終了する。データのセ
ットを受け取った場合には、ステップＳ１５０４でこれ
を画面に配置し、一覧表示する。次いで、ユーザからの
選択指示（縮小画像のマウスによるポインティング）を
受け取り、選択画像を設定する。次いで、図１４下部に
あるＯＫもしくはキャンセルのコマンドボタンへの入力
をステップＳ１５０６で受け付け、キャンセルならば終
了する。ＯＫならば、ステップＳ１５０７で選択画像の
指示をカメラサーバに送信し、終了する。終了ステップ
Ｓ１５０８では、ウィンドウをクローズする。

【００５６】以上説明した構成および方法により、ユー
ザの希望に応じた重畳画像を選択し、これと撮像映像を
合成したデータを提供することが可能となる。ビューワ
で得られる映像のサンプルを模式化した例を図１６に示
す。

【００５７】＜第２の実施形態＞第１の実施形態では、
重畳データの格納、映像の合成を送信装置であるカメラ
サーバ側で行ったが、受信装置であるビューワ側にいく
つかの手段を付加することでユーザの希望に応じた重畳
画像を選択し、これと撮像映像を合成したデータを提供
する効果を得ることができる。本第２の実施形態はこの
ような実現例を説明する。

【００５８】図１７は本実施形態の構成を示す図であ
り、１７０１はコンピュータ上で動作する本第２の実施
形態におけるビューワで、１７０２は付随する表示装置
である。１７０３以降はビューワプログラム１７０１の
内部構成要素を示すものであり、１７０３は指定を行う
ために候補画像の一覧を獲得する画像一覧獲得手段、１
７０４は重畳画像を指定する画像指定手段、１７０５は
指定した重畳画像を受信し格納する重畳画像格納手段、
１７０６は映像データなどを受信するデータ受信手段、
１７０７は受信した圧縮符号化データを伸長復号化して
もとに戻す復号化手段、１７０８は伸長された画像デー
タと重畳画像データを合成する画像合成手段、１７０９
は映像を表示する表示手段である。

【００５９】図１８は、第１の実施形態において図１５
で説明した重畳画像の選択処理を置き換えるもので、画
像指定手段１７０４および画像一覧獲得手段１７０３、
重畳画像格納手段１７０５を用いる第２の実施形態にお
ける重畳画像の選択処理の内容を示す図である。

【００６０】ビューワは、図８で説明したビューワの内
部動作中、ステップＳ８０７でメニューから重畳画像選
択が選ばれると、ステップＳ８１０で内部状態を更新
し、重畳画像を選択するために図１４のウィンドウを起
動する。この後ビューワは重畳画像の選択処理に移る。
重畳画像の選択処理では、まずステップＳ１８０１で重
畳画像の一覧表示用のデータをサーバに要求する。ここ
で一覧表示用のデータとは重畳画像に使える画像データ
を縮小した画像データであり、カメラサーバ運用者が予
め用意しサーバ上においておく。ビューワはそれをすべ
ての候補の分だけ要求する。また、サーバとしては、専
用のものを用意することも可能だが、一般のＷＷＷ用に
利用されるＷＷＷサーバを利用することができる。サー
バは要求に対して縮小画像データのセットもしくは、正
しく返答できない場合にはエラーコードを送り、ビュー
ワはステップＳ１８０２でこれを受け取る。エラーの場
合にはステップＳ１８０３でエラーメッセージを出力
し、終了する。データのセットを受け取った場合には、
ステップＳ１８０４でこれを画面に配置し、一覧表示す
る。次いで、ユーザからの選択指示（縮小画像のマウス
によるポインティング）を受け取り、選択画像を設定す
る。

【００６１】次いで、図１４下部にあるＯＫもしくはキ
ャンセルのコマンドボタンへの入力をステップＳ１８０
６で受け付け、キャンセルならば終了する。ＯＫなら
ば、ステップＳ１８０７で選択された画像に対するＵＲ
Ｌを見出す。重畳画像の指定方法とそれに対応するＵＲ
Ｌを見出す方法は図２のステップＳ２０１において説明
した内容と同等である。さらにステップＳ１８０８で
は、ステップＳ１８０７で得られたＵＲＬを用いてＷＷ
Ｗサーバに画像データの要求を発し、結果を受ける。こ
こで、エラーならばステップＳ１８０９へ進み、正常に
画像データが得られればステップＳ１８１０へ進んで、
これを受け取り、次いでステップＳ１８１１で重畳画像
格納手段１７０５がメモリもしくはディスク上にこれを
蓄えて、終了する。終了ステップＳ１８１２では、選択
のためのウィンドウをクローズする。

【００６２】図１９は映像データの伸長・加工処理の工
程を示すフローチャートである。

【００６３】ステップＳ１９０１ではデータ受信手段１
７０６を用いて取り込んだ圧縮映像データを復号化手段
１７０７で伸長・復号化する。ステップＳ１９０２では
重畳画像格納手段１７０５にある格納画像データとステ
ップＳ１９０１で伸長復号化した映像データを画像合成
手段１７０８を用いて合成する。そして、ステップＳ１
９０３は合成した映像データを表示手段１７０９で表示
装置１７０２に表示するステップである。

【００６４】このように構成することにより、サーバ側
の負荷を減らすことやサーバの機能をコンパクトにする
こが可能になる。また、さらに、クライアント個別に重
畳画像を決めることができるという効果も得られた。

【００６５】＜第３の実施形態＞第３の実施形態は、単
にユーザが指定した画像を合成するだけではなく、いく
つかの判定手段や状態把握の手段を用いて、ユーザに有
益な情報をさらに映像上に重畳するものである。

【００６６】また、本第３の実施形態では、通常の有線
のネットワークではなく、無線、より具体的にはＰＨＳ
通信を用いる。

【００６７】図２０はＰＨＳ通信を用いた場合のシステ
ムの利用状況を示した図であり、インターネットサービ
スプロバイダではＰＨＳによるインターネット接続サー
ビスを提供するためにＰＩＡＦＳ対応の通信装置をネッ
トワーク接続し、これによりユーザはＰＨＳを用いてイ
ンターネットへの接続が可能となっている。一方、ビュ
ーワを載せるＰＨＳ端末側では、ＰＩＡＦＳによる通信
上に当該分野での標準であるＰＰＰプロトコルとインタ
ーネットプロトコル（ＴＣＰ／ＩＰ）を実装することで
ＰＨＳ端末としてインターネットヘの接続が可能とな
る。

【００６８】図２１は本第３の実施形態における端末の
ビューワの構成内容を示している。

【００６９】図１７で示したビューワに加えて、以下の
違いがある。２１０１は重畳する画像データを指定する
画像指定手段である。この画像指定手段２１０１は、カ
メラサーバからのカメラの制御情報（状態情報を含む）
を受け、その情報中のカメラのパン・チルト角度やズー
ム倍率などに応じて、ユーザの指定なしに、自動的に格
納手段２１０２に格納されている複数の重畳画像の中か
ら指定する機能を備え、重畳画像を切り替えるものであ
る。２１０３はサーバの状況を判定するためのサーバ状
況判定手段であり、サーバから送られてくるエラーコー
ドとメッセージに応じて、エラーコードに対応する文字
列とメッセージを合わせたデータを作り出し出力する。
このため、少なくとも各種エラーコードに対応する文字
列をテーブルとして保持している。

【００７０】２１０４は通信状況をモニタリングし、通
信の接続状況が悪化した場合や特定のレベルよりもよく
ない場合に、状況に応じたメッセージデータを作成し、
出力する通信状況判定手段である。２１０５は画像合成
手段であり、受信した圧縮データを復元して得られた映
像データと、重畳画像格納手段２１０２内にあるカメラ
制御情報に応じた画像データとを合成して第１の合成画
像を生成し、次いで、サーバ状況判定手段２１０３の出
力する文字データと、通信状況判定手段２１０４の出力
する文字データを結合して出力文字列を作成し、これを
文字フォントデータを用いて画像化した後、第１の合成
画像と合成して出力映像データを作成する。ここで、文
字画像データは映像や重畳画像よりも優先されるように
以下のように処理する。

【００７１】文字画像データをｇ(x,y)、第１の合成画
像データをｆ(x,y)とすると出力映像データｈ(x,y)は、
ｇ(x,y)が０でない場合にはｇ(x,y)、０である場合には
ｆ(x,y)とする。すなわち、以下のような変換処理とな
る。

【００７２】 また、画像合成手段２１０５は、サーバ状況判定手段２
１０３の出力する文字データと、通信状況判定手段２１
０４の出力する文字データを結合して出力文字列を作成
する代わりにこれらをキーワードとして対応する重畳画
像を重畳画像格納手段２１０２から読み出し、これを第
１の合成画像と合成することで出力映像データを作成す
るように構成することもできる。

【００７３】図２２はビューワにおける映像データの伸
長・加工処理の内容を示した図であり、先の第２の実施
形態における図１９の処理内容を代替するものである。
映像データの伸長・加工処理は映像データの１フレーム
分が受信された時に起動する。

【００７４】まず、ステップＳ２２０１で受信したデー
タを伸長・復号化して映像データを得る。次いで、ステ
ップＳ２２０２でカメラの制御状態（カメラのパン・テ
ィルト角度やズーム倍率など）に応じて、（前もって設
定された）適切な格納画像データを重畳画像格納手段２
１０２から選び出し、ステップＳ２２０３で選ばれた重
畳画像データとＳ２２０１で復号化した映像データとを
合成した第１の合成画像を生成する。さらにステップＳ
２２０４では、サーバ状況判定手段２１０３がサーバの
状況に応じた文字データを生成し、ステップＳ２２０５
で通信状況判定手段２１０４が通信状況に応じた文字デ
ータを生成し、ステップＳ２２０６で画像合成手段２１
０５がまずサーバ状況判定手段２１０３と通信状況判定
手段２１０４から受け取った文字データを合わせ、対応
するフォントデータを用いることで画像化した後、第１
の合成画像と合成することにより第２の合成画像を生成
する。次いで、ステップＳ２２０７で生成した第２の合
成画像データを表示手段にて表示する。

【００７５】尚、ＣＰＵでの計算時間の抑制のために、
ステップＳ２２０４とＳ２２０５は１フレーム毎に実行
するのではなく、１度実行されると前もって指定された
時間間隔だけ起動しない状態になり、その後再度起動可
能状態になる。また、ステップＳ２２０４とＳ２２０５
を実行しない場合には、前回の文字データがそのまま保
存される。

【００７６】図２３は、図２２のステップＳ２２０４で
のサーバ状況への対応処理の内容を示した図である。

【００７７】ビューワは、ステップＳ２３０１で受信し
た映像データのヘッダーに現在時刻が付帯している場合
には、これとビューワ内部での現在時刻とを比較し、そ
の差が所定時間（例えば４５分）以上ある場合には時差
のある地域に設置されたカメラサーバからの映像と判断
して映像データに付帯する時刻データを補正し、それに
対応する文字データを生成する。次いで、ステップＳ２
３０２で通信開始時のやり取りで指定された接続時間と
ビューワ内の時計での経過時間を比較し、これが前もっ
て設定された時間（たとえば、１分とか３０秒とか）を
切ったら、残り時間を計算してこれを示す文字データを
生成する。次いで、ステップＳ２３０３で映像データに
付随してメッセージデータがサーバから届いているなら
ば、これをステップＳ２３０１およびステップＳ２３０
２で生成した文字データに加えて、出力文字データを作
成する。最後にステップＳ２３０４でこれを画像合成手
段２１０５に出力して終了する。

【００７８】図２４は、図２２のステップＳ２２０５通
信路状況への対応処理の内容を示すフローチャートであ
る。

【００７９】通信路状況への対応処理が起動されると、
まずステップＳ２４０１で接続相手の親機（接続局）を
特定するＩＤコードをＰＨＳ通信に付随するデータから
得る。次いで、ステップＳ２４０２でカメラサーバとの
間の通信遅延時間を計測する。通信遅延時間の計測は、
ビューワからカメラサーバにシーケンシャル番号と時刻
（タイムスタンプ）を記した小さいパケットを送る。カ
メラサーバはこれを受け取った時にビューワに向かって
同じパケットを送り返すので、ビューワは帰ってきたパ
ケットに記載されている時刻とビューワの現在時刻との
差を計算することで通信遅延時間（往復にかかる時間で
あるので実際は時間差の１／２）を得る。

【００８０】さらにステップＳ２４０３で通信遅延時間
の変化分を計算する。ステップＳ２４０４では親機のＩ
Ｄコードが初めて特定された場合や変化した場合にその
コードに対応する場所情報を得る。ここでは、ＩＤコー
ドを用いてＰＨＳのキャリアである会社の提供するデー
タベースを検索しＩＤコードが示す親機の示す文字デー
タを取り出す。次いで、ステップＳ２４０５で通信遅延
時間が前もって設定された基準値（たとえば２秒）を超
えた場合にはそれを示すメッセージ「遅延時間大：*.*
秒」を文字データとして生成する。次いで、ステップＳ
２４０６で通信遅延時間の変化（劣化）が前もって指定
された閾値よりも大きい場合には「通信状況劣化：遅延
増大」のメッセージを文字データとして生成する。最後
にステップ２４０７で、Ｓ２４０４，Ｓ２４０５，Ｓ２
４０６で生成した文字データを合わせた文字データを作
成し、画像合成手段２１０５に出力して終了する。

【００８１】尚、ＰＨＳ通信においては、ステップＳ２
４０２で通信遅延と共に受信強度を計測することがで
き、当該分野で普通に使われている受信強度の計測手段
を用いて、受信強度がある程度以下の場合や受信強度の
劣化が大きい場合にステップＳ２４０５，Ｓ２４０６と
同等の方法でメッセージを追加することができる。

【００８２】以上のように構成することにより、単にユ
ーザが指定した画像を合成するだけではなく、サーバや
通信状況の状態把握手段とメッセージ出力の判定手段を
用いて、ユーザに有益な情報をさらに映像上に重畳する
ことが可能となった。このようなメッセージはＰＨＳの
ような状況に依存して通信性能が大きく変化するネット
ワークにおいて特に有用である。

【００８３】＜第４の実施形態＞以下、第４の実施形態
について説明する。図２５は第３の実施形態と同様の状
況把握および判定手段をカメラサーバ側に組み込んだ場
合の構成図である。カメラサーバの構成としては図１に
示されたものに近い。以下に主な違いについて説明す
る。

【００８４】まず、重畳画像獲得手段２５０１、重畳画
像格納手段２５０４などに対してカメラの制御情報が提
供され、カメラの動作パラメータに応じた重畳画像を選
び出すように構成されている。図２１のサーバ状況判定
手段２１０３をちょうど対称にしたビューワ状況判定手
段２５０２と図２１の通信状況判定手段２１０４とほぼ
等しい通信状況判定手段２５０３が追加されている。こ
れによって生成される文字データを、画像合成手段２５
０５が画像化し、キャプチャー手段で得られる映像およ
び重畳画像格納手段２５０４から得られる画像データに
合わせて重畳し、生成した合成画像を圧縮符号化し送信
する。

【００８５】また、画像合成手段２５０５は、ビューワ
状況判定手段２５０２の出力する文字データと、通信状
況判定手段２５０３の出力する文字データを結合して出
力文字列およびこれに対応する文字画像データを作成す
る代わりにこれらをキーワードとして対応する重畳画像
を重畳画像格納手段から読み出し、これを第１の合成画
像と合成することで出力映像データを作成するように構
成することもできる。

【００８６】このように構成することにより、一般的に
ビューワのマシンよりも強力なサーバマシンで処理が行
えることでビューワの負荷が軽くなる。また、カメラサ
ーバがＰＨＳなどの無線通信を用いて移動可能になって
いる場合に、基地局に応じたメッセージや基地局との間
の通信状況をユーザに伝えることができるというメリッ
トがある。

【００８７】以上説明したように、本実施形態によれ
ば、映像入力信号をディジタル化し、これをネットワー
クを介して発信する映像発信装置において、合成に用い
る第１の映像データの指示を受ける手段と、ディジタル
化した第２の映像データと第１の映像データを合成する
手段とを有する事により、ユーザ側のクライアントビュ
ーワからの指定に基づき選択した映像データを撮像した
映像データに重畳して提供できるという効果がある。

【００８８】また、クライアントとの間の通信状況を検
知する手段と、得られた通信状況に応じて合成に用いる
第１の映像データを合成もしくは選択する手段と、ディ
ジタル化した第２の映像データと第１の映像データを合
成する手段とを有する事をにより、単にユーザが指定し
た画像を合成するだけではなく、通信状況に応じたメッ
セージや画像を示すことで、ユーザに有益な情報をさら
に映像上に重畳することカ可能となった。

【００８９】また、クライアントの状態を検知する手段
と、得られた状態に応じて合成に用いる第１の映像デー
タを合成もしくは選択する手段と、ディジタル化した第
２の映像データと第１の映像データを合成する手段とを
有する事により、単にユーザが指定した画像を合成する
だけではなくクライアントの状況に応じたメッセージや
画像を示すことで、ユーザに有益な情報をさらに映像上
に重畳することが可能となった。

【００９０】さらに、前記第１の映像データを別途用意
されるサーバから受け取るサーバデータ通信手段を有す
ることにより、映像発信装置（カメラサーバマシン）の
ディスク容量などに制限されずにより多くの画像データ
を重畳画像の候補として利用可能となった。

【００９１】また、映像データをネットワークを介して
受信し表示する映像受信装置において、合成に用いる第
１の映像データを受信する手段と、第２の映像データを
受信する手段と、第１の映像データと第２の映像データ
を合成する手段とを有する事により、ユーザの指定に基
づき選択した映像データを撮像した映像データに重畳し
て提供でき、さらにサーバの負荷を減らし、かつビュー
ワ毎に好みの重畳映像データを選択できるようになると
いう効果がある。

【００９２】さらに、前記第１の映像データの候補画像
のリストを受信する手段と、このリストを一覧表示する
手段と、リスト中から選ばれた画像をネットワークを介
して要求し受信する手段とを有することにより、ユーザ
は容易に所望の重畳画像を選択できるようになると共
に、クライアントマシンのディスク容量などによらずに
多くの候補画像を利用可能となった。

【００９３】また、サーバとの間の通信状況を検知する
手段と、得られた通信状況に応じて合成に用いる第１の
映像データを合成もしくは選択する手段とディジタル化
した第２の映像データと第１の映像データを合成する手
段とを有する事により、単にユーザが指定した画像を合
成するだけではなく、通信状況に応じたメッセージや画
像を示すことで、ユーザに有益な情報をさらに映像上に
重畳することが可能となった。

【００９４】さらに、また、送信倒のサーバシステムの
状態通知を受信する手段と、得られた状態に応じて合成
に用いる第１の映像データを合成もしくは選択する手段
と、ディジタル化した第２の映像データと第１の映像デ
ータを合成する手段とを有する事により、単にユーザが
指定した画像を合成するだけではなく、サーバの状況に
応じたメッセージや画像を示すことで、ユーザに有益な
情報をさらに映像上に重畳することが可能となった。

【００９５】尚、上記実施形態で説明したように、カメ
ラサーバ、クライアント側のビューワ、更にはサーバマ
シンは、ネットワーク通信を行なったり、カメラを接続
するためのハードウェアを必要とするものの、汎用のパ
ーソナルコンピュータ等で実現できるものである。従っ
て、本発明の目的は、前述した各実施形態の機能を実現
するソフトウェアのプログラムコードを記録した記憶媒
体を、システムあるいは装置に供給し、そのシステムあ
るいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が
記憶媒体に格納されたプログラムコードを読出し実行す
ることによっても、達成されることは言うまでもない。

【００９６】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。

【００９７】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク，ハードディス
ク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ
−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭな
どを用いることができる。

【００９８】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳ（オペレ
ーティングシステム）などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。

【００９９】さらに、記憶媒体から読出されたプログラ
ムコードが、コンピュータに挿入された機能拡張ボード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書込まれた後、そのプログラムコードの指示に
基づき、その機能拡張ボードや機能拡張ユニットに備わ
るＣＰＵなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。

【０１００】

【発明の効果】以上説明したように本発明によれば、ユ
ーザ側であるクライアントからの指定に基づき選択した
映像データを撮像した映像データに重畳して提供でき
る。

【０１０１】また、他の発明によれば、単にユーザが指
定した画像を合成するだけではなく、通信状況に応じた
メッセージや画像を示すことで、ユーザに有益な情報を
さらに映像上に重畳することが可能となる。

【０１０２】また、他の発明によれば、単にユーザが指
定した画像を合成するだけではなくクライアントの状況
に応じたメッセージや画像を示すことで、ユーザに有益
な情報を映像上に重畳して知らせることが可能になる。

【０１０３】さらに、他の発明によれば、映像発信装置
のディスク容量などに制限されずにより多くの画像デー
タを重畳画像の候補として利用可能となる。

【０１０４】また、他の発明によれば、ユーザの指定に
基づき選択した映像データを撮像した映像データに重畳
して提供でき、さらにサーバの負荷を減らし、かつビュ
ーワ毎に好みの重畳映像データを選択できるようにな
る。

【０１０５】さらに、他の発明によれば、ユーザは容易
に所望の重畳画像を選択できるようになると共に、クラ
イアントマシンのディスク容量などによらずに多くの候
補画像を利用可能となる。

【０１０６】

【図面の簡単な説明】

【図１】実施形態の典型的な利用形態を示した図であ
る。

【図２】実施形態による重畳画像の指定に対応する処理
の工程を示すフローチャートである。

【図３】映像データの加工・圧縮処理の工程を示すフロ
ーチャートである。

【図４】実施形態におけるカメラサーバおよびビューワ
が利用されるネットワークの構成例を示す図である。

【図５】広く普及したＷｅｂ技術を併用した場合の構成
を示す図である。

【図６】カメラサーバおよびビューワマシンのハードウ
ェア上で動作するプログラムの部分構成を模式化した図
である。

【図７】ビューワの動作画面の様子を示す図である。

【図８】ビューワの動作の流れを示すフローチャートで
ある。

【図９】カメラサーバ内のカメラ制御サーバの動作を示
すフローチャートである。

【図１０】カメラサーバ内の映像サーバの動作を示すフ
ローチャートである。

【図１１】カメラサーバのハードウェア構成の一例を示
す図である。

【図１２】ビューワを動作させるハードウェア構成の一
例を示す図である。

【図１３】ビューワの内部構成を示すブロック図であ
る。

【図１４】重畳画像を選択するためのウィンドウの画面
例を模式化して示す図である。

【図１５】重畳画像の選択処理の動作内容を示すフロー
チャートである。

【図１６】ビューワで得られる映像のサンプルを模式化
して示す図である。

【図１７】第２の実施形態の構成を示す図である。

【図１８】第２の実施形態での重畳画像の選択処理の動
作内容を示すフローチャートである。

【図１９】第２の実施形態での映像データの伸長・加工
処理の工程を示すフローチャートである。

【図２０】ＰＨＳ通信を用いた場合のシステムの利用状
況の一例を示す図である。

【図２１】第３の実施形態でのビューワの構成内容を示
す図である。

【図２２】第３の実施形態におけるビューワでの映像デ
ータの伸長・加工処理の内容を示すフローチャートであ
る。

【図２３】図２２におけるＳ２２０４でのサーバ状況へ
の対応処理の内容を示すフローチャートである。

【図２４】図２２におけるＳ２２０５での通信路状況へ
の対応処理の内容を示すフローチャートである。

【図２５】第４の実施形態のカメラサーバの構成を示す
図である。

【図２６】カメラサーバ設定プログラムの表示画面の一
例を示す図である。

【図２７】カメラサーバの設定プログラムの動作を示す
フローチャートである。

【符号の説明】

１０１ カメラサーバ １０２ ビューワ １０３ サーバマシン １０４ 重畳画像要求受付手段 １０５ 重畳画像獲得手段 １０６ 重畳画像格納手段 １０７ カメラ装置 １０８ キャプチャー手段 １０９ 画像合成手段 １１０ 圧縮符号化手段 １１１ データ発信手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 田中 賢一郎 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内 (72)発明者 石井 正士 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内 (72)発明者 岡部 啓 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内

Claims (27)

【特許請求の範囲】
1. 【請求項１】 映像データを所定のネットワークを介し
   てクライアントに発信する映像発信装置であって、 合成に用いる第１の映像データをサーバ或いはクライア
   ントに関連して選択する選択手段と、 撮像して得られた映像データを第２の映像データとし、
   当該２の映像データと前記選択手段で選択された第１の
   映像データとを合成する合成手段とを備え、前記合成手
   段で合成して得られた映像データを前記クライアントに
   向けて発信することを特徴とする映像発信装置。
2. 【請求項２】 前記選択手段は、前記クライアントに向
   けて、選択可能な複数の映像サンプルを一覧として転送
   する手段を含み、前記クライアント側で指定されたサン
   プル画像を選択することを特徴とする請求項第１項に記
   載の映像発信装置。
3. 【請求項３】 映像データを所定のネットワークを介し
   てクライアントに発信する映像発信装置であって、 前記クライアントとの間の通信状況を検知する検知手段
   と、 得られた通信状況に応じて、合成に用いる複数の画像の
   中の１つを選択する選択手段と、 撮像して得られた映像データを第２の映像データとし、
   前記選択手段で選択された第１の映像データと合成する
   合成手段とを備え、前記合成手段で合成して得られた映
   像データを前記クライアントに向けて発信することを特
   徴とする映像発信装置。
4. 【請求項４】 映像データを所定のネットワークを介し
   てクライアントに発信する映像発信装置であって、 前記クライアントの状態を示す信号を発生する発生手段
   と、 得られたクライアント状態に応じて、合成に用いる複数
   の画像の中の１つを選択する選択手段と、 撮像して得られた映像データを第２の映像データとし、
   前記選択手段で選択された第１の映像データと合成する
   合成手段とを備え、前記合成手段で合成して得られた映
   像データを前記クライアントに向けて発信することを特
   徴とする映像発信装置。
5. 【請求項５】 前記クライアント状態はクライアントの
   位置を含むことを特徴とする請求項第４項に記載の映像
   発信装置。
6. 【請求項６】 請求項第１項乃至第５項のいずれかに記
   載の映像発信装置における前記選択手段は、ネットワー
   ク上に別途用意されているサーバ内の画像から選択する
   ことを特徴とする映像発信装置。
7. 【請求項７】 所定のネットワークに接続され、当該ネ
   ットワーク上の映像発信装置からの映像データを受信
   し、表示する映像受信装置であって、 合成に用いる第１の映像データを受信する第１の受信手
   段と、 順次転送されてくる映像データを第２の映像データとし
   て受信する第２の受信手段と、 受信した第２の映像データに前記第１の映像データを合
   成する合成手段とを有することを特徴とする映像受信装
   置。
8. 【請求項８】 更に、前記第１の映像データを決定する
   ために、複数の候補映像データを受信する候補映像受信
   手段と、 受信した候補映像データを一覧表示する一覧表示手段
   と、 一覧表示された中の所望とする映像を選択し、当該選択
   した映像の転送要求を前記発信装置に転送する手段とを
   備えることを特徴とする請求項第７項に記載の映像受信
   装置。
9. 【請求項９】 所定のネットワークに接続され、当該ネ
   ットワーク上の映像発信装置からの映像データを受信
   し、表示する映像受信装置であって、 前記映像発信装置との間の通信状況を検知する検知手段
   と、 得られた通信状況に応じて、合成に用いる複数の画像の
   中の１つを選択する選択手段と、 前記映像発信装置より受信した映像データと前記選択手
   段で選択した映像データとを合成する合成手段とを備
   え、合成して得られた映像データを表示することを特徴
   とする映像受信装置。
10. 【請求項１０】 所定のネットワークに接続され、当該
    ネットワーク上の映像発信装置からの映像データを受信
    し、表示する映像受信装置であって、 前記映像発信装置の状態情報を受信する状態情報受信手
    段と、 得られた状態情報に応じて、合成に用いる複数の画像の
    中の１つを選択する選択手段と、 前記映像発信装置から受信した映像データと前記選択手
    段で選択した映像データとを合成する合成手段とを備え
    ることを特徴とする映像受信装置。
11. 【請求項１１】 請求項第７項乃至第１０項のいずれか
    に記載の映像受信装置は、無線電話装置を介して前記映
    像発信装置からの映像を受信し表示することを特徴とす
    る映像受信装置。
12. 【請求項１２】 映像データを所定のネットワークを介
    してクライアントに発信する映像発信装置の制御方法で
    あって、 合成に用いる第１の映像データをサーバ或いはクライア
    ントに関連して選択する選択工程と、 撮像して得られた映像データを第２の映像データとし、
    当該２の映像データと前記選択工程で選択された第１の
    映像データとを合成する合成工程とを備え、前記合成工
    程で合成して得られた映像データを前記クライアントに
    向けて発信することを特徴とする映像発信装置の制御方
    法。
13. 【請求項１３】 前記選択工程は、前記クライアントに
    向けて、選択可能な複数の映像サンプルを一覧として転
    送する工程を含み、前記クライアント側で指定されたサ
    ンプル画像を選択することを特徴とする請求項第１２項
    に記載の映像発信装置の制御方法。
14. 【請求項１４】 映像データを所定のネットワークを介
    してクライアントに発信する映像発信装置の制御方法で
    あって、 前記クライアントとの間の通信状況を検知する検知工程
    と、 得られた通信状況に応じて、合成に用いる複数の画像の
    中の１つを選択する選択工程と、 撮像して得られた映像データを第２の映像データとし、
    前記選択工程で選択された第１の映像データと合成する
    合成工程とを備え、前記合成工程で合成して得られた映
    像データを前記クライアントに向けて発信することを特
    徴とする映像発信装置の制御方法。
15. 【請求項１５】 映像データを所定のネットワークを介
    してクライアントに発信する映像発信装置の制御方法で
    あって、 前記クライアントの状態を示す信号を発生する発生工程
    と、 得られたクライアント状態に応じて、合成に用いる複数
    の画像の中の１つを選択する選択工程と、 撮像して得られた映像データを第２の映像データとし、
    前記選択工程で選択された第１の映像データと合成する
    合成工程とを備え、前記合成工程で合成して得られた映
    像データを前記クライアントに向けて発信することを特
    徴とする映像発信装置の制御方法。
16. 【請求項１６】 請求項第１２項乃至第１５項のいずれ
    かに記載の映像発信装置における前記選択工程は、ネッ
    トワーク上に別途用意されているサーバ内の画像から選
    択することを特徴とする映像発信装置の制御方法。
17. 【請求項１７】 所定のネットワークに接続され、当該
    ネットワーク上の映像発信装置からの映像データを受信
    し、表示する映像受信装置の制御方法であって、 合成に用いる第１の映像データを受信する第１の受信工
    程と、 順次転送されてくる映像データを第２の映像データとし
    て受信する第２の受信工程と、 受信した第２の映像データに前記第１の映像データを合
    成する合成工程とを有することを特徴とする映像受信装
    置の制御方法。
18. 【請求項１８】 更に、前記第１の映像データを決定す
    るために、複数の候補映像データを受信する候補映像受
    信工程と、 受信した候補映像データを一覧表示する一覧表示工程
    と、 一覧表示された中の所望とする映像を選択し、当該選択
    した映像の転送要求を前記映像発信装置に転送する工程
    とを備えることを特徴とする請求項第１７項に記載の映
    像受信装置の制御方法。
19. 【請求項１９】 所定のネットワークに接続され、当該
    ネットワーク上の映像発信装置からの映像データを受信
    し、表示する映像受信装置の制御方法であって、 前記映像発信装置との間の通信状況を検知する検知工程
    と、 得られた通信状況に応じて、合成に用いる複数の画像の
    中の１つを選択する選択工程と、 前記映像発信装置より受信した映像データと前記選択工
    程で選択した映像データとを合成する合成工程とを備
    え、合成して得られた映像データを表示することを特徴
    とする映像受信装置の制御方法。
20. 【請求項２０】 所定のネットワークに接続され、当該
    ネットワーク上の映像発信装置からの映像データを受信
    し、表示する映像受信装置の制御方法であって、 前記映像発信装置の状態情報を受信する状態情報受信工
    程と、 得られた状態情報に応じて、合成に用いる複数の画像の
    中の１つを選択する選択工程と、 前記映像発信装置から受信した映像データと前記選択工
    程で選択した映像データとを合成する合成工程とを備え
    ることを特徴とする映像受信装置の制御方法。
21. 【請求項２１】 請求項第１７項乃至第２０項のいずれ
    かに記載の映像受信装置は、無線電話装置を介して前記
    映像発信装置からの映像を受信し表示することを特徴と
    する映像受信装置の制御方法。
22. 【請求項２２】 コンピュータが読み込み実行すること
    で、映像データを所定のネットワークを介してクライア
    ントに発信する映像発信装置として機能するプログラム
    コードを格納した記憶媒体であって、 合成に用いる第１の映像データを選択する選択工程のプ
    ログラムコードと、 撮像して得られた映像データを第２の映像データとし、
    当該２の映像データと前記選択工程で選択された第１の
    映像データとを合成する合成工程のプログラムコードと
    を備えることを特徴とする記憶媒体。
23. 【請求項２３】 コンピュータが読み込み実行すること
    で、映像データを所定のネットワークを介してクライア
    ントに発信する映像発信装置として機能するプログラム
    コードを格納した記憶媒体であって、 前記クライアントとの間の通信状況を検知する検知工程
    のプログラムコードと、 得られた通信状況に応じて、合成に用いる複数の画像の
    中の１つを選択する選択工程のプログラムコードと、 撮像して得られた映像データを第２の映像データとし、
    前記選択工程で選択された第１の映像データと合成する
    合成工程のプログラムコードとを備えることを特徴とす
    る記憶媒体。
24. 【請求項２４】 コンピュータが読み込み実行すること
    で、映像データを所定のネットワークを介してクライア
    ントに発信する映像発信装置として機能するプログラム
    コードを格納した記憶媒体であって、 前記クライアントの状態を検知する検知工程のプログラ
    ムコードと、 得られたクライアント状態に応じて、合成に用いる複数
    の画像の中の１つを選択する選択工程のプログラムコー
    ドと、 撮像して得られた映像データを第２の映像データとし、
    前記選択工程で選択された第１の映像データと合成する
    合成工程のプログラムコードとを備えることを特徴とす
    る記憶媒体。
25. 【請求項２５】 コンピュータが読み込み実行すること
    で、所定のネットワークに接続され、当該ネットワーク
    上の映像発信装置からの映像データを受信し、表示する
    映像受信装置として機能するプログラムコードを格納し
    た記憶媒体であって、 合成に用いる第１の映像データを受信する第１の受信工
    程のプログラムコードと、 順次転送されてくる映像データを第２の映像データとし
    て受信する第２の受信工程のプログラムコードと、 受信した第２の映像データに前記第１の映像データを合
    成する合成工程のプログラムコードとを備えることを特
    徴とする記憶媒体。
26. 【請求項２６】 コンピュータが読み込み実行すること
    で、所定のネットワークに接続され、当該ネットワーク
    上の映像発信装置からの映像データを受信し、表示する
    映像受信装置として機能するプログラムコードを格納し
    た記憶媒体であって、 前記映像発信装置との間の通信状況を検知する検知工程
    のプログラムコードと、 得られた通信状況に応じて、合成に用いる複数の画像の
    中の１つを選択する選択工程のプログラムコードと、 前記映像発信装置より受信した映像データと前記選択工
    程で選択した映像データとを合成する合成工程のプログ
    ラムコードとを備えることを特徴とする記憶媒体。
27. 【請求項２７】 コンピュータが読み込み実行すること
    で、所定のネットワークに接続され、当該ネットワーク
    上の映像発信装置からの映像データを受信し、表示する
    映像受信装置として機能するプログラムコードを格納し
    た記憶媒体であって、 前記映像発信装置の状態情報を受信する状態情報受信工
    程のプログラムコードと、 得られた状態情報に応じて、合成に用いる複数の画像の
    中の１つを選択する選択工程のプログラムコードと、 前記映像発信装置から受信した映像データと前記選択工
    程で選択した映像データとを合成する合成工程のプログ
    ラムコードとを備えることを特徴とする記憶媒体。