JPH10336503A

JPH10336503A - 画像処理装置及び方法及び記憶媒体

Info

Publication number: JPH10336503A
Application number: JP9146583A
Authority: JP
Inventors: Kenichiro Tanaka; 賢一郎田中
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1997-06-04
Filing date: 1997-06-04
Publication date: 1998-12-18

Abstract

(57)【要約】【課題】映像を受信して表示させる際において、表示
される映像に関する付加情報を多数の状況に適した状態
で合成表示させることのできる画像処理装置を提供す
る。【解決手段】所定の撮影手段で撮影された映像を受信
する受信手段と、前記受信手段により受信した映像に関
する付加画像を発生する発生手段と、前記受信手段によ
り受信した映像が所定のズーム倍率で撮影された場合に
は、前記映像と前記付加画像を合成して所定の表示手段
に表示させ、前記受信手段により受信した映像が所定の
ズーム倍率で撮影されていない場合には、前記映像と前
記付加画像を合成することなく前記所定の表示手段に表
示させる表示制御手段とを有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像を通信する映
像制御装置及び制御方法及び方法を記憶した記憶媒体に
関するものである。

【０００２】

【従来の技術】従来、コンピュータに接続して制御可能
なカメラ、いわゆるコムカメラが登場している。

【０００３】また、このコムカメラの遠隔地にあるクラ
イアント端末からコムカメラの動作を制御し、コムカメ
ラで撮影された静止画像、動画像をインターネット等を
介して受信することにより、クライアント端末側でモニ
タ表示できるシステムが開発されている。

【０００４】これら画像は、ほぼリアルタイムに送信さ
れることができ、遠隔地の風景等を容易に見ることが可
能となっている。

【０００５】

【発明が解決しようとする課題】しかしながら、従来、
クライアント端末側でモニタ表示された映像を見ただけ
では、映像中の各オブジェクト（対象物）に関する情報
等を容易に知ることができなかった。

【０００６】この問題を解決する為に、上記各オブジェ
クトに関する付加情報を表示画面上に合成する技術が考
えられつつある。

【０００７】しかしながら、これらオブジェクトの注釈
を表示画面上に合成する方式には、未だ改善の余地があ
った。

【０００８】本発明は、上記従来例に鑑みて成されたも
のであり、映像を受信して所定の表示手段に表示させる
際において、表示される映像に関する付加情報を多数の
状況に適した状態で合成表示させることを目的とする。

【０００９】具体的には、前記映像の撮影条件に適した
方法で、前記映像中のオブジェクトに関する付加情報を
合成表示させることを目的とする。また、ユーザーの好
みに応じた方法で付加情報を合成表示させることを目的
とする。

【００１０】また、上記オブジェクトに関する付加情報
を用いた使い勝手の良い映像表示を行うことを目的とす
る。

【００１１】

【課題を解決するための手段】上述の課題を解決する為
に本発明の請求項１に記載の画像処理装置によれば、所
定の撮影手段で撮影された映像を受信する受信手段と、
前記受信手段により受信した映像に関する付加画像を発
生する発生手段と、前記受信手段により受信した映像が
所定のズーム倍率で撮影された場合には、前記映像と前
記付加画像を合成して所定の表示手段に表示させ、前記
受信手段により受信した映像が所定のズーム倍率で撮影
されていない場合には、前記映像と前記付加画像を合成
することなく前記所定の表示手段に表示させる表示制御
手段とを有することを特徴とする。

【００１２】

【発明の実施の形態】本発明は、例えば情報ネットワー
クに接続されたコムカメラを、このカメラの遠隔地にあ
るクライアント端末から制御し、カメラで撮影されネッ
トワークを介して受信することにより、クライアント端
末側でモニタできるシステムに適用可能な技術である。

【００１３】これに関する基本的な技術は、特願平８−
１９３７２９に開示されており、本発明の一部はこれを
応用するものである。

【００１４】また、以下に説明する１実施の形態は遠隔
地のカメラで撮影された映像に対して、その映像を説明
する為の画像を合成するものであり、これに関する基本
的な技術は特願平９−７５５に開示されている。

【００１５】以下の実施の形態において、特に説明しな
い場合については上記基本的な技術を適用するものとす
る。

【００１６】（第１の実施の形態）以下、本発明の一例
となる実施の形態を図面に基づいて説明する。

【００１７】本実施の形態では、遠隔地のカメラサーバ
ー側（図１におけるコムカメラ１０１及びサーバー制御
装置１０２）が撮影して提供する映像を、ユーザー側の
クライアント端末（図１におけるクライアント制御装置
１０７）で参照する例について説明する。

【００１８】特に、本実施の形態では、コムカメラ１０
１が街の風景を撮影しており、撮影された映像の注釈
（文字列）を、この映像に合成させて表示する場合につ
いて説明する。

【００１９】本発明は、カメラサーバー側と、カメラサ
ーバー側に対して少なくとも１つ以上のクライアント端
末、またそれらを接続するネットワークから構成される
システムに適用できる。以下、１つのカメラサーバーと
複数のクライアント端末を用いた場合のシステム構成を
図１を用いて詳細に説明する。

【００２０】図１において、１０１は、カメラアングル
や撮像条件などを接続線１０１−ａからの制御信号に基
づいて制御されることが可能なカメラ（コムカメラとす
る）である。このコムカメラ１０１は、撮影した映像の
データを接続線１０１−ｂを介してリアルタイムに出力
することが可能である。

【００２１】１０２は、後述するクライアント制御装置
からネットワーク回線を介して送信された制御信号に基
づいてコムカメラを制御する為のサーバー制御装置であ
る。なお、コムカメラ１０１及びサーバー制御装置１０
２を総称してカメラサーバーと呼ぶこともある。このサ
ーバー制御装置１０２はいわゆるパーソナルコンピュー
タ等が用いられる。

【００２２】更にサーバー制御装置１０２は、コムカメ
ラ１０１から送信された映像を一旦受信し、ネットワー
ク回線を介して複数のクライアント制御装置に送信する
ことが可能である。

【００２３】サーバー制御装置１０２の具体的な構成を
以下に説明する。

【００２４】１０３は、コムカメラ１０１を接続線１０
１−ａ（ＲＳ２３２Ｃインターフェース等）を介して制
御するカメラ制御手段である。カメラ制御手段１０３
は、後述するクライアント制御装置１０７から送信さ
れ、ネットワーク回線及び通信インターフェイス１０５
を介して入力されたカメラ制御情報を取得し、このカメ
ラ制御情報を解釈することによりコムカメラ１０１を制
御する。なお、本実施の形態でいうカメラ制御情報と
は、コムカメラ１０１を制御するために各装置間でやり
取りする必要のある情報を総称していう。

【００２５】１０４は、コムカメラ１０１の撮影した映
像を接続線１０１−ｂを介して入力する、画像キャプチ
ャ装置等の映像入力手段である。

【００２６】１０５は、ネットワーク回線を介して接続
された外部装置（クライアント制御装置１０７等）と画
像情報、音声情報、各種制御情報の通信を行なうことを
可能とするネットワークアダプタであり、通信インター
フェースと呼ぶ。

【００２７】更に、サーバー制御装置１０２は、装置内
の各部の動作制御及び必要な演算を行うＣＰＵやＲＯ
Ｍ、ＲＡＭ等の記憶装置を有しており、プログラムおよ
び各種パラメータ等を格納する。

【００２８】１０６はワールドワイドウェッブサーバー
（以下、ＨＴＴＰサーバーと呼ぶ）であり、クライアン
ト制御装置からの要求に応じて、インターネットのホー
ムページ等に必要な画像、音声情報を返答するものであ
る。

【００２９】ＨＴＴＰサーバー１０６は、コムカメラ１
０１からの映像に対してこの映像に関する注釈（この映
像の説明或いはこの映像の状態等を表す文字または画
像）を合成する条件と、この注釈の画像、文字情報等を
保持している。

【００３０】次に、上述したカメラサーバーからネット
ワーク回線を介して画像、音声情報を受信し、これら情
報に基づいて、インターネットのホームページを表示す
ることのできる各クライアント制御装置１０７につい
て、具体的に説明する。

【００３１】１０７は、サーバー制御装置１０２から画
像情報、カメラ制御情報を取得し、各ユーザーからの操
作入力に応じて、適切な情報をモニタ表示できるクライ
アント制御装置である。

【００３２】このクライアント制御装置１０７は、サー
バー制御装置１０２と同様、主にパーソナルコンピュー
タが用いられる。

【００３３】クライアント制御装置１０７の主な構成を
説明する。

【００３４】１０８は、通信インターフェイス１０５と
同様の機能を有するネットワークアダプタであり、通信
インターフェースとよぶ。通信インターフェイス１０８
は、ネットワーク回線上の外部装置と各種の情報を通信
することのできるものである。

【００３５】１０９は、ＨＴＴＰサーバーから出力され
たホームページに関する画像、音声情報を表示し、か
つ、サーバー制御装置１０２から送られてきたアプレッ
トプログラムを実行するウェブブラウザ（以下ブラウザ
とする）である。なお、実際は装置内のＣＰＵと必要な
プログラム等を格納するＲＯＭ或いはＲＡＭを用いて上
記ブラウザの動作が行われる。

【００３６】次に図１の各部を用いた通信動作の様子を
図２を用いて説明する。

【００３７】図２において、まず、クライアント制御装
置１０７側のユーザーは、自分の装置のブラウザ１０９
を起動する。１１０は、ブラウザ１０９を起動した際に
インターネットのホームページを表示する為のディスプ
レイである。ブラウザ１０９を起動すると、ディスプレ
イ１１０には図２の様な画面が表示されるので、ユーザ
ーは１１０−ｂの位置に「http://www.foo.co.jp/」の
様な文字列（サーバー制御装置１０２のインターネット
アドレス）を入力することにより、サーバー制御装置１
０２が発信するホームページを参照する。（）

【００３８】次にブラウザ１０９は、「www.foo.co.j
p」のアドレス、即ちサーバー制御装置１０２に接続
し、ＨＴＴＰプロトコルを使用してテキスト情報をサー
バー制御装置１０２に要求する。（）

【００３９】サーバー制御装置１０２はブラウザ１０９
からの要求に応じて以下のテキスト情報をクライアント
に送信する。（） <HTML> <HEAD> <TITLE>home page of www.foo.co.jp</TITLE> </HEAD> <BODY> Welcome to www.foo.co.jp <applet code=webview width=400 height=300> <param name=scope1 value="100,200,-100,100,600,1000"> <param name=message1 value="ＥＳbuilding, 200,200"> </BODY> </HTML>

【００４０】このテキスト情報内には、<applet>タグが
含まれている。このタグは、「この位置にアプレットを
表示せよ」ということを意味する。よって、ブラウザ１
０９（クライアント制御装置１０７）はサーバー制御装
置１０２に再度接続し、「webview」という名前のアプ
レットを送信する様にサーバー制御装置１０２に依頼す
る。（）

【００４１】ここで、アプレットとは、javaコンパイラ
で作成される中間実行形式コードである。このアプレッ
トはサーバー制御装置１０２に蓄積されている。java対
応のブラウザ１０９は、このアプレットをサーバー制御
装置１０２からダウンロードして、ブラウザ１０９内で
実行することができる。（）

【００４２】サーバー制御装置１０２に蓄積してあるア
プレットはプラットフォーム非依存である。よってアプ
レットは様々なプラットホームで動作する。

【００４３】このアプレットが、カメラ制御情報と合成
条件を比較した結果に基づいて、コムカメラ１０１から
の映像中の適切な位置にこの映像の注釈が合成され、こ
の合成画像が領域１１０−Ｃ内に表示される。（）ま
た、ユーザーからの入力を受け付ける手段を提供する。

【００４４】次に、サーバー制御装置１０２はアプレッ
トをクライアント制御装置１０７に返送する。そして、
クライアント制御装置１０７はこのアプレットを実行す
る。

【００４５】以下、上記アプレットの動作手順、即ちＣ
ＰＵの制御手順を図３を用いて説明する。

【００４６】まず、ステップ３０１において、クライア
ント制御装置１０７に送信され、ブラウザが取得したテ
キスト情報の<param>タグを読み込む。

【００４７】この<param>タグで記述している内容は、
カメラ情報（ズーム、パン、チルト）の範囲指定、カメ
ラ１０１のズーム、パン、チルトが上記の指定された範
囲内に来た場合にはクライアントのブラウザで表示する
メッセージ等がある。

【００４８】なお、この項目は任意の数だけ記述するこ
とが可能である。複数の項目を記述する場合は、各タグ
に１から始まる通し番号を添字として加えることとす
る。

【００４９】クライアント制御装置１０７のブラウザ１
０９が取得したテキスト情報の例を以下に示す。

【００５０】 <HTML> <HEAD> <TITLE>home page of www.foo.co.jp</TITLE> </HEAD> <BODY> Welcome to www.foo.co.jp <applet code=webview width=400 height=300> <param name=message1 value="ＥＳBuilding"> <param name=panRange1 value="-100,100"> <param name=tiltRange1 value="0,100"> <param name=zoomRange1 value="1.0,1.2"> <param name=locate1 value="0,0"> <param name=message2 value="ABC Computer Company"> <param name=panRange2 value="-50,50"> <param name=tiltRange2 value="0,50"> <param name=zoomRange2 value="3.0,3.6"> <param name=locate2 value="5,0"> <param name=message3 value="Shoes shop"> <param name=panRange3 value="-100,0"> <param name=tiltRange3 value="0,100"> <param name=zoomRange3 value="1.0,1.2"> <param name=locate3 value="10,0"> </BODY> </HTML>

【００５１】アプレットでは、以下のような命令で、<p
aram>タグの内容を取得することができる。

【００５２】value = getParameter("message1");

【００５３】この命令を実行すると、message1という名
前の<param>タグの値、即ち「ＥＳ Building」という
文字列が返り値として得られる。この命令を繰り返し
て、全ての<param>タグを取得する。

【００５４】各タグの意味する内容の詳細を以下に述べ
る。

【００５５】messageという名前のタグは、ユーザーに
提示するメッセージを表す。

【００５６】panRangeという名前のタグは、カメラのパ
ンの範囲の最小値と最大値を表す。

【００５７】tileRangeという名前のタグは、カメラの
チルトの範囲の最小値と最大値を表す。

【００５８】zoomRangeという名前のタグは、カメラの
ズームの範囲の最小値と最大値を表す。

【００５９】locateという名前のタグは、ズームが１倍
のときに、メッセージをスクリーンのどの部分にオーバ
レイして表示するかを表す。

【００６０】ステップ３０２において、ステップ３０１
で取得したタグの内容を配列に初期化して格納する。

【００６１】メッセージはmessageという名前の配列
に、パンの最小値はpanRangeMinという名前の配列に、
パンの最大値はpanRangeMaxという名前の配列に、チル
トの最小値はtiltRangeMinという名前の配列に、チルト
の最大値はtiltRangeMaxという名前の配列に、ズームの
最小値はzoomRangeMinという名前の配列に、ズームの最
大値はzoomRangeMaxという名前の配列に、メッセージの
x座標（ズーム１のとき）をlocateXという名前の配列
に、メッセージのy座標（ズーム１のとき）をlocateYと
いう名前の配列に格納する。

【００６２】その際、message０は０番目の要素に、mes
sage１は１番目の要素として格納する。

【００６３】以下、値が配列に格納された様子を示す。

【００６４】 message〔0〕 = "ＥＳBuilding" message〔1〕 = "ABC Computer Company" message〔2〕 = "Shoes shop" ..... panRangeMin〔0〕 = -100 panRangeMin〔1〕 = -50 panRangeMin〔2〕 = -100 ..... panRangeMax〔0〕 = 100 panRangeMax〔1〕 = 50 panRangeMax〔2〕 = 100

【００６５】次に、ステップ３０３において、ユーザー
インタフェースを生成する。

【００６６】ここで、図４にユーザーインタフェースの
例を示しておく。図中、４０１は映像表示領域であり、
サーバー制御装置１０２から送られてきた画像を表示す
る領域である。４０２は、サーバーにあるカメラのパン
を制御するスライダバーである。４０３は、サーバーに
あるカメラのチルトを制御するスライダバーである。４
０４は、サーバーにあるカメラのズームを制御するスラ
イダバーである。また、４０５は、映像中の各対象物の
注釈を画像領域にオーバレイして表示するか否かを選択
するためのトグルボタンである。なお、映像中の各対象
物の注釈を画像領域にオーバレイして表示する場合をメ
ッセージ表示モードと呼ぶこととする。

【００６７】次に、図３のステップ３０４において、ユ
ーザーからのイベントがあるか否かをチェックする。こ
こでイベントがなかった場合には、ステップ３０９へ進
む。イベントあった場合はステップ３０５へ進む。

【００６８】ステップ３０５では、ステップ３０４で検
出したイベントが、トグルボタンを押下したイベントで
あったか否かをチェックする。トグルボタン押下イベン
トであった場合には、ステップ３０６へ進む。その他の
イベントである場合にはステップ３０７へ進む。

【００６９】ステップ３０６では、トグルボタンの状態
に応じ、メッセージ表示モードに設定する。具体的には
トグルボタンが選択状態であった場合には、メッセージ
表示モードの設定をＯＮにする。選択状態でない場合
は、メッセージ表示モードの設定をＯＦＦにする。

【００７０】ステップ３０７では、ステップ３０４で検
出したイベントが、４０２〜４０４のどのスライダバー
を操作したイベントかを検出し、操作されたスライダバ
ーの現在値を取得すると共にステップ３０８に進む。

【００７１】ステップ３０８では、ステップ３０７で取
得されたスライダーバー４０２〜４０４が示す値を、通
信インタフェース１０８及び１０５を介して、カメラ制
御手段１０３へ送信する。例えば、チルトスライダバー
４０３をユーザーが操作した場合において、その値が１
００であれば、ステップ３０４、３０５、３０７、３０
８を経て、「チルト=１００」というカメラ制御情報が
カメラ制御手段１０３へ送信されることになる。

【００７２】カメラ制御手段１０３はカメラ１０１が
「チルト=１００」の向きになる様にコムカメラ１０１
の向きを変更させる。

【００７３】ステップ３０９では、映像入力手段１０４
が取得した撮影画像データを、通信インターフェース１
０５及び１０８を介して取得する。この撮影画像データ
は、コムカメラ１０１で撮像された映像の１コマ分に対
応する画像データである。

【００７４】本実施の形態では、サーバー制御装置から
は、各クライアント制御装置１０７に一定時間（例えば
１秒）おきに撮影画像データを送信することとする。よ
って、各クライアント制御装置１０７の領域４０１に表
示される映像は、コマ数の少ない動画像となる。なお、
本発明はこれに限らず、一定期間毎に撮影画像データを
送信せず、必要に応じてユーザーから映像受信の指示を
行うようにすれば、通信データ量を減少できる。一方、
高速通信できるネットワーク回線を用いて撮影画像デー
タを通信できるシステムならば、数十コマ／秒で映像を
送信することにより、完全な動画を表示することもでき
る。

【００７５】ステップ３１０では、カメラ制御手段１０
３がコムカメラ１０１の方から取得したカメラ制御情報
を、通信インターフェース１０５及び１０８を介して取
得する。このカメラ制御情報は、現在のコムカメラ１０
１の向き（パン、チルト）、ズームの設定値である。

【００７６】例えば、「ズーム＝１、パン＝３０、チル
ト＝１００」といった値が得られる。

【００７７】これは、「現在のコムカメラ１０１は、ズ
ーム＝１、パン＝３０、チルト＝１００という状態にあ
る」ことを意味している。

【００７８】次にステップ３１１では、メッセージ表示
モードの設定を調べる。もしメッセージ表示モードがＯ
Ｎに設定されていれば、ステップ３１２へ進み、そうで
ない場合にはステップ３１４へ進む。

【００７９】ステップ３１２では、ステップ３１０で取
得したカメラ制御情報と、ステップ３０２で初期化した
配列を比較して、現在のカメラ情報にマッチする項目を
検索する。

【００８０】例えば、１番目の項目は、以下に示すよう
「パンの値が-100〜100まで、チルトの値が0〜200ま
で、ズームの値が1.0〜1.2まで」という条件である。

【００８１】 <param name=message1 value="ＥＳBuilding"> <param name=panRange1 value="-100,100"> <param name=tiltRange1 value="0,100"> <param name=zoomRange1 value="1.0,1.2"> <param name=locate1 value="0,0">

【００８２】今、現在のカメラ位置が、「パン＝10、チ
ルト＝20、ズーム＝1.1」であった場合、１番目の項目
に記述された条件と一致する。

【００８３】また、ステップ３１０で取得したカメラ情
報の値によっては、項目が１つも一致しないこともあり
得る。その場合はステップ３１４へ進み、ＣＰＵはメッ
セージを合成することなく、受信した映像のみを図４の
映像表示領域４０１にそのまま表示させる。もし１つで
も一致する項目があった場合にはステップ３１３へ進
む。

【００８４】ステップ３１３では、ステップ３０２で初
期化した配列から、メッセージ（映像の注釈）を取得す
る。ＣＰＵは、そのメッセージとステップ３０９で取得
した撮影画像データとを合成して、図４の映像表示領域
４０１に表示させる。

【００８５】メッセージを表示する座標は以下の手順及
び計算により求める。手順１：先ず、条件範囲の中心位置を求め、そこへ差分
を加える x1＝(panRangeMax+pamRangeMin)/2＋locateX y1＝(tiltRangeMax+tiltRangeMin)/2＋locateY 手順２：現在のパン、チルト値（ステップ３０８で取得
した値）との差分をとる x2 = x1-panValue panValue=現在のパンの値 y2 = y1-tiltValue tiltValue=現在のチルトの値手順３：現在のズーム値（ステップ３０８で取得した
値）を掛け合わせる x3 = x2 * zoomValue zoomValue=現在のズームの値 y3 = y2 * zoomValue 手順４：スクリーンの中央の座標から、この手順３で求
めた値との差分を取るそして、その位置にメッセージが
来るように表示する。

【００８６】例えば、先に示した「パンの値が-100〜10
0まで、チルトの値が0〜200まで、ズームの値が1.0〜1.
2まで」という条件を有する１番目の項目の場合、手順
１より、以下の値が求まる。

【００８７】x1 = (100-(-100)/2+0 = 0 y1 = (100-0)/2+0 = 50

【００８８】手順２より、以下の値が求まる。

【００８９】x2 = x1 - 10 = -10 y2 = y1 - 20 = 30

【００９０】手順３より、以下の値が求まる。

【００９１】x3 = x2 * 1.1 = -11 y3 = y2 * 1.1 = 33

【００９２】よって、映像を表示したスクリーンの中央
から、-11,33という座標で表される場所に「ＥＳBuil
ding」という文字列を合成表示すれば良い。

【００９３】図５（ａ）にその時のユーザーインタフェ
ースの様子を、更に、図５（ｂ）に現在のカメラの向き
とズームが、「パン＝10、チルト＝20、ズーム＝1.1」
となった場合、即ち図５（ａ）に示される状態からズー
ム値のみを変化させた場合の様子を示す。

【００９４】図５では、パン、チルト、ズーム等の映像
の表示状態（カメラの撮影状態）に応じて、表示される
映像（各オブジェクト）の注釈を表示するか否か、或い
は表示位置を自動的に判別して合成表示することができ
るので、カメラの撮影範囲、ズーム倍率に応じた映像の
注釈を表示できる。

【００９５】特に、本実施の形態はズーム倍率に応じて
所定の注釈を合成表示するか否かを決定する様にしてい
るので、例えば図５（ｂ）に表示された注釈「ABC Comp
uterCompany」の様に、ある程度オブジェクトが大きく
表示されないと役に立たない注釈を、必要に応じて適切
に合成表示させることができる。また、逆にある程度オ
ブジェクトが小さく表示されないと役に立たない注釈
も、必要に応じて適切に合成表示させることができる。

【００９６】なお、本発明は上記実施の形態の様に映像
のズーム倍率に応じて各注釈を合成するか否かを選択す
る場合に限らず、映像のズーム倍率に応じて各注釈の大
きさを変化させても良い。具体的には、注釈「ABC Comp
uter Company」は図５（ａ）においては表示されていな
かったが、変形例としては図５（ａ）の場合には図５
（ｂ）よりもフォントサイズの小さい「ABC Computer C
ompany」の注釈を表示する様にしても良い。

【００９７】また、上述の実施の形態は撮影された映像
のズーム倍率に応じて各注釈の合成を表示するものであ
ったが、本発明はこれに限らず、映像内の各オブジェク
ト（対象物）の大きさに基づいて注釈の合成を制御する
様にしても良い。例えば、コムカメラの位置が移動可能
な場合には、所定のオブジェクトを撮影した際のズーム
倍率が同じであっても、映像中のこのオブジェクトの大
きさが異なる可能性がある。よって、基準の大きさと比
較した所定のオブジェクトの大きさに応じて注釈の合成
を制御する場合も本発明に含まれる。

【００９８】（第２の実施の形態）本実施の形態では、
第１の実施の形態と同様に、遠隔地のカメラサーバーか
ら取得した映像に、文字情報をオーバレイして表示する
場合を例に説明する。

【００９９】ただし、ユーザーの選択に応じて、異なる
形態のメッセージ（オブジェクトの注釈）を表示できる
点が、第１の実施の形態とは異なる。本実施の形態で
は、メッセージを日本語で表示するか、英語で表示する
かを選択できる例を説明する。

【０１００】上記形態を選択できる操作部を有するユー
ザーインタフェースを図６に示す。

【０１０１】本実施の形態を実現するためには、第１の
実施の形態に対して以下の様な変更を行なう。

【０１０２】先ず、サーバー制御装置１０２に蓄積され
るテキスト情報を以下の様に変更する。

【０１０３】 <applet code=webview width=400 height=300> <param name=messageJ1 value="ＥＳビル"> <param name=messageE1 value="ＥＳBuilding"> <param name=panRange1 value="-100,100"> <param name=tiltRange1 value="0,100"> <param name=zoomRange1 value="1.0,1.2"> <param name=locate1 value="0,0">

【０１０４】第１の実施の形態の説明における、サーバ
ー制御装置１０２から取得するテキスト情報が変更され
たため、図３のステップ３０１において、<param>タグ
を取得したルーチンを変更する。具体的には、以下のよ
うに変更する。

【０１０５】第１の実施の形態： value = getParameter("message1"); 本実施の形態： Jvalue = getParameter("messageJ1"); // 日本語メッ
セージ Evalue = getParameter("messageE1"); // 英語メッセ
ージ

【０１０６】ステップ３０２においては、複数のメッセ
ージに対応する様に配列を用意する。

【０１０７】ステップ３０３においては、図４の表示例
に加えて「メッセージを日本語で表示するか、英語で表
示するか」選択する為のパネル４０６も作成する。

【０１０８】ステップ３０５においては、第１の実施の
形態と同様にメッセージの表示／非表示の切り替えのイ
ベントがあったか否かをチェックし、このイベントがあ
り、かつ非表示から表示への切り替えがあった場合につ
いては、更にパネル４０６で英語／日本語モードのどち
らが選択されているかのチェックも行ない、それに応じ
て、３０６でメッセージ表示モードを設定する。

【０１０９】ステップ３１３においては、「現在、英語
モード／日本語モードのどちらが選択されているか」を
判断し、それに応じたメッセージを合成して表示する。

【０１１０】以上の変更により、メッセージを日本語の
形態で表示するか、英語の形態で表示するか、ユーザー
がマニュアル選択できる。

【０１１１】なお、本実施の形態では、日本語と英語表
示の切替えについて述べたが、本発明はこれに限らず、
「３つ以上の言語から１つを選択」、「子供用メッセー
ジ、大人用メッセージの選択」、「初級者用、中級者
用、上級者用メッセージの選択」する場合等も本発明に
含まれる。

【０１１２】更には、「表示された所定のオブジェクト
の注釈を画像で表示するか文字で表示するかを選択」、
「注釈を音声で出力するか画像、文字で出力するかを選
択」する場合等も本発明に含まれる。即ち、本実施の形
態は、カメラから映像を撮影する条件或いはディスプレ
イ１１０への映像の表示条件に応じて、映像中の所定の
オブジェクトの注釈を報知する形態を、複数形態から選
択できる。

【０１１３】（第３の実施の形態）本実施の形態では、
第１の実施の形態と同様に、遠隔地のカメラサーバーか
ら取得した映像に、文字情報をオーバレイして表示する
例について図７を用いて説明する。

【０１１４】ただし、映像表示領域４０１に対してユー
ザーがクリック等の動作を行なうと、別のホームページ
（具体的には、オブジェクトの注釈が固有の名称である
場合であって、固有の名称を有する団体等が提供してい
るインターネットのホームページ）に自動的に移動する
点が、第１の実施の形態と異なる。

【０１１５】本実施の形態では、映像表示領域４０１の
注釈（例えば、「ＥＳBuilding」）の部分をクリック
すると、「ＥＳBuilding」が提供するインターネット
のホームページを映像表示領域４０１に表示する。

【０１１６】本実施の形態を実現するためには、第１の
実施の形態に対して以下の様な変更を行なう。

【０１１７】まず、サーバー制御装置１０２に蓄積して
あるテキスト情報を以下の様に更新する。

【０１１８】 <applet code=webview width=400 height=300> <param name=messageJ1 value="ＥＳビル"> <param name=messageE1 value="ＥＳBuilding"> <param name=panRange1 value="-100,100"> <param name=tiltRange1 value="0,100"> <param name=zoomRange1 value="1.0,1.2"> <param name=locate1 value="0,0"> <param name=nextlink1 value="http://www.es.com/">

【０１１９】第１の実施の形態の説明における、サーバ
ー制御装置１０２から取得するテキスト情報が変更され
たため、図７においては図３のステップ３０１におい
て、<param>タグを取得したルーチンに、次のリンク先
を取得するルーチンを追加する。具体的には、以下のイ
ンストラクションを追加する。以下図７において図３と
同様のステップについては同じ符号を割り当てて説明
し、異なる部分を詳細に説明する。

【０１２０】link = getParameter("nextlink1");

【０１２１】ここで変数linkには、次の移動先であるホ
ームページのアドレス、即ち「http://www.es.com」が
格納される。

【０１２２】また、図７のステップ３０２では、次のリ
ンク先を格納する配列を追加する。

【０１２３】また、図７のステップ３０７において、ユ
ーザーからのイベントが「カメラ制御イベント」である
か否かチェックする。その結果、「カメラ制御イベン
ト」でない場合には、「映像表示領域上のイベント」か
否かチェックする。なお、ステップ３１６、３１７以外
の処理は第１の実施の形態と同様である。

【０１２４】もし、ステップ３１６において「映像表示
領域上をクリックするイベント」でなかった場合、ステ
ップ３０９へ進む。

【０１２５】もし、ステップ３１６において「映像表示
領域上をクリックするイベント」であった場合、まず、
映像表示領域４０１において、ポインティングデバイス
（マウス）でクリックされたＸ座標とＹ座標を取得す
る。

【０１２６】もし、この座標が、表示しているメッセー
ジから所定の距離内であった場合には、ステップ３１７
に進み、ステップ３０２で格納したメッセージに対応す
るアドレスのホームページを受信、表示する。なお、メ
ッセージの座標は、第１の実施の形態で述べた手順によ
り求められる。

【０１２７】もし、ステップ３１６において「映像表示
領域上をクリックするイベント」であったにもかかわら
ず、この座標が、表示されているメッセージから所定の
距離内に無い場合には、ステップ３０９へ進む。

【０１２８】以上の様に動作させることにより、映像表
示領域４０１にメッセージが表示されているとき、メッ
セージの近傍をマウスでクリックすると、そのメッセー
ジに関連付けられたホームページを新たに表示すること
が可能となる。よって、カメラからリアルタイムで撮影
された映像の内でユーザーが興味を持つオブジェクトに
関するホームページを、速やかに表示することができ、
使い勝手の良い撮影画像表示装置を提供することができ
る。

【０１２９】（変形例）なお、本発明は、複数の機器
（例えばホストコンピュータ、インタフェース機器、リ
ーダ、プリンタ等）から構成されるシステムの１部とし
て適用しても、１つの機器（たとえば複写機、ファクシ
ミリ装置）からなる装置の１部に適用してもよい。

【０１３０】また、本発明は上記実施の形態を実現する
ための装置及び方法のみに限定されるものではなく、上
記システム又は装置内のコンピュータ（CPUあるいはMP
U）に、上記実施の形態を実現するためのソフトウエア
のプログラムコードを供給し、このプログラムコードに
従って上記システムあるいは装置のコンピュータが上記
各種デバイスを動作させることにより上記実施の形態を
実現する場合も本発明の範疇に含まれる。

【０１３１】またこの場合、前記ソフトウエアのプログ
ラムコード自体が上記実施の形態の機能を実現すること
になり、そのプログラムコード自体、及びそのプログラ
ムコードをコンピュータに供給するための手段、具体的
には上記プログラムコードを格納した記憶媒体は本発明
の範疇に含まれる。

【０１３２】この様なプログラムコードを格納する記憶
媒体としては、例えばフロッピーディスク、ハードディ
スク、光ディスク、光磁気ディスク、CD-ROM、磁気テー
プ、不揮発性のメモリカード、ROM等を用いることがで
きる。

【０１３３】また、上記コンピュータが、供給されたプ
ログラムコードのみに従って各種デバイスを制御するこ
とにより、上記実施の形態の機能が実現される場合だけ
ではなく、上記プログラムコードがコンピュータ上で稼
働しているOS(オペレーティングシステム)、あるいは他
のアプリケーションソフト等と共同して上記実施の形態
が実現される場合にもかかるプログラムコードは本発明
の範疇に含まれる。

【０１３４】更に、この供給されたプログラムコード
が、コンピュータの機能拡張ボードやコンピュータに接
続された機能拡張ユニットに備わるメモリに格納された
後、そのプログラムコードの指示に基づいてその機能拡
張ボードや機能格納ユニットに備わるCPU等が実際の処
理の一部または全部を行い、その処理によって上記実施
の形態が実現される場合も本発明の範疇に含まれる。

【０１３５】なお、以上の実施の形態でいう注釈或いは
メッセージとは、各オブジェクトの説明に限らず、各オ
ブジェクトの関係者からのメッセージや、各オブジェク
トに関するインターネット或いは電子メール等のアドレ
スや、実際にオブジェクトが存在する位置、各オブジェ
クトに関する変動する情報等を含む。

【０１３６】例えば、映像表示領域４０１内のオブジェ
クトに空があれば、天候（変動する情報）をこのオブジ
ェクトの注釈としても良い。また、オブジェクトが企業
のビル等であれば、この企業からのメッセージ、企業
名、企業の有するアドレス等を注釈とすることができ
る。また、オブジェクトが住宅地であれば、その住宅地
の住所を注釈とすることができる。

【０１３７】以上説明した様に本発明によれば、カメラ
サーバーから与えられる映像だけではなく、その映像に
関するメッセージを、カメラの撮影条件或いはディスプ
レイへの表示条件に応じて、適切に合成して表示するこ
とが可能となる。

【０１３８】また、ユーザーがメッセージを合成して表
示するか否かの選択ができるようになるので、ユーザー
の好みに応じてメッセージを合成することが可能とな
る。

【０１３９】また、同一オブジェクトに対して複数の形
態のメッセージを用意することで、ユーザーの多様な要
求に応じて、適切なメッセージを選択できるようにな
る。

【０１４０】また、表示中のオブジェクトに合成された
メッセージをクリックした場合に、そのメッセージに関
連するアドレスのホームページを表示することができる
ので、映像表示領域４０１内に企業の名称等のメッセー
ジがあれば、企業のホームページへのリンクを埋め込む
ことができ、使い勝手の良い撮影画像表示装置を提供す
ることができる。

【０１４１】

【発明の効果】以上説明した様に本発明によれば、映像
を受信して表示させる際において、映像を撮影したズー
ム倍率に応じて付加画像（本実施の形態におけるメッセ
ージ或いは注釈に相当）を合成して表示するか否かを選
択するので、表示される映像に関する付加情報を多数の
状況に適した状態で合成表示させることのできる。

【０１４２】具体的には、映像を撮影したズーム倍率に
応じて、前記映像中のオブジェクトに関する付加情報を
合成表示させることができる。また、合成表示される付
加情報の表示形態を選択できるのでユーザーの好みに応
じて付加情報を合成表示させることができる。

【０１４３】また、合成表示される付加情報を、他のネ
ットワーク端末から画像を受信する操作を開始する為の
リンク画像とするので、使い勝手の良い映像表示を行う
ことができる。

【図面の簡単な説明】

【図１】第１の実施の形態を説明するためのシステム構
成図

【図２】第１の実施の形態の動作の概略を説明する動作
手順図

【図３】第１の実施の形態の動作手順を説明するフロー
チャート

【図４】第１の実施の形態のアプレットのユーザーイン
タフェース

【図５】第１の実施の形態において、映像とメッセージ
を合成した様子を示す図

【図６】第２の実施の形態の動作時の様子を示す図

【図７】第３の実施の形態の動作手順を説明するフロー
チャート

【符号の説明】

１０１コムカメラ１０２サーバー制御装置１０７クライアント制御装置

Claims

【特許請求の範囲】

【請求項１】所定の撮影手段で撮影された映像を受信
する受信手段と、前記受信手段により受信した映像に関する付加画像を発
生する発生手段と、前記受信手段により受信した映像が所定のズーム倍率で
撮影された場合には、前記映像と前記付加画像を合成し
て所定の表示手段に表示させ、前記受信手段により受信
した映像が所定のズーム倍率で撮影されていない場合に
は、前記映像と前記付加画像を合成することなく前記所
定の表示手段に表示させる表示制御手段とを有すること
を特徴とする画像処理装置。
【請求項２】前記映像に関する付加画像は、該映像内
の各オブジェクトに対する注釈であることを特徴とする
請求項１に記載の画像処理装置。
【請求項３】前記注釈は、前記オブジェクトの位置を
示す情報であることを特徴とする請求項２に記載の画像
処理装置。
【請求項４】前記注釈は、前記オブジェクトの関係者
からのメッセージであることを特徴とする請求項２に記
載の画像処理装置。
【請求項５】前記注釈は、前記オブジェクトに関する
変動する情報であることを特徴とする請求項２に記載の
画像処理装置。
【請求項６】更に前記所定の表示手段を有することを
特徴とする請求項１に記載の画像処理装置。
【請求項７】前記映像は静止画像であることを特徴と
する請求項１に記載の画像処理装置。
【請求項８】前記映像は動画像であることを特徴とす
る請求項１に記載の画像処理装置。
【請求項９】前記表示制御手段は、前記ズーム倍率だ
けでなく前記受信手段により受信した映像が所定の撮影
角度で撮影されたか否かに基づいて、前記映像と前記付
加画像を合成するか否かを選択することを特徴とする請
求項１に記載の画像処理装置。
【請求項１０】所定の撮影手段で撮影された映像を受
信する受信ステップと、前記受信ステップで受信した映像に関する付加画像を発
生する発生ステップと、前記受信ステップで受信した映像が所定のズーム倍率で
撮影された場合には、前記映像と前記付加画像を合成し
て所定の表示手段に表示させ、前記受信ステップで受信
した映像が所定のズーム倍率で撮影されていない場合に
は、前記映像と前記付加画像を合成することなく前記所
定の表示手段に表示させる表示制御ステップとを有する
ことを特徴とする画像処理方法。
【請求項１１】所定の撮影手段で撮影された映像を受
信する受信ステップと、前記受信ステップで受信した映像に関する付加画像を発
生する発生ステップと、前記受信ステップで受信した映像が所定のズーム倍率で
撮影された場合には、前記映像と前記付加画像を合成し
て所定の表示手段に表示させ、前記受信ステップで受信
した映像が所定のズーム倍率で撮影されていない場合に
は、前記映像と前記付加画像を合成することなく前記所
定の表示手段に表示させる表示制御ステップとを有する
制御プログラムをコンピュータから読み出し可能な状態
に記憶した記憶媒体。
【請求項１２】所定の撮影手段で撮影された映像を受
信する受信手段と、前記受信手段により受信した映像に合成して表示される
べき付加画像を発生する発生手段と、前記受信手段により受信した映像中の所定の対象物の大
きさに応じて、前記発生手段による前記付加画像の発生
を制御する制御手段を有することを特徴とする画像処理
装置。
【請求項１３】所定の撮影手段で撮影された映像を受
信する受信ステップと、前記受信ステップで受信した映像に合成して表示される
べき付加画像を発生する発生ステップと、前記受信ステップで受信した映像中の所定の対象物の大
きさに応じて、前記発生ステップにおける前記付加画像
の発生を制御する制御ステップを有することを特徴とす
る画像処理方法。
【請求項１４】所定の撮影手段で撮影された映像を受
信する受信ステップと、前記受信ステップで受信した映像に合成して表示される
べき付加画像を発生する発生ステップと、前記受信ステップで受信した映像中の所定の対象物の大
きさに応じて、前記発生ステップにおける前記付加画像
の発生を制御する制御ステップを有する制御プログラム
をコンピュータから読み出し可能な状態で記憶した記憶
媒体。
【請求項１５】所定の撮影手段で撮影された映像を受
信する受信手段と、前記受信手段により受信した映像に合成して表示される
べき付加画像を発生する発生手段と、前記受信手段により受信した映像の撮影条件に応じて、
前記発生手段による前記付加画像の発生を制御する制御
手段とを有し、前記付加画像は、他のネットワーク端末から画像を受信
する動作を開始させる為のリンク画像であることを特徴
とする画像処理装置。
【請求項１６】前記所定の撮影条件には、撮影角度を
含むことを特徴とする請求項１５に記載の画像処理装
置。
【請求項１７】前記所定の撮影条件には、ズーム倍率
を含むことを特徴とする請求項１５に記載の画像処理装
置。
【請求項１８】前記付加画像は、該映像内の各オブジ
ェクトに対する注釈であることを特徴とする請求項１５
に記載の画像処理装置。
【請求項１９】所定の撮影手段で撮影された映像を受
信する受信ステップと、前記受信ステップで受信した映像に合成して表示される
べき付加画像を発生する発生ステップと、前記受信ステップで受信した映像の撮影条件に応じて、
前記発生ステップにおける前記付加画像の発生を制御す
る制御ステップとを有し、前記付加画像は、他のネットワーク端末から画像を受信
する操作を開始する為のリンク画像であることを特徴と
する画像処理方法。
【請求項２０】所定の撮影手段で撮影された映像を受
信する受信ステップと、前記受信ステップで受信した映像に合成して表示される
べき付加画像を発生する発生ステップと、前記受信ステップで受信した映像の撮影条件に応じて、
前記発生ステップにおける前記付加画像の発生を制御す
る制御ステップとを有し、前記付加画像は、他のネットワーク端末から画像を受信
する操作を開始する為のリンク画像であることを特徴と
する、上記全ステップを有する制御プログラムをコンピ
ュータから読み出し可能な状態に記憶した記憶媒体。
【請求項２１】所定の撮影手段で撮影された映像を受
信する受信手段と、前記受信手段により受信した映像に合成して表示される
べき、互いに異なる複数形態の付加画像を発生する発生
手段と、前記受信手段により受信した映像の撮影条件に基づい
て、前記発生手段により、前記複数形態から選択された
１形態に対応する付加画像を発生する制御手段とを有す
ることを特徴とする画像処理装置。
【請求項２２】前記所定の撮影条件には、撮影角度を
含むことを特徴とする請求項２１に記載の画像処理装
置。
【請求項２３】前記所定の撮影条件には、ズーム倍率
を含むことを特徴とする請求項２１に記載の画像処理装
置。
【請求項２４】前記付加画像は、該映像内の各オブジ
ェクトに対する注釈であることを特徴とする請求項２１
に記載の画像処理装置。
【請求項２５】所定の撮影手段で撮影された映像を受
信する受信ステップと、前記受信ステップで受信した映像に合成して表示される
べき、互いに異なる複数形態の付加画像を発生する発生
ステップと、前記受信ステップで受信した映像の撮影条件に基づい
て、前記発生ステップにおいて前記複数形態から選択さ
れた１形態に対応する付加画像を発生する制御ステップ
とを有することを特徴とする画像処理方法。
【請求項２６】所定の撮影手段で撮影された映像を受
信する受信ステップと、前記受信ステップで受信した映像に合成して表示される
べき、互いに異なる複数形態の付加画像を発生する発生
ステップと、前記受信ステップで受信した映像の撮影条件に基づい
て、前記発生ステップにおいて前記複数形態から選択さ
れた１形態に対応する付加画像を発生する制御ステップ
とを有する制御プログラムをコンピュータから読み出し
可能な状態に記憶した記憶媒体。