WO2004066632A1

WO2004066632A1 - 遠隔映像表示方法、映像取得装置及びその方法とそのプログラム

Info

Publication number: WO2004066632A1
Application number: PCT/JP2004/000223
Authority: WO
Inventors: Nobuhiko Takehara; Tomoki Watanabe; Hiroki Anzai; Katsumi Kishida
Original assignee: Nippon Telegraph And Telephone Corporation
Priority date: 2003-01-17
Filing date: 2004-01-15
Publication date: 2004-08-05
Also published as: US7385624B2; EP1585332A1; EP1585332B1; JP4098808B2; DE602004010363D1; EP1585332A4; US20050212909A1; DE602004010363T2; JPWO2004066632A1

Abstract

　全方位ビデオカメラ２によりその周囲のパノラマ被写体６を撮影し、その撮影映像信号を映像取得装置１へ伝送し、映像取得装置１は部分被写体６１の撮像信号を取り出して、前方位カメラ２から離れた地点の利用者が手に持っているカメラ付携帯端末３へ送信し、この表示面３２ａに再生表示し、利用者は携帯端末３で周辺被写体８を撮影し、その周辺映像信号を装置１へ伝送する。携帯端末３の撮影方向を破線のように回転させると、装置１はその回転前と後の周辺映像信号の変化から携帯端末３の撮影方向の変化を検出し、この変化と対応して、部分被写体６１に対し、回転させた部分被写体６２の映像信号をパノラマ撮影信号から取り出して携帯端末３へ送り、これを再生表示させる。

Description

明細書遠隔映像表示方法、映像取得装置及びその方法とそのプログラム技術分野

この発明はパノラマ被写体を、画像センサ、つまり映像信号を出力するカメラ (以下、単にカメラと記載する）で撮影して、その撮影映像を前記カメラから離れた場所の利用者に表示する遠隔映像表示方法、その方法に用いられる映像取得装置、その映像取得方法、及び映像取得プログラムに関する。背景技術

例えば道路の交通量を把握するために、監視用カメラを雲台上に取付けて、道路の交通状態を撮影できるように設置し、このカメラよりの映像信号を通信回線を通じて遠隔地に設置された監視装置へ伝送し、監視装置では受信した映像信号を再生して表示器に、監視カメラが撮影した道路の交通状態を表示し、監視員はその表示を見ながら遠隔制御装置の操作釦ゃレバーなどを操作して、監視用カメラの撮影方向（水平方向及び垂直方向）を変更する制御信号、又は/及び監視用カメラのズームレンズのズーム量を変更する制御信号を通信回線を通じて監視用カメラの制御機構部に伝送して、監視用カメラを制御し、表示器に表示される映像を見ながら監視用カメラの撮影方向や撮影状態を制御することが行われている (例えば日本特許出願公開平 1 1—2 0 5 7 7 5号（1 9 9 9年 7月 3 0日発行）参照）。

高層建築の屋上に雲台上に取付けたカメラを設置しインターネットなどの通信網を通じて、パーソナルコンピュータからカメラをアクセスして、予め決められた時間、そのカメラを占有し、そのカメラの撮影映像信号をパーソナルコンピュ一タに受信してその表示器に再生表示し、利用者はその再生映像を見ながら、パーソナルコンピュータを操作して、力メラの撮影方向やレンズのズーム量を遠隔制御して、広い範囲のパノラマ被写体の各部分を見て楽しむサービス、いわゆるビデオライブが提供されている。親が自宅あるいは、勤務先からパーソナルコンピュータを制御して、通信回線を介して幼稚園に設けたカメラをアクセスしてその撮影映像信号をパーソナルコンピュータに再生表示し、カメラの撮影方向やズーム量を遠隔制御して各種状態での子供の様子を知ることが考えられる。

更にコンビニエンスストァに設けた防犯カメラの撮影映像信号を離れた所で表示器に再生表示すると共に、守備員はその再生映像を見ながら防犯カメラの撮影方向やズーム量を遠隔制御することが考えられる。

このように遠方に設けられたカメラを遠隔制御してその撮影映像信号を表示させることは各種の利用が考えられる。いずれの場合も、従来においては、カメラ自体の撮影方向を機械的に変更制御し、あるいはズームレンズを機械的に移動させる制御を、パーソナルコンピュータを利用したポタン（キー）操作やレバ一操作により行われるものであった。また、 1人の利用者がカメラを遠隔制御している間は、他の利用者はそのカメラを制御できず、つまり、例えば予め決められた時間、そのカメラは 1人の利用者により占有されるものである。

従来の遠隔映像表示における見たい映像を得るための制御はボタン（キー）操作、あるいはレバ一操作によりカメラ自体を遠隔制御するものであるため、利用者がカメラを直接手で持って、あるいは雲台上のカメラを直接手で操作して所望の撮影映像を得る場合と比較して、操作性が悪く、つまり所望の撮影映像と多少ずれたものとなる場合があつた。

この発明の目的は、利用者がその手でカメラを直接操作する感覚で所望の遠隔映像を表示させることを可能とする遠隔映像表示方法、その方法に用いられる映像取得装置その方法、及び映像取得プログラムを提供することにある。発明の開示

この発明の遠隔映像表示方法によれば、パノラマ被写体を遠隔撮影装置で撮影し、その撮影したパノラマ被写体の一部分の撮影映像信号を映像取得装置を介して、遠隔撮影装置と、異なる位置の映像表示手段に送信し、映像表示手段は受信した撮影信号を再生してパノラマ被写体の上記一部分の映像として表示し、その映像表示手段の表示を見ることができる位置のカメラ付携帯端末により、その周辺を撮影し、その周辺映像信号を映像取得装置へ送信し、

映像取得装置で、前回の受信周辺映像信号と今回の受信周辺映像信号とから、力メラ付携帯端末が撮影した周辺映像の変化情報を求め、この変化情報に基づき、撮影した周辺映像の変化と対応して、パノラマ被写体の一部分に対して変更されたパノラマ被写体の一部分の撮影映像信号を遠隔撮影装置から求め、その求めた撮影映像信号を映像表示手段へ送信する。

パノラマ被写体は、映像表示手段の一表示画面分の映像として表示するには適さない程度に十分広い、あるいは一表示画面分の映像としてある程度の表示はできるがその各一部分の詳細を見る必要がある視野範囲の大きさであり、視野角は 3 6 0度かそれ以下であり、また必ずしも連続していなくてもよい。映像取得装置がパノラマ被写体の変更された一部分の撮影映像信号を遠隔撮影装置から求めるのは、二つの形態がある。その一つの形態によれば、カメラ付携帯端末から受信した前回の周辺映像信号の映像（以下、前回映像と記述する）に対する今回の周辺映像信号の映像（以下、今回映像と記述する）の変化情報が、変化検出手段により受信周辺映像信号から検出され、その変化情報とから、パノラマ被写体の一部分の撮影映像信号を得るために用いる取得用信号が取得用信号生成手段により生成され、その生成された取得用信号が遠隔撮影装置へ送信され、遠隔撮影装置より受信された撮影映像信号が映像中継手段により、映像表示手段へ送信される。この形態では映像取得装置は取得用信号を遠隔撮影装置へ送り、遠隔撮影装置がパノラマ被写体の変更された一部分の撮影映像信号を取り出し送信した映像信号を受信することにより、パノラマ被写体の変更された一部分の撮影映像信号を求める。

他の形態によれば同様に変化検出手段及び取得用信号生成手段が設けられ遠隔撮影装置より受信した撮影映像信号から生成された取得用信号に基づき、その映像取得装置の映像取得手段によりパノラマ被写体の変更された一部分の撮影映像信号が取り出されて求められる。

この発明の表示方法によれば、映像表示手段に表示されているパノラマ被写体の一部分の映像を見ながら、カメラ付携帯端末を手に持ってそのカメラ付携帯端末によりパノラマ被写体の一部を撮影するようにカメラ付携帯端末を操作することにより、パノラマ被写体の所望の部分を遠隔撮影表示することができ、パノラマ被写体を直接見ることができる場所で自分でカメラを操作して撮影する場合と、同様な感じで操作することができ操作性が頗るよく、かつパノラマ被写体の所望とする部分と撮影された映像とのずれが生じ難い。図面の簡単な説明

図 1はこの発明の原理を説明するためのシステム構成例を示す図である。

図 2は全方位ビデオカメラのィメ一ジセンサデバイスの例と、その部分被写体撮像信号の取り出しを説明するための図である。

図 3 Aはカメラ付携帯端末の撮影方向を回転させた時の撮影映像のイメージセンサ上での移動状態の例を示す図である。

図 3 Bは図 3 Aにおける移動前と後の各映像を示す図である。

図 4は実施例 1のシステム構成例を示すプロック図である。

図 5は図 4中の変化検出手段 1 2及び取得用信号生成手段 1 3の各機能構成例を示す図である。

図 6は図 4に示したシステム全体の動作手順の例を示す図である。

図 7は図 4中の映像取得装置 1の処理手順の例を示す流れ図である。

図 8は実施例 2のシステム構成例を示すプロック図である。

図 9は図 8中の映像取得装置 1の処理手順の例を示す流れ図である。

図 1 0は複数のカメラ装置を用いる遠隔撮影装置 2とそのパノラマ被写体 6との関係例を示す図である。

図 1 1は実施例 3のシステム構成例を示すプロック図である。

図 1 2は図 1 1中のカメラ装置のイメージセンサデバイスと部分被写体撮像信号の取り出しを説明するための図である。

図 1 3は図 1 1中の遠隔撮影装置 1の変形例を示すプロック図である。

図 1 4は図 1 1中の取得用信号生成手段 1 3の具体的機能構成例とカメラ方向記憶手段 1 9の記憶例を示す図である。

図 1 5は図 1 4中のカメラ決定部 1 3 bの処理手順の例を示す流れ図である。図 1 6はカメラ方向記憶手段 1 9の他の記憶例を示す図である。図 1 7は実施例 4のシステム構成例を示すプロック図である。

図 1 8は実施例 5のシステム構成例を示すブロック図である。 - 図 1 9は図 1 8中の雲台カメラ 2 1の外観例を示す図である。

図 2 0は実施例 6のシステム構成例を示すブロック図である。

図 2 1は図 2 0中の映像取得装置 1の機能構成例を示すブロック図である。発明を実施するための最良の形態 '

原理説明

図 1を参照してこの発明の原理を説明する。

この例では遠隔撮影装置 2として全方位カメラが用いられた場合である。全方位力メラはディジタルビデオカメラであって、周囲 3 6 0度を撮影可能な全方位画像センサであり、例えば山澤一誠著「ミラーを用いた全方位カメラの原理と特徴」コンピュータビジョンとイメージメディア 1 2 5— 2 1、 P . 1 5 5〜 1 6 0、 2 0 0 1年 1月 1 9日を参照されたい。また全方位カメラは市販されており、例えば図 2に示すように予め決めた基準方向を 0度とし、 3 6 0度のパノラマ被写体にカメラ像が C C Dなどの長方形の 2次元イメージセンサデバイス 7に結像され、各画素対応の光電気変換信号を取出すことができる。

図 1において遠隔撮影装置 2はその 3 6 0度にわたる周囲のパノラマ被写体 6 を撮影することができる。この例ではその遠隔撮影装置 2で撮影したパノラマ被写体 6の一部分、例えば基準に対し 1 8 0度の方向の一部分 (以下、部分被写体と記述する) 6 1の撮影映像信号、つまり図 2におけるイメージセンサデバイス 7中の領域 7 1の各画素信号が取り出されて伝送路 4を通じて映像取得装置 1へ送信される。

映像取得装置 1では受信した部分被写体の撮影映像信号を伝送路 5を通じて、遠隔撮影装置 2とは異なる位置の映像表示手段を兼ねるカメラ付携帯端末 3へ送信する。カメラ付携帯端末 3としてこの例ではカメラ付携帯電話機を用いているが、カメラ付 P D A (Personal Di gi tal Assi stance) や、 P D Aにカメラを固定したものなど、要はディジタルビデオカメラを備え、かつ通信手段を備え、手に持ってカメラ撮影操作を行うことができる端末であればよい。伝送路 4及び 5はこれらを区別するため以下、それぞれ遠隔用伝送路 4及び携帯用伝送路 5と記述する。これら両伝送路 4及び 5はいずれも専用伝送回路であっても、インタ一ネット、無線 ·有線公衆通信網などの通信網を一つ乃至複数介する伝送路であってもよい。

所でこの例はカメラ付携帯端末 3は映像表示手段をも備えるものであり、映像取得装置 1から受信した遠隔撮影装置 2よりの部分被写体 6 1の撮影映像信号はその映像表示手段により再生されて、その表示面 3 2 aに表示される。

利用者はカメラ付携帯端末 3を手に持ってその端末 3のカメラ（携帯撮影手段） 3 3でその利用者の周辺被写体 8を撮影しながら、表示面 3 2 aに表示されたパノラマ被写体 6の部分被写体 6 1を見て、パノラマ被写体 6 1中の遠隔撮影表示したい他の部分被写体を見たい場合は、そのカメラ 3 3でその見たい部分被写体を撮影するように、カメラ付携帯端末 3を操作する。例えば部分被写体 6 1に対し、右へ 4 5度の方向の部分被写体 6 2を撮影したい場合は、カメラ付携帯端末 3で現に撮影している方向 3 3 aから、図 1中に 1点鎖線で示すようにカメラ付携帯端末 3のカメラ 3 3の撮影方向 3 3 aを右へ 4 5度回転する。

カメラ付携帯端末 3のカメラ 3 3により撮影されている周辺被写体の映像信号 (以後、周辺映像信号と記述する）は携帯用伝送路 5を通じて映像取得装置 1へ送信される。映像取得装置 1は受信した前回の周辺映像信号と、今回の周辺映像信号とから、カメラ付携帯端末 3が撮影している周辺映像が変化したことを検出する。

周辺被写体 8に対しカメラ付携帯端末 3が撮影している範囲は図 3 Aに示すように撮影範囲 8 に対し右側に移動した撮影範囲 8 bとなる。従って部分被写体 6 1の再生映像を見た時の受信周辺映像信号は図 3 Bの上側に示す撮影範囲 8 aの撮影映像信号であるが、カメラ付携帯端末 3の撮影方向が右へ 4 5度回転された状態での受信周辺映像信号は図 3 Bの下側に示す撮影範囲 8 bの撮影映像信号となる。これら両受信周辺映像信号を比較すれば、同一の映像部分が、図において右から左へ移動しており、そのカメラ付携帯端末 3の撮影方向が右へ回転されたことを検出することができる。

映像取得装置 1はこの受信周辺映像信号の映像の前回のそれに対する変化情報を検出し、この変化情報に基づき遠隔撮影装置 2で撮影している映像信号から取り出す撮影映像信号を変更して、その取出した撮影映像信号と対応するパノラマ被写体 6中の部分被写体が、受信周辺映像信号の映像の変化に対応して変更されるように遠隔撮影装置 2に指示する。力メラ付携帯端末 3の撮影方向を前記例では 4 5度右へ回転させた場合は、パノラマ被写体 6の部分被写体 6 1がその方向に対して右へ 4 5度回転した部分被写体 6 2と対応した撮影映像信号を取り出すように、図 2中のイメージセンサデバイス 7上の領域 7 1に対し、周辺撮影映像の移動距離 D 1だけ右へ移動させた領域 7 2の撮影映像信号を取り出すように、映像取得装置 1は遠隔撮影装置 2に遠隔用伝送路 4を通じて指示する。

遠隔撮影装置 2はこの指示を受信して、イメージセンサデバイス 7の領域 7 2 から撮影映像信号を取り出して、遠隔用伝送路 4を通じて映像取得装置 1へ送信し、映像取得装置 1はその受信撮影映像信号を携帯用伝送路 5を通じてカメラ付携帯端末 3へ送信する。カメラ付携帯端末 3はその表示面 3 2 aに部分被写体 6 2と対応する再生映像を表示することになる。

遠隔撮影装置 2はパノラマ被写体 6を常時撮影し、映像取得装置 1から取得指示に基づいて部分被写体の撮影映像信号を常時、例えば毎秒 3 0フレームの速さで映像取得装置 1を中継してカメラ付携帯端末 3へ送信している。カメラ付携帯端末 3もその撮影周辺映像信号を常時映像取得装置 1へ送信している。

以上の説明から理解されるようにこの発明の方法によればパノラマ被写体 6を実際に見ながらその撮影表示したい部分を撮影するようにカメラ付携帯端末 3を操作することにより所望の部分被写体を遠隔撮影表示することができ、遠隔撮影の操作性がよくかつ所望の部分被写体と撮影映像信号の再生映像とのずれが生じ難いものとなる。また例えば携帯電話機のような携帯端末のキーを操作して力メラを遠隔操作することを想定すると.。その場合はキーの操作であることに基づく操作性が悪い上に、キーが小さくかつ複数のキーが接近しているため誤操作をし易いが、この発明方法によればそのようなおそれもない。

実施例 1

図 4にこの発明の実施例 1が適用されるシステム構成例を示す。なおこの出願中のすべての図において、同一参照番号は同一機能のものを表わし、重複説明を省略する。

映像取得装置 1はカメラ付携帯端末 3から携帯用伝送路 5を通じて受信される周辺映像信号を受信する周辺映像受信手段 1 1と、受信された周辺映像信号から周辺映像信号の映像の変化を変化情報として検出する変化検出手段 1 2と、その検出した変化情報に基づき取得用信号を生成する取得用信号生成手段 1 3と、その生成した取得用信号を遠隔用伝送路 4を通じて遠隔撮影装置 2へ送信する送信手段 1 4と、遠隔撮影装置 2から遠隔用伝送路 4を介して送信された撮影映像信号を受信して、携帯用伝送路 5を介してカメラ付携帯端末 3へ送信する映像中継手段 1 5とを備える。

遠隔撮影装置 2はパノラマ被写体を撮影する遠隔撮影手段としての全方位カメラ 2 1と、遠隔用伝送路 4を介して映像取得装置 1から送信された取得用信号を受信する信号受信手段 2 3と、その受信した取得用信号に基づき、全方位カメラ 2 1から部分被写体の撮影映像信号を取り出す映像取り出し手段 2 4と、その取り出された撮影映像信号を遠隔用伝送路 4を介して映像取得装置 1へ送信する映像送信手段 2 2とを備える。

カメラ付携帯端末 3は遠隔撮影装置 2から携帯用伝送路 5を介して送信された撮影映像信号を受信する映像受信手段 3 1 と、その受信した撮影映像信号を再生表示する映像表示手段 3 2と、周辺被写体を撮影する携帯撮影手段としてのディジタルビデオカメラ 3 3と、そのカメラ 3 3で撮影した周辺映像信号を映像取得装置 1へ携帯用伝送路 5を介して送信する送信手段 3 4とを備える。

遠隔撮影装置 2の映像取り出し手段 2 4では受信した取得用信号により決まる 1画面分の撮影映像信号を全方位カメラ 2 1から取り出す。例えば取得用信号により図 2に示すイメージセンサデバイス中における画素位置（χ ^ γ！) を中心として各画素 ( X + a p i , y + a p j ) ( i = 0 , ± 1 , · · · , 土 I、 j = 0 , ± 1 , ·'· , ± J、 2 Iは 1画面相当の x方向の画素数、 2 Jは 1画面相当の y方向の画素数 0の信号を順次取り出し、領域 7 1の撮影映像信号として出力する。つまりこの例では取得したい部分被写体の中心位置と、ズーム量が取得用信号により指定して取出される。この例では取得用信号は基準画素位置信号 x、 yと拡大 '縮小信号 a pとからなる。この撮影映像信号が映像取得装置を介して力メラ付携帯端末 3へ伝送され、力メラ付携帯端末 3の映像表示手段 32には、遠隔撮影装置 2が撮影しているパノラマ被写体中の部分被写体、この例では図 1中の部分被写体 62の映像が表示される。

映像取得装置 1の変化検出手段 12ではカメラ付携帯端末 3から受信された前回の周辺映像信号の映像（以下、前回映像と記述する）に対する今回の周辺映像信号の映像（以下、今回映像と記述する）の変化情報を受信周辺映像信号から検出する。例えば図 5に示すように周辺映像信号が受信されると、受信バッファメモリ 1 2 aに格納され、その格納の前に前回受信し受信バッファメモリ 1 2 aに格納されていた周辺映像信号は前回フレームメモリ 1 2 bに格納される。両メモリ 12 a及び 12 b内に格納されている両周辺映像信号が変化検出部 1 2 cに入力される。変化検出部 1 2 cでは前回映像から今回映像への移動方向又はこれとその移動の程度 (大きさ) 又は z及び前回映像に対する今回映像のオブジェクトの大きさの変化、つまりズーム量を検出する。この変化情報の検出技術は、例えば撮影中のカメラの動き、いわゆるカメラワークを解析する技術を用いることができる。カメラワークの解析技術は例えば谷口行信他著 Γ Panorama Excerpts：パノラマ画像の自動生成 · レイアウトによる映像一覧」電子情報通信学会論文誌 D _II、 Vol. J 82 -D-II N o. 3, PP. 392, 1 999年 3月や、書籍、小暮賢司監修、山森和彦著「未来ねつと技術シリーズメディア処理技術 4」 2 0 電気通信協会平成 1 1年 1 1月 1 0日初版発行などに示されている。

例えばカメラの左右の回転 (パン）操作-, 力メラの上下の回転 (チルト）操作、カメラのレンズによる画角を変化させる (ズーム) 操作のカメラワークを解析する手法の一例を述べる。前回映像を f (x, y ) -. 今回映 ί象を f ' (x'， y') ( x ' , y = a x + d _x, a y + d _y )

とし、つまり a, d_x及ぴ d_yをそれぞれズーム、パン及ぴチルトを説明するパラメータとする。映像 f (x， y) と f ' (x'， y' ) との間の 2乗誤差

(1ZN) ∑_x. _y {f (x， y) - f ' (χ', y')} ²

を最小化するパラメータ a， d_x， d_yを求める。これら a， d_x, d_yを変化情報とする。つまり変化検出部 1 2 cでは例えば a, d_x, d_yを演算して変化情報とする、つまり aは拡大，縮小情報であり、 d_x, d_yは方向情報である。カメラ付携帯端末 3の左右の回転のみを検出する場合は a = 1， d_y= 0とし、上下の回転のみを検出する場合は a = 1， d_x= 0とし、ズーム変化のみを検出する場合は d_x= d_y= 0、回転のみを検出する場合は a = 1 とすればよい。

取得用信号生成手段 1 3は変化検出手段 1 2で検出された変化情報と前回取得用信号とからパノラマ被写体の部分被写体の撮影映像信号を取得するために用いる取得用信号を生成する。取得用信号生成手段 1 3は例えば図 5中に示すように、前回信号メモリ 1 3 aに前回生成され、現在用いられている取得用信号、例えば X， y, a pが格納されており、これら信号 x， y, a _Pと、変化情報、例えば d _x, d _y, &₃₄が加算部 1 3 13で + (1_3£→ 、加算部 1 3 で + (1 → 、乗算部 1 3 dで a _Px a→a pがそれぞれ演算されて補足され、新たな取得用信号が生成され、この新たな取得用信号 X, Ύ , a _Pで前回信号メモリ 1 3 a内の各取得用信号が更新されると共に信号送信手段 1 4へ出力される。なお映像取得装置 1 による映像取得処理が行われていない状態では、前回信号メモリ 1 3 aには、予め決められた取得用信号、例えば図 2中のセンサデパイス 7の中心 X, y、最大ズーム量の半分の値を a pが初期値として、格納されてあり、映像取得装置 1が取得処理を開始すると、前回信号メモリ 1 3 a中の初期値信号 x， y, a _Pが取得用信号として遠隔撮影装置 2へ送信される。

また変化情報が小さい、例えば d_x = 1などの場合は、力メラ付携帯端末 3に表示されるパノラマ被写体の部分被写体の映像はほとんど変化しないため、切捨部 1 3 e. 1 3 f , 1 3 gを設け、 d_x, d_y, aがそれぞれに対し予め決められた所定値以下の場合は d _x, d_yをそれぞれ 0、 aを 1 として加算部 1 3 b. 1 3 c 乗算部 1 3 dへ供給されるようにするとよい。切捨部 1 3 e, 1 3 f , 1 3 gにそれぞれ設定する前記所定値は、各切捨部またこの遠隔撮影表示システムを利用する形態により異なり、遠方の風景の部分被写体を遠隔撮影表示する場合は比較的大きな値とし、比較的小さい空間の防犯用に利用する場合は比較的小さな値とするなどあるが、例えば d _xについてみれば最小でも 5以下は 0とすることが考えられる。

遠隔撮影装置 1 1へ送信する取得用信号の更新は一般に各フレームの受信ごとに行うと処理が多くなり好ましくなく、また一般に各フレームごとに更新を行つても、受信部分被写体映像の変化は利用者にとってほとんど感じられない。従つて遠隔撮影装置 1 1への取得用信号の送信間隔は適当な間隔で行えばよい。この間隔は例えば交通量の監視のように被写体の状況の変化が比較的速い場合は例えば 1 Z 1 0秒ごとに、被写体が風景の場合は例えば 1 Z 3秒ごとに、場合によつたら数秒ごとになどと、システムの利用形態に応じて適当に決められるとよい。このために例えば変化検出手段 1 2中に更新指示部 1 2 dを設け、設定された更新時間間隔で更新指示部 1 2 dの指示により受信バッファメモリ 1 2 aに 1 フレーム分の周辺映像信号を取り込み、変化検出部 1 2 cでの変化情報の検出を更新時間間隔ごとに行うようにする。あるいは受信バッファメモリ 1 2 aの内容を周辺映像信号の 1フレーム分ごとに更新し、変化情報の検出ごとに受信バッファメモリ 1 2 aの内容を前回フレームメモリ 1 2 bに転送してもよい。なお変化検出部 1 2 cで検出した変化情報がすべてゼロ、この例では d _x = d _y = 0、 a = lであれば、取得用信号を生成して遠隔撮影装置へ送信する必要はなく、その場合は取得用信号の生成も行う必要はない。また取得用信号の生成、送信は、変化情報中の変化のあった情報のみについて行ってもよい。

遠隔撮影装置 2において、信号受信手段 2 3で受信された取得用信号は図 4中に示すように映像取り出し手段 2 4に入力され、この取得用信号により記憶部 2 4 aに格納されている前回受信した取得用信号が更新される。映像取り出し手段 2 4はその記憶部 2 4 aの更新された取得用信号に基づき全方位カメラ 2 1が撮影しているパノラマ被写体中の部分被写体の撮影映像信号が取り出される。例えば全方位カメラ 2 1のイメージセンサデバイス 7から、図 2に示したように更新前の取得用信号（基準画素位置信号）により画素（X , y ) を中心（基準）とする一画面分の領域 7 1の撮影映像信号が常時取り出されている状態から更新された取得用信号（基準画素位置信号）により画素（χ ' , y ' ) を中心とする一画面分の領域 7 2の撮影映像信号が常時取り出される状態になる。この図 2に示す例では、カメラ付携帯端末 3の撮影方向が上下方向及びズーム量は変化せず右方向にのみ回転した場合、つまり変化情報 d _y = 0、 a = lで d _xが検出され、取得用信号が X , y , a _Pから X— x + d _x、 y ' , a ' _Ρ— a _Ρとなった場合である。ここで更新された情報 x， y， a pをその更新前と区別するため対応情報に対しダッシュに」を付けて示した。図 4では d x - D iである。

この全方位力メラ 2から取り出された撮像映像信号は映像送信手段 2 2により映像取得装置 1を中継してカメラ付携帯端末 3へ送信される。従ってカメラ付携帯端末 3の映像表示手段 3 2に表示される映像も変化する。つまりパノラマ被写体中の撮影部分被写体が、カメラ付携帯端末 3のカメラ操作（方向及びノ又はズーム操作）に応じて変化し、その変化した部分被写体の撮影映像信号が映像表示手段 2 2に再生表示される。

ズーム量 a pについて述べると、最大ズーム量 a _{P M}の時に、映像取り出し手段 2 4はイメージセンサデバイス 7 (図 2 ) の各画素の信号を X方向に 2 I個、 y 方向に 2 J個取り出す。ズーム量 a pの場合は a _{P M}Z a _p個おきの画素の信号を X 方向に 2 1個、 y方向に 2 J個取り出す。このようにしてズーム董 a _Pが大きければイメージセンサデバイス 7における狭い領域から部分被写体の撮像映像信号を取り出し、 a pが小さければ広い領域から部分被写体、撮像映像信号を取り出すことになり、カメラ付携帯端末 3の映像表示手段 3 2に表示される映像もズーム量 a pの変化に応じて拡大 ·縮小が行われることになる。

映像取得装置 1の映像中継手段 1 5では遠隔撮影装置 2から受信した撮影映像信号の画面サイズを映像表示手段 3 2のそれに合わせる変換、同様に各画素ごとの振幅（輝度）解像度の変換や圧縮符号化などカメラ付携帯端末 3の定格や携帯用伝送路 5の規格に応じた変化が変換部 1 5 a (図 4参照）で行ってカメラ付携 ¾端末 3へ 1目する。

図 4に示したシステムに処理の流れを図 6を参照して簡単に説明する。カメラ付携帯端末 3から起動アクセスを映像取得装置 1へ送信する（F 1 )。映像取得装置 1 は起動アクセス又は取得用信号（初期値）を遠隔撮影装置 2へ送信する（F 2 )。遠隔撮影装置 2は予め決められた又は取得用信号に応じた部分被写体撮影映像信号（以下「撮影映像信号」を「撮影信号」と記述することもある）を取り出し（F 3 )、その撮影信号を映像取得装置 1へリアルタイムで送信する（F 4 )。映像取得装置 1は受信した撮影信号をカメラ付携帯端末 3へ中継伝送する（ F 5 )。力メラ付携帯端末 3は受信した撮影信号を再生して部分被写体映像を表示する ( F 6 カメラ付携帯端末 3により周辺被写体の撮影操作を行う（F 7 )。その撮影した周辺映像信号をリアルタイムで映像取得装置 1へ送信する（F 8 )。映像取得装置 1は受信した周辺映像信号の映像、変化からカメラ付携帯端末 3 のカメラ操作の変化を検出し（F 9 )、変化があれば、その取得用信号を生成し（F 1 0 )、その取得用信号を遠隔撮影装置 2へ送信する（F 1 1 )。

遠隔撮影装置 2は受信した取得用信号に基づき、取り出す部分被写体撮影信号を変更する（F 1 2 )。その後は全体の処理は処理 F 3の取得用信号に応じた撮影信号を処理以後を繰り返し、カメラ付携帯端末 3が終了指令を映像取得装置 1へ送信すると（F 1 3 )、映像取得装置 1はこれを遠隔撮影装置 2へ中継送信し（F 1 4 )、遠隔撮影装置 2は部分被写体撮影信号の送信を終了する（F 1 5 )。映像取得装置 1の処理手順の例を図 7を参照して説明する。

ステップ S 1 ：カメラ付携帯端末 3から起動アクセスの受信を待ち、ステップ S 2 ：起動アクセスを受信すると、起動アクセス又は前回信号メモリ 1 3 a内の取得用信号（初期値）を遠隔撮影装置 2へ送信する。

ステップ S 3 ：カメラ操作の指令を受信したかを判定する。

ステップ S 4 ：操作指令を受信していなければ遠隔撮影装置 2から部分被写体撮像信号を受信し、

ステップ S 5 ：その受信した撮像信号をカメラ付携帯端末 3へ中継送信する。ステップ S 6 ：ステップ S 3で操作指令を受信していれば、その指令を保持し又はフラグを立て、カメラ付携帯端末 3から周辺映像信号を受信する。

ステップ S 7：変化検出タイミングかを調べ、検出タイミングになっていれば、ステップ S 8 ：変化検出手段 1 2で変化検出処理を行い変化情報を求める。ステップ S 9 ：求めた変化情報と前回生成された取得用信号とを用いて新たに取得用信号を生成し、これで前回生成された取得用信号を更新する。

ステップ S 1 0 ：新たに生成した取得用信号を遠隔撮影装置 2へ送信しステップ S 4に移る。

ステップ S 1 1 ：ステップ S 5の後、操作停止指令を受信したかを判断し、受信していなければステップ S 7に戻る。

ステップ S 1 2 ：ステップ S 1 1で停止指令を受信していれば前記保持した操作指令を消去し、又は前記フラグを消し、操作再開の指令を受信したかを判断する。

ステップ S 1 3 ：操作再開指令を受信していなければ、終了指示を受信したかを判断し、受信していなければステップ S 4に移る。

ステップ S 7で変化検出タイミングになっていなければステップ S 4に移り、またステップ S 1 2で操作再開指令を受信していれば、そのことを保持し、例えばフラグを立てステップ S 6に移る。

このように処理がなされるから、利用者がカメラ付携帯端末 3から起動ァクセスを映像取得装置 1へ送ると、部分被写体撮像信号がカメラ付携帯端末 3に再生表示され、利用者がこの部分被写体映像を見て、他の部分被写体映像を見たい、あるいは拡大又は縮小したい場合、カメラ操作指令をカメラ付携帯端末 3から映像取得装置 1へ送信し、所望のカメラ操作を行い、所望の部分被写体映像が得られたら操作停止指令を送信すれば、その部分被写体映像を、例えばカメラ付携帯端末 3と持ち歩きながら見続けることができる。必要に応じて再び見たい部分被写体を変更したい場合を、操作再開指令を出せばよい。

ステップ S 1 3で終了指示を受信したら、映像取得装置 1は必要に応じて終了指令を遠隔撮影装置 1へ送信し（S 1 4 )、遠隔撮影装置 1は終了指令を受信すると、部分被写体撮像信号の送信を終了するようにしてもよい、あるいは最初に部分被写体撮像信号を送信してから所定の時間経過すると、その撮像信号の送信を終了するようにするなどの手法によって終了としてもよい。周辺の映像信号の受信を、図 7中に破線で示すように起動アクセスの受信後、操作指令の受信前に行つてもよい。ステップ S 7で変化検出タイミングの検出を行うことにより、例えば設定した所定の時間間隔で変化検出処理を行うようにしたが、ステップ S 7を省略して変化検出処理を常時行ってもよい。また変化検出処理の後に図 7中に破線で示すように受信した周辺映像が前回の受信周辺映像に対し変化があるかを判断し、変化がなければステップ S 4に移り、変化があればステップ S 9に移るようにしてもよい（S 1 5 )。

実施例 2

実施例 1では遠隔撮影装置 1の撮影手段として、全方位カメラを用い、映像取得装置 1は遠隔撮影装置に取得用信号を送って部分被写体撮像信号を取り出させて部分被写体撮像信号を取得したが、実施例 2では遠隔撮影装置 2の撮影手段として全方位カメラを用い、遠隔撮影装置 2からその全ての撮影映像信号を映像取得装置 1に送信させ、映像取得装置 1では受信した撮影映像信号中から部分被写体撮像信号を取得する。

図 8にそのシステム構成例を示す。図 4と異なる部分についてのみ説明する。遠隔撮影装置 2では映像取り出し手段 2 4が省略され、全方位カメラ 2 1の全ての撮影映像信号を映像送信手段 2 2から映像取得装置 1 に送信する。信号受信手段 2 3は省略してもよいが、例えば映像取得装置 1からの起動アクセスを受信すると、全方位カメラ 2 1の撮影を開始し、あるいは撮影映像信号の映像取得装置 1への送信を開始し終了指令を受信すると、撮影映像信号の映像取得装置 1への送信を終了するようにしてもよい。

映像取得装置 1には遠隔映像受信手段 1 6、映像取得手段 1 7及び映像送信手段 1 8が設けられ、取得用信号の遠隔撮影装置 2への送信は行わない。遠隔撮影装置 2から受信した撮影映像信号を遠隔映像受信手段 1 6で受信し、その受信した撮影映像信号から、取得用信号生成手段 1 3よりの取得用信号により、部分被写体撮像信号が映像取得手段 1 7により取り出される。例えば受信撮影映像信号は映像取得手段 1 7中のバッファメモリ 1 7 aに格納され、この格納は各画素信号が、例えば図 2に示したイメージセンサデバイス 7における画素配列と同様な配列になるように行われる。実施例 1における遠隔撮影装置 2内での映像取り出し手段 2 4による部分被写体撮像信号の取り出しと同様の手法により、映像取得手段 1 7において、取得用信号生成手段 1 3内の前回メモリ 1 3 a (図 5参照）に格納されている取得用信号、この例では基準画素位置信号 x， , 及び拡大' 縮小信号 a _Pに基づき、ノッファメモリ 1 7 aから部分被写体撮像信号が取り出される。この取り出された部分被写体撮像信号を映像送信手段 1 8によりカメラ付携帯端末 3へ送信する。その際、実施例 1 と同様に画面サイズ変換、圧縮処理などの変換を変換部 1 8 aで行って送信してもよい。必要に応じて信号送信手段 1 4により起動アクセス、終了指令などを遠隔撮影装置 2へ送信するようにしてもよい。その他は実施例 1 と同様である。この実施例 2に用いられる映像取得装置 1の処理手順の例を図 9に示す。図 7 に示した手順と同様に、ステップ S I , S 2 , S 3が実行される。ステップ S 3 でカメラ操作の指令が受信されていなければ、ステップ S 4で遠隔撮影装置 2から撮影映像信号を受信し、次にステップ 1 6で前回信号メモリ 1 3 aに格納されている変化情報に基づいて受信した撮影映像信号が部分被写体撮像信号を取得処理し、ステップ S 1 7でその取得した部分被写体撮像信号をカメラ付携帯端末 3 へ送信する。

その取得映像送信後はステップ S 1 1に移り、実施例 1と同様にカメラ操作の停止指令を受信したかを判断し、図 7中のステップ S 1 2 , S 1 3を順次実行し、終了指示を受信していなければ、ステップ S 4に移る。その他は実施例 1 と同様であり、かつ同様に作用効果が得られる。なお、システムとしての処理の流れは図 6に示したものにおいて遠隔撮影装置 2は F 3で全ての撮影映像信号を映像取得装置 1へ送信し、 F 1 2は省略され、映像取得装置 1では図 9に示した処理を行うことになり、その他は実施例 1 と同様である。

実施例 3

実施例 3は遠隔撮影装置 2の撮影手段として、複数のディジタルビデオカメラを用い、かつ映像取得装置 1は遠隔撮影装置 2にパノラマ被写体の部分被写体撮像信号を取り出して取得するものである。

実施例 3に用いる遠隔撮影装置 2とパノラマ被写体 6との関係例を図 1 0に示す。この例では遠隔撮影装置 2として 8個のディジタルビデオカメラをそれぞれ備えるカメラ装置 Z i S sがその撮影方向が等角度間隔となるように、 3 6 0度に渡って配置される。また各カメラ装置 2 i S sの各視野角 Θは撮影方向角度間隔この例では 4 5度よりわずか大きく、隣接カメラ装置の視野の一部がわずか重なり-, パノラマ被写体 6の連続した各部分被写体を撮影することができるようにされている。パノラマ被写体 6の遠隔撮影装置 2からの等距離は円筒面となるが、部分被写体が解り易いようにパノラマ被写体 6の下の径を上より小さくして例えばカメラ装置 2 iにより部分被写体 6 1を撮像し、これに対し、撮影方向が右へ 4 5度回転した方向の部分被写体 6 2をカメラ装置 2 ₂で撮影することができる。この遠隔撮影装置 2によればこのようにしてパノラマ被写体 6をカメラ装置 2 _nの個数で等分割した部分被写体のいずれでも撮影することができる。なおカメラ装置の数は 8個に限らない。その撮影方向の角度間隔は等間隔でなくてもよく、つまりパノラマ被写体 6の一部に見る必要がない部分が含まれ、そのような部分は撮影しないように各カメラ装置の撮影方向が向けられる。

実施例 3のシステム構成例を図 1 1に示す。図 4に示した構成と異なる部分についてのみ説明する。遠隔撮影装置 2としては複数のカメラ装置 2 i〜2_Nが例えば図 1 0に示したように配置される。各カメラ装置 2 i Zwは同様の構成であり、その構成をカメラ装置 2 iを代表して説明する。図 4と同様に映像取り出し手段 24が設けられるが、その構成及び処理（動作）が図 4中の映像取り出し手段 2 4と異なる点がある。つまり映像取得装置 1から送信されて受信される取得用信号はカメラ識別情報 I D pと必要に応じてズームパラメータ a p又は/及び位置パラメータ yである。これに伴って、映像取り出し手段 24には a p， yを格納する記憶部 24 aと、そのカメラ装置 2 のカメラ識別情報 I D 1が記憶された I D記憶部 24 bが設けられる。 a_P, yのいずれかが用いられない場合は、記憶部 24 は省略される。

信号受信手段 23により受信した取得用信号中のカメラ識別情報 I Dpが I D 記憶部 24 bに格納されているカメラ識別情報、この例では I D 1と一致すると、カメラ装置 2 のカメラ 2 1が撮影を開始し、映像取り出し処理を行うか、カメラ 2 1を常時撮影状態にしておき、そのカメラ 2 1から映像取り出し処理を行う。取得用信号中の a _P， yにより記憶部 24 a内の a _P， yをそれぞれ更新する。映像取り出し処理は実施例 1の場合とほぼ同様に行うことができるが、 a p, yを用いない場合はカメラ 2 1で撮影した映像信号を部分被写体撮像信号としてカメラ 2 1から取り出し、映像送信手段 22へ入力する。カメラ 2 1のイメージセンサデバイス 7は例えば図 1 2に示すように、方形状をしており、その横幅は取り出す映像画面の横方向（X方向）における画素数 2 Iに a _Pの最大値 a_PMを a Pの最小値 a _sで割った数 _PM/a_PS) を乗算した画素数 2 (a_PMノ a_PS) Iであり、縦幅は、取り出す映像画面の縦方向（y方向）における画素数 2 Jに（a _PH/a_PS) を乗算し、更に最大チルト（仰 '俯角）の画素数 Δ γ_Μを乗算した画素数 2 (a_PMノ a _PS) · Δ y_M · Jである。逆に云えばデバイス 7の横幅の画素数により a pの最小値 a _PSが決まり、デバイス 7の縦幅の画素数により前記最小値 a p _sにより最大チルト（仰 ·俯角） Ay_Mが決まる。

例えば記憶部 24 aに記憶されているパラメータが a p， yであれば、図 1 2 中のデバイス 7の X方向における 2等分線（中心線）上の位置 yを中心と横幅が 2 (a_PM/a p) I、縦幅が 2 (a_PM/a _P) Jの領域 7 1における各画素（（a_PM /a p) i , y + (a_PH/a_P) j ) ( i = 0，土 1 , ···, 土 I , j = 0， ± 1， ···, 士 J) の信号が部分被写体撮像信号として取り出され、パラメータが a_P， y' に更新されると、中心線上の y' を中心に横幅 2 ( a _n/ a _Ρ') I、縦幅 2 ( a _PH ム ρ') Jの領域 72'における各画素（（a_PtlZa _Ρ，） i , y ' + (a,Za _P，) j ) の信号が部分被写体撮像信号として取り出される。

以上のようにして映像取得装置 1から送信された取得用信号に応じて遠隔撮影装置 2ではカメラ装置 2 i〜 2 _Nのいずれかから部分被写体撮像信号が取り出され、これが映像伝送手段 2 2により映像取得装置 1へ送信される。各遠隔撮影装置 2と映像取得装置 1を接続する遠隔用伝送路 4は各カメラ装置 2 i〜 2 _Nと映像取得装置 1とを図 1 1に示したように個別の回線で接続してもよいが、図 1 3 に示すように、遠隔撮影装置 2と映像取得装置 1とを 1つの双方向伝送路 4で接続してもよい。つまり映像取得装置 1よりの取得用信号を信号受信手段 23で受信し、その受信した取得用信号を分配手段 2 6によりカメラ装置 Z ZNの各映像取り出し手段 24へ供給し、カメラ装置 2 i〜 2 _Nの各カメラ 21からの部分被写体撮像信号（通常はその 1つのみが出力されている）を合成手段 27で合成し、その合成した部分被写体撮像信号を映像送信手段 2 2により映像取得装置 1へ送信する。

図 1 1の説明に戻る。映像取得装置 1には各カメラ装置 2 i〜 2 _Nの撮影方向と対応した方向情報がそのカメラ装置の識別情報 I D i と対応してカメラ方向記憶手段 1 9に格納されている。例えば各隣接カメラ装置間の撮影方向がなす角度が記憶される。図 14中にその例を示す。この図 14ではカメラ装置 2_Nの数 Nが 8の場合であり、カメラ装置 2 i〜2_Nの各カメラ識別情報をそれぞれ I D 1〜 1 D 8とする。カメラ装置 2ェと 2₂との撮影方向の角度間隔 Δ X 1 (取得映像の画面上の画素数に変換した値であり以下も同様）が I D 1 · I D 2に対し記憶され、カメラ装置 2₂と 2₃との撮影方向の角度間隔 Δ X 2が I D 2 · I D 3に対し記憶され、以下同様に隣接撮影方向の角度間隔が記憶される。

取得用信号生成手段 14は図 4中のそれとは構成，処理（動作）が異なる部分がある。図 1 4中にその機能構成例を示す。この例は変化検出手段 1 2は例えば図 5中に示したような構成手法で変化情報として方向情報 d_x， d_y、拡大 '縮小情報 aが検出された場合を例としている。前回信号メモリ 1 3 aに前回のカメラ識別情報 I Dpと、 y方向位置 yと、ズーム量 a _Pが格納される。この初期値としては例えば識別情報 I Dpとして予め決めたカメラ識別情報 I D 1， y = 0, a pをその最大値と最小値の中間値とする。

d_xはカメラ決定部 1 3 bに入力される。カメラ決定部 1 3 bでの処理を図 1 5を参照して説明する。 d_xの符号が正であれば（S l)、前回カメラ識別情報 I Dpのカメラ撮影方向とカメラ識別情報 I Dp+ 1のカメラ撮影方向との間の角度 Δ x ₊₁を、 I D p · I D p + 1をァドレスとしてカメラ方向記憶手段 1 9から読み出す (S 2)。 d_xが Δ x ₊₁以上かを判定し（S 3)、 Δ x ₊₁以上であれば I D p + 1を出力し (S 4)、 Δχ _{+ 1}以上でなければ、 I D ρをそのまま出力するステップ S 1で d_xの符号が正でなければ、 I Dp— 1と I Dpとのカメラ撮影方向のなす角度 Δ x-iを、 I Dp— 1 · I Dpをアドレスとして記憶手段 1 9 から読み出し (S 6)、 d_xの絶対値が Δ x_i以上かを判定し (S 7)、以上であれば I Dp— 1出力し ( S 8 ) , Δ X— i以上でなければ I D ρをそのまま出力する（S 9)o

隣接カメラ装置の撮影方向角度間隔が狭い場合や力メラ付携帯端末 3の撮影方向を急に比較的大きく変化させる場合は図 1 5中に破線で示すようにステップ S 4および S 8を省略し、ステップ S 3で d_xが Δ x ₊₁以上であれば、更に隣りのカメラ撮影方向角度間隔、つまり I Dp+ 1と I Dp + 2とのカメラ撮影方向のなす角度間隔を△ x _{+ 2}として記憶手段 1 9から読み出し（S 1 0)、 d_xが Δχ ₊₁+ Δ χ _{+ 2}以上かを判定し（S 1 1)、以上であれば I Dp + 2を出力し (S 1 2)、 Δ χ ₊₁ + Δ x _{+ 2}以上でなければ I D p + 1を出力する（S 1 3)。またステップ S 7で I d_x I が Δ x 以上であれば、更に隣りの撮影方向角度間隔、つまり I Dp— 2 · I Dp— 1をアドレスとして角度間隔 Δ X-₂を記憶手段 1 9から読み出し（S 14)、 | d_x l が Δ χ— ! + Δ χ ₂以上であるかを判定し (S 1 5)、以上であれば I D ρ— 2を出力し (S 1 6)、以上でなければ I D ρ - 1を出力する（S 1 7)。以下同様にして更に離れているカメラ撮影方向についても判定するようにすることもできる。

更に図 1 0に示した例のように隣接撮影方向の角度間隔が全て等しい場合はその角度、この例では 45度と対応した画素数 Δ Xだけを図 14中に破線で示すようにカメラ方向記憶手段 1 9間に記憶し、図 1 5中のステップ S 2, S 6を省略し、ステップ S 3で Δ X≤ d _χかの判定を行い、ステップ S 7で Δχ≤ I d_x I の判定を行えばよい。大きな動きに対しては、図 1 5中の破線の処理において、ステツプ S 4， S 8， S 1 0及び S 14を省略し、ステップ S 1 1で 2 A x≤d_x かの判定を行い、ステップ S 1 5で 2 Δ x≤ I d_x I の判定を行えばよい。この場合も同様にして更に離れたカメラ撮影方向についても判定するようにすることもできる。 - 図 14中取得用信号生成手段 13についての説明に戻る。入力された d_y及び aについては図 1 3で説明したと同様に d_yは加算部 1 3 cで前回の yと加算して出力し、 aは乗算部 1 3 dで前回の a_Pと乗算して出力する。各部 1 3 b， 1 3 c及び 1 3 dの出力をそれぞれ信号送信手段 14に出力し、かつ前回信号メモリ 13 aに対する更新処理を同様に行う。また各入力に対し、切捨部 13 e, 1 3 f 及び 13 gを設けることもできる。この場合切捨部 1 3 eでは d_xが設定値以下ではカメラ決定部 13 bでの処理を行うことなく現在の I Dp (メモリ 1 3 a内の I D p) を出力する。

力メラ方向記憶手段 1 9としては例えば図 1 6に示すように、予め決めた 1つのカメラ装置の撮影方向に対する他のカメラ装置の撮影方向の角度を記憶しておいてもよい。図 1 6の例ではカメラ識別情報 I D 4のカメラ装置の撮影方向を基準にして、この基準方向に対する他の 7つのカメラ装置の各撮影方向の角度を、取得映像の一画面における画素数として表わしたものを記憶した場合である。この場合は、図 1 5に示した処理において、例えばステップ S 2で I D p及び I D P + 1の各角度を読み出し、 d _xがその差以上かの判定をする。

利用形態によっては、利用者が最初に見たい部分被写体の方向が予め決っている場合は、各力メラ識別情報と、そのカメラ装置の撮影方向が北方向、北東方向、東方向、 …などと東西南北方向と対応付けておく必要がある。これは遠隔撮影装置 2を設置する際にいずれのカメラ識別情報のカメラ装置の撮影方向をどの方向にするかを決めておき、そのようになるように設置して、カメラ識別情報とその東西南北方向との対応づけを行ってもよい。しかし遠隔撮影装置 1をそのように設置するのには手間がかかる場合がある。そこで、例えば各カメラ装置 2 i〜2 _N に図 1 1中に示すように、カメラ情報測定手段 2 5をそれぞれ設け、そのカメラ情報測定手段 2 5の例えば磁気コンパスなどの方位計 2 5 aによりその撮影方向の真北に対する角度を求め、これよりその東西南北の方向の方位情報を得る。この例では、重力加速度計などによる傾斜計 2 5 bも設け、その撮影方向の水平面に対する角度、つまりそのカメラ 2 1のィメージセンサデバイス 7の y軸が水平面となす角度（仰，俯角）を取得映像の画面上の画素数で表わした値 A yを検出する。各カメラ状態測定手段 2 5により測定した東西南北の方向と傾斜角△ y n をそのカメラ装置 2 _n ( n = 1 , ··· , N) のカメラ識別情報 I D nと共に図 1 1 及び図 1 3中に括弧書で示すように信号送受信手段 2 3により映像取得装置 1へ送信する。映像取得装置 1は信号送受信手段 1 5により各カメラ装置 2 _nからのその識別情報 I D nと東西南北の方向と、傾斜角 A y nとを受信して、各識別情報 I D nと対応して例えば図 1 6に示すように、力メラ方向記憶手段 1 9に格納する。

利用者が映像取得装置 1へ起動ァクセスをした場合は映像取得装置 1では予め決められた東西南北の方向、例えば北方向が撮影方向のカメラ識別情報図 1 6 に示す例では I D 3と-. その仰 ·俯角 A y 3を読み出し-. これらと必要に応じて拡大 ·縮小パラメータ（ズーム量）の初期値 a _Pを遠隔撮影装置 2へ送信する。初期値 a pはカメラ装置 2 〜 2 _N中の各映像取り出し手段 2 4の記憶部 2 4 aに予め格納しておいてもよい。仰 .俯角 A y nが図 1 2中の補正部分 hで加算部 1 3 cの出力から差し引かれて信号送信手段 1 4へ送信される。前回信号メモリ 1 3中の yに対する更新は補正部 1 3 hによる補正が行われない値により行う。例えば水平方向を基準に部分被写体映像を見たい場合に、カメラ撮影方向が水平面に対し、わずか上に向いている場合、カメラ 2 1のイメージセンサデバイス 7に結像している部分被写体像は、水平方向を見た部分被写体像よりも、撮影方向が上に向いている分、つまり Δ y nだけ上側にずれている。よって補正部 1 3 hにより Δ y nだけ差し引きされることにより水平方向を基準として部分被写体像が得られる。なお yの初期値は y = 0とされる。

以上述べたように、映像取得装置 1からの取得用信号に応じて、いずれかの力メラ装置 2 _nから部分被写体映像信号が映像取得装置 1 に送信され、これを取得することができ、これが実施例 1 と同様にカメラ付携帯端末 3へ中継され送信される。カメラ付携帯端末 3についての利用者の操作は実施例 1 と同様であり、従つて実施例 1 と同様にカメラ付携帯端末 3をカメラ操作することにより、パノラマ被写体を直接見て、カメラ操作している場合とよく対応した部分被写体映像を見ることができることは容易に理解されよう。この場合の映像取得装置 1の処理手順は図 7に示したものと同様である。この場合を起動アクセスを受けると、これを遠隔撮影装置 2へ送信し、遠隔撮影装置 2は起動アクセスを受信すると、予め決めた 1つのカメラ装置 2 _nから局部被写体撮像信号を映像取得装置 1へ送信するようにしてもよい。

実施例 4

遠隔撮影装置 2として複数のカメラ装置 2 〜 2 _Nを用いる場合も、実施例 2と同様に映像取得装置 1において、遠隔撮影装置 2から受信した撮影映像信号から部分被写体撮像信号を取得することもできる。この場合が実施例 4であり、実施例 3との違いを図 1 7を参照して説明する。

遠隔撮影装置 2において各カメラ装置 2 i〜2 _Nの映像取り出し手段 2 4は省略され、各カメラ 2 1 よりの撮像信号が撮像送信手段 2 2により映像取得装置 1 へ送信する。その際、各カメラ装置 2 i S wの I D記憶部 2 4 bに格納されているカメラ識別情報 I D nをそのカメラ 2 1の撮像信号に付けるなど、映像取得装置 1では、受信する撮像信号がいずれのカメラ装置 2 _nからのものであるかを区別できるようにする。なお映像取得装置 1の遠隔映像受信手段 1 6における入力端子が各カメラ装置 2 i〜 2 _Nに応じて予め決っていれば、カメラ識別情報 I D n を送信する必要もない。映像送信手段 2 2はカメラ装置 2 i〜 2 _Nごとに設けてもよいが共通に 1つ設けてもよい。また必要に応じてカメラ情報測定手段 2 5を設けてもよい。

映像取得装置 1においては映像中継手段 1 5が省略され、映像取得手段 1 7において、カメラ装置 2 i〜2 _Nの各撮像信号中から、取得用信号生成手段 1 3よりの取得用信号中のカメラ識別情報 I D pに応じたものを選択部 1 7 bにより選択する。つまり受信号中のカメラ識別情報 I D nが I D pと一致するものを選択する。この選択は映像取得手段 1 7で行ってもよい。また映像取得手段 1 7では、図 8中のそれと同様のバッファメモリ 1 7 aを設けるが、このバッファメモリ 1 7 aには例えば図 1 2に示したイメージセンサデバイスの画素配列と同様に、選択された撮像信号をその画素信号ごと格納し、図 1 1中の映像取り出し手段 2 4 及び図 1 2を参照して説明したと同様に、取得用信号中の a p及び Z又は yに応じて部分被写体撮像信号を取得する。

なお取得用信号が I D pのみの場合は、ノくッファメモリ 1 7 aを省略することもできる。撮像信号の選択は選択部 1 7 aの代りに映像受信手段 1 6内に選択部 1 6 aを用いて行ってもよく、あるいは、前述したように、受信端子が各カメラ装置 2 ; 2 ^^ごとに予め決っているものはその I D pと対応する受信端子を選択して受信撮像信号を選択してもよい。

映像取得装置 1はカメラ付携帯端末 3から起動アクセスを受付けると、予め決めたカメラ識別情報又は予め決めた東西南北の方向の部分被写体撮像信号を取得してカメラ付携帯端末 3へ送信する。この実施例 4のシステムにおける映像取得装置 1の処理手順は図 9に示した手順と同様である。よってこの実施例 4においても、実施例 1〜3と同様作用効果が得られることは容易に理解されよう。

実施例 5

実施例 5は遠隔撮影装置 2の撮影手段 2 1として雲台に搭載したビデオカメラを用いる場合である。図 1 8にそのシステム構成例を示す。図 4と異なる部分について説明する。

遠隔撮影装置 2の撮影手段 2 1 として例えば図 1 9に示すような、雲台 2 7上にビデオカメラ 2 8が搭載され、カメラ 2 8の撮影方向を遠隔地からの制御信号により変更することができ、またそのレンズにより画角、いわゆるズーム量を変更することができるものである。以下、この撮影手段 2 1を雲台カメラ 2 1 と記述する。映像取り出し手段 2 4においては、映像取得装置 1から取得用信号として、方位信号、仰■俯角度信号 ø、ズーム信号 Zが入力される。方位制御部 2 4 cにより方位信号 0に応じて方位角制御機構 2 4 dを制御してカメラ 2 1の撮影方向の方位角度が ^となるようにする。仰 ·俯角制御部 2 4 eにより仰 ·俯角信号 øに応じて仰 ·俯角制御機構 2 4 f を制御してカメラの撮影方向の仰 ·俯角が øになるようにする。ズーム制御部 2 4 gによりズーム信号 Zに応じてズーム制御機構 2 4 hを制御してカメラ 2 1のズーム量が Zになるようにする。これら制御部 2 4 c , 2 4 e , 2 4 g及び制御機構 2 4 d , 2 4 f , 2 4 hは市販の遠隔制御雲台カメラの雲台 2 7に設けられているものと同様のものを用いることができる。

このようにしてパノラマ被写体 6中から、取得用信号に応じた部分被写体撮像信号がカメラ 2 1から取り出され、映像取得装置 1へ送信される。この遠隔撮影装置 2にも、図 1 1中で説明したカメラ情報測定手段 2 5を設けてもよい。

映像取得装置 1では、取得用信号生成手段 1 3において、例えは図 5中に示した取得用信号生成手段 1 3を用いて、変化検出手段 1 2で検出した変化情報に基づき信号 X , y , a _Pを生成し、これら信号 X , y , a _Pを変換部 1 3 j により、方位信号 S及び仰 ·俯角信号 (^の方向信号と、ズーム信号 Zのズーム変更信号とに変換して遠隔撮影装置 2へ送信する。

映像取得装置 1から起動アクセスを遠隔撮影装置 2へ送ると、遠隔撮影装置 2 は予め決めて設定されている基準の撮影方向でかつ基準のズーム量で撮影した部分被写体撮像信号を映像取得装置 1へ送信する。遠隔撮影装置 2にカメラ情報測定手段 2 5を設け、映像取得装置 1が起動アクセスを受けた時に、予め決めた方向、例えば北方向かつ水平方向を撮影方向とした部分被写体撮像信号を得る場合は、初期取得用信号を初期信号生成部 1 3 _kで生成する。つまり遠隔撮影装置 2 のカメラ情報測定手段 2 5で測定した方位角 iと仰 ·俯角 ø iが記憶部 1 3 _m， 1 3。に格納され、これら記憶された i , i と、予め決められた基準方位角及び基準仰 ·俯角との、方向を含めた差分角度信号を基準計算部 1 3 p及び 1 3 qで計算して、これらを初期取得用信号として遠隔撮影装置 2へ送信する。つまり雲台カメラ 2 1の現在の撮影方向に対する差分を取得用信号として送信し、遠隔撮影装置 2では、受信した取得用信号に基づき、前記差分だけ雲台カメラ 2 1 の撮影方向を変化させるような制御を行う。ズーム量 Zについては初期取得用信号は差分がゼロである。このような制御の場合は、変化検出手段 1 2の検出変化情報に基づく取得用信号も雲台カメラ 2 1の現在の状態、つまり撮影方向及びズーム量に対する各変化量のみを遠隔撮影装置 2へ送信する。従って例えば図 1 8 中に示すように変化検出手段 1 2より検出した変化情報 d _x， d _y， aは取得用信号生成手段 1 3の変換部 1 3 jへ直接入力され、その各変換出力が取得用生成信号として遠隔撮影装置 2へ送信される。遠隔撮影装置 2では受信した取得用信号が表わす各変化量だけ、対応する方位制御機構 2 4 d、仰'俯角制御機構 2 4 f 、ズーム量制御機構 2 4 hをそれぞれ制御することになる。

このように、予め決めた東西南北の方向を基準とする場合に限らず、雲台カメラ 2 1を設置した初期状態を基準とし、変化検出手段 1 2で検出した変化情報と対応する変化分を示す取得用信号を生成して遠隔撮影装置 2へ送信し、遠隔撮影装置 2では受信した取得用信号が示す変化量だけ、現在の雲台カメラ 2 1の方向又は/及びズーム量に対し、変更するように制御するようにしてもよい。このように変化情報に基づく変化だけを表わす取得用信号を生成して遠隔撮影装置 2へ送信することは実施例 2及び 4についても適用することができる。この場合は例えば実施例 1では図 5中に示した取得用信号生成手段 1 3と同様のものを遠隔撮影装置 2に設ける。

実施例 6

実施例 6は遠隔撮影装置 2を複数の利用者が利用できるようにした場合である。例えば図 2 0に示すように映像取得装置 1は通信網 5。に接続され、複数のカメラ付携帯端末 3い 3 _{2 (} …， 3 _Mは、通信網 5。を直接接続され、又は他の通信網を介して通信網 5。に接続され、映像取得装置 1 と接続する携帯用伝送路 5 i 5 ₂, ···' 5 _Mを構成することができる。映像取得装置 1は遠隔撮影装置 2と遠隔用伝送路 4を通じて接続される。遠隔用伝送路 4は専用回線でもよく、通信網 5 。を介する回線でもよい。 3

26 遠隔撮影装置 2として実施例 2で説明したものと同様構成のものを使用する場合についてまず説明する。この場合の映像取得装置 1の機能構成例を図 2 1に示す。複数のカメラ付携帯端末 3と接続可能なように複数回でも S個の接続回線を備え、つまり複数の周辺映像受信手段 1 1 i〜 l l _sが設けられ、受信バッファメモリ 1 2 a i〜 1 2 a _sと、各回線番号 s ( s = 1 , 2， ···, S ) 対応の周辺映像信号を格納する S個の領域を備える前回フレームメモリ 1 2 b sと、各回線番号 sごとにカメラ操作状態か否かを示すフラグを格納するフラグメモリ 4 2と、各回線番号 sごとの更新指示部 1 2 d _sと、 1つ乃至複数の変化検出部 1 2 c (図では 1つのみを示している）と、 1つ乃至複数の取得用信号生成手段 1 3 (図では 1つのみを示している) と、各回線の周辺映像受信手段 1 l _sと対となっている映像送信手段 1 8 _sと、遠隔映像手段 1 6と、 1つ乃至複数の映像取得手段 1 7 (図では 1つのみを示している) と、制御手段 9 8とが設けられている。取得用信号生成手段 1 3中の前回信号メモリ 1 3 aには各回線番号 sごとに前回生成した（現に用いている）取得用信号を格納する領域が設けられている。制御手段 9 3はマイクロプロセッサ又は C P U (中央処理装置）と映像取得装置 1 として機能させるために必要なプログラムが格納されたメモリとを備え、そのプロダラムを実行することにより各メモリに対する読み出し、書き込みや各部を順次動作させる。図 2 1中に示した機能構成中には制御手段 9 3自体で行うものもある。あるカメラ付携帯端末 3が回線番号 sの周辺映像受信手段 1 1 _sと接続し、起動アクセスを行い、部分被写体撮像信号の受信を終了するまで、回線を接続した状態で利用する場合につき説明する。周辺映像受信手段 1 l _sに起動アクセスが受信されると前回信号メモリ 1 3 aの回線 sの領域から取得用信号を読み出しその取得用信号により、遠隔映像受信手段 1 7で受信されているパノラマ撮像信号から部分被写体撮像信号を映像取得手段 1 7で取り出し、これを回線番号 sの映像送信手段 sにより力メラ付携帯端末 3に送信する。前回信号メモリ 1 3 aは初期状態において、その全ての領域には予め決めた特定の部分被写体に対する取得用信号、この例では x ₀ , y 0 , a _P。が格納されている。カメラ付携帯端末 3では映像取得装置 1から映像信号が受信されるとその映像表示手段 3 2でその受信映像信号を再生表示させる。映像取得手段 1 7での部分被写体撮像信号の取得操作は実施例 2で説明したと同様の手法による。

回線 sの周辺映像受信手段 1 1 _sにカメラ操作指令を受信すると、フラグメモリ 92の回線番号 sに対しフラグを立て、つまりフラグを "0" から "1" に変更し（初期状態でフラグは "0" とされてある）、更新指示部 1 2 d _sのタイマをセットし、その後周辺映像受信手段 1 1 _sに受信される周辺映像信号を受信バッファメモリ 1 2 a _sに格納する。

更新指示部 12 d _sから更新指示が出力されるごとに、受信バッファメモリ 1 2 a _sと前回フレームメモリ 1 2 b中の領域 s内の両受信周辺映像信号とから、変化検出部 1 2 cで変化情報 d_x， d_y， aを検出し、その変化情報に基づき、取得用信号生成手段 13で前回信号メモリ 13 aの領域 s内の前回生成した取得用信号に対して処理を行って取得用信号を生成し、この信号で前回信号メモリ 1 3 aの領域 s内の取得用信号を更新すると共に、映像取得手段 1 7で部分被写体撮像信号を映像送信手段 1 8 _sでカメラ付携帯端末 3へ送信する。また受信バッファメモリ 1 2 a _s内の映像信号を前回フレームメモリ 12 bの領域 sに転送する。周辺映像受信手段 1 1 _sにカメラ操作停止指令を受信するとフラグメモリ 92 中の回線番号 sのフラグを "0" に戻し、更新指示部 1 2 d _sの動作を中止させる。前回信号メモリ 13 aの領域 sの取得用信号に基づき、部分被写体撮像信号を取得して映像送信手段 1 8 _sにより、リアルタイムで送信することが行われる。周辺映像受信手段 1 1 _sに操作再開指令を受信すると、フラグメモリ 92内の回線 sのフラグを "1" とし、更新指示部 1 2 d _sを動作状態とさせ、カメラ操作指令を受信した場合と同様の処理状態にする。周辺映像受信手段 1 l _sに終了指令が受信されると、受信パッファメモリ 1 2 a _s、前回フレームメモリ 1 2 bの領域前回信号メモリ 1 3 aの領域 sの各内容を消去し、必要に応じて更新指示部 1 2 d_sの動作を停止し、フラグメモリ 92内の回線番号 sに対するフラグを "0" にする。

高速処理が可能でカメラ付携帯端末 3_m (m= l , 2, ···, M) が映像取得装置 1に対し起動アクセスを送信し、映像取得を終了するまでに映像取得装置 1と力メラ付携帯端末 3の間で信号の送信、受信ごとに回線の接続を行うようにしてもよい。その場合はカメラ付携帯端末 3 _mは信号を送信するごとに端末識別情報 I d mを付加する。端末識別情報 I d mとしては例えばカメラ付携帯端末 3 _mの電話番号、アドレスなどと必要に応じてカメラ付携帯端末 3 _mの機器番号、利用者氏名などが用いられる。端末識別情報 I d mと回線数の処理番号 s ( s = 1 , 2， ···， S ) とを対応付ける処理番号メモリ 9 1を設ける。起動アクセスを受信すると、その端末識別情報 I d mと空き処理番号 s (現在処理に利用していない番号）を対応付けて処理番号メモリ 9 1に記憶する。その後映像取得装置 1は力メラ付携帯端末 3 _mから信号を受信するごとにその端末識別情報 I d mにより処理番号メモリ 9 1から処理番号 sを読み出し、その処理番号 sについて対応する処理をする。つまり端末識別情報 I d mの指令によりフラグメモリ 9 1内の処理番号 sのフラグの制御、更新指示部 1 2 d _sに対する動作の制御、周辺映像信号に対し、受信バッファメモリ 1 2 a _s、前回フレームメモリ 1 2 b内の領域 sの各利用、取得用信号生成手段 1 3及び映像取得手段 1 7における前回信号メモリ 1 3 a内領域 sの取得用信号を利用し、部分被写体撮像信号の送信は、処理番号メモリ 9 1内の処理番号 sに対する端末識別情報 I d mを読み出し、空いている映像送信手段 1 8 _Sを用いて、前期読み出した端末識別情報 I d mのカメラ付携帯端末 3 _mに接続して行う。以上のように、この実施例 6によれば、複数利用者がカメラ付携帯端末 3をそれぞれ独立に同時的に操作して 1つの遠隔撮影装置 1 から、それぞれ所望する部分被写体映像を見ることができる。なお、処理が輻輳した場合に、変化検出部 1 2 c、取得用信号生成手段 1 3、映像取得手段 1 7は複数個が同時に利用される。

遠隔撮影装置 1 として図 1 0に示したと同様のものを用いる場合にも複数の利用者に同時に 1つの遠隔撮影装置 1を利用することができる。つまり図 2 1に示した構成において、遠隔映像受信手段 1 6、取得用信号生成手段 1 3 映像取得手段 1 7を図 1 4 図 1 7と同様な構成とし、かつ複数のカメラ付携帯端末 3 _m に対し、同時的に処理できるように、その映像取得装置 1は、図 2 1に示したように複数の周辺映像受信手段 1 1 _s、複数の受信フレームメモリ 1 2 a _s、複数の更新指示部 1 2 d _s、複数の記憶領域をもつ前回フレームメモリ 1 2 b、複数記憶領域をもつ前回信号メモリ 1 3 a、複数の映像送信手段 1 8 _S、フラグメモリ 9 2、制御手段 9 3などを設け、前回信号メモリ 1 3 a内に括弧書きで示すように、取得用信号中の信号 xの代りにカメラ識別情報 I D pを用い、全方位カメラを用いる場合と同様に、各カメラ付携帯端末 3 _mごとの処理を行うが部分被写体撮像信号の取得は実施例 4で説明したように行う。この場合も複数のカメラ装置 2 i〜2 _Nから同時に受信される複数方向からの各撮影信号を、複数のカメラ付携帯端末 3 _mにより同時的にそれぞれ所望する部分被写体映像を見ることができることは容易に理解されよう。

実施例 1及び 3に示すシステムにおいても、複数のカメラ付携帯端末 3 _mによる部分被写体映像の同時的取得を行うようにすることもできる。この場合は図 2

1中の映像取得手段 1 7を省略し、映像取得装置 1で生成したカメラ付携帯端末 3 _mに対する取得用信号を、それが識別できるように、例えば前述した処理番号 sを付けて遠隔撮影装置 2へ送信し遠隔撮影装置 2では図 4の例の場合は図 2 0 中に破線で示すように、映像取り出し手段 2 4内に各処理番号ごとに取得用信号を記憶する記憶部 2 4 aを備え、その受信した処理番号に応じた記憶部 2 4 a中の対応取得用信号を更新し、その各記憶部 2 4 aに格納されている各取得用信号により実施例 1で説明したようにそれぞれ部分被写体撮像信号を取り出し、それに処理番号を付けて映像取得装置 1へ送信する。映像取得装置 1では受信した処理番号に応じたカメラ付携帯端末 3 _mに同時に受信した部分被写体撮像信号を中継送信し、映像取得手段 1 7は省略される。

図 1 1に示したシステムの場合は、同様に遠隔撮影装置 1の映像取り出し手段 2 4に各処理番号ごとに取得用信号を記億する記憶部 2 4 aが設けられ、記憶部 2 4 a中の受信した処理番号と対応する取得信号を同時に受信した取得用信号で更新し記憶部 2 4 aに格納されている各取得用信号 I D p , X , a _Pに基づき対応するカメラ装置 2 _nから部分被写体撮像信号を取り出し、これにその処理番号を付けて映像取得装置 1へ送信すればよい。

変形例

上述したいずれの実施例においても図 4、図 8、図 1 8、図 2 0などに破線で示すように、映像表示手段 3 2はパーソナルコンピュータなどに用いられる固定の表示器を用いてもよい。ただしいずれの場合も映像取得装置 1からカメラ付携帯端末へ送信した部分被写体撮像信号が再生表示されるようにされる。この場合は利用者はこの固定の映像表示手段 3 2に表示される映像を見ながらカメラ付携帯端末 3をカメラ操作することになる。前記例のようにカメラ付携帯端末 3に映像表示手段 3 2が固定されている場合は、歩きながらでも、どこに居ても利用することができ例えば、幼稚園での自分の子供の様子を見たりなど頗る便利である。パノラマ被写体 6は必ずしも 3 6 0度に渡るものでなくてもよく、被写体 6を直接見ながら撮影する場合に撮影方向を変更したり、視野角を調整したいような被写体であればよい。更に実施例 3の説明で述べたように、パノラマ被写体 6は連続するものでなくてもよい。これらは例えば前方 1 8 0度の景色を部分的に所望の個所を撮影したい場合や防犯カメラとして、複数の出入口のみを監視すればよい場合などから容易に理解されよう。

更にいずれの場合も、カメラ付携帯端末 3の撮影方向を左右に回転して部分被写体を選択する、前記例では取得用信号として X又は I D pのみ用いる場合のみでもよく、更にカメラ付携帯端末 3の撮影方向を上下に回転して又は Z及び前後に移動させて部分被写体を選択する、つまり前記例では取得用信号に y又は Z及び a pを加えてもよい。更に前述ではカメラ操作のそれぞれについてその大きさも加味した変化情報を検出し、これと対応して取得用信号を補正生成したが、例えば単に方向の変化だけを検出し、その変化の程度（大きさ）を檢出することなく、方向の変化があれば、前回取得用信号 Xに対し、所定値 d _xを加減算するようにしてもよい。

カメラ付携帯端末 3で周辺映像を撮影している際に、そのカメラ 3 3に何らかの関係により、急に強い光が瞬時的に入射して、周辺映像信号が乱されることが考えられる。このように乱れた周辺映像信号に基づき変化情報を検出し、これに基づき取得用信号を生成すると全く予期しない部分被写体映像が受信表示される。このようなことがないように、. 前記各実施例における映 ί象取得装置 1内の変化検出手段 1 2に誤検出防止部を設けるとよい。その誤検出防止部の例を実施例 1に代表して説明する。図 4中に破線で示すように、取得用信号生成手段 1 3へ送出された変化情報の履歴情報が履歴記憶部 1 2 eに記憶される。この履歴情報は、例えば直前の 3回分の変化情報が常に格納されるようにされる。例えば図 5 中に示した検出部 1 2 cで変化情報が検出されると、この変化情報が、履歴記憶部 1 2 eに格納されている変化情報の変化の連続性から大きく異なるか否かを判定部 1 2 f で比較判定する。この判定が大きく異ならなければ、つまり異常でなければ、その変化情報を取得用信号生成手段 1 3へ出力すると共に、履歴情報記憶部 1 2 eに最も新しい情報として記億し、最も古い情報を除去する。判定部 1 2 f が異常と判定すると、その検出した変化情報を阻止部 1 2 gで破棄し、次の更新指示を待つか、改めて周辺映像信号を受信して、変化検出処理を行う。

複数の利用者が 1つの遠隔撮影装置 1を共に同時的に利用する場合は図 2 0中に示すようにパーソナルコンピュータなどの利用者端末 3 ' によりその映像表示手段の表示面 3 aの映像を見ながら操作部 3 bをキーやレバー、マウス、トラックポールなどを操作して遠隔撮影装置 1が撮影しているパノラマ被写体 6中の取得したい部分被写体を移動又は Z及び拡大縮小操作したものを、パノラマ撮影映像信号から取得するようにしてもよい。操作部 3 bは例えば、パーソナルコンビユー夕において画面上のある表示を移動させるための操作に基づき生じる X軸方向の制御信号を前記変化情報中の d _xとし、 y軸方向の制御信号を前記 d _yとし、画面上のある表示を拡大 ·縮小するための制御信号を前記変化情報中の aとしてそれぞれ出力し、この変化情報 d _xを映像取得装置 1へ送信する。この場合の映像取得装置 1では周辺映像受信手段 1 1 sの代わりに単なる信号受信手段 1 1 s が用いられ、その受信手段 1 1 sで各利用者端末 3 ' から受信した変化情報はその信号受信手段 1 1 sの回線番号又は同時に受信した利用者識別情報に基づく処理番号により、前回信号メモリ 1 3 a中の前回生成した取得用信号 X (又は I D p ) , y , a _Pと、その受信変化情報を用いて取得用信号生成手段 1 3により取得用信号を生成する。その後の処理は実施例 6と同様である。ただし取得用映像信号は対応する利用者端末 3 ' へ送信することになる。

更に複数利用者が遠隔撮影装置 2を共通に利用する際に各利用者ごとの部分被写体撮像信号の取り出しを、実施例 1又は実施例 3で示したように、遠隔撮影装置 2で行うようにすることもできる。その場合は前述と同様にして映像取得装置 1では各利用者端末 3 ' ごとの受信した変化情報 d _x， d _y， aに応じて取得用信号を生成するが、その取得用信号は I D p， y , aであり、実施例 6の説明の終わりの方で述べたように例えば処理番号を付けて取得用信号を遠隔撮影装置 2 へ送信し、遠隔撮影装置 2では同様に処理番号ごとに取得用信号に応じて部分被写体撮像信号を映像取得装置 1へ送信する。

利用者端末 3 ' としてパーソナルコンピュータのような固定して用いられるものを例としたが、携帯電話機や P D Aなど携帯型の端末でもよいことは明らかであろう。つまり利用者端末は遠隔撮影装置 2の撮影パノラマ被写体中の取得部分被写体を指定するために予め決めた基準に対する方向及び Z又は伸縮を示す変化情報、例えば d _x, d _y， aを映像取得装置 1へ送信するものである。

上述した実施例 1〜 6で用いた映像取得装置 1はコンピュータにより機能させてもよい。つまり各映像取得装置 1がそれぞれ備える機能をコンピュータに実行させるためのプログラムを C D— R O M、磁気ディスク、半導体メモリなどの記録媒体からコンピュータにィンストールし、あるいは通信回線を通じてダウンロードし、そのプログラムを実行させればよい。

Claims

請求の範囲

1 . パノラマ被写体を遠隔撮影装置で撮影し、

上記撮影した上記パノラマ被写体の一部分の撮影映像信号を映像取得装置を介して、上記遠隔撮影装置と、異なる位置の映像表示手段に送信し、

上記映像表示手段で、受信した上記撮影映像信号を上記パノラマ被写体の一部分の映像として再生表示し、

上記映像表示手段の表示を見ることができる位置のカメラ付携帯端末によりその周辺を撮影し、その周辺映像信号を上記映像取得装置へ送信し、

上記映像取得装置により、前回の受信周辺映像信号と今回の受信周辺映像信号とから、上記カメラ付携帯端末が撮影した周辺映像の変化情報を求め、

上記変化情報に基づき、上記撮影した周辺映像の変化と対応して、上記パノラマ被写体の一部分に対して変更された上記パノラマ被写体の一部分の撮影映像信号を上記遠隔撮影装置から求め、

その求めた撮影映像信号を上記映像表示手段へ送信する

ことを特徴とする遠隔映像表示方法。

2 . カメラ付携帯端末からの周辺映像信号を受信する周辺映像受信手段と、上記周辺映像受信手段で受信した前回の周辺映像信号の映像（以下、前回映像という）に対する今回の周辺映像信号の映像（以下、今回映像という）の変化情報を上記受信した周辺映像信号から検出する変化検出手段と、

上記変化情報から、パノラマ被写体の一部分の撮影映像信号を得るために用いる取得用信号を生成する取得用信号生成手段と、

上記取得用信号を、パノラマ被写体を撮影して撮影映像信号を出力する遠隔撮影装置へ送信する信号送信手段と -,

上記遠隔撮影装置からの撮影映像信号を受信して上記カメラ付携帯端末と同位置の映像表示手段へ送信する映像中継手段と

を具備する映像取得装置。

3 . 請求の範囲 2記載の装置において、

上記変化検出手段は、上記変化情報として、上記前回映像に対する今回映像の移動方向と対応した方向情報又は Z及び上記前回映像の一部に対する今回映像の対応部分の大きさの変化と対応した伸縮情報を検出する手段であり、

上記取得用信号生成手段は上記取得用信号として上記方向情報に応じて前回生成した切り取り基準画素位置信号を補正した切り取り基準画素位置信号又は Z及び上記伸縮情報に応じて撮影映像の拡大'縮小信号を生成する手段である。

4 . 請求の範囲 2記載の装置において

上記遠隔撮影装置が備える、撮影方向が角度間隔をもつ複数のカメラ装置の各識別情報とその撮影方向と対応する情報とが格納されたカメラ方向記憶手段を備え、 '

上記変化検出手段は上記変化情報として、上記前回映像に対する今回映像の移動方向と対応した方向情報を検出する手段であり、

上記取得用信号生成手段は上記取得用信号として、前回生成した送信カメラ識別情報信号と、上記方向情報とから上記カメラ方向記憶手段を参照して、撮影方向を決定し、その撮影方向と対応するカメラ識別情報として送信カメラ識別情報信号を生成する手段である。

5 . 請求の範囲 2記載の装置において、

上記変化検出手段は上記変化情報として上記前回映像に対する上記今回映像の移動方向と対応した方向情報又は/及び上記前回映像に対する今回映像の大きさの変化と対応した伸縮情報を検出する手段であり、

上記取得用信号生成手段は上記取得用信号として、上記方向情報に応じた撮影方向変更信号又は/及び上記伸縮情報に応じたズーム変更信号を生成する手段であ。

6„ 請求の範囲 2記載の装置において、

上記周辺受信手段は複数のカメラ付携帯端末からの各周辺映像信号を受信する手段であり、

上記変化検出手段は、受信した周辺映像信号を送信したカメラ付携帯端末ごとに前回の変化情報検出に用いた周辺映像信号をそれぞれ格納する前回フレームメモリを備え、受信した周辺映像信号と、その送信カメラ付携帯端末と対応する前回フレームメモリ中の周辺映像信号とに基づき、そのカメラ付携帯端末と対応する変化情報を検出する手段であり、上記取得用信号生成手段は、受信した周辺映像信号を送信したカメラ付形態端末ごとに前回生成した取得用信号を格納する前回信号メモリを備え、上記検出したカメラ付携帯端末と対応する変化情報と、そのカメラ付携帯端末と対応する前回信号メモリ中の前回生成した取得用信号とよりそのカメラ付携帯端末と対応する取得用信号を生成し、その取得用信号により前回信号メモリ中の対応する信号を更新する手段であり、

上記信号送信手段は上記生成した取得用信号とその対応するカメラ付携帯端末を識別する情報を送信する手段であり、

上記映像中継手段は、受信した撮影信号を、これとともに受信したカメラ付携帯端末を識別する情報が示すカメラ付携帯端末の上記映像表示手段へ送信する手段である。

7 . カメラ付携帯端末からの周辺映像信号を受信する周辺映像受信手段と、上記周辺映像受信手段で受信した前回の周辺映像信号の映像（以下、前回映像という）に対する今回の周辺映像信号の映像（以下、今回映像という）の変化情報を上記受信した周辺映像信号から検出する変化検出手段と、

上記変化情報と前回生成した取得用信号とよりパノラマ被写体の一部分の撮影映像信号を得るために用いる取得用信号を生成する取得用信号生成手段と、パノラマ被写体を撮影した遠隔撮影装置より送信された撮影映像信号を受信する遠隔映像受信手段と、

上記受信した撮影映像信号から上記取得用信号に基づき、パノラマ被写体の一部分の映像信号を取得する映像取得手段と

上記取得した映像信号を上記力メラ付携帯端末と同位置の映像表示手段へ送信する映像送信手段と

を具備する映像取得装置。

8 . 請求の範囲 7記載の装置において、

上記遠隔映像受信手段で受信される撮影映像信号はパノラマ映像信号であり、上記変化検出手段は上記変化情報として、上記前回映像に対する上記今回映像の移動方向と対応した方向情報又は/及び上記前回映像の一部に対する上記今回映像の対応部分の大きさ変化と対応した伸縮情報を検出する手段であり、上記取得用信号生成手段は上記取得用信号として、上記方向情報に応じて前回生成した切り取り基準画素位置信号を補正した切り取り基準画素位置信号又は z 及び上記伸縮情報に応じた映像拡大 ·縮小信号を生成する手段であり、

上記映像取得手段は、上記パノラマ映像信号から、そのパノラマ映像上の、上記補正した切り取り基準画素位置信号により決まる位置を基準として一画面分の映像信号又は Z及び前回生成した切り取り基準画素位置信号又は上記補正した切り取り基準画素位置信号により決まる、上記パノラマ映像信号のパノラマ映像の部分映像を、前回送信した取得映像信号の映像に対し、上記映像拡大 ·縮小信号により拡大 ·縮小した一画面分の映像信号を取得する手段である。

9 . 請求の範囲 7記載の装置において、

上記遠隔映像受信手段で受信される撮影映像信号は、上記遠方撮影装置が備える、撮影方向が角度間隔をもつた複数の力メラ装置からの撮影映像信号であり、上記複数のカメラ装置の識別情報と、その撮影方向と対応する情報とが格納されたカメラ方向記憶手段を備え、

上記変化検出手段は上記変化情報として、上記前回映像に対する上記今回映像の移動方向と対応した方向情報を検出する手段であり、

上記取得用信号生成手段は上記取得用信号として、前回生成したカメラ識別情報信号と、上記方向情報とから上記カメラ方向記憶手段を参照して撮影方向を決定し、その撮影方向と対応する力メラ識別情報を力メラ識別信号として生成する手段であり、

上記映像取得手段は複数の撮影映像信号から上記生成されたカメラ識別信号と対応するものを取得する手段である。

1 0 . 請求の範囲 9記載の装置において、

上記変化検出手段は上記変化情報として上記検出した方向情報の移動方向と直角方向における上記前回映像に対する上記今回映像の移動方向と対応した第 2 方向情報又は Z及び上記前回映像の一部に対する上記今回映像の対応部分の大きさ変化と対応した伸縮情報を検出する手段を含み、

上記取得用信号生成手段は、上記取得用信号として、前回生成した切り取り基準画素位置信号を上記第 2方向情報に応じて補正した切り取り基準画素位置信号又は/及び上記伸縮に応じた映像拡大 ·縮小信号を生成する手段を含み、上記映像取得手段は上記取得した撮影映像信号から、その映像上の上記補正した切り取り基準画素位置信号により決る位置を基準として一画面分の映像信号又は Z及び前回生成した切り取り基準画素位置信号又は上記補正した切り取り基準画素位置信号により決る、上記取得した撮影映像信号の映像の部分映像を前回送信した取得映像信号の映像に対し、上記映像拡大 ·縮小信号により拡大 ·縮小した一画面分の映像信号を取得する手段である。

1 1 . 請求の範囲 7記載の装置において、

上記周辺映像受信手段は、複数のカメラ付携帯端末からの各周辺映像信号を受信する手段であり、

上記変化検出手段は、受信した周辺映像信号を送信したカメラ付携帯端末ごとに前回の変化情報検出に用いた周辺映像信号をそれぞれ格納する前回フレームメモリを備え、受信した周辺映像信号と、その送信カメラ付携帯端末と対応する前回フレームメモリ中の周辺映像信号とに基づき、そのカメラ付携帯端末と対応する変化情報を検出する手段であり、

上記取得用信号生成手段は、受信した周辺映像信号を送信したカメラ付携帯端末ごとに前回生成した取得用信号を格納する前回信号メモリを備え、上記検出したカメラ付携帯端末と対応する変化情報と、そのカメラ付携帯端末と対応する前回信号メモリ中の前回生成した取得用信号とよりそのカメラ付携帯端末と対応する取得用信号を生成し、その取得用信号により前回信号メモリ中の対応する信号を更新する手段であり、

上記映像取得手段は上記前回信号メモリに格納されている各カメラ付携帯端末と対応する取得用信号ごとに映像信号を取得する手段であり

上記映像送信手段は、上記カメラ付携帯端末ごとの取得映像信号をそのカメラ付携帯端末と同位置の映像表示手段へ送信する手段である。

1 2 . 請求の範囲 2又は 7記載の装置において、

上記変化情報の履歴を記憶する変化履歴記憶手段と、

上記変化検出手段により検出された変化情報が異常か否かを、上記変化履歴記憶手段に記憶されている履歴情報を参照して判定する判定手段と、その判定手段が異常と判定すると、その時の検出変化情報の上記取得用信号生成手段への供給を阻止する手段とを備えることを特徴とする。

1 3 . カメラの撮影方向又は/及びレンズによる画角（ズーム量）を変化させる操作（以下、カメラ操作という）指令を受信したか否かを判定する第 1ステップと、

第 1ステップの判定が受信したのであればカメラ付携帯端末から周辺被写体を撮影した周辺映像信号を受信する第 2ステツプと、

受信した周辺映像信号から、周辺映像信号の映像が前回のそれに対する変化情報を検出する第 3ステップと、

前回の取得用信号及び上記変化情報に基づきパノラマ被写体中の一部（以下、部分被写体という）の撮影映像信号の取得に用いる取得用信号を生成する第 4ステツプと、

上記生成した取得用信号を上記パノラマ被写体を撮影する遠隔撮影装置へ送信する第 5ステップと、

遠隔撮影装置から撮影映像信号を受信する第 6ステップと、

受信した撮影映像信号を上記カメラ付携帯端末と同位置の映像表示手段へ送信する第 7ステツプと、

力メラ操作の停止指令を受信したかを判定する第 8ステップと、

を有し、上記第 1ステツプで操作指令を受信していなければ上記第 6ステップに移り、上記第 8ステツプで停止指令を受信していなければ上記第 1ステップに戻ることを特徴とする映像取得装置の処理方法。

1 4 . カメラの撮影方向又は /及びレンズによる画角 (ズーム量）を変化させる操作（以下、カメラ操作という）指令を受信したか否かを判定する第 1 ステツプと-.

第 1ステツプの判定が受信したのであればカメラ付携帯端末から周辺被写体を撮影した周辺映像信号を受信する第 2ステップと、

遠隔撮影装置から撮影映像信号を受信する第 5ステップと、

上記受信した撮影映像信号から上記生成した取得用信号に基づきパノラマ被写体の一部の撮影信号を取得する第 6ステップと、

上記取得した撮影映像信号を上記カメラ付携帯端末と同位置の映像表示手段へ送信する第 7ステップと、

カメラ操作の停止指令を受信したかを判定する第 8ステップと、

を有し、上記第 1ステツプで操作指令を受信していなければ上記第 5ステップに移り、上記第 8ステツプで停止指令を受信していなければ上記第 1ステツプに戻ることを特徴とする映像取得装置の処理方法。

1 5 . パノラマ被写体を遠隔撮影装置で撮影し、その撮影映像信号を映像取得装置へ送信し、

表示端末からその識別情報と操作情報を映像取得装置へ送信し、

上記映像取得装置は受信した操作情報に基づき、上記受信した撮影映像信号から、上記パノラマ被写体の一部分の映像信号を取得し、

その取得した映像信号を上記受信した識別情報の上記表示端末へ送信し、上記表示端末は受信した映像信号を表示することを特徴とする遠隔映像表示方法。

1 6 . 複数の利用者端末から変化情報信号を受信する信号受信手段と、

受信した変化情報信号を送信した利用者端末を識別する情報（以下利用者端末識別情報という）ごとに前回生成した取得用信号を格納する前回信号メモリを備え- 受信した変化情報信号とその利用者端末識別情報の前回生成した取得用信号とから、パノラマ被写体の一部分（以下、部分被写体という）の撮像信号を得るために用いる取得用信号を生成し、前回信号メモリ中の対応する取得用信号を更新する取得用信号生成手段と、

上記生成した取得用信号とその利用者端末識別情報を、パノラマ被写体を撮影して撮影映像信号を出力する遠隔撮影装置へ送信する信号送信手段と、

上記遠隔撮影装置からの撮像信号と利用者端末識別情報を受信して、その撮像信号をその利用者端末識別情報と対応する利用者端末の映像表示手段へ送信する映像中継手段と

を具備する映像取得装置。

1 7 . 請求の範囲 1 6記載の装置において、

上記変化情報信号は、前回の部分被写体に対する変更したい部分被写体の方向情報信号又は及び伸縮情報信号であり、

上記取得用信号生成手段は上記取得用信号として上記方向情報信号に応じて前回生成した切り取り基準画素位置信号を補正した切り取り基準画素位置信号又は /及び上記伸縮情報信号に応じて撮影映像の拡大'縮小信号を生成する手段である。

1 8 . 請求の範囲 1 6記載の装置において

上記遠隔撮影装置が備える、撮影方向が角度間隔をもつ複数のカメラ装置の各識別情報とその撮影方向と対応する情報とが格納されたカメラ方向記憶手段を備え、

上記変化情報信号は、前回の部分被写体に対する変更したい部分被写体の第 1 方向情報信号及び Z又は第 1方向情報の第 2方向情報信号又は Z及び伸縮情報信号であり、

上記取得用信号生成手段は上記取得用信号として、前回生成した送信カメラ識別情報信号と、上記第 1方向情報信号とから上記カメラ方向記憶手段を参照して、撮影方向を決定し、その撮影方向と対応するカメラ識別情報として送信カメラ識別情報信号を生成し及び Z又は上記第 2方向情報信号に応じた前記生成した基準画素位置信号を補正した基準画素位置信号又は Z及び上記伸縮情報信号に応じた映像拡大 ·縮小信号を生成する手段である。

1 9 . 複数の利用者端末から変化情報信号を受信する信号受信手段と、

受信した変化情報信号を送信した利用者端末を識別する情報（以下利用者端末識別情報という）ごとに前回生成した取得用信号を格納する前回信号メモリを備え、受信した変化情報信号と、その利用者端末識別情報の前回生成した取得用信号とから、パノラマ被写体の一部分（以下、部分被写体という）の撮像信号を得るために用いる取得用信号を生成し、前回信号メモリ中の対応する取得用信号を更新する取得用信号生成手段と、

パノラマ被写体を撮影した遠隔撮影装置から送信された撮影映像信号を受信する遠隔映像手段と、

上記受信した撮影映像信号から、上記前回信号メモリに格納されている利用者端末識別情報ごとの取得用信号に基づき、パノラマ被写体の一部分の映像信号を取得する映像取得手段と、

上記取得した映像信号をその利用者端末識別情報の利用者端末へ送信する映像送信手段と

を具備する映像取得装置。

2 0 . 請求の範囲 1 9記載の装置において、

上記遠隔映像受信手段で受信される撮影映像信号はパノラマ映像信号であり、上記変化情報信号は、前回の部分被写体に対する変更したい部分被写体の方向情報信号又は Z及び伸縮情報信号であり、

上記取得用信号生成手段は上記取得用信号として、上記方向情報信号に応じて前回生成した切り取り基準画素位置信号を補正した切り取り基準画素位置信号又は Z及び上記伸縮情報信号に応じた映像拡大 ·縮小信号を生成する手段であり、上記映像取得手段は、上記パノラマ映像信号から、そのパノラマ映像上の、上記補正した切り取り基準画素位置信号により決まる位置を基準として一画面分の映像信号又は Z及び前回生成した切り取り基準画素位置信号又は上記補正した切り取り基準画素位置信号により決まる、上記パノラマ映像信号のパノラマ映像の部分被写体映像を前回送信した取得映像信号の映像に対し上記映像拡大 ·縮小信号により拡大 ·縮小した一画面分の映 ί象信号を取得する手段である。

2 1 . 請求の範囲 1 9記載の装置において、

上記遠隔映像受信手段で受信される撮影映像信号は、上記遠隔撮影装置が備える、撮影方向が角度間隔をもつた複数の力メラ装置からの撮影映像信号であり、上記複数のカメラ装置の識別情報と、その撮影方向と対応する情報とが格納されたカメラ方向記憶手段を備え、上記変化情報信号は、前回の部分被写体に対する変更したい部分被写体の第 1 方向情報信号又は及び第 1方向情報と直角方向における第 2方向情報信号又は Z及び伸縮情報信号であり、

上記取得用信号生成手段は上記取得用信号として、前回生成したカメラ識別情報信号と、上記第 1方向情報信号とから上記カメラ方向記憶手段を参照して撮影方向を決定し、その撮影方向と対応するカメラ識別情報をカメラ識別信号として生成し、又は/及び前回生成した切り取り基準画素位置信号を上記第 2方向情報信号に応じて補正した切り取り基準画素位置信号又は/及び上記伸縮信号に応じた映像拡大 ·縮小信号を生成する手段であり、

上記映像取得手段は、複数の撮影映像信号から上記生成されたカメラ識別信号と対応するものを取得し、又は/及び上記取得した撮影映像信号から、その映像上の上記補正した切り取り基準画素位置信号により決る位置を基準として一画面分の映像信号又は z及び前回生成した切り取り基準画素位置信号又は上記補正した切り取り基準画素位置信号により決る、上記取得した撮影映像信号の映像の部分映像を前回送信した取得映像信号の映像に対し、上記映像拡大 ·縮小信号により拡大 ·縮小した一画面分の映像信号を取得する手段である。

2 2 . 請求の範囲 2 , · · · · , 1 2 , 1 6 , · · · · , 2 1のいずれかに記載の映像取得装置としてコンピュータを機能させるためのプログラム。