JPH0888787A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 【目的】 本発明は、カメラで撮影した画像を表示など
する画像処理装置に関し、カメラで撮影した画像にカメ
ラデータを付加して送信させ、受信側でカメラデータを
もとに画像を合成して全視野の画像を表示したり、全視
野中の任意の位置指定に対応してカメラの角度に変換し
て送信し、カメラ側でその角度に制御してその画像を送
信し容易にモニタ上に所望の視野の画像を簡単な操作で
表示させたりすることを目的とする。 【構成】 カメラで撮影した画像に当該カメラの撮影時
のカメラデータを付加して送信する送信部と、送信され
てきた画像およびカメラデータから抽出したカメラデー
タをもとに全範囲の画像を合成する画像合成部とを備
え、この合成画像を表示するように構成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、カメラで撮影した画像
を表示などする画像処理装置に関するものである。

【０００２】

【従来の技術】従来、遠隔操作のＴＶカメラで撮影した
ＴＶ画像をＴＶモニタ上に表示して見るとき、同時には
ＴＶカメラの視野角内の画像しか見えないため、ＴＶカ
メラを遠隔操作で上下方向および左右方向に回転させつ
つ所望の画像をＴＶモニタ上に順次表示して観察するよ
うにしていた。

【０００３】

【発明が解決しようとする課題】上述したように、従来
は、遠隔操作のＴＶカメラでは、視野角内の画像をＴＶ
モニタ上に表示して観察できるのみで、同時にＴＶカメ
ラが移動する全ての視野角の画像をＴＶモニタ上で見る
ことができないという問題があった。

【０００４】また、ＴＶカメラを遠隔操作で上下方向お
よび左右方向に回転させつつ所望の視野の画像をＴＶモ
ニタ上に表示して観察する必要があり、簡単な操作によ
って所望の視野の画像をＴＶモニタ上に表示して観察で
きないという問題があった。

【０００５】本発明は、これらの問題を解決するため、
カメラで撮影した画像にカメラデータを付加して送信
し、受信側でカメラデータをもとに画像を合成して全視
野の画像を表示したり、全視野中の任意の位置指定に対
応してカメラの角度に変換して送信し、カメラ側でその
角度に制御してその画像を送信し容易にモニタ上に所望
の視野の画像を簡単な操作で表示させたりすることを目
的としている。

【０００６】

【課題を解決するための手段】図１は、本発明の原理ブ
ロック図を示す。図１において、カメラ１は、被撮影対
象を撮影して画像を生成するものであって、雲台２によ
って上下方向および左右方向の任意の角度に制御し得る
ものである。

【０００７】雲台２は、雲台制御部３の制御のもとでカ
メラ１を上下方向および左右方向の任意の角度に制御す
る機構である。雲台制御部３は、雲台２を制御してカメ
ラ１を上下方向および左右方向の任意の角度に向け、被
撮影対象を撮影させるものである。

【０００８】送信部４は、カメラ１によって撮影された
画像に、雲台２によるカメラ１の上下方向、左右方向の
角度であるカメラデータを付加して送信するものであ
る。受信部５は、送信部４から送信されてきた画像およ
びカメラデータを受信するものである。

【０００９】画像メモリ６は、受信部５によって受信さ
れた画像およびカメラデータを記憶するものである。画
像合成部７は、画像メモリ６から取り出した画像につい
て、付加されているカメラデータ（カメラ１の上下方向
および左右方向の角度）について変換テーブル８を参照
し変換して１つの仮想画面に合成するものである。

【００１０】ＴＶモニタ９は、画像合成部７によって合
成された１つの仮想画面上の画像を縮小などして全体を
表示したり、あるいは１つの画像を表示したりするもの
である。

【００１１】マウス１０は、ＴＶモニタ９上に表示され
た背景画像（例えば合成した合成画像など）上でカメラ
１によって撮影する位置（角度）を指示するものであ
る。カメラ方向算出部１１は、マウス１０によって背景
画像上で指示された位置について、変換テーブル８を参
照してカメラ１の方向（上下方向、左右方向の角度）に
逆変換して算出するものである。

【００１２】送信部１２は、カメラ方向算出部１１によ
って算出されたカメラ１の角度（上下方向および左右方
向の角度）を送信するものである。受信部１３は、送信
部１２から送信されてきたカメラ１の角度（上下方向お
よび左右方向の角度）を受信するものである。

【００１３】雲台制御部３は、受信部１３によって受信
したカメラ１の角度（上下方向および左右方向の角度）
をもとに、雲台２を制御してカメラ１を指示された角度
（上下方向および左右方向）に制御するものである。

【００１４】

【作用】本発明は、図１に示すように、送信部４がカメ
ラ１で撮影した画像に当該カメラ１の撮影時のカメラデ
ータ（例えば上下方向および左右方向の角度）を付加し
て送信し、受信部５が送信されてきた画像およびカメラ
データを受信し画像メモリ６に格納し、画像合成部７が
画像に付加されているカメラデータを取り出し変換テー
ブル８を参照して仮想画面上の座標に変換し、この変換
した後の座標をもとに仮想画面上で合成することを繰り
返し、合成後の画像を縮小などしてＴＶモニタ９上に表
示するようにしている。

【００１５】また、ＴＶモニタ９上に表示された合成画
像などの背景画像上で、利用者がマウス１０で任意の位
置を指示したことに対応して、カメラ方向算出部１１が
指示された位置のカメラ１の上下方向および左右方向の
角度を算出し、送信部１２がこのカメラ１の上下方向お
よび左右方向の角度を送信し、受信部１３が送信されて
きたカメラ１の上下方向および左右方向の角度を受信
し、雲台制御部３が雲台２を制御してカメラ１を指示さ
れた上下方向および左右方向の角度に制御し、カメラ１
で撮影した画像を送信部４が送信し、受信部５がその画
像を受信し、ＴＶモニタ９上に表示するようにしてい
る。

【００１６】従って、カメラ１で撮影した画像にカメラ
データを付加して送信し、受信側でカメラデータをもと
に画像を合成して全視野の合成画像を表示したり、全視
野中の任意の位置指定に対応してカメラ１の角度に変換
して送信し、カメラ１側でその角度に制御してその画像
を送信しＴＶモニタ上に表示することにより、カメラ１
によって走査した全視野の画像をＴＶモニタ上で一度に
見ることが可能となると共に、ＴＶモニタ上の背景画像
上で指示した位置に対応した角度にカメラ１を制御して
そのときの画像をＴＶモニタ上に表示させることが簡単
な操作で可能となる。

【００１７】

【実施例】次に、図２から図１１を用いて本発明の実施
例の構成および動作を順次詳細に説明する。

【００１８】図２は、本発明のＴＶカメラによるスキャ
ニング説明図を示す。これは、ＴＶカメラ２１を雲台２
に載せて上下方向（垂直方向、仰角）および左右方向
（水平方向）に回転させ走査したときのカメラの視野
と、合成した仮想画面（合成画像を表示した画面）との
関係を示す。横軸は左右方向の回転角を表し、縦軸は上
下方向の回転角を表し、左下が原点（０、０）である。
図では、右上から左上方向、左中から右中、右下から左
下というように順次少しづつ角度を異ならせてＴＶカメ
ラ２１で撮影した画像およびそのときの上下方向と左右
方向の回転角度のカメラデータを付加することを繰り返
す。

【００１９】以上によって、ＴＶカメラ２１を雲台２に
載せて、左右方向の回転角度、例えば３６０度、および
上下方向の回転角度、例えば１８０度の範囲について順
次走査しつつ画像を撮影することにより、全視野（左右
方向に３６０度、上下方向に１８０度）の画像を順次取
り込むことが可能となる。

【００２０】図３は、本発明の画像とカメラデータの伝
送方法の説明図を示す。図３の（ａ）は、１フレーム分
の画像およびカメラデータを示す。ここで、画像は、同
期信号および画像信号から構成されている。カメラデー
タは、図３の（ｂ）、（ｃ）に示す。

【００２１】図３の（ｂ）は、図３の（ａ）の１フレー
ムに付加されているアナログ信号のカメラデータを示
す。図３の（ｃ）は、図３の（ｂ）のアナログ信号のカ
メラデータを復調処理し、取り出したデジタルのカメラ
データを示す。このカメラデータとしては、図示の下記
の ・ズーム倍率（ｚ） ・上下方向回転角（ｙ） ・左右方向回転角（ｘ） などからなる。

【００２２】以上によって、ＴＶカメラ２１によって撮
影された画像に、カメラデータ（ズーム倍率、上下方向
回転角、左右方向回転角）を付加して１フレーム分とし
て送信する。

【００２３】図４は、本発明の画像メモリ上の画像およ
びカメラデータのイメージ例を示す。ここでは、カメラ
データは、図３の１フレーム分を受信したときに復調処
理して取り出したカメラデータであって、例えば右側に
記載したように、 ・回転角（ｘ１、ｙ１） ・回転角（ｘ２、ｙ２） ・回転角（ｘ３、ｙ３） を持つカメラデータである。ここで、ｘ１、ｘ２、ｘ３
は左右方向の回転角であり、ｙ１、ｙ２、ｙ３は上下方
向の回転角である。尚、ズーム倍率ｚはここでは説明を
簡単にするために常に一定とする。

【００２４】また、画素データは、１フレーム分のデー
タ中の同期信号および画像信号をもとに取り出した各画
素毎の画素データ（例えばＲＧＢの値）である。図５
は、本発明の画素データの合成イメージ例を示す。ここ
で、横軸は左右方向のカメラ視野座標（Ｘ）を表し、縦
軸は上下方向のカメラ視野座標（Ｙ）を示し、左下が原
点（０、０）を示し、カメラで撮影できる最大の範囲を
表す仮想画面の大きさを示す。この仮想画面上に、図４
の回転角（ｘ１、ｙ１）、回転角（ｘ２、ｙ２）、回転
角（ｘ３、ｙ３）の３つの画素データを合成すると図示
のようになる。この合成は、回転角（ｘｉ、ｙｉ）（ｉ
＝１から３）を仮想画面上の位置（座標）に予め作成し
ておいた図示外の変換テーブルを用いて変換し、この変
換した位置（座標）を中心に画素データを展開して合成
する。重なった部分は後から書き込んだ画素データで書
き替える、あるいは他の画素データと重なったときは平
均を算出して書き戻すなどして合成する。

【００２５】以上のように、複数のカメラデータおよび
画素データを仮想画面上に合成することにより、カメラ
１の全視野の画像を一度にＴＶモニタ９上に表示し、全
体を観察することが可能となる。

【００２６】図６は、本発明の１実施例構成図を示す。
これは、ＴＶカメラ２１によって撮影した画像にカメラ
データを付加して送信し、受信側で画像に付加されてい
るカメラデータをもとに合成した合成画像を表示する場
合のものである。

【００２７】図６において、ＴＶカメラ２１は、ＮＴＳ
Ｃなどの方式によるＴＶカメラである。雲台２は、ＴＶ
カメラ２１を上下方向および左右方向の任意の角度（回
転角度）に移動させるものである。

【００２８】雲台制御部３は、雲台２を制御してＴＶカ
メラ２１を任意の上下方向および左右方向に制御するも
のである。画像送信部４１は、ＴＶカメラ２１からの画
像および雲台２からのカメラデータ（ＴＶカメラ２１の
上下方向および左右方向の角度など）をもとに、画像に
カメラデータを付加（混合）して送信するものである。

【００２９】画像受信部５１は、画像送信部４１から送
られてきた画像およびカメラデータを受信し、カメラデ
ータと画像に分離するものである。ＴＶモニタ４２は、
受信した画像をそのまま表示（生画像表示）するもので
ある。

【００３０】カメラデータ取り出し部５２は、画像受信
部５１によって取り出されたアナログのカメラデータ
（カメラ信号）を復調処理して元のデジタルのカメラデ
ータ（ＴＶカメラ２１の上下方向角度、左右方向角度な
ど）を取り出すものである。

【００３１】画像符号化部５３は、画像受信部５１によ
って取り出されたアナログの画像信号および同期信号を
もとに、画素データに符号化するものである。画像メモ
リ６は、カメラデータおよび画素データを格納して記憶
するものである。

【００３２】画像合成部７は、カメラデータについて変
換テーブル８を参照して仮想画面上の位置に変換し、そ
の変換した位置に画素データを合成するものである。Ｔ
Ｖモニタ９は、合成後の合成画像を表示するものであ
る。

【００３３】次に、図７のフローチャートに示す順序に
従い、図６の構成の動作を詳細に説明する。図７におい
て、Ｓ１は、１フレームを受信する。これは、既述した
図３の（ａ）に示すように、１フレーム（画像とカメラ
データ）を受信する。

【００３４】Ｓ２は、カメラデータと画像を分離する。
Ｓ３は、カメラデータの取り出しを行う。Ｓ４は、画像
の符号化を行う。これは、分離した画像について、画像
信号および同期信号をもとに、各画素単位の画素データ
に符号化する。

【００３５】Ｓ５は、Ｓ３で取り出したカメラデータお
よびＳ４で符号化した画素データを図４に示すように画
像メモリに記憶する。Ｓ６は、ＴＶカメラの回転角
（ｘ、ｙ）から１画素データの視野座標を求める。これ
は、画素データについて、ＴＶカメラの回転角（ｘ、
ｙ）（ｘは水平方向のカメラの角度、ｙは上下方向のカ
メラの角度）をもとに、変換テーブル８を参照して図５
の仮想画面上の座標（視野座標）に変換する。

【００３６】Ｓ７は、１画素データを視野座標に対応し
た視野座標の最大幅の仮想的な画素データの画像メモリ
に記憶し合成する。Ｓ８は、全視野角を合成したか判別
する。ＹＥＳの場合には、Ｓ９に進む。一方、ＮＯの場
合には、Ｓ６に戻り繰り返す。

【００３７】Ｓ９は、適当な処理により仮想的な画素デ
ータのサイズを通常の画素データのサイズに縮小（ＴＶ
モニタに表示できるサイズに縮小）する。Ｓ１０は、画
像の映像化を行う。

【００３８】Ｓ１１は、ＴＶモニタ上にＴＶカメラ２１
の全視野の画像を縮小して表示する。以上によって、Ｔ
Ｖカメラ２１によって撮影した画像およびカメラデータ
をもとに、ＴＶカメラ２１の回転範囲の全視野の画像を
仮想画面上に合成し、合成後の仮想画面上の画像を縮小
してＴＶモニタ上の全視野の画像を表示する。これによ
り、ＴＶカメラ２１が撮影できる全範囲の画像を合成・
縮小して１画面上に表示して観察できることとなる。

【００３９】次に、図８から図１１を用いてＴＶモニタ
９上に表示した背景画像（例えば仮想画面）上でマウス
で指示した位置に対応するＴＶカメラ２１の上下方向お
よび左右方向の角度の画像を撮影し、ＴＶモニタ９上に
表示するときの構成および動作を詳細に説明する。

【００４０】図８は、本発明の他の実施例構成図を示
す。図８において、ＴＶモニタ９は、背景画面（例えば
既述したＴＶカメラ２１の全視野の画像を合成した仮想
画面）を表示するものである。

【００４１】カメラ方向算出部１１は、ＴＶモニタ９に
表示された背景画面（例えば仮想画面）上でマウスで、
ＴＶカメラ２１の撮影する位置を指示されたことに対応
して、変換テーブル８を参照してＴＶカメラ２１の上下
方向および左右方向の角度（回転角度）を算出するもの
である。

【００４２】カメラ制御信号送信部１２１は、カメラ方
向算出部１１によって算出されたＴＶカメラ２１の上下
方向および左右方向の回転角度を送信するものである。
カメラ制御信号受信部１３１は、カメラ制御信号送信部
１２１から送られてきたカメラデータ（上下方向および
左右方向の回転角度）を受信するものである。

【００４３】雲台制御部３は、カメラ制御信号受信部１
３１によって受信したカメラデータ（上下方向および左
右方向の回転角度）をもとに、ＴＶカメラ２１を搭載し
た雲台２を制御するものである。

【００４４】画像送信部４３は、所定の上下方向および
左右方向の回転角度で制御されたＴＶカメラ２１によっ
て撮影した画像にカメラデータを付加して送信するもの
である。

【００４５】画像受信部５４は、画像送信部４３によっ
て送信された画像およびカメラデータを受信するもので
ある。ＴＶモニタ９１は、画像受信部５４によって受信
された画像をそのまま表示したものである。

【００４６】次に、図９のフローチャートに示す順序に
従い、図１０および図１１を参照しつつ図８の構成の動
作を詳細に説明する。図９において、Ｓ２１は、マウス
カーソルの座標を入力する。これは、例えば利用者が図
１０に示すような背景画像（例えがＴＶカメラ２１が回
転できる最大範囲の画像を合成した仮想画面上の画像）
上で、マウスカーソルを表示させたい対象物の位置に置
いて、ボタンを押下する。例えばマウスカーソルが最初
にあったものを、（対象物Ａ）に移動してマウスの
ボタンを押下して座標を入力する。

【００４７】Ｓ２２は、マウスカーソルの座標からＴＶ
カメラ２１の視野座標を算出する。これは、マウスカー
ソルの位置の座標を、ＴＶカメラ２１の視野座標に変換
テーブル８１を参照して座標変換する。

【００４８】Ｓ２３は、視野座標から回転角を算出し、
雲台の制御信号を作成する。これは、Ｓ２２で変換した
ＴＶカメラ２１の視野座標を、更に変換テーブル８を参
照してＴＶカメラ２１の実際の上下方向および左右方向
の回転角に変換し、雲台２を上下方向および左右方向に
制御する制御信号を作成する。

【００４９】Ｓ２４は、Ｓ２３で作成した雲台の制御信
号を送信する。Ｓ２５は、Ｓ２４で送信されてきた雲台
の制御信号を受信する。Ｓ２６は、Ｓ２５で受信した雲
台の制御信号をもとに、雲台２を上下方向および左右方
向に制御し、ＴＶカメラ２１をマウスカーソルで指示さ
れた上下方向および左右方向の回転角度に設定する。

【００５０】Ｓ２７は、ＴＶカメラ２１で撮影する。そ
して、撮影した画像を送信し、受信側のＴＶモニタ９１
上に表示する。これにより、背景画像（仮想画面）上で
マウスカーソルで指示した位置に対応して、ＴＶカメラ
２１を上下方向および左右方向の回転角度の制御してそ
のときの画像をＴＶモニタ９１上に表示させることがで
きる。これらにより、背景画像（仮想画面）上でマウス
カーソルで位置を指示するのみで、その指示した点に対
応するＴＶカメラ２１の角度で撮影した画像がＴＶモニ
タ９１上に表示でき、極めて簡単な操作によって所望の
角度の画像を表示させることが可能となる。

【００５１】図１０は、本発明の背景画面のイメージ例
を示す。これは、ＴＶカメラ２１で撮影できる全視野範
囲の仮想画面を背景画面としたイメージ例を示す。そし
て、この背景画面上でＴＶカメラ２１でそれぞれ撮影し
た画像（○、◇、△）があり、それぞれ別視野でないと
撮影できないとする。点線の矩形がＴＶカメラの視野と
する。

【００５２】図１１において、は、ＴＶカメラの最初
の視野である。は、図１０の背景画面（ここでは仮想
画面）上で左上の対象物Ａ（○）をマウスカーソルで
指示したときにＴＶカメラ２１で撮影された表示される
画像である。これは、図９に既述したように、背景画面
上のマウスカーソル位置を検出して変換テーブルを参照
しＴＶモニタ２１の上下方向および左右方向の角度に変
換し、雲台を制御してＴＶカメラ２１の回転角度を制御
して撮影したときの画像である。

【００５３】は、図１０の背景画面上で中央の対象
物Ｂ（◇）をマウスカーソルで指示したときにＴＶカメ
ラ２１で撮影された表示される画像である。は、図１
０の背景画面上で中央の対象物Ｃ（△）をマウスカー
ソルで指示したときにＴＶカメラ２１で撮影された表示
される画像である。

【００５４】以上のように、→→→というよう
に背景画像（例えば仮想画面）上でマウスカーソルで位
置を指示するのみで、自動的にＴＶカメラ２１がこれら
の指示点に対応する回転角度で制御されてそのときの画
像を撮影したＴＶモニタ９１上に表示されるため、操作
員は背景画面上で単にマウスカーソルで表示させたい位
置を指示するという極めて簡単に操作で所望の位置（Ｔ
Ｖカメラの水平方向および垂直方向の回転角度）の画像
を表示させることが可能となった。

【００５５】

【発明の効果】以上説明したように、本発明によれば、
カメラ１で撮影した画像にカメラデータを付加して送信
し、受信側でカメラデータをもとに画像を合成して全視
野の画像を表示したり、全視野中の背景画像上の任意の
位置指定に対応してカメラ１の角度に変換して送信し、
カメラ１側でその角度に制御してその画像を送信しＴＶ
モニタ上に表示したりする構成を採用しているため、カ
メラ１によって走査した全視野の画像をＴＶモニタ上で
一度に見ることができると共に、ＴＶモニタの背景画像
（例えば仮想画面）上で指示した位置に対応した角度に
カメラ１を自動制御してそのときの画像をＴＶモニタ表
示させることができる。これらにより、カメラによる３
６０度のパノラマ画像を表示させることが可能となると
共に、このパノラマ画像を背景画像として当該背景画像
上で位置を指示してその指示位置にカメラを制御しその
ときの画像を表示させることが可能となる。

【図面の簡単な説明】

【図１】本発明の原理ブロック図である。

【図２】本発明のＴＶカメラによるスキャニング説明図
である。

【図３】本発明の画像とカメラデータの伝送方法の説明
図である。

【図４】本発明の画像メモリ上の画像とカメラデータの
イメージ例である。

【図５】本発明の画素データの合成イメージ例である。

【図６】本発明の１実施例構成図である。

【図７】本発明の動作説明フローチャートである。

【図８】本発明の他の実施例構成図である。

【図９】本発明の動作説明フローチャートである。

【図１０】本発明の背景画面のイメージ例である。

【図１１】本発明のＴＶモニタ画面の推移イメージ例で
ある。

【符号の説明】

１：カメラ ２：雲台 ３：雲台制御部 ４：送信部 ４１、４３：画像送信部 ４２：ＴＶモニタ ５：受信部 ５１、５４：画像受信部 ５２：カメラデータ取り出し部 ５３：画像符号化部 ６：画像メモリ ７：画像合成部 ８：変換テーブル ９、９１：ＴＶモニタ １０：マウス １１：カメラ方向算出部 １２：送信部 １２１：カメラ制御信号送信部 １３：受信部 １３１：カメラ制御信号受信部 ２１：ＴＶカメラ

Claims (3)

【特許請求の範囲】
1. 【請求項１】カメラで撮影した画像に当該カメラの撮影
   時のカメラデータを付加して送信する送信部と、 送信されてきた画像およびカメラデータから抽出したカ
   メラデータをもとに全範囲の画像を合成する画像合成部
   とを備え、 この合成画像を表示するように構成したことを特徴とす
   る画像処理装置。
2. 【請求項２】上記カメラデータとして、カメラの撮影時
   の上下方向の角度および左右方向の角度をカメラデータ
   とすると共に、上記全範囲の画像を合成として、カメラ
   データをもとにカメラが回転した全範囲の画像を合成す
   るようにしたことを特徴とする請求項１に記載の画像処
   理装置。
3. 【請求項３】カメラから受信した複数の画像を合成した
   合成画像上でカメラ位置の指示に対応して、指示された
   位置のカメラの上下方向および左右方向の角度を算出し
   て送信する送信部と、 送信されてきたカメラの上下方向および左右方向の角度
   をもとに、カメラをその角度に制御する制御部と、 その角度に制御されたカメラによって撮影した画像を送
   信する送信部と、 送信されてきた画像を表示する表示部とを備えたことを
   特徴とする画像処理装置。