JP3880110B2

JP3880110B2 - 画像処理装置及び方法

Info

Publication number: JP3880110B2
Application number: JP30470596A
Authority: JP
Inventors: 秀一中村
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-11-15
Filing date: 1996-11-15
Publication date: 2007-02-14
Anticipated expiration: 2016-11-15
Also published as: JPH10145758A

Description

【０００１】
【技術分野】
本発明は、１つの被写体を複数のフレームに分割して撮影することにより得られた複数の画像データを使用して画像データを再構成する画像処理装置及び方法に関するものである。
【０００２】
【従来の技術】
従来１台のカメラを複数の受信端末の画像入力機器として利用する画像処理装置が知られている。
【０００３】
上記画像処理装置において、複数の受信端末からの様々な撮影範囲の要求に応えるため、以下の様な方法が考えられる。
【０００４】
例えば１台のカメラに魚眼レンズを取り付け、広角で画像を撮影し、複数の画像受信端末の撮影範囲の要求に応じて、魚眼レンズで撮影された画像を複数に分割し、これを周辺歪みを修正して利用する方法や、１台のカメラの雲台を可動にして、カメラの操作権を設定し、操作権を時間的に分割して各受信端末に割り当てて利用する方法等である。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来の魚眼レンズを用いる方法では、CCD素子等の有限個の受光素子によって撮影された画像データを更に分割して利用するため、魚眼レンズ自体が撮影できる画像の解像度を予め高くしておかなければならず、コストがかかるという問題がある。
【０００６】
また、各受信端末に操作権を割り当てる方法では、受信端末の数が増加するほど各受信端末へ操作権が割り当てられないといった問題がある。
【０００７】
上述の問題を解決するため本発明は、広範囲の画像から各受信端末の要求範囲に応じた画像を示す画像データを各受信端末に送信する際に、受信端末が増加しても各受信端末の要求する撮影範囲の画像データを各受信端末に送信でき、かつ簡易な構成で前記画像データを各受信端末に送信することを目的とする。
【０００８】
【課題を解決するための手段】
上記課題を解決するため、本発明の画像処理装置によれば、１つの被写体を複数のフレームに分割して撮影することにより得られた、前記複数のフレームのそれぞれに対応する複数の画像データを時刻情報及びフレームの識別情報と関連づけて第１記憶部に記憶させる記憶制御手段と、前記被写体の全体領域から抽出されるべき領域座標の指示を受け付け、受け付けた指示に含まれる領域座標と前記時刻情報とフレーム識別情報とに基づき、前記第１記憶部から前記指示された領域座標の画像データを含み同一のフルフレームを構成する複数のフレームを選択し、選択された複数のフレームを前記第１記憶部から読み出し、読み出した複数のフレームを第２記憶部へと格納することにより、前記第２記憶部上に指示された領域座標に対応する画像データを再構成する処理手段と、前記処理手段によって再構成された画像データを、前記受け付けた指示に対する応答として表示器に表示させるために出力する出力手段と、を有することを特徴とする。
また、本発明の画像処理方法によれば、１つの被写体を複数のフレームに分割して撮影することにより得られた、前記複数のフレームのそれぞれに対応する複数の画像データを時刻情報及びフレームの識別情報と関連づけて第１記憶部に記憶させる記憶制御工程と、前記被写体の全体領域から抽出されるべき領域座標の指示を受け付け、受け付けた指示に含まれる領域座標と前記時刻情報とフレーム識別情報とに基づき、前記第１記憶部から前記指示された領域座標の画像データを含み同一のフルフレームを構成する複数のフレームを選択し、選択された複数のフレームを前記第１記憶部から読み出し、読み出した複数のフレームを第２記憶部へと格納することにより、前記第２記憶部上に指示された領域座標に対応する画像データを再構成する処理工程と、前記処理工程によって再構成された画像データを、前記受け付けた指示に対する応答として表示器に表示させるために出力する出力工程と、を有することを特徴とする。
【０００９】
【発明の実施の形態】
以下、図面を参照して本発明の一例を示す実施の形態を詳細に説明する。
【００１０】
図１は、本発明を実現するためシステムの実施の形態の構成を示すブロック図である。
【００１１】
図１中、カメラ０１は、コンピュータ制御によってカメラのパン・チルトの制御が可能であって、静止画及び動画を撮影可能なビデオカメラである。デコーダ０２は、カメラ０１によって撮影された画像を任意の形式のデジタル画像データに変換することが可能なデコーダである。
【００１２】
一時記録装置０３は、前記デコーダ０２によって変換されたデジタル画像データを一時的に蓄積可能な、例えばＤＲＡＭやハードディスクの様な記録装置である。
【００１３】
画像再構成機構０４は、前記一時記録装置０３に一時的に蓄積されたデジタル画像データを個々の配送先の受信端末から要求された範囲のデジタル画像データに再構成する機構である。画像配送機構０５は、前記再構成機構によって再構成されたデジタル画像データを通信網を介して、複数の配送先の受信端末（図１では受信端末０９，１０の２つであるが３つ以上でも良い）に転送することが可能な配送機構である。
【００１４】
上記受信端末０９，１０は画像配送機構０５から転送されたデジタル画像データを受信して表示する画像表示システムである。制御装置００は、コントロールバス０７を介して前記カメラ０１，デコーダ０２，一時記録装置０３，画像再構成機構０４，及び画像配送機構０５を制御する制御装置である。
【００１５】
データバス０６は、カメラ０１，デコーダ０２，一時記録装置０３，画像再構成機構０４，画像配送機構０５を接続し、カメラ、デコーダ、一時記録装置、画像再構成機構、画像配送機構の順にデータをやりとりすることを可能とするデータバスである。また通信網０８は、画像配送機構０５と複数の受信端末０９，１０を接続する通信網である。
【００１６】
本実施の形態では、図１に示す様な構成のデジタル画像配送システムにおいて、カメラ０１が雲台の可動によって撮影可能な全範囲を、雲台を可動させることによって順次撮影し、撮影された画像をデコーダによって変換することによって得られるデジタル画像データを一時記録装置に一時的に蓄積し、蓄積されたデジタル画像データのうち、複数の配送先から各々要求された撮影範囲のデジタル画像データに対して、各々の要求に対応したデジタル画像データを配送することにより、１台のカメラで、複数の撮影範囲の画像を提供することを実現するものである。
【００１７】
本実施の形態では、カメラ０１は例えばNTSC形式のアナログ画像データを出力するビデオカメラであり、デコーダによってデジタル画像データにA/D変換されるものとするが、本発明はこの方式に制限されるものではなく、カメラがデジタルビデオ形式のデジタル画像データを直接出力し、デコーダによるA/D変換を行わない様にしても良い。
【００１８】
図２はカメラの撮影範囲を示す図である。カメラ０１は例えば雲台が固定されている場合に、図２の範囲(視野角上下３０度、左右４０度、３２０×２４０画素であり、以降これを１フレームと呼ぶ)を撮影できるものであって、雲台が例えば、左右方向８０度、上下方向３０度可動することにより、図３の範囲(視野角上下６０度、左右１２０度即ち３２０×２４０×６画素であり、以降これを１フルフレームと呼ぶ)を撮影できるものとする。
【００１９】
１フルフレームの画像データは複数のフレームのデータから構成され、本実施の形態では、６フレームで１フルフレームが構成されるものとするが、本発明はこれに限らず適当な数のフレームで１フルフレームを構成する様にしても良い。
【００２０】
本実施の形態では、カメラは例えば全撮影可能範囲(１フルフレーム)を図３に示す矢印の順に順次撮影する事とし、フルフレーム中、左上から時計回りに各フレームをフレーム０、２、４、５、３、１と呼ぶこととする。
【００２１】
また、カメラの撮影範囲を１つのフレームから他のフレームに移動するのに要する時間を本実施の形態では１/６秒かかる事とする。よって本実施の形態ではフルフレームを撮影するのに１秒を要する。
【００２２】
以下に各フレームの画像データの記録方法を示す。
【００２３】
画像データは１画素当たり１バイト(２５６色)のデータ長を持ち、DATA〔フルフレーム番号（時刻），フレーム番号，画素列番号，画素行番号〕の４次元の配列データとして一時的に一時記録装置０３に記録される。よって記録された画像データは、フルフレーム番号，フレーム番号，画素列番号，画素行番号を基に逆算して参照可能である。
【００２４】
ここで、受信端末は要求する画像範囲をC_REQ〔フレーム番号Ｆ，画素列番号Ｘ，画素行番号Ｙ〕の３次元の配列データとして指定する。またC_REQのデータ長は３バイトとする。この画素列番号，画素行番号は本実施の形態では要求する画像範囲の左上の座標を示すものとするが、本発明はこれに限られるものではない。
【００２５】
また、一時記録装置０３に蓄積された画像データは、上記受信端末の要求に応じて受信端末の要求範囲に再構成し、１画素当たり１バイト(２５６色)のデータ長を持つBUF〔受信端末番号Ｎ，画素列番号Ｘ，画素行番号Ｙ〕の３次元配列データとして、再構成機構０４の内部の画像データバッファに格納される。
【００２６】
以下図４を参照して、受信端末が要求する画像範囲に応じた画像データの再構成手順を詳細に説明する。
【００２７】
受信端末Nから要求された画像範囲が上記C_REQ〔F,X,Y〕で指定されているものとする。再構成された画像データは上記BUF〔N,X,Y〕に格納される。
【００２８】
STEP００では受信端末から要求された範囲の画像のC_REQの画素行番号をチェックし、Y=０ならばSTEP０１に進み、Y≠０ならばSTEP０２に進む。
【００２９】
次にSTEP０１ではC_REQの画素行番号が０である場合(Y=０の場合)、C_REQの画素列番号をチェックする。C_REQの画素列番号が０である場合(X=０の場合)、要求された範囲の画像は１フレームのみで構成されていると判断し、STEP１０に進む。
【００３０】
またC_REQの画素列番号が０でない場合(X≠０の場合)には、要求された範囲の画像は横２フレームで構成されている事になり、STEP１１へ進む。
【００３１】
一方、STEP０２ではC_REQの画素列番号をチェックする。C_REQの画素列番号が０である場合(X=０の場合)、要求された範囲の画像は縦２フレームで構成されているとしてSTEP１２へ進む。また、C_REQの画素列番号が０でない場合(X≠０の場合)、要求された範囲の画像は縦横４フレームで構成されているとしSTEP１３へ進む。
【００３２】
STEP１０では、要求された範囲の画像は１フレームであるので、C_REQのフレーム番号に対応するフレーム番号の全画像データを画像データバッファに転送する。
【００３３】
STEP１１では、要求された範囲の画像は横２フレームであるので、DATA〔F,X,０〕，DATA〔F,３１９,０〕，DATA〔F,X,２３９〕，DATA〔F,３１９,２３９〕及びDATA〔F+２,０,０〕，DATA〔F+２,X-１,０〕，DATA〔F+２,０,２３９〕，DATA〔F+２,X-１,２３９〕に対応する画素で囲まれた矩形領域の画像データを、矩形領域BUF〔０,０,０〕，BUF〔０,３１９-X,０〕，BUF〔０,０,２３９〕，BUF〔０,３１９-X,２３９〕及びBUF〔０,３２０-X,０〕，BUF〔０,３１９,０〕，BUF〔０,３２０-X,２３９〕，BUF〔０,３１９,２３９〕にそれぞれ対応する様にして画像データバッファに矩形領域の画像データを転送し、格納する。
【００３４】
STEP１２では、要求された範囲の画像は縦２フレームであるので、DATA〔F,０,Y〕，DATA〔F,３１９,Y〕，DATA〔F,０,２３９〕，DATA〔F,３１９,２３９〕及びDATA〔F+１,０,０〕，DATA〔F+１,３１９,０〕，DATA〔F+１,０,Y-１〕，DATA〔F+１,３１９,Y-１〕で囲まれた矩形の画像データを、矩形領域{BUF〔０,０,０〕，BUF〔０,３１９,０〕，BUF〔０,０,２３９-Y〕，BUF〔０,３１９,２３９-Y〕}及び{BUF〔０,０,２４０-Y〕，BUF〔０,０,２４０-Y〕，BUF〔０,３１９,２３９〕，BUF〔０,３１９,２３９〕}にそれぞれ対応する様にして画像データバッファに矩形領域の画像データを転送し、格納する。
【００３５】
STEP１３では、要求された範囲の画像は縦横４フレームであるので、{DATA〔F,X,Y〕，DATA〔F,３１９,Y〕，DATA〔F,X,２３９〕，DATA〔F,３１９,２３９〕}，{DATA〔F+１,X,０〕，DATA〔F+１,３１９,０〕，DATA〔F+１,X,Y-１〕，DATA〔F+１,３１９,Y-１〕}，{DATA〔F+２,０,Y〕，DATA〔F+２,X-１,Y〕，DATA〔F+２,０,２３９〕，DATA〔F+２,X-１,２３９〕}及び{DATA〔F+３,０,０〕，DATA〔F+３,X-１,０〕，DATA〔F+３,０,Y-１〕，DATA〔F+３,X-１,Y-１〕}で囲まれた矩形の画像データを、矩形領域{BUF〔０,０,０〕，BUF〔０,３１９-X,０〕，BUF〔０,０,２３９-Y〕，BUF〔０,３１９-X,２３９-Y〕}，{BUF〔０,０,２４０-Y〕，BUF〔０,３１９-X,２４０-Y〕，BUF〔０,０,２３９〕，BUF〔０,３１９-X,２３９〕}，{BUF〔０,３２０-X,０〕，BUF〔０,３１９,０〕，BUF〔０,３２０-X,２３９-Y〕，BUF〔０,３１９,２３９-Y〕}及び{BUF〔０,３２０-X,２４０-Y〕，BUF〔０,３１９,２４０-Y〕，BUF〔０,３２０-X,２３９〕，BUF〔０,３１９,２３９〕}にそれぞれ対応する様にして画像データバッファに矩形領域の画像データを転送し、格納する。
【００３６】
上記STEP１０〜１３において画像データバッファに格納された（再構成された）各画像データは、画像配送機構０５により各受信端末から要求された画像範囲C_REQ〔F,X,Y〕に対応させて矩形領域の画像を上記各受信端末に送信する。
【００３７】
図５、図６を用いて複数の受信端末に対して各々要求された撮影範囲の画像を再構成する具体例を示す。
【００３８】
受信端末０(受信端末番号０)は、端末内部の指定手段により図５の(ア)の範囲の画像C_REQ(ア)〔０,１００,０〕を要求し、受信端末１(受信端末番号１)も同様にして図５の(イ)の範囲の画像C_REQ(イ)〔２,１１０,１２０〕を要求するものとする。
【００３９】
カメラはフルフレーム番号（時刻）０に対応するフルフレームをフレーム０、２、４、５、３、１の順に順次撮影し、一時記録装置０３に一時的に記録する。記録した画像データは(フルフレーム番号mod１０，フレーム番号，画素の列番号，画素の行番号)の４次元の配列データとして参照可能であるものとする。(modとは剰余演算を示す)ただし、本実施の形態では一時記録装置０３の容量は有限とし、フルフレームを１０個分まで記録できる容量しか持たない構成とするので、記録した画像データをフルフレーム番号（時刻）が１０を経過すると順次上書きされるものとして説明する。
【００４０】
再構成機構０４は、受信端末A０９及び受信端末B１０から要求される画像範囲C_REQ〔F,X,Y〕を受け、この範囲に応じて一時記録装置０３に蓄積してある画像データから要求フレーム（上記STEP１０〜１３で再構成された矩形領域の画像データ）を再構成して画像データバッファに格納した後、各受信端末へ配送する。
【００４１】
画像範囲の計算は以下のようにして行われる。(ただし、受信端末から要求される撮影範囲は、フルフレームからはみ出さないように訂正されているものとする)
【００４２】
受信端末０から要求された(ア)の範囲の画像C_REQ(ア)〔０,１００,０〕より、STEP００において画素行番号をチェックし、画素行番号が０であるため、STEP０１へ進む。
【００４３】
次にSTEP０１で画素列番号をチェックし、画素列番号が１００であるので、要求された範囲の画像は横２フレームで構成されているとしてSTEP１１へ進む。
【００４４】
STEP１１では、要求された範囲の画像は横２フレームであるのでDATA〔０,１００,０〕，DATA〔０,３１９,０〕，DATA〔０,１００,２３９〕，DATA〔０,３１９,２３９〕及びDATA〔２,０,０〕，DATA〔２,９９,０〕，DATA〔２,０,２３９〕，DATA〔２,９９,２３９〕で囲まれた矩形の画像データを、矩形領域BUF〔０,０,０〕，BUF〔０,２１９,０〕，BUF〔０,０,２３９〕，BUF〔０,２１９,２３９〕及びBUF〔０,２２０,０〕，BUF〔０,３１９,０〕，BUF〔０,０,２３９〕，BUF〔０,３１９,２３９〕にそれぞれ対応する様にして画像データバッファに矩形領域の画像データを転送し、格納する。
【００４５】
一方、受信端末１から要求された(イ)の範囲の画像C_REQ(イ)〔２,１１０,１２０〕より、STEP００において画素行番号をチェックし、画素行番号が１１０であるため、STEP０２へ進む。
【００４６】
次にSTEP０２において画素列番号をチェックし、画素列番号が１２０であるので、要求された範囲の画像は縦横２フレームで構成されているとしてSTEP１３へ進む。
【００４７】
STEP１３では、要求された範囲の画像は縦横４フレームであるので{DATA〔２,１１０,１２０〕，DATA〔２,３１９,１２０〕，DATA〔２,１１０,２３９〕，DATA〔２,３１９,２３９〕}，{DATA〔３,１１０,０〕，DATA〔３,３１９,０〕，DATA〔３,１１０,１１９〕，DATA〔３,３１９,１１９〕}，{DATA〔４,０,１２０〕，DATA〔４,１０９,１２０〕，DATA〔４,０,２３９〕，DATA〔４,１０９,２３９〕}及び{DATA〔５,０,０〕，DATA〔５,１０９,０〕，DATA〔５,０,１１９〕，DATA〔５,１０９,１１９〕}で囲まれた矩形の画像データを、矩形領域{BUF〔１,０,０〕，BUF〔１,２０９,０〕，BUF〔１,０,１１９〕，BUF〔１,２０９,１１９〕}，{BUF〔１,０,１２０〕，BUF〔１,１０９,１２０〕，BUF〔１,０,２３９〕，BUF〔１,１０９,２３９〕}，{BUF〔１,２１０,０〕，BUF〔１,３１９,０〕，BUF〔１,２１０,１１９〕，BUF〔１,３１９,１１９〕}及び{BUF〔１,２１０,１２０〕，BUF〔１,３１９,１２０〕，BUF〔１,２１０,２３９〕，BUF〔１,３１９,２３９〕}にそれぞれ対応する様にして画像データバッファに矩形領域の画像データを転送し、格納する。
【００４８】
以上のようにして、フルフレームの画像データの一部を再構成し、画像データバッファに転送、格納された画像データは、通信網０８を介して各受信端末に送信され、各受信端末で受信された画像データを表示する。
【００４９】
なお、以上説明した動作はフルフレーム番号（時刻）が更新されるごとに繰り返して行われるので、カメラ０１から撮影された動画像の各フルフレームに対して各受信端末が常に所望の領域の動画像を表示させることができる。
【００５０】
よって、各受信端末が擬似的にカメラ０１の撮影領域を指定して表示させることができる。
【００５１】
【発明の効果】
以上説明したように本発明によれば、広範囲の画像から各受信端末の要求範囲に応じた画像を示す画像データを各受信端末に送信する際に、受信端末が増加しても各受信端末の要求する撮影範囲の画像データを各受信端末に送信でき、かつ簡易な構成で前記画像データを各受信端末に送信することができる。
【図面の簡単な説明】
【図１】画像配送システムの構成を示す図
【図２】カメラの雲台固定時の撮影範囲を示す図
【図３】カメラの雲台可動時の撮影範囲を示す図
【図４】配送範囲指定に基づきフレームを再構成する際のチャート図
【図５】受信端末０９，１０が要求した配送範囲を示す図
【図６】受信端末０９，１０が要求した配送範囲と再構成され、配送される画像データの対応関係を示す図
【符号の説明】
００制御装置
０１カメラ
０２デコーダ
０３一時記録装置
０４画像再構成機構
０５画像配送機構
０６データバス
０７コントロールバス
０８通信網
０９受信端末

Claims

１つの被写体を複数のフレームに分割して撮影することにより得られた、前記複数のフレームのそれぞれに対応する複数の画像データを時刻情報及びフレームの識別情報と関連づけて第１記憶部に記憶させる記憶制御手段と、
前記被写体の全体領域から抽出されるべき領域座標の指示を受け付け、受け付けた指示に含まれる領域座標と前記時刻情報とフレーム識別情報とに基づき、前記第１記憶部から前記指示された領域座標の画像データを含み同一のフルフレームを構成する複数のフレームを選択し、選択された複数のフレームを前記第１記憶部から読み出し、読み出した複数のフレームを第２記憶部へと格納することにより、前記第２記憶部上に指示された領域座標に対応する画像データを再構成する処理手段と、
前記処理手段によって再構成された画像データを、前記受け付けた指示に対する応答として表示器に表示させるために出力する出力手段と、
を有することを特徴とする画像処理装置。
前記受け付けた指示は、ネットワークを介して接続された受信端末から受信した指示であり、前記出力手段は、前記受信端末に対して前記画像データを送信することを特徴とする請求項１に記載の画像処理装置。
前記記憶制御手段は、前記時刻情報により特定される複数のフレームを前記フルフレームを構成する１組として、複数組を前記第１記憶部に順次記憶することを特徴とする請求項１に記載の画像処理装置。
前記記憶制御手段は、前記時刻情報に応じて、前記第１記憶部上の前記複数のフレームからなる組を上書きすることを特徴とする請求項３に記載の画像処理装置。
前記受け付けた指示は、抽出すべき画像データを含む少なくとも１つのフレームのフレーム識別情報と前記１つのフレームに含まれる抽出すべき画像データの角位置のＸ座標情報とＹ座標情報とを含み、前記処理手段は、前記Ｘ座標情報とＹ座標情報を参照することにより、選択する複数のフレームを決定することを特徴とする請求項１に記載の画像処理装置。
１つの被写体を複数のフレームに分割して撮影することにより得られた、前記複数のフレームのそれぞれに対応する複数の画像データを時刻情報及びフレームの識別情報と関連づけて第１記憶部に記憶させる記憶制御工程と、
前記被写体の全体領域から抽出されるべき領域座標の指示を受け付け、受け付けた指示に含まれる領域座標と前記時刻情報とフレーム識別情報とに基づき、前記第１記憶部から前記指示された領域座標の画像データを含み同一のフルフレームを構成する複数のフレームを選択し、選択された複数のフレームを前記第１記憶部から読み出し、読み出した複数のフレームを第２記憶部へと格納することにより、前記第２記憶部上に指示された領域座標に対応する画像データを再構成する処理工程と、
前記処理工程によって再構成された画像データを、前記受け付けた指示に対する応答として表示器に表示させるために出力する出力工程と、
を有することを特徴とする画像処理方法。
前記受け付けた指示は、ネットワークを介して接続された受信端末から受信した指示であり、前記出力工程は、前記受信端末に対して前記画像データを送信することを特徴とする請求項６に記載の画像処理方法。
前記記憶制御工程は、前記時刻情報により特定される複数のフレームを前記フルフレームを構成する１組として、複数組を前記第１記憶部に順次記憶することを特徴とする請求項６に記載の画像処理方法。
前記記憶制御工程は、前記時刻情報に応じて、前記第１記憶部上の前記複数のフレームからなる組を上書きすることを特徴とする請求項８に記載の画像処理方法。
前記受け付けた指示は、抽出すべき画像データを含む少なくとも１つのフレームのフレーム識別情報と前記１つのフレームに含まれる抽出すべき画像データの角位置のＸ座標情報とＹ座標情報とを含み、前記処理工程は、前記Ｘ座標情報とＹ座標情報を参照することにより、選択する複数のフレームを決定することを特徴とする請求項６に記載の画像処理方法。