JP3550046B2 - カメラ画像伝送方法及びカメラ画像伝送システム - Google Patents
カメラ画像伝送方法及びカメラ画像伝送システム Download PDFInfo
- Publication number
- JP3550046B2 JP3550046B2 JP13266399A JP13266399A JP3550046B2 JP 3550046 B2 JP3550046 B2 JP 3550046B2 JP 13266399 A JP13266399 A JP 13266399A JP 13266399 A JP13266399 A JP 13266399A JP 3550046 B2 JP3550046 B2 JP 3550046B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- camera image
- transmitting
- control information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、カメラ装置により画像を撮影し、撮影した画像を所定のデータ通信回線により伝送するカメラ画像伝送方法及びカメラ画像伝送システムに関し、特に、魚眼レンズ等を用いたカメラ装置により入力される高解像度で画像歪みを有するカメラ画像を、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄ−Ｐｈｏｎｅ Ｓｙｓｔｅｍ）等の低速なデータ通信回線を用いて伝送し、画像受信側装置に接続される画像表示装置等に、画像歪みが補正された視野空間パノラマ画像を表示するカメラ画像伝送システムに適用して有効な技術に関するものである。
【０００２】
【従来の技術】
ＣＣＴＶ（Ｃｌｏｓｅｄ Ｃｉｒｃｕｉｔ Ｔｅ１ｅｖｉｓｉｏｎ）システムの分野においては、カメラ装置の監視可能範囲を向上するためカメラ装置にカメラ視点を変更する電動式雲台等の装置を具備したカメラ装置が開発されている。また、近年、魚眼レンズを用いることにより上下左右１８０°以上の視野空間画像（以下、魚眼レンズカメラ画像という）を同時に撮影可能としたカメラ装置が提案されている。魚眼レンズを用いる場合は、カメラ視点を変更するための装置を具備しなくても広範囲の可視領域を得ることができる。
魚眼レンズカメラ画像等は、レンズの特性に依存して、撮影された画像は撮影対象となる実像に対して歪みを有している。このため、魚眼レンズカメラ画像を、通常のレンズを用いたカメラ画像と同様に利用するためには、レンズの特性に依存して生じる画像歪みを補正する処理を行う必要があり、魚眼レンズカメラ画像の有する画像歪みを補正して上下左右１８０°以上の視野空間のパノラマ画像（以下、視野空間パノラマ画像という）を生成するアルゴリズムが提案されている。
また、従来、カメラ装置により撮影されたカメラ画像は、一画像フレーム毎に有線回線を利用して伝送されていたが、ＰＨＳ等の無線データ通信技術の発展に伴い、カメラ画像を無線データ通信回線により伝送するシステムも開発されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、通常のレンズを用いたカメラ装置にカメラ視点を変更する電動式雲台等の装置を具備し、遠隔繰作によりカメラ視点を変更し、撮影した画像をＰＨＳ等の低速なデータ通信回線を用いて伝送するシステムにおいて、目的位置のカメラ画像を得るためには、目的位置にカメラ視点が移動するまでの時間、及び目的位置にカメラ視点が移動するまでに送信される複数の画像の伝送遅延時間から、目的位置の画像を得るための待ち時間が長くなるという問題があった。
また、カメラ装置に電動式雲台等のカメラ視点変更用の装置を具備するとカメラ装置構成が複雑化するため、装置の保守における負担が増加することや、カメラ装置の小型化を実現することが困難であるという問題があった。
【０００４】
前述したカメラ視点の移動に起因する問題は、魚眼レンズ等を利用することで解決される。しかしながら、魚眼レンズを用いて撮影される画像歪みを有した魚眼レンズカメラ画像から、十分な画像品質を維持した視野空間パノラマ画像を得るためには、元となる魚眼レンズカメラ画像の解像度を極めて高くする必要があり、画像一枚あたりのデータ量が大きくなる。そのため、ＰＨＳ等の低速なデータ通信回線を介して画像を伝送する場合に、画像一枚辺りの伝送に要する時間が長くなる。
したがって、高解像度の魚眼レンズカメラ画像等を、ＰＨＳ等を介して伝送する場合には、画像受信側装置より画像を撮影するための制御情報をカメラ画像送信側端末装置に送った後、画像受信側端末装置に接続される画像表示装置等に画像が表示されるまでの遅延時間が大きくなる。また、魚眼レンズカメラ画像を、連続的に撮影し伝送する場合には、画像伝送遅延時間が大きくなるとともに、画像フレームレートが低くなるという問題があった。
さらに、魚眼レンズカメラ画像等の有する画像歪みを補正するための処理時間も、画像受信側装置に接続される画像表示装置等にカメラ画像が表示されるまでの遅延時間の増加や画像フレームレートの低下の要因となる。
【０００５】
本発明の目的は、カメラ画像伝送システムにおいて、画像受信側装置がカメラ画像送信側端末装置に対してカメラ画像の送信を指示する制御情報を送信してから、画像受信側装置に接続された画像表示装置等に視野空間パノラマ画像が出力されるまでの遅延時間を短縮することが可能な技術を提供することにある。
本発明の他の目的は、カメラ画像伝送システムにおいて、連続的にカメラ画像を伝送する場合に、高い画像フレームレートを得ることが可能な技術を提供することにある。
本発明の前記ならびにその他の目的及び新規な特徴は、本明細書の記述及び添付図面によって明らかにする。
【０００６】
【課題を解決するための手段】
本願において開示される発明のうち代表的なものの概要を簡単に説明すれば、以下のとおりである。
（１）撮影対象となる実像に対してレンズの特性に依存する画像歪みを有する高解像度のカメラ画像を撮影し、この撮影された画像を符号化し、所定のデータ通信回線を用いて伝送する画像伝送方法において、カメラ画像送信側で、前記撮影されたカメラ画像を複数個の部分領域画像に分割し、この分割された各部分領域画像毎に符号化して画像データフレームを構成し、この構成された画像データフレームを画像受信側に送信し、この送信された画像データフレームを画像受信側で受信し、この受信された各画像フレームに含まれる部分領域画像毎に復号化処理を行うとともに、前記画像データフレームに含まれる領域位置範囲情報を用いて画像歪みの補正処理を行う方法である。
【０００７】
（２）前記手段（１）のカメラ画像伝送方法において、前記画像歪みの補正処理は、前記画像データフレームに含まれる前記領域位置範囲情報に基づき、前記画像データフレームに含まれる部分領域画像の各画素の位置情報を求め、この求められた各画素の位置情報により、前記部分領域画像の有するレンズの特性に依存した画像歪みを補正し、前記領域位置範囲情報で規定される位置に部分領域画像をはめ込み、歪み補正されたカメラ画像を再構築する方法である。
【０００８】
（３）前記手段（１）又は（２）のカメラ画像伝送方法において、前記画像受信側で、所望の１個の前記カメラ画像送信側に対する制御情報を送信し、もしくは複数個の前記カメラ画像送信側に対する制御情報を同時に送信し、前記カメラ画像送信側が前記撮影されたカメラ画像を分割して送信する場合に、前記画像受信側は、前記分割された各部分領域画像の画像データフレームの送信順序を規定する送信順序制御情報を、１個もしくは複数個の前記カメラ画像送信側に送信し、前記カメラ画像送信側は、前記送信順序制御情報が受信された場合に、前記受信された前記送信順序制御情報により規定される送信順序にしたがって画像データフレームの送信を行う方法である。
【０００９】
（４）前記手段（１）乃至（３）のうちいずれか１個のカメラ画像伝送方法において、前記画像受信側は、所望の１個の前記カメラ画像送信側に対する制御情報を送信し、もしくは複数個の前記カメラ画像送信側に対する制御情報を同時に送信し、前記画像受信側は、所望の時点に、前記カメラ画像の分割形式を規定する分割形式制御情報を、１個もしくは複数個の前記カメラ画像送信側に送信し、前記カメラ画像送信側は、前記分割形式制御情報が受信された場合に、前記受信された前記分割形式制御情報により規定される分割形式にしたがって画像データフレームの送信を行う方法である。
【００１０】
（５）カメラ画像送信手段と、該カメラ画像送信手段と通信回線を介して通信する画像受信手段とを具備する画像伝送システムにおいて、カメラ画像送信手段は、撮影対象となる実像に対してレンズの特性に依存する画像歪みを有する高解像度のカメラ画像を撮影するカメラ装置と、該カメラ装置で撮影された画像データを符号化する画像符号化手段と、前記撮影されたカメラ画像を複数個の部分領域画像に分割し、この分割された各部分領域画像毎に前記画像符号化手段により符号化するとともに各部分領域画像に対応する領域位置範囲を示す情報を付加した画像データフレームを構築する画像分割制御手段と、前記構築された画像データフレームの送信制御を行う画像送信制御手段とを具備し、前記画像受信手段は、前記送信された画像データフレームを受信し、この受信された各画像フレームに含まれる部分領域画像毎に復号化処理を行う画像復号化手段と、前記画像データフレームに含まれる領域位置範囲情報を用いて画像歪みの補正処理を行う画像歪み補正手段と、画像歪みが補正されたカメラ画像を再構築する画像再構築手段とを具備するシステムである。
【００１１】
（６）前記手段（５）のカメラ画像伝送システムにおいて、前記画像歪みの補正手段は、前記画像データフレームに含まれる前記領域位置範囲情報に基づき、前記画像データフレームに含まれる部分領域画像の各画素の位置情報を求め、この求められた各画素の位置情報により、前記部分領域画像の有するレンズの特性に依存した画像歪みを補正する手段からなり、前記画像再構築手段は、前記画像歪みが補正された部分領域画像を前記領域位置範囲情報で規定される位置にはめ込んで、歪み補正されたカメラ画像を再構築する手段からなるシステムである。
【００１２】
（７）前記手段（５）又は（６）のカメラ画像伝送システムにおいて、前記画像受信手段は、所望の１個の前記カメラ画像送信側に対する制御情報を送信し、もしくは複数個の前記カメラ画像送信側に対する制御情報を同時に送信する手段と、前記カメラ画像送信手段が前記撮影されたカメラ画像を分割して送信する場合に、前記分割された各部分領域画像の画像データフレームの送信順序を規定する送信順序制御情報を、１個もしくは複数個の前記カメラ画像送信手段に送信する手段とを具備し、前記カメラ画像送信手段は、前記送信順序制御情報が受信された場合に、前記受信された前記送信順序制御情報により規定される送信順序にしたがって画像データフレームを送信する手段を具備するシステムである。
【００１３】
（８）前記手段（５）乃至（７）のうちいずれか１個のカメラ画像伝送システムにおいて、前記画像受信手段は、所望の１個の前記カメラ画像送信側に対する制御情報を送信し、もしくは複数個の前記カメラ画像送信側に対する制御情報を同時に送信する手段と、所望の時点に、前記カメラ画像の分割形式を規定する分割形式制御情報を、１個もしくは複数個の前記カメラ画像送信手段に送信する手段とを具備し、前記カメラ画像送信手段は、前記分割形式制御情報が受信された場合に、前記受信された前記分割形式制御情報により規定される分割形式にしたがって画像データフレームを送信する手段を具備するシステムである。
【００１４】
前記手段（１）によれば、画像受信側装置からカメラ画像送信側端末装置に対してカメラ画像の送信が要求されてから、画像受信側装置に接続される画像表示装置に対して画像を出力するまでの遅延時間の低減が図れるとともに、カメラ画像を連続的に伝送する場合の画像フレームレートの向上が図れる。
【００１５】
前記手段（４）乃至（６）によれば、画像受信側装置において、特定の部分領域画像を迅速に取得する必要が生じた場合、制御情報送信手段により、カメラ画像を必要な部分領域画像へ分割することを指示する第一の制御情報を、カメラ画像送信側端末装置に送信するとともに、前記第一の制御情報にしたがってカメラ画像を分割し構築された画像データフレームの送信順序を規定する第二の制御情報を、カメラ画像送信側端末装置に送信し、必要な画像データフレームの送信を優先させることによって、画像受信側装置は、必要とする部分領域画像を迅速に取得することが可能となる。
【００１６】
前記手段（７）のカメラ画像伝送システムによれば、カメラ画像送信側端末装置は、画像受信側装置より、任意の枚数のカメラ画像を一定の画像フレームレートで連続撮影することを指示する第三の制御情報を受信した場合、前記第三の制御情報に基いた撮影タイミングでカメラ画像を連続撮影し、画像データ記憶手段にバッファリングする。その後、画像データ記憶手段にバッファリングされているカメラ画像を逐次伝送する。
【００１７】
これにより、伝送可能な画像フレームレートより、高い画像フレームレートで連続撮影された複数のカメラ画像が必要な場合に、画像受信側装置からの指示に従って一時的に画像データ記憶手段にバッファリング可能な任意の枚数分だけ、任意の画像フレームレートで連続撮影したカメラ画像を送信することが可能となる。
以下、本発明について、図面を参照して、発明の実施形態（実施例）とともに詳細に説明する。
【００１８】
【発明の実施の形態】
以下の本発明の実施形態（実施例）は、カメラ画像を送信するカメラ画像送信側端末装置が魚眼レンズカメラを用いることを仮定した場合について説明している。
図１は、本発明の実施形態（実施例）のカメラ画像伝送システムを利用する通信システムの一構成例を示す模式図である。この図１の構成例は、カメラ画像の伝送に無線データ通信回線を利用する場合について示している。
【００１９】
図１に示すように、カメラ画像送信側端末装置１は、無線データ送信手段１０によりＰＨＳ非制限デジタルベアラやＩＥＥＥ８０２．１１に準拠する無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の無線データ通信回線３を用いて画像受信側装置２と通信し、魚眼レンズカメラ４より入力されるカメラ画像を送信する。画像受信側装置２は、画像受信側装置２の無線データ受信手段２０により、１個または複数個のカメラ画像送信側端末装置１と無線データ通信回線３を介して通信を行う。
【００２０】
無線データ送信手段１０と無線データ受信手段２０は、無線データ通信回線において発生する伝送誤りを訂正し、伝送誤りのない透過なデータ通信を実現するためのデータリンク層データ伝送制御機能を提供する。例えば、ＰＨＳ非制限デジタルベアラを利用する場合においては、ＰＩＡＦＳ（ＰＨＳ Ｉｎｔｅｒｎｅｔ Ａｃｃｅｓｓ Ｆｏｒｕｍ Ｓｔａｎｄａｒｄ）手順や、ＨＤＬＣ（Ｈｉｇｈ−１ｅｖｅｌ Ｄａｔａ Ｌｉｎｋ Ｃｏｎｔｒｏｌ）手順等のデータ伝送制御機能を提供する。
【００２１】
画像受信側装置２には、受信された画像を表示するための画像表示装置５や、任意のカメラ画像送信側端末装置１あるいは複数個のカメラ画像送信側端末装置１に対する制御を行うための制御パネル６が接続される。
【００２２】
また、画像受信側装置２を通信ネットワーク７に接続し、通信ネットワーク７に接続されるＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）端末８と通信し、カメラ画像送信側装置１より受信した画像をＰＣ端末８に送信し表示するとともに、ＰＣ端末８からカメラ画像送信側端末装置１を制御するための信号を受信する場合もある。例えば、ＩＳＤＮ（Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅ Ｄｉｇｉｔａｌ Ｎｅｔｗｏｒｋ）回線に接続する場合には、画像受信側装置２は、Ｈ．３２０に準拠するＴＶ会議端末等と通信し、ＬＡＮやＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）パケット通信ネットワークに接続される場合には、画像受信側装置は、Ｈ．３２０に準拠するＴＶ（Ｔｅｌｅｖｉｓｉｏｎ）会議通信システム等を実装したＰＣ端末８と通信する。
【００２３】
また、画像受信側装置２は、該画像受信側装置２に直接接続されるデータ蓄積装置９、あるいは、通信ネットワーク７を介して接続されるデータ蓄積装置９に受信した画像データを蓄積することが可能である。
【００２４】
図２は、本発明による一実施形態のカメラ画像伝送システムの概略構成を示すブロック構成図である。
本実施形態のカメラ画像伝送システムは、図２に示すように、魚眼レンズを有するカメラ画像送信側端末装置１と、１個のカメラ画像送信側端末装置１と無線データ通信回線３を介して通信する画像受信側装置２とで構成されている。
【００２５】
前記カメラ画像送信側装置１は、上下左右１８０°以上の視野角を有する魚眼レンズ１１と、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の固体撮影素子により魚眼レンズより入力される画像を電気信号に変換するイメージセンサ１２と、イメージセンサ１２によって電気信号に変換された画像のデジタル量子化等を行うＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１３と、このＤＳＰ１３によりデジタル化された画像データを記憶する画像データ記憶手段１４と、画像データをＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）により符号化する画像符号化手段１５と、魚眼レンズカメラ画像を複数の部分領域に分割し、各部分領域画像毎に前記画像符号化手段１５により符号化するとともに領域位置範囲情報を付加した画像データフレーム３０を構成する画像分割制御手段１６と、画像データフレーム３０を無線データ通信回線３により送信する無線データ送信手段１０と、画像データフレームの送信制御を行う画像送信制御手段１７から構成される。
【００２６】
前記画像受信側装置２には、受信した画像を表示する画像表示装置５と、カメラ画像送信側端末装置の制御を行うための制御パネル６が接続されている。
画像受信側装置２は、カメラ画像送信側端末装置１から無線データ通信回線３を介して送信される画像データフレーム３０等を受信する無線データ受信手段２０と、受信された画像データフレームに含まれる符号化データに対する復号化処理を行う画像復号化手段２１と、前記画像データフレームに含まれる領域位置範囲情報を用いて、前記画像データフレームに含まれる部分領域画像の各画素の位置情報を求め、前記各画素の位置情報を魚眼レンズの特性に対応する位置依存型歪み補正関数に代入することで、前記部分領域画像の有する魚眼レンズの特性に依存した画像歪みを補正する画像歪み補正手段２２と、領域位置範囲情報で規定される位置に歪みが補正された前記部分領域画像をはめ込むことで、歪み補正されたカメラ画像を再構築する画像再構築手段２３と、画像データを記憶する受信画像データ記憶手段２４と、画像を画像表示装置や所定の通信ネットワーク等に出力するための出力インタフェース２５と、さらに、制御パネルや所定の通信ネットワーク等からの制御情報３５を入力するための制御情報の入力インタフェース２６と、制御情報３５をカメラ画像送信側端末装置１に送信するための制御情報送信手段２７から構成される。
【００２７】
一般に、カメラ画像送信側端末装置１は、小型化が求められるとともに、図１及び図２に示したように無線データ通信回線３を利用して画像受信側装置２と通信を行う場合等では、可搬性を維持するためにカメラ画像送信側端末装置１内に具備されるバッテリーにより動作するため、消費電力が少ないことが求められる。このことから、カメラ画像送信側端末装置１において高い演算処理能力を実現することは困難である。
これに対して画像受信側装置２は、一般に、コンセント等から電源を供給できることから消費電力等に対する制限がなく、高い演算処理能力を実現できる。
【００２８】
本実施形態のカメラ画像伝送システムは、図２に示したように、比較的処理量の大きい画像歪み補正処理をカメラ画像送信側端末装置１で行わず、処理能力の高い画像受信側装置２に画像歪み補正手段２２を有する構成としている。これにより、画像歪み補正処理に要する処理時間の短縮が図れる。
【００２９】
また、魚眼レンズ１１によるカメラ画像等では、画像歪み補正処理を施した後の視野空間パノラマ画像の方が、画像歪み補正処理を施さない魚眼レンズ１１によるカメラ画像に比較してデータ量が増加するため、画像受信側装置２で画像歪み補正処理を行う構成にすることにより、カメラ画像送信側端末装置１で画像歪み補正処理を行う場合に比較して、データ通信回線３を効率的に利用できる。
【００３０】
なお、画像歪み補正手段２２による画像歪み補正処理は、画像データフレームに付加される領域位置範囲情報を用いて、部分領域画像内の各画素の位置情報、すなわち、各画素の画像全体における座標位置、及び各画素の魚眼レンズ１１より入力される円形画像の中心点からの距離を算出し、これらの数値を文献「Ｓｈｉｓｈｉｒ Ｓｈａｈ，Ｊ．Ｋ．Ａｇｇａｒｗｅｌ，″Ｉｎｔｒｉｎｓｉｃ Ｐａｒａｍｅｔｅｒ Ｃａｌｉｂｒａｔｉｏｎ Ｐｒｏｃｅｄｕｒｅ ｆｏｒ Ａ（Ｈｉｇｈ−Ｄｉｓｔｏｒｔｉｏｎ）Ｆｉｓｈ−Ｅｙｅ Ｌｅｎｓ Ｃａｍｅｒａ Ｗｉｔｈ Ｄｉｓｔｏｒｔｉｏｎ Ｍｏｄｅｌ ａｎｄ Ａｃｃｕｒａｃｙ Ｅｓｔｉｍａｔｉｏｎ，″Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，２９，ｐｐ．１７７５〜１７８８」等に記載の魚眼レンズの位置依存型歪み補正関数に入力していくことにより実現する。
【００３１】
図３乃至図７は、本実施形態のカメラ画像伝送システムにおける各種カメラ画像伝送の手順について説明するための図である。
本実施形態のカメラ画像伝送システムは、図２に示すように、画像受信側装置２の制御情報送信手段２７から無線データ通信回線３を介してカメラ画像送信側端末装置１の画像送信制御手段１７に制御情報３５を送信し、カメラ画像送信側端末装置１を制御することにより、任意の時点で撮影された魚眼レンズカメラ画像の全体、もしくは、魚眼レンズカメラ画像の部分領域画像を伝送する。これにより逐次撮影された魚眼レンズカメラ画像の全体、もしくは、魚眼レンズカメラ画像の部分領域画像を連続的に伝送することが可能である。
【００３２】
図３乃至図５に示す例は、カメラ画像送信側端末装置１において、任意の時点で撮影されたカメラ画像の全体を送信する場合、及び逐次撮影されたカメラ画像の全体を連続的に送信する場合について説明している。
図３は、カメラ画像送信側端末装置１に具備される画像分割制御手段１６によるカメラ画像３１の分割形式の一例を示す図である。
【００３３】
本実施形態のカメラ画像伝送システムにおいて、カメラ画像送信側端末装置１の画像分割制御手段１６は、撮影されるカメラ画像を、画像受信側装置２より送信される第１の制御情報により規定される分割方式にしたがって１個以上の部分領域に分割する。ただし、画像受信側装置２よりカメラ画像の分割方式を指示する第１の制御情報が送信されない場合、カメラ画像送信側端末装置１の画像分割制御手段１６は既知の分割方式にしたがってカメラ画像を分割する。
【００３４】
前記図３に示す分割形式は、魚眼レンズカメラより撮影されるカメラ画像３１の分割形式の一例であり、この図３の例では、カメラ画像３１を３４個の部分領域画像３２に分割しており、カメラ画像３１の中央上部に位置する斜線で示した１個の部分領域画像３２に対応する領域位置範囲情報３３は（３，１）である。
【００３５】
図３の例では、各部分領域画像が正方形となるように分割しているが、分割形式として、各部分領域画像をそれぞれ任意の大きさの長方形や台形などの多角形型にする形式や、各部分領域画像を任意の曲線により規定される範囲で分割する形式等を適用することができる。
【００３６】
図４は、前記画像分割制御手段１６により生成される画像データフレーム３０の一構成例を示す図である。
図４に示すように、画像データフレーム３０は、画像符号化手段１５により符号化された部分領域画像符号化データ４１に、その部分領域画像に対応する領域位置範囲情報３３を付加した構成となる。
【００３７】
図５は、カメラ画像送信側端末装置１に具備される画像送信制御手段１７による部分領域画像３２の送信順序の一例を示す図である。
本実施形態のカメラ画像伝送システムにおいて、カメラ画像送信側端末装置１の画像送信制御手段１７は、画像受信側装置２の制御情報送信手段２７より送信される画像データフレームの送信順序を規定する第２の制御情報にしたがって画像データフレームを送信する。ただし、画像受信側装置２より画像データフレームの送信を制御する第２の制御情報が送信されない場合、カメラ画像送信側端末装置１の画像送信制御手段１７は既知の送信順序にしたがって画像データフレームを送信する。
【００３８】
図５は、カメラ画像３１を図３の例にしたがって分割した場合における各部分領域画像の送信順序の一例を示し、図５中の各部分領域画像３２の中に記載された数字が送信順序３４を示している。この図５の例では、カメラ画像３１の中央上部に位置する斜線で示した一つの部分領域画像３２の送信順序３４は１０番目である。
【００３９】
また、魚眼レンズカメラ画像は、円形の画像となるため、一般の正方形に固体撮影素子が敷き詰められたイメージセンサにより入力される正方形のカメラ画像３１の角部には画像情報を含まない部分が存在する。このため、図５に示すように、正方形のカメラ画像の角部に相当する部分領域画像、すなわち、図３中の領域位置範囲情報（１１，１１），（１２，１１），（１１，１２），（５１，１１），（５２，１１），（５１，１２），（１１，５１），（１１，５２），（１２，５２），（５２，５１），（５１，５２），（５２，５２）に対応する部分領域画像３２には、送信順序を割り当てず、これらの部分領域画像３２は送信の対象としない。
これにより、正方形のカメラ画像を全て送信する場合に比較して、送信するデータ量が削減され、魚眼レンズカメラ画像の伝送効率の向上が図れる。
【００４０】
図２乃至図５に示す例において、本実施形態のカメラ画像伝送システムのカメラ画像送信側端末装置１は、画像分割制御手段１６により、カメラ画像３１を図３に示した複数の部分領域画像３２に分割し、一つの部分領域画像３２に対応する画像データを画像符号化手段１５により符号化し、図４に示した画像データフレーム３０を構築する。そして、画像送信制御手段１７により各画像データフレーム３０を、図５に示す送信順序に従って無線データ送信手段１０により、画像受信側装置２へ送信する。
【００４１】
画像受信側装置２は、受信された画像データフレーム３０に含まれる部分領域画像符号化データ４１を画像復号化手段２１により復号化し、画像歪み補正手段２２は、画像データフレームに含まれる領域位置範囲情報３３を用いて部分領域画像３２が有する歪みの特性を算出し、画像歪みを補正する処理を行う。そして、画像再構築手段２３により、歪みが補正された部分領域画像３２を領域位置範囲情報３３により規定される位置にはめ込む画像再構築処理を行う。
【００４２】
前述の手順でカメラ画像の伝送処理を行うことにより、最後の画像データフレーム３０に対する処理が終了した時点で、即座に、魚眼レンズカメラ画像の対応する視野空間パノラマ画像が、受信画像データ記憶手段２４内に構築され、出力インタフェース２５を介して画像表示装置５に前記視野空間パノラマ画像を出力することができる。
【００４３】
また、最後の画像データフレームが受信されるまでの間に、既に画像受信側装置２に受信され、画像再構築手段２３による画像再構築処理までが終了し、受信画像データ記憶手段２４に保持されている画像データを用いることにより、逐次、部分的な視野空間パノラマ画像を画像表示装置５に出力し利用することができる。
【００４４】
ただし、この時点で、画像表示装置５に出力される視野空間パノラマ画像は、部分的にまだ受信されていない画像を含むため、受信されていない部分については、特定の色で覆い補完する、もしくは、魚眼レンズカメラ画像を連続的に受信する場合においては、直前に受信された魚眼レンズカメラ画像中の同じ領域の部分領域画像から生成される画像により補完する等の処理を画像再構築手段２３により行う。
【００４５】
特に、ＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）やＳＶＧＡの解像度を有する一般の画像表示装置５を用いる場合においては、視野空間パノラマ画像全体を同時に表示することは不可能であることから、画像表示装置５には視野空間パノラマ画像が部分的に表示されており、適時、制御パネル６に対するユーザ操作に応じて表示する部分領域を変更する。
【００４６】
図３及び図５に示した例は、ＶＧＡやＳＶＧＡの解像度を有する一般の画像表示装置を用いる場合において、図３中の領域位置範囲情報（３，３）に対応する部分領域画像が、画像受信側装置２の画像表示装置における表示の対象となっている場合に対応する。
【００４７】
この場合には、図５に示すように領域位置範囲情報（３，３）に対応する部分領域画像３２の送信順序３４を１番に設定する。画像受信側装置２は、１番目に受信される領域位置範囲情報（３，３）の画像データフレームに対して復号化処理及び画像歪み補正処理を行ったうえ、この画像データを即座に画像表示装置に出力する。
これにより、画像受信側装置２からカメラ画像３１の送信を要求する処理を行った後から、画像表示装置５に視野空間パノラマ画像が表示されるまでの遅延時間が効果的に短縮される。
【００４８】
また、本実施形態のカメラ画像伝送システムにおいては、画像受信側装置２は、受信された画像データフレーム３０に含まれる部分領域画像符号化データ４１を画像復号化手段２１により復号化した後、画像歪み補正手段２２による画像歪み補正処理を行わず、画像再構築手段２３により領域位置範囲情報３３により規定される位置にはめ込む処理を行うことも可能である。
この場合、受信画像データ記憶手段２４には、視野空間パノラマ画像ではなく、魚眼レンズカメラ画像がそのまま再構築され、これを画像表示装置５に出力することができる。
【００４９】
さらに、前述の視野空間パノラマ画像を生成する場合と同様に、最後の画像データフレームが受信されるまでの間に、画像受信側装置２に受信され、既に画像再構築処理が終了し受信画像データ記憶手段２４に保持されている画像データを利用して、逐次、部分的な魚眼レンズカメラ画像を画像表示装置５に出力することができる。
【００５０】
この時点で、画像表示装置５に出力される魚眼レンズカメラ画像は、部分的にまだ受信されていない画像を含むため、受信されていない部分については、特定の色で覆い補完する。もしくは、魚眼レンズカメラ画像を連続的に受信する場合においては、直前に受信された魚眼レンズカメラ画像中の同じ領域の部分領域画像により補完する等の処理を画像再構築手段２３により行う。
【００５１】
本実施形態のカメラ画像伝送システムは、一枚のカメラ画像を複数の画像データフレームに分割し送信している途中に、画像データフレームの送信順序を変更することができる。
【００５２】
図６は、一枚のカメラ画像の送信中に画像データフレームの送信順序を変更する場合における画像送信制御手段１７の動作フロチャート例を示す図である。
図６の動作フロチャートは、カメラ画像送信側端末装置１が、一枚のカメラ画像３１全体を送信した後、連続して次に撮影されたカメラ画像３１全体を送信する場合について示している。
【００５３】
通常、画像送信制御手段１７は、図６に示すように、既知の、もしくは、画像受信側端末装置１から送信された送信順序を制御する第２の制御情報により規定される送信順序に従って画像データフレーム３０を送信して行く（Ｓ６０１）。画像受信側装置２は、一枚のカメラ画像３１の受信中に、制御パネル６から特定の部分領域画像３２の送信を要求する信号が入力された場合、制御情報送信手段２７により対応する部分領域画像３２の領域位置範囲情報３３を含む送信順序変更を目的とした第２の制御情報を、カメラ画像送信側端末装置１に送信する。
【００５４】
前記画像送信制御手段１７が、前記第２の制御情報を画像受信側装置２より受信したかを調べ（Ｓ６０２）、前記第２の制御情報を受信していた場合（Ｙｅｓ）、受信した制御情報に対応する画像データフレームは未送信かを調べる（Ｓ６０３）。未送信であれば（Ｙｅｓ）、受信した制御情報に対応する画像データフレームの送信を行う（Ｓ６０４）。送信していなければ（Ｎｏ）、画像データフレーム３０の送信順序を変更し、受信した第２の制御情報に含まれる領域位置範囲情報３３に対応する画像データフレーム３０を優先して送信する（Ｓ６０５）。
【００５５】
次に、全ての画像データフレームの送信が完了したかを調べ（Ｓ６０６）、完了していれば（Ｙｅｓ）、魚眼レンズ視野空間画像の送信を終了し（Ｓ６０７）、魚眼レンズ視野空間画像の撮影処理を行う（Ｓ６０８）。全ての画像データフレームの送信が完了していなければ（Ｎｏ）、前記ステップＳ６０２に戻り、前記の処理動作を繰り返す。
【００５６】
これにより、画像受信側装置２に接続される制御パネル６から特定の部分領域画像３２の送信が要求された場合に、即座に、カメラ画像送信側端末装置１が、要求される部分画像領域３２に対応する画像データフレーム３０を送信し、画像受信側装置２において復号化処理等を行い、画像表示装置５に出力することができる。
【００５７】
例えば、視野空間パノラマ画像全体を同時に表示することは不可能であるＶＧＡやＳＶＧＡの解像度を有する一般の画像表示装置５を用いる場合、一枚のカメラ画像の送信中に、ユーザ繰作により表示する部分領域画像が変更された時に、前述した手順を用いて、新たに表示の対象となった部分領域画像の送信を優先することにより、低遅延時間で新たに表示の対象となった部分領域画像を画像表示装置５に出力することができる。
【００５８】
前述の本実施形態では、カメラ画像送信側端末装置１が、常に撮影された魚眼レンズカメラ画像全体を送信する場合について述べたが、本発明のカメラ画像伝送システムでは、画像受信側装置２に接続される画像表示装置５に、カメラ画像の特定の部分領域画像をできる限り高い画像フレームレートで表示させる必要がある場合等には、カメラ画像全体ではなく、必要な部分領域画像のみを送信する。
【００５９】
図７は、カメラ画像の一部の部分領域画像のみを送信する場合の、画像受信側装置２から送信される第２の制御情報３５により規定される部分領域画像３２の送信順序の一例を示す図である。
【００６０】
図７は、カメラ画像３１を図３の例にしたがって分割した場合における各部分領域画像の送信順序の一例を示している。図７中の各部分領域画像３２の中に記載された数字が送信順序３４を示しており、この図７の例では、カメラ画像３１の中央に位置する斜線で示した一つの部分領域画像３２の送信順序３４は１番目である。
【００６１】
図７の例では、図３における領域位置範囲情報（３，２），（４，２），（３，３），（４，３）に対応する部分領域画像以外には送信順序を割り当てず、領域位置範囲情報（３，２），（４，２），（３，３），（４，３）に対応する部分領域画像以外は送信の対象としない。
【００６２】
以下に、図２乃至図４及び図７により、本実施形態のカメラ画像伝送システムにおいて、カメラ画像の一部の部分領域画像のみを送信する場合のカメラ画像伝送の手順について説明する。
【００６３】
カメラ画像送信側端末装置１は、画像分割制御手段１６により、カメラ画像３１を図３に示した複数の部分領域画像３２に分割し、一つの部分領域画像３２に対応する画像データを画像符号化手段１５により符号化し、図４に示した画像データフレーム３０を構築する。そして、画像送信制御手段１７により各画像データフレーム３０を、図７に示す送信順序に従って無線データ送信手段１０により、画像受信側装置２へ送信する。
【００６４】
画像受信側装置２は、受信された画像データフレーム３０に含まれる部分領域画像符号化データ４１を画像復号化手段２１により復号化し、画像歪み補正手段２２は、画像データフレームに含まれる領域位置範囲情報３３を用いて部分領域画像３２が有する歪みの特性を算出し、画像歪みを補正する処理を行う。そして、画像再構築手段２３により、歪みが補正された部分領域画像３２を領域位置範囲情報３３により規定される位置にはめ込む画像再構築処理を行う。
【００６５】
また、画像受信側装置２は、受信された画像データフレーム３０に含まれる部分領域画像符号化データ４１を画像復号化手段２１により復号化した後、画像歪み補正手段２２による画像歪み補正処理を行わず、画像再構築手段２３により領域位置範囲情報３３により規定される位置にはめ込む処理を行う。前記画像再構築手段２３で再構築された画像は受信画像データ記憶手段２４に記憶される。
【００６６】
また、カメラ画像送信側端末装置１は、画像受信側装置２より、任意の枚数のカメラ画像を一定の画像フレームレートで連続撮影することを指示する第３の制御情報３５を受信した場合、前記第３の制御情報３５により指定された撮影タイミングでカメラ画像３１を連続撮影し、画像データ記憶手段１４にバッファリングする。その後、画像データ記憶手段１４にバッファリングされているカメラ画像３１を逐次伝送する。
【００６７】
この際、画像データ記憶手段１４にバッファリングされている各カメラ画像３１の伝送手順は、前述したカメラ画像３１の伝送手順と同様であり、各カメラ画像３１全体を伝送すること、もしくは、各カメラ画像３１の一部の部分領域画像３２を伝送することが可能である。
【００６８】
以上の手順により、低速なデータ通信回線で伝送可能な画像フレームレートよりも高い画像フレームレートで連続撮影された複数のカメラ画像が必要な場合に、一時的に画像データ記憶手段１４にバッファリング可能な任意の枚数分だけ、任意の画像フレームレートで連続撮影したカメラ画像を伝送することが可能となる。
【００６９】
【発明の効果】
本願において開示される発明のうち代表的なものによって得られる効果は以下のとおりである。
（１）魚眼レンズ等を用いたカメラ装置により入力される高解像度かつ画像歪みを有するカメラ画像を、ＰＨＳ等の低速なデータ通信回線を用いて伝送し、画像受信側装置の画像表示装置等に、視野空間パノラマ画像等を表示する場合に、カメラ画像送信側端末装置が撮影されたカメラ画像を複数の部分領域に分割し画像データフレームを構築し送信すること、及び処理量の多い画像歪み補正処理を処理能力の高い画像受信側装置で処理することにより、カメラ画像の分割方式及び画像データフレームの送信順序を適時、画像受信側装置から制御することができるので、低速なデータ通信回線を効率良く利用することができる。
（２）画像受信側装置がカメラ画像送信側端末装置に対してカメラ画像の送信を指示してから、画像受信側装置の画像表示装置に視野空間パノラマ画像等が出力されるまでの遅延時間を低減（短縮）することができる。
（３）カメラ画像送信側端末装置の画像データ記憶部に複数のカメラ画像をバッファリングした後に、バッファリングされたカメラ画像を送信することにより、高い画像フレームレートでのカメラ画像を得ることができる。
【図面の簡単な説明】
【図１】本発明によるカメラ画像伝送システムを利用する通信システムの構成例を示す模式図である。
【図２】本発明による実施形態のカメラ画像伝送システムの概略構成を示すブロック構成図である。
【図３】本実施形態のカメラ画像の領域分割の一例を示す図である。
【図４】本実施形態の画像データフレームの一構成例を示す図である。
【図５】本実施形態の部分領域画像の送信順序の一例を示す図である。
【図６】本実施形態の画像送信制御手段の動作フロチャートの一例を示す図である。
【図７】本実施形態のカメラ画像の領域分割の別の例を示す図である。
【符号の説明】
１…カメラ画像送信側端末装置、２…画像受信側装置、３…無線データ通信回線、４…魚眼レンズカメラ、５…画像表示装置、６…制御パネル、７…通信ネットワーク、８…ＰＣ端末、９…データ蓄積装置、１０…無線データ送信手段、
１１…魚眼レンズ、１２…イメージセンサ、１３…ＤＳＰ、１４…画像データ記憶手段、１５…画像符号化手段、１６…画像分割制御手段、１７…画像送信制御手段、２０…無線データ受信手段、２１…画像復号化手段、２２…画像歪み補正手段、２３…画像再構築手段、２４…受信画像データ記憶手段、２５…出力インタフェース、２６…入力インタフェース、２７…制御情報送信手段、３０…画像データフレーム、３１…カメラ画像、３２…部分領域画像、３３…領域情報、３４…送信順序、３５…制御情報、４１…部分領域画像符号化データ。
【発明の属する技術分野】
本発明は、カメラ装置により画像を撮影し、撮影した画像を所定のデータ通信回線により伝送するカメラ画像伝送方法及びカメラ画像伝送システムに関し、特に、魚眼レンズ等を用いたカメラ装置により入力される高解像度で画像歪みを有するカメラ画像を、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄ−Ｐｈｏｎｅ Ｓｙｓｔｅｍ）等の低速なデータ通信回線を用いて伝送し、画像受信側装置に接続される画像表示装置等に、画像歪みが補正された視野空間パノラマ画像を表示するカメラ画像伝送システムに適用して有効な技術に関するものである。
【０００２】
【従来の技術】
ＣＣＴＶ（Ｃｌｏｓｅｄ Ｃｉｒｃｕｉｔ Ｔｅ１ｅｖｉｓｉｏｎ）システムの分野においては、カメラ装置の監視可能範囲を向上するためカメラ装置にカメラ視点を変更する電動式雲台等の装置を具備したカメラ装置が開発されている。また、近年、魚眼レンズを用いることにより上下左右１８０°以上の視野空間画像（以下、魚眼レンズカメラ画像という）を同時に撮影可能としたカメラ装置が提案されている。魚眼レンズを用いる場合は、カメラ視点を変更するための装置を具備しなくても広範囲の可視領域を得ることができる。
魚眼レンズカメラ画像等は、レンズの特性に依存して、撮影された画像は撮影対象となる実像に対して歪みを有している。このため、魚眼レンズカメラ画像を、通常のレンズを用いたカメラ画像と同様に利用するためには、レンズの特性に依存して生じる画像歪みを補正する処理を行う必要があり、魚眼レンズカメラ画像の有する画像歪みを補正して上下左右１８０°以上の視野空間のパノラマ画像（以下、視野空間パノラマ画像という）を生成するアルゴリズムが提案されている。
また、従来、カメラ装置により撮影されたカメラ画像は、一画像フレーム毎に有線回線を利用して伝送されていたが、ＰＨＳ等の無線データ通信技術の発展に伴い、カメラ画像を無線データ通信回線により伝送するシステムも開発されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、通常のレンズを用いたカメラ装置にカメラ視点を変更する電動式雲台等の装置を具備し、遠隔繰作によりカメラ視点を変更し、撮影した画像をＰＨＳ等の低速なデータ通信回線を用いて伝送するシステムにおいて、目的位置のカメラ画像を得るためには、目的位置にカメラ視点が移動するまでの時間、及び目的位置にカメラ視点が移動するまでに送信される複数の画像の伝送遅延時間から、目的位置の画像を得るための待ち時間が長くなるという問題があった。
また、カメラ装置に電動式雲台等のカメラ視点変更用の装置を具備するとカメラ装置構成が複雑化するため、装置の保守における負担が増加することや、カメラ装置の小型化を実現することが困難であるという問題があった。
【０００４】
前述したカメラ視点の移動に起因する問題は、魚眼レンズ等を利用することで解決される。しかしながら、魚眼レンズを用いて撮影される画像歪みを有した魚眼レンズカメラ画像から、十分な画像品質を維持した視野空間パノラマ画像を得るためには、元となる魚眼レンズカメラ画像の解像度を極めて高くする必要があり、画像一枚あたりのデータ量が大きくなる。そのため、ＰＨＳ等の低速なデータ通信回線を介して画像を伝送する場合に、画像一枚辺りの伝送に要する時間が長くなる。
したがって、高解像度の魚眼レンズカメラ画像等を、ＰＨＳ等を介して伝送する場合には、画像受信側装置より画像を撮影するための制御情報をカメラ画像送信側端末装置に送った後、画像受信側端末装置に接続される画像表示装置等に画像が表示されるまでの遅延時間が大きくなる。また、魚眼レンズカメラ画像を、連続的に撮影し伝送する場合には、画像伝送遅延時間が大きくなるとともに、画像フレームレートが低くなるという問題があった。
さらに、魚眼レンズカメラ画像等の有する画像歪みを補正するための処理時間も、画像受信側装置に接続される画像表示装置等にカメラ画像が表示されるまでの遅延時間の増加や画像フレームレートの低下の要因となる。
【０００５】
本発明の目的は、カメラ画像伝送システムにおいて、画像受信側装置がカメラ画像送信側端末装置に対してカメラ画像の送信を指示する制御情報を送信してから、画像受信側装置に接続された画像表示装置等に視野空間パノラマ画像が出力されるまでの遅延時間を短縮することが可能な技術を提供することにある。
本発明の他の目的は、カメラ画像伝送システムにおいて、連続的にカメラ画像を伝送する場合に、高い画像フレームレートを得ることが可能な技術を提供することにある。
本発明の前記ならびにその他の目的及び新規な特徴は、本明細書の記述及び添付図面によって明らかにする。
【０００６】
【課題を解決するための手段】
本願において開示される発明のうち代表的なものの概要を簡単に説明すれば、以下のとおりである。
（１）撮影対象となる実像に対してレンズの特性に依存する画像歪みを有する高解像度のカメラ画像を撮影し、この撮影された画像を符号化し、所定のデータ通信回線を用いて伝送する画像伝送方法において、カメラ画像送信側で、前記撮影されたカメラ画像を複数個の部分領域画像に分割し、この分割された各部分領域画像毎に符号化して画像データフレームを構成し、この構成された画像データフレームを画像受信側に送信し、この送信された画像データフレームを画像受信側で受信し、この受信された各画像フレームに含まれる部分領域画像毎に復号化処理を行うとともに、前記画像データフレームに含まれる領域位置範囲情報を用いて画像歪みの補正処理を行う方法である。
【０００７】
（２）前記手段（１）のカメラ画像伝送方法において、前記画像歪みの補正処理は、前記画像データフレームに含まれる前記領域位置範囲情報に基づき、前記画像データフレームに含まれる部分領域画像の各画素の位置情報を求め、この求められた各画素の位置情報により、前記部分領域画像の有するレンズの特性に依存した画像歪みを補正し、前記領域位置範囲情報で規定される位置に部分領域画像をはめ込み、歪み補正されたカメラ画像を再構築する方法である。
【０００８】
（３）前記手段（１）又は（２）のカメラ画像伝送方法において、前記画像受信側で、所望の１個の前記カメラ画像送信側に対する制御情報を送信し、もしくは複数個の前記カメラ画像送信側に対する制御情報を同時に送信し、前記カメラ画像送信側が前記撮影されたカメラ画像を分割して送信する場合に、前記画像受信側は、前記分割された各部分領域画像の画像データフレームの送信順序を規定する送信順序制御情報を、１個もしくは複数個の前記カメラ画像送信側に送信し、前記カメラ画像送信側は、前記送信順序制御情報が受信された場合に、前記受信された前記送信順序制御情報により規定される送信順序にしたがって画像データフレームの送信を行う方法である。
【０００９】
（４）前記手段（１）乃至（３）のうちいずれか１個のカメラ画像伝送方法において、前記画像受信側は、所望の１個の前記カメラ画像送信側に対する制御情報を送信し、もしくは複数個の前記カメラ画像送信側に対する制御情報を同時に送信し、前記画像受信側は、所望の時点に、前記カメラ画像の分割形式を規定する分割形式制御情報を、１個もしくは複数個の前記カメラ画像送信側に送信し、前記カメラ画像送信側は、前記分割形式制御情報が受信された場合に、前記受信された前記分割形式制御情報により規定される分割形式にしたがって画像データフレームの送信を行う方法である。
【００１０】
（５）カメラ画像送信手段と、該カメラ画像送信手段と通信回線を介して通信する画像受信手段とを具備する画像伝送システムにおいて、カメラ画像送信手段は、撮影対象となる実像に対してレンズの特性に依存する画像歪みを有する高解像度のカメラ画像を撮影するカメラ装置と、該カメラ装置で撮影された画像データを符号化する画像符号化手段と、前記撮影されたカメラ画像を複数個の部分領域画像に分割し、この分割された各部分領域画像毎に前記画像符号化手段により符号化するとともに各部分領域画像に対応する領域位置範囲を示す情報を付加した画像データフレームを構築する画像分割制御手段と、前記構築された画像データフレームの送信制御を行う画像送信制御手段とを具備し、前記画像受信手段は、前記送信された画像データフレームを受信し、この受信された各画像フレームに含まれる部分領域画像毎に復号化処理を行う画像復号化手段と、前記画像データフレームに含まれる領域位置範囲情報を用いて画像歪みの補正処理を行う画像歪み補正手段と、画像歪みが補正されたカメラ画像を再構築する画像再構築手段とを具備するシステムである。
【００１１】
（６）前記手段（５）のカメラ画像伝送システムにおいて、前記画像歪みの補正手段は、前記画像データフレームに含まれる前記領域位置範囲情報に基づき、前記画像データフレームに含まれる部分領域画像の各画素の位置情報を求め、この求められた各画素の位置情報により、前記部分領域画像の有するレンズの特性に依存した画像歪みを補正する手段からなり、前記画像再構築手段は、前記画像歪みが補正された部分領域画像を前記領域位置範囲情報で規定される位置にはめ込んで、歪み補正されたカメラ画像を再構築する手段からなるシステムである。
【００１２】
（７）前記手段（５）又は（６）のカメラ画像伝送システムにおいて、前記画像受信手段は、所望の１個の前記カメラ画像送信側に対する制御情報を送信し、もしくは複数個の前記カメラ画像送信側に対する制御情報を同時に送信する手段と、前記カメラ画像送信手段が前記撮影されたカメラ画像を分割して送信する場合に、前記分割された各部分領域画像の画像データフレームの送信順序を規定する送信順序制御情報を、１個もしくは複数個の前記カメラ画像送信手段に送信する手段とを具備し、前記カメラ画像送信手段は、前記送信順序制御情報が受信された場合に、前記受信された前記送信順序制御情報により規定される送信順序にしたがって画像データフレームを送信する手段を具備するシステムである。
【００１３】
（８）前記手段（５）乃至（７）のうちいずれか１個のカメラ画像伝送システムにおいて、前記画像受信手段は、所望の１個の前記カメラ画像送信側に対する制御情報を送信し、もしくは複数個の前記カメラ画像送信側に対する制御情報を同時に送信する手段と、所望の時点に、前記カメラ画像の分割形式を規定する分割形式制御情報を、１個もしくは複数個の前記カメラ画像送信手段に送信する手段とを具備し、前記カメラ画像送信手段は、前記分割形式制御情報が受信された場合に、前記受信された前記分割形式制御情報により規定される分割形式にしたがって画像データフレームを送信する手段を具備するシステムである。
【００１４】
前記手段（１）によれば、画像受信側装置からカメラ画像送信側端末装置に対してカメラ画像の送信が要求されてから、画像受信側装置に接続される画像表示装置に対して画像を出力するまでの遅延時間の低減が図れるとともに、カメラ画像を連続的に伝送する場合の画像フレームレートの向上が図れる。
【００１５】
前記手段（４）乃至（６）によれば、画像受信側装置において、特定の部分領域画像を迅速に取得する必要が生じた場合、制御情報送信手段により、カメラ画像を必要な部分領域画像へ分割することを指示する第一の制御情報を、カメラ画像送信側端末装置に送信するとともに、前記第一の制御情報にしたがってカメラ画像を分割し構築された画像データフレームの送信順序を規定する第二の制御情報を、カメラ画像送信側端末装置に送信し、必要な画像データフレームの送信を優先させることによって、画像受信側装置は、必要とする部分領域画像を迅速に取得することが可能となる。
【００１６】
前記手段（７）のカメラ画像伝送システムによれば、カメラ画像送信側端末装置は、画像受信側装置より、任意の枚数のカメラ画像を一定の画像フレームレートで連続撮影することを指示する第三の制御情報を受信した場合、前記第三の制御情報に基いた撮影タイミングでカメラ画像を連続撮影し、画像データ記憶手段にバッファリングする。その後、画像データ記憶手段にバッファリングされているカメラ画像を逐次伝送する。
【００１７】
これにより、伝送可能な画像フレームレートより、高い画像フレームレートで連続撮影された複数のカメラ画像が必要な場合に、画像受信側装置からの指示に従って一時的に画像データ記憶手段にバッファリング可能な任意の枚数分だけ、任意の画像フレームレートで連続撮影したカメラ画像を送信することが可能となる。
以下、本発明について、図面を参照して、発明の実施形態（実施例）とともに詳細に説明する。
【００１８】
【発明の実施の形態】
以下の本発明の実施形態（実施例）は、カメラ画像を送信するカメラ画像送信側端末装置が魚眼レンズカメラを用いることを仮定した場合について説明している。
図１は、本発明の実施形態（実施例）のカメラ画像伝送システムを利用する通信システムの一構成例を示す模式図である。この図１の構成例は、カメラ画像の伝送に無線データ通信回線を利用する場合について示している。
【００１９】
図１に示すように、カメラ画像送信側端末装置１は、無線データ送信手段１０によりＰＨＳ非制限デジタルベアラやＩＥＥＥ８０２．１１に準拠する無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の無線データ通信回線３を用いて画像受信側装置２と通信し、魚眼レンズカメラ４より入力されるカメラ画像を送信する。画像受信側装置２は、画像受信側装置２の無線データ受信手段２０により、１個または複数個のカメラ画像送信側端末装置１と無線データ通信回線３を介して通信を行う。
【００２０】
無線データ送信手段１０と無線データ受信手段２０は、無線データ通信回線において発生する伝送誤りを訂正し、伝送誤りのない透過なデータ通信を実現するためのデータリンク層データ伝送制御機能を提供する。例えば、ＰＨＳ非制限デジタルベアラを利用する場合においては、ＰＩＡＦＳ（ＰＨＳ Ｉｎｔｅｒｎｅｔ Ａｃｃｅｓｓ Ｆｏｒｕｍ Ｓｔａｎｄａｒｄ）手順や、ＨＤＬＣ（Ｈｉｇｈ−１ｅｖｅｌ Ｄａｔａ Ｌｉｎｋ Ｃｏｎｔｒｏｌ）手順等のデータ伝送制御機能を提供する。
【００２１】
画像受信側装置２には、受信された画像を表示するための画像表示装置５や、任意のカメラ画像送信側端末装置１あるいは複数個のカメラ画像送信側端末装置１に対する制御を行うための制御パネル６が接続される。
【００２２】
また、画像受信側装置２を通信ネットワーク７に接続し、通信ネットワーク７に接続されるＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）端末８と通信し、カメラ画像送信側装置１より受信した画像をＰＣ端末８に送信し表示するとともに、ＰＣ端末８からカメラ画像送信側端末装置１を制御するための信号を受信する場合もある。例えば、ＩＳＤＮ（Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅ Ｄｉｇｉｔａｌ Ｎｅｔｗｏｒｋ）回線に接続する場合には、画像受信側装置２は、Ｈ．３２０に準拠するＴＶ会議端末等と通信し、ＬＡＮやＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）パケット通信ネットワークに接続される場合には、画像受信側装置は、Ｈ．３２０に準拠するＴＶ（Ｔｅｌｅｖｉｓｉｏｎ）会議通信システム等を実装したＰＣ端末８と通信する。
【００２３】
また、画像受信側装置２は、該画像受信側装置２に直接接続されるデータ蓄積装置９、あるいは、通信ネットワーク７を介して接続されるデータ蓄積装置９に受信した画像データを蓄積することが可能である。
【００２４】
図２は、本発明による一実施形態のカメラ画像伝送システムの概略構成を示すブロック構成図である。
本実施形態のカメラ画像伝送システムは、図２に示すように、魚眼レンズを有するカメラ画像送信側端末装置１と、１個のカメラ画像送信側端末装置１と無線データ通信回線３を介して通信する画像受信側装置２とで構成されている。
【００２５】
前記カメラ画像送信側装置１は、上下左右１８０°以上の視野角を有する魚眼レンズ１１と、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の固体撮影素子により魚眼レンズより入力される画像を電気信号に変換するイメージセンサ１２と、イメージセンサ１２によって電気信号に変換された画像のデジタル量子化等を行うＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１３と、このＤＳＰ１３によりデジタル化された画像データを記憶する画像データ記憶手段１４と、画像データをＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）により符号化する画像符号化手段１５と、魚眼レンズカメラ画像を複数の部分領域に分割し、各部分領域画像毎に前記画像符号化手段１５により符号化するとともに領域位置範囲情報を付加した画像データフレーム３０を構成する画像分割制御手段１６と、画像データフレーム３０を無線データ通信回線３により送信する無線データ送信手段１０と、画像データフレームの送信制御を行う画像送信制御手段１７から構成される。
【００２６】
前記画像受信側装置２には、受信した画像を表示する画像表示装置５と、カメラ画像送信側端末装置の制御を行うための制御パネル６が接続されている。
画像受信側装置２は、カメラ画像送信側端末装置１から無線データ通信回線３を介して送信される画像データフレーム３０等を受信する無線データ受信手段２０と、受信された画像データフレームに含まれる符号化データに対する復号化処理を行う画像復号化手段２１と、前記画像データフレームに含まれる領域位置範囲情報を用いて、前記画像データフレームに含まれる部分領域画像の各画素の位置情報を求め、前記各画素の位置情報を魚眼レンズの特性に対応する位置依存型歪み補正関数に代入することで、前記部分領域画像の有する魚眼レンズの特性に依存した画像歪みを補正する画像歪み補正手段２２と、領域位置範囲情報で規定される位置に歪みが補正された前記部分領域画像をはめ込むことで、歪み補正されたカメラ画像を再構築する画像再構築手段２３と、画像データを記憶する受信画像データ記憶手段２４と、画像を画像表示装置や所定の通信ネットワーク等に出力するための出力インタフェース２５と、さらに、制御パネルや所定の通信ネットワーク等からの制御情報３５を入力するための制御情報の入力インタフェース２６と、制御情報３５をカメラ画像送信側端末装置１に送信するための制御情報送信手段２７から構成される。
【００２７】
一般に、カメラ画像送信側端末装置１は、小型化が求められるとともに、図１及び図２に示したように無線データ通信回線３を利用して画像受信側装置２と通信を行う場合等では、可搬性を維持するためにカメラ画像送信側端末装置１内に具備されるバッテリーにより動作するため、消費電力が少ないことが求められる。このことから、カメラ画像送信側端末装置１において高い演算処理能力を実現することは困難である。
これに対して画像受信側装置２は、一般に、コンセント等から電源を供給できることから消費電力等に対する制限がなく、高い演算処理能力を実現できる。
【００２８】
本実施形態のカメラ画像伝送システムは、図２に示したように、比較的処理量の大きい画像歪み補正処理をカメラ画像送信側端末装置１で行わず、処理能力の高い画像受信側装置２に画像歪み補正手段２２を有する構成としている。これにより、画像歪み補正処理に要する処理時間の短縮が図れる。
【００２９】
また、魚眼レンズ１１によるカメラ画像等では、画像歪み補正処理を施した後の視野空間パノラマ画像の方が、画像歪み補正処理を施さない魚眼レンズ１１によるカメラ画像に比較してデータ量が増加するため、画像受信側装置２で画像歪み補正処理を行う構成にすることにより、カメラ画像送信側端末装置１で画像歪み補正処理を行う場合に比較して、データ通信回線３を効率的に利用できる。
【００３０】
なお、画像歪み補正手段２２による画像歪み補正処理は、画像データフレームに付加される領域位置範囲情報を用いて、部分領域画像内の各画素の位置情報、すなわち、各画素の画像全体における座標位置、及び各画素の魚眼レンズ１１より入力される円形画像の中心点からの距離を算出し、これらの数値を文献「Ｓｈｉｓｈｉｒ Ｓｈａｈ，Ｊ．Ｋ．Ａｇｇａｒｗｅｌ，″Ｉｎｔｒｉｎｓｉｃ Ｐａｒａｍｅｔｅｒ Ｃａｌｉｂｒａｔｉｏｎ Ｐｒｏｃｅｄｕｒｅ ｆｏｒ Ａ（Ｈｉｇｈ−Ｄｉｓｔｏｒｔｉｏｎ）Ｆｉｓｈ−Ｅｙｅ Ｌｅｎｓ Ｃａｍｅｒａ Ｗｉｔｈ Ｄｉｓｔｏｒｔｉｏｎ Ｍｏｄｅｌ ａｎｄ Ａｃｃｕｒａｃｙ Ｅｓｔｉｍａｔｉｏｎ，″Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，２９，ｐｐ．１７７５〜１７８８」等に記載の魚眼レンズの位置依存型歪み補正関数に入力していくことにより実現する。
【００３１】
図３乃至図７は、本実施形態のカメラ画像伝送システムにおける各種カメラ画像伝送の手順について説明するための図である。
本実施形態のカメラ画像伝送システムは、図２に示すように、画像受信側装置２の制御情報送信手段２７から無線データ通信回線３を介してカメラ画像送信側端末装置１の画像送信制御手段１７に制御情報３５を送信し、カメラ画像送信側端末装置１を制御することにより、任意の時点で撮影された魚眼レンズカメラ画像の全体、もしくは、魚眼レンズカメラ画像の部分領域画像を伝送する。これにより逐次撮影された魚眼レンズカメラ画像の全体、もしくは、魚眼レンズカメラ画像の部分領域画像を連続的に伝送することが可能である。
【００３２】
図３乃至図５に示す例は、カメラ画像送信側端末装置１において、任意の時点で撮影されたカメラ画像の全体を送信する場合、及び逐次撮影されたカメラ画像の全体を連続的に送信する場合について説明している。
図３は、カメラ画像送信側端末装置１に具備される画像分割制御手段１６によるカメラ画像３１の分割形式の一例を示す図である。
【００３３】
本実施形態のカメラ画像伝送システムにおいて、カメラ画像送信側端末装置１の画像分割制御手段１６は、撮影されるカメラ画像を、画像受信側装置２より送信される第１の制御情報により規定される分割方式にしたがって１個以上の部分領域に分割する。ただし、画像受信側装置２よりカメラ画像の分割方式を指示する第１の制御情報が送信されない場合、カメラ画像送信側端末装置１の画像分割制御手段１６は既知の分割方式にしたがってカメラ画像を分割する。
【００３４】
前記図３に示す分割形式は、魚眼レンズカメラより撮影されるカメラ画像３１の分割形式の一例であり、この図３の例では、カメラ画像３１を３４個の部分領域画像３２に分割しており、カメラ画像３１の中央上部に位置する斜線で示した１個の部分領域画像３２に対応する領域位置範囲情報３３は（３，１）である。
【００３５】
図３の例では、各部分領域画像が正方形となるように分割しているが、分割形式として、各部分領域画像をそれぞれ任意の大きさの長方形や台形などの多角形型にする形式や、各部分領域画像を任意の曲線により規定される範囲で分割する形式等を適用することができる。
【００３６】
図４は、前記画像分割制御手段１６により生成される画像データフレーム３０の一構成例を示す図である。
図４に示すように、画像データフレーム３０は、画像符号化手段１５により符号化された部分領域画像符号化データ４１に、その部分領域画像に対応する領域位置範囲情報３３を付加した構成となる。
【００３７】
図５は、カメラ画像送信側端末装置１に具備される画像送信制御手段１７による部分領域画像３２の送信順序の一例を示す図である。
本実施形態のカメラ画像伝送システムにおいて、カメラ画像送信側端末装置１の画像送信制御手段１７は、画像受信側装置２の制御情報送信手段２７より送信される画像データフレームの送信順序を規定する第２の制御情報にしたがって画像データフレームを送信する。ただし、画像受信側装置２より画像データフレームの送信を制御する第２の制御情報が送信されない場合、カメラ画像送信側端末装置１の画像送信制御手段１７は既知の送信順序にしたがって画像データフレームを送信する。
【００３８】
図５は、カメラ画像３１を図３の例にしたがって分割した場合における各部分領域画像の送信順序の一例を示し、図５中の各部分領域画像３２の中に記載された数字が送信順序３４を示している。この図５の例では、カメラ画像３１の中央上部に位置する斜線で示した一つの部分領域画像３２の送信順序３４は１０番目である。
【００３９】
また、魚眼レンズカメラ画像は、円形の画像となるため、一般の正方形に固体撮影素子が敷き詰められたイメージセンサにより入力される正方形のカメラ画像３１の角部には画像情報を含まない部分が存在する。このため、図５に示すように、正方形のカメラ画像の角部に相当する部分領域画像、すなわち、図３中の領域位置範囲情報（１１，１１），（１２，１１），（１１，１２），（５１，１１），（５２，１１），（５１，１２），（１１，５１），（１１，５２），（１２，５２），（５２，５１），（５１，５２），（５２，５２）に対応する部分領域画像３２には、送信順序を割り当てず、これらの部分領域画像３２は送信の対象としない。
これにより、正方形のカメラ画像を全て送信する場合に比較して、送信するデータ量が削減され、魚眼レンズカメラ画像の伝送効率の向上が図れる。
【００４０】
図２乃至図５に示す例において、本実施形態のカメラ画像伝送システムのカメラ画像送信側端末装置１は、画像分割制御手段１６により、カメラ画像３１を図３に示した複数の部分領域画像３２に分割し、一つの部分領域画像３２に対応する画像データを画像符号化手段１５により符号化し、図４に示した画像データフレーム３０を構築する。そして、画像送信制御手段１７により各画像データフレーム３０を、図５に示す送信順序に従って無線データ送信手段１０により、画像受信側装置２へ送信する。
【００４１】
画像受信側装置２は、受信された画像データフレーム３０に含まれる部分領域画像符号化データ４１を画像復号化手段２１により復号化し、画像歪み補正手段２２は、画像データフレームに含まれる領域位置範囲情報３３を用いて部分領域画像３２が有する歪みの特性を算出し、画像歪みを補正する処理を行う。そして、画像再構築手段２３により、歪みが補正された部分領域画像３２を領域位置範囲情報３３により規定される位置にはめ込む画像再構築処理を行う。
【００４２】
前述の手順でカメラ画像の伝送処理を行うことにより、最後の画像データフレーム３０に対する処理が終了した時点で、即座に、魚眼レンズカメラ画像の対応する視野空間パノラマ画像が、受信画像データ記憶手段２４内に構築され、出力インタフェース２５を介して画像表示装置５に前記視野空間パノラマ画像を出力することができる。
【００４３】
また、最後の画像データフレームが受信されるまでの間に、既に画像受信側装置２に受信され、画像再構築手段２３による画像再構築処理までが終了し、受信画像データ記憶手段２４に保持されている画像データを用いることにより、逐次、部分的な視野空間パノラマ画像を画像表示装置５に出力し利用することができる。
【００４４】
ただし、この時点で、画像表示装置５に出力される視野空間パノラマ画像は、部分的にまだ受信されていない画像を含むため、受信されていない部分については、特定の色で覆い補完する、もしくは、魚眼レンズカメラ画像を連続的に受信する場合においては、直前に受信された魚眼レンズカメラ画像中の同じ領域の部分領域画像から生成される画像により補完する等の処理を画像再構築手段２３により行う。
【００４５】
特に、ＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）やＳＶＧＡの解像度を有する一般の画像表示装置５を用いる場合においては、視野空間パノラマ画像全体を同時に表示することは不可能であることから、画像表示装置５には視野空間パノラマ画像が部分的に表示されており、適時、制御パネル６に対するユーザ操作に応じて表示する部分領域を変更する。
【００４６】
図３及び図５に示した例は、ＶＧＡやＳＶＧＡの解像度を有する一般の画像表示装置を用いる場合において、図３中の領域位置範囲情報（３，３）に対応する部分領域画像が、画像受信側装置２の画像表示装置における表示の対象となっている場合に対応する。
【００４７】
この場合には、図５に示すように領域位置範囲情報（３，３）に対応する部分領域画像３２の送信順序３４を１番に設定する。画像受信側装置２は、１番目に受信される領域位置範囲情報（３，３）の画像データフレームに対して復号化処理及び画像歪み補正処理を行ったうえ、この画像データを即座に画像表示装置に出力する。
これにより、画像受信側装置２からカメラ画像３１の送信を要求する処理を行った後から、画像表示装置５に視野空間パノラマ画像が表示されるまでの遅延時間が効果的に短縮される。
【００４８】
また、本実施形態のカメラ画像伝送システムにおいては、画像受信側装置２は、受信された画像データフレーム３０に含まれる部分領域画像符号化データ４１を画像復号化手段２１により復号化した後、画像歪み補正手段２２による画像歪み補正処理を行わず、画像再構築手段２３により領域位置範囲情報３３により規定される位置にはめ込む処理を行うことも可能である。
この場合、受信画像データ記憶手段２４には、視野空間パノラマ画像ではなく、魚眼レンズカメラ画像がそのまま再構築され、これを画像表示装置５に出力することができる。
【００４９】
さらに、前述の視野空間パノラマ画像を生成する場合と同様に、最後の画像データフレームが受信されるまでの間に、画像受信側装置２に受信され、既に画像再構築処理が終了し受信画像データ記憶手段２４に保持されている画像データを利用して、逐次、部分的な魚眼レンズカメラ画像を画像表示装置５に出力することができる。
【００５０】
この時点で、画像表示装置５に出力される魚眼レンズカメラ画像は、部分的にまだ受信されていない画像を含むため、受信されていない部分については、特定の色で覆い補完する。もしくは、魚眼レンズカメラ画像を連続的に受信する場合においては、直前に受信された魚眼レンズカメラ画像中の同じ領域の部分領域画像により補完する等の処理を画像再構築手段２３により行う。
【００５１】
本実施形態のカメラ画像伝送システムは、一枚のカメラ画像を複数の画像データフレームに分割し送信している途中に、画像データフレームの送信順序を変更することができる。
【００５２】
図６は、一枚のカメラ画像の送信中に画像データフレームの送信順序を変更する場合における画像送信制御手段１７の動作フロチャート例を示す図である。
図６の動作フロチャートは、カメラ画像送信側端末装置１が、一枚のカメラ画像３１全体を送信した後、連続して次に撮影されたカメラ画像３１全体を送信する場合について示している。
【００５３】
通常、画像送信制御手段１７は、図６に示すように、既知の、もしくは、画像受信側端末装置１から送信された送信順序を制御する第２の制御情報により規定される送信順序に従って画像データフレーム３０を送信して行く（Ｓ６０１）。画像受信側装置２は、一枚のカメラ画像３１の受信中に、制御パネル６から特定の部分領域画像３２の送信を要求する信号が入力された場合、制御情報送信手段２７により対応する部分領域画像３２の領域位置範囲情報３３を含む送信順序変更を目的とした第２の制御情報を、カメラ画像送信側端末装置１に送信する。
【００５４】
前記画像送信制御手段１７が、前記第２の制御情報を画像受信側装置２より受信したかを調べ（Ｓ６０２）、前記第２の制御情報を受信していた場合（Ｙｅｓ）、受信した制御情報に対応する画像データフレームは未送信かを調べる（Ｓ６０３）。未送信であれば（Ｙｅｓ）、受信した制御情報に対応する画像データフレームの送信を行う（Ｓ６０４）。送信していなければ（Ｎｏ）、画像データフレーム３０の送信順序を変更し、受信した第２の制御情報に含まれる領域位置範囲情報３３に対応する画像データフレーム３０を優先して送信する（Ｓ６０５）。
【００５５】
次に、全ての画像データフレームの送信が完了したかを調べ（Ｓ６０６）、完了していれば（Ｙｅｓ）、魚眼レンズ視野空間画像の送信を終了し（Ｓ６０７）、魚眼レンズ視野空間画像の撮影処理を行う（Ｓ６０８）。全ての画像データフレームの送信が完了していなければ（Ｎｏ）、前記ステップＳ６０２に戻り、前記の処理動作を繰り返す。
【００５６】
これにより、画像受信側装置２に接続される制御パネル６から特定の部分領域画像３２の送信が要求された場合に、即座に、カメラ画像送信側端末装置１が、要求される部分画像領域３２に対応する画像データフレーム３０を送信し、画像受信側装置２において復号化処理等を行い、画像表示装置５に出力することができる。
【００５７】
例えば、視野空間パノラマ画像全体を同時に表示することは不可能であるＶＧＡやＳＶＧＡの解像度を有する一般の画像表示装置５を用いる場合、一枚のカメラ画像の送信中に、ユーザ繰作により表示する部分領域画像が変更された時に、前述した手順を用いて、新たに表示の対象となった部分領域画像の送信を優先することにより、低遅延時間で新たに表示の対象となった部分領域画像を画像表示装置５に出力することができる。
【００５８】
前述の本実施形態では、カメラ画像送信側端末装置１が、常に撮影された魚眼レンズカメラ画像全体を送信する場合について述べたが、本発明のカメラ画像伝送システムでは、画像受信側装置２に接続される画像表示装置５に、カメラ画像の特定の部分領域画像をできる限り高い画像フレームレートで表示させる必要がある場合等には、カメラ画像全体ではなく、必要な部分領域画像のみを送信する。
【００５９】
図７は、カメラ画像の一部の部分領域画像のみを送信する場合の、画像受信側装置２から送信される第２の制御情報３５により規定される部分領域画像３２の送信順序の一例を示す図である。
【００６０】
図７は、カメラ画像３１を図３の例にしたがって分割した場合における各部分領域画像の送信順序の一例を示している。図７中の各部分領域画像３２の中に記載された数字が送信順序３４を示しており、この図７の例では、カメラ画像３１の中央に位置する斜線で示した一つの部分領域画像３２の送信順序３４は１番目である。
【００６１】
図７の例では、図３における領域位置範囲情報（３，２），（４，２），（３，３），（４，３）に対応する部分領域画像以外には送信順序を割り当てず、領域位置範囲情報（３，２），（４，２），（３，３），（４，３）に対応する部分領域画像以外は送信の対象としない。
【００６２】
以下に、図２乃至図４及び図７により、本実施形態のカメラ画像伝送システムにおいて、カメラ画像の一部の部分領域画像のみを送信する場合のカメラ画像伝送の手順について説明する。
【００６３】
カメラ画像送信側端末装置１は、画像分割制御手段１６により、カメラ画像３１を図３に示した複数の部分領域画像３２に分割し、一つの部分領域画像３２に対応する画像データを画像符号化手段１５により符号化し、図４に示した画像データフレーム３０を構築する。そして、画像送信制御手段１７により各画像データフレーム３０を、図７に示す送信順序に従って無線データ送信手段１０により、画像受信側装置２へ送信する。
【００６４】
画像受信側装置２は、受信された画像データフレーム３０に含まれる部分領域画像符号化データ４１を画像復号化手段２１により復号化し、画像歪み補正手段２２は、画像データフレームに含まれる領域位置範囲情報３３を用いて部分領域画像３２が有する歪みの特性を算出し、画像歪みを補正する処理を行う。そして、画像再構築手段２３により、歪みが補正された部分領域画像３２を領域位置範囲情報３３により規定される位置にはめ込む画像再構築処理を行う。
【００６５】
また、画像受信側装置２は、受信された画像データフレーム３０に含まれる部分領域画像符号化データ４１を画像復号化手段２１により復号化した後、画像歪み補正手段２２による画像歪み補正処理を行わず、画像再構築手段２３により領域位置範囲情報３３により規定される位置にはめ込む処理を行う。前記画像再構築手段２３で再構築された画像は受信画像データ記憶手段２４に記憶される。
【００６６】
また、カメラ画像送信側端末装置１は、画像受信側装置２より、任意の枚数のカメラ画像を一定の画像フレームレートで連続撮影することを指示する第３の制御情報３５を受信した場合、前記第３の制御情報３５により指定された撮影タイミングでカメラ画像３１を連続撮影し、画像データ記憶手段１４にバッファリングする。その後、画像データ記憶手段１４にバッファリングされているカメラ画像３１を逐次伝送する。
【００６７】
この際、画像データ記憶手段１４にバッファリングされている各カメラ画像３１の伝送手順は、前述したカメラ画像３１の伝送手順と同様であり、各カメラ画像３１全体を伝送すること、もしくは、各カメラ画像３１の一部の部分領域画像３２を伝送することが可能である。
【００６８】
以上の手順により、低速なデータ通信回線で伝送可能な画像フレームレートよりも高い画像フレームレートで連続撮影された複数のカメラ画像が必要な場合に、一時的に画像データ記憶手段１４にバッファリング可能な任意の枚数分だけ、任意の画像フレームレートで連続撮影したカメラ画像を伝送することが可能となる。
【００６９】
【発明の効果】
本願において開示される発明のうち代表的なものによって得られる効果は以下のとおりである。
（１）魚眼レンズ等を用いたカメラ装置により入力される高解像度かつ画像歪みを有するカメラ画像を、ＰＨＳ等の低速なデータ通信回線を用いて伝送し、画像受信側装置の画像表示装置等に、視野空間パノラマ画像等を表示する場合に、カメラ画像送信側端末装置が撮影されたカメラ画像を複数の部分領域に分割し画像データフレームを構築し送信すること、及び処理量の多い画像歪み補正処理を処理能力の高い画像受信側装置で処理することにより、カメラ画像の分割方式及び画像データフレームの送信順序を適時、画像受信側装置から制御することができるので、低速なデータ通信回線を効率良く利用することができる。
（２）画像受信側装置がカメラ画像送信側端末装置に対してカメラ画像の送信を指示してから、画像受信側装置の画像表示装置に視野空間パノラマ画像等が出力されるまでの遅延時間を低減（短縮）することができる。
（３）カメラ画像送信側端末装置の画像データ記憶部に複数のカメラ画像をバッファリングした後に、バッファリングされたカメラ画像を送信することにより、高い画像フレームレートでのカメラ画像を得ることができる。
【図面の簡単な説明】
【図１】本発明によるカメラ画像伝送システムを利用する通信システムの構成例を示す模式図である。
【図２】本発明による実施形態のカメラ画像伝送システムの概略構成を示すブロック構成図である。
【図３】本実施形態のカメラ画像の領域分割の一例を示す図である。
【図４】本実施形態の画像データフレームの一構成例を示す図である。
【図５】本実施形態の部分領域画像の送信順序の一例を示す図である。
【図６】本実施形態の画像送信制御手段の動作フロチャートの一例を示す図である。
【図７】本実施形態のカメラ画像の領域分割の別の例を示す図である。
【符号の説明】
１…カメラ画像送信側端末装置、２…画像受信側装置、３…無線データ通信回線、４…魚眼レンズカメラ、５…画像表示装置、６…制御パネル、７…通信ネットワーク、８…ＰＣ端末、９…データ蓄積装置、１０…無線データ送信手段、
１１…魚眼レンズ、１２…イメージセンサ、１３…ＤＳＰ、１４…画像データ記憶手段、１５…画像符号化手段、１６…画像分割制御手段、１７…画像送信制御手段、２０…無線データ受信手段、２１…画像復号化手段、２２…画像歪み補正手段、２３…画像再構築手段、２４…受信画像データ記憶手段、２５…出力インタフェース、２６…入力インタフェース、２７…制御情報送信手段、３０…画像データフレーム、３１…カメラ画像、３２…部分領域画像、３３…領域情報、３４…送信順序、３５…制御情報、４１…部分領域画像符号化データ。
Claims (8)
- 撮影対象となる実像に対してレンズの特性に依存する画像歪みを有する高解像度のカメラ画像を撮影し、この撮影された画像を符号化し、所定のデータ通信回線を用いて伝送する画像伝送方法において、カメラ画像送信側で、前記撮影されたカメラ画像を複数個の部分領域画像に分割し、この分割された各部分領域画像毎に符号化して画像データフレームを構成し、この構成された画像データフレームを画像受信側に送信し、この送信された画像データフレームを画像受信側で受信し、この受信された各画像フレームに含まれる部分領域画像毎に復号化処理を行うとともに、前記画像データフレームに含まれる領域位置範囲情報を用いて画像歪みの補正処理を行うことを特徴とするカメラ画像伝送方法。
- 請求項１に記載のカメラ画像伝送方法において、前記画像歪みの補正処理は、前記画像データフレームに含まれる前記領域位置範囲情報に基づき、前記画像データフレームに含まれる部分領域画像の各画素の位置情報を求め、この求められた各画素の位置情報により、前記部分領域画像の有するレンズの特性に依存した画像歪みを補正し、前記領域位置範囲情報で規定される位置に部分領域画像をはめ込み、歪み補正されたカメラ画像を再構築することを特徴とするカメラ画像伝送方法。
- 請求項１又は２に記載のカメラ画像伝送方法において、前記画像受信側で、所望の１個の前記カメラ画像送信側に対する制御情報を送信し、もしくは複数個の前記カメラ画像送信側に対する制御情報を同時に送信し、前記カメラ画像送信側が前記撮影されたカメラ画像を分割して送信する場合に、前記画像受信側は、前記分割された各部分領域画像の画像データフレームの送信順序を規定する送信順序制御情報を、１個もしくは複数個の前記カメラ画像送信側に送信し、前記カメラ画像送信側は、前記送信順序制御情報が受信された場合に、前記受信された前記送信順序制御情報により規定される送信順序にしたがって画像データフレームの送信を行うことを特徴とするカメラ画像伝送方法。
- 請求項１乃至３のうちいずれか１項に記載のカメラ画像伝送方法において、前記画像受信側は、所望の１個の前記カメラ画像送信側に対する制御情報を送信し、もしくは複数個の前記カメラ画像送信側に対する制御情報を同時に送信し、前記画像受信側は、所望の時点に、前記カメラ画像の分割形式を規定する分割形式制御情報を、１個もしくは複数個の前記カメラ画像送信側に送信し、前記カメラ画像送信側は、前記分割形式制御情報が受信された場合に、前記受信された前記分割形式制御情報により規定される分割形式にしたがって画像データフレームの送信を行うことを特徴とするカメラ画像伝送方法。
- カメラ画像送信手段と、該カメラ画像送信手段と通信回線を介して通信する画像受信手段とを具備する画像伝送システムにおいて、カメラ画像送信手段は、撮影対象となる実像に対してレンズの特性に依存する画像歪みを有する高解像度のカメラ画像を撮影するカメラ装置と、該カメラ装置で撮影された画像データを符号化する画像符号化手段と、前記撮影されたカメラ画像を複数個の部分領域画像に分割し、この分割された各部分領域画像毎に前記画像符号化手段により符号化するとともに各部分領域画像に対応する領域位置範囲を示す情報を付加した画像データフレームを構築する画像分割制御手段と、前記構築された画像データフレームの送信制御を行う画像送信制御手段とを具備し、前記画像受信手段は、前記送信された画像データフレームを受信し、この受信された各画像フレームに含まれる部分領域画像毎に復号化処理を行う画像復号化手段と、前記画像データフレームに含まれる領域位置範囲情報を用いて画像歪みの補正処理を行う画像歪み補正手段と、画像歪みが補正されたカメラ画像を再構築する画像再構築手段とを具備することを特徴とするカメラ画像伝送システム。
- 請求項５に記載のカメラ画像伝送システムにおいて、前記画像歪みの補正手段は、前記画像データフレームに含まれる前記領域位置範囲情報に基づき、前記画像データフレームに含まれる部分領域画像の各画素の位置情報を求め、この求められた各画素の位置情報により、前記部分領域画像の有するレンズの特性に依存した画像歪みを補正する手段からなり、前記画像再構築手段は、前記画像歪みが補正された部分領域画像を前記領域位置範囲情報で規定される位置にはめ込んで、歪み補正されたカメラ画像を再構築する手段からなることを特徴とするカメラ画像伝送システム。
- 請求項５又は６に記載のカメラ画像伝送システムにおいて、前記画像受信手段は、所望の１個の前記カメラ画像送信側に対する制御情報を送信し、もしくは複数個の前記カメラ画像送信側に対する制御情報を同時に送信する手段と、前記カメラ画像送信手段が前記撮影されたカメラ画像を分割して送信する場合に、前記分割された各部分領域画像の画像データフレームの送信順序を規定する送信順序制御情報を、１個もしくは複数個の前記カメラ画像送信手段に送信する手段とを具備し、前記カメラ画像送信手段は、前記送信順序制御情報が受信された場合に、前記受信された前記送信順序制御情報により規定される送信順序にしたがって画像データフレームを送信する手段を具備することを特徴とするカメラ画像伝送システム。
- 請求項５乃至７のうちいずれか１項に記載のカメラ画像伝送システムにおいて、前記画像受信手段は、所望の１個の前記カメラ画像送信側に対する制御情報を送信し、もしくは複数個の前記カメラ画像送信側に対する制御情報を同時に送信する手段と、所望の時点に、前記カメラ画像の分割形式を規定する分割形式制御情報を、１個もしくは複数個の前記カメラ画像送信手段に送信する手段とを具備し、前記カメラ画像送信手段は、前記分割形式制御情報が受信された場合に、前記受信された前記分割形式制御情報により規定される分割形式にしたがって画像データフレームを送信する手段を具備することを特徴とするカメラ画像伝送システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13266399A JP3550046B2 (ja) | 1999-05-13 | 1999-05-13 | カメラ画像伝送方法及びカメラ画像伝送システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13266399A JP3550046B2 (ja) | 1999-05-13 | 1999-05-13 | カメラ画像伝送方法及びカメラ画像伝送システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000324474A JP2000324474A (ja) | 2000-11-24 |
| JP3550046B2 true JP3550046B2 (ja) | 2004-08-04 |
Family
ID=15086595
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13266399A Expired - Fee Related JP3550046B2 (ja) | 1999-05-13 | 1999-05-13 | カメラ画像伝送方法及びカメラ画像伝送システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3550046B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007129403A (ja) * | 2005-11-02 | 2007-05-24 | Olympus Corp | 画像符号化装置および画像処理システム |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4094942B2 (ja) * | 2002-12-11 | 2008-06-04 | 日本電信電話株式会社 | 任意視点画像伝送方法及びその実施装置並びにその処理プログラムと記録媒体 |
| JP2008227562A (ja) * | 2007-03-08 | 2008-09-25 | Sony Corp | 画像処理装置、カメラ装置、およびカメラシステム |
| DE102007013239A1 (de) * | 2007-03-15 | 2008-09-18 | Mobotix Ag | Überwachungsanordnung |
| JP6243129B2 (ja) * | 2013-03-19 | 2017-12-06 | クラリオン株式会社 | カメラ画像表示システム |
| JP6540395B2 (ja) * | 2015-09-04 | 2019-07-10 | 株式会社ソシオネクスト | 画像処理方法および画像処理プログラム |
| CN109714528A (zh) * | 2018-12-11 | 2019-05-03 | Tcl移动通信科技（宁波）有限公司 | 移动终端摄像头数据传输控制方法、移动终端及存储介质 |
-
1999
- 1999-05-13 JP JP13266399A patent/JP3550046B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007129403A (ja) * | 2005-11-02 | 2007-05-24 | Olympus Corp | 画像符号化装置および画像処理システム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000324474A (ja) | 2000-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107249096B (zh) | 全景摄像机及其拍摄方法 | |
| CN110430355B (zh) | 成像系统和成像装置 | |
| US10038841B1 (en) | System for streaming multiple regions deriving from a wide-angle camera | |
| JP4345829B2 (ja) | 画像表示システム、画像表示装置、画像表示方法およびプログラム | |
| US6539547B2 (en) | Method and apparatus for electronically distributing images from a panoptic camera system | |
| US7450165B2 (en) | Multiple-view processing in wide-angle video camera | |
| JP2005517331A (ja) | テレビ会議アプリケーションにおける電子画像操作を提供するための装置及び方法 | |
| JP2000032319A (ja) | カメラ制御システム、カメラ制御方法、カメラ制御装置、及びこれらに用いる画像処理装置、記録媒体 | |
| JP2004023373A (ja) | 画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 | |
| JP2010239221A (ja) | 画像通信システム | |
| KR20200122323A (ko) | 멀티 센서를 사용하여 옴니 스테레오 비디오를 캡처하는 시스템 및 방법 | |
| EP3434021B1 (en) | Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices | |
| US20140092263A1 (en) | System and method for remotely performing image processing operations with a network server device | |
| KR101465112B1 (ko) | 카메라 시스템 | |
| WO1999046936A1 (en) | Method and apparatus for low cost line-based video compression of digital video stream data | |
| JP2011097521A (ja) | 動画像処理プログラム、装置および方法、動画像処理装置を搭載した撮像装置 | |
| JP3550046B2 (ja) | カメラ画像伝送方法及びカメラ画像伝送システム | |
| JP2004272578A (ja) | 撮像装置及び歪み補正方法 | |
| JP4583717B2 (ja) | 撮像装置及び方法、画像情報提供システム、プログラム、並びに制御装置 | |
| JP3875133B2 (ja) | 画像送信方法および装置並びにプログラム | |
| US20070133899A1 (en) | Triggering an image processing function | |
| JP2007324809A (ja) | ネットワークカメラ装置 | |
| JP2004289225A (ja) | 撮像装置 | |
| JP2010528516A (ja) | 画像を処理する方法およびシステム | |
| US8208555B2 (en) | Image capturing and transmission device and image receiving and reconstruction device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040401 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040420 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040422 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090430 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090430 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100430 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100430 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110430 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120430 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130430 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140430 Year of fee payment: 10 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |