JP3965560B2 - 画像処理装置および方法、撮像装置および方法、並びにプログラム - Google Patents
画像処理装置および方法、撮像装置および方法、並びにプログラム Download PDFInfo
- Publication number
- JP3965560B2 JP3965560B2 JP2002086516A JP2002086516A JP3965560B2 JP 3965560 B2 JP3965560 B2 JP 3965560B2 JP 2002086516 A JP2002086516 A JP 2002086516A JP 2002086516 A JP2002086516 A JP 2002086516A JP 3965560 B2 JP3965560 B2 JP 3965560B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- square
- pixel value
- omnidirectional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、撮像装置および方法、並びにプログラムに関し、特に、全周囲を撮像した画像を処理するか、全周囲を撮像する画像処理装置および方法、撮像装置および方法、並びにプログラムに関する。
【０００２】
【従来の技術】
コンピュータの発達により、双曲面ミラーや魚眼レンズを介して、全周囲を一括して撮像した、いわゆる全方位画像が積極的に利用されるようになってきた。
【０００３】
このような画像は、主として、観賞用として撮像される。
【０００４】
【発明が解決しようとする課題】
しかしながら、このような全方位画像には、原理的に粗である部分と密である部分が発生する。特に、撮像される半球面の極点に当たる部分では、解像度が不足し、このような全方位画像を方形の画像に展開しても、臨場感のあるパノラマ画像とすることは困難であった。
【０００５】
本発明はこのような状況に鑑みてなされたものであり、全周囲を撮像した、より高精細な画像を得ることができるようにすることを目的とする。
【０００６】
【課題を解決するための手段】
本発明の画像処理装置は、第１の全方位画像および第２の全方位画像に対して経度緯度変換を行うことにより、第１の全方位画像および第２の全方位画像を第１の方形画像および第２の方形画像にそれぞれ変換する変換手段と、角度に対応した、第１の方形画像に対する第２の方形画像の基準位置を算出する算出手段と、第１の方形画像の任意の第１の画素の画素値を、当該第１の画素の画素値と基準位置を基準とした対応する位置の第２の方形画像の第２の画素の画素値とを基に、更新する更新手段とを含むことを特徴とする。
【０００７】
更新手段は、第１の方形画像の第１の画素が存在しないとき、第１の画素に第２の画素の画素値を設定することにより、第１の方形画像の第１の画素の画素値を更新するようにしてもよい。
【０００８】
更新手段は、第１の画素と第２の画素との差分が所定の閾値以下であるとき、第１の画素に、第１の画素の画素値および第２の画素の画素値の平均値を設定することにより、第１の方形画像の第１の画素の画素値を更新するようにしてもよい。
【０００９】
更新手段は、第１の画素と第２の画素との差分が所定の閾値を越えるとき、第２の画素に類似する第２の方形画像の第３の画素に対応する、基準位置を基準とした位置の第１の画像の第４の画素と第１の画素との間の画素に、第２の画素の画素値を設定することにより、第１の方形画像の画素値を更新するようにしてもよい。
【００１０】
画像処理装置は、第１の方形画像および第２の方形画像の動き量を基に、角度を検出する検出手段をさらに設けることができる。
【００１１】
本発明の画像処理方法は、第１の全方位画像および第２の全方位画像に対して経度緯度変換を行うことにより、第１の全方位画像および第２の全方位画像を第１の方形画像および第２の方形画像にそれぞれ変換する変換ステップと、角度に対応した、第１の方形画像に対する第２の方形画像の基準位置を算出する算出ステップと、第１の方形画像の任意の第１の画素の画素値を、当該第１の画素の画素値と基準位置を基準とした対応する位置の第２の方形画像の第２の画素の画素値とを基に、更新する更新ステップとを含むことを特徴とする。
【００１２】
本発明のプログラムは、コンピュータに、第１の全方位画像および第２の全方位画像に対して経度緯度変換を行うことにより、第１の全方位画像および第２の全方位画像を第１の方形画像および第２の方形画像にそれぞれ変換する変換ステップと、角度に対応した、第１の方形画像に対する第２の方形画像の基準位置を算出する算出ステップと、第１の方形画像の任意の第１の画素の画素値を、当該第１の画素の画素値と基準位置を基準とした対応する位置の第２の方形画像の第２の画素の画素値とを基に、更新する更新ステップとを含む処理を実行させることを特徴とする。
【００１３】
本発明の撮像装置は、全方位画像を撮像する撮像手段と、撮像手段の撮像の光軸を回転軸として、撮像手段を回転させる回転手段と、第１の全方位画像、および第１の全方位画像に対して、所定の角度で回転された位置から撮像された第２の全方位画像を経度緯度変換によって第１の方形画像および第２の方形画像にそれぞれ変換する変換手段と、角度に対応した、第１の方形画像に対する第２の方形画像の基準位置を算出する算出手段と、第１の方形画像の任意の第１の画素の画素値を、当該第１の画素の画素値と基準位置を基準とした対応する位置の第２の方形画像の第２の画素の画素値とを基に、更新する更新手段とを含むことを特徴とする。
【００１４】
撮像装置は、撮像手段が回転された角度を検出する検出手段をさらに設けることができる。
【００１５】
更新手段は、第１の方形画像の第１の画素が存在しないとき、第１の画素に第２の画素の画素値を設定することにより、第１の方形画像の第１の画素の画素値を更新するようにしてもよい。
【００１６】
更新手段は、第１の画素と第２の画素との差分が所定の閾値以下であるとき、第１の画素に、第１の画素の画素値および第２の画素の画素値の平均値を設定することにより、第１の方形画像の第１の画素の画素値を更新するようにしてもよい。
【００１７】
更新手段は、第１の画素と第２の画素との差分が所定の閾値を越えるとき、第２の画素に類似する第２の方形画像の第３の画素に対応する、基準位置を基準とした位置の第１の画像の第４の画素と第１の画素との間の画素に、第２の画素の画素値を設定することにより、第１の方形画像の画素値を更新するようにしてもよい。
【００１８】
撮像装置は、第１の方形画像および第２の方形画像の動き量を基に、角度を検出する検出手段をさらに設けることができる。
【００１９】
本発明の撮像方法は、全方位画像を撮像する撮像ステップと、撮像ステップにおける撮像の光軸を回転軸として、撮像の位置を回転させる回転ステップと、第１の全方位画像、および第１の全方位画像に対して、所定の角度で回転された位置から撮像された第２の全方位画像を経度緯度変換によって第１の方形画像および第２の方形画像にそれぞれ変換する変換ステップと、角度に対応した、第１の方形画像に対する第２の方形画像の基準位置を算出する算出ステップと、第１の方形画像の任意の第１の画素の画素値を、当該第１の画素の画素値と基準位置を基準とした対応する位置の第２の方形画像の第２の画素の画素値とを基に、更新する更新ステップとを含むことを特徴とする。
【００２０】
本発明の画像処理装置および方法、並びにプログラムにおいては、第１の全方位画像および第２の全方位画像に対して経度緯度変換を行うことにより、第１の全方位画像および第２の全方位画像が第１の方形画像および第２の方形画像にそれぞれ変換され、角度に対応した、第１の方形画像に対する第２の方形画像の基準位置が算出される。そして、第１の方形画像の任意の第１の画素の画素値が、当該第１の画素の画素値と基準位置を基準とした対応する位置の第２の方形画像の第２の画素の画素値とを基に、更新される。
【００２１】
画像処理装置は、独立した装置であってもよいし、例えば、表示装置の画像処理を行うブロックであってもよい。
【００２２】
第１の全方位画像および第２の全方位画像は、静止画像であってもよいし、動画像であってもよい。
【００２３】
本発明の撮像装置および方法においては、撮像の光軸を回転軸として、撮像範囲を回転させて、全方位画像が撮像され、第１の全方位画像、および第２の全方位画像が経度緯度変換によって第１の方形画像および第２の方形画像にそれぞれ変換される。角度に対応した、第１の方形画像に対する第２の方形画像の基準位置が算出され、第１の方形画像の任意の第１の画素の画素値が、当該第１の画素の画素値と基準位置を基準とした対応する位置の第２の方形画像の第２の画素の画素値とを基に、更新される。
【００２４】
撮像装置は、独立した装置であってもよいし、例えば、記録装置の撮像を行うブロックであってもよい。
【００２５】
第１の全方位画像および第２の全方位画像は、静止画像であってもよいし、動画像であってもよい。
【００２６】
【発明の実施の形態】
図１は、本発明に係る撮像システムの一実施の形態を示す図である。
【００２７】
カメラ１は、例えば、CCD（Charge-Coupled Device）またはCMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子を有し、双曲面ミラー１１に反射された画像を撮像し、カメラ１の周囲全体を切れ目無く撮像する。カメラ１は、いわゆる全方位画像（全周囲画像）を撮像し、撮像した全方位画像を情報処理装置４に供給する。
【００２８】
カメラ１は、全方位画像を撮像するものであればよく、双曲面ミラー１１に限らず、例えば、球面ミラーにより周囲全体の画像を反射して、撮像するものでもよく、または、魚眼レンズを有するものであってもよい。また、カメラ１は、スチルカメラでもよく、ビデオカメラであってもよい。
【００２９】
回転装置２は、カメラ１を所定のステップ角（回転角）で、カメラ１の上下方向の軸を中心の回転させる。回転装置２がカメラ１を回転させる軸は、カメラ１の撮像の光軸および全方位画像の中心と一致している。
【００３０】
従って、回転した後のカメラ１の撮像範囲は、回転する前のカメラ１の撮像範囲と同一である。
【００３１】
しかしながら、回転した後のカメラ１により撮像された全方位画像は、被写体の画像とカメラ１の撮像素子の画素との関係から、回転する前のカメラ１により撮像された全方位画像と異なる画素値を有する。
【００３２】
例えば、カメラ１が回転する前において、被写体の画像のエッジがカメラ１の撮像素子の画素の並びに対して斜めに入力されたとき、撮像素子の画素の感光領域の大きさにより、被写体の画像のエッジがつぶれてしまい、撮像された全方位画像に被写体の画像のエッジが明確に表現されない場合がある。カメラ１が回転した後、被写体の画像のエッジがカメラ１の撮像素子の画素の並びと一致したとき、撮像された全方位画像に被写体の画像のエッジが明確に表現される。
【００３３】
回転装置２の駆動源は、例えば、ステップ角を制御可能なサーボモータまたは５相ステッピングモータとすることができる。回転装置２の最小ステップ角は、微少にすることが望ましい。
【００３４】
なお、回転装置２の回転およびその回転角度を、情報処理装置４が制御するようにしてもよい。
【００３５】
また、回転装置２は、所定の範囲でカメラ１を回動させるものであってもよい。この明細書において、回転には、回動を含むものとする。
【００３６】
回転角度計測器３は、カメラ１の回転角度を取得する装置である。回転角度計測器３は、取得した回転角度を情報処理装置４に供給する。例えば、回転角度計測器３は、相対型または絶対型のロータリエンコーダなどにより構成することができる。
【００３７】
回転角計測器３の検出可能な回転角は、回転装置２のステッピング角より小さいことが望ましい。すなわち、回転角計測器３の分解能は、回転装置２のステッピング角に対して、充分大きいことが望ましい。
【００３８】
回転角計測器３は、回転装置２と一体に設けるようにしてもよい。
【００３９】
情報処理装置４は、カメラ１から供給された一連の全方位画像（以下、画像シーケンスとも称する）を取得すると共に、回転角計測器３から供給されたカメラ１の回転角度を取得する。情報処理装置４は、画像シーケンスおよび回転角度を基に、全方位画像を展開して、全方位画像に対応する高精細の方形の画像を生成する。以下、全方位画像に対応する方形の画像を、パノラマ画像とも称する。情報処理装置４は、生成したパノラマ画像を表示装置５に供給する。
【００４０】
情報処理装置４は、例えば、専用の画像処理装置、または汎用のコンピュータとすることができる。すなわち、情報処理装置４は、専用のハードウェアにより、後述する通信部２１乃至出力バッファ２６の機能を実現するようにしてもよく、所定のプログラムを実行することにより、通信部２１乃至出力バッファ２６の機能を実現するようにしてもよい。
【００４１】
表示装置５は、情報処理装置４から供給された高精細度のパノラマ画像を表示する。表示装置５は、高精細度のパノラマ画像を表示することができるだけの解像能力を有することが望ましい。表示装置５は、例えば、CRT（Cathode-Ray Tube）モニタまたは液晶モニタとすることができる。
【００４２】
図２は、情報処理装置４の機能を示すブロック図である。
【００４３】
通信部２１は、カメラ１から画像を受信し、回転角計測器３から回転角を受信するとともに、生成したパノラマ画像をモニタ５に出力するインタフェースである。また、通信部２１は、カメラ１の撮像および撮像した全方位画像の送信、並びに回転角計測器３の回転角度の計測および回転角度の送信の処理を制御するための信号をカメラ１または回転角計測器３に送信する。
【００４４】
制御部２２は、カメラ１、回転角計測器３、通信部２１、角度補正部２４、および高精細化処理部２５の動作を制御する。制御部２２は、カメラ１に撮像させるか、若しくは撮像した全方位画像を送信させるか、または回転角計測器３にカメラ１の回転角度を計測させるか、若しくは計測した回転角度を送信させるとき、送信通信部２１に所定の信号をカメラ１または回転角計測器３に送信させる。
【００４５】
入力バッファ２３は、カメラ１から送信され、通信部２１で受信された全方位画像を記憶し、記憶している全方位画像を角度補正部２４に供給する。また、入力バッファ２３は、回転角計測器３から供給されたカメラ１の回転角度を記憶し、記憶しているカメラ１の回転角度を角度補正部２４に供給する。
【００４６】
さらに、入力バッファ２３は、角度補正部２４により、全方位画像が展開され、カメラ１の回転角度に対応して基準位置が設定された方形の画像を記憶する。入力バッファ２３は、記憶している方形の画像を高精細化処理部２５に供給する。
【００４７】
角度補正部２４は、入力バッファ２３に記憶されている全方位画像を、緯度経度表現に変換する。すなわち、角度補正部２４は、ほぼ円形の全方位画像を展開して方形の画像を生成する。角度補正部２４は、カメラ１の回転角度を基に、展開した方形の画像の基準位置を算出する。
【００４８】
高精細化処理部２５は、入力バッファ２３から供給された最初の方形の画像を、そのまま出力バッファ２６に記憶させる。
【００４９】
高精細化処理部２５は、入力バッファ２３から供給された基準位置が設定された方形の画像、出力バッファ２６に記憶されている方形の画像を基に、より高精細な方形の画像を生成し、生成した方形の画像を高精細度のパノラマ画像として出力バッファ２６に記憶させる。
【００５０】
出力バッファ２６は、高精細化処理部２５により生成された、高精細度のパノラマ画像を記憶し、記憶されている高精細度のパノラマ画像を通信部２１を介して、表示装置５に供給する。
【００５１】
図３および図４に示すフローチャートを参照して、本発明に係る撮像システムによる撮像およびパノラマ画像を生成する処理を説明する。
【００５２】
ステップＳ２０１において、情報処理装置４の制御部２２は、通信部２１を介して、カメラ１に、撮像要求信号を送信する。ステップＳ３０１において、カメラ１は、情報処理装置４から送信された撮像要求信号を受信し、ステップＳ３０２において、１フレームを撮像する。
【００５３】
１フレームの撮像が終了したとき、ステップＳ３０３において、カメラ１は、撮像完了信号を情報処理装置４および回転角度計測器３に送信する。
【００５４】
ステップＳ４０１において、回転角度計測器３は、カメラ１から送信された撮像完了信号を受信し、ステップＳ４０２に進み、カメラ１の回転角度を計測する。
【００５５】
ステップＳ４０３において、回転角度計測器３は、計測したカメラ１の回転角度を保持する。
【００５６】
ステップＳ２０２において、情報処理装置４の通信部２１は、カメラ１から送信された撮像完了信号を受信し、受信した撮像完了信号に対応する信号を制御部２２に供給する。ステップＳ２０３において、情報処理装置の制御部２２は、通信部２１から、撮像完了信号に対応する信号を受信すると、通信部２１に、データ転送要求信号をカメラ１および回転角度計測器３に送信させる。
【００５７】
ステップＳ３０４において、カメラ１は、情報処理装置４から送信されたデータ転送要求信号を受信すると、ステップＳ３０５において、ステップＳ３０２の処理で撮像した全方位画像を情報処理装置４に送信する。
【００５８】
ステップＳ２０４において、情報処理装置４の通信部２１は、カメラ１から送信された全方位画像を受信し、入力バッファ２３に記憶させる。
【００５９】
ステップＳ４０４において、回転角度計測器３は、情報処理装置４から送信されたデータ転送要求信号を受信すると、ステップＳ４０５において、ステップＳ４０２の処理で計測した、カメラ１の回転角度を情報処理装置４に送信する。
【００６０】
ステップＳ２０５において、情報処理装置４の通信部２１は、回転角度計測器３から送信された、カメラ１の回転角度を受信し、入力バッファ２３に記憶させる。
【００６１】
ステップＳ２０６において、情報処理装置４の角度補正部２４は、入力バッファ２３に記憶されている全方位画像、およびカメラ１の回転角度を基に、撮影角度補正の処理を実行する。撮影角度補正の処理により、全方位画像を展開した方形の画像が、入力バッファ２３に格納される。また、方形の画像に設定された基準位置が入力バッファ２３に格納される。撮影角度補正の処理の詳細は後述する。
【００６２】
ステップＳ２０７において、情報処理装置４の高精細化処理部２５は、入力バッファ２３に記憶されている、基準位置が設定された、全方位画像を展開した方形の画像を基に、高精細な方形の画像を生成する高精細化の処理を実行する。生成された高精細な方形の画像は、出力バッファ２６に格納される。高精細化の処理の詳細は、後述する。
【００６３】
ステップＳ２０８において、情報処理装置４の通信部２１は、制御部２２の制御の基に、出力バッファ２６に格納されている、高精細な方形の画像を表示装置５に送信する。
【００６４】
ステップＳ１０１において、表示装置５は、情報処理装置４から送信された高精細な方形の画像を受信し、ステップＳ１０２において、受信した高精細な方形の画像を表示して、処理は終了する。
【００６５】
なお、図３および図４のフローチャートを参照して説明した処理は、同期式の通信を利用する処理であるが、カメラ１が、常に全方位画像の画像信号を情報処理装置４に送信し、情報処理装置４が、画像信号のフレームの開始信号を用いて、回転角度計測器３から回転角度をラッチするようにしてもよい。
【００６６】
図５は、ステップＳ２０６に対応する撮像角度補正の処理の詳細を説明するフローチャートである。
【００６７】
ステップＳ１１において、角度補正部２４は、入力バッファ２３に記憶されている全方位画像を、緯度経度表現に変換し、方形の画像を生成する。
【００６８】
図６は、カメラ１により撮像され、入力バッファ２３に記憶されている全方位画像の例を示す図である。全方位画像は、有効な画素がほぼ円形に配置される。全方位画像の中心側の画像は、周辺側の画像に比較して、より少ない撮像素子の画素で取得される。
【００６９】
図７は、角度補正部２４により、全方位画像から緯度経度表現に変換された、方形の画像の例を示す図である。
【００７０】
角度補正部２４は、全方位画像を、カメラ１の撮像素子の画素に対応して展開するので、全方位画像の中心側に対応する、図７中の方形の画像の下側のＡの部分の画素には、画素値が設定されない。例えば、角度補正部２４は、図７中の方形の画像の下側のＡの部分の画素に、画素値が無いことを示す、ヌルを設定する。
【００７１】
ステップＳ１２において、角度補正部２４は、入力バッファ２３に記憶されている回転角度に対応させて、方形の画像に基準位置を設定して、すなわち、ステップＳ１１の処理で展開された方形の画像をスクロールして、処理は終了する。
【００７２】
撮像角度補正の処理により、カメラ１の回転に対応した画像シーケンスのそれぞれの画像について、基準位置が設定されて、対応する位置が特定されることにより、固定されたカメラで撮像された画像と同等の固定撮影画像シーケンスに変換されることになる。
【００７３】
図８は、ステップＳ１１の処理により、展開された方形の画像の例を示す図である。図中の上側は、基準フレームFrの画像を示す図である。図中の上から２番目は、基準フレームの次のフレームである、フレームF1の画像を示す図である。図中の下側は、フレームF1の次のフレームである、フレームF2の画像を示す図である。
【００７４】
図９は、ステップＳ１２の処理により、回転角度に対応させて、基準位置を設定した画像の例を示す図である。
【００７５】
展開された方形の画像の右端から左端までの距離は、３６０度に対応する。
【００７６】
画像の右端を基準として説明すると、フレームF1の画像は、図６中において、反時計方向に、基準フレームFrから角度α1回転したとき撮像されたものであるとき、角度α1に対応する距離V1だけ、基準フレームFrの画像を基準として、左側に移動される（スクロールされる）。V1は、例えば、画像の幅×α1/360で算出される。但し、α1は、0以上360未満である。
【００７７】
同様に、フレームF2の画像は、図６中において、反時計方向に、基準フレームFrから角度α2回転したとき撮像されたものであるとき、角度α2に対応する距離V2だけ、基準フレームFrの画像を基準として、左側に移動される（スクロールされる）。
【００７８】
言い換えれば、フレームFrの画像の基準位置が、フレームFrの画像の右端としたとき、フレームF1の画像の基準位置は、フレームF1の画像の右端から右側にV1だけ移動した位置であり、フレームF2の画像の基準位置は、フレームF2の画像の右端から右側にV2だけ移動した位置である。
【００７９】
角度補正部２４は、このような、基準位置を、全方位画像が展開された方形の画像に設定する。
【００８０】
このようにすることで、基準位置を基準とした、基準フレームFrの画像、フレームF1の画像、およびフレームF2の画像の対応する位置の画素は、静止している同一の被写体の同一の部分の画像を含むことになる。
【００８１】
次に、ステップＳ２０７の処理に対応する、高精細化の処理を図１０のフローチャートを参照して説明する。
【００８２】
ステップＳ３１において、高精細化処理部２５は、入力バッファ２３から取得した最初の展開された方形の画像を基準フレームの画像として、出力バッファ２６に記憶させる。
【００８３】
ステップＳ３２において、高精細化処理部２５は、次のフレームであるフレームｎの展開された方形の画像を入力バッファ２３から読み込む。ステップＳ３２の処理が最初に実行されたとき、高精細化処理部２５は、基準フレームの次のフレームの方形の画像を入力バッファ２３から読み出す。
【００８４】
ステップＳ３３において、高精細化処理部２５は、画像の更新の処理を実行する。画像の更新の処理の詳細は、図１１のフローチャートを参照して後述する。
【００８５】
ステップＳ３４において、高精細化処理部２５は、最終フレームであるか否かを判定し、最終フレームでないと判定された場合、ステップＳ３５に進み、フレームの番号をインクリメントした、ステップＳ３２に進み、さらに次のフレームを読み出して、画像を更新する。すなわち、入力バッファ２３から、順次、方形の画像を読み出して、方形の画像の更新の処理を繰り返す。
【００８６】
ステップＳ３４において、最終フレームであると判定された場合、ステップＳ３６に進み、高精細化処理部２５は、出力バッファ２６に格納されている画像を通信部２１に出力させ、処理は終了する。言い換えれば、ステップＳ３６において、最終フレームである旨の信号を高精細化処理部２５から受信した制御部２２は、通信部２１に、出力バッファ２６に格納されている画像を取得させる。
【００８７】
このように、高精細化処理部２５は、全方位画像を展開した複数の方形の画像を基に、高精細な方形の画像を生成する。
【００８８】
図１１は、ステップＳ３３に対応する画像の更新の処理の詳細を説明するフローチャートである。
【００８９】
ステップＳ５１において、高精細化処理部２５は、基準位置を基準に、出力バッファ２６に格納されている画像の画素と、ステップＳ３２の処理で読み込んだフレームｎの同一位置の画素とを比較する。
【００９０】
ステップＳ５２において、高精細化処理部２５は、ステップＳ５１の処理で比較した、出力バッファ２６に格納されている画像の画素が存在しないか否かを判定し、出力バッファ２６に格納されている画像の画素が存在しないと判定された場合、ステップＳ５３に進み、基準位置を基準とした同一位置の、フレームｎの画素の画素値を、存在しないと判定された画像の画素として、出力バッファ２６に書き込み、ステップＳ５４に進む。
【００９１】
すなわち、図１２に示すように、出力バッファ２６に格納されている方形の画像には、全方位画像を展開することにより、例えば、画像の下側に、有効な画素値を有しない画素が存在している。比較の対象とされた画素が、このような有効な画素値を有しない画素である、すなわち、画素が存在しないとき、フレームｎの画像の、基準位置を基準とした同一の位置の画素の画素値を、出力バッファ２６の有効な画素値を有しない画素に上書きする。
【００９２】
このようにすることで、出力バッファ２６の有効な画素値を有しない画素が配置されていた、図１２のＡに示す部分に、フレームｎの画素の画素値が設定されることになり、出力バッファ２６に記憶されている画像を高精細化することができる。
【００９３】
ステップＳ５２において、画素が存在すると判定された場合、出力バッファ２６の画像に画素値を上書きする必要がないので、ステップＳ５３の処理はスキップされ、処理は、ステップＳ５４に進む。
【００９４】
ステップＳ５４において、高精細化処理部２５は、出力バッファ２６に格納されている画像の画素の画素値と、基準位置を基準とした、フレームｎの同一位置の画素の画素値の差分が、閾値TH1以下であるか否かを判定し、画素値の差分が閾値TH1以下であると判定された場合、静止している被写体に対応する画素なので、ステップＳ５５に進み、出力バッファ２６に格納されている画像の画素の画素値、および基準位置を基準とした、フレームｎの同一位置の画素の画素値の平均値を算出し、算出した平均値を、比較された出力バッファ２６に格納されている画像の画素の画素値として、出力バッファ２６に書き込む。
【００９５】
すなわち、画素値の差分が閾値TH1以下であると判定された場合、出力バッファ２６に格納されている画像の画素、および基準位置を基準とした、フレームｎの同一位置の画素が、同一の被写体の同一の部分を撮像して得られた画素である、すなわち、静止している被写体を撮像した画素であると言える。そこで、出力バッファ２６に格納されている画像の画素の画素値と、基準位置を基準とした、フレームｎの同一位置の画素の画素値との平均値が算出され、算出された平均値が、出力バッファ２６の比較の対象となった画素に設定される。
【００９６】
このようにすることで、静止している被写体が撮像された画像の部分である、例えば、図１２のＢに示す部分に、同一の被写体の同一部分に対応する画素値の平均値が設定されることになり、ノイズ等が低減されることとなり、出力バッファ２６に記憶されている画像を高精細化することができる。
【００９７】
ステップＳ５６において、高精細化処理部２５は、画素位置ポインタを、出力バッファ２６に格納されている画像の次の画素を指すように、進める。
【００９８】
ステップＳ５７において、高精細化処理部２５は、画素位置ポインタを基に、出力バッファ２６に格納されている画像の全ての画素を比較したか否かを判定し、全ての画素を比較していないと判定された場合、ステップＳ５１に戻り、次の画素について、更新の処理を繰り返す。
【００９９】
ステップＳ５７において、全ての画素を比較したと判定された場合、処理は終了する。
【０１００】
ステップＳ５４において、画素値の差分が閾値TH1以下でないと判定された場合、動いている被写体に対応する画素なので、ステップＳ５８に進み、高精細化処理部２５は、動き検出の処理を実行する。その後、処理は、ステップＳ５６に進み、次の画素の更新の処理を実行する。
【０１０１】
以上のように、高精細化処理部２５は、基準位置が設定された、２つ以上の方形の画像を基に、より高精細な方形の画像を生成することができる。
【０１０２】
図１３は、ステップＳ５８の処理に対応する動き検出の処理の詳細を説明するフローチャートである。
【０１０３】
ステップＳ７１において、高精細化処理部２５は、フレームｎの画像内の対応する位置の画素の近傍の画素であって、フレームｎの画像内の対応する位置の画素に類似した画素（近似した画素値を有する画素）を探索する。ステップＳ７１において、高精細化処理部２５は、所定の数の画素からなるブロックを基に、類似する画素を探索するようにしてもよい。
【０１０４】
ステップＳ７２において、高精細化処理部２５は、探索の結果、類似した画素が存在するか否かを判定し、類似した画素が存在すると判定された場合、ステップＳ７３に進み、出力バッファ２６に格納されている画像のうち、対象となる画素と、基準位置を基準とした、フレームｎの類似している画素に対応する位置の画素との間を、フレームｎの画像内の対応する位置の画素の画素値で補間する。
【０１０５】
例えば、図１４に示すように、全方位画像上で被写体が移動しているとき、展開された画像においては、図１５に示すように、移動している被写体の画像について、画素値が得られない場合がある。
【０１０６】
そこで、フレームｎの画像のうち、基準位置を基準として、出力バッファ２６の画素位置ポインタで指定される画素に対応する位置の画素が図１５中のＣであり、画素Ｃに類似する画素が図中のＤであるとき、高精細化処理部２５は、出力バッファ２６に格納されている画像の画素であって、基準位置を基準として、画素Ｃおよび画素Ｄの間に位置する画素Ｅに対応する画素に、画素Ｃの画素値を設定する。
【０１０７】
これにより、フレームｎで撮像された、移動している被写体の大まかな画像を、出力バッファ２６に格納されている画像に表すことができる。
【０１０８】
一方、ステップＳ７２において、類似した画素が存在しないと判定された場合、孤立点であるとみなして、ステップＳ７４に進み、高精細化処理部２５は、フレームnの画素の画素値に適切な重みを乗算し、輝度を補正した画素値を生成する。
【０１０９】
ステップＳ７５において、高精細化処理部２５は、ステップＳ７４の処理において、生成された画素値を出力バッファ２６の画素位置ポインタで指定される画素の画素値として足し込み、処理は終了する。
【０１１０】
このようにすることで、動いている被写体を撮像した場合であっても、動いている被写体が静止している画像に溶け込んでしまうことを防止でき、動いている被写体の画像を含む高精細なパノラマ画像を取得することができる。
【０１１１】
次に、図１６および図１７のフローチャートを参照して、回転角度計測器３を有しない撮像システムによる撮像およびパノラマ画像を生成する処理を説明する。
【０１１２】
ステップＳ１２０１において、情報処理装置４の制御部２２は、通信部２１を介して、カメラ１に、撮像要求信号を送信する。ステップＳ１３０１において、カメラ１は、情報処理装置４から送信された撮像要求信号を受信し、ステップＳ１３０２において、１フレームを撮像する。
【０１１３】
１フレームの撮像が終了したとき、ステップＳ１３０３において、カメラ１は、撮像完了信号を情報処理装置４に送信する。
【０１１４】
ステップＳ１２０２において、情報処理装置４の通信部２１は、カメラ１から送信された撮像完了信号を受信し、受信した撮像完了信号に対応する信号を制御部２２に供給する。ステップＳ１２０３において、情報処理装置の制御部２２は、撮像完了信号に対応する信号を受信すると、通信部２１に、データ転送要求信号をカメラ１に送信させる。
【０１１５】
ステップＳ１３０４において、カメラ１は、情報処理装置４から送信されたデータ転送要求信号を受信すると、ステップＳ１３０５において、ステップＳ３０２の処理で撮像した画像を情報処理装置４に送信する。
【０１１６】
ステップＳ１２０４において、情報処理装置４の通信部２１は、カメラ１から送信された画像を受信し、入力バッファ２３に記憶させる。
【０１１７】
ステップＳ１２０５において、情報処理装置４の角度補正部２４は、入力バッファ２３に記憶されている全方位画像を基に、撮影角度補正の処理を実行する。撮影角度補正の処理により、基準位置が設定された、全方位画像を展開した方形の画像が、入力バッファ２３に格納される。ステップＳ１２０５における、撮影角度補正の処理の詳細は、図１８のフローチャートを参照して後述する。
【０１１８】
ステップＳ１２０６において、情報処理装置４の高精細化処理部２５は、入力バッファ２３に記憶されている基準位置が設定された、全方位画像を展開した方形の画像を基に、高精細なパノラマ画像を生成する高精細化の処理を実行する。生成された高精細なパノラマ画像は、出力バッファ２６に格納される。ステップＳ１２０６における高精細化の処理は、ステップＳ２０７の処理と同様なので、その説明は省略する。
【０１１９】
ステップＳ１２０７において、情報処理装置４の通信部２１は、制御部２２の制御の基に、出力バッファ２６に格納されている、高精細なパノラマ画像を表示装置５に送信する。
【０１２０】
ステップＳ１１０１において、表示装置５は、情報処理装置４から送信された高精細なパノラマ画像を受信し、ステップＳ１１０２において、受信した高精細なパノラマ画像を表示して、処理は終了する。
【０１２１】
図１８のフローチャートを参照して、ステップＳ１２０５に対応する、撮影角度補正の処理の詳細を説明する。
【０１２２】
ステップＳ９１において、角度補正部２４は、入力バッファ２３に記憶されている全方位画像を、緯度経度表現に変換し、方形の画像を生成する。
【０１２３】
ステップＳ９２において、角度補正部２４は、生成した方形の画像のうち、全方位画像の円周部に対応する高解像度の部分を切り出す。
【０１２４】
ステップＳ９３において、角度補正部２４は、基準フレームの画像と、切り出した画像と間の動き量を求める。ステップＳ９３における、基準フレームは、角度補正部２４により、適宜選択された所定のフレームである。
【０１２５】
ステップＳ９４において、角度補正部２４は、求めた動き量を基に、動きがあるか否かを判定し、動きがあると判定された場合、ステップＳ９５に進み、角度補正部２４は、動き量に対応させて、方形の画像に基準位置を設定して、すなわち、ステップＳ９１の処理で展開された方形の画像をスクロールして、処理は終了する。
【０１２６】
ステップＳ９４において、動きがないと判定された場合、撮像素子に対して、撮像された画像が動いていないので、ステップＳ９３に戻り、基準フレームに対して動きを有するフレームを取得するまで、処理を繰り返す。
【０１２７】
このように、回転角度計測器３を有しない場合であっても、全方位画像を展開した方形の画像に基準位置を設定することができる。
【０１２８】
以上のように、本発明によれば、より簡単な構成で、臨場感のある高精細な全方位パノラマ画像を生成することができるようになる。
【０１２９】
広画角および高精細でありながら、動いている被写体の画像も取得できるようになる。
【０１３０】
また、静止画像に限らず、動画像である全方位パノラマ画像を取得することができるようになる。
【０１３１】
このように、本発明によれば、第１の全方位画像および第２の全方位画像を第１の方形画像および第２の方形画像にそれぞれ変換し、角度に対応した、第１の方形画像に対する第２の方形画像の基準位置を算出し、第１の方形画像の第１の画素の画素値を、基準位置を基準とした対応する位置の第２の方形画像の第２の画素の画素値を基に、更新するようにした場合には、全周囲を撮像した、より高精細な画像を得ることができる。
【０１３２】
第１の方形画像の第１の画素が存在しないとき、第１の画素に第２の画素の画素値を設定することにより、第１の方形画像の第１の画素の画素値を更新するようにしてもよい。
【０１３３】
第１の画素と第２の画素との差分が所定の閾値以下であるとき、第１の画素に、第１の画素の画素値および第２の画素の画素値の平均値を設定することにより、第１の方形画像の第１の画素の画素値を更新するようにしてもよい。
【０１３４】
第１の画素と第２の画素との差分が所定の閾値を越えるとき、第２の画素に類似する第２の方形画像の第３の画素に対応する、基準位置を基準とした位置の第１の画像の第４の画素と第１の画素との間の画素に、第２の画素の画素値を設定することにより、第１の方形画像の画素値を更新するようにしてもよい。
【０１３５】
第１の方形画像および第２の方形画像の動き量を基に、角度を検出するようにすることができる。
【０１３６】
また、本発明によれば、全方位画像を撮像し、撮像の光軸を回転軸として、撮像範囲を回転させ、第１の全方位画像、および第１の全方位画像に対して、所定の角度で回転された位置から撮像された第２の全方位画像を第１の方形画像および第２の方形画像にそれぞれ変換し、角度に対応した、第１の方形画像に対する第２の方形画像の基準位置を算出し、第１の方形画像の第１の画素の画素値を、基準位置を基準とした対応する位置の第２の方形画像の第２の画素の画素値を基に、更新するようにした場合には、全周囲を、より高精細に撮像することができる。
【０１３７】
撮像範囲が回転された角度を検出するようにすることができる。
【０１３８】
第１の方形画像の第１の画素が存在しないとき、第１の画素に第２の画素の画素値を設定することにより、第１の方形画像の第１の画素の画素値を更新するようにしてもよい。
【０１３９】
第１の画素と第２の画素との差分が所定の閾値以下であるとき、第１の画素に、第１の画素の画素値および第２の画素の画素値の平均値を設定することにより、第１の方形画像の第１の画素の画素値を更新するようにしてもよい。
【０１４０】
第１の画素と第２の画素との差分が所定の閾値を越えるとき、第２の画素に類似する第２の方形画像の第３の画素に対応する、基準位置を基準とした位置の第１の画像の第４の画素と第１の画素との間の画素に、第２の画素の画素値を設定することにより、第１の方形画像の画素値を更新するようにしてもよい。
【０１４１】
第１の方形画像および第２の方形画像の動き量を基に、角度を検出するようにしてもよい。
【０１４２】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。
【０１４３】
図１９は、本発明に係る画像処理を実行するコンピュータシステムの構成の例を示すブロック図である。CPU（Central Processing Unit）１０１は、ROM（Read Only Memory）１０２、または記憶部１０８に記憶されているプログラムに従って各種の処理を実行する。CPU１０１は、表示制御部１１に対応する処理を実行する。
【０１４４】
RAM（Random Access Memory）１０３には、CPU１０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU１０１、ROM１０２、およびRAM１０３は、バス１０４により相互に接続されている。
【０１４５】
CPU１０１にはまた、バス１０４を介して入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７が接続されている。出力部１０７は、表示部１２に対応する。
【０１４６】
CPU１０１は、入力部１０６から入力される指令に対応して各種の処理を実行する。そして、CPU１０１は、処理の結果得られたデータ等を出力部１０７に出力する。例えば、CPU１０１は、入力部１０６から入力された全方位画像について、撮影角度の補正の処理を適用し、高精細化の処理を適用する。CPU１０１は、出力部１０７から、生成した高精細のパノラマ画像を出力する。
【０１４７】
なお、入力部１０６として、カメラ１、回転装置２、および回転角計測器３を設けるようにしてもよい。
【０１４８】
入出力インタフェース１０５に接続されている記憶部１０８は、例えばハードディスクなどで構成され、CPU１０１が実行するプログラムや各種のデータを記憶する。通信部１０９は、インターネット、その他のネットワークを介して外部の装置と通信する。
【０１４９】
また、通信部１０９を介してプログラムを取得し、記憶部１０８に記憶してもよい。
【０１５０】
入出力インタフェース１０５に接続されているドライブ１１０は、磁気ディスク１５１、光ディスク１５２、光磁気ディスク１５３、或いは半導体メモリ１５４などが装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部１０８に転送され、記憶される。
【０１５１】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１５２】
この記録媒体は、図１９に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１５１（フレキシブルディスクを含む）、光ディスク１５２（CD-ROM(Compact Disc-Read Only Memory)、ＤＶＤ(Digital Versatile Disc)を含む）、光磁気ディスク１５３（ＭＤ(Mini-Disc)（商標）を含む）、若しくは半導体メモリ１５４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１０２や、記憶部１０８に含まれるハードディスクなどで構成される。
【０１５３】
なお、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデムなどのインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。
【０１５４】
また、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１５５】
なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１５６】
【発明の効果】
以上のように、第１の本発明によれば、パノラマ画像を得ることができる。
【０１５７】
また、第１の本発明によれば、全周囲を撮像した、より高精細な画像を得ることができるようになる。
【０１５８】
第２の本発明によれば、パノラマ画像を撮像することができる。
【０１５９】
また、第２の本発明によれば、全周囲を、より高精細に撮像することができるようになる。
【図面の簡単な説明】
【図１】本発明に係る撮像システムの一実施の形態を示す図である。
【図２】情報処理装置４の機能を示すブロック図である。
【図３】撮像およびパノラマ画像を生成する処理を説明するフローチャートである。
【図４】撮像およびパノラマ画像を生成する処理を説明するフローチャートである。
【図５】撮像角度補正の処理を説明するフローチャートである。
【図６】全方位画像の例を示す図である。
【図７】全方位画像から変換された、方形の画像の例を示す図である。
【図８】方形の画像の例を示す図である。
【図９】基準位置を設定した方形の画像の例を示す図である。
【図１０】高精細化の処理を説明するフローチャートである。
【図１１】画像の更新の処理を説明するフローチャートである。
【図１２】画像の更新の処理を説明する図である。
【図１３】動き検出の処理を説明するフローチャートである。
【図１４】動いている被写体を含む全方位画像の例を示す図である。
【図１５】動いている被写体を含む画像の例を示す図である。
【図１６】撮像およびパノラマ画像を生成する他の処理を説明するフローチャートである。
【図１７】撮像およびパノラマ画像を生成する他の処理を説明するフローチャートである。
【図１８】撮影角度補正の他の処理を説明するフローチャートである。
【図１９】コンピュータシステムの構成の例を示すブロック図である。
【符号の説明】
１ カメラ， ２ 回転装置， ３ 回転角度計測装置， ４ 情報処理装置， ５ 表示装置， １１ 双曲面ミラー， ２１ 通信部， ２２ 制御部，２３ 入力バッファ， ２４ 角度補正部， ２５ 高精細化処理部， ２６出力バッファ， １０１ CPU， １０２ ROM， １０３ RAM， １０８ 記憶部， １５１ 磁気ディスク， １５２ 光ディスク， １５３ 光磁気ディスク， １５４ 半導体メモリ
【発明の属する技術分野】
本発明は、画像処理装置および方法、撮像装置および方法、並びにプログラムに関し、特に、全周囲を撮像した画像を処理するか、全周囲を撮像する画像処理装置および方法、撮像装置および方法、並びにプログラムに関する。
【０００２】
【従来の技術】
コンピュータの発達により、双曲面ミラーや魚眼レンズを介して、全周囲を一括して撮像した、いわゆる全方位画像が積極的に利用されるようになってきた。
【０００３】
このような画像は、主として、観賞用として撮像される。
【０００４】
【発明が解決しようとする課題】
しかしながら、このような全方位画像には、原理的に粗である部分と密である部分が発生する。特に、撮像される半球面の極点に当たる部分では、解像度が不足し、このような全方位画像を方形の画像に展開しても、臨場感のあるパノラマ画像とすることは困難であった。
【０００５】
本発明はこのような状況に鑑みてなされたものであり、全周囲を撮像した、より高精細な画像を得ることができるようにすることを目的とする。
【０００６】
【課題を解決するための手段】
本発明の画像処理装置は、第１の全方位画像および第２の全方位画像に対して経度緯度変換を行うことにより、第１の全方位画像および第２の全方位画像を第１の方形画像および第２の方形画像にそれぞれ変換する変換手段と、角度に対応した、第１の方形画像に対する第２の方形画像の基準位置を算出する算出手段と、第１の方形画像の任意の第１の画素の画素値を、当該第１の画素の画素値と基準位置を基準とした対応する位置の第２の方形画像の第２の画素の画素値とを基に、更新する更新手段とを含むことを特徴とする。
【０００７】
更新手段は、第１の方形画像の第１の画素が存在しないとき、第１の画素に第２の画素の画素値を設定することにより、第１の方形画像の第１の画素の画素値を更新するようにしてもよい。
【０００８】
更新手段は、第１の画素と第２の画素との差分が所定の閾値以下であるとき、第１の画素に、第１の画素の画素値および第２の画素の画素値の平均値を設定することにより、第１の方形画像の第１の画素の画素値を更新するようにしてもよい。
【０００９】
更新手段は、第１の画素と第２の画素との差分が所定の閾値を越えるとき、第２の画素に類似する第２の方形画像の第３の画素に対応する、基準位置を基準とした位置の第１の画像の第４の画素と第１の画素との間の画素に、第２の画素の画素値を設定することにより、第１の方形画像の画素値を更新するようにしてもよい。
【００１０】
画像処理装置は、第１の方形画像および第２の方形画像の動き量を基に、角度を検出する検出手段をさらに設けることができる。
【００１１】
本発明の画像処理方法は、第１の全方位画像および第２の全方位画像に対して経度緯度変換を行うことにより、第１の全方位画像および第２の全方位画像を第１の方形画像および第２の方形画像にそれぞれ変換する変換ステップと、角度に対応した、第１の方形画像に対する第２の方形画像の基準位置を算出する算出ステップと、第１の方形画像の任意の第１の画素の画素値を、当該第１の画素の画素値と基準位置を基準とした対応する位置の第２の方形画像の第２の画素の画素値とを基に、更新する更新ステップとを含むことを特徴とする。
【００１２】
本発明のプログラムは、コンピュータに、第１の全方位画像および第２の全方位画像に対して経度緯度変換を行うことにより、第１の全方位画像および第２の全方位画像を第１の方形画像および第２の方形画像にそれぞれ変換する変換ステップと、角度に対応した、第１の方形画像に対する第２の方形画像の基準位置を算出する算出ステップと、第１の方形画像の任意の第１の画素の画素値を、当該第１の画素の画素値と基準位置を基準とした対応する位置の第２の方形画像の第２の画素の画素値とを基に、更新する更新ステップとを含む処理を実行させることを特徴とする。
【００１３】
本発明の撮像装置は、全方位画像を撮像する撮像手段と、撮像手段の撮像の光軸を回転軸として、撮像手段を回転させる回転手段と、第１の全方位画像、および第１の全方位画像に対して、所定の角度で回転された位置から撮像された第２の全方位画像を経度緯度変換によって第１の方形画像および第２の方形画像にそれぞれ変換する変換手段と、角度に対応した、第１の方形画像に対する第２の方形画像の基準位置を算出する算出手段と、第１の方形画像の任意の第１の画素の画素値を、当該第１の画素の画素値と基準位置を基準とした対応する位置の第２の方形画像の第２の画素の画素値とを基に、更新する更新手段とを含むことを特徴とする。
【００１４】
撮像装置は、撮像手段が回転された角度を検出する検出手段をさらに設けることができる。
【００１５】
更新手段は、第１の方形画像の第１の画素が存在しないとき、第１の画素に第２の画素の画素値を設定することにより、第１の方形画像の第１の画素の画素値を更新するようにしてもよい。
【００１６】
更新手段は、第１の画素と第２の画素との差分が所定の閾値以下であるとき、第１の画素に、第１の画素の画素値および第２の画素の画素値の平均値を設定することにより、第１の方形画像の第１の画素の画素値を更新するようにしてもよい。
【００１７】
更新手段は、第１の画素と第２の画素との差分が所定の閾値を越えるとき、第２の画素に類似する第２の方形画像の第３の画素に対応する、基準位置を基準とした位置の第１の画像の第４の画素と第１の画素との間の画素に、第２の画素の画素値を設定することにより、第１の方形画像の画素値を更新するようにしてもよい。
【００１８】
撮像装置は、第１の方形画像および第２の方形画像の動き量を基に、角度を検出する検出手段をさらに設けることができる。
【００１９】
本発明の撮像方法は、全方位画像を撮像する撮像ステップと、撮像ステップにおける撮像の光軸を回転軸として、撮像の位置を回転させる回転ステップと、第１の全方位画像、および第１の全方位画像に対して、所定の角度で回転された位置から撮像された第２の全方位画像を経度緯度変換によって第１の方形画像および第２の方形画像にそれぞれ変換する変換ステップと、角度に対応した、第１の方形画像に対する第２の方形画像の基準位置を算出する算出ステップと、第１の方形画像の任意の第１の画素の画素値を、当該第１の画素の画素値と基準位置を基準とした対応する位置の第２の方形画像の第２の画素の画素値とを基に、更新する更新ステップとを含むことを特徴とする。
【００２０】
本発明の画像処理装置および方法、並びにプログラムにおいては、第１の全方位画像および第２の全方位画像に対して経度緯度変換を行うことにより、第１の全方位画像および第２の全方位画像が第１の方形画像および第２の方形画像にそれぞれ変換され、角度に対応した、第１の方形画像に対する第２の方形画像の基準位置が算出される。そして、第１の方形画像の任意の第１の画素の画素値が、当該第１の画素の画素値と基準位置を基準とした対応する位置の第２の方形画像の第２の画素の画素値とを基に、更新される。
【００２１】
画像処理装置は、独立した装置であってもよいし、例えば、表示装置の画像処理を行うブロックであってもよい。
【００２２】
第１の全方位画像および第２の全方位画像は、静止画像であってもよいし、動画像であってもよい。
【００２３】
本発明の撮像装置および方法においては、撮像の光軸を回転軸として、撮像範囲を回転させて、全方位画像が撮像され、第１の全方位画像、および第２の全方位画像が経度緯度変換によって第１の方形画像および第２の方形画像にそれぞれ変換される。角度に対応した、第１の方形画像に対する第２の方形画像の基準位置が算出され、第１の方形画像の任意の第１の画素の画素値が、当該第１の画素の画素値と基準位置を基準とした対応する位置の第２の方形画像の第２の画素の画素値とを基に、更新される。
【００２４】
撮像装置は、独立した装置であってもよいし、例えば、記録装置の撮像を行うブロックであってもよい。
【００２５】
第１の全方位画像および第２の全方位画像は、静止画像であってもよいし、動画像であってもよい。
【００２６】
【発明の実施の形態】
図１は、本発明に係る撮像システムの一実施の形態を示す図である。
【００２７】
カメラ１は、例えば、CCD（Charge-Coupled Device）またはCMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子を有し、双曲面ミラー１１に反射された画像を撮像し、カメラ１の周囲全体を切れ目無く撮像する。カメラ１は、いわゆる全方位画像（全周囲画像）を撮像し、撮像した全方位画像を情報処理装置４に供給する。
【００２８】
カメラ１は、全方位画像を撮像するものであればよく、双曲面ミラー１１に限らず、例えば、球面ミラーにより周囲全体の画像を反射して、撮像するものでもよく、または、魚眼レンズを有するものであってもよい。また、カメラ１は、スチルカメラでもよく、ビデオカメラであってもよい。
【００２９】
回転装置２は、カメラ１を所定のステップ角（回転角）で、カメラ１の上下方向の軸を中心の回転させる。回転装置２がカメラ１を回転させる軸は、カメラ１の撮像の光軸および全方位画像の中心と一致している。
【００３０】
従って、回転した後のカメラ１の撮像範囲は、回転する前のカメラ１の撮像範囲と同一である。
【００３１】
しかしながら、回転した後のカメラ１により撮像された全方位画像は、被写体の画像とカメラ１の撮像素子の画素との関係から、回転する前のカメラ１により撮像された全方位画像と異なる画素値を有する。
【００３２】
例えば、カメラ１が回転する前において、被写体の画像のエッジがカメラ１の撮像素子の画素の並びに対して斜めに入力されたとき、撮像素子の画素の感光領域の大きさにより、被写体の画像のエッジがつぶれてしまい、撮像された全方位画像に被写体の画像のエッジが明確に表現されない場合がある。カメラ１が回転した後、被写体の画像のエッジがカメラ１の撮像素子の画素の並びと一致したとき、撮像された全方位画像に被写体の画像のエッジが明確に表現される。
【００３３】
回転装置２の駆動源は、例えば、ステップ角を制御可能なサーボモータまたは５相ステッピングモータとすることができる。回転装置２の最小ステップ角は、微少にすることが望ましい。
【００３４】
なお、回転装置２の回転およびその回転角度を、情報処理装置４が制御するようにしてもよい。
【００３５】
また、回転装置２は、所定の範囲でカメラ１を回動させるものであってもよい。この明細書において、回転には、回動を含むものとする。
【００３６】
回転角度計測器３は、カメラ１の回転角度を取得する装置である。回転角度計測器３は、取得した回転角度を情報処理装置４に供給する。例えば、回転角度計測器３は、相対型または絶対型のロータリエンコーダなどにより構成することができる。
【００３７】
回転角計測器３の検出可能な回転角は、回転装置２のステッピング角より小さいことが望ましい。すなわち、回転角計測器３の分解能は、回転装置２のステッピング角に対して、充分大きいことが望ましい。
【００３８】
回転角計測器３は、回転装置２と一体に設けるようにしてもよい。
【００３９】
情報処理装置４は、カメラ１から供給された一連の全方位画像（以下、画像シーケンスとも称する）を取得すると共に、回転角計測器３から供給されたカメラ１の回転角度を取得する。情報処理装置４は、画像シーケンスおよび回転角度を基に、全方位画像を展開して、全方位画像に対応する高精細の方形の画像を生成する。以下、全方位画像に対応する方形の画像を、パノラマ画像とも称する。情報処理装置４は、生成したパノラマ画像を表示装置５に供給する。
【００４０】
情報処理装置４は、例えば、専用の画像処理装置、または汎用のコンピュータとすることができる。すなわち、情報処理装置４は、専用のハードウェアにより、後述する通信部２１乃至出力バッファ２６の機能を実現するようにしてもよく、所定のプログラムを実行することにより、通信部２１乃至出力バッファ２６の機能を実現するようにしてもよい。
【００４１】
表示装置５は、情報処理装置４から供給された高精細度のパノラマ画像を表示する。表示装置５は、高精細度のパノラマ画像を表示することができるだけの解像能力を有することが望ましい。表示装置５は、例えば、CRT（Cathode-Ray Tube）モニタまたは液晶モニタとすることができる。
【００４２】
図２は、情報処理装置４の機能を示すブロック図である。
【００４３】
通信部２１は、カメラ１から画像を受信し、回転角計測器３から回転角を受信するとともに、生成したパノラマ画像をモニタ５に出力するインタフェースである。また、通信部２１は、カメラ１の撮像および撮像した全方位画像の送信、並びに回転角計測器３の回転角度の計測および回転角度の送信の処理を制御するための信号をカメラ１または回転角計測器３に送信する。
【００４４】
制御部２２は、カメラ１、回転角計測器３、通信部２１、角度補正部２４、および高精細化処理部２５の動作を制御する。制御部２２は、カメラ１に撮像させるか、若しくは撮像した全方位画像を送信させるか、または回転角計測器３にカメラ１の回転角度を計測させるか、若しくは計測した回転角度を送信させるとき、送信通信部２１に所定の信号をカメラ１または回転角計測器３に送信させる。
【００４５】
入力バッファ２３は、カメラ１から送信され、通信部２１で受信された全方位画像を記憶し、記憶している全方位画像を角度補正部２４に供給する。また、入力バッファ２３は、回転角計測器３から供給されたカメラ１の回転角度を記憶し、記憶しているカメラ１の回転角度を角度補正部２４に供給する。
【００４６】
さらに、入力バッファ２３は、角度補正部２４により、全方位画像が展開され、カメラ１の回転角度に対応して基準位置が設定された方形の画像を記憶する。入力バッファ２３は、記憶している方形の画像を高精細化処理部２５に供給する。
【００４７】
角度補正部２４は、入力バッファ２３に記憶されている全方位画像を、緯度経度表現に変換する。すなわち、角度補正部２４は、ほぼ円形の全方位画像を展開して方形の画像を生成する。角度補正部２４は、カメラ１の回転角度を基に、展開した方形の画像の基準位置を算出する。
【００４８】
高精細化処理部２５は、入力バッファ２３から供給された最初の方形の画像を、そのまま出力バッファ２６に記憶させる。
【００４９】
高精細化処理部２５は、入力バッファ２３から供給された基準位置が設定された方形の画像、出力バッファ２６に記憶されている方形の画像を基に、より高精細な方形の画像を生成し、生成した方形の画像を高精細度のパノラマ画像として出力バッファ２６に記憶させる。
【００５０】
出力バッファ２６は、高精細化処理部２５により生成された、高精細度のパノラマ画像を記憶し、記憶されている高精細度のパノラマ画像を通信部２１を介して、表示装置５に供給する。
【００５１】
図３および図４に示すフローチャートを参照して、本発明に係る撮像システムによる撮像およびパノラマ画像を生成する処理を説明する。
【００５２】
ステップＳ２０１において、情報処理装置４の制御部２２は、通信部２１を介して、カメラ１に、撮像要求信号を送信する。ステップＳ３０１において、カメラ１は、情報処理装置４から送信された撮像要求信号を受信し、ステップＳ３０２において、１フレームを撮像する。
【００５３】
１フレームの撮像が終了したとき、ステップＳ３０３において、カメラ１は、撮像完了信号を情報処理装置４および回転角度計測器３に送信する。
【００５４】
ステップＳ４０１において、回転角度計測器３は、カメラ１から送信された撮像完了信号を受信し、ステップＳ４０２に進み、カメラ１の回転角度を計測する。
【００５５】
ステップＳ４０３において、回転角度計測器３は、計測したカメラ１の回転角度を保持する。
【００５６】
ステップＳ２０２において、情報処理装置４の通信部２１は、カメラ１から送信された撮像完了信号を受信し、受信した撮像完了信号に対応する信号を制御部２２に供給する。ステップＳ２０３において、情報処理装置の制御部２２は、通信部２１から、撮像完了信号に対応する信号を受信すると、通信部２１に、データ転送要求信号をカメラ１および回転角度計測器３に送信させる。
【００５７】
ステップＳ３０４において、カメラ１は、情報処理装置４から送信されたデータ転送要求信号を受信すると、ステップＳ３０５において、ステップＳ３０２の処理で撮像した全方位画像を情報処理装置４に送信する。
【００５８】
ステップＳ２０４において、情報処理装置４の通信部２１は、カメラ１から送信された全方位画像を受信し、入力バッファ２３に記憶させる。
【００５９】
ステップＳ４０４において、回転角度計測器３は、情報処理装置４から送信されたデータ転送要求信号を受信すると、ステップＳ４０５において、ステップＳ４０２の処理で計測した、カメラ１の回転角度を情報処理装置４に送信する。
【００６０】
ステップＳ２０５において、情報処理装置４の通信部２１は、回転角度計測器３から送信された、カメラ１の回転角度を受信し、入力バッファ２３に記憶させる。
【００６１】
ステップＳ２０６において、情報処理装置４の角度補正部２４は、入力バッファ２３に記憶されている全方位画像、およびカメラ１の回転角度を基に、撮影角度補正の処理を実行する。撮影角度補正の処理により、全方位画像を展開した方形の画像が、入力バッファ２３に格納される。また、方形の画像に設定された基準位置が入力バッファ２３に格納される。撮影角度補正の処理の詳細は後述する。
【００６２】
ステップＳ２０７において、情報処理装置４の高精細化処理部２５は、入力バッファ２３に記憶されている、基準位置が設定された、全方位画像を展開した方形の画像を基に、高精細な方形の画像を生成する高精細化の処理を実行する。生成された高精細な方形の画像は、出力バッファ２６に格納される。高精細化の処理の詳細は、後述する。
【００６３】
ステップＳ２０８において、情報処理装置４の通信部２１は、制御部２２の制御の基に、出力バッファ２６に格納されている、高精細な方形の画像を表示装置５に送信する。
【００６４】
ステップＳ１０１において、表示装置５は、情報処理装置４から送信された高精細な方形の画像を受信し、ステップＳ１０２において、受信した高精細な方形の画像を表示して、処理は終了する。
【００６５】
なお、図３および図４のフローチャートを参照して説明した処理は、同期式の通信を利用する処理であるが、カメラ１が、常に全方位画像の画像信号を情報処理装置４に送信し、情報処理装置４が、画像信号のフレームの開始信号を用いて、回転角度計測器３から回転角度をラッチするようにしてもよい。
【００６６】
図５は、ステップＳ２０６に対応する撮像角度補正の処理の詳細を説明するフローチャートである。
【００６７】
ステップＳ１１において、角度補正部２４は、入力バッファ２３に記憶されている全方位画像を、緯度経度表現に変換し、方形の画像を生成する。
【００６８】
図６は、カメラ１により撮像され、入力バッファ２３に記憶されている全方位画像の例を示す図である。全方位画像は、有効な画素がほぼ円形に配置される。全方位画像の中心側の画像は、周辺側の画像に比較して、より少ない撮像素子の画素で取得される。
【００６９】
図７は、角度補正部２４により、全方位画像から緯度経度表現に変換された、方形の画像の例を示す図である。
【００７０】
角度補正部２４は、全方位画像を、カメラ１の撮像素子の画素に対応して展開するので、全方位画像の中心側に対応する、図７中の方形の画像の下側のＡの部分の画素には、画素値が設定されない。例えば、角度補正部２４は、図７中の方形の画像の下側のＡの部分の画素に、画素値が無いことを示す、ヌルを設定する。
【００７１】
ステップＳ１２において、角度補正部２４は、入力バッファ２３に記憶されている回転角度に対応させて、方形の画像に基準位置を設定して、すなわち、ステップＳ１１の処理で展開された方形の画像をスクロールして、処理は終了する。
【００７２】
撮像角度補正の処理により、カメラ１の回転に対応した画像シーケンスのそれぞれの画像について、基準位置が設定されて、対応する位置が特定されることにより、固定されたカメラで撮像された画像と同等の固定撮影画像シーケンスに変換されることになる。
【００７３】
図８は、ステップＳ１１の処理により、展開された方形の画像の例を示す図である。図中の上側は、基準フレームFrの画像を示す図である。図中の上から２番目は、基準フレームの次のフレームである、フレームF1の画像を示す図である。図中の下側は、フレームF1の次のフレームである、フレームF2の画像を示す図である。
【００７４】
図９は、ステップＳ１２の処理により、回転角度に対応させて、基準位置を設定した画像の例を示す図である。
【００７５】
展開された方形の画像の右端から左端までの距離は、３６０度に対応する。
【００７６】
画像の右端を基準として説明すると、フレームF1の画像は、図６中において、反時計方向に、基準フレームFrから角度α1回転したとき撮像されたものであるとき、角度α1に対応する距離V1だけ、基準フレームFrの画像を基準として、左側に移動される（スクロールされる）。V1は、例えば、画像の幅×α1/360で算出される。但し、α1は、0以上360未満である。
【００７７】
同様に、フレームF2の画像は、図６中において、反時計方向に、基準フレームFrから角度α2回転したとき撮像されたものであるとき、角度α2に対応する距離V2だけ、基準フレームFrの画像を基準として、左側に移動される（スクロールされる）。
【００７８】
言い換えれば、フレームFrの画像の基準位置が、フレームFrの画像の右端としたとき、フレームF1の画像の基準位置は、フレームF1の画像の右端から右側にV1だけ移動した位置であり、フレームF2の画像の基準位置は、フレームF2の画像の右端から右側にV2だけ移動した位置である。
【００７９】
角度補正部２４は、このような、基準位置を、全方位画像が展開された方形の画像に設定する。
【００８０】
このようにすることで、基準位置を基準とした、基準フレームFrの画像、フレームF1の画像、およびフレームF2の画像の対応する位置の画素は、静止している同一の被写体の同一の部分の画像を含むことになる。
【００８１】
次に、ステップＳ２０７の処理に対応する、高精細化の処理を図１０のフローチャートを参照して説明する。
【００８２】
ステップＳ３１において、高精細化処理部２５は、入力バッファ２３から取得した最初の展開された方形の画像を基準フレームの画像として、出力バッファ２６に記憶させる。
【００８３】
ステップＳ３２において、高精細化処理部２５は、次のフレームであるフレームｎの展開された方形の画像を入力バッファ２３から読み込む。ステップＳ３２の処理が最初に実行されたとき、高精細化処理部２５は、基準フレームの次のフレームの方形の画像を入力バッファ２３から読み出す。
【００８４】
ステップＳ３３において、高精細化処理部２５は、画像の更新の処理を実行する。画像の更新の処理の詳細は、図１１のフローチャートを参照して後述する。
【００８５】
ステップＳ３４において、高精細化処理部２５は、最終フレームであるか否かを判定し、最終フレームでないと判定された場合、ステップＳ３５に進み、フレームの番号をインクリメントした、ステップＳ３２に進み、さらに次のフレームを読み出して、画像を更新する。すなわち、入力バッファ２３から、順次、方形の画像を読み出して、方形の画像の更新の処理を繰り返す。
【００８６】
ステップＳ３４において、最終フレームであると判定された場合、ステップＳ３６に進み、高精細化処理部２５は、出力バッファ２６に格納されている画像を通信部２１に出力させ、処理は終了する。言い換えれば、ステップＳ３６において、最終フレームである旨の信号を高精細化処理部２５から受信した制御部２２は、通信部２１に、出力バッファ２６に格納されている画像を取得させる。
【００８７】
このように、高精細化処理部２５は、全方位画像を展開した複数の方形の画像を基に、高精細な方形の画像を生成する。
【００８８】
図１１は、ステップＳ３３に対応する画像の更新の処理の詳細を説明するフローチャートである。
【００８９】
ステップＳ５１において、高精細化処理部２５は、基準位置を基準に、出力バッファ２６に格納されている画像の画素と、ステップＳ３２の処理で読み込んだフレームｎの同一位置の画素とを比較する。
【００９０】
ステップＳ５２において、高精細化処理部２５は、ステップＳ５１の処理で比較した、出力バッファ２６に格納されている画像の画素が存在しないか否かを判定し、出力バッファ２６に格納されている画像の画素が存在しないと判定された場合、ステップＳ５３に進み、基準位置を基準とした同一位置の、フレームｎの画素の画素値を、存在しないと判定された画像の画素として、出力バッファ２６に書き込み、ステップＳ５４に進む。
【００９１】
すなわち、図１２に示すように、出力バッファ２６に格納されている方形の画像には、全方位画像を展開することにより、例えば、画像の下側に、有効な画素値を有しない画素が存在している。比較の対象とされた画素が、このような有効な画素値を有しない画素である、すなわち、画素が存在しないとき、フレームｎの画像の、基準位置を基準とした同一の位置の画素の画素値を、出力バッファ２６の有効な画素値を有しない画素に上書きする。
【００９２】
このようにすることで、出力バッファ２６の有効な画素値を有しない画素が配置されていた、図１２のＡに示す部分に、フレームｎの画素の画素値が設定されることになり、出力バッファ２６に記憶されている画像を高精細化することができる。
【００９３】
ステップＳ５２において、画素が存在すると判定された場合、出力バッファ２６の画像に画素値を上書きする必要がないので、ステップＳ５３の処理はスキップされ、処理は、ステップＳ５４に進む。
【００９４】
ステップＳ５４において、高精細化処理部２５は、出力バッファ２６に格納されている画像の画素の画素値と、基準位置を基準とした、フレームｎの同一位置の画素の画素値の差分が、閾値TH1以下であるか否かを判定し、画素値の差分が閾値TH1以下であると判定された場合、静止している被写体に対応する画素なので、ステップＳ５５に進み、出力バッファ２６に格納されている画像の画素の画素値、および基準位置を基準とした、フレームｎの同一位置の画素の画素値の平均値を算出し、算出した平均値を、比較された出力バッファ２６に格納されている画像の画素の画素値として、出力バッファ２６に書き込む。
【００９５】
すなわち、画素値の差分が閾値TH1以下であると判定された場合、出力バッファ２６に格納されている画像の画素、および基準位置を基準とした、フレームｎの同一位置の画素が、同一の被写体の同一の部分を撮像して得られた画素である、すなわち、静止している被写体を撮像した画素であると言える。そこで、出力バッファ２６に格納されている画像の画素の画素値と、基準位置を基準とした、フレームｎの同一位置の画素の画素値との平均値が算出され、算出された平均値が、出力バッファ２６の比較の対象となった画素に設定される。
【００９６】
このようにすることで、静止している被写体が撮像された画像の部分である、例えば、図１２のＢに示す部分に、同一の被写体の同一部分に対応する画素値の平均値が設定されることになり、ノイズ等が低減されることとなり、出力バッファ２６に記憶されている画像を高精細化することができる。
【００９７】
ステップＳ５６において、高精細化処理部２５は、画素位置ポインタを、出力バッファ２６に格納されている画像の次の画素を指すように、進める。
【００９８】
ステップＳ５７において、高精細化処理部２５は、画素位置ポインタを基に、出力バッファ２６に格納されている画像の全ての画素を比較したか否かを判定し、全ての画素を比較していないと判定された場合、ステップＳ５１に戻り、次の画素について、更新の処理を繰り返す。
【００９９】
ステップＳ５７において、全ての画素を比較したと判定された場合、処理は終了する。
【０１００】
ステップＳ５４において、画素値の差分が閾値TH1以下でないと判定された場合、動いている被写体に対応する画素なので、ステップＳ５８に進み、高精細化処理部２５は、動き検出の処理を実行する。その後、処理は、ステップＳ５６に進み、次の画素の更新の処理を実行する。
【０１０１】
以上のように、高精細化処理部２５は、基準位置が設定された、２つ以上の方形の画像を基に、より高精細な方形の画像を生成することができる。
【０１０２】
図１３は、ステップＳ５８の処理に対応する動き検出の処理の詳細を説明するフローチャートである。
【０１０３】
ステップＳ７１において、高精細化処理部２５は、フレームｎの画像内の対応する位置の画素の近傍の画素であって、フレームｎの画像内の対応する位置の画素に類似した画素（近似した画素値を有する画素）を探索する。ステップＳ７１において、高精細化処理部２５は、所定の数の画素からなるブロックを基に、類似する画素を探索するようにしてもよい。
【０１０４】
ステップＳ７２において、高精細化処理部２５は、探索の結果、類似した画素が存在するか否かを判定し、類似した画素が存在すると判定された場合、ステップＳ７３に進み、出力バッファ２６に格納されている画像のうち、対象となる画素と、基準位置を基準とした、フレームｎの類似している画素に対応する位置の画素との間を、フレームｎの画像内の対応する位置の画素の画素値で補間する。
【０１０５】
例えば、図１４に示すように、全方位画像上で被写体が移動しているとき、展開された画像においては、図１５に示すように、移動している被写体の画像について、画素値が得られない場合がある。
【０１０６】
そこで、フレームｎの画像のうち、基準位置を基準として、出力バッファ２６の画素位置ポインタで指定される画素に対応する位置の画素が図１５中のＣであり、画素Ｃに類似する画素が図中のＤであるとき、高精細化処理部２５は、出力バッファ２６に格納されている画像の画素であって、基準位置を基準として、画素Ｃおよび画素Ｄの間に位置する画素Ｅに対応する画素に、画素Ｃの画素値を設定する。
【０１０７】
これにより、フレームｎで撮像された、移動している被写体の大まかな画像を、出力バッファ２６に格納されている画像に表すことができる。
【０１０８】
一方、ステップＳ７２において、類似した画素が存在しないと判定された場合、孤立点であるとみなして、ステップＳ７４に進み、高精細化処理部２５は、フレームnの画素の画素値に適切な重みを乗算し、輝度を補正した画素値を生成する。
【０１０９】
ステップＳ７５において、高精細化処理部２５は、ステップＳ７４の処理において、生成された画素値を出力バッファ２６の画素位置ポインタで指定される画素の画素値として足し込み、処理は終了する。
【０１１０】
このようにすることで、動いている被写体を撮像した場合であっても、動いている被写体が静止している画像に溶け込んでしまうことを防止でき、動いている被写体の画像を含む高精細なパノラマ画像を取得することができる。
【０１１１】
次に、図１６および図１７のフローチャートを参照して、回転角度計測器３を有しない撮像システムによる撮像およびパノラマ画像を生成する処理を説明する。
【０１１２】
ステップＳ１２０１において、情報処理装置４の制御部２２は、通信部２１を介して、カメラ１に、撮像要求信号を送信する。ステップＳ１３０１において、カメラ１は、情報処理装置４から送信された撮像要求信号を受信し、ステップＳ１３０２において、１フレームを撮像する。
【０１１３】
１フレームの撮像が終了したとき、ステップＳ１３０３において、カメラ１は、撮像完了信号を情報処理装置４に送信する。
【０１１４】
ステップＳ１２０２において、情報処理装置４の通信部２１は、カメラ１から送信された撮像完了信号を受信し、受信した撮像完了信号に対応する信号を制御部２２に供給する。ステップＳ１２０３において、情報処理装置の制御部２２は、撮像完了信号に対応する信号を受信すると、通信部２１に、データ転送要求信号をカメラ１に送信させる。
【０１１５】
ステップＳ１３０４において、カメラ１は、情報処理装置４から送信されたデータ転送要求信号を受信すると、ステップＳ１３０５において、ステップＳ３０２の処理で撮像した画像を情報処理装置４に送信する。
【０１１６】
ステップＳ１２０４において、情報処理装置４の通信部２１は、カメラ１から送信された画像を受信し、入力バッファ２３に記憶させる。
【０１１７】
ステップＳ１２０５において、情報処理装置４の角度補正部２４は、入力バッファ２３に記憶されている全方位画像を基に、撮影角度補正の処理を実行する。撮影角度補正の処理により、基準位置が設定された、全方位画像を展開した方形の画像が、入力バッファ２３に格納される。ステップＳ１２０５における、撮影角度補正の処理の詳細は、図１８のフローチャートを参照して後述する。
【０１１８】
ステップＳ１２０６において、情報処理装置４の高精細化処理部２５は、入力バッファ２３に記憶されている基準位置が設定された、全方位画像を展開した方形の画像を基に、高精細なパノラマ画像を生成する高精細化の処理を実行する。生成された高精細なパノラマ画像は、出力バッファ２６に格納される。ステップＳ１２０６における高精細化の処理は、ステップＳ２０７の処理と同様なので、その説明は省略する。
【０１１９】
ステップＳ１２０７において、情報処理装置４の通信部２１は、制御部２２の制御の基に、出力バッファ２６に格納されている、高精細なパノラマ画像を表示装置５に送信する。
【０１２０】
ステップＳ１１０１において、表示装置５は、情報処理装置４から送信された高精細なパノラマ画像を受信し、ステップＳ１１０２において、受信した高精細なパノラマ画像を表示して、処理は終了する。
【０１２１】
図１８のフローチャートを参照して、ステップＳ１２０５に対応する、撮影角度補正の処理の詳細を説明する。
【０１２２】
ステップＳ９１において、角度補正部２４は、入力バッファ２３に記憶されている全方位画像を、緯度経度表現に変換し、方形の画像を生成する。
【０１２３】
ステップＳ９２において、角度補正部２４は、生成した方形の画像のうち、全方位画像の円周部に対応する高解像度の部分を切り出す。
【０１２４】
ステップＳ９３において、角度補正部２４は、基準フレームの画像と、切り出した画像と間の動き量を求める。ステップＳ９３における、基準フレームは、角度補正部２４により、適宜選択された所定のフレームである。
【０１２５】
ステップＳ９４において、角度補正部２４は、求めた動き量を基に、動きがあるか否かを判定し、動きがあると判定された場合、ステップＳ９５に進み、角度補正部２４は、動き量に対応させて、方形の画像に基準位置を設定して、すなわち、ステップＳ９１の処理で展開された方形の画像をスクロールして、処理は終了する。
【０１２６】
ステップＳ９４において、動きがないと判定された場合、撮像素子に対して、撮像された画像が動いていないので、ステップＳ９３に戻り、基準フレームに対して動きを有するフレームを取得するまで、処理を繰り返す。
【０１２７】
このように、回転角度計測器３を有しない場合であっても、全方位画像を展開した方形の画像に基準位置を設定することができる。
【０１２８】
以上のように、本発明によれば、より簡単な構成で、臨場感のある高精細な全方位パノラマ画像を生成することができるようになる。
【０１２９】
広画角および高精細でありながら、動いている被写体の画像も取得できるようになる。
【０１３０】
また、静止画像に限らず、動画像である全方位パノラマ画像を取得することができるようになる。
【０１３１】
このように、本発明によれば、第１の全方位画像および第２の全方位画像を第１の方形画像および第２の方形画像にそれぞれ変換し、角度に対応した、第１の方形画像に対する第２の方形画像の基準位置を算出し、第１の方形画像の第１の画素の画素値を、基準位置を基準とした対応する位置の第２の方形画像の第２の画素の画素値を基に、更新するようにした場合には、全周囲を撮像した、より高精細な画像を得ることができる。
【０１３２】
第１の方形画像の第１の画素が存在しないとき、第１の画素に第２の画素の画素値を設定することにより、第１の方形画像の第１の画素の画素値を更新するようにしてもよい。
【０１３３】
第１の画素と第２の画素との差分が所定の閾値以下であるとき、第１の画素に、第１の画素の画素値および第２の画素の画素値の平均値を設定することにより、第１の方形画像の第１の画素の画素値を更新するようにしてもよい。
【０１３４】
第１の画素と第２の画素との差分が所定の閾値を越えるとき、第２の画素に類似する第２の方形画像の第３の画素に対応する、基準位置を基準とした位置の第１の画像の第４の画素と第１の画素との間の画素に、第２の画素の画素値を設定することにより、第１の方形画像の画素値を更新するようにしてもよい。
【０１３５】
第１の方形画像および第２の方形画像の動き量を基に、角度を検出するようにすることができる。
【０１３６】
また、本発明によれば、全方位画像を撮像し、撮像の光軸を回転軸として、撮像範囲を回転させ、第１の全方位画像、および第１の全方位画像に対して、所定の角度で回転された位置から撮像された第２の全方位画像を第１の方形画像および第２の方形画像にそれぞれ変換し、角度に対応した、第１の方形画像に対する第２の方形画像の基準位置を算出し、第１の方形画像の第１の画素の画素値を、基準位置を基準とした対応する位置の第２の方形画像の第２の画素の画素値を基に、更新するようにした場合には、全周囲を、より高精細に撮像することができる。
【０１３７】
撮像範囲が回転された角度を検出するようにすることができる。
【０１３８】
第１の方形画像の第１の画素が存在しないとき、第１の画素に第２の画素の画素値を設定することにより、第１の方形画像の第１の画素の画素値を更新するようにしてもよい。
【０１３９】
第１の画素と第２の画素との差分が所定の閾値以下であるとき、第１の画素に、第１の画素の画素値および第２の画素の画素値の平均値を設定することにより、第１の方形画像の第１の画素の画素値を更新するようにしてもよい。
【０１４０】
第１の画素と第２の画素との差分が所定の閾値を越えるとき、第２の画素に類似する第２の方形画像の第３の画素に対応する、基準位置を基準とした位置の第１の画像の第４の画素と第１の画素との間の画素に、第２の画素の画素値を設定することにより、第１の方形画像の画素値を更新するようにしてもよい。
【０１４１】
第１の方形画像および第２の方形画像の動き量を基に、角度を検出するようにしてもよい。
【０１４２】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。
【０１４３】
図１９は、本発明に係る画像処理を実行するコンピュータシステムの構成の例を示すブロック図である。CPU（Central Processing Unit）１０１は、ROM（Read Only Memory）１０２、または記憶部１０８に記憶されているプログラムに従って各種の処理を実行する。CPU１０１は、表示制御部１１に対応する処理を実行する。
【０１４４】
RAM（Random Access Memory）１０３には、CPU１０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU１０１、ROM１０２、およびRAM１０３は、バス１０４により相互に接続されている。
【０１４５】
CPU１０１にはまた、バス１０４を介して入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７が接続されている。出力部１０７は、表示部１２に対応する。
【０１４６】
CPU１０１は、入力部１０６から入力される指令に対応して各種の処理を実行する。そして、CPU１０１は、処理の結果得られたデータ等を出力部１０７に出力する。例えば、CPU１０１は、入力部１０６から入力された全方位画像について、撮影角度の補正の処理を適用し、高精細化の処理を適用する。CPU１０１は、出力部１０７から、生成した高精細のパノラマ画像を出力する。
【０１４７】
なお、入力部１０６として、カメラ１、回転装置２、および回転角計測器３を設けるようにしてもよい。
【０１４８】
入出力インタフェース１０５に接続されている記憶部１０８は、例えばハードディスクなどで構成され、CPU１０１が実行するプログラムや各種のデータを記憶する。通信部１０９は、インターネット、その他のネットワークを介して外部の装置と通信する。
【０１４９】
また、通信部１０９を介してプログラムを取得し、記憶部１０８に記憶してもよい。
【０１５０】
入出力インタフェース１０５に接続されているドライブ１１０は、磁気ディスク１５１、光ディスク１５２、光磁気ディスク１５３、或いは半導体メモリ１５４などが装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部１０８に転送され、記憶される。
【０１５１】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１５２】
この記録媒体は、図１９に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１５１（フレキシブルディスクを含む）、光ディスク１５２（CD-ROM(Compact Disc-Read Only Memory)、ＤＶＤ(Digital Versatile Disc)を含む）、光磁気ディスク１５３（ＭＤ(Mini-Disc)（商標）を含む）、若しくは半導体メモリ１５４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１０２や、記憶部１０８に含まれるハードディスクなどで構成される。
【０１５３】
なお、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデムなどのインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。
【０１５４】
また、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１５５】
なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１５６】
【発明の効果】
以上のように、第１の本発明によれば、パノラマ画像を得ることができる。
【０１５７】
また、第１の本発明によれば、全周囲を撮像した、より高精細な画像を得ることができるようになる。
【０１５８】
第２の本発明によれば、パノラマ画像を撮像することができる。
【０１５９】
また、第２の本発明によれば、全周囲を、より高精細に撮像することができるようになる。
【図面の簡単な説明】
【図１】本発明に係る撮像システムの一実施の形態を示す図である。
【図２】情報処理装置４の機能を示すブロック図である。
【図３】撮像およびパノラマ画像を生成する処理を説明するフローチャートである。
【図４】撮像およびパノラマ画像を生成する処理を説明するフローチャートである。
【図５】撮像角度補正の処理を説明するフローチャートである。
【図６】全方位画像の例を示す図である。
【図７】全方位画像から変換された、方形の画像の例を示す図である。
【図８】方形の画像の例を示す図である。
【図９】基準位置を設定した方形の画像の例を示す図である。
【図１０】高精細化の処理を説明するフローチャートである。
【図１１】画像の更新の処理を説明するフローチャートである。
【図１２】画像の更新の処理を説明する図である。
【図１３】動き検出の処理を説明するフローチャートである。
【図１４】動いている被写体を含む全方位画像の例を示す図である。
【図１５】動いている被写体を含む画像の例を示す図である。
【図１６】撮像およびパノラマ画像を生成する他の処理を説明するフローチャートである。
【図１７】撮像およびパノラマ画像を生成する他の処理を説明するフローチャートである。
【図１８】撮影角度補正の他の処理を説明するフローチャートである。
【図１９】コンピュータシステムの構成の例を示すブロック図である。
【符号の説明】
１ カメラ， ２ 回転装置， ３ 回転角度計測装置， ４ 情報処理装置， ５ 表示装置， １１ 双曲面ミラー， ２１ 通信部， ２２ 制御部，２３ 入力バッファ， ２４ 角度補正部， ２５ 高精細化処理部， ２６出力バッファ， １０１ CPU， １０２ ROM， １０３ RAM， １０８ 記憶部， １５１ 磁気ディスク， １５２ 光ディスク， １５３ 光磁気ディスク， １５４ 半導体メモリ
Claims (14)
- 第１の全方位画像、および撮像の光軸を回転軸として、前記第１の全方位画像に対して、所定の角度で回転された位置から撮像された第２の全方位画像を処理する画像処理装置において、
前記第１の全方位画像および前記第２の全方位画像に対して経度緯度変換を行うことにより、前記第１の全方位画像および前記第２の全方位画像を第１の方形画像および第２の方形画像にそれぞれ変換する変換手段と、
前記角度に対応した、前記第１の方形画像に対する前記第２の方形画像の基準位置を算出する算出手段と、
前記第１の方形画像の任意の第１の画素の画素値を、当該第１の画素の画素値と前記基準位置を基準とした対応する位置の前記第２の方形画像の第２の画素の画素値とを基に、更新する更新手段と
を含むことを特徴とする画像処理装置。 - 前記更新手段は、前記第１の方形画像の前記第１の画素が存在しないとき、前記第１の画素に前記第２の画素の画素値を設定することにより、前記第１の方形画像の第１の画素の画素値を更新する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記更新手段は、前記第１の画素と前記第２の画素との差分が所定の閾値以下であるとき、前記第１の画素に、前記第１の画素の画素値および前記第２の画素の画素値の平均値を設定することにより、前記第１の方形画像の第１の画素の画素値を更新する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記更新手段は、前記第１の画素と前記第２の画素との差分が所定の閾値を越えるとき、前記第２の画素に類似する前記第２の方形画像の第３の画素に対応する、前記基準位置を基準とした位置の前記第１の画像の第４の画素と前記第１の画素との間の画素に、前記第２の画素の画素値を設定することにより、前記第１の方形画像の画素値を更新する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記第１の方形画像および前記第２の方形画像の動き量を基に、前記角度を検出する検出手段
をさらに含むことを特徴とする請求項１に記載の画像処理装置。 - 第１の全方位画像、および撮像の光軸を回転軸として、前記第１の全方位画像に対して、所定の角度で回転された位置から撮像された第２の全方位画像を処理する画像処理方法において、
前記第１の全方位画像および前記第２の全方位画像に対して経度緯度変換を行うことにより、前記第１の全方位画像および前記第２の全方位画像を第１の方形画像および第２の方形画像にそれぞれ変換する変換ステップと、
前記角度に対応した、前記第１の方形画像に対する前記第２の方形画像の基準位置を算出する算出ステップと、
前記第１の方形画像の任意の第１の画素の画素値を、当該第１の画素の画素値と前記基準位置を基準とした対応する位置の前記第２の方形画像の第２の画素の画素値とを基に、更新する更新ステップと
を含むことを特徴とする画像処理方法。 - 第１の全方位画像、および撮像の光軸を回転軸として、前記第１の全方位画像に対して、所定の角度で回転された位置から撮像された第２の全方位画像を処理するコンピュータに、
前記第１の全方位画像および前記第２の全方位画像に対して経度緯度変換を行うことにより、前記第１の全方位画像および前記第２の全方位画像を第１の方形画像および第２の方形画像にそれぞれ変換する変換ステップと、
前記角度に対応した、前記第１の方形画像に対する前記第２の方形画像の基準位置を算出する算出ステップと、
前記第１の方形画像の任意の第１の画素の画素値を、当該第１の画素の画素値と前記基準位置を基準とした対応する位置の前記第２の方形画像の第２の画素の画素値とを基に、更新する更新ステップと
を含む処理を実行させるプログラム。 - 全方位画像を撮像する撮像手段と、
前記撮像手段の撮像の光軸を回転軸として、前記撮像手段を回転させる回転手段と、
前記第１の全方位画像、および前記第１の全方位画像に対して、所定の角度で回転された位置から撮像された第２の全方位画像を経度緯度変換によって第１の方形画像および第２の方形画像にそれぞれ変換する変換手段と、
前記角度に対応した、前記第１の方形画像に対する前記第２の方形画像の基準位置を算出する算出手段と、
前記第１の方形画像の任意の第１の画素の画素値を、当該第１の画素の画素値と前記基準位置を基準とした対応する位置の前記第２の方形画像の第２の画素の画素値とを基に、更新する更新手段と
を含むことを特徴とする撮像装置。 - 前記撮像手段が回転された前記角度を検出する検出手段をさらに含むことを特徴とする請求項８に記載の撮像装置。
- 前記更新手段は、前記第１の方形画像の前記第１の画素が存在しないとき、前記第１の画素に前記第２の画素の画素値を設定することにより、前記第１の方形画像の第１の画素の画素値を更新する
ことを特徴とする請求項８に記載の撮像装置。 - 前記更新手段は、前記第１の画素と前記第２の画素との差分が所定の閾値以下であるとき、前記第１の画素に、前記第１の画素の画素値および前記第２の画素の画素値の平均値を設定することにより、前記第１の方形画像の第１の画素の画素値を更新する
ことを特徴とする請求項８に記載の撮像装置。 - 前記更新手段は、前記第１の画素と前記第２の画素との差分が所定の閾値を越えるとき、前記第２の画素に類似する前記第２の方形画像の第３の画素に対応する、前記基準位置を基準とした位置の前記第１の画像の第４の画素と前記第１の画素との間の画素に、前記第２の画素の画素値を設定することにより、前記第１の方形画像の画素値を更新する
ことを特徴とする請求項８に記載の撮像装置。 - 前記第１の方形画像および前記第２の方形画像の動き量を基に、前記角度を検出する検出手段
をさらに含むことを特徴とする請求項８に記載の撮像装置。 - 全方位画像を撮像する撮像ステップと、
前記撮像ステップにおける撮像の光軸を回転軸として、撮像の位置を回転させる回転ステップと、
前記第１の全方位画像、および前記第１の全方位画像に対して、所定の角度で回転された位置から撮像された第２の全方位画像を経度緯度変換によって第１の方形画像および第２の方形画像にそれぞれ変換する変換ステップと、
前記角度に対応した、前記第１の方形画像に対する前記第２の方形画像の基準位置を算出する算出ステップと、
前記第１の方形画像の任意の第１の画素の画素値を、当該第１の画素の画素値と前記基準位置を基準とした対応する位置の前記第２の方形画像の第２の画素の画素値とを基に、更新する更新ステップと
を含むことを特徴とする撮像方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002086516A JP3965560B2 (ja) | 2002-03-26 | 2002-03-26 | 画像処理装置および方法、撮像装置および方法、並びにプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002086516A JP3965560B2 (ja) | 2002-03-26 | 2002-03-26 | 画像処理装置および方法、撮像装置および方法、並びにプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003284058A JP2003284058A (ja) | 2003-10-03 |
| JP3965560B2 true JP3965560B2 (ja) | 2007-08-29 |
Family
ID=29233091
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002086516A Expired - Fee Related JP3965560B2 (ja) | 2002-03-26 | 2002-03-26 | 画像処理装置および方法、撮像装置および方法、並びにプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3965560B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6271917B2 (ja) * | 2013-09-06 | 2018-01-31 | キヤノン株式会社 | 画像記録装置及び撮像装置 |
| CN105980962B (zh) * | 2014-02-17 | 2019-07-23 | 索尼公司 | 信息处理设备和信息处理方法 |
| US10325391B2 (en) | 2016-11-21 | 2019-06-18 | Qualcomm Incorporated | Oriented image stitching for spherical image content |
-
2002
- 2002-03-26 JP JP2002086516A patent/JP3965560B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003284058A (ja) | 2003-10-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6819801B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム。 | |
| CN106133794B (zh) | 信息处理方法、信息处理设备以及程序 | |
| US10437545B2 (en) | Apparatus, system, and method for controlling display, and recording medium | |
| JP5835384B2 (ja) | 情報処理方法、情報処理装置、およびプログラム | |
| JP5121673B2 (ja) | 画像投影装置及び画像投影方法 | |
| KR101339193B1 (ko) | 카메라 플랫폼 시스템 | |
| JP6497965B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP2012222674A (ja) | 画像処理装置、画像処理方法、プログラム | |
| JP2006333133A (ja) | 撮像装置、撮像方法、プログラム、プログラム記録媒体並びに撮像システム | |
| JPWO2008114499A1 (ja) | 撮影装置および撮影方法 | |
| JP2018110375A (ja) | 表示装置、プログラム、表示方法 | |
| JP2006262030A (ja) | 画角調整装置、カメラシステムおよび画角調整方法 | |
| JP7086552B2 (ja) | 情報処理装置、撮像装置、情報処理方法及びプログラム | |
| JP6544996B2 (ja) | 制御装置及び制御方法 | |
| US20240087157A1 (en) | Image processing method, recording medium, image processing apparatus, and image processing system | |
| WO2007119712A1 (ja) | カメラ装置、画像処理装置および画像処理方法 | |
| JP6350695B2 (ja) | 装置、方法、およびプログラム | |
| JP2024114712A (ja) | 撮像装置、撮像方法、及び、プログラム | |
| JP2018109946A (ja) | 表示装置、プログラム、表示方法 | |
| JP3965560B2 (ja) | 画像処理装置および方法、撮像装置および方法、並びにプログラム | |
| CN104754192A (zh) | 摄像设备及其控制方法 | |
| JP6583486B2 (ja) | 情報処理方法、情報処理プログラムおよび情報処理装置 | |
| JP6128185B2 (ja) | 装置、方法、およびプログラム | |
| JP6777208B2 (ja) | プログラム | |
| JP7447403B2 (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050309 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061207 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061211 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070209 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070502 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070515 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100608 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100608 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110608 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110608 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120608 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120608 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130608 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |