JP6128966B2 - 画像処理装置、画像処理方法、及び、プログラム - Google Patents

Description

本発明は、画像処理装置、及び画像処理方法に関し、撮像装置により撮像された撮像画像からパノラマ画像を生成する技術に関するものである。

従来、撮像装置が撮像した複数の撮像画像をつなぎ合わせることにより、１枚のパノラマ画像を作成する撮像システムが知られている。

特許文献１には、撮像装置が撮像した撮像画像の一部の領域の画像を用いてパノラマ画像を生成することが記載されている。

また特許文献２には、パノラマ画像の右端領域の画像、左端領域の画像をそれぞれパノラマ画像の左端、右端につなぎ合わせて、パノラマ画像を拡張することが記載されている。

特開２０１１−２３４１２１号公報 特開２０１２−８０４３２号公報

撮像装置が撮像する撮像画像の画角を変更可能である場合、大きさの異なる複数のパノラマ画像を生成することができる。

たとえば、第１の画角で撮像装置が撮像可能な撮像範囲に対応する第１のパノラマ画像を、第１の画角の撮像画像を用いて生成することができる。

また、第１の画角と異なる第２の画角で撮像装置が撮像可能な撮像範囲に対応する第２のパノラマ画像を、第２の画角の撮像画像を用いて生成することができる。

ここで、撮像装置が撮像する撮像画像の画角が異なる場合、撮像装置が撮像可能な撮像範囲が異なる。すなわち、第１の画角で撮像装置が撮像可能な撮像範囲に対応する第１のパノラマ画像の大きさと、第２の画角で撮像装置が撮像可能な撮像範囲に対応する第２のパノラマ画像の大きさとは異なる。

上述のように大きさが異なる複数のパノラマ画像を生成すると、パノラマ画像を生成するために必要とする処理時間が、１枚のパノラマ画像を生成する場合よりも長くなるという課題がある。

上述の特許文献１から３では、大きさの異なる複数のパノラマ画像を生成することについて想定されていなかった。

上述の課題に鑑みて、本願発明は、撮像装置が撮像する撮像画像の画角を変更可能である場合に、大きさが異なる複数のパノラマ画像を短時間で生成することを目的とする。

上記目的を達成するために、本発明は、第１の画角と、水平方向及び垂直方向の内の少なくとも一方の方向の画角が前記第１の画角よりも狭い第２の画角で撮像可能な撮像手段によって撮像される撮像画像を取得する取得手段と、前記第１の画角で前記撮像手段の撮像方向を変更して撮像可能な範囲に前記一方の方向の長さが対応するパノラマ画像を生成する生成手段とを有し、前記取得手段は、前記第２の画角で、前記一方の方向に撮像方向を変更して前記撮像手段が撮像した複数の撮像画像を取得し、前記生成手段は、前記撮像手段によって撮像可能な範囲の内の前記一方の方向における第１の端部において前記第１の画角で撮像され前記第２の画角で撮像されない領域の撮像画像を、前記撮像手段によって撮像可能な範囲の前記一方の方向における、前記第１の端部とは異なる第２の端部において撮像された撮像画像を用いて補って、前記第１の画角で前記撮像手段の撮像方向を変更して撮像可能な範囲に前記一方の方向の長さが対応するパノラマ画像を生成する。

本発明によれば、撮像装置が撮像する撮像画像の画角を変更可能である場合、大きさが異なる複数のパノラマ画像を生成するために必要とする処理時間を低減することができる。

ネットワークカメラシステムの構成を示す図 パノラマ画像の生成処理を示すフローチャート図 アスペクト比が異なる撮像画像を説明するための図 パノラマ画像に補う画像のサイズ決定処理を説明するためのフローチャート図 カメラ１の撮像可能範囲を説明するための図 撮像画像平面とパノラマ画像平面の概念図 ビューワクライアントの画面表示例 パノラマ画像の生成処理を説明するための図

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

＜実施例１＞
図１は、本実施形態におけるネットワークカメラシステムのブロック図である。

本実施形態にかかるネットワークカメラシステムでは、カメラ１、ビューワクライアント２（以下クライアント２）、パノラマ生成クライアント３（以下クライアント３）がネットワーク４を介して接続されている。カメラ１、クライアント２、クライアント３は、それぞれ、ネットワーク４に複数接続するができる。

ネットワーク４は、カメラ制御信号や、カメラ１による撮像画像を通信可能なインターネットやイントラネット等のネットワークである。本実施形態ではネットワークプロトコルとしてＴＣＰ／ＩＰ（またはＵＤＰ／ＩＰ）プロトコルを仮定するがこれに限られない。また、本実施形態では、カメラ１、クライアント２、クライアント３には、それぞれ異なるＩＰアドレスが割り当てられるものとする。

カメラ１は、後述のクライアント２、３から画像要求コマンドを受信すると、コマンドを送信したクライアントに対して撮像画像をネットワーク４を介して配信する撮像装置である。また、カメラ１は、クライアント２、３からカメラ制御コマンドを受信すると、当該カメラ制御コマンドに応じた各種カメラ制御（例えばパン・チルト・ズーム制御）を実行する。

クライアント２は、カメラ１に割り当てられているＩＰアドレスを指定して、カメラ１と接続を行う。クライアント２は、カメラ１に対して画像要求コマンドを送信する。そしてクライアント２は、画像要求コマンドの応答として、カメラ１から撮像画像を受信し、受信した撮像画像を表示部２６に表示させる。

またクライアント２は、カメラ１の撮像方向を変更させるためのカメラ制御コマンドをカメラ１に送信する。このようにして、クライアント２は変更後の撮像方向においてカメラ１が撮像した撮像画像を受信して表示部２６に表示させることができる。

クライアント３は、クライアント２と同様に、カメラ１に割り当てられているＩＰアドレスを指定して、カメラ１と接続を行う。またクライアント３は、クライアント２と同様に、カメラ１に対して画像要求コマンドを送信する。そしてクライアント３は、画像要求コマンドの応答として、カメラ１から撮像画像を受信する。

またクライアント３は、カメラ１から受信した撮像画像を用いて、パノラマ画像を生成する画像処理装置である。本実施例では、クライアント３がパノラマ画像を生成する場合について説明するが、カメラ１が後述のパノラマ生成処理を行うこととしてもよい。

またクライアント３は、受信した撮像画像を表示部３６に表示させる。なお、本形態におけるパノラマ画像とは、１回の撮像で得られる撮像画像よりも、大きさ（例えば、垂直画角又は水平画角の少なくとも一方）が大きい画像である。

本実施形態のクライアント３は、カメラ１に対してパン、チルト角度を指定して所望の位置へカメラ１を移動させ、撮像指示を出す。カメラ１で撮像した映像は通信制御部１１によりクライアント３へ送信される。クライアント３は受信した撮像画像を基にパノラマ画像を作成し、作成したパノラマ画像をカメラ１へ送信する。カメラ１では受信したパノラマ画像を記憶部１８に記憶する。カメラ１はクライアント２からの要求に応じて、記憶部１８に記憶されたパノラマ画像をクライアント２へ送信する。

次に、カメラ１の構成について図１を用いて説明する。レンズ１４は撮像部１５に被写体の像を結像する。撮像部１５は、撮像画像を生成する。撮像部１５は、生成した撮像画像を圧縮部１６に入力する。本実施形態では、撮像部１５は、レンズ１４から入力された映像を撮像部１５において撮像した撮像画像の読み出し方を切り替えて、異なる画角の撮像画像を生成することができる。本実施形態では、撮像部１５が、アスペクト比の異なる撮像画像を生成できる場合について説明する。例えば、本実施形態の撮像部１５は、アスペクト比が４：３の撮像画像と、アスペクト比が１６：９の撮像画像を撮像することができる。

このようにして、撮像部１５は、第１の画角と、水平画角と垂直画角のうち少なくとも一方の方向の画角が第１の画角よりも狭い第２の画角とで撮像画像を撮像可能である。

撮像部１５が生成する、アスペクト比が異なる画像について図３を用いて説明する。図３Ａは水平画角８０度、垂直画角４５度（アスペクト比１６：９）で撮像した画像である。図３Ｂは水平画角６０度、垂直画角４５度（アスペクト比４：３）撮像した画像である。図３Ａに示した撮像画像から、垂直画角を保って図３Ｂに示した撮像画像を生成する場合、図３Ａに示した撮像画像の左右を切り落とすことで図３Ｂの画像が生成される。このようにして、第１の画角と、少なくとも一方の方向の画角が第１の画角よりも狭い第２の画角とで撮像画像を撮像可能である。

圧縮部１６は前記入力された撮像画像を、クライアント配信に適した画像に符号化圧縮し通信制御部１１へ入力する。本実施形態の圧縮部１６は、撮像部１５からの画像信号をＡ／Ｄ変換した後、ＪＰＥＧで圧縮する。ただし、他の圧縮形式を用いてもよい。

通信制御部１１は、圧縮部１６が圧縮した撮像画像をネットワーク４を介して画像要求コマンドの送信元クライアントに送信する。

記憶部１８は、後述のクライアント３によって生成されたパノラマ画像やカメラの撮像方向、撮像パラメータ等の各種設定値およびデータを保持する。本実施形態における撮像パラメータには、例えば、撮像画像を撮像するためのカメラ１のフォーカス、ホワイトバランス、露出等のパラメータが含まれる。

解釈部１７は、クライアント２、３からのコマンドを解釈して、カメラ１の各部の制御を行う。例えば、解釈部１７は、通信制御部１１によるカメラ制御コマンドの受信を駆動制御部１２に通知する。通知を受けた駆動制御部１２は、駆動部１３の向きやレンズ１４のズーム倍率などを制御する。

駆動部１３は、カメラ１を駆動してカメラ１の撮像方向を変更させる。本実施形態において、駆動部１３は、基準の撮像方向からパン、チルト方向にカメラ１の撮像方向を変更することができる。駆動部１３は、上述の第２の画角で撮像方向を一方の画角の方向において変更して撮像可能な範囲の一方の端部から他方の端部までの角度が３６０度以上になるように、カメラ１の撮像方向を変更することができる。

次に、クライアント２の構成について図１を用いて説明する。

通信制御部２１は、画像要求コマンド、カメラ制御コマンドをカメラ１へ送信する。また通信制御部２１は、カメラ１が撮像した撮像画像、パノラマ画像、各種カメラ制御の結果を取得する。

また、表示制御部２４は、画像伸長部２５で展開された撮像画像およびパノラマ画像を表示部２６に表示させる。また表示制御部２４はグラフィカルユーザインタフェース（ＧＵＩ）を表示部２６に表示させる。操作入力部２３は、ユーザのマウスやキーボードによるＧＵＩ操作を受け付ける。あるいはタッチパネル操作により、ＧＵＩ操作を受け付けることとしてもよい。

ユーザのＧＵＩ操作とは、例えば、カメラ１に対して撮像方向をパン方向、又は、チルト方向に変更させる制御や、ズーム制御を指示するための操作である。例えばユーザは、表示部２６に表示されたパノラマ画像上の領域をマウスクリックやタッチ操作によって指定して、指定した領域に対応する撮像領域が撮像されるようにカメラ１の撮像方向を指定することができる。

例えば、カメラ１のパン・チルト位置、及び、画角を表す枠をパノラマ画像上で移動させたり、枠の大きさを変更したりすることにより、パノラマ画像上の領域を指定することができる。

コマンド生成部２２は、操作入力部２３が受け付けたＧＵＩ操作に応じて各種カメラ制御コマンドを生成する。生成されたカメラ制御コマンドは通信制御部２１からカメラ１に送信される。

次に、画像処理装置であるクライアント３の構成について図１を用いて説明する。通信制御部３１、表示制御部３４、画像伸長部３５、表示部３６は、それぞれクライアント２の通信制御部２１、表示制御部２４、画像伸長部２５、表示部２６と同様の機能を有する。

操作部３３は、クライアント２の操作入力部２３に入力される操作に加えて、カメラ１にパノラマ画像の生成要求（以下、「パノラマ生成要求」）を受け付ける。パノラマ生成要求には、例えば、パノラマ画像を生成する撮像領域の範囲の指定が含まれる。

算出部３７は、パノラマ生成要求に応じて、指定された範囲のパノラマ画像を生成するために用いる撮像画像を撮像するための撮像方向を算出し、算出結果をコマンド生成部３２に入力する。

コマンド生成部３２は、算出部３７から入力されたパン・チルト角度に応じたカメラ制御コマンドを生成し、通信制御部３１を介してカメラ１へ送信する。このカメラ制御コマンドを受信したカメラ１の駆動制御部１２は、カメラ１の撮像方向をカメラ制御コマンドに応じたパン・チルト角度へ変更する。変更後の撮像方向において撮像され、圧縮部１６によって符号化圧縮された撮像画像は、画像要求コマンドに応じてクライアント３へ送信される。

パノラマ画像生成部３８は、カメラ１から受信した複数の撮像画像からパノラマ画像を生成する。すなわち、パノラマ画像生成部３８は、画像伸長部３５で伸長された複数の撮像画像の座標値を後述する変換処理（射影変換）で変換してつなぎ合わせることでパノラマ画像を生成する。パノラマ画像生成部３８におけるパノラマ画像の生成方法については、詳細を後述する。

通信制御部３１は、パノラマ生成部３８が生成したパノラマ画像をカメラ１に送信する。カメラ１へ送信されたパノラマ画像はカメラ１の記憶部１８に記憶される。カメラ１は、クライアント（例えば、クライアント２）からのパノラマ画像の送信要求に応じて、記憶部１８に記憶したパノラマ画像を当該送信要求を行ったクライアントに送信する。

次に本実施形態のクライアント３におけるパノラマ画像の生成処理について図８を用いて説明する。

図８には２枚のパノラマ画像が示されている。図８上段のパノラマ画像８００は、第１の画角でカメラ１の撮像方向を変更して撮像可能な範囲に対応する第１のパノラマ画像である。図８下段のパノラマ画像８０１は、カメラ１の撮像部１５が、垂直画角と水平画角のうち少なくとも一方の方向の画角が第１の画角よりも狭い第２の画角でカメラ１の撮像方向を変更して撮像可能な範囲に対応する第２のパノラマ画像である。

本実施形態では、例として、図５に示すように、カメラ１の撮像方向を一方の端部から他方の端部までカメラ１を中心としてパン方向（水平方向）に３４０度回転させることができる場合について説明する。本実施形態に係るカメラ１は、図５に示すように、基準となる撮像方向（以下、「基準位置」）を０度として、±１７０度の範囲で撮像方向を変更することができる。

また、第１の画角は図３Ａに示した例と同様に水平画角が８０度であり、垂直画角が４５度であるものとする。また、第２の画角は、図３Ｂに示した例と同様に、水平画角が６０度であり、垂直画角が４５度であるものとする。

カメラ１が第１の画角で撮像を行う場合であって、基準位置からパン方向に＋１７０度撮像方向を変更した位置で撮像を行う場合、基準位置からパン方向に＋２１０度の範囲まで撮像することができる。第１の画角の水平画角は８０度であり、撮像中心から左右に４０度ずつ撮影することができるため、パン角＋１７０度に、水平画角の半分の角度を加えた＋２１０度の撮像範囲まで撮像することができる。

同様にして、カメラ１が第１の画角で撮像を行う場合であって、基準位置からパン方向に−１７０度撮像方向を変更した位置で撮像を行う場合、基準位置からパン方向に−２１０度の範囲まで撮像することができる。パン角−１７０度から更に、水平画角の半分の角度を引いた−２１０度の撮像範囲まで撮像することができる。

このように、第１の画角でカメラ１の撮像方向を変更して撮像可能な範囲の一方の端から他方の端までの水平画角は４２０度となる。これは、基準位置からプラス方向に撮像可能な範囲（＋２１０度）の絶対値と基準位置からマイナス方向に撮像可能な範囲（−２１０度）の絶対値の和である。

カメラ１が第１の画角で撮像を行う場合と同様にして、カメラ１は第２の画角で撮像を行う場合、撮像範囲の一方の端から他方の端までの水平画角は４００度となる。

図８に示す通り、第１のパノラマ画像８００と第２のパノラマ画像８０１を比較すると、第２のパノラマ画像８０１は、第１のパノラマ画像８００に対して左右の端が水平画角１０度分ずつ短い。図８では、第１のパノラマ画像と第２のパノラマ画像の差分の領域であって右端の領域を（１）´、左端の領域を（２）´として示す。

領域（１）´及び領域（２）´は、撮像手段の撮像方向を水平画角方向において変更可能な一方の端部において第１の画角で撮像される撮像領域であって、第２の画角で撮像されない撮像領域である。

ここで、（１）´の撮像領域は図８中の（１）の撮像領域と対応する。ここで撮像領域が対応するとは、カメラ１から同じ方向に向かって撮影された領域であることを示す。

例えば、（１）´の領域が基準位置からパン方向に＋２００度〜＋２１０度の範囲の領域であるとすると、（１）´の領域は、基準位置からパン方向に−１５０度〜−１６０度の範囲の領域である（１）の領域と対応する。同様に、（２）´の領域が基準位置からパン方向に−２００度〜−２１０度の範囲の領域であるとすると、（２）´の領域は、基準位置からパン方向に＋１５０度〜＋１６０度の範囲の領域である（２）の領域と対応する。

（１）の領域は、第２のパノラマ画像のうち（１）´側の端部から水平画角方向に変更可能な他方の端部（（２）´側の端部）に向かって撮像方向を変更して、第２の画角で撮像される領域である。（２）の領域は、第２のパノラマ画像のうち（２）´側の端部から水平画角方向に変更可能な他方の端部（（１）´側の端部）に向かって撮像方向を変更して、第２の画角で撮像される領域である。

本実施形態では、第２のパノラマ画像に対して、（１）´の領域を（１）の領域の画像で補い、（２）´の領域を（２）の領域の画像で補って、第１のパノラマ画像に対応する大きさの第３のパノラマ画像を生成する。

このようにして第１の画角でカメラ１の撮像方向を変更して撮像可能な範囲に対応する第１のパノラマ画像に水平画角方向の長さが対応する第３のパノラマ画像を生成することができる。

第２のパノラマ画像の生成処理について図２のフローチャートを用いて説明する。図２の処理は、画像処理装置であるクライアント３の操作部３３で、パノラマ画像の生成を指示する操作が入力されたことに応じて開始される。

ステップＳ１０１において、コマンド生成部３２は、パノラマ画像を生成する際に使用する撮像パラメータをカメラ１に対して設定するためのコマンドを生成する。本実施形態における撮像パラメータには、例えば、パノラマ画像を生成するために用いられる撮像画像を撮像するための、カメラ１のフォーカス、ホワイトバランス、露出のパラメータが含まれる。

また本実施形態における撮像パラメータには、パノラマ画像を生成するために用いられる撮像画像を撮像するために、カメラ１の撮像方向をパン方向に動かす範囲が含まれる。さらに本実施形態における撮像パラメータには、パノラマ画像を生成するために用いられる撮像画像を撮像するために、カメラ１の撮像方向をチルト方向に動かす範囲が含まれる。

パノラマ画像を生成するために用いられる撮像画像を撮像するためにカメラ１の撮像方向をパン方向、あるいは、チルト方向に動かす範囲は、ユーザのＧＵＩ操作によって操作部３３から入力される、パノラマ画像を生成する範囲の指定に基づいて特定される。

なお、撮像パラメータはこれらに限らず、パノラマ画像を生成するために用いられる撮像画像の画質設定を行うための他のパラメータを含めることができる。本実施形態において、パノラマ生成に用いられる撮像画像のアスペクト比は、生成処理開始時に、カメラ１に設定されているアスペクト比が用いられるものとする。以下では、カメラ１が第１のアスペクト比である第１の画角と、水平画角と垂直画角の少なくとも一方の方向の画角が第１の画角よりも狭い第２のアスペクト比の第２の画角をカメラ１が撮像可能な場合について説明する。また、以下のパノラマ生成処理の開始時に、第２のアスペクト比の第２の画角がカメラ１に設定されている場合について説明する。

ステップＳ１０２において、算出部３７は操作部３３において入力されたパノラマ画像を生成する範囲の指定に応じて、パノラマ画像を生成するために用いる複数の撮像画像をそれぞれ撮像するための撮像方向（パン・チルト角度）を算出する。このようにして、パノラマ画像を生成するために用いる撮像画像の撮像方向についての位置情報を取得する。

ステップＳ１０３において、コマンド生成部３２は、ステップＳ１０２で取得した撮像方向にカメラ１の撮像方向を制御するためのカメラ制御コマンドを生成して、カメラ１に送信する。このようにして、カメラ１の撮像方向を指定する。カメラ１の駆動制御部１２は受信したコマンドに応じて、駆動部１３を駆動させカメラ１の撮像方向を変更する。

ステップＳ１０３において送信したカメラ制御コマンドに応じた撮像方向にカメラ１の撮像方向が制御されたことを示す通知を通信制御部３１がカメラ１から受信すると、ステップＳ１０４において、コマンド生成部３２は画像要求コマンドを送信する。クライアント３は、カメラ１に画像要求コマンドを送信することにより、撮像を実行させる。

カメラ１は、画像要求コマンドの受信に応じて、現在のパン・チルト角度で撮像を行う。これによりパノラマ画像を生成するために用いられる複数の撮像画像のうちの１枚が得られる。このようにして撮像された撮像画像は、撮像部１５に入力されたのち、圧縮部１６で圧縮され、通信制御部１１を介してクライアント３へ送信される。

ステップＳ１０５において、基準位置からパン方向又はチルト方向に±１８０度を超える範囲の画像が、現在撮像している撮像画像の画角内に含まれているか判定する。本実施形態では、基準位置からパン方向に±１８０度を超える範囲の画像が、現在撮像している撮像画像の画角内に含まれているか判定する場合について説明する。

ステップＳ１０５の判定は、例えば、基準位置を０度とした場合の現在の撮像方向のパン角度と、カメラ１の撮像する画像の水平画角とを用いて行うことができる。すなわち、現在のパン角度Θｐの絶対値と、水平画角Θｈの１／２の絶対値とを加算した値が、１８０を超えている場合、基準位置からパン方向に±１８０度を超える範囲の画像が、現在撮像している撮像画像の画角内に含まれていると判定することができる。

基準位置からパン方向に±１８０度を超える範囲の画像が、現在撮像している撮像画像の画角内に含まれる場合（ステップＳ１０５においてＹｅｓの場合）、ステップＳ１０６に進む。

ステップＳ１０６において、パノラマ画像生成部３８は、±１８０度を超えた部分の画像を一時保存する。

一方、基準位置からパン方向に±１８０度を超える範囲の画像が、現在撮像している撮像画像の画角内に含まれない場合（ステップＳ１０５においてＮｏの場合）、ステップＳ１０７に進む。

ステップＳ１０７において、コマンド生成部３２は、パノラマ画像の生成に用いる撮像画像を全て取得したか否かを判定する。

パノラマ画像の生成に用いる撮像画像を全て取得したと判定した場合（Ｓ１０７においてＹｅｓの場合）はステップＳ１０８へ進む。

パノラマ画像の生成に用いる撮像画像が全て取得されていない判定した場合（Ｓ１０７においてＮｏの場合）はステップＳ１０２に戻る。

Ｓ１０２に戻った場合、コマンド生成部３２は、まだ撮像していない位置へのパン・チルト角度を算出してカメラ制御コマンドをカメラ１に送信する。そして、上述のステップＳ１０３からステップＳ１０７の処理を行う。ステップＳ１０２からステップＳ１０７の処理を繰り返すことにより、クライアント３はパノラマ画像の生成に用いる全ての撮像画像を取得することができる。

なおステップＳ１０７において、ユーザからパノラマ画像の生成を中断する指示がなされた場合には、パノラマ画像の生成に用いる撮像画像が全て取得されていない判定した場合であっても、ステップＳ１０８へ進むこととしてもよい。

ステップＳ１０８において、コマンド生成部３２は、パノラマ画像の生成を中断する指示が入力されたか否かを判定する。Ｓ１０８において、撮像中断による指示が操作部３３から入力されて中断された場合、ステップＳ１１３に進み、撮像中の画像を全て破棄して終了する。全ての画像が撮像終了したと判断された場合にはステップＳ１０９へ進む。

ステップＳ１０９において、パノラマ画像生成部３８はステップＳ１０６で一時的に保存されていたパン角度±１８０度を超えた部分を含む画像を、パノラマ画像に追加する。パノラマ画像に画像を追加する方法については後述する。画像が追加されたパノラマ画像は表示制御部３４を介して表示部３６に表示される。

ステップＳ１１０において、表示部３６に表示されたパノラマ画像の一部だけを再撮像することを指示することができる。例えば、ユーザがクライアント３のＧＵＩを操作して、パノラマ画像の一部の画像を再度撮像する指示を入力することができる。ユーザは、再撮像を行う範囲と、再撮像実行命令をクライアント３に入力する。クライアント３は入力された範囲の情報と再撮像実行命令を、操作部３３を介してコマンド生成部３２に入力する。このようにして、パノラマ画像生成部３８が生成したパノラマ画像における第１の領域を指定する。そして第１の領域に対応する撮像領域を撮像する指示をカメラ１に対して行う。

あるいは、クライアント３がパノラマ画像中に人体の画像が存在することを示す情報、或いは、パノラマ画像中に動体が存在することを示す情報をクライアント３が取得して、当該取得した情報に応じてカメラ１に対して再撮像を指示することとしてもよい。クライアント３はこれらの情報をカメラ１から取得することができる。カメラ１は、撮像画像中に人体や動体を検出した場合、人体や動体を検出した撮像画像を撮像した撮像方向や画角等をクライアント３に通知する。クライアント３は、通知された情報が示す撮像方向や画角に対応するパノラマ画像上の領域の画像をカメラ１に再撮像させる再撮像指示をコマンド生成部３２に入力することができる。

再撮像指示がコマンド生成部３２に入力されると、ステップＳ１０３へ戻る。そして、コマンド生成部３２は指示された位置のパン・チルト角度へのカメラの撮像方向を変更させるためのカメラ制御コマンドを送信する。送信されたカメラ制御コマンドに応じた撮像方向にカメラ１の撮像方向が制御されたことを示す通知を通信制御部３１が受信すると、コマンド生成部３２は撮像コマンドを送信し、カメラ１に再撮像を実行させる。再撮像前に生成したパノラマ画像のうち、再撮像された部分（再撮像領域）を更新した新たなパノラマ画像を生成する。

ステップＳ１０９において追加した映像に対応する領域が再撮像された場合、映像を追加する前のパノラマ画像上の再撮像領域と、追加した映像上の再撮像領域の２か所が更新される。図８に示した例では、（１）の領域が再撮像された場合、（１）の領域と（１）´の領域の画像が更新される。

このようにして、パノラマ画像生成部３８は、カメラ１が再撮像指示に応じて撮像した撮像画像を用いて、パノラマ画像における第１の領域の画像を更新した新たなパノラマ画像を生成する。

ステップＳ１１０で操作部３３から撮像指示ではない入力が行われた場合はステップＳ１１１へ進み、画像保存して終了するか否かを確認する。操作部３３から画像保存を指示された場合は、Ｓ１１２に進み、パノラマ画像を通信制御部３１より完成したパノラマ画像をカメラ１へ送信する。カメラ１は通信制御部１１で受けたパノラマ画像を記憶部１８に保存する。

ステップＳ１１１で画像保存しないで終了する指示が操作部３３から行われた場合、ステップＳ１１３に進み、パノラマ画像生成部で作成したパノラマ画像を破棄し終了する。パノラマ画像を破棄した場合、カメラ１の記憶部１８に既にパノラマ画像が保存されていれば更新されない。

次に、図２のステップ１０９において基準位置から±１８０度を超えた撮像範囲の情報を記憶する処理について図４を用いて説明する。

クライアント３の通信制御部３１は、ステップＳ２０１でカメラ１に対して撮像画角及びアスペクト比の情報を取得するための制御コマンドを送信する。

カメラ１は通信制御部１１で受信した制御コマンドを解釈部１７で解釈すると、圧縮部１６で圧縮している画像のサイズ及びアスペクト比と画角情報を取得する。さらに、カメラ１の駆動制御部１２は現在の撮像方向を取得する。そして、取得した画像サイズ、アスペクト比、及び、撮像方向を通信制御部１１からクライアント３に送信する。

クライアント３は通信制御部３１で受信した情報を、コマンド生成部３２を介して算出部３７に渡す。

ステップＳ２０２において、受信した返答情報を基に、算出部３７で、パン角度とチルト角度、画角情報、アスペクト比情報から現在の画像の撮像範囲を算出する。撮像範囲がパン角度の±１８０度を超えているか否かを判断する。ステップＳ１０５で説明したように水平画角の計算には、撮像画像の画角とパン角度を用い計算することができる。撮像範囲がパン角度を超えていれば、ステップＳ２０３に進む。

ステップＳ２０３においてパノラマ画像の端位置に補う画像の大きさを計算する。図５にアスペクト比４：３で水平画角が６０度である場合の撮像画像の一例を示す。本実施の形態では、パンの可動限界位置は±１７０度とする。

パン角度＋１７０度の場合は５１の細点線枠内に示される画像が撮像範囲となる。撮像範囲の中心が＋１７０度であり撮像画像左端は＋１８０度を超えている。よって中心より＋１０度左から画像左端までの水平画角２０度分の領域５２が補う対象となる。

パン角度−１７０度の場合は５３の太点線枠内に示される画像が撮像範囲となる。撮像範囲の中心が−１７０度であるため、撮像画像右端は−１８０度を超えている。従って、中心より−１０度右から画像右端までの水平画角２０度分の領域５４が補う対象となる。

画角サイズは、アスペクト比による水平画角の差を計算することで得ることができる。図３で示したように１６：９と４：３では水平画角で２０度の差があり、パンの可動限界位置である端部分では、画像の半分が対象となるため１０度の差が出てくる。つまり４：３と１６：９の画角差は、端部分において±１０度であり、補間すべき映像データは±１８０度から超えた部分に更に１０度超えた部分の画像となる。＋１８０度の場合は補う画像領域としては５５の部分であり、−１８０度の場合は補う領域は５６の部分となる。

ステップＳ２０２の計算で、パン角度が±１８０度を超えていなければステップＳ２０４に進む。画像を補うことは不要となるため補う画像のサイズは０に設定される。

ステップＳ２０５において補うサイズをパノラマ画像生成部３８に一時的に保存しておき、ステップＳ１０９においてコピーする際に、パノラマ画像の両端に付与することになる。両端への付与の際には、アスペクト比の水平画角による画角の差を埋めるために、保存された領域情報から算出された画像領域を、一時保存されている画像の中から抽出する。パノラマ画像生成部３８で生成されたパノラマ画像は圧縮部３９で圧縮し、表示制御部３４を介して表示部３６に表示される。

次に、複数の撮像画像からパノラマ画像を生成するために用いる射影変換について、図６を用いて説明する。

図６は、撮像画像平面とパノラマ画像平面の概念図である。

パノラマ画像を生成するための射影変換は、地図の投影法における心射図法を用いて説明することができる。すなわち、心射図法における視点（Ｑとする）を、パン・チルト中心Ｑ（０，０，０）に置く。そして、あるパンチルト角度（ρ，τ）で得られた画像平面上の座標をＰ１（ｘ，ｙ）、視点Ｑを中心とする半径Ｒ上の球面上に接するようにこの画像を置いたときに、Ｐ１（ｘ，ｙ）と視点Ｑを結ぶ直線が球面と交わる点の座標を極座標表示する。

この極座標表示の結果を（Ｒｓｉｎθｃｏｓφ，Ｒｃｏｓθｃｏｓφ，Ｒｓｉｎφ）とすると、心射図法においては、ｍを定数として一般に次の式が成り立つ。

ｘ＝ｍ・Ｒｃｏｓφｓｉｎ（θ−ρ）／｛ｓｉｎφｓｉｎτ＋ｃｏｓφｃｏｓτｃｏｓ（θ−ρ）｝ （式１．１）
ｙ＝ｍ・Ｒ（ｓｉｎφｃｏｓτ−ｃｏｓφｓｉｎτｃｏｓ（θ−ρ））／｛ｓｉｎφｓｉｎτ＋ｃｏｓφｃｏｓτｃｏｓ（θ−ρ）｝ （式１．２）
なお、パン・チルト角度（ρ，τ）のときにこの画像平面と球の交わる画像平面上の座標を原点（０，０）とする。

ここで、パン・チルトして得られる全撮像範囲を角度で表したものを、パン方向θｍｉｎ〜θｍａｘ、チルト方向φｍｉｎ〜φｍａｘとする。なお、この角度は、駆動部１２のパン・チルト可動範囲にレンズ１４の画角を加えたものである。すなわち、パン・チルト限界をそれぞれ、Ｐｍｉｎ，Ｐｍａｘ，Ｔｍｉｎ，Ｔｍａｘとして、レンズ１４の画角を水平、垂直それぞれＡｈ，Ａｖとすると、
θｍｉｎ＝Ｐｍｉｎ−Ａｈ／２
θｍａｘ＝Ｐｍａｘ＋Ａｈ／２
φｍｉｎ＝Ｐｍｉｎ−Ａｖ／２
φｍａｘ＝Ｐｍａｘ＋Ａｖ／２
となる。生成するパノラマ画像の画素数を横Ｈ画素、縦Ｖ画素とすると、１画素に相当する画角は、パン方向、チルト方向それぞれ
Δθ＝（θｍａｘ−θｍｉｎ）／Ｈ （式２．１）
Δφ＝（φｍａｘ−φｍｉｎ）／Ｖ （式２．２）
となる。すなわちパノラマ画像上の画素（ｉ，ｊ）は、パン・チルト角度（θ，φ）で表すと
（θ，φ）＝（θｍｉｎ＋Δθ×ｉ，φｍｉｎ＋Δφ×ｊ）
但し、
ｉ＝０，１，２，・・・，Ｈ−１
ｊ＝０，１，２，・・・，Ｖ−１
で表すことができる。

したがって、この（θ，φ）と、ある画像ｉｍｇ（Ｐａ，Ｔｂ）を得る際のパン、チルト角度、（ρ，τ）＝（Ｐａ，Ｔｂ）から、画像ｉｍｇ（Ｐａ，Ｔｂ）上の座標（ｘ，ｙ）が、パノラマ画像上のどの座標に対応するかが決定される。この際、式（１．１），（１．２），（２．１），（２．２）が用いられる。ただし、ａ＝１，２，・・・，ｎ，ｂ＝１，２，・・・，ｍである。すなわちパノラマ画像上の座標をＸｐ，Ｙｐとすると、この変換式をＦとすれば、元の撮像画像の座標は、パノラマ画像上の座標
（Ｘｐ、Ｙｐ）＝Ｆ（Ｘ、ｙ、Ｐａ、Ｔｂ） 式（３）
にマッピングされることになる。

したがって、パノラマ画像上の座標（Ｘｐ，Ｙｐ）の画素値は元の撮像画像ｉｍｇ（Ｐａ，Ｔｂ）の画素値で置き換えることができる。これを全パノラマ画像上の画素（ｉ，ｊ）について求めれば、パン、チルト角度にリニアな座標系を持つパノラマ画像が得られる。この変換式Ｆがパノラマ画像生成部３８によって実行される射影変換の計算式である。

次に、クライアント２において、アスペクト比４：３と１６：９の場合における、撮像可能範囲を考慮したパノラマ画像の表示方法について、図７を用いて説明する。

図７はクライアント２の表示部２６及びクライアント３の表示部２６に表示されるビューワのＧＵＩの例である。図７に示したビューワは、図７Ａはアスペクト比１６：９の表示、図７Ｂはアスペクト比４：３の表示を示している。

クライアント２の表示画面には、カメラ１で撮像されたライブ画像を表示するライブ画像表示部７０、７６があり、それぞれカメラ１の記憶部１８から取得されたパノラマ画像を表示するパノラマ画像表示部７１、７７を有する。

ライブ画像表示部７０、７６は、カメラ１が撮像した画像を表示させる第１の領域である。パノラマ画像表示部７１、７７は、パノラマ画像生成部３８が生成したパノラマ画像を表示させるための第２の領域である。

また、クライアント２の表示画面には、つまみのドラッグによりパンとチルト方向にカメラ１を制御するコマンドを指示するパンスクロールバー７３とチルトスクロールバー７４があり、ズーム制御を指示するズームスライダー７５が表示される。

パンスクロールバー７３とチルトスクロールバー７４とズームスライダーバー７５は、アスペクト比の異なる場合でも共通に使用される。さらに、パノラマ画像表示部７１、７７にはパン、チルト、ズーム制御を指示するためのパノラマプレビュー枠７２、７８が表示される。

パノラマプレビュー枠７２、７８を例えばマウスドラッグにより移動させることにより、カメラ１の撮像方向を制御することが可能である。また、パノラマプレビュー枠７２、７８の大きさを例えばマウスドラッグにより変更することで、カメラ１のズーム倍率を制御することが可能である。ライブ画像表示部７０、７６には、パノラマプレビュー枠７２、７８に対する操作による制御後のライブ画像が表示される。

カメラ１が図３Ａに示した第１の画角（アスペクト比１６：９）で映像配信を行っている場合には、ビューワは図７Ａのようにライブ画像表示部７０とパノラマプレビュー枠７２は、第１の画角に合わせた表示枠となる。

カメラ１が図３Ｂに示した第２の画角（アスペクト比４：３）で映像配信を行っている場合には、図７Ｂのようにライブ画像表示部７６とパノラマプレビュー枠７８は、第２の画角に合わせた表示枠となる。

パノラマ画像表示部７１は、カメラ１が第１の画角の水平画角で撮像可能な範囲のパノラマ画像を、カメラ１の記憶部１８に保存されているパノラマ画像を用いて表示する。一方、第２の画角の撮像画像を表示するビューワでは、パノラマ画像表示部７７は、第２の画角の水平画角に合わせた撮像可能範囲になるようにパノラマ画像の左右の端を非表示領域として表示しないように制御する。例えば、非表示領域に黒枠画像を重畳することにより、パノラマ画像の左右の端を非表示とすることができる。

すなわち、第２の画角の撮像画像を第１の領域に表示させる場合、パノラマ画像生成部３８が生成した第３のパノラマ画像の一部の表示を制限する。そして、第３のパノラマ画像のうち、第２の画角でカメラ１の撮像方向を変更して撮像可能な範囲（図８の８０１）に対応する領域の画像を表示画面の第２の領域に表示させる。

なお、ビューワの図７ＡとＢでは、ライブ画像表示部７０、７６をアスペクト比に合わせて表示すると説明したが、表示領域はアスペクト比に合わせて変化するが、表示サイズはアスペクト比を拡大、縮小することも可能である。またアスペクト比１６：９の領域内に４：３の画像を表すことも可能であり、その場合は非表示領域を設けることで対応する。もちろん４：３の領域内に１６：９の画像を表示することも可能であり、本実施の形態において表示領域の表現を変更しても目的を達成できる。

本実施形態では第１の画角でカメラ１の撮像方向を変更して撮像可能な範囲に対応する第１のパノラマ画像に対応する大きさのパノラマ画像を、水平画角又は垂直画角の少なくとも一方が第１の画角よりも狭い第２の画角で撮像した撮像画像を用いて生成できる。

また、このようにして生成したパノラマ画像の一部の表示を制限することにより、第２の画角でカメラ１の撮像方向を変更して撮像可能な範囲に対応するパノラマ画像を表示させることができる。

このようにして、撮像装置が第１の画角と第２の画角で撮像可能である場合、第１の画角よりも狭い第２の画角で撮像する場合にも、大きさが異なる複数のパノラマ画像を生成することができる。

したがって、撮像装置が撮像する撮像画像の画角を変更可能である場合に、大きさが異なる複数のパノラマ画像を生成するために必要とする処理時間低減することができる。

更に、表示においてパノラマ画像をアスペクト比に応じて表示することで、適切な撮像可能範囲を示すパノラマ表示領域を表示することができる。なお、本実施の形態において、パノラマ画像は水平画角が広い画角に合わせて作成する説明を行ったが、水平画角に応じて複数のパノラマ画像を生成及び保存することも可能である。

＜その他の実施例＞
上述の実施形態では、クライアント３がパノラマ画像を生成する場合について説明したが、カメラ１がパノラマ生成処理を行うこととしてもよい。

また、上述の実施形態では、図１に示すカメラ１、クライアント２、クライアント３の各部の処理が、それぞれ専用のハードウェアにより実行される例について説明したが、これに限られない。図１に示すカメラ１、クライアント２、クライアント３の各部の処理の少なくとも一部の処理を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサで実行するようにしても良い。

例えば、図１に示すカメラ１の各部のうち少なくとも一部を、カメラ１のＣＰＵと、当該ＣＰＵで実行されるプログラムを格納するメモリに置き換えて、処理を実行するようにしても良い。また、同様に、クライアント２、３の各部のうち少なくとも一部を、クライアント２、３のＣＰＵと、当該ＣＰＵで実行されるプログラムを格納するメモリに置き換えて、処理を実行するようにしても良い。

図２又は図４で示すフローチャートの処理のうちの少なくとも一部が、ＣＰＵで実行することも可能である。クライアント３がプロセッサを内蔵する形態では、図２又は図４の処理フローは、図２又は図４に示す手順をプロセッサに実行させるためのプログラムを示す。クライアント３が内蔵するプロセッサはコンピュータであり、クライアント３が内蔵する記憶部から読み出したプログラムを実行する。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１ カメラ
２ ビューワクライアント
３ パノラマ生成用クライアント
３１ 通信制御部
３８ パノラマ画像生成部
３４ 表示制御部
３３ 操作部

Claims (7)

1. 第１の画角と、水平方向及び垂直方向の内の少なくとも一方の方向の画角が前記第１の画角よりも狭い第２の画角で撮像可能な撮像手段によって撮像される撮像画像を取得する取得手段と、
   前記第１の画角で前記撮像手段の撮像方向を変更して撮像可能な範囲に前記一方の方向の長さが対応するパノラマ画像を生成する生成手段と
   を有し、
   前記取得手段は、前記第２の画角で、前記一方の方向に撮像方向を変更して前記撮像手段が撮像した複数の撮像画像を取得し、
   前記生成手段は、
   前記撮像手段によって撮像可能な範囲の内の前記一方の方向における第１の端部において前記第１の画角で撮像され前記第２の画角で撮像されない領域の撮像画像を、
   前記撮像手段によって撮像可能な範囲の前記一方の方向における、前記第１の端部とは異なる第２の端部において撮像された撮像画像を用いて補って、
   前記第１の画角で前記撮像手段の撮像方向を変更して撮像可能な範囲に前記一方の方向の長さが対応するパノラマ画像を生成する
   ことを特徴とする画像処理装置。
2. 表示手段が表示する表示画面の第１の領域に前記撮像手段によって撮像される撮像画像を表示させ、前記表示手段が表示する表示画面の第２の領域に前記生成手段によって生成されるパノラマ画像を表示させる表示制御手段
   を有し、
   前記表示制御手段は、前記第２の画角の撮像画像を前記表示画面の前記第１の領域に表示させる場合、前記パノラマ画像のうち前記第２の画角で前記撮像手段の撮像方向を変更して撮像可能な範囲に対応する部分を前記表示画面の前記第２の領域に表示させる
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記生成手段によって生成されるパノラマ画像における第１の領域を指定する指定手段と、
   前記第１の領域に対応する撮像領域を撮像する指示を前記撮像手段に対して行う指示手段と
   を有し、
   前記生成手段は、前記撮像手段が前記指示に応じて撮像した撮像画像を用いて前記パノラマ画像における第１の領域の画像を更新する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記第１の画角と前記第２の画角とはアスペクト比が異なる
   ことを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記一方の方向は前記画角の水平方向である
   ことを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
6. 第１の画角と、水平方向及び垂直方向の内の少なくとも一方の方向の画角が前記第１の画角よりも狭い第２の画角で撮像可能な撮像手段によって撮像される撮像画像を取得する取得工程と、
   前記第１の画角で前記撮像手段の撮像方向を変更して撮像可能な範囲に前記一方の方向の長さが対応するパノラマ画像を生成する生成工程と
   を有し、
   前記取得工程において、前記第２の画角で、前記一方の方向に撮像方向を変更して前記撮像手段が撮像した複数の撮像画像を取得し、
   前記生成工程において、
   前記撮像手段によって撮像可能な範囲の内の前記一方の方向における第１の端部において前記第１の画角で撮像され前記第２の画角で撮像されない領域の撮像画像を、
   前記撮像手段によって撮像可能な範囲の前記一方の方向における、前記第１の端部とは異なる第２の端部において撮像された撮像画像を用いて補って、
   前記第１の画角で前記撮像手段の撮像方向を変更して撮像可能な範囲に前記一方の方向の長さが対応するパノラマ画像を生成する
   ことを特徴とする画像処理方法。
7. 請求項１〜５のいずれか１項に記載の画像処理装置の各手段としてコンピュータを機能させることを特徴とするプログラム。

Images