JP6335701B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法およびプログラムに関し、特に、魚眼レンズを備える撮像装置に用いて好適なものである。

魚眼レンズや全方位ミラー等を備えた広範囲撮像装置を用いて、通常の画角の撮像装置に比べて広い範囲の画像を一度に撮像する方式が知られている。これら広範囲撮像装置は、広い範囲を一度にとらえることができるという特徴を持つ一方で、広範囲撮像装置で撮像された画像は、円形に歪み、円周部に近づくほど歪みは大きくなる。そのため、広範囲撮像装置で撮像された画像を歪みの小さい画像に補正する歪み補正処理（幾何学的な画像の変換処理）が必要となる。歪み補正処理は、レンズに特有の歪み補正処理の他に、カメラの設置方向に依存する歪み補正処理が必要である。

特許文献１には、魚眼レンズカメラの歪み補正として、魚眼レンズカメラの設置角度を補正する座標変換と、魚眼レンズ画像の歪みを補正する座標変換とを組み合わせた補正が開示されている。特許文献１に記載の技術では、撮影した画像から、画像の中心位置、画像の縦横比、画像エリアの半径等のパラメータを算出して魚眼レンズ画像の歪みの補正に用いられるパラメータを求める。

特開２００８−６１２６０号公報

しかしながら、特許文献１に記載の技術では、魚眼レンズカメラの設置角度を補正する座標変換のために、ユーザが手動で魚眼レンズカメラの設置角度を設定する必要がある。ユーザが誤った設定を行うと、歪み処理補正を正確に行うことができなくなるため、歪み処理補正後の画像が正しい画像でなくなる虞がある。
そこで、本発明は、魚眼レンズを備える撮像装置の設置方向を自動的に判定できるようにすることを目的とする。

本発明の情報処理装置は、魚眼レンズを用いて撮像された画像を取得する取得手段と、記憶手段によって記憶された、魚眼レンズを用いて撮像される画像に映し出される物体の、レンズの特性に基づく映り方の特徴と、魚眼レンズを備える撮像装置の設置方向と、の関係を示す情報と、前記取得手段により取得された画像とに基づいて、前記撮像装置の設置方向を判定する判定手段と、を有することを特徴とする。

本発明によれば、魚眼レンズを備える撮像装置の設置方向を自動的に判定することができる。また、判定された設置方向に対応して、撮像画像に対して最適な歪みの補正処理を選択することができる。

画像処理装置の構成の第１の例を示す図である。 画像処理装置の処理の第１の例を説明するフローチャートである。 画像処理装置の処理の第２の例を説明するフローチャートである。 撮像画像の第１の例を示す図である。 撮像画像の第２の例を示す図である。 画像処理装置の構成の第２の例を示す図である。 画像処理装置の処理の第３の例を説明するフローチャートである。 画像処理装置の構成の第３の例を示す図である。 画像処理装置の処理の第４の例を説明するフローチャートである。 画像処理装置のハードウェアの構成を示す図である。

以下、添付の図面を参照して、本発明の実施形態を説明する。尚、以下の実施形態において示す構成は一例に過ぎず、本発明は、以下の実施形態の構成に限定されるものではない。
＜第１の実施形態＞
まず、第１の実施形態を説明する。
図１は、本実施形態の画像処理装置１００の構成の一例を示すブロック図である。
図１において、画像処理装置１００は、画像取得部１０１、解像度変換部１０２、動体検出部１０３、動体追尾部１０４、カメラ設置方向判定部１０５、歪み補正部１０６および出力部１０７を有する。
画像取得部１０１は、魚眼レンズ、魚眼レンズを介した画像を撮像する撮像素子およびフレームメモリを有する。魚眼レンズ介して撮像された画像は、一旦、フレームメモリに保存され、所定のフレームレートで解像度変換部１０２へ送られる。このように本実施形態では、画像処理装置１００が撮像装置である場合を例に挙げて説明する。以下の説明では、画像処理装置１００を必要に応じてカメラと称する。尚、魚眼レンズを備える画像取得部１０１を撮像装置として画像処理装置１００の外部に設けてもよい。このようにした場合、画像処理装置１００は、当該撮像装置から魚眼レンズを介して撮像された画像を取得する。

本実施形態において、画像取得部１０１で得られた画像は高解像度であるものとする。このため、解像度変換部１０２は、画像取得部１０１で得られた画像の解像度・フレームレートを、後段の処理に適した解像度・フレームレートに変換する必要がある。後段の処理において解像度の変換が不要な場合、解像度変換部１０２は、必ずしも画像の変換を行わなくてもよい。
解像度とフレームレートとが変換された画像は、動体検出部１０３、カメラ設置方向判定部１０５および歪み補正部１０６へそれぞれ送られる。これらの画像の解像度およびフレームレートは同じであっても異なっていてもよい。

動体検出部１０３は、画像上に存在する人などの動く物体（被写体）を検出する。動く物体の検出は、例えば、背景差分法により行うことができる。ただし、動く物体の検出方法は、背景差分法に限定されない。例えば、動きベクトルを用いて動く物体を検出してもよい。動体検出部１０３は、検出した物体の画面上の位置と、当該物体の外接矩形と、当該物体のサイズとを含む物体検出結果を出力する。

動体追尾部１０４は、前フレームで検出された物体と現フレームで検出された物体とを相互に対応付けることで物体の追尾処理を行う。動体追尾部１０４は、新規に検出された物体に対し、新規に固有の追尾ＩＤを付与する。動体追尾部１０４は、前フレームで検出された物体と対応づけられた物体に対して、前フレームで検出された物体に対して付与された追尾ＩＤと同じ追尾ＩＤを付与する。

動体追尾部１０４は、物体の追尾トラックを出力する。追尾トラックは、物体の画面上の位置・大きさ・速度と、前フレームで検出された物体との対応付け状態（追尾ＩＤ）と、を含む情報である。さらに、動体追尾部１０４は、前フレームにおける追尾トラックに含まれる、物体の位置・大きさ・速度から、当該物体の現フレームにおける位置を予測する。そして、動体追尾部１０４は、予測した画面上の位置付近に存在する物体を動体検出部１０３から出力された物体検出結果に基づいて抽出し、前フレームにおける物体と現フレームにおける物体との対応付けを行う。具体的に動体追尾部１０４は、現フレームの物体に対し、当該物体に対応する前フレームにおける物体と同一の追尾ＩＤを付与する。

カメラ設置方向判定部１０５は、解像度とフレームレートとが変換された画像上に、動体追尾部１０４から出力された動体追尾結果をマッピングする。そして、カメラ設置方向判定部１０５は、動体追尾部１０４で追尾されている物体の、画像における物体の、レンズの特性に基づく映り方の特徴から、カメラが鉛直方向に設置されているか、それとも垂直方向に設置されているかを判断する。本実施形態では、カメラ設置方向判定部１０５は、動体追尾部１０４で追尾されている物体の、異なるフレームにおける位置および大きさの関係から、カメラが鉛直方向に設置されているか、それとも垂直方向に設置されているかを判断する。さらに、カメラ設置方向判定部１０５は、その判断の結果を示す情報を歪み補正部１０６へ出力する。
ここで、鉛直方向は、撮像装置の中心光軸と、水平面（地面や天井面）とが垂直に交わる方向をいう。垂直方向は、撮像装置の中心光軸と、水平面（地面や天井面）とが平行になる方向をいう。

歪み補正部１０６は、カメラ設置方向判定部１０５にて判定されたカメラの設置方向に応じて、解像度変換部１０２から入力された画像に対して、歪み補正、展開処理を行う。そして、歪み補正部１０６は、歪み補正、展開処理を行った画像を出力部１０７へ出力する。カメラの設置方向が鉛直方向である場合、例えば、歪み補正部１０６は、画像をダブルパノラマ変換して、出力部１０７へ出力する。また、カメラの設置方向が垂直方向である場合、例えば、歪み補正部１０６は、画像の中央部をパノラマ変換して、出力部１０７へ出力する。
出力部１０７は、歪み補正部１０６から出力された画像を出力する。出力部１０７による出力の形態は、例えば、カメラの外部へ配信、カメラの外部の記録装置への記録、およびカメラに内蔵するメディアへの記録、の少なくとも何れか１つである。出力部１０７は、カメラの設置方向の情報と、歪み補正、展開処理の内容を示す情報を、画像と共に出力（配信、記録）してもよい。制御部１１０は、ＣＰＵなどによって構成され、画像処理装置１００全体を統括制御する。

次に、図２Ａのフローチャートを参照しながら、カメラの設置方向を判定する際の画像処理装置１００の処理の流れの一例を説明する。
ステップＳ２０１において、画像取得部１０１は、魚眼レンズを用いて撮像した画像を取得し、内部のフレームメモリに保存する。
次に、ステップＳ２０２において、解像度変換部１０２は、画像取得部１０１で取得された画像を、後段の処理に適した解像度およびフレームレートの画像に変換する。

次に、ステップＳ２０３において、動体検出部１０３は、例えば背景差分法により、解像度変換部１０２から出力された画像に含まれる動く物体を検出する。
次に、ステップＳ２０４において、動体追尾部１０４は、動体検出部１０３により検出された動く物体に基づいて動体追尾処理を行う。
次に、ステップＳ２０５において、カメラ設置方向判定部１０５は、解像度変換部１０２から出力された画像と、ステップＳ２０４における動体追尾処理の結果とに基づいて、カメラの設置方向を判定する。そして、カメラ設置方向判定部１０５は、カメラの設置方向を記憶する。そして、図２Ａのフローチャートによる処理を終了する。

以下に、ステップＳ２０５においてカメラの設置方向を判定する方法の一例を説明する。
図３は、カメラの設置方向が鉛直方向である場合の撮像画像と、当該撮像画像をダブルパノラマ変換した画像の一例を概念的に示す図である。
図４は、カメラの設置方向が垂直方向である場合の撮像画像と、当該画像の中央部をパノラマ変換した画像の一例を概念的に示す図である。
図３、図４では、魚眼レンズを用いて撮像された撮像画像３０１、４０１における物体の特徴的な大きさと、物体の方向とを図示する。

図３において、円環画像３０２は物体が映し出される画像領域である。円環画像３０２の中央付近に多角形物体３０３が映し出されている。円環画像３０２の外周部付近に多角形物体３０４が映し出されている。多角形物体３０３、３０４の実空間における大きさは同じであるものとする。また、円環画像３０２には、３つの人体３０５、３０６、３０７が映し出されている。

図４において、円環画像４０２は物体が映し出される画像領域である。円環画像４０２の中央付近に多角形物体４０３が映し出されている。円環画像４０２の上部に多角形物体４０４が映し出されている。円環画像４０２の下部に多角形物体４０５が映し出されている。多角形物体４０３〜４０５の実空間における大きさは同じであるものとする。また、円環画像４０２には、３つの人体４０６、４０７、４０８が映し出されている。

魚眼レンズを用いて撮像された物体は、同じ物体であっても、撮像画像３０１、４０１（円環画像３０２、４０２）上において物体が検出された位置によって、異なる大きさで撮像される。
例えば、カメラの設置方向が鉛直方向である場合には、図３に示す多角形物体３０３、３０４のように、円環画像３０２の中央付近で撮像された多角形物体３０３は、カメラから近い位置に存在するため、多角形物体３０４と比較して大きく撮像される。言い換えると、円環画像３０２の円周付近で撮像された多角形物体３０４は、カメラから遠く離れているため、多角形物体３０３と比較して小さく撮像される。

一方、カメラの設置方向が垂直方向である場合には、図４に示すように、円環画像４０２の中央付近で撮像された多角形物体４０３は、円環画像４０２の上部および下部（特に下部）で撮像された多角形物体４０４、４０５と比較して小さく撮像される。言い換えると、円環画像４０２の下部で撮像された多角形物体４０５は、カメラから近い位置に存在するため、円環画像４０２の中央付近で撮像された多角形物体４０３と比較して大きく撮像される。なお、実際には可能性は高くないが、円環画像４０２の上部で撮像された多角形物体４０４に関しても、カメラから近い位置に存在すると考えられるため、円環画像４０２の中央付近で撮像された多角形物体４０３と比較して大きく撮像されることになる。

カメラ設置方向判定部１０５は、このような、カメラの設置方向による、撮像された物体の撮像画像（円環画像）における位置と大きさとの関係を使い、カメラの設置方向が鉛直方向と垂直方向の何れの方向であるのかを判定する。具体的に、カメラ設置方向判定部１０５は、同じ追尾ＩＤが与えられた物体の大きさが、画像上の各位置でどのように変化するのかを、当該追尾ＩＤを含む追尾トラックに含まれる、物体の画面上の位置・大きさから判断する。そして、カメラ設置方向判定部１０５は、その判断の結果に基づいて、カメラの設置方向が鉛直方向と垂直方向の何れの方向であるのかを判定する。

例えば、或るタイミングで解像度変換部１０２から出力される画像（円環画像）の中央付近で物体が撮像されたとする。そして、当該画像（円環画像）と異なるタイミングで解像度変換部１０２から出力される画像（円環画像）の外周部付近で当該物体が撮像されたとする。この場合、カメラ設置方向判定部１０５は、画像（円環画像）の外周部付近の物体の大きさが、画像（円環画像）の中央付近の物体の大きさと比較して小さい場合、カメラの設置方向は鉛直方向であると判断する。

また、或るタイミングで解像度変換部１０２から出力される画像（円環画像）の中央付近で物体が撮像されたとする。そして、当該画像（円環画像）と異なるタイミングで解像度変換部１０２から出力される画像（円環画像）の上部または下部で当該物体が撮像されたとする。この場合、カメラ設置方向判定部１０５は、画像（円環画像）の上部または下部の物体の大きさが、画像（円環画像）の中央付近の物体の大きさよりも大きい場合、カメラの設置方向は垂直方向であると判断する。
本実施形態では、カメラ設置方向判定部１０５は、以上のような画像における物体の、レンズの特性に基づく映り方の特徴とカメラの設置方向との関係を示す情報を記憶しておく。この特徴は、物体の位置（本実施形態では同一の物体の複数フレームにおける位置と大きさの時間的な変化）を用いて定められる。そして、撮像された画像と、記憶しておいた情報とに基づいて、カメラの設置方向を判断する。尚、この情報の画像処理装置１００への入力形態は限定されない。例えば、この情報は、画像処理装置１００のユーザインターフェースを用いて画像処理装置１００に入力されるようにしてもよいし、外部装置から画像処理装置１００に送信されるようにしてもよい。

ここで、本実施形態では、カメラ設置方向判定部１０５は、円環画像３０２の中心と同じ位置を中心とする半径ｒ１の円状の境界線３０８を円環画像３０２の内部に設定する。そして、カメラ設置方向判定部１０５は、少なくとも一部（または全て）の領域が境界線３０８の内部（画像の中心側）ある物体を、画像（円環画像）の中央付近の物体であると識別する。また、カメラ設置方向判定部１０５は、円環画像３０２の中心と同じ位置を中心とする半径ｒ２（ｒ２＞ｒ１）の円状の境界線３０９を円環画像３０２の外周のすぐ内側に設定する。そして、カメラ設置方向判定部１０５は、一部の領域が境界線３０９と重なる物体を、画像（円環画像）の外周部付近の物体であると識別する。また、図示は省略するが、画像（円環画像）の上部または下部の物体についても、円環画像４０２の上部と下部の領域を区画する境界線を設定し、当該境界線の内部に物体があるか否かにより、画像（円環画像）の上部または下部の物体を識別することができる。

次に、図２Ｂのフローチャートを参照しながら、魚眼レンズを用いて撮像された画像の展開処理方法を決定する際の画像処理装置１００の処理の流れの一例を説明する。図２Ｂのフローチャートは、図２Ａのフローチャートでカメラの設置方向が判定された後に実行される。
ステップＳ２１０において、画像取得部１０１は、魚眼レンズを用いて撮像した画像を取得し、内部のフレームメモリに保存する。

次に、ステップＳ２１１において、解像度変換部１０２は、画像取得部１０１で取得された画像を、後段の処理に適した解像度およびフレームレートの画像に変換する。
次に、ステップＳ２１２において、歪み補正部１０６は、カメラの設置方向が鉛直方向であるか否かを判定する。この判定の結果、カメラの設置方向が鉛直方向であれば、ステップＳ２１３に進む。一方、カメラの設置方向が垂直方向であれば、ステップＳ２１４に進む。

カメラの設置方向が鉛直方向であると判定された場合、ステップＳ２１３に進み、歪み補正部１０６は、歪みの補正処理として解像度変換部１０２から出力された画像（円環画像）のダブルパノラマ変換を選択し、変換処理を行う（図３を参照）。そして、後述するステップＳ２１５に進む。
尚、ここでは、ダブルパノラマ変換を行う場合を例に挙げた。しかしながら、カメラの設置方向が鉛直方向である場合に適した画像（円環画像）の変換処理を行うことにより画像の歪みを補正する処理であれば、変換処理は、必ずしもダブルパノラマ変換に限定されない。

一方、カメラの設置方向が垂直方向であると判定された場合、ステップＳ２１４に進み、歪み補正部１０６は、歪みの補正処理として解像度変換部１０２から出力された画像（円環画像）の中央部のパノラマ変換を選択し、変換処理を行う（図４を参照）。そして、後述するステップＳ２１５に進む。
尚、ここでは、画像の中央部のパノラマ変換を行う場合を例に挙げた。しかしながら、カメラの設置方向が鉛直方向である場合に適した画像（円環画像）の変換処理を行うことにより画像の歪みを補正する処理であれば、変換処理は、画像の中央部のパノラマ変換に限定されない。

ステップＳ２１５に進むと、出力部１０７は、ステップＳ２０６またはＳ２０７で変換された画像を出力する。前述したように、画像の出力の形態は、カメラの外部へ配信や、記録媒体への記録等である。
そして、図２Ｂのフローチャートによる処理を終了する。

以上のように本実施形態では、カメラの設置方向と、当該設置方向にカメラを設置した場合の画像に映る被写体の位置と大きさの時間的な関係と、を相互に関連付ける情報を予め記憶する。その後、撮像された複数フレームの画像と、当該情報とに基づいて、カメラの設置方向を判定し、判定したカメラの設置方向に応じて、撮像された画像の歪みを補正する。したがって、カメラの設置方向を自動的に判定することができ、カメラの設置に伴うユーザ設定を簡単化することができる。よって、カメラの設置方向に対応して、撮像画像に対して最適な歪み補正処理を容易に行うことができる。

本実施形態では、カメラの設置方向（魚眼レンズの光軸が向く方向）が、鉛直方向と垂直方向の２つの方向である場合を例に挙げて説明した。しかしながら、カメラの設置方向は、これら２つの方向に限定されず、例えば、鉛直方向および垂直方向と厳密に一致していなくてもよい。また、魚眼レンズを用いて撮像された画像の特徴との関係を定めることができるカメラの設置方向であれば、カメラの設置方向は、任意の方向でよい。

また、本実施形態では、カメラの設置方向を判定する処理と、カメラの設置方向に応じた画像の展開処理（歪み補正）とを同じ画像処理装置１００で行う場合を例に挙げて説明した。しかしながら、必ずしもこのようにする必要はない。カメラの設置方向を判定する処理を、画像処理装置１００とは別の撮像装置、または、画像処理装置１００及び撮像装置とは別の情報処理装置で行うようにしてもよい。

＜第２の実施形態＞
次に、第２の実施形態を説明する。第１の実施形態では、歪み補正（ダブルパノラマ変換や画像の中央部のパノラマ変換）を行った画像を出力（配信や記録）する場合を例に挙げて説明した。これに対し、本実施形態では、画像処理装置が歪み補正をする前の画像に、カメラの設置方向を示す情報である歪み補正情報を付加して出力する場合を例に挙げて説明する。このように本実施形態と第１の実施形態とは、カメラの設置方向の判定を行った後の処理が主として異なる。したがって、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図４に付した符号と同一の符号を付す等して詳細な説明を省略する。

図５は、本実施形態の画像処理装置５００の構成の一例を示すブロック図である。
図５において、画像処理装置５００は、画像取得部１０１、解像度変換部１０２、動体検出部１０３、動体追尾部１０４、カメラ設置方向判定部１０５、歪み補正情報付加部５０１および出力部５０２を有する。画像取得部１０１、解像度変換部１０２、動体検出部１０３および動体追尾部１０４は、図１に示したものと同じである。

歪み補正情報付加部５０１は、カメラ設置方向判定部１０５で判定されたカメラの設置方向に応じた歪み補正情報を、解像度変換部１０２から出力された画像に付加し、出力部５０２へ出力する。出力部５０２は、歪み補正をしていない画像（解像度変換部１０２から出力された画像）と、カメラの設置方向に応じた歪み補正情報とを出力する。出力部５０２による出力の形態は、例えば、カメラの外部へ配信、カメラの外部の記録装置への記録、およびカメラに内蔵するメディアへの記録、の少なくとも何れか１つである。制御部５１０は、ＣＰＵなどによって構成され、画像処理装置５００全体を統括制御する。

次に、図６のフローチャートを参照しながら、魚眼レンズを用いて撮像された画像の展開処理方法を決定する際の画像処理装置５００の処理の流れの一例を説明する。
図６のステップＳ２１０〜Ｓ２１２の処理は、第１の実施形態で説明した図２ＢのステップＳ２１０〜Ｓ２１２の処理と同じである。

ステップＳ２１２において、カメラの設置方向が鉛直方向であると判定されると、ステップＳ６０１に進む。ステップＳ６０１に進むと、歪み補正情報付加部５０１は、カメラの設置方向が鉛直方向であることを示す情報を歪み補正情報を、解像度変換部１０２から出力された画像に付加し、歪み補正情報が付加された画像を出力部５０２へ出力する。そして、後述するステップＳ６０３に進む。
一方、ステップＳ２０５において、カメラの設置方向が垂直方向であると判定されると、ステップＳ６０２に進む。ステップＳ６０２に進むと、歪み補正情報付加部５０１は、カメラの設置方向が鉛直方向であることを示す情報を歪み補正情報を、解像度変換部１０２から出力された画像に付加し、歪み補正情報が付加された画像を出力部５０２へ出力する。そして、ステップＳ６０３に進む。

ステップＳ６０３に進むと、出力部５０２は、歪み補正情報が付加された画像を出力する。そして、図６のフローチャートによる処理を終了する。
歪み補正情報が付加された画像を出力部５０２が外部に配信する場合、配信先の外部装置は、例えば以下の処理を行う。まず、外部装置は、歪み補正情報が付加された画像を受信する。そして、外部装置は、歪み補正情報に示されるカメラの設置方向に基づいて、受信した画像の歪み補正（展開処理）を行い、当該歪み補正（展開処理）を行った画像を表示する。

また、出力部５０２が、歪み補正情報が付加された画像を記録する場合、当該歪み補正情報が付加された画像を処理する装置は、例えば以下の処理を行う。まず、当該装置は、当該装置に対するユーザの指示に基づいて、当該歪み補正情報が付加された画像を読み出す。そして、当該装置は、当該歪み補正情報に示されるカメラの設置方向に基づいて、当該画像の歪み補正（展開処理）を行い、当該歪み補正（展開処理）を行った画像を表示する。尚、画像の表示の代わりに、または画像の表示に加えて、画像の記録や配信等を行ってもよい。

以上のようにしても、第１の実施形態で説明した効果と同じ効果を得ることができる。
また、本実施形態においても、第１の実施形態で説明した種々の変形例を採用することができる。

＜第３の実施形態＞
次に、第３の実施形態を説明する。第１、第２の実施形態では、複数のフレームにおける被写体の位置と大きさの関係に基づいて、カメラの設置方向を判定する場合を例に挙げて説明した。これに対し、本実施形態では、画像における被写体の認識の結果に基づいて、カメラの設置方向を判定する。このように、本実施形態と第１、第２の実施形態とは、カメラの設置方向の判定方法が主として異なる。したがって、本実施形態の説明において、第１、第２の実施形態と同一の部分については、図１〜図６に付した符号と同一の符号を付す等して詳細な説明を省略する。

図７は、本実施形態の画像処理装置７００の構成の一例を示すブロック図である。
図７において、画像処理装置７００は、画像取得部１０１、解像度変換部１０２、動体検出部１０３、歪み補正部１０６、出力部１０７、画像認識部７０１およびカメラ設置方向判定部７０２を有する。画像取得部１０１、解像度変換部１０２、動体検出部１０３、歪み補正部１０６および出力部１０７は、図１に示したものと同じである。

画像認識部７０１は、動体追尾部１０４から出力された動体追尾結果から、予め設定された物体（例えば人体や顔）を検出し、その結果を出力する。
カメラ設置方向判定部７０２は、画像認識部７０１で検出された前記物体（人体や顔など）の、画像における物体のレンズの特性に基づく映り方の特徴から、カメラの設置方向を判定する。本実施形態では、カメラ設置方向判定部７０２は、画像認識部７０１で検出された前記物体の位置と方向から、カメラの設置方向を判定する。制御部７１０は、ＣＰＵなどによって構成され、画像処理装置７００全体を統括制御する。

次に、図８のフローチャートを参照しながら、カメラの設置方向を判定する際の画像処理装置７００の処理の流れの一例を説明する。
図８のステップＳ２０１〜Ｓ２０３の処理は、第１の実施形態で説明した図２ＡのステップＳ２０１〜Ｓ２０３の処理と同じである。
ステップＳ８０１において、画像認識部７０１は、動体検出部１０３により検出された動く物体から、人体や顔等、被写体の物体を検出する。ここでは、画像認識として人体を検出する場合を例に挙げて説明する。しかしながら、認識する被写体の領域は、人体に限らず、顔やその他の物体であってもよい。何れの場合であっても画像認識部７０１は、例えば、画像の特徴量と、認識したい領域に関する特徴量とを比較することにより、認識したい領域を抽出する等、公知の画像認識処理を利用して、被写体の領域を抽出することができる。

そして、画像認識部７０１は、人体として検出された物体の画面上の位置と、当該物体の外接矩形と、当該物体サイズとを含む画像認識結果を出力する。
次に、ステップＳ８０２において、カメラ設置方向判定部７０２は、解像度変換部１０２から出力された画像と、画像認識部７０１から出力された画像認識結果とに基づいて、カメラの設置方向を判定し、判定したカメラの設置方向を記憶する。そして、図８のフローチャートによる処理を終了する。
以下に、図３および図４を参照しながら、カメラの設置方向を判定する方法の一例を説明する。尚、ここでは、カメラの設置方向が鉛直方向である場合、当該鉛直方向は、下向きの方向（地面を向く方向）であるものとして説明する。
魚眼レンズを用いて撮像された人体は、カメラの設置方向により、検出される場所や、撮像される方向が異なる。

例えば、カメラの設置方向が鉛直方向である場合、図３における円環画像３０２の中心付近である境界線３０８の内側の領域では、人体は頭部から撮影されるため、人体として検出することができない。人体は、境界線３０８、３０９の間の領域で検出されやすい。また、カメラの設置方向が鉛直方向である場合には、図３に示すように、人体３０５、３０６、３０７が円環画像３０２の中心に対して放射状に検出されるという特徴がある。

また、カメラの設置方向が垂直方向である場合、図４における円環画像４０２の中央付近で人体が検出されやすい。また、カメラの設置方向が垂直方向である場合には、図４に示すように、人体４０６、４０７、４０８が円環画像４０２の中央部で径方向に正立して検出されるという特徴がある。
カメラ設置方向判定部７０２は、以上のような画像に対する人体検出結果の特徴とカメラの設置方向との関係を示す情報を記憶しておく。そして、撮像された画像（円環画像）と、記憶しておいた情報とに基づいて、カメラの設置方向を判定する。尚、この情報の入力形態は限定されない。例えば、この情報は、画像処理装置７００のユーザインターフェースを用いて画像処理装置７００に入力されるようにしてもよいし、外部装置から画像処理装置７００に送信されるようにしてもよい。

具体的にカメラ設置方向判定部７０２は、解像度変換部１０２より出力された画像の画像認識結果から、図３に示すように、境界線３０８、３０９の間の領域で、人体が放射状に検出されたと判定した場合、カメラの設置方向は鉛直方向であると判定する。また、カメラ設置方向判定部７０２は、解像度変換部１０２より出力された画像の画像認識結果から、図４に示すように、当該画像（円環画像）中央部で人体が径方向に正立した方向で検出されたと判定した場合、カメラの設置方向は垂直方向であると判定する。以上のように、カメラ設置方向判定部７０２は、画像認識部７０１から出力された画像認識結果から、カメラの設置方向を判断する。

以上のように本実施形態では、カメラの設置方向と、当該設置方向にカメラを設置した場合の画像に対する人体検出結果（人体の位置と方向）と、を相互に関連付ける情報を予め記憶する。その後、撮像された１フレームの画像と、当該情報とに基づいて、カメラの設置方向を判定する。このようにしても、第１の実施形態で説明した効果と同じ効果を得ることができる。

また、図７に示す画像処理装置７００では、第１の実施形態のように、歪み補正（ダブルパノラマ変換や画像の中央部のパノラマ変換）を行った上で画像を出力する場合を例に挙げて示す。しかしながら、第２の実施形態で説明したように、画像処理装置の内部で歪み補正を行わず、カメラの設置方向を示す情報を付加した画像を出力してもよい。このようにする場合には、図７の歪み補正部１０６の代わりに、図５の歪み補正情報付加部５０１を画像処理装置７００に設ける。また、図２Ｂの処理の代わりに、図６の処理を行う。

また、画像認識部７０１で検出された人体等の物体の、画像上の方向（例えば複数の物体の並び方向）だけを考慮してもよい。すなわち、当該複数の物体が周方向に並んでいるか、それとも径方向に並んでいるかを判定してもよい。また、画像認識部７０１で検出された人体等の物体の、画像上の位置だけを考慮してもよい。例えば、円環画像３０２の中心付近に人体が検出された場合には、カメラの設置方向が垂直方向であると判定することができる。
また、本実施形態においても、第１、２の実施形態で説明した種々の変形例を採用することができる。

図９は、前述した第１〜第３の実施形態の画像処理装置１００、５００、７００のハードウェアの構成の一例を示す図である。
画像処理装置は、魚眼レンズ９０１、撮像素子９０２、Ａ／Ｄコンバータ９０３、画像処理回路９０４、フレームメモリ９０５、ＣＰＵ９０６、記憶媒体９０７および通信装置９０８を有する。

魚眼レンズ９０１を通過した光は、撮像素子９０２の撮像面上に結像する。Ａ／Ｄ変換回路９０３は、撮像素子９０２から送られてきたアナログ信号をデジタル信号（画像信号）に変換する。画像処理回路９０４は、Ａ／Ｄ変換回路９０３から画像信号を読み出してフレームメモリ９０５に保存し、所定のフレームレートで各種の信号処理を行う。記憶媒体９０７は、例えば、ＲＯＭ、ＲＡＭおよびＨＤＤ等を備える。記憶媒体９０７は、前述した図２Ａ、図２Ｂ、図６、図８のフローチャート等を実行するプログラムを記憶する。記憶媒体９０７は、その他、前述した各実施形態の処理で必要な各種の情報を記憶する。ＣＰＵ９０６は、記憶媒体９０７に記憶されたプログラムを実行して、前述した各実施形態の処理を行う。その他、ＣＰＵ９０６は、画像処理装置全体を統括制御するための処理を行う。通信装置９０８は、外部装置との通信を行うためのものである。入出力装置９０９は、ユーザインターフェースであり、各種の操作部を備える。また、入出力装置９０９は、ディスプレイを備えていてもよい。

＜その他の実施形態＞
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
また、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用しても良い。また、一つの機器からなる装置に適用しても良い。

また、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０５、７０２：カメラ設置方向判定部、１０６：歪み補正部、５０１：歪み補正情報負荷部

Claims (9)

1. 魚眼レンズを用いて撮像された画像を取得する取得手段と、
   記憶手段によって記憶された、魚眼レンズを用いて撮像される画像に映し出される物体の、レンズの特性に基づく映り方の特徴と、魚眼レンズを備える撮像装置の設置方向と、の関係を示す情報と、前記取得手段により取得された画像とに基づいて、前記撮像装置の設置方向を判定する判定手段と、
   を有することを特徴とする情報処理装置。
2. 前記特徴は、魚眼レンズを用いて異なる時間に撮像される複数の画像に映し出される同一の物体の、当該画像における位置と大きさの時間的な変化を含み、
   前記判定手段は、前記取得手段により取得された画像であって、異なる時間に取得された複数の画像と、前記記憶手段により記憶された前記情報とに基づいて、前記撮像装置の設置方向を判定することを特徴とする請求項１に記載の情報処理装置。
3. 前記取得手段により取得された画像に対する画像認識処理を行って、当該画像における予め設定された物体を検出する検出手段を更に有し、
   前記特徴は、前記予め設定された物体の、当該画像における位置と方向の少なくとも何れか一方を含み、
   前記判定手段は、前記検出手段により検出された前記予め設定された物体と、前記記憶手段により記憶された前記情報とに基づいて、前記撮像装置の設置方向を判定することを特徴とする請求項１に記載の情報処理装置。
4. 前記予め設定された物体は、人体または顔であることを特徴とする請求項３に記載の情報処理装置。
5. 前記判定手段により判定された前記撮像装置の設置方向に応じた方法で、前記取得手段により取得された前記画像の歪みを補正する補正手段と、
   前記補正手段により補正された後の前記画像の記憶と配信との少なくとも何れか一方を行う出力手段と、を更に有することを特徴とする請求項１〜４の何れか１項に記載の情報処理装置。
6. 前記判定手段により判定された前記撮像装置の設置方向を示す情報と、前記取得手段により取得された前記画像の、記憶と配信との少なくとも何れか一方を行う出力手段を更に有することを特徴とする請求項１〜４の何れか１項に記載の情報処理装置。
7. 前記撮像装置の設置方向は、前記撮像装置の中心光軸と水平面とが垂直に交わる方向である鉛直方向と、前記撮像装置の中心光軸と水平面とが平行になる方向である垂直方向との何れかであることを特徴とする請求項１〜６の何れか１項に記載の情報処理装置。
8. 魚眼レンズを用いて撮像された画像を取得する取得工程と、
   魚眼レンズを用いて撮像される画像に映し出される物体の、レンズの特性に基づく映り方の特徴と、魚眼レンズを備える撮像装置の設置方向と、の関係を示す情報と、前記取得工程により取得された画像とに基づいて、前記撮像装置の設置方向を判定する判定工程と、
   を有することを特徴とする情報処理方法。
9. 請求項１〜７の何れか１項に記載の情報処理装置の各手段としてコンピュータを機能させることを特徴とするプログラム。

Images