JP5703448B2 - 画像表示装置及び画像表示方法 - Google Patents

Description

本発明は、３６０度の全方位画像を取得する全方位カメラを使用した監視カメラシステムに用いて好適な画像表示装置及び画像表示方法に関する。

従来、３６０度の全方位画像を取得し、取得した全方位画像から所望の画像を抽出して新たな画像を作成し表示する提案がある。例えば特許文献１で開示された「画像生成装置及びシステム」は、１つまたは複数のカメラより取得した周囲画像に対してその中心方位および画角を設定し、取得した周囲画像の全部または一部から、前記設定された中心方位を中心位置とし、且つ前記設定された画角に対応する範囲の画像を抽出してパノラマ画像を作成するようにしている。

また、従来、連続して撮影した撮影画像から所望の画像を切り出し、拡大表示等を行う提案もある。例えば特許文献２で開示された「画像処理装置、カメラ装置及び画像処理方法」は、連続して撮影して得られた撮影画像から被写体の変化による撮影画像の移動部分を検出し、検出した移動部分の撮影画像を含む領域を移動領域画像として切り出し、切り出した移動領域画像について撮影レンズによる歪の補正処理を行うとともに、拡大処理を行い、補正拡大画像を生成するようにしている。

ところで、光軸を真下に向けて全方位カメラを設置していて、当該カメラから得られる全方位画像から差分情報を用いて目的とする画像（例えば人物画像）を検出し、検出した目的画像を中心とする所定の矩形の形状で画像を切り出す場合、全方位画像の中心から外向きが、切り出し画像の上方向になるようにしている。図１６にその概略を示す。同図において、符号１００で示す点が画像中心であり、符号１１０で示す画像が切り出し画像である。また、符号１２０で示す矢印が切り出し画像の上方向である。また、図１６では、矩形の切り出し画像１１０を示す枠のみを示しており、全方位画像（円１３０で示す部分が全方位画像となる）は省略している。

日本国特開２００６−２１１１０５号公報 日本国特開２００７−３１１８６０号公報

しかしながら、画像中心から外向きが切り出し画像の上方向になるように切り出す場合で、図１７に示すようにカメラの真下付近を通る移動物体（図示略、例えば“人物”）を追跡する場合、その移動物体を含む切り出し画像が回転するように変化していくため、見辛いという課題がある。また、図１８に示すように、切り出し中心がカメラの真下を通過した瞬間に切り出し画像の上下が反転してしまい、この場合も見辛くなるという課題がある。このように画像中心から外向きが切り出し画像の上方向になるように切り出すようにすると、カメラの真下付近を通る移動物体については切り出し画像が見辛くなるという課題がある。

本発明は、係る事情に鑑みてなされたものであり、全方位カメラの真下付近を通過する移動物体を追跡する際に、当該移動物体を含む切り出し画像が回転するように変化することが抑制され、また当該移動物体が全方位カメラの真下を通過する際に切り出し画像の上下が反転したりすることがなく、常に見易い画像表示が可能な画像表示装置及び画像表示方法を提供することを目的とする。

本発明の画像表示装置は、全方位画像内の移動物体を切り出して表示する画像表示装置において、全方位画像内の移動物体の位置を取得する移動物体位置取得部と、切り出し画像の上方向を修正するか否かの判断を行う判断部と、前記判断部が修正を行うと判断した場合に切り出しパラメータを修正するパラメータ修正部と、前記パラメータ修正部で修正された切り出しパラメータに基づいて前記全方位画像から移動物体を含む画像を切り出す切り出し部と、前記切り出し部で切り出された移動物体を含む画像を表示する表示部と、を備える。

上記構成において、前記移動物体位置取得部で取得された前記移動物体の移動位置の前記全方位画像内での座標に基づいて画像の回転速度を算出する回転速度算出部を備え、前記判断部は、前記回転速度算出部で算出された前記回転速度のうち最高回転速度が所定のしきい値以上の時に修正を行うと判断する。

上記構成において、前記移動物体位置取得部で取得された前記移動物体の移動位置の座標を実空間平面上での座標に変換する座標変換部と、前記座標変換部で得られた前記実空間平面上での座標に基づいて画像の回転速度を算出する回転速度算出部とを備え、前記判断部は、前記回転速度算出部で算出された前記回転速度のうち最高回転速度が所定のしきい値以上の時に修正を行うと判断する。

上記構成において、前記移動物体位置取得部は、前記全方位画像から移動物体を検出する移動物体検出部と、前記移動物体検出部で検出された前記移動物体の位置を記憶する移動物体位置記憶部と、前記移動物体位置記憶部に記憶された前記移動物体の位置に基づき前記移動物体の移動位置を予測する移動位置予測部と、から構成される。

上記構成において、前記移動物体位置取得部は、予め記録された全方位画像から移動物体の位置を読み出す。

上記構成において、前記移動物体が上方向固定領域内に入った場合の画像切り出しの上方向を決定する上方向決定部と、前記上方向決定部で決定された前記画像切り出しの上方向を記憶する上方向記憶部とを備え、前記判断部は、前記移動物体位置取得部で取得された前記移動物体の移動位置の前記全方位画像内での座標に基づいて、前記移動物体が上方向固定領域に位置する場合に修正を行うと判断する。

本発明の画像表示方法は、全方位画像内の移動物体を切り出して表示する画像表示方法において、全方位画像内の移動物体の位置を取得する移動物体位置取得ステップと、切り出し画像の上方向を修正するか否かの判断を行う判断ステップと、前記判断ステップで修正を行うと判断した場合に切り出しパラメータを修正するパラメータ修正ステップと、前記パラメータ修正ステップで修正された切り出しパラメータに基づいて前記全方位画像から移動物体を含む画像を切り出す切り出しステップと、前記切り出しステップで切り出された移動物体を含む画像を表示する表示ステップと、を備える。

本発明によれば、全方位カメラの真下付近を通過する移動物体を追跡する際に、当該移動物体を含む切り出し画像が回転するように変化することが抑制され、また当該移動物体が全方位カメラの真下を通過する際に切り出し画像の上下が反転したりすることがなく、常に見易い画像表示が可能となる。

本発明の実施の形態１に係る画像表示装置の概略構成を示すブロック図 図１の画像表示装置の座標変換部による座標変換の様子を示す模式図 図１の画像表示装置に入力した入力画像と切り出し画像を実空間平面上に座標変換した一例を示す図 図１の画像表示装置の動作を説明するための図 図１の画像表示装置の動作を説明するためのフロー図 図１の画像表示装置における回転速度制御の応用例の動作を説明するための図 図１の画像表示装置における回転速度制御の応用例の動作を説明するための図 図１の画像表示装置における回転速度制御の応用例の動作を説明するための図 （ａ）、（ｂ）図１の画像表示装置における回転速度制御の応用例の動作を説明するための図 本発明の実施の形態２に係る画像表示装置の概略構成を示すブロック図 図１０の画像表示装置の動作を説明するためのフロー図 本発明の実施の形態３に係る画像表示装置の概略構成を示すブロック図 図１２の画像表示装置の動作を説明するためのフロー図 図１２の画像表示装置に用いられる画像記録装置の概略構成を示すブロック図 図１４の画像記録装置の動作を説明するためのフロー図 全方位画像からの画像の切り出し動作を説明するための図 従来の全方位画像からの画像切り出しの課題を説明するための図 従来の全方位画像からの画像切り出しの課題を説明するための図 本発明の実施の形態４に係る画像表示装置の概略構成を示すブロック図 全方位画像上の上方向を示す図 上方向固定領域を説明するための図

以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像表示装置の概略構成を示すブロック図である。同図において、本実施の形態に係る画像表示装置１は、主に移動物体（例えば人物）を監視する監視カメラシステムに適用されるものであり、全方位画像入力部１０と、移動物体検出部１１と、移動物体位置記憶部１２と、移動位置予測部１３と、座標変換部１４と、回転速度算出部１５と、切り出しパラメータ修正部１６と、切り出し部１７と、表示部１８と、を備えて構成される。

全方位画像入力部１０は、図示しない全方位カメラからの全方位画像を入力する。移動物体検出部１１は、全方位画像入力部１０が入力した全方位画像から追尾する移動物体を検出する。移動物体位置記憶部１２は、移動物体検出部１１で検出された移動物体の位置を記憶する。移動位置予測部１３は、移動物体位置記憶部１２に記憶された移動物体の位置に基づき該移動物体の移動位置を予測する。座標変換部１４は、移動位置予測部１３で予測された移動物体の移動位置の座標を実空間平面上での座標に変換する。図２は、座標変換部１４による座標変換の様子を模式的に示した例であり、移動物体の移動位置Ｐ_１の座標（Ｘ_１，Ｙ_１）を実空間平面上での座標（ｘ_１，ｙ_１）に変換する。

回転速度算出部１５は、座標変換部１４で得られた実空間平面上での座標に基づき画像方向の回転速度を算出する。図３は切り出し画像１１０を実空間平面上に座標変換した一例である。実空間平面上の２つのベクトルの角度差（θ_２−θ_１）を用いることで回転速度を算出することができる。予測した移動物体の位置を実空間平面上へ座標変換した後、実空間平面上での２つのベクトルの角度差を用いて回転速度を算出する。

切り出しパラメータ修正部１６は、回転速度算出部１５で算出された回転速度のうち最高回転速度が所定のしきい値以上のとき画像の上方向を指定するパラメーラである切り出しパラメータを修正する。パラメータの修正は、回転速度の合計が変わらないように、かつどの時刻でも回転速度がしきい値を越えないように修正する。これにより、パラメータ修正区間の始めと終わりの回転角度をパラメータ非修正区間と合わせることができ、かつパラメータ修正区間での最高回転速度を抑制することができる。例えば図４に示すように、しきい値を超える３つの時刻ｔ_３〜ｔ_５それぞれにおける回転速度をしきい値以下になるように、かつ時刻ｔ_０〜ｔ_８の区間での回転速度の積分値（時刻ｔ_０〜ｔ_８での回転角度）が同じであるように切り出しパラメータを修正する。切り出し部１７は、切り出しパラメータ修正部１６で修正された切り出しパラメータを用いて全方位画像から移動物体を含む画像を切り出す。表示部１８は、切り出し部１７で切り出された移動物体を含む画像を表示する。

次に、本実施の形態の画像表示装置１の動作を説明する。図５は、画像表示装置１の動作を示すフローチャートである。同図において、全方位画像入力部１０が図示しない全方位カメラからの全方位画像を入力すると、移動物体検出部１１が移動物体（追尾する移動物体）の検出を行い（ステップＳ１）、追尾する移動物体を検出できたか否かを判定する（ステップＳ２）。追尾する移動物体を検出できない場合は本処理を終了し、検出できた場合は当該移動物体の位置を出力する。移動物体位置記憶部１２は、移動物体検出部１１から出力された移動物体の位置を記憶する（ステップＳ３）。移動物体の位置が記憶されると、移動位置予測部１３が移動物体位置記憶部１２に記憶された移動物体の位置から次の移動位置を予測する（ステップＳ４）。そして、移動位置予測部１３が予測した移動物体の位置を座標変換部１４が実空間平面上に座標変換する（ステップＳ５）。

次いで、回転速度算出部１５が実空間平面上に座標変換された予測位置から回転速度を算出し（ステップＳ６）、算出した回転速度がしきい値以上であるか否かを判定する（ステップＳ７）。算出した回転速度がしきい値以上である場合は切り出しパラメータ修正部１６がしきい値未満になるように切り出しパラメータを修正する（ステップＳ８）。パラメータの修正が行われた後、切り出し部１７が、修正された切り出しパラメータを用いて全方位画像から移動物体を含む画像を切り出す（ステップＳ９）。そして、切り出された画像を表示部１８が表示する（ステップＳ１０）。この処理を終えた後、ステップＳ１に戻り、同様の処理を繰り返す。また、ステップＳ７の判定において、回転速度算出部１５が算出した回転速度がしきい値未満であれば、切り出しパラメータの修正が行われず、そのまま切り出し処理に移行する。

このように本実施の形態の画像表示装置１によれば、移動物体の現在の位置から次の位置を予測し、予測した移動位置の座標を実空間平面上での座標に変換し、実空間平面上での座標に基づき画像方向の回転速度を算出し、算出した回転速度のうち最高回転速度が所定のしきい値以上のときに切り出し画像の上方向を設定する切り出しパラメータを修正し、修正した切り出しパラメータを用いて全方位画像から移動物体を含む画像を切り出して表示する。したがって、全方位画像から移動物体を含む画像を切り出すときに回転速度を調整して切り出すことから、全方位カメラの真下付近を通過する移動物体を追跡する際に、当該移動物体を含む切り出し画像が回転するように変化することが抑制され、画像が見辛くなることがない。すなわち、従来よりも見易い画像表示が可能となる。

なお、上記実施の形態では、図４に示すように、最高回転速度が所定のしきい値以上のときに切り出し画像の上方向を設定する切り出しパラメータを修正するようにしたが、図６に示すように、切り出し開始時の画像と切り出し終了時の画像とを除いて、一定の回転速度に制御するようにしてもよい。一定の回転速度に制御することで、さらに見易い画像表示が可能となる。

また、図７に示すように、最高回転速度が所定のしきい値を超えている時刻では回転速度を抑制し（中央の楕円で示している箇所）、そうでない時刻では回転速度を上げる（両端の楕円で示している箇所）ようにパラメータを修正するようにしてもよい。これによりパラメータ修正区間での見え方をより見やすくすることができる。

また、図８に示すように、パラメータ修正を行う区間の両端部分（楕円で示している箇所）での修正量を減らし、中心部分での修正量を増やすように修正してもよい。これにより、パラメータ修正のない区間とのつながりをスムースにすることができる。

また、特に移動物体が全方位カメラの真下付近を通過する場合、切り出し画像の回転速度を一定値以下に抑えつつ、移動物体のカメラ真下への接近時には進行方向と速度に応じて早めに回転を始めにするように切り出しパラメータを修正し、またカメラ真下付近通過後は進行方向と速度に応じて遅めに回転するように切り出しパラメータを修正するのが望ましい。その様子を図９の（ａ）に示す。なお、図９の（ｂ）は従来の画像の切り出しを示す図である。

（実施の形態２）
図１０は、本発明の実施の形態２に係る画像表示装置の概略構成を示すブロック図である。なお、同図において前述した図１と共通する部分には同一の符号を付けてその説明を省略する。

前述した実施の形態１の画像表示装置１は、画像を切り出す向き（矢印の向き）を変えるようにしたが、本実施の形態の画像表示装置２は、矢印の向きを上方向に固定したままで画像の切り出しを行うようにしたものである。これを実現するために本実施の形態の画像表示装置２は、移動物体検出部１１で検出された移動物体が上方向固定領域に突入したとき画像切り出し時の上方向を決定する上方向決定部２０と、上方向決定部２０で決定された画像切り出し時の上方向を記憶する上方向記憶部２１とを備える。切り出しパラメータ修正部１６は、移動物体が上方向固定領域内に存在しているとき上方向記憶部２１に記憶された画像切り出し時の上方向に基づき切り出しパラメータを修正する。切り出し部１７は、切り出しパラメータ修正部１６で修正された切り出しパラメータを用いて全方位画像から移動物体を含む画像を切り出す。表示部１８は、切り出し部１７で切り出された移動物体を含む画像を表示する。

図２１は上方向固定領域を説明するための図である。図２１を用いて上方向の固定方法について具体的に説明する。移動物体は図中の破線矢印のように移動している。１１０−０から１１０−３は各時点での切り出し画像を、１２０−０から１２０−３は各時点での上方向を表す。１５０は上方向固定領域を表す。移動物体が上方向固定領域１５０に入るまではパラメータの修正は行わず通常の切り出し画像を作成する。切り出し画像１１０−０の上方向である１２０−０は、画像中心から移動物体に向けて伸ばした線分の方向が切り出し画像の上方向となっている。

次に、移動物体が上方向固定領域１５０に入った時点での上方向を記憶する。この場合は、上方向１２０−１を記憶する。それ以降上方向固定領域１５０内での切り出し画像の上方向が１２０−１と同じ方向に固定されるようパラメータを修正した切り出し画像を作成する。

図１１は、本実施の形態の画像表示装置２の動作を示すフローチャートである。同図において、全方位画像入力部１０が図示しない全方位カメラからの全方位画像を入力すると、移動物体検出部１１が移動物体（追尾する移動物体）の検出を行い（ステップＳ２０）、追尾する移動物体を検出できたか否かを判定する（ステップＳ２１）。追尾する移動物体を検出できない場合は本処理を終了し、検出できた場合は当該移動物体が予め設定されている上方向固定領域に突入したかどうかを判定する（ステップＳ２２）。追尾している移動物体が上方向固定領域に突入した場合は、その移動物体の上方向を決定し（ステップＳ２３）、次いで決定した上方向を記憶する（ステップＳ２４）。一方、ステップＳ２２の判定で、追尾している移動物体が上方向固定領域に突入していない場合は、何も処理をせず次のステップＳ２５に移行する。

追尾している移動物体が上方向固定領域に突入してその上方向を決定して記憶した後、あるいは上方向固定領域に突入していない場合、追尾している移動物体が上方向固定領域内かどうか判定する（ステップＳ２５）。上方向固定領域内である場合、切り出しパラメータすなわち上方向を定めるパラメータを修正する（ステップ２６）。上方向固定領域外である場合、あるいは上方向固定領域内で切り出しパラメータを修正した後、切り出し部１７が、修正された切り出しパラメータを用いて全方位画像から移動物体を含む画像を切り出す（ステップＳ２７）。そして、切り出し部１７が全方位画像から移動物体を含む画像を切り出すと、表示部１８がその画像を表示する（ステップＳ２８）。この処理を終えた後、ステップＳ２０に戻り、同様の処理を繰り返す。

このように本実施の形態の画像表示装置２によれば、移動物体が上方向固定領域に突入したときに画像切り出し時の上方向を決定し、その時の上方向を記憶し、移動物体が上方向固定領域内に存在しているときに、記憶している画像切り出し時の上方向に基づき切り出しパラメータを修正し、その切り出しパラメータを用いて全方位画像から移動物体を含む画像を切り出して表示する。したがって、全方位画像から移動物体を含む画像を切り出すときに、上方向を固定した状態で切り出すことから、全方位カメラの真下付近を通過する移動物体を追跡する際に、当該移動物体を含む切り出し画像が回転するように変化したりせず、また当該移動物体が全方位カメラの真下を通過する際に切り出し画像の上下が反転したりすることがなく、常に見易い画像表示が可能となる。

（実施の形態３）
図１２は、本発明の実施の形態３に係る画像表示装置の概略構成を示すブロック図である。なお、同図において前述した図１と共通する部分には同一の符号を付けてその説明を省略する。

前述した実施の形態１に係る画像表示装置１は、リアルタイムに移動物体の位置を予測し、予測した移動位置を座標変換して回転速度を算出し、算出した回転速度から切り出しパラメータの修正を行うようにしたが、本実施の形態に係る画像表示装置３は、録画済みの画像から移動物体の移動位置を読み出し、読み出した移動位置を座標変換して回転速度を算出し、算出した回転速度から切り出しパラメータの修正を行うようにしたものである。すなわち、録画した画像を使用することで、移動物体の移動位置を予測することなく処理を進めることができる。

図１２において、本実施の形態に係る画像表示装置３は、再生する位置を指示する再生位置指示部３０と、予め記録された全方位画像から移動物体の位置を読出す移動物体位置読出し部３１と、指示された再生位置からの画像を読み出す画像読出し部３２と、移動物体位置読出し部３１で読出された移動物体の位置の座標を実空間平面上での座標に変換する座標変換部１４と、座標変換部１４で得られた実空間上での座標に基づき画像方向の回転速度を算出する回転速度算出部１５と、回転速度算出部１５で算出された回転速度のうち最高回転速度が所定のしきい値以上のとき切り出しパラメータを修正する切り出しパラメータ修正部１６と、切り出しパラメータ修正部１６で修正された切り出しパラメータを用いて全方位画像から移動物体を含む画像を切り出す切り出し部１７と、切り出し部１７で切り出された移動物体を含む画像を表示する表示部１８とを備える。

一方、図１４は、本実施の形態に係る画像表示装置３に用いられる画像記録装置４の概略構成を示すブロック図である。同図において、画像記録装置４は、全方位画像入力部４１と、画像記憶部４２と、移動物体検出部４３と、移動物体位置記憶部４４とを備える。全方位画像入力部４１は、図示しない全方位カメラからの全方位画像を入力する。画像記憶部４２は、全方位画像入力部４１が入力した全方位カメラからの全方位画像を記憶する。移動物体検出部４３は、全方位画像入力部４１が入力した全方位画像から追尾する移動物体を検出する。移動物体位置記憶部４４は、移動物体検出部４３で検出された移動物体の位置を記憶する。

次に、本実施の形態に係る画像表示装置３の動作を説明する。図１３は、画像表示装置３の動作を示すフローチャートである。同図において、再生位置指示部３０がユーザ指示に従い再生位置を指示する（ステップＳ３０）。次いで、再生が終了したかどうか判定し（ステップＳ３１）、再生が終了した場合は本処理を終了し、再生が終了していない場合は、移動物体位置読出し部３１が、再生位置指定された移動物体の位置を画像記録装置４の移動物体位置記憶部４４から読み出す（ステップＳ３２）。そして、読み出した移動物体の位置を座標変換部１４に渡し、座標変換部１４が移動物体の位置を実空間平面上に座標変換する（ステップＳ３３）。

次いで、回転速度算出部１５が実空間平面上に座標変換された移動物体の位置から回転速度を算出し（ステップＳ３４）、算出した回転速度がしきい値以上であるか否かを判定する（ステップＳ３５）。算出した回転速度がしきい値以上である場合は切り出しパラメータ修正部１６が、しきい値未満になるように切り出しパラメータを修正する（ステップＳ３６）。パラメータの修正が行われた後、切り出し部１７が、修正された切り出しパラメータを用いて、画像読出し部３２が読み出した全方位画像から移動物体を含む画像を切り出す（ステップＳ３７）。そして、切り出された画像を表示部１８が表示する（ステップＳ３８）。この処理を終えた後、ステップＳ３１に戻り、再生が終了するまで同様の処理を繰り返す。また、ステップＳ３５の判定において、回転速度算出部１５が算出した回転速度がしきい値未満であれば、切り出しパラメータの修正が行われず、そのまま切り出し処理に移行する。

次に、本実施の形態に係る画像表示装置３に用いられる画像記録装置４の動作を説明する。図１５は、画像記録装置４の動作を示すフローチャートである。同図において、全方位画像入力部４１が図示しない全方位カメラからの全方位画像を入力すると、移動物体検出部４３が移動物体（追尾する移動物体）の検出を行い（ステップＳ４０）、追尾する移動物体を検出できたか否かを判定する（ステップＳ４１）。追尾する移動物体を検出できない場合は本処理を終了し、検出できた場合は移動物体位置記憶部４４が当該移動物体の位置を記憶する（ステップＳ４２）。次いで、画像記憶部４２が、全方位画像入力部４１が入力した全方位画像を記憶する（ステップＳ４３）。上記ステップＳ４０〜Ｓ４３までの処理が、移動物体を検出しなくなるまで繰り返し行われる。

このように本実施の形態の画像表示装置３によれば、予め記録された全方位画像から移動物体の位置を読出して、その位置の座標を実空間平面上での座標に変換する。そして、実空間平面上での座標に基づき画像方向の回転速度を算出し、算出した回転速度のうち最高回転速度が所定のしきい値以上のときに切り出し画像の上方向を設定する切り出しパラメータを修正する。

したがって、録画した全方位画像を扱うことから、移動物体の位置予測が不要となり、移動物体位置の記憶を行う手段（前述した移動物体位置記憶部１２）と移動物体位置の予測を行う手段（前述した移動位置予測部１３）が不要となり、画像表示装置単体でのコストダウンが図れる。なお、画像の切り出しは前述した実施の形態１と同様であり、全方位画像から移動物体を含む画像を切り出すときに回転速度を調整して切り出すので、全方位カメラの真下付近を通過する移動物体を追跡する際に、当該移動物体を含む切り出し画像が回転するように変化することが抑制され、画像が見辛くなることがない。すなわち、従来よりも見易い画像表示が可能となる。

（実施の形態４）
図１９は、本発明の実施の形態４に係る画像表示装置の概略構成を示すブロック図である。なお、同図において前述した図１と共通する部分には同一の符号をつけてその説明を省略する。

前述した実施の形態１に係る画像表示装置１は、実空間での画像の回転速度をもとにしきい値を超えているかの判断を行った。すなわち、実空間での画像の回転速度を用いることで、例えばカメラが床に対して斜めに取り付けられている場合や、パラメータが修正されている場合などにおいても正確な回転速度を求めることが可能となる。しかしながら、実空間での画像の回転速度を求めるために計算量が増えてしまうため、正確さよりも処理負荷を低減したい場合においては、実空間への展開は行わずに全方位画像内での回転速度だけを用いてパラメータの修正を行ってもよい。本実施の形態に係る画像表示装置５は、全方位画像から求めた画像の回転速度をもとにしきい値を越えているかの判断を行うようにしたものであり、実空間への展開処理が不要となるため回転速度を求める際の計算量を低減することができる。

回転速度算出部５５は、移動位置予測部１３から求められた移動物体の予測位置に応じた画像の上方向（全方位画像の中心から移動物体へのベクトルの方向）から画像の回転速度を求める。図２０は全方位画像上の画像の上方向を示す図である。この２つのベクトルの角度差（θ_４―θ_３）を用いることで回転速度を算出することができる。なお、この実空間への展開を行わない方法は、実施の形態３に係る画像表示装置３でも同様に実現できる。

本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。

本出願は、２０１０年３月４日出願の日本特許出願（特願２０１０−０４７８６３）に基づくものであり、その内容はここに参照として取り込まれる。

本発明は、全方位カメラの真下付近を通過する移動物体を追跡する際に、当該移動物体を含む切り出し画像が回転するように変化することが抑制され、また当該移動物体が全方位カメラの真下を通過する際に切り出し画像の上下が反転したりすることがなく、常に見易い画像表示が可能となるといった効果を有し、全方位画像を取得する全方位カメラを使用した監視カメラシステムへの適用が可能である。

１、２、３、５ 画像表示装置
４ 画像記録装置
１０、４１ 全方位画像入力部
１１、４３ 移動物体検出部
１２、４４ 移動物体位置記憶部
１３ 移動位置予測部
１４ 座標変換部
１５、５５ 回転速度算出部
１６ 切り出しパラメータ修正部
１７ 切り出し部
１８ 表示部
２０ 上方向決定部
２１ 上方向記憶部
３０ 再生位置指示部
３１ 移動物体位置読出し部
３２ 画像読出し部
４２ 画像記憶部
１１０ 切り出し画像
１２０ 切り出し画像の上方向
１３０ 全方位画像

Claims (6)

1. 全方位画像内の移動物体を切り出して切り出し画像として表示する画像表示装置において、
   全方位画像内の移動物体の位置を取得する移動物体位置取得部と、
   前記切り出し画像の上方向を修正するか否かの判断を行う判断部と、
   前記判断部が修正を行うと判断した場合に切り出しパラメータを修正するパラメータ修正部と、
   前記パラメータ修正部で修正された切り出しパラメータに基づいて前記全方位画像から移動物体を含む画像を切り出す切り出し部と、
   前記切り出し部で切り出された移動物体を含む画像を表示する表示部と、
   前記移動物体位置取得部で取得された前記移動物体の移動位置の前記全方位画像内での座標に基づいて画像の回転速度を算出する回転速度算出部とを備え、
   前記判断部は、前記回転速度算出部で算出された前記回転速度のうち最高回転速度が所定のしきい値以上の時に、前記回転速度の合計が変わらないように、かつ、回転速度がしきい値を越えないように前記切り出しパラメータの修正を行うと判断する画像表示装置。
2. 全方位画像内の移動物体を切り出して切り出し画像として表示する画像表示装置において、
   全方位画像内の移動物体の位置を取得する移動物体位置取得部と、
   前記切り出し画像の上方向を修正するか否かの判断を行う判断部と、
   前記判断部が修正を行うと判断した場合に切り出しパラメータを修正するパラメータ修正部と、
   前記パラメータ修正部で修正された切り出しパラメータに基づいて前記全方位画像から移動物体を含む画像を切り出す切り出し部と、
   前記切り出し部で切り出された移動物体を含む画像を表示する表示部と、
   前記移動物体位置取得部で取得された前記移動物体の移動位置の座標を実空間平面上での座標に変換する座標変換部と、
   前記座標変換部で得られた前記実空間平面上での座標に基づいて画像の回転速度を算出する回転速度算出部とを備え、
   前記判断部は、前記回転速度算出部で算出された前記回転速度のうち最高回転速度が所定のしきい値以上の時に、前記回転速度の合計が変わらないように、かつ、回転速度がしきい値を越えないように前記切り出しパラメータの修正を行うと判断する画像表示装置。
3. 全方位画像内の移動物体を切り出して切り出し画像として表示する画像表示装置において、
   全方位画像内の移動物体の位置を取得する移動物体位置取得部と、
   前記切り出し画像の上方向を修正するか否かの判断を行う判断部と、
   前記判断部が修正を行うと判断した場合に切り出しパラメータを修正するパラメータ修正部と、
   前記パラメータ修正部で修正された切り出しパラメータに基づいて前記全方位画像から移動物体を含む画像を切り出す切り出し部と、
   前記切り出し部で切り出された移動物体を含む画像を表示する表示部と、
   前記移動物体が上方向固定領域内に入った場合の画像切り出しの上方向を決定する上方向決定部と、
   前記上方向決定部で決定された前記画像切り出しの上方向を記憶する上方向記憶部とを備え、
   前記判断部は、前記移動物体位置取得部で取得された前記移動物体の移動位置の前記全方位画像内での座標に基づいて、前記移動物体が上方向固定領域に位置する場合に、前記上方向記憶部が記憶している画像切り出し時の上方向に基づき前記切り出しパラメータの修正を行うと判断する画像表示装置。
4. 全方位画像内の移動物体を切り出して切り出し画像として表示する画像表示方法において、
   全方位画像内の移動物体の位置を取得する移動物体位置取得ステップと、
   前記切り出し画像の上方向を修正するか否かの判断を行う判断ステップと、
   前記判断ステップが修正を行うと判断した場合に切り出しパラメータを修正するパラメータ修正ステップと、
   前記パラメータ修正ステップで修正された切り出しパラメータに基づいて前記全方位画像から移動物体を含む画像を切り出す切り出しステップと、
   前記切り出しステップで切り出された移動物体を含む画像を表示する表示ステップと、
   前記移動物体位置取得ステップで取得された前記移動物体の移動位置の前記全方位画像内での座標に基づいて画像の回転速度を算出する回転速度算出ステップとを備え、
   前記判断ステップは、前記回転速度算出ステップで算出された前記回転速度のうち最高回転速度が所定のしきい値以上の時に、前記回転速度の合計が変わらないように、かつ、回転速度がしきい値を越えないように前記切り出しパラメータの修正を行うと判断する画像表示方法。
5. 全方位画像内の移動物体を切り出して切り出し画像として表示する画像表示方法において、
   全方位画像内の移動物体の位置を取得する移動物体位置取得ステップと、
   前記切り出し画像の上方向を修正するか否かの判断を行う判断ステップと、
   前記判断ステップが修正を行うと判断した場合に切り出しパラメータを修正するパラメータ修正ステップと、
   前記パラメータ修正ステップで修正された切り出しパラメータに基づいて前記全方位画像から移動物体を含む画像を切り出す切り出しステップと、
   前記切り出しステップで切り出された移動物体を含む画像を表示する表示ステップと、
   前記移動物体位置取得ステップで取得された前記移動物体の移動位置の座標を実空間平面上での座標に変換する座標変換ステップと、
   前記座標変換ステップで得られた前記実空間平面上での座標に基づいて画像の回転速度を算出する回転速度算出ステップとを備え、
   前記判断ステップは、前記回転速度算出ステップで算出された前記回転速度のうち最高回転速度が所定のしきい値以上の時に、前記回転速度の合計が変わらないように、かつ、回転速度がしきい値を越えないように前記切り出しパラメータの修正を行うと判断する画像表示方法。
6. 全方位画像内の移動物体を切り出して切り出し画像として表示する画像表示方法において、
   全方位画像内の移動物体の位置を取得する移動物体位置取得ステップと、
   前記切り出し画像の上方向を修正するか否かの判断を行う判断ステップと、
   前記判断ステップが修正を行うと判断した場合に切り出しパラメータを修正するパラメータ修正ステップと、
   前記パラメータ修正ステップで修正された切り出しパラメータに基づいて前記全方位画像から移動物体を含む画像を切り出す切り出しステップと、
   前記切り出しステップで切り出された移動物体を含む画像を表示する表示ステップと、
   前記移動物体が上方向固定領域内に入った場合の画像切り出しの上方向を決定する上方向決定ステップと、
   前記上方向決定ステップで決定された前記画像切り出しの上方向を記憶する上方向記憶ステップとを備え、
   前記判断ステップは、前記移動物体位置取得ステップで取得された前記移動物体の移動位置の前記全方位画像内での座標に基づいて、前記移動物体が上方向固定領域に位置する場合に、前記上方向記憶ステップが記憶している画像切り出し時の上方向に基づき前記切り出しパラメータの修正を行うと判断する画像表示方法。

Images