JP7161865B2 - 映像解析装置及びそのプログラム - Google Patents

Description

本発明は、映像に含まれる被写体の移動量を解析する映像解析装置及びそのプログラムに関する。

従来より、防犯カメラを始めとする監視システムにおいて、オプティカルフローが、被写体の特異的な動きの判定に使用されている（特許文献１，２）。このオプティカルフローについては、幾つか計算手法が存在する。代表的な手法として、大きな固有値を持つ特徴点を抽出した上で、画像ピラミッドの小さいものからＬＫ（Lucas-Kanade）法により反復計算するものがあげられる。

特開２０１６－２０７１８５号公報 特開２０１２－２２３７０号公報

被写体撮影時に、撮影者は、主にビューファインダを使用してカメラ映像の確認を行い、被写体のサイズや動きに合わせて画角調整を行う。ここで、カメラ映像に動きがある場合、解像度やフレームレートによって映像の見え方が異なることから、解像度とフレームレートに適した被写体の移動量を知る必要がある。つまり、映像制作では、撮影者が解像度とフレームレートに適した被写体の動きを知る必要があり、その指標としてオプティカルフローを用いる手法を検討する。例えば、時間的に連続する画像間からオプティカルフローを算出することで、動きベクトルとして被写体の移動量を数値化し、被写体の移動量に応じた動きベクトルをビューファインダに表示して可視化すればよい。

しかし、オプティカルフローを映像制作の指標として用いた場合、以下のような問題がある。ここで、カメラ映像のフレームレートが高くなる程、時間的に連続する画像間で被写体の動きが少なくなるので、精度の高いオプティカルフローを算出できる。その一方、カメラ映像の解像度やフレームレートが高くなると、オプティカルフローの計算が間に合わないために表示のフレームレートが低下し、リアルタイム性が失われてしまう。

そこで、本発明は、リアルタイムで被写体の移動量を表示できる映像解析装置及びそのプログラムを提供することを課題とする。

前記した課題に鑑みて、本発明に係る映像解析装置は、被写体の移動方向及び移動量を解析する映像解析装置であって、ダウンコンバート手段と、オプティカルフロー算出手段と、移動量対応付け手段と、移動量表示手段と、移動量補正手段と、を備える構成とした。

かかる構成によれば、映像解析装置は、ダウンコンバート手段によって、入力映像の解像度及びフレームレートの少なくとも一方をダウンコンバートすることで、縮小映像を生成する。
映像解析装置は、オプティカルフロー算出手段によって、縮小映像のオプティカルフローを算出する。
このように、映像解析装置は、ダウンコンバートによりオプティカルフローの計算量を抑制することができる。

映像解析装置は、移動量対応付け手段によって、入力映像の解像度及びフレームレートに対応付けて、オプティカルフロー算出手段が算出したオプティカルフローの移動量を線形補完する。
映像解析装置は、移動量表示手段によって、オプティカルフロー算出手段が算出したオプティカルフローの移動方向と、移動量対応付け手段が線形補完したオプティカルフローの移動量とを、被写体の移動方向及び移動量として、縮小映像に合成表示する。
移動量表示手段は、オプティカルフローの移動方向と、移動量補正手段が補正したオプティカルフローの移動量とを合成表示する。
このように、映像解析装置は、入力映像の解像度及びフレームレートに対応付けてオプティカルフローの移動量を線形補完する。

なお、本発明に係る映像解析装置は、一般的なコンピュータを前記した各手段として協調動作させる映像解析プログラムで実現することもできる。

本発明によれば、以下のような優れた効果を奏する。
本発明によれば、ダウンコンバートによりオプティカルフローの計算量を抑制し、入力映像の解像度及びフレームレートに対応付けてオプティカルフローの移動量を線形補完するので、リアルタイムで被写体の移動量を表示することができる。

第１実施形態に係る映像解析装置を装着するカメラの外観図である。 第１実施形態に係る映像解析装置の構成を示すブロック図である。 第１実施形態における縮小映像を説明する説明図である。 第１実施形態における、水平方向への移動量対応付けの一例を説明する説明図である。 第１実施形態における、垂直方向への移動量対応付けの一例を説明する説明図である。 第１実施形態における、斜め方向への移動量対応付けの一例を説明する説明図である。 第１実施形態における、合成映像の一例を説明する説明図である。 第１実施形態における、オプティカルフローの表示例を説明する説明図である。 第１実施形態における合成映像の一例を説明する説明図であり、（ａ）は被写体の移動量が小さいとき、（ｂ）は被写体の移動量が大きいときを表す。 第１実施形態における、警告表示の一例を説明する説明図である。 図２の映像解析装置の動作を示すフローチャートである。 第２実施形態に係る映像解析装置の構成を示すブロック図である。 第３実施形態において、映像解析装置を内蔵する映像監視装置の外観図である。 第３実施形態に係る映像解析装置の構成を示すブロック図である。 変形例１における縮小映像を説明する説明図である。

（第１実施形態）
以下、本発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の手段には同一の符号を付し、説明を省略した。

［カメラ］
図１及び図２を参照し、第１実施形態に係る映像解析装置１の構成を説明する。
第１実施形態では、図１に示すように、映像解析装置１がカメラＣに装着されていることとする。
まず、映像解析装置１の説明に先立ち、カメラＣを簡単に説明する。例えば、カメラＣは、超高精細映像（例えば、解像度７６８０×４３２０画素、フレームレート１２０Ｈｚ）を撮影できる一般的な撮影カメラである。このカメラＣは、カメラ本体Ｃ_Ｂと、ビューファインダＣ_Ｖとを備える。カメラ本体Ｃ_Ｂは、レンズ等の光学系や撮像素子等で構成され、被写体が含まれる撮影映像（入力映像）を生成する。ビューファインダＣ_Ｖは、カメラマンが撮影映像を確認できるように、撮影映像の縮小映像を表示する。

［映像解析装置］
図２を参照し、映像解析装置１の構成について説明する。
図２に示すように、映像解析装置１は、カメラ本体Ｃ_Ｂから撮影映像が入力され、入力された撮影映像をダウンコンバートして縮小映像を生成し、生成した縮小映像をビューファインダＣ_Ｖに表示する。このとき、映像解析装置１は、被写体の移動方向及び移動量を解析し、その解析結果を縮小映像に合成表示するものである。映像解析装置１は、映像入力手段１０と、ダウンコンバート手段２０と、オプティカルフロー算出手段３０と、移動量対応付け手段４０と、移動量表示手段５０とを備える。

映像入力手段１０は、カメラＣ（カメラ本体Ｃ_Ｂ）から撮影映像が入力され、入力された撮影映像の解像度とフレームレート（例えば、解像度７６８０×４３２０画素、フレームレート１２０Ｈｚ）を取得するものである。そして、映像入力手段１０は、入力された撮影映像をダウンコンバート手段２０に出力する。さらに、映像入力手段１０は、その撮影映像の解像度及びフレームレートを表す縮小前解像度・フレームレート情報を、移動量対応付け手段４０に出力する。

ダウンコンバート手段２０は、映像入力手段１０からの撮影映像をダウンコンバートすることで、縮小映像を生成するものである。本実施形態では、ダウンコンバート手段２０は、オプティカルフローの算出と合成表示がリアルタイムで行える現実的な解像度及びフレームレートまで、撮影映像をダウンコンバートする（例えば、解像度１９２０×１０８０画素、フレームレート３０Ｈｚ）。また、撮影映像Ｌの全部が縮小領域として設定されているので、図３に示すように、撮影映像Ｌの全部を縮小し、縮小映像Ｓを生成することになる。この縮小領域とは、撮影映像Ｌのうち、縮小画像Ｓを生成する領域のことである。

ここで、ダウンコンバート手段２０は、一般的な手法でダウンコンバートを行うことができる。例えば、ダウンコンバート手段２０は、解像度については、撮影映像に平滑化フィルタを施した後に画素を間引きし、フレームレートについては、撮影映像を構成するフレームを等間隔で間引く。この他、ダウンコンバート手段２０は、２フレームの加算平均を１フレームとして出力するなどのフレームブレンディングを用いて、ダウンコンバートしてもよい。

その後、ダウンコンバート手段２０は、ダウンコンバートした縮小映像をオプティカルフロー算出手段３０及び移動量表示手段５０に出力する。さらに、ダウンコンバート手段２０は、縮小映像の解像度及びフレームレートを表す縮小後解像度・フレームレート情報を、移動量対応付け手段４０に出力する。

オプティカルフロー算出手段３０は、ダウンコンバート手段２０からの縮小映像のオプティカルフローを算出するものである。すなわち、オプティカルフロー算出手段３０は、縮小映像で連続したフレームから、固有値を持つ特徴点のオプティカルフローを算出する。例えば、オプティカルフロー算出手段３０は、ＬＫ法、Ｈｏｒｎ－Ｓｈｕｎｃｋ法等の一般的な手法でオプティカルフローを算出できる。本実施形態では、オプティカルフロー算出手段３０は、ＬＫ法でオプティカルフローを算出することとする。

ここで、オプティカルフロー算出手段３０は、縮小映像全体から特徴点を抽出し、オプティカルフローを算出してもよい。
その一方、オプティカルフロー算出手段３０は、縮小映像に予め設定された検出領域のみから特徴点を抽出し、オプティカルフローを算出してもよい。この検出領域とは、縮小映像内でオプティカルフローの算出対象となる領域のことであり、カメラマン等のユーザが任意のサイズ及び形状で設定できる。本実施形態では、検出領域が、被写体が存在する可能性の高い縮小映像の中央部に矩形状で設定されていることとする。この場合、オプティカルフロー算出手段３０では、縮小映像全体よりも検出領域の空間周波数成分が失われにくいので、より高精度なオプティカルフローを算出できる。
その後、オプティカルフロー算出手段３０は、特徴点毎に算出したオプティカルフローを移動量対応付け手段４０に出力する。

移動量対応付け手段４０は、撮影映像の解像度及びフレームレートに対応付けて、オプティカルフロー算出手段３０が算出したオプティカルフローの移動量を線形補完するものである。

まず、移動量対応付け手段４０は、映像入力手段１０からの縮小前解像度・フレームレート情報と、ダウンコンバート手段２０からの縮小後解像度・フレームレート情報とを用いて、解像度縮小率Ａ及びフレームレート縮小率Ｂを算出する。本実施形態では、解像度縮小率Ａについては、撮影映像全体を縮小したので、縮小映像と撮影映像との画素数の比に基づいたものとなる（縮小映像の画素数を撮影映像の画素数で除算）。例えば、撮影映像が７６８０×４３２０画素、縮小映像が１９２０×１０８０画素なので、解像度縮小率Ａ＝（１９２０×１０８０）／（７６８０×４３２０）＝１／１６となる。また、フレームレート縮小率Ｂについては、縮小映像と撮影映像とのフレームレートの比に基づいたものとなる（縮小映像のフレームレートを撮影映像のフレームレートで除算）。例えば、撮影映像が１２０Ｈｚ、縮小映像が３０Ｈｚなので、フレームレート縮小率Ｂ＝３０／１２０＝１／４となる。このように、移動量対応付け手段４０は、フィルタやフレームブレンディングの有無とは関係なく、ダウンコンバート前後の解像度及びフレームレートの比から、解像度縮小率Ａ及びフレームレート縮小率Ｂを算出する。

次に、移動量対応付け手段４０は、オプティカルフロー算出手段３０で求めたオプティカルフローの移動量を、解像度とフレームレートの両方で線形補完することにより、撮影映像に対応させる。具体的には、移動量対応付け手段４０は、オプティカルフロー算出手段３０が求めたオプティカルフローの移動量をｘとすると、以下の式（１）を用いて、撮影映像に対応付けたオプティカルフローの移動量を算出する。以後、線形補間後の移動量をｙとする。

その後、移動量対応付け手段４０は、オプティカルフロー算出手段３０からのオプティカルフローの移動方向と、線形補完したオプティカルフローの移動量ｙとを表す移動方向・移動量情報を、移動量表示手段５０に出力する。

＜水平方向、垂直方向での移動量の対応付け＞
図４～図６を参照し、水平方向、垂直方向、斜め方向での移動量の対応付けを具体的に説明する。
図４～図６の上段には、縮小映像（解像度１９２０×１０８０画素、フレームレート３０Ｈｚ）を図示した。また、図４～図６の中段には、第１撮影映像（解像度３８４０×２１６０画素、フレームレート６０Ｈｚ）を図示した。また、図４～図６の下段には、第２撮影映像（解像度７６８０×４３２０画素、フレームレート１２０Ｈｚ）を図示した。
図４～図６では、マス目が画素を表し、ハッチングされたマス目が特徴点となる画素を表し、横軸が時間軸を表している。
なお、図４～図６では、説明を簡易にするために解像度やフレームレートが異なる撮影映像を図示しているが、実際には、解像度やフレームレートが異なる撮影映像を同時に扱う必要はない。

まず、縮小映像と第１撮影映像との関係で考える。図４及び図５に示すように、縮小映像の１フレーム間で、特徴点が水平又は垂直に１画素移動したこととする（ｘ＝１）。第１撮影映像の解像度が３８４０×２１６０画素なので、解像度縮小率Ａ＝１／４となり、縮小映像で１画素の移動が、第１撮影映像の２画素に相当する。つまり、式（１）のフレームレート縮小率Ｂを無視すると、移動量ｙ＝１÷√Ａ＝１÷√（１／４）＝２画素となる。

また、第１撮影映像のフレームレートが６０Ｈｚなので、フレームレート縮小率Ｂ＝１／２となり、縮小映像で１フレーム（１／３０フレーム→２／３０フレーム）当たりの移動量が、第１撮影映像で２フレーム分（１／６０フレーム→３／６０フレーム）の移動量に相当する。このとき、６０Ｈｚの第１撮影映像で１フレーム当たり移動量は、第１撮影映像の２フレーム分の移動量を線形補間（×１／２）することで求められる。具体的には、第１撮影映像で１フレーム当りの移動量ｙは、式（１）より、１÷√（１／４）×１／２＝１画素となる。

このように、縮小映像において、１／３０フレームから２／３０フレームの間で１画素移動した場合を考える（図４及び図５の上段参照）。この場合、第１撮影映像では、１／６０フレームから２／６０フレームの間で１画素移動し、２／６０フレームから３／６０フレームの間でも１画素移動するので、合計２画素移動する（図４及び図５の中段参照）。

次に、縮小映像と第２撮影映像との関係で考える。第２撮影映像の解像度が７６８０×４３２０画素なので、解像度縮小率Ａ＝１／１６となり、縮小映像で１フレーム当たり１画素の移動が、第２撮影映像の４画素に相当する。さらに、第２撮影映像のフレームレートが１２０Ｈｚなので、フレームレート縮小率Ｂ＝１／４となり、縮小映像で１フレーム（１／３０フレーム→２／３０フレーム）当たりの移動量が、第２撮影映像で４フレーム分（１／１２０フレーム→５／１２０フレーム）の移動量に相当する。このとき、１２０Ｈｚの第２撮影映像で１フレーム当たり移動量は、第２撮影映像の４フレーム分の移動量を線形補間（×１／４）することで求められる。具体的には、第２撮影映像で１フレーム当りの移動量ｙは、式（１）より、１÷√（１／１６）×１／４＝１画素となる。

このように、縮小映像において、１／３０フレームから２／３０フレームの間で１画素移動した場合を考える（図４及び図５の上段参照）。この場合、第２撮影映像では、１／１２０フレームから２／１２０フレームの間で１画素移動し、２／１２０フレームから３／１２０フレームの間でも１画素移動し、３／１２０以後のフレームでも同様に１画素移動するので、合計４画素移動する（図４及び図５の下段参照）。

＜斜め方向での移動量の対応付け＞
図６に示すように、１フレーム当たりの斜め移動量は、水平移動量成分の二乗と垂直移動量成分の二乗の和の平方で求められる。このため、解像度縮小率Ａ及びフレームレート縮小率Ｂは、水平方向、垂直方向及び斜め方向で全て同一となる。ここで、縮小映像において、１フレーム当たりの斜め移動量は、水平移動量成分が１画素、垂直移動量成分が１画素であるため、図４及び図５で説明した通り、水平方向及び垂直方向と同様の対応付けとなる。

このように、撮影映像の解像度やフレームレートが異なる場合でも、縮小映像における１フレーム当りの移動量は、水平、垂直及び斜めといった方向に関係なく、その撮影映像における移動量に対応付けることができる。これにより、図４～図６における２／６０フレームでのオプティカルフローＦの移動量や、２／１２０フレーム～４／１２０フレームでのオプティカルフローＦの移動量を線形補完できる。

図２に戻り、映像解析装置１の構成について、説明を続ける。
移動量表示手段５０は、移動量対応付け手段４０からの移動方向・移動量情報を、ダウンコンバート手段２０からの縮小映像に合成し、被写体の移動方向及び移動量として、ビューファインダＣ_Ｖに表示するものである。つまり、移動量表示手段５０は、オプティカルフロー算出手段３０が算出したオプティカルフローＦの移動方向と、移動量対応付け手段４０が線形補完したオプティカルフローＦの移動量ｙとを縮小映像に合成した合成映像を生成する。

本実施形態では、移動量表示手段５０は、縮小映像に対して１フレーム遅延させて、移動方向・移動量情報を合成する。図４の例では、移動量表示手段５０は、１／３０フレームから２／３０フレームまでの縮小映像で求めた移動方向・移動量情報を、その２／３０フレーム目の縮小映像に合成する（図３不図示）。なお、移動量表示手段５０は、求めた移動方向・移動量情報を、１フレーム以上遅延させて縮小映像に合成してもよい。
その後、移動量表示手段５０は、生成した合成映像をビューファインダＣ_Ｖに出力する。

＜合成映像の一例＞
図７を参照し、移動量表示手段５０が生成する合成映像の一例を説明する
図７に示すように、合成映像αでは、被写体Ｔの移動方向及び移動量を矢印で表す。
また、図７では、矩形状の検出領域βが、合成映像αの中央部に設定されている。従って、合成映像αに含まれる３個の被写体Ｔのうち、検出領域βに含まれる被写体Ｔ_１，Ｔ_２のオプティカルフローＦ_１，Ｆ_２が算出されている。一方、検出領域βに含まれない被写体Ｔ_３については、オプティカルフローが算出されていない。従って、合成映像αでは、被写体Ｔ_１，Ｔ_２のオプティカルフローＦ_１，Ｆ_２のみが表示され、被写体Ｔ_３のオプティカルフローが表示されていない。なお、図７では、検出領域βは、合成映像αに表示せずともよい。

オプティカルフローＦの方向が被写体Ｔの移動方向を表し、オプティカルフローＦの長さが被写体Ｔの移動量を表す。つまり、オプティカルフローＦが長くなる程、被写体Ｔの移動量が大きく、オプティカルフローＦが短くなる程、被写体Ｔの移動量が小さくなることを表す。

ここで、移動量表示手段５０は、数段階の移動量範囲毎にオプティカルフローＦを色分し、オプティカルフローＦの長さを変更してもよい。この移動量範囲の値、色及び長さは、各段階でユーザが任意に設定できる。図７では、オプティカルフローＦの移動量範囲及び色は、１以上５未満で紺色、５以上１５未満で水色、１５以上３０未満で緑色、３０以上１００未満で黄色、１００以上５００未満で赤色のように５段階で設定されている。また、図７では、この移動量範囲に対応させて、オプティカルフローＦの長さを５段階で表している。例えば、被写体Ｔ_１のオプティカルフローＦ_１は、その移動量が１５以上３０未満なので、中程度の長さで緑色で表示されている。また、被写体Ｔ_２のオプティカルフローＦ_２は、移動量が５以上１５未満なので、オプティカルフローＦ_１より短く、水色で表示されている。

さらに、移動量表示手段５０は、設定情報として、設定されている移動量範囲の値及び色を合成映像αの左側に表示してもよい。また、移動量表示手段５０は、解析情報として、その移動量範囲に含まれるオプティカルフローＦの割合も表示してもよい。図７では、オプティカルフローＦが合計１０個であり、１５以上３０未満の移動量範囲に５個のオプティカルフローＦ_１が含まれ、５以上１５未満の移動量範囲に５個のオプティカルフローＦ_２が含まれている。このため、オプティカルフローＦの割合は、５以上１５未満及び１５以上３０未満の移動量範囲で５０％となり、他の移動量範囲で０％となる。

さらに、移動量表示手段５０は、解析情報として、オプティカルフローＦに対応する特徴点の数を合成映像αの下部左側に表示してもよい。図７では、特徴点の数は、オプティカルフローＦと同数の１０個となる。
さらに、移動量表示手段５０は、全方向、垂直方向及び水平方向のそれぞれで、オプティカルフローＦの移動量平均値を算出し、合成映像αの下部中央に表示してもよい。図７では、オプティカルフローＦの移動量平均値は、全方向で２０．２となり、垂直方向で１４．５となり、水平方向で１５．７となる。

さらに、移動量表示手段５０は、表示したい移動量範囲をユーザが設定した場合、その移動量範囲のみでオプティカルフローＦのみを表示してもよい。例えば、移動量表示手段５０は、移動量範囲が１５以上３０未満のオプティカルフローＦのみを表示する。
さらに、移動量表示手段５０は、図８に示すように、オプティカルフローＦを表す矢印の周縁側を異なる色で表示してもよい。例えば、オプティカルフローＦを表す矢印の内側が緑色や水色の場合、矢印の周縁側が黒色や白色となる。

図８では、オプティカルフローＦを説明するために合成映像αを抽象的に図示したが、実際には図９のようになる（自然風景の撮影例）。図９（ａ）では、図９（ｂ）に比べて、被写体の移動量が小さいことから、オプティカルフローＦを表す矢印が短くなっている。
なお、移動量表示手段５０は、設定情報や解析情報を合成映像αに表示すると見づらくなる場合、図９に示すように設定情報や解析情報を表示せずともよい。

＜警告表示の一例＞
図１０を参照し、移動量表示手段５０による警告表示の一例を説明する
図１０に示すように、カメラＣが急激なカメラワーク（例えば、高速なパン操作）を行うと映像酔いが懸念されるので、急激なカメラワークを避けることが好ましい。そこで、移動量表示手段５０は、特徴点の移動量（オプティカルフローＦの移動量）に基づいて、急激なカメラワークを判定し、映像酔いが懸念される場合、警告表示を行う。

具体的には、移動量表示手段５０は、移動量が予め設定された第１閾値を超える特徴点の数を求める。次に、移動量表示手段５０は、第１閾値を超える特徴点の数と、縮小映像から抽出した全特徴点の数との割合を算出する。そして、移動量表示手段５０は、算出した割合が予め設定された第２閾値を超えた場合、任意の方法で警告表示を行う。この第１閾値及び第２閾値は、ユーザが任意に設定できる。本実施形態では、移動量表示手段５０は、警告表示として、図１０の合成映像αの下部右側に「Ｗａｒｎｉｎｇ！」という警告メッセージＷを表示する。
なお、警告メッセージＷは任意であり、例えば、「Ｒａｔｅ ｏｆ Ａｒｒｏｗ５ Ｅｘｅｅｄ ○％」であってもよい（なお、‘○’は第２閾値に対する超過を表す数値）。

この警告表示により、映像解析装置１は、カメラマン等のユーザーに対して、パン速度を抑えるように促すことができる。これにより、ユーザーは、自らのカメラワークの中で警告が出るような動きを意図的に避けることができる。

［映像解析装置の動作］
図１１を参照し、映像解析装置１の動作について説明する。
図１１に示すように、映像入力手段１０は、カメラ本体Ｃ_Ｂから撮影映像が入力され、入力された撮影映像の解像度とフレームレートを取得する（ステップＳ１）。

ダウンコンバート手段２０は、映像入力手段１０に入力された撮影映像の解像度及びフレームレートの両方をダウンコンバートすることで、縮小映像を生成する。例えば、ダウンコンバート手段２０は、撮影映像の画素やフレームを間引くことで、撮影映像をダウンコンバートする（ステップＳ２）。

オプティカルフロー算出手段３０は、ダウンコンバート手段２０が生成した縮小映像のオプティカルフローＦを算出する。例えば、オプティカルフロー算出手段３０は、ＬＫ法でオプティカルフローＦを算出する（ステップ３）。

移動量対応付け手段４０は、撮影映像の解像度及びフレームレートに対応付けて、オプティカルフロー算出手段３０が算出したオプティカルフローＦの移動量を線形補完する。
まず、移動量対応付け手段４０は、撮影映像の解像度及びフレームレートと、縮小映像の解像度及びフレームレートとの比から、解像度縮小率Ａ及びフレームレート縮小率Ｂを算出する。
次に、移動量対応付け手段４０は、前記した式（１）を用いて、ステップＳ３で求めたオプティカルフローＦの移動量を、解像度とフレームレートの両方で線形補完することにより、撮影映像に対応させる（ステップＳ４）。

移動量表示手段５０は、ステップＳ３で算出したオプティカルフローＦの移動方向と、ステップＳ４で線形補完したオプティカルフローＦの移動量とを、被写体Ｔの移動方向及び移動量として縮小映像に合成し、ビューファインダＣ_Ｖに表示する（ステップＳ５）。

［作用・効果］
以上のように、映像解析装置１は、ダウンコンバートによりオプティカルフローＦの計算量を抑制し、撮影映像の解像度及びフレームレートに対応付けてオプティカルフローＦの移動量を線形補完するので、リアルタイムで被写体の移動量を表示することができる。
これにより、映像解析装置１では、カメラマンがビューファインダＣ_Ｖを視認することで被写体の移動量をリアルタイムで知ることができ、制作映像の解像度及びフレームレートから撮影したい移動量が決まっている場合、その移動量に合わせてカメラＣのズームや画角を調整することができる。さらに、映像解析装置１では、撮影映像の特徴点の移動量がビューファインダＣ_Ｖに表示されるので、制作映像の解像度及びフレームレートに合わせたカメラワークをカメラマンが容易に行うことができる。

（第２実施形態）
図１２を参照し、第２実施形態に係る映像解析装置１Ｂについて、第１実施形態と異なる点を説明する。
映像解析装置１Ｂは、視距離に応じてオプティカルフローＦの移動量を補正する点が、第１実施形態と異なる。図１２に示すように、映像解析装置１Ｂは、映像入力手段１０と、ダウンコンバート手段２０と、オプティカルフロー算出手段３０と、移動量対応付け手段４０と、移動量表示手段５０Ｂと、移動量補正手段６０とを備える。
なお、移動量表示手段５０Ｂ及び移動量補正手段６０以外は、第１実施形態と同様のため、説明を省略する。

ここで、オプティカルフローＦの移動量は、画素単位で規定されているため、映像観視時の視距離によっては、眼の網膜上での移動量と異なってしまう。例えば、表示画面の解像度が解像度７６８０×４３２０画素、３８４０×２１６０画素又は１９２０×１０８０画素で、視距離が画面高の０．７５倍（０．７５Ｈ）、１．５（１．５Ｈ）倍又は３．０（３．０Ｈ）倍というように、撮影映像の観視条件は様々である。この観視条件が既知の場合、その観視条件に応じて、オプティカルフローＦの移動量そのもの、又は、オプティカルフローＦの移動量範囲を変化させることで、眼の網膜上での移動量に対応付けることができる。

例えば、視距離が０．７５Ｈのときを基準とし、移動量範囲が５以上１０未満と１０以上３０未満で設定されていることとする。この場合、オプティカルフローＦの移動量は、画面中心から画面高×０．７５だけ離れた位置（視距離０．７５Ｈ）での移動量を表す。視距離が２倍になった場合（１．５Ｈ）、このオプティカルフローＦの移動量は、見かけ上半分となる。すなわち、視距離１．５Ｈでの移動量の２倍が、視距離０．７５Ｈでの移動量に相当する。

そこで、移動量補正手段６０は、移動量対応付け手段４０からの移動方向・移動量情報を参照し、視距離に比例するように、オプティカルフローＦの移動量範囲を変化させる。具体的には、移動量補正手段６０は、視距離が２倍になった場合、移動量範囲も２倍（１０以上２０未満、２０以上６０未満）に補正する。この補正により、オプティカルフローＦの移動量が実質的に半分になる。さらに、移動量補正手段６０は、視距離が４倍になった場合、移動量範囲も４倍（２０以上４０未満、４０以上１２０未満）に補正する。

その後、移動量補正手段６０は、移動量対応付け手段４０からのオプティカルフローの移動方向、及び、視距離に応じて補正したオプティカルフローの移動量ｙを表す移動方向・移動量情報を、移動量表示手段５０Ｂに出力する。
なお、移動量補正手段６０は、オプティカルフローＦの移動量範囲ではなく、視距離に反比例するように、オプティカルフローＦの移動そのものを補正してもよい。

移動量表示手段５０Ｂは、移動量補正手段６０からの移動方向・移動量情報を、ダウンコンバート手段２０からの縮小映像に合成し、被写体の移動方向及び移動量として、ビューファインダＣ_Ｖに表示するものである。
なお、移動量表示手段５０Ｂが表示する合成映像は、第１実施形態と同様のため、これ以上の説明を省略する。

［作用・効果］
以上のように、映像解析装置１Ｂは、観視条件（視距離）に応じてオプティカルフローＦの移動量を補正するので、正確な被写体Ｔの移動量を合成表示することができる。

（第３実施形態）
図１３及び図１４を参照し、第３実施形態に係る映像解析装置１について、第１実施形態と異なる点を説明する。
図１３に示すように、映像解析装置１が映像監視装置１００に内蔵されている点が、第１実施形態と異なる。
図１４に示すように、映像監視装置１００は、映像蓄積装置２００に蓄積されている映像について、被写体の移動量を監視するものであり、映像解析装置１と、モニタ１１０とを備える。

映像解析装置１は、映像蓄積装置２００から蓄積映像（入力映像）が入力され、入力された蓄積映像像をダウンコンバートして縮小映像を生成し、生成した縮小映像をモニタ１１０に表示する。このとき、映像解析装置１は、被写体の移動方向及び移動量を解析し、その解析結果を縮小映像に合成表示する。
なお、映像解析装置１は、有線又は無線のネットワークで映像蓄積装置２００と接続され、このネットワークを介して、映像蓄積装置２００から蓄積映像を入力することとする。他の点、映像解析装置１は、第１実施形態と同様のため、これ以上の説明を省略する。

［作用・効果］
以上のように、映像解析装置１は、映像監視装置１００に内蔵されている場合でも、第１実施形態と同様、リアルタイムで被写体の移動量を表示できるので、適切な映像監視を行うことができる。

（変形例１）
以上、本発明の各実施形態を詳述してきたが、本発明は前記した各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
前記した実施形態では、撮影映像全体から縮小映像を生成することとして説明したが、これに限定されない。例えば、撮影映像の一部領域を切り出して、縮小映像を生成してもよい。つまり、前記した実施形態では、撮影映像全体が縮小領域として設定されているのに対し、変形例１では撮影映像の一部が縮小領域として設定されている。

図２及び図１５を参照し、変形例１に係る映像解析装置１Ｄについて、第１実施形態と異なる点を説明する。
変形例１に係る映像解析装置１Ｄは、映像入力手段１０と、ダウンコンバート手段２０Ｂと、オプティカルフロー算出手段３０と、移動量対応付け手段４０Ｂと、移動量表示手段５０とを備える。

ダウンコンバート手段２０Ｄは、解像度については、図１５に示すように、撮影映像Ｌの中央部から矩形状の縮小領域Ｍを切り出して、縮小映像Ｓを生成する。この変形例１では、撮影映像Ｌが７６８０×４３２０画素、縮小領域Ｍが３８４０×２１６０画素、縮小映像Ｓが１９２０×１０８０画素である。なお、縮小領域Ｍの位置やサイズは任意である。
移動量対応付け手段４０Ｂは、撮影映像Ｌの一部領域を縮小したので、縮小映像Ｓと縮小領域Ｍとの画素数の比に基づいて、解像度縮小率Ａを算出する（縮小映像Ｓの画素数を縮小領域Ｍの画素数）。例えば、解像度縮小率Ａ＝（１９２０×１０８０）／（３８４０×２１６０）＝１／４となる。
他の点、映像解析装置１Ｄは、第１実施形態と同様のため、説明を省略する。

（その他）
前記した各実施形態では、式（１）を用いて線形補完を行うこととして説明したが、線形補完の手法は、これに限定されない。
前記した各実施形態では、縮小映像に検出領域を設定した場合、縮小映像の検出領域から特徴点を抽出することとして説明したが、これに限定されない。例えば、縮小映像に検出領域を設定した場合でも、縮小映像全体から特徴点を抽出してもよい。

前記した映像解析装置は、移動量対応付け手段が線形補完したオプティカルフローを記憶するＨＤＤ（Hard Disk Drive）やＵＳＢ（Universal Serial Bus）メモリに記録しておき、撮影終了後に映像解析処理（例えば、被写体の移動判定や追跡）を行う映像解析手段（不図示）を備えてもよい。
前記した各実施形態では、撮影映像及び縮小映像のそれぞれについて、解像度及びフレームレートを例示したが、解像度及びフレームレートは、特に限定されない。
前記した各実施形態では、撮影映像の解像度やフレームレートを手動で設定することとして説明したが、自動で検出してもよい（縮小映像の解像度やフレームレートも同様）。

前記した各実施形態では、解像度及びフレームレートの両方をダウンコンバートすることとして説明したが、解像度又はフレームレートの一方のみをダウンコンバートしてもよい。なお、フレームレートをダウンコンバートしない場合、フレームレート縮小率Ｂが１となる。また、解像度をダウンコンバートしない場合、解像度縮小率Ａが１となる。

前記した実施形態では、映像解析装置を独立したハードウェアとして説明したが、本発明は、これに限定されない。例えば、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した映像解析装置として協調動作させるプログラムで実現することもできる。これらのプログラムは、通信回線を介して配布してもよく、ＣＤ－ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

１，１Ｂ 映像解析装置
１０ 映像入力手段
２０ ダウンコンバート手段
３０ オプティカルフロー算出手段
４０ 移動量対応付け手段
５０，５０Ｂ 移動量表示手段
６０ 移動量補正手段
１００ 映像監視装置
１１０ モニタ
Ｃ カメラ
Ｃ_Ｂ カメラ本体
Ｃ_Ｖ ビューファインダ

Claims (6)

1. 被写体の移動方向及び移動量を解析する映像解析装置であって、
   入力映像の解像度及びフレームレートの少なくとも一方をダウンコンバートすることで、縮小映像を生成するダウンコンバート手段と、
   前記縮小映像のオプティカルフローを算出するオプティカルフロー算出手段と、
   前記入力映像の解像度及びフレームレートに対応付けて、前記オプティカルフロー算出手段が算出したオプティカルフローの移動量を線形補完する移動量対応付け手段と、
   前記オプティカルフロー算出手段が算出したオプティカルフローの移動方向と、前記移動量対応付け手段が線形補完したオプティカルフローの移動量とを、前記被写体の移動方向及び移動量として、前記縮小映像に合成表示する移動量表示手段と、
   予め設定された視距離に応じて、前記移動量対応付け手段が線形補完したオプティカルフローの移動量を補正する移動量補正手段と、
   を備え、
   前記移動量表示手段は、前記オプティカルフローの移動方向と、前記移動量補正手段が補正したオプティカルフローの移動量とを合成表示することを特徴とする映像解析装置。
2. 被写体の移動方向及び移動量を解析する映像解析装置であって、
   入力映像の解像度及びフレームレートの少なくとも一方をダウンコンバートすることで、縮小映像を生成するダウンコンバート手段と、
   前記縮小映像のオプティカルフローを算出するオプティカルフロー算出手段と、
   前記入力映像の解像度及びフレームレートに対応付けて、前記オプティカルフロー算出手段が算出したオプティカルフローの移動量を線形補完する移動量対応付け手段と、
   前記オプティカルフロー算出手段が算出したオプティカルフローの移動方向と、前記移動量対応付け手段が線形補完したオプティカルフローの移動量とを、前記被写体の移動方向及び移動量として、前記縮小映像に合成表示する移動量表示手段と、
   を備え、
   前記オプティカルフロー算出手段は、前記縮小映像から特徴点を抽出し、抽出した前記特徴点についての前記オプティカルフローを算出し、
   前記移動量表示手段は、移動量が予め設定された第１閾値を超える前記特徴点の数と、前記縮小映像から抽出した全特徴点の数との割合を算出し、算出した前記割合が予め設定された第２閾値を超えた場合、警告を行うことを特徴とする映像解析装置。
3. 前記ダウンコンバート手段は、前記入力映像の全部又は一部に予め設定された縮小領域をダウンコンバートすることで前記縮小映像を生成し、
   前記移動量対応付け手段は、前記縮小映像と前記入力映像の縮小領域との画素数の比に基づいて解像度縮小率Ａを算出し、前記縮小映像と前記入力映像とのフレームレートの比に基づいてフレームレート縮小率Ｂを算出し、以下の式（１）を用いて、
   

   

   前記オプティカルフローの移動量ｘを線形補完することを特徴とする請求項１又は請求項２に記載の映像解析装置。
4. 前記オプティカルフロー算出手段は、前記縮小映像に予め設定された検出領域のオプティカルフローを算出し、
   前記移動量表示手段は、前記検出領域に含まれる前記オプティカルフローの移動方向及び移動量を合成表示することを特徴とする請求項１から請求項３の何れか一項に記載の映像解析装置。
5. 前記移動量対応付け手段が線形補完したオプティカルフローの移動量に基づいて、映像解析処理を行う映像解析手段、をさらに備えることを特徴とする請求項１から請求項４の何れか一項に記載の映像解析装置。
6. コンピュータを、請求項１から請求項５の何れか一項に記載の映像解析装置として機能させるためのプログラム。

Images