JP7299690B2 - 画像処理装置およびその制御方法 - Google Patents

Description

本発明は、動画像の符号化技術に関するものである。

近年、テレビ会議システムの普及に伴いカメラを用いた映像システムが広く導入されてきている。また、防犯目的だけでなく調査や管理を目的として施設内に監視カメラが導入されることが多くなっている。中でも、監視対象を監視カメラにより監視し、インターネットまたは無線通信等を介して映像データを送信したり、映像データを格納媒体に格納したりする用途も多くなっている。昨今では監視カメラで撮影された映像データの高画質化、高解像度化が進んでおり映像データ量が増加してきているため、データ量の低減が求められている。

映像符号化技術として、対象フレームの前後のフレームから対象フレームの画素値を予測するフレーム間予測、対象フレーム内から対象フレームの画素値を予測するフレーム内予測の他、エントロピー符号化や量子化等が利用されている。これらの映像符号化技術を利用することにより映像データを効果的に圧縮することが可能になる。

ところで、映像において場面の切り替わり（シーンチェンジ）が発生する場合、画質の劣化を避けるため、Ｉフレーム（Intra-coded Frame）として符号化することが望ましい。Ｉフレームは、フレーム内の符号化対象ブロックの周辺にある復号済み画素を用いて予測信号を生成したフレームであり、Ｐフレーム（Predicted Frame）などに比較して符号量が大きい。特許文献１では、テレビ会議システムにおいて、音声や人物の出現等のトリガとエンコーダ部側からあらかじめ通知されるフレーム情報とに基づいて、使用する範囲を変更する（シーンチェンジを行う）技術が提案されている。より具体的には、トリガの受信に応じて、Ｉフレームのタイミングでシーンチェンジを行うことで効率的な符号化処理を行っている。

特開２０１７－２８３７５号公報

しかしながら、テレビ会議とは異なり、監視カメラの用途においては、不特定多数の人間が不定期のタイミングで音声を発したり出現したりする。そのため、特許文献１のように音声や人物の出現等のトリガを利用することは困難である。また、天井吊り下げ型の監視カメラにおいては、パンチルト動作によるシーンチェンジが発生しやすい。これは、違和感のない映像を出力するため、撮影方向が鉛直下向きになったタイミングで映像の上下反転（画像の１８０°回転）を行うことによる。その結果、反転前後のフレーム画像間で、フレーム間予測で利用される動きベクトルの情報量が大きくなる。結果、映像全体としての符号化効率が低下し符号化データサイズが増加することになる。

本発明は、このような問題に鑑みてなされたものであり、動画像の効率的な符号化を可能とする技術を提供することを目的としている。

上述の問題点を解決するため、本発明に係る画像処理装置は以下の構成を備える。すなわち、画像処理装置は、
撮像により動画像を取得する、直線状の通路の天井に設置される天井吊り下げ型のカメラと、
各時刻における撮影方向を規定した所与の制御内容に従って、パン・チルト動作により前記カメラの撮影方向を制御する撮影方向制御手段と、
前記動画像を構成するフレーム画像を符号化する符号化手段と、
前記カメラにより取得された動画像を構成するフレーム画像を、前記所与の制御内容に従って１８０°回転して前記符号化手段に出力する画像処理手段と、
前記動画像において、先行するフレーム画像に対する画像回転の発生の有無を判定する判定手段と、
前記判定手段により画像回転が発生したと判定されたフレーム画像に先行するフレーム画像を格納する記憶手段と、
前記判定手段により画像回転が発生したと判定された後、前記判定手段により前記動画像において再度の画像回転が発生したと判定された場合、前記記憶手段に格納されたフレーム画像を参照フレームとしたフレーム間予測を用いて、前記再度の画像回転が発生したと判定されたフレーム画像の符号化を行うよう前記符号化手段を制御する制御手段と、
を有し、
前記制御手段は、前記所与の制御内容に従ってフレーム画像を前記記憶手段に格納されたフレーム画像を参照フレームとしたフレーム間予測を用いて符号化するよう前記符号化手段を制御する。

本発明によれば、動画像の効率的な符号化を可能とする技術を提供することができる。

第１実施形態に係る画像処理装置を含む監視カメラの機能構成を示す図である。 映像処理部のハードウェア構成を示す図である。 ３次元座標におけるパンチルト動作を説明する図である。 パンチルト動作により取得される映像を説明する図である。 画像を１８０°回転した場合の探索範囲を例示的に示す図である。 第１実施形態における符号化処理の変更を説明する図である。 第１実施形態における画像処理装置の動作フローチャートである。 第１実施形態における各フレームでの参照フレームを説明する図である。 パンの角度とフレームバッファとの関係を説明する図である。 変形例における符号化処理の変更を説明する図である。 第２実施形態における符号化処理の変更を説明する図である。 第２実施形態における各フレームでの参照フレームを説明する図である。 ＤＰＴＺ設定情報に基づく画像処理を説明する図である。 矩形領域の位置座標を説明する図である。

以下に、図面を参照して、この発明の実施の形態の一例を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。

（第１実施形態）
本発明に係る画像処理装置の第１実施形態として、天井吊り下げ型の監視カメラにより得られた映像を符号化する画像処理装置（映像処理部２００）を例に挙げて以下に説明する。

＜装置構成＞
図１は、第１実施形態に係る画像処理装置を含む監視カメラの機能構成を示す図である。監視カメラは、画像処理装置である映像処理部１００、カメラ３００、全体制御部２００を含み、ＰＴＺ設定部２０１から受信した設定に基づいて動作する。以下の説明では、ＰＴＺ設定部２０１は監視カメラとは別個の筐体として構成される場合を想定するが、同一の筐体に含めるよう構成してもよい。

ＰＴＺ設定部２０１は、監視カメラにおけるパン・チルト・ズーム（ＰＴＺ）に関するＰＴＺ設定情報（方向情報）をユーザから受け付け、例えばネットワークを介して全体制御部２００に対して当該設定を送信する。なお、以下の説明では監視カメラの初期ポジションを基準にしたパン・チルト角度（φpan、φtilt）を受け付けることを想定しているが、監視カメラの現在のチルト角度に対する角度（Δφ）として受け付けるよう構成してもよい。

説明を簡単にするために、以下ではチルトに関する設定に着目して説明する。なお、ユーザから設定を受け付ける代わりにＰＴＺ設定部２０１自身が算出するよう構成してもよい。例えば、監視カメラによる撮影対象物を追尾するために必要な設定を撮像画像に基づいて算出する構成でもよい。

全体制御部２００は、ＰＴＺ設定部２０１から受け付けた設定に基づいて、不図示のモータ等を制御しパン・チルトによる撮影方向制御を行う。ここで、パンはカメラのレンズの向き（撮影方向）を水平方向（左右方向）に動かす動作のことであり、チルトはカメラのレンズの向きを垂直方向（上下方向）に動かす動作のことを意味している。また、カメラ１００にズームに関する情報を送信しズームの制御を行う。さらに、映像処理部１００に情報を送信する。

カメラ３００は、映像を撮影し、撮影した映像を映像処理部１００に送信する。カメラ３００は、カメラ制御部３０１と、レンズ３０２と、撮像部３０３を有する。カメラ制御部３０１は、レンズ３０２及び撮像部３０３を制御し、全体制御部２００から受信した情報に基づくズーム動作やフォーカス制御を行う。

映像処理部１００は、カメラ３００により得られた映像に対して画像処理及び圧縮符号化を行い、符号化ストリームを出力する。特に、映像処理部１００は、全体制御部２００から入力されるＰＴＺ設定情報に基づいて画像処理及び圧縮符号化を行う点に特徴がある。

画像回転判定部１０１は、全体制御部２００からの指示に基づいて、画像処理部１０３における画像回転のタイミングのトリガ情報を生成する。トリガ情報とは、天井吊り下げ型の監視カメラにより得られた映像（撮像部３０３から出力される映像）において、チルト動作により画像が回転する（撮像画像における上下関係が反転する）タイミングを示す情報ことである。なお、以下の説明では、映像処理部１００の内部で画像の回転を判定しているものとしているが、外部の装置で判定し判定結果を受け付けるよう構成してもよい。例えば、全体制御部２００において、ＰＴＺ設定部２０１から受け付けたチルト設定があらかじめ設定された閾値を超えたか否かを判定することにより、画像が回転するタイミングを判定してもよい。

符号化処理制御部１０２は、画像回転判定部１０１から出力された画像回転タイミングのトリガ情報に基づいて、符号化部１０４においてフレーム内予測とフレーム間予測符号との何れを実行するかを決定する。特に、フレーム内予測で利用する参照フレーム（後述するＬｏｎｇＴｅｒｍ参照フレーム）の設定を行う。なお、参照フレームに設定するフレーム画像はユーザが任意に設定可能なように構成してもよい。

画像処理部１０３は、カメラ３００により得られた映像に対して画像処理を行う。映像は、一連のフレーム画像（例えば３０フレーム毎秒）でカメラ３００から入力される。以下の説明では、画像処理部１０３は、画像回転判定部１０１から受信したトリガ情報に基づいてフレーム画像に対する所定角度（例えば１８０°）の回転処理を行うものとして説明するが、他の画像処理を合わせて行うように構成してもよい。画像処理部１０３により回転処理がなされた（又は回転処理がされなかった）フレーム画像は符号化部１０４に出力される。

符号化部１０４は、符号化処理制御部１０２から受信した情報（フレーム内予測かフレーム間予測のどちらを使うか）に基づいて、画像処理部１０３から受信したフレーム画像に対して符号化処理を行う。

図２は、映像処理部１００のハードウェア構成を示す図である。映像処理部１００は、ＣＰＵ１５１、ＲＯＭ１５２、ＲＡＭ１５３、カメラＩ／Ｆ１５４、制御Ｉ／Ｆ１５５、ネットワークＩ／Ｆ１５６を含む。ＲＯＭ１５２は、ＣＰＵ１５１が実行するプログラムや各種の設定データを記憶する。ＣＰＵ１５１は、ＲＯＭ１５２に記憶されたプログラムをＲＡＭ１５３に読み込み実行することにより、カメラＩ／Ｆ１５４を介して入力されたフレーム画像に対する画像処理や符号化処理、ネットワークＩ／Ｆ１５６を介した通信処理を実現する。カメラＩ／Ｆ１５４は、カメラ３００から映像（フレーム画像）を受信する。制御Ｉ／Ｆ１５５は、全体制御部２００からの制御信号を受信する。ネットワークＩ／Ｆ１５５は、ネットワークを介して符号化ストリームを送信する。

＜天井吊り下げ型の監視カメラにより取得される映像＞
図３は、３次元座標におけるパンチルト動作を説明する図である。ここでは、ＸＹＺ直交座標系において、Ｘ軸の負の方向をカメラの初期ポジションとしたパン・チルト動作を示している。天井吊り下げ型の監視カメラによる撮影方向は、水平方向（ＸＺ平面）よりも下側の方向を向くことになる。そのため、ここでは、カメラの初期ポジションの方向を基準にチルト角度（φtilt）及びパン角度（φpan）を規定している。

図４は、パンチルト動作により取得される映像を説明する図である。図４は、図３におけるＺ軸の正の方向からＸＹ平面を観察した状態に対応する。（１）～（５）に示すカメラポジションは、それぞれ、チルト角度（φtilt）が３０°、６０°、９０°、１２０°、１５０°に対応している。なお、説明を簡単にするためにここではパン角度（φpan）は全て０°であると想定する。

カメラポジションを（１）から（５）まで連続的に変化させた場合、鉛直下向きを撮影する（３）のポジションでフレーム画像における上下が反転することになる。図４は、西（West Gate）から東（East Gate）へ延びる直線状の通路を移動している人物を、通路の天井に設置した監視カメラのチルト動作により追尾する状況を示している。この場合、撮像部３０３から出力される映像として、フレーム画像Ｆ１、Ｆ２、ＦＡ、ＦＢ、ＦＣが順に得られることになる。すなわち、映像の途中で画像の上下が反転することになり不自然な映像となる。そこで、映像として自然なものとする（上下の反転が発生しないようにする）ために、フレーム画像ＦＡ、ＦＢ、ＦＣを１８０°回転する手法が用いられることがある。当該手法の結果、フレーム画像Ｆ１、Ｆ２、Ｆ３、Ｆ４、Ｆ５が順に得られることになる。

そこで、第１実施形態では、画像回転判定部１０１は、全体制御部２００から入力されるチルト角度（φtilt）の情報が所定の角度（φtrig）を超えたか否かに基づいて、入力されたフレーム画像に対して１８０°回転するか否かの判定処理を行う。例えば、φtrig＝９０°と設定した場合に、画像回転判定部１０１は、φtilt＝９０°（図４に示す（３）のポジション）になると、フレーム画像を１８０°回転すると判定する。そして、１８０°の回転を「しない」から「する」（又はその反対）に変化したタイミングでトリガ情報を生成し、画像処理部１０３に出力する。なお、基準とするカメラの初期ポジション、および、トリガ情報を出力するチルト角度は、上述の形態に限定されるものではなくユーザが任意に設定可能である。

なお、第１実施形態では、画像回転判定部１０１は、ＰＴＺ設定部２０１から設定され全体制御部２００経由で受信したパンチルトの角度情報から、指示がパン動作、チルト動作、それらの組み合わせの何れであるかを判断する。パン動作のみの場合は上述した映像の回転は発生しないため、画像回転判定部１０１は、パン動作のみの場合は画像回転のトリガ情報を生成しない。

図５は、画像を１８０°回転した場合のフレーム間予測での探索範囲を例示的に示す図である。符号化処理部１０４は、フレーム間予測を用いて符号化処理を実施する場合、先行する直前のフレーム画像を参照フレームとして利用する。ただし、図４を参照して説明したように映像の途中で画像処理部１０３により画像の１８０°回転を行った場合、当該１８０°回転の前後で、符号化処理部１０４に入力される画像が１８０°回転することになる。そのため、１８０°回転直後の画像フレーム５００ｂを符号化する場合、１８０°回転直後の画像フレーム５００ａを参照フレームとして利用することになる。

そのため、画像フレーム５００ｂの矩形Ｂを符号化するための動きベクトルを算出する際に、画像フレーム５００ａの矩形Ａの周辺を動き予測の探索範囲として設定することになる。すなわち、矩形Ｂに対応する矩形Ｃは探索範囲から外れることになる。その結果、フレーム間予測を用いて画像フレーム５００ｂの符号化処理を行った場合、動き予測の差分が増加することになる。

そこで、符号化処理制御部１０２は、画像の１８０°回転処理を行うトリガ情報に従い、当該トリガ情報に対応するフレーム画像に先行するフレーム画像をＬｏｎｇＴｅｒｍ参照フレーム用の記憶部であるフレームバッファに格納する。その後、再度、画像の１８０°回転処理を行うトリガ情報が入力された場合、ＬｏｎｇＴｅｒｍ参照フレーム用のフレームバッファに格納されたフレーム画像をＬｏｎｇＴｅｒｍ参照フレームとして、フレーム間予測で行うよう制御する。すなわち、フレームバッファに格納されたフレーム画像と同じ画像方向になった場合に、当該制御を行う。

＜装置の動作＞
図６は、符号化処理の変更制御を説明する図である。カメラポジションを（１）から（５）まで連続的に変化させ、その後、（５）から（２）まで連続的に変化させた場合に得られる動画像を構成するフレーム画像を例示的に示している。

従来は、例えば所定の周期でフレーム内予測を用いた符号化を行い、それ以外は全てフレーム間予測を用いた符号化を行っている。図６では、Ｉ０がフレーム内予測を用いて符号化されたＩフレーム（Ｉピクチャ）である。また、Ｐ１～Ｐ１４はフレーム間予測を用いて符号化されたＰフレーム（Ｐピクチャ）である。図６においては、各フレーム画像の符号化に用いる参照フレームを白抜きの矢印で示している。

従来は、Ｐ１３に対応するタイミングのフレーム画像を符号化するにあたって、先行する直前のフレーム画像であるＰ１２を参照フレームとして設定する。そして、当該フレーム画像をフレーム間予測を用いてＰフレーム（Ｐ１３）として符号化する。一方、第１実施形態では、Ｐ１３に対応するタイミングのフレーム画像を符号化するにあたって、予め記憶しておいたフレーム画像であるＰ３をＬｏｎｇＴｅｒｍ参照フレームとして設定する。そして、当該フレーム画像をフレーム間予測を用いてＰフレーム（Ｐ１３）として符号化する。他のフレーム画像は、先行するフレーム画像を参照フレームとしてＰフレーム（Ｐ１、・・・、Ｐ１２、Ｐ１４）として符号化する。

図８は、各フレームでの参照フレームを説明する図である。各カメラポジションにおける各処理対象フレームに対応する参照フレームと１８０°回転トリガの関係を表にしたものである。図８で示すように、符号化処理部１０４は、カメラポジション（３）のタイミングで、１８０°回転を行うトリガ情報を受信する。そのため、符号化処理部１０４は、そのタイミングで符号化処理しているフレーム画像に先行する直前のフレームをＬｏｎｇＴｅｒｍ参照フレーム用のフレームバッファに格納する。具体的には、１回目のカメラポジション（３）のタイミングではＰ３を格納し、２回目のカメラポジション（３）のタイミングではＰ１２を格納する。そして、２回目のカメラポジション（３）のタイミングで符号化処理しているフレーム画像を、Ｐ３をＬｏｎｇＴｅｒｍ参照フレームとしたフレーム間予測によるＰ１３として符号化処理を行う。Ｐ１３のタイミングで格納したＰ１２は、再びカメラポジション（３）になったタイミングでＬｏｎｇＴｅｒｍ参照フレームとして利用されることになる。

なお、以下の説明では、ＬｏｎｇＴｅｒｍ参照フレーム用のフレームバッファは、回転が発生するたびに、パンの角度に応じた複数のフレーム画像（フレーム画像群）を格納するよう構成されていることを想定する。また格納されたそれぞれのフレーム画像は、回転が発生するたびに順次更新（上書き）されることを想定する。ただし、フレーム画像を更新せずに前回のＬｏｎｇＴｅｒｍ参照フレームとして継続して使用する等しても良い。また、複数回の回転に対応するフレーム画像群を格納するようフレームバッファを構成してもよい。

図９は、パンの角度とフレームバッファとの関係を説明する図である。ここでは、パンの角度が（１）に近い時は参照フレームバッファＡを使用するとする。同様に、パンの角度が（２）、（３）、（４）に近い時は、それぞれ、参照フレームバッファＢ、Ｃ、Ｄを使用するとする。ただし、設定するパンの角度と使用する参照フレームバッファに関してはこれに限定されるものではない。

図７は、第１実施形態における画像処理装置の動作フローチャートである。当該処理は、例えば、監視カメラによる監視の開始に合わせて行われる。

ステップＳ７０１では、ＰＴＺ設定部２０１は、ユーザから、監視カメラの初期設定を受け付ける。ここでの設定される情報は、監視カメラの撮影時間、パンチルトのスピード、カメラの水平方向の首ふり角度に関する閾値情報等である。ＰＴＺ設定部２０１は、ユーザから受け付けた設定を例えばネットワークを介して全体制御部２００に通知する。

ステップＳ７０２では、全体制御部２００は、カメラ３００による撮影を開始する。ここでは、ポジション（１）を撮影開始時の初期ポジションとして想定するが、撮影開始時のポジションはこれに限定されるものではない。

ステップＳ７０３では、画像回転判定部１０１は、撮影により得られた動画像（フレーム画像）を受信し先行するフレーム画像に対して現在の処理対象フレーム画像が画像処理部１０３により１８０°回転されたか否かを判定する。処理対象フレーム画像が１８０°回転されていない場合（監視カメラのポジションが図６の（３）以外の場合）（Ｓ７０３でＮｏ）は、符号化部１０４は、処理対象フレームを従来と同様に符号化処理し、Ｓ７０３に戻り次のフレーム画像の処理に移行する。一方、画像が１８０°回転されていない場合（監視カメラのポジションが図６の（３）の場合）（Ｓ７０３でＹｅｓ）は、Ｓ７０４に進む。

ステップＳ７０４では、画像回転判定部１０１は、画像が１８０°回転した時のパンの角度を判定する。そして、パンの角度（すなわち水平方向の角度）に応じて、どの参照フレームバッファに格納されたフレーム画像をＬｏｎｇＴｅｒｍ参照フレームとして設定するかを決定する。

ステップＳ７０５では、画像回転判定部１０１は、当該画像回転が１回目の１８０°回転か否かを判定する。１回目の画像回転だった場合（Ｓ７０５でＹｅｓ）（図６のカメラポジション（３）、Ｐ４の場合）は、Ｓ７０６に進む。再度の画像回転であった（１回目の画像回転ではなかった）場合（Ｓ７０５でＮｏ）（図６のカメラポジション（３）、Ｐ１３の場合）は、Ｓ７０７へ進む。

ステップＳ７０６では、符号化処理制御部１０２は、当該フレーム画像の１フレーム前のフレーム画像を参照フレームバッファＡに格納し、ＬｏｎｇＴｅｒｍ参照フレームとして設定する。ここでは、Ｓ７０４でパンの角度が（１）に最も近いと判断されたことを想定している。これは、図６、図８におけるＰ４、カメラポジション（３）のタイミングに対応し、このときの参照フレームはＰ３となる。パンの角度が図９の（２）、（３）、（４）に近かった場合には、それぞれ、フレーム画像を参照フレームバッファＢ、Ｃ、Ｄに格納し、ＬｏｎｇＴｅｒｍ参照フレームとして設定するものとする。

ステップＳ７０７では、符号化部１０４は、前回の画像回転時（図６のカメラポジション（３）、Ｐ４の場合）に設定したＬｏｎｇＴｅｒｍ参照フレームを使って符号化処理を実施する。これは、図６、図８におけるＰ１３、カメラポジション（３）のタイミングに対応し、このときの参照フレームはＰ３となる。

ステップＳ７０８では、符号化処理制御部１０２は、当該フレーム画像の１フレーム前のフレーム画像を参照フレームバッファＡに格納し、ＬｏｎｇＴｅｒｍ参照フレームとして設定する。これにより前回設定したＬｏｎｇＴｅｒｍ参照フレームは上書きされる。

ステップＳ７０９では、全体制御部２００は、撮影終了の設定があるか否かを判定する。撮影終了の設定が無い場合（Ｓ７０９でＮｏ）は、Ｓ７０３に進み、撮影終了の設定が有る場合（Ｓ７０９でＹｅｓ）は、カメラ３００での撮影を終了し処理を終了する。

以上説明したとおり第１実施形態によれば、１８０°画像回転が発生した直前のフレーム画像をフレームバッファに格納しておく。そして、再び１８０°画像回転が発生した（すなわち、フレームバッファに格納されたフレーム画像と同じ画像方向になった）場合、フレームバッファに格納しておいたフレーム画像をＬｏｎｇＴｅｒｍ参照フレームとしてフレーム間予測による符号化を行う。これにより、出力される符号化ストリームにおけるビットレートを減らすことが可能となる。

（変形例）
第１実施形態においては、前回（１回目）の画像回転時の１フレーム前のフレーム画像をＬｏｎｇＴｅｒｍ参照フレームとして設定しているが、他のフレーム画像をＬｏｎｇＴｅｒｍ参照フレームとして設定しても良い。例えば、図１０のように前回（１回目）画像回転時の３フレーム前のフレーム画像をＬｏｎｇＴｅｒｍ参照フレームとして設定してもよい。この場合、Ｐ１をＬｏｎｇＴｅｒｍ参照フレームとしてＰ１３が符号化される。なお、Ｐ１４のフレーム画像を処理する際には、Ｐ１３を参照フレームとしてフレーム間予測による符号化を行う。

また、上述の説明では、１８０°の画像回転の発生を想定したが、他の角度の画像回転でもよい。すなわち、２回目の画像回転により元の画像方向に戻るような形態であれば、同様の処理が適用可能である。

（第２実施形態）
第２実施形態では、天井吊り下げ型のカメラが周期的なチルト動作を行うことにより撮影を行う場合の符号化制御について説明する。特に、カメラ設置時に、周期動作に応じた画像回転を行うカメラ位置情報、及び、画像回転を行うカメラ位置までチルト動作するための時間情報を設定する。そして、設定された初期情報に基づいて、ＬｏｎｇＴｅｒｍ参照フレームを使用したフレーム間予測をする形態について説明する。なお、画像処理装置の機能構成およびハードウェア構成は第１実施形態とほぼ同様である。そのため以下では異なる部分を中心に説明を行う。

＜装置の動作＞
ＰＴＺ設定部２０１は、カメラの周期動作に応じた初期情報の設定をユーザから受け付ける。全体制御部２００は、ＰＴＺ設定部２０１から初期情報を受け取り、当該初期情報に従った設定を画像回転判定部１０１に設定する。その後、画像回転判定部１０１は、初期情報に基づいて画像回転位置を算出し、カメラポジションが画像回転位置にきたと判断した場合、トリガ情報を符号化処理制御部１０２に通知する。

図１１は、第２実施形態における符号化処理の制御を説明する図である。ここでは、カメラポジションが、チルト動作により図１１に示す（１）から（５）の間を往復して周期的に変化する。図１１の下段は、このような往復運動での各カメラポジションにおいて、どのフレーム画像を参照フレームとしてフレーム間予測による符号化処理を行っているかを示している。

図１１で示すように、カメラが周期的にチルト動作を行うなかで、カメラポジションが（３）の位置に来るたびにフレーム画像に対する画像回転の有無を変更する。そして、そのタイミングで、当該フレーム画像に対してＬｏｎｇＴｅｒｍ参照フレームを使用したフレーム間予測による符号化処理を行う。

図１２は、第２実施形態における各フレームでの参照フレームを説明する図である。図１２で示すように、初期設定情報として、カメラの設置場所に合わせてカメラポジションを設定する（テーブルの３列目）。併せて、各フレーム画像における参照フレーム（ＬｏｎｇＴｅｒｍ参照フレームを含む）の設定情報（テーブルの２列目）と、フレーム画像を１８０°回転するカメラポジション（テーブルの４列目）を設定する。以下では、フレーム画像の１８０°回転の有無が変化してから次にフレーム画像が１８０°回転されるまでの期間をＴとして説明する。

画像回転判定部１０１は、全体制御部２００から設定された図１２に示すテーブル情報に基づいて、フレーム画像を回転するか否かの判定処理を行う。上述したように、テーブル情報には、各時刻（各タイミング）における撮影方向を規定した所与の制御内容が含まれている。画像回転判定部１０１は、撮影が開始されると同時に動作時間のカウントを開始する。動作時間をＴcountとすると、カメラによる撮影を初期位置姿勢（図１１の（１））から開始するとしたとき、Ｔcount＝Ｔ／２のときに図１１の（３）で示すカメラポジションとなる。このとき、画像回転判定部１０１は、画像回転が必要なカメラポジションであると判断し、画像を１８０°回転するトリガ情報を符号化処理部１０２に通知する。これにより、符号化処理制御部１０２は、画像が１８０°回転されるカメラポジションにおいて、Ｌｏｎｇ Ｔｅｒｍ参照フレームを使用したフレーム間予測による符号化処理を行うことが可能となる。また、今後Ｌｏｎｇ Ｔｅｒｍ参照フレームとして使用されるフレーム画像をフレームバッファに格納することが可能となる。このとき、画像回転判定部１０１は、カメラポジションが（３）であると判定されたときに、Ｔcountを初期値０に設定し、処理を再開する。

なお、上述の説明では、チルト動作開始からの時間（テーブルの６列目）をもとに画像の回転タイミングを検出した。一方で、ＬｏｎｇＴｅｒｍ参照フレームを使用するか否かの設定情報（テーブルの２列目）をもとに画像の回転タイミングを検出してもよい。

また、上述の説明ではカメラの周期動作に合わせたテーブル情報を、カメラ設置時に作成し設定しているが、カメラの動作中にテーブル情報を更新するよう構成してもよい。これにより、運用形態が途中で変化した場合にも対応することができる。

以上説明したとおり第２実施形態によれば、天井吊り下げ型の監視カメラが周期的な動作を行う場合に、カメラの動作周期に合わせたテーブル情報を利用する。当該テーブル情報を利用することにより、第１実施形態と同様の効果を得ることが可能となる。

（第３実施形態）
第３実施形態では、デジタル・パン・チルト・ズーム（ＤＰＴＺ）機能を備えた監視カメラを用いた場合の処理について説明する。ここで、ＤＰＴＺ機能とは、監視カメラにより得られた映像に対してトリミング処理や回転処理といった一連の画像処理を施すことによりパン・チルト・ズームされた映像を生成する機能である。例えば、超広角の撮像光学系を利用することにより、モータやギヤなどにより構成される可動部を用いることなく、幅広い方向の撮像映像を得ることができる。

画像処理装置の機能構成は第１実施形態（図１）とほぼ同様であるが、物理的にカメラ３００の向きを変更する代わりに、映像処理部１００による画像処理により疑似的にパン・チルト・ズームを行う。具体的には、全体制御部２００は、映像処理部１００に対してＤＰＴＺ設定情報を提供する。ＤＰＴＺ設定情報は、出力すべき画像領域を画像処理部１０３に指示する情報である。映像処理部１００は、カメラ３００から入力されたカメラ情報と、全体制御部２００から入力されるＤＰＴＺ設定情報と、に基づいて符号化ストリームを出力する。

より具体的には、画像処理部１０３は、ＤＰＴＺ設定情報に基づいて、カメラ３００から入力されたフレーム画像に対してトリミング処理や回転処理を行う。画像回転判定部１０１は、ＤＰＴＺ設定情報をもとに画像回転を実施するか否かの判定を行う。そして、符号化処理制御部１０２は、ＤＰＴＺ機能により画像処理部１０３で生成されたフレームの符号化部１０４による符号化処理を制御する。ここでは、フレーム間予測で用いる参照フレームとしてＬｏｎｇＴｅｒｍ参照フレームを用いるよう制御する。

＜ＤＰＴＺによるフレーム画像の生成＞
図１３は、ＤＰＴＺ設定情報に基づく画像処理を説明する図である。画像１２００ａは撮像部３０３から出力されたフレーム画像を示しており、画像１２００ｂはＤＰＴＺ設定情報をもとに画像処理部１０３で生成されたフレーム画像を示している。

具体的には、画像１２００ａに含まれる３人の人物画像の１つに対して、上半身領域をトリミング処理及び拡大処理及び１８０°回転処理を行った結果が画像１２００ｂである。領域１２０１は、画像１２００ａにおいてＤＰＴＺ設定情報をもとに設定される矩形領域（トリミング領域）を示している。

図１４は、矩形領域の位置座標を説明する図である。ここでは、画像１２００ａにおいて、画像の左端をＸ軸上の座標０と設定し、画像の縦（上下）方向の中心をＹ軸上の座標０と設定している。領域１３０１は領域１２０１に対応する領域であり、４つの頂点Ａ～Ｄにより規定される領域である。ここで、４つの頂点は、Ａ（ｘ１、ｙ１）、Ｂ（ｘ２、ｙ１）、Ｃ（ｘ１、ｙ２）、Ｄ（ｘ２、ｙ２）として規定される。

画像回転判定部１０１は、全体制御部２００から送信されたＤＰＴＺ設定情報をもとに領域１３０１の位置座標情報を取得する。画像回転判定部１０１は取得した位置座標情報をもとに、画像処理が施された画像に対して画像を回転するか否かの判定処理を行う。

例えば、領域１３０１の画像に対して画像回転を実施するか否かを、以下の判定式（１）を用いて判定する。

｜ｙ１｜－｜ｙ２｜ ＜ ０ ・・・（１）
すなわち、数式（１）では、領域１３０１において、Ｙ軸方向において正負どちらの領域をより多く含んでいるかを判定している。画像回転判定部１０１は、数式（１）を満たす（Ｙ軸方向において負の領域をより多く含んでいる）場合、対象矩形を１８０°回転すると決定し、トリガ情報を符号化処理制御部１０２に通知する。一方で、画像回転判定部１０１は、数式（１）を満たさない（Ｙ軸方向において正の領域をより多く含んでいる）場合、回転処理が必要無いと決定し、トリガ情報を通知しない。

なお、数式（１）を用いた判定は一例であり、画像回転の判定方法についてはこれに限定されるものでは無い。

以上説明したとおり第３実施形態によれば、ＤＰＴＺ機能を有する監視カメラにおいても、画像回転の発生を判定することが可能となる。そのため、画像回転が発生するタイミングでフレーム間予測で用いる参照フレームとしてＬｏｎｇＴｅｒｍ参照フレームを用いることにより、第１実施形態と同様の効果を得ることが可能となる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 映像処理部； １０１ 画像回転判定部； １０２ 符号化処理制御部； １０３ 画像処理部； １０４ 符号化部； ２００ 全体制御部； ２０１ ＰＴＺ設定部； ３００ カメラ； ３０１ カメラ制御部； ３０２ レンズ； ３０３ 撮像部

Claims (6)

1. 撮像により動画像を取得する、直線状の通路の天井に設置される天井吊り下げ型のカメラと、
   各時刻における撮影方向を規定した所与の制御内容に従って、パン・チルト動作により前記カメラの撮影方向を制御する撮影方向制御手段と、
   前記動画像を構成するフレーム画像を符号化する符号化手段と、
   前記カメラにより取得された動画像を構成するフレーム画像を、前記所与の制御内容に従って１８０°回転して前記符号化手段に出力する画像処理手段と、
   前記動画像において、先行するフレーム画像に対する画像回転の発生の有無を判定する判定手段と、
   前記判定手段により画像回転が発生したと判定されたフレーム画像に先行するフレーム画像を格納する記憶手段と、
   前記判定手段により画像回転が発生したと判定された後、前記判定手段により前記動画像において再度の画像回転が発生したと判定された場合、前記記憶手段に格納されたフレーム画像を参照フレームとしたフレーム間予測を用いて、前記再度の画像回転が発生したと判定されたフレーム画像の符号化を行うよう前記符号化手段を制御する制御手段と、
   を有し、
   前記制御手段は、前記所与の制御内容に従ってフレーム画像を前記記憶手段に格納されたフレーム画像を参照フレームとしたフレーム間予測を用いて符号化するよう前記符号化手段を制御する
   ことを特徴とする画像処理装置。
2. 前記所与の制御内容を設定する設定手段を更に有する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記画像処理手段は、前記カメラにより取得された動画像を構成するフレーム画像に対してトリミング処理及び拡大処理を更に行うよう構成されており、
   前記撮影方向制御手段は、前記カメラにより取得された動画像に対して前記画像処理手段による画像処理を行うことにより疑似的な前記パン・チルト動作を行う
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記撮影方向制御手段は、前記動画像に対する前記画像処理手段によるトリミング領域の変更により、前記直線状の通路に沿った疑似的な前記パン・チルト動作を行い、
   前記画像処理手段は、前記動画像における前記トリミング領域の位置座標に基づいて、フレーム画像を回転するか否かを決定し、
   前記制御手段は、前記動画像における前記トリミング領域の位置座標に基づいて、フレーム画像を前記記憶手段に格納されたフレーム画像を参照フレームとしたフレーム間予測を用いて符号化する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 画像処理装置における制御方法であって、
   前記画像処理装置は、
   撮像により動画像を取得する、直線状の通路の天井に設置される天井吊り下げ型のカメラと、
   各時刻における撮影方向を規定した所与の制御内容に従って、パン・チルト動作により前記カメラの撮影方向を制御する撮影方向制御部と、
   前記動画像を構成するフレーム画像を符号化する符号化部と、
   前記カメラにより取得された動画像を構成するフレーム画像を、前記所与の制御内容に従って１８０°回転して前記符号化部に出力する画像処理部と、
   を有し、
   前記制御方法は、
   動画像において、先行するフレーム画像に対する画像回転の発生の有無を判定する判定工程と、
   前記判定工程により画像回転が発生したと判定されたフレーム画像に先行するフレーム画像を記憶部に格納する格納工程と、
   前記判定工程により画像回転が発生したと判定された後、前記動画像において再度の画像回転が発生したと判定された場合、前記記憶部に格納されたフレーム画像を参照フレームとしたフレーム間予測を用いて、前記再度の画像回転が発生したと判定されたフレーム画像の符号化を行うよう前記符号化部を制御する制御工程と、
   を含み、
   前記制御工程では、前記所与の制御内容に従ってフレーム画像を前記記憶部に格納されたフレーム画像を参照フレームとしたフレーム間予測を用いて符号化するよう前記符号化部を制御する
   ことを特徴とする画像処理装置の制御方法。
6. コンピュータを、請求項１に記載の画像処理装置の各手段として機能させるためのプログラム。

Images