JP7299690B2 - 画像処理装置およびその制御方法 - Google Patents

画像処理装置およびその制御方法 Download PDF

Info

Publication number
JP7299690B2
JP7299690B2 JP2018220676A JP2018220676A JP7299690B2 JP 7299690 B2 JP7299690 B2 JP 7299690B2 JP 2018220676 A JP2018220676 A JP 2018220676A JP 2018220676 A JP2018220676 A JP 2018220676A JP 7299690 B2 JP7299690 B2 JP 7299690B2
Authority
JP
Japan
Prior art keywords
image
frame
camera
image processing
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018220676A
Other languages
English (en)
Other versions
JP2020088611A (ja
Inventor
哲平 関口
咲 樋渡
健司 杉原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018220676A priority Critical patent/JP7299690B2/ja
Publication of JP2020088611A publication Critical patent/JP2020088611A/ja
Application granted granted Critical
Publication of JP7299690B2 publication Critical patent/JP7299690B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、動画像の符号化技術に関するものである。
近年、テレビ会議システムの普及に伴いカメラを用いた映像システムが広く導入されてきている。また、防犯目的だけでなく調査や管理を目的として施設内に監視カメラが導入されることが多くなっている。中でも、監視対象を監視カメラにより監視し、インターネットまたは無線通信等を介して映像データを送信したり、映像データを格納媒体に格納したりする用途も多くなっている。昨今では監視カメラで撮影された映像データの高画質化、高解像度化が進んでおり映像データ量が増加してきているため、データ量の低減が求められている。
映像符号化技術として、対象フレームの前後のフレームから対象フレームの画素値を予測するフレーム間予測、対象フレーム内から対象フレームの画素値を予測するフレーム内予測の他、エントロピー符号化や量子化等が利用されている。これらの映像符号化技術を利用することにより映像データを効果的に圧縮することが可能になる。
ところで、映像において場面の切り替わり(シーンチェンジ)が発生する場合、画質の劣化を避けるため、Iフレーム(Intra-coded Frame)として符号化することが望ましい。Iフレームは、フレーム内の符号化対象ブロックの周辺にある復号済み画素を用いて予測信号を生成したフレームであり、Pフレーム(Predicted Frame)などに比較して符号量が大きい。特許文献1では、テレビ会議システムにおいて、音声や人物の出現等のトリガとエンコーダ部側からあらかじめ通知されるフレーム情報とに基づいて、使用する範囲を変更する(シーンチェンジを行う)技術が提案されている。より具体的には、トリガの受信に応じて、Iフレームのタイミングでシーンチェンジを行うことで効率的な符号化処理を行っている。
特開2017-28375号公報
しかしながら、テレビ会議とは異なり、監視カメラの用途においては、不特定多数の人間が不定期のタイミングで音声を発したり出現したりする。そのため、特許文献1のように音声や人物の出現等のトリガを利用することは困難である。また、天井吊り下げ型の監視カメラにおいては、パンチルト動作によるシーンチェンジが発生しやすい。これは、違和感のない映像を出力するため、撮影方向が鉛直下向きになったタイミングで映像の上下反転(画像の180°回転)を行うことによる。その結果、反転前後のフレーム画像間で、フレーム間予測で利用される動きベクトルの情報量が大きくなる。結果、映像全体としての符号化効率が低下し符号化データサイズが増加することになる。
本発明は、このような問題に鑑みてなされたものであり、動画像の効率的な符号化を可能とする技術を提供することを目的としている。
上述の問題点を解決するため、本発明に係る画像処理装置は以下の構成を備える。すなわち、画像処理装置は、
撮像により動画像を取得する、直線状の通路の天井に設置される天井吊り下げ型のカメラと、
各時刻における撮影方向を規定した所与の制御内容に従って、パン・チルト動作により前記カメラの撮影方向を制御する撮影方向制御手段と、
前記動画像を構成するフレーム画像を符号化する符号化手段と、
前記カメラにより取得された動画像を構成するフレーム画像を、前記所与の制御内容に従って180°回転して前記符号化手段に出力する画像処理手段と、
前記動画像において、先行するフレーム画像に対する画像回転の発生の有無を判定する判定手段と、
前記判定手段により画像回転が発生したと判定されたフレーム画像に先行するフレーム画像を格納する記憶手段と、
前記判定手段により画像回転が発生したと判定された後、前記判定手段により前記動画像において再度の画像回転が発生したと判定された場合、前記記憶手段に格納されたフレーム画像を参照フレームとしたフレーム間予測を用いて、前記再度の画像回転が発生したと判定されたフレーム画像の符号化を行うよう前記符号化手段を制御する制御手段と、
を有し、
前記制御手段は、前記所与の制御内容に従ってフレーム画像を前記記憶手段に格納されたフレーム画像を参照フレームとしたフレーム間予測を用いて符号化するよう前記符号化手段を制御する
本発明によれば、動画像の効率的な符号化を可能とする技術を提供することができる。
第1実施形態に係る画像処理装置を含む監視カメラの機能構成を示す図である。 映像処理部のハードウェア構成を示す図である。 3次元座標におけるパンチルト動作を説明する図である。 パンチルト動作により取得される映像を説明する図である。 画像を180°回転した場合の探索範囲を例示的に示す図である。 第1実施形態における符号化処理の変更を説明する図である。 第1実施形態における画像処理装置の動作フローチャートである。 第1実施形態における各フレームでの参照フレームを説明する図である。 パンの角度とフレームバッファとの関係を説明する図である。 変形例における符号化処理の変更を説明する図である。 第2実施形態における符号化処理の変更を説明する図である。 第2実施形態における各フレームでの参照フレームを説明する図である。 DPTZ設定情報に基づく画像処理を説明する図である。 矩形領域の位置座標を説明する図である。
以下に、図面を参照して、この発明の実施の形態の一例を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。
(第1実施形態)
本発明に係る画像処理装置の第1実施形態として、天井吊り下げ型の監視カメラにより得られた映像を符号化する画像処理装置(映像処理部200)を例に挙げて以下に説明する。
<装置構成>
図1は、第1実施形態に係る画像処理装置を含む監視カメラの機能構成を示す図である。監視カメラは、画像処理装置である映像処理部100、カメラ300、全体制御部200を含み、PTZ設定部201から受信した設定に基づいて動作する。以下の説明では、PTZ設定部201は監視カメラとは別個の筐体として構成される場合を想定するが、同一の筐体に含めるよう構成してもよい。
PTZ設定部201は、監視カメラにおけるパン・チルト・ズーム(PTZ)に関するPTZ設定情報(方向情報)をユーザから受け付け、例えばネットワークを介して全体制御部200に対して当該設定を送信する。なお、以下の説明では監視カメラの初期ポジションを基準にしたパン・チルト角度(φpan、φtilt)を受け付けることを想定しているが、監視カメラの現在のチルト角度に対する角度(Δφ)として受け付けるよう構成してもよい。
説明を簡単にするために、以下ではチルトに関する設定に着目して説明する。なお、ユーザから設定を受け付ける代わりにPTZ設定部201自身が算出するよう構成してもよい。例えば、監視カメラによる撮影対象物を追尾するために必要な設定を撮像画像に基づいて算出する構成でもよい。
全体制御部200は、PTZ設定部201から受け付けた設定に基づいて、不図示のモータ等を制御しパン・チルトによる撮影方向制御を行う。ここで、パンはカメラのレンズの向き(撮影方向)を水平方向(左右方向)に動かす動作のことであり、チルトはカメラのレンズの向きを垂直方向(上下方向)に動かす動作のことを意味している。また、カメラ100にズームに関する情報を送信しズームの制御を行う。さらに、映像処理部100に情報を送信する。
カメラ300は、映像を撮影し、撮影した映像を映像処理部100に送信する。カメラ300は、カメラ制御部301と、レンズ302と、撮像部303を有する。カメラ制御部301は、レンズ302及び撮像部303を制御し、全体制御部200から受信した情報に基づくズーム動作やフォーカス制御を行う。
映像処理部100は、カメラ300により得られた映像に対して画像処理及び圧縮符号化を行い、符号化ストリームを出力する。特に、映像処理部100は、全体制御部200から入力されるPTZ設定情報に基づいて画像処理及び圧縮符号化を行う点に特徴がある。
画像回転判定部101は、全体制御部200からの指示に基づいて、画像処理部103における画像回転のタイミングのトリガ情報を生成する。トリガ情報とは、天井吊り下げ型の監視カメラにより得られた映像(撮像部303から出力される映像)において、チルト動作により画像が回転する(撮像画像における上下関係が反転する)タイミングを示す情報ことである。なお、以下の説明では、映像処理部100の内部で画像の回転を判定しているものとしているが、外部の装置で判定し判定結果を受け付けるよう構成してもよい。例えば、全体制御部200において、PTZ設定部201から受け付けたチルト設定があらかじめ設定された閾値を超えたか否かを判定することにより、画像が回転するタイミングを判定してもよい。
符号化処理制御部102は、画像回転判定部101から出力された画像回転タイミングのトリガ情報に基づいて、符号化部104においてフレーム内予測とフレーム間予測符号との何れを実行するかを決定する。特に、フレーム内予測で利用する参照フレーム(後述するLongTerm参照フレーム)の設定を行う。なお、参照フレームに設定するフレーム画像はユーザが任意に設定可能なように構成してもよい。
画像処理部103は、カメラ300により得られた映像に対して画像処理を行う。映像は、一連のフレーム画像(例えば30フレーム毎秒)でカメラ300から入力される。以下の説明では、画像処理部103は、画像回転判定部101から受信したトリガ情報に基づいてフレーム画像に対する所定角度(例えば180°)の回転処理を行うものとして説明するが、他の画像処理を合わせて行うように構成してもよい。画像処理部103により回転処理がなされた(又は回転処理がされなかった)フレーム画像は符号化部104に出力される。
符号化部104は、符号化処理制御部102から受信した情報(フレーム内予測かフレーム間予測のどちらを使うか)に基づいて、画像処理部103から受信したフレーム画像に対して符号化処理を行う。
図2は、映像処理部100のハードウェア構成を示す図である。映像処理部100は、CPU151、ROM152、RAM153、カメラI/F154、制御I/F155、ネットワークI/F156を含む。ROM152は、CPU151が実行するプログラムや各種の設定データを記憶する。CPU151は、ROM152に記憶されたプログラムをRAM153に読み込み実行することにより、カメラI/F154を介して入力されたフレーム画像に対する画像処理や符号化処理、ネットワークI/F156を介した通信処理を実現する。カメラI/F154は、カメラ300から映像(フレーム画像)を受信する。制御I/F155は、全体制御部200からの制御信号を受信する。ネットワークI/F155は、ネットワークを介して符号化ストリームを送信する。
<天井吊り下げ型の監視カメラにより取得される映像>
図3は、3次元座標におけるパンチルト動作を説明する図である。ここでは、XYZ直交座標系において、X軸の負の方向をカメラの初期ポジションとしたパン・チルト動作を示している。天井吊り下げ型の監視カメラによる撮影方向は、水平方向(XZ平面)よりも下側の方向を向くことになる。そのため、ここでは、カメラの初期ポジションの方向を基準にチルト角度(φtilt)及びパン角度(φpan)を規定している。
図4は、パンチルト動作により取得される映像を説明する図である。図4は、図3におけるZ軸の正の方向からXY平面を観察した状態に対応する。(1)~(5)に示すカメラポジションは、それぞれ、チルト角度(φtilt)が30°、60°、90°、120°、150°に対応している。なお、説明を簡単にするためにここではパン角度(φpan)は全て0°であると想定する。
カメラポジションを(1)から(5)まで連続的に変化させた場合、鉛直下向きを撮影する(3)のポジションでフレーム画像における上下が反転することになる。図4は、西(West Gate)から東(East Gate)へ延びる直線状の通路を移動している人物を、通路の天井に設置した監視カメラのチルト動作により追尾する状況を示している。この場合、撮像部303から出力される映像として、フレーム画像F1、F2、FA、FB、FCが順に得られることになる。すなわち、映像の途中で画像の上下が反転することになり不自然な映像となる。そこで、映像として自然なものとする(上下の反転が発生しないようにする)ために、フレーム画像FA、FB、FCを180°回転する手法が用いられることがある。当該手法の結果、フレーム画像F1、F2、F3、F4、F5が順に得られることになる。
そこで、第1実施形態では、画像回転判定部101は、全体制御部200から入力されるチルト角度(φtilt)の情報が所定の角度(φtrig)を超えたか否かに基づいて、入力されたフレーム画像に対して180°回転するか否かの判定処理を行う。例えば、φtrig=90°と設定した場合に、画像回転判定部101は、φtilt=90°(図4に示す(3)のポジション)になると、フレーム画像を180°回転すると判定する。そして、180°の回転を「しない」から「する」(又はその反対)に変化したタイミングでトリガ情報を生成し、画像処理部103に出力する。なお、基準とするカメラの初期ポジション、および、トリガ情報を出力するチルト角度は、上述の形態に限定されるものではなくユーザが任意に設定可能である。
なお、第1実施形態では、画像回転判定部101は、PTZ設定部201から設定され全体制御部200経由で受信したパンチルトの角度情報から、指示がパン動作、チルト動作、それらの組み合わせの何れであるかを判断する。パン動作のみの場合は上述した映像の回転は発生しないため、画像回転判定部101は、パン動作のみの場合は画像回転のトリガ情報を生成しない。
図5は、画像を180°回転した場合のフレーム間予測での探索範囲を例示的に示す図である。符号化処理部104は、フレーム間予測を用いて符号化処理を実施する場合、先行する直前のフレーム画像を参照フレームとして利用する。ただし、図4を参照して説明したように映像の途中で画像処理部103により画像の180°回転を行った場合、当該180°回転の前後で、符号化処理部104に入力される画像が180°回転することになる。そのため、180°回転直後の画像フレーム500bを符号化する場合、180°回転直後の画像フレーム500aを参照フレームとして利用することになる。
そのため、画像フレーム500bの矩形Bを符号化するための動きベクトルを算出する際に、画像フレーム500aの矩形Aの周辺を動き予測の探索範囲として設定することになる。すなわち、矩形Bに対応する矩形Cは探索範囲から外れることになる。その結果、フレーム間予測を用いて画像フレーム500bの符号化処理を行った場合、動き予測の差分が増加することになる。
そこで、符号化処理制御部102は、画像の180°回転処理を行うトリガ情報に従い、当該トリガ情報に対応するフレーム画像に先行するフレーム画像をLongTerm参照フレーム用の記憶部であるフレームバッファに格納する。その後、再度、画像の180°回転処理を行うトリガ情報が入力された場合、LongTerm参照フレーム用のフレームバッファに格納されたフレーム画像をLongTerm参照フレームとして、フレーム間予測で行うよう制御する。すなわち、フレームバッファに格納されたフレーム画像と同じ画像方向になった場合に、当該制御を行う。
<装置の動作>
図6は、符号化処理の変更制御を説明する図である。カメラポジションを(1)から(5)まで連続的に変化させ、その後、(5)から(2)まで連続的に変化させた場合に得られる動画像を構成するフレーム画像を例示的に示している。
従来は、例えば所定の周期でフレーム内予測を用いた符号化を行い、それ以外は全てフレーム間予測を用いた符号化を行っている。図6では、I0がフレーム内予測を用いて符号化されたIフレーム(Iピクチャ)である。また、P1~P14はフレーム間予測を用いて符号化されたPフレーム(Pピクチャ)である。図6においては、各フレーム画像の符号化に用いる参照フレームを白抜きの矢印で示している。
従来は、P13に対応するタイミングのフレーム画像を符号化するにあたって、先行する直前のフレーム画像であるP12を参照フレームとして設定する。そして、当該フレーム画像をフレーム間予測を用いてPフレーム(P13)として符号化する。一方、第1実施形態では、P13に対応するタイミングのフレーム画像を符号化するにあたって、予め記憶しておいたフレーム画像であるP3をLongTerm参照フレームとして設定する。そして、当該フレーム画像をフレーム間予測を用いてPフレーム(P13)として符号化する。他のフレーム画像は、先行するフレーム画像を参照フレームとしてPフレーム(P1、・・・、P12、P14)として符号化する。
図8は、各フレームでの参照フレームを説明する図である。各カメラポジションにおける各処理対象フレームに対応する参照フレームと180°回転トリガの関係を表にしたものである。図8で示すように、符号化処理部104は、カメラポジション(3)のタイミングで、180°回転を行うトリガ情報を受信する。そのため、符号化処理部104は、そのタイミングで符号化処理しているフレーム画像に先行する直前のフレームをLongTerm参照フレーム用のフレームバッファに格納する。具体的には、1回目のカメラポジション(3)のタイミングではP3を格納し、2回目のカメラポジション(3)のタイミングではP12を格納する。そして、2回目のカメラポジション(3)のタイミングで符号化処理しているフレーム画像を、P3をLongTerm参照フレームとしたフレーム間予測によるP13として符号化処理を行う。P13のタイミングで格納したP12は、再びカメラポジション(3)になったタイミングでLongTerm参照フレームとして利用されることになる。
なお、以下の説明では、LongTerm参照フレーム用のフレームバッファは、回転が発生するたびに、パンの角度に応じた複数のフレーム画像(フレーム画像群)を格納するよう構成されていることを想定する。また格納されたそれぞれのフレーム画像は、回転が発生するたびに順次更新(上書き)されることを想定する。ただし、フレーム画像を更新せずに前回のLongTerm参照フレームとして継続して使用する等しても良い。また、複数回の回転に対応するフレーム画像群を格納するようフレームバッファを構成してもよい。
図9は、パンの角度とフレームバッファとの関係を説明する図である。ここでは、パンの角度が(1)に近い時は参照フレームバッファAを使用するとする。同様に、パンの角度が(2)、(3)、(4)に近い時は、それぞれ、参照フレームバッファB、C、Dを使用するとする。ただし、設定するパンの角度と使用する参照フレームバッファに関してはこれに限定されるものではない。
図7は、第1実施形態における画像処理装置の動作フローチャートである。当該処理は、例えば、監視カメラによる監視の開始に合わせて行われる。
ステップS701では、PTZ設定部201は、ユーザから、監視カメラの初期設定を受け付ける。ここでの設定される情報は、監視カメラの撮影時間、パンチルトのスピード、カメラの水平方向の首ふり角度に関する閾値情報等である。PTZ設定部201は、ユーザから受け付けた設定を例えばネットワークを介して全体制御部200に通知する。
ステップS702では、全体制御部200は、カメラ300による撮影を開始する。ここでは、ポジション(1)を撮影開始時の初期ポジションとして想定するが、撮影開始時のポジションはこれに限定されるものではない。
ステップS703では、画像回転判定部101は、撮影により得られた動画像(フレーム画像)を受信し先行するフレーム画像に対して現在の処理対象フレーム画像が画像処理部103により180°回転されたか否かを判定する。処理対象フレーム画像が180°回転されていない場合(監視カメラのポジションが図6の(3)以外の場合)(S703でNo)は、符号化部104は、処理対象フレームを従来と同様に符号化処理し、S703に戻り次のフレーム画像の処理に移行する。一方、画像が180°回転されていない場合(監視カメラのポジションが図6の(3)の場合)(S703でYes)は、S704に進む。
ステップS704では、画像回転判定部101は、画像が180°回転した時のパンの角度を判定する。そして、パンの角度(すなわち水平方向の角度)に応じて、どの参照フレームバッファに格納されたフレーム画像をLongTerm参照フレームとして設定するかを決定する。
ステップS705では、画像回転判定部101は、当該画像回転が1回目の180°回転か否かを判定する。1回目の画像回転だった場合(S705でYes)(図6のカメラポジション(3)、P4の場合)は、S706に進む。再度の画像回転であった(1回目の画像回転ではなかった)場合(S705でNo)(図6のカメラポジション(3)、P13の場合)は、S707へ進む。
ステップS706では、符号化処理制御部102は、当該フレーム画像の1フレーム前のフレーム画像を参照フレームバッファAに格納し、LongTerm参照フレームとして設定する。ここでは、S704でパンの角度が(1)に最も近いと判断されたことを想定している。これは、図6、図8におけるP4、カメラポジション(3)のタイミングに対応し、このときの参照フレームはP3となる。パンの角度が図9の(2)、(3)、(4)に近かった場合には、それぞれ、フレーム画像を参照フレームバッファB、C、Dに格納し、LongTerm参照フレームとして設定するものとする。
ステップS707では、符号化部104は、前回の画像回転時(図6のカメラポジション(3)、P4の場合)に設定したLongTerm参照フレームを使って符号化処理を実施する。これは、図6、図8におけるP13、カメラポジション(3)のタイミングに対応し、このときの参照フレームはP3となる。
ステップS708では、符号化処理制御部102は、当該フレーム画像の1フレーム前のフレーム画像を参照フレームバッファAに格納し、LongTerm参照フレームとして設定する。これにより前回設定したLongTerm参照フレームは上書きされる。
ステップS709では、全体制御部200は、撮影終了の設定があるか否かを判定する。撮影終了の設定が無い場合(S709でNo)は、S703に進み、撮影終了の設定が有る場合(S709でYes)は、カメラ300での撮影を終了し処理を終了する。
以上説明したとおり第1実施形態によれば、180°画像回転が発生した直前のフレーム画像をフレームバッファに格納しておく。そして、再び180°画像回転が発生した(すなわち、フレームバッファに格納されたフレーム画像と同じ画像方向になった)場合、フレームバッファに格納しておいたフレーム画像をLongTerm参照フレームとしてフレーム間予測による符号化を行う。これにより、出力される符号化ストリームにおけるビットレートを減らすことが可能となる。
(変形例)
第1実施形態においては、前回(1回目)の画像回転時の1フレーム前のフレーム画像をLongTerm参照フレームとして設定しているが、他のフレーム画像をLongTerm参照フレームとして設定しても良い。例えば、図10のように前回(1回目)画像回転時の3フレーム前のフレーム画像をLongTerm参照フレームとして設定してもよい。この場合、P1をLongTerm参照フレームとしてP13が符号化される。なお、P14のフレーム画像を処理する際には、P13を参照フレームとしてフレーム間予測による符号化を行う。
また、上述の説明では、180°の画像回転の発生を想定したが、他の角度の画像回転でもよい。すなわち、2回目の画像回転により元の画像方向に戻るような形態であれば、同様の処理が適用可能である。
(第2実施形態)
第2実施形態では、天井吊り下げ型のカメラが周期的なチルト動作を行うことにより撮影を行う場合の符号化制御について説明する。特に、カメラ設置時に、周期動作に応じた画像回転を行うカメラ位置情報、及び、画像回転を行うカメラ位置までチルト動作するための時間情報を設定する。そして、設定された初期情報に基づいて、LongTerm参照フレームを使用したフレーム間予測をする形態について説明する。なお、画像処理装置の機能構成およびハードウェア構成は第1実施形態とほぼ同様である。そのため以下では異なる部分を中心に説明を行う。
<装置の動作>
PTZ設定部201は、カメラの周期動作に応じた初期情報の設定をユーザから受け付ける。全体制御部200は、PTZ設定部201から初期情報を受け取り、当該初期情報に従った設定を画像回転判定部101に設定する。その後、画像回転判定部101は、初期情報に基づいて画像回転位置を算出し、カメラポジションが画像回転位置にきたと判断した場合、トリガ情報を符号化処理制御部102に通知する。
図11は、第2実施形態における符号化処理の制御を説明する図である。ここでは、カメラポジションが、チルト動作により図11に示す(1)から(5)の間を往復して周期的に変化する。図11の下段は、このような往復運動での各カメラポジションにおいて、どのフレーム画像を参照フレームとしてフレーム間予測による符号化処理を行っているかを示している。
図11で示すように、カメラが周期的にチルト動作を行うなかで、カメラポジションが(3)の位置に来るたびにフレーム画像に対する画像回転の有無を変更する。そして、そのタイミングで、当該フレーム画像に対してLongTerm参照フレームを使用したフレーム間予測による符号化処理を行う。
図12は、第2実施形態における各フレームでの参照フレームを説明する図である。図12で示すように、初期設定情報として、カメラの設置場所に合わせてカメラポジションを設定する(テーブルの3列目)。併せて、各フレーム画像における参照フレーム(LongTerm参照フレームを含む)の設定情報(テーブルの2列目)と、フレーム画像を180°回転するカメラポジション(テーブルの4列目)を設定する。以下では、フレーム画像の180°回転の有無が変化してから次にフレーム画像が180°回転されるまでの期間をTとして説明する。
画像回転判定部101は、全体制御部200から設定された図12に示すテーブル情報に基づいて、フレーム画像を回転するか否かの判定処理を行う。上述したように、テーブル情報には、各時刻(各タイミング)における撮影方向を規定した所与の制御内容が含まれている。画像回転判定部101は、撮影が開始されると同時に動作時間のカウントを開始する。動作時間をTcountとすると、カメラによる撮影を初期位置姿勢(図11の(1))から開始するとしたとき、Tcount=T/2のときに図11の(3)で示すカメラポジションとなる。このとき、画像回転判定部101は、画像回転が必要なカメラポジションであると判断し、画像を180°回転するトリガ情報を符号化処理部102に通知する。これにより、符号化処理制御部102は、画像が180°回転されるカメラポジションにおいて、Long Term参照フレームを使用したフレーム間予測による符号化処理を行うことが可能となる。また、今後Long Term参照フレームとして使用されるフレーム画像をフレームバッファに格納することが可能となる。このとき、画像回転判定部101は、カメラポジションが(3)であると判定されたときに、Tcountを初期値0に設定し、処理を再開する。
なお、上述の説明では、チルト動作開始からの時間(テーブルの6列目)をもとに画像の回転タイミングを検出した。一方で、LongTerm参照フレームを使用するか否かの設定情報(テーブルの2列目)をもとに画像の回転タイミングを検出してもよい。
また、上述の説明ではカメラの周期動作に合わせたテーブル情報を、カメラ設置時に作成し設定しているが、カメラの動作中にテーブル情報を更新するよう構成してもよい。これにより、運用形態が途中で変化した場合にも対応することができる。
以上説明したとおり第2実施形態によれば、天井吊り下げ型の監視カメラが周期的な動作を行う場合に、カメラの動作周期に合わせたテーブル情報を利用する。当該テーブル情報を利用することにより、第1実施形態と同様の効果を得ることが可能となる。
(第3実施形態)
第3実施形態では、デジタル・パン・チルト・ズーム(DPTZ)機能を備えた監視カメラを用いた場合の処理について説明する。ここで、DPTZ機能とは、監視カメラにより得られた映像に対してトリミング処理や回転処理といった一連の画像処理を施すことによりパン・チルト・ズームされた映像を生成する機能である。例えば、超広角の撮像光学系を利用することにより、モータやギヤなどにより構成される可動部を用いることなく、幅広い方向の撮像映像を得ることができる。
画像処理装置の機能構成は第1実施形態(図1)とほぼ同様であるが、物理的にカメラ300の向きを変更する代わりに、映像処理部100による画像処理により疑似的にパン・チルト・ズームを行う。具体的には、全体制御部200は、映像処理部100に対してDPTZ設定情報を提供する。DPTZ設定情報は、出力すべき画像領域を画像処理部103に指示する情報である。映像処理部100は、カメラ300から入力されたカメラ情報と、全体制御部200から入力されるDPTZ設定情報と、に基づいて符号化ストリームを出力する。
より具体的には、画像処理部103は、DPTZ設定情報に基づいて、カメラ300から入力されたフレーム画像に対してトリミング処理や回転処理を行う。画像回転判定部101は、DPTZ設定情報をもとに画像回転を実施するか否かの判定を行う。そして、符号化処理制御部102は、DPTZ機能により画像処理部103で生成されたフレームの符号化部104による符号化処理を制御する。ここでは、フレーム間予測で用いる参照フレームとしてLongTerm参照フレームを用いるよう制御する。
<DPTZによるフレーム画像の生成>
図13は、DPTZ設定情報に基づく画像処理を説明する図である。画像1200aは撮像部303から出力されたフレーム画像を示しており、画像1200bはDPTZ設定情報をもとに画像処理部103で生成されたフレーム画像を示している。
具体的には、画像1200aに含まれる3人の人物画像の1つに対して、上半身領域をトリミング処理及び拡大処理及び180°回転処理を行った結果が画像1200bである。領域1201は、画像1200aにおいてDPTZ設定情報をもとに設定される矩形領域(トリミング領域)を示している。
図14は、矩形領域の位置座標を説明する図である。ここでは、画像1200aにおいて、画像の左端をX軸上の座標0と設定し、画像の縦(上下)方向の中心をY軸上の座標0と設定している。領域1301は領域1201に対応する領域であり、4つの頂点A~Dにより規定される領域である。ここで、4つの頂点は、A(x1、y1)、B(x2、y1)、C(x1、y2)、D(x2、y2)として規定される。
画像回転判定部101は、全体制御部200から送信されたDPTZ設定情報をもとに領域1301の位置座標情報を取得する。画像回転判定部101は取得した位置座標情報をもとに、画像処理が施された画像に対して画像を回転するか否かの判定処理を行う。
例えば、領域1301の画像に対して画像回転を実施するか否かを、以下の判定式(1)を用いて判定する。
|y1|-|y2| < 0 ・・・(1)
すなわち、数式(1)では、領域1301において、Y軸方向において正負どちらの領域をより多く含んでいるかを判定している。画像回転判定部101は、数式(1)を満たす(Y軸方向において負の領域をより多く含んでいる)場合、対象矩形を180°回転すると決定し、トリガ情報を符号化処理制御部102に通知する。一方で、画像回転判定部101は、数式(1)を満たさない(Y軸方向において正の領域をより多く含んでいる)場合、回転処理が必要無いと決定し、トリガ情報を通知しない。
なお、数式(1)を用いた判定は一例であり、画像回転の判定方法についてはこれに限定されるものでは無い。
以上説明したとおり第3実施形態によれば、DPTZ機能を有する監視カメラにおいても、画像回転の発生を判定することが可能となる。そのため、画像回転が発生するタイミングでフレーム間予測で用いる参照フレームとしてLongTerm参照フレームを用いることにより、第1実施形態と同様の効果を得ることが可能となる。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100 映像処理部; 101 画像回転判定部; 102 符号化処理制御部; 103 画像処理部; 104 符号化部; 200 全体制御部; 201 PTZ設定部; 300 カメラ; 301 カメラ制御部; 302 レンズ; 303 撮像部

Claims (6)

  1. 撮像により動画像を取得する、直線状の通路の天井に設置される天井吊り下げ型のカメラと、
    各時刻における撮影方向を規定した所与の制御内容に従って、パン・チルト動作により前記カメラの撮影方向を制御する撮影方向制御手段と、
    前記動画像を構成するフレーム画像を符号化する符号化手段と、
    前記カメラにより取得された動画像を構成するフレーム画像を、前記所与の制御内容に従って180°回転して前記符号化手段に出力する画像処理手段と、
    前記動画像において、先行するフレーム画像に対する画像回転の発生の有無を判定する判定手段と、
    前記判定手段により画像回転が発生したと判定されたフレーム画像に先行するフレーム画像を格納する記憶手段と、
    前記判定手段により画像回転が発生したと判定された後、前記判定手段により前記動画像において再度の画像回転が発生したと判定された場合、前記記憶手段に格納されたフレーム画像を参照フレームとしたフレーム間予測を用いて、前記再度の画像回転が発生したと判定されたフレーム画像の符号化を行うよう前記符号化手段を制御する制御手段と、
    を有し、
    前記制御手段は、前記所与の制御内容に従ってフレーム画像を前記記憶手段に格納されたフレーム画像を参照フレームとしたフレーム間予測を用いて符号化するよう前記符号化手段を制御する
    ことを特徴とする画像処理装置。
  2. 前記所与の制御内容を設定する設定手段を更に有する
    ことを特徴とする請求項に記載の画像処理装置。
  3. 記画像処理手段は、前記カメラにより取得された動画像を構成するフレーム画像に対してトリミング処理及び拡大処理を更に行うよう構成されており、
    前記撮影方向制御手段は、前記カメラにより取得された動画像に対して前記画像処理手段による画像処理を行うことにより疑似的な前記パン・チルト動作を行う
    ことを特徴とする請求項に記載の画像処理装置。
  4. 記撮影方向制御手段は、前記動画像に対する前記画像処理手段によるトリミング領域の変更により前記直線状の通路に沿っ疑似的な前記パン・チルト動作を行い
    前記画像処理手段は、前記動画像における前記トリミング領域の位置座標に基づいて、フレーム画像を回転するか否かを決定し、
    前記制御手段は、前記動画像における前記トリミング領域の位置座標に基づいて、フレーム画像を前記記憶手段に格納されたフレーム画像を参照フレームとしたフレーム間予測を用いて符号化する
    ことを特徴とする請求項に記載の画像処理装置。
  5. 像処理装置における制御方法であって、
    前記画像処理装置は、
    撮像により動画像を取得する、直線状の通路の天井に設置される天井吊り下げ型のカメラと、
    各時刻における撮影方向を規定した所与の制御内容に従って、パン・チルト動作により前記カメラの撮影方向を制御する撮影方向制御部と、
    前記動画像を構成するフレーム画像を符号化する符号化部と、
    前記カメラにより取得された動画像を構成するフレーム画像を、前記所与の制御内容に従って180°回転して前記符号化部に出力する画像処理部と、
    を有し、
    前記制御方法は、
    動画像において、先行するフレーム画像に対する画像回転の発生の有無を判定する判定工程と、
    前記判定工程により画像回転が発生したと判定されたフレーム画像に先行するフレーム画像を記憶部に格納する格納工程と、
    前記判定工程により画像回転が発生したと判定された後、前記動画像において再度の画像回転が発生したと判定された場合、前記記憶部に格納されたフレーム画像を参照フレームとしたフレーム間予測を用いて、前記再度の画像回転が発生したと判定されたフレーム画像の符号化を行うよう前記符号化部を制御する制御工程と、
    を含み、
    前記制御工程では、前記所与の制御内容に従ってフレーム画像を前記記憶部に格納されたフレーム画像を参照フレームとしたフレーム間予測を用いて符号化するよう前記符号化部を制御する
    ことを特徴とする画像処理装置の制御方法。
  6. コンピュータを、請求項1に記載の画像処理装置の各手段として機能させるためのプログラム。
JP2018220676A 2018-11-26 2018-11-26 画像処理装置およびその制御方法 Active JP7299690B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018220676A JP7299690B2 (ja) 2018-11-26 2018-11-26 画像処理装置およびその制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018220676A JP7299690B2 (ja) 2018-11-26 2018-11-26 画像処理装置およびその制御方法

Publications (2)

Publication Number Publication Date
JP2020088611A JP2020088611A (ja) 2020-06-04
JP7299690B2 true JP7299690B2 (ja) 2023-06-28

Family

ID=70910145

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018220676A Active JP7299690B2 (ja) 2018-11-26 2018-11-26 画像処理装置およびその制御方法

Country Status (1)

Country Link
JP (1) JP7299690B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7336185B2 (ja) * 2018-11-26 2023-08-31 キヤノン株式会社 画像処理装置および画像処理方法
WO2024010386A1 (ko) * 2022-07-06 2024-01-11 엘지전자 주식회사 영상 변환에 기반한 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005159744A (ja) 2003-11-26 2005-06-16 Sharp Corp 動画像符号化装置および動画像符号化プログラム
JP2016096482A (ja) 2014-11-14 2016-05-26 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005159744A (ja) 2003-11-26 2005-06-16 Sharp Corp 動画像符号化装置および動画像符号化プログラム
JP2016096482A (ja) 2014-11-14 2016-05-26 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
JP2020088611A (ja) 2020-06-04

Similar Documents

Publication Publication Date Title
JP5268743B2 (ja) 画像通信システム
US9544616B2 (en) Video transmission apparatus
JP4940820B2 (ja) ネットワークカメラ
KR100426174B1 (ko) 영상압축 알고리즘을 이용한 카메라 제어방법
TWI660626B (zh) 用於編碼視訊串流的方法和系統
JP2000032319A (ja) カメラ制御システム、カメラ制御方法、カメラ制御装置、及びこれらに用いる画像処理装置、記録媒体
US9979882B2 (en) Method and device for controlling a camera capable of pan and tilt control
JP7299690B2 (ja) 画像処理装置およびその制御方法
EP3989530A1 (en) Generating substitute image frames based on camera motion
JP6707334B2 (ja) リアルタイム符号化のための方法及び装置
JP7425012B2 (ja) パンチルトズームカメラを制御すること
JP2005175970A (ja) 撮像システム
JP7386307B2 (ja) ビデオストリームを送信するための方法およびシステム
JP7336185B2 (ja) 画像処理装置および画像処理方法
JP6004978B2 (ja) 被写体画像抽出装置および被写体画像抽出・合成装置
JP2016096482A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2008011079A (ja) 動画像符号化装置、動画像復号化装置及び動画像伝送システム
JP2001275103A (ja) 監視システム及びその動き検出方法
JP2006217158A (ja) 画像符号化装置及び撮像装置
JP2016086212A (ja) 監視カメラ
JP2023120155A (ja) オーバレイを含むビデオストリームの符号化
JP2019075685A (ja) 画像符号化装置、画像符号化方法及びプログラム
JP2008022444A (ja) 動画像符号化装置及び動画像符号化方法
Laddha et al. Bitrate and complexity optimizations for video conferencing systems
JP2001298744A (ja) 動画像符号化処理方法

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211102

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230519

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230616

R151 Written notification of patent or utility model registration

Ref document number: 7299690

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151