JP6356287B2 - パン及びチルト制御可能なカメラを制御するための方法及び装置 - Google Patents

パン及びチルト制御可能なカメラを制御するための方法及び装置 Download PDF

Info

Publication number
JP6356287B2
JP6356287B2 JP2017032832A JP2017032832A JP6356287B2 JP 6356287 B2 JP6356287 B2 JP 6356287B2 JP 2017032832 A JP2017032832 A JP 2017032832A JP 2017032832 A JP2017032832 A JP 2017032832A JP 6356287 B2 JP6356287 B2 JP 6356287B2
Authority
JP
Japan
Prior art keywords
camera
speed
adjustment
threshold speed
fov
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017032832A
Other languages
English (en)
Other versions
JP2017216671A5 (ja
JP2017216671A (ja
Inventor
ヴィクトル エドパルム,
ヴィクトル エドパルム,
Original Assignee
アクシス アーベー
アクシス アーベー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アクシス アーベー, アクシス アーベー filed Critical アクシス アーベー
Publication of JP2017216671A publication Critical patent/JP2017216671A/ja
Publication of JP2017216671A5 publication Critical patent/JP2017216671A5/ja
Application granted granted Critical
Publication of JP6356287B2 publication Critical patent/JP6356287B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0338Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of limited linear or angular displacement of an operating part of the device from a neutral position, e.g. isotonic or isometric joysticks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、広くは、パン及びチルト制御可能なカメラを制御するための方法及び装置に関し、特に、そのようなカメラの視野の調整を制御するための方法及び装置に関する。
多くのビデオカメラの用途、例えば、監視の用途に対して、大きな領域をカバーするためにパン、チルト(並びに任意選択的に拡大縮小及び/又は回転)できるカメラを使用することは有利である。そのようなカメラは、PT(パンチルト)カメラ、PTZ(パンチルトズーム)カメラなどという名前で知られている。PTの機能は、いわゆるPTヘッド上に取り付けられたカメラによっても提供される。PTヘッドは、その上に取り付けられたカメラをパン及びチルトすることができる電動取付ベースである。例えば、カメラのパン/チルト動作の間に、カメラによってキャプチャされたビデオストリームのビットレートは、高いレベルに到達し得る。これは、ビデオストリーム内の調整、すなわち、ビデオストリーム内の2つの連続した画像フレーム間の調整が、Pブロックエンコーディングの実現を困難にするという事実のためである。結局、画像フレーム内のほとんど又は全ての画素ブロックは、そのような調整の間に高価なIブロックを使用してエンコードされ、増加されたビットレートをもたらす。
ビデオ処理の分野では、ビデオストリームの知覚品質を維持しながら、ビットレートを低減させることに継続的な労力が注がれている。上述の課題に対する解決策は、パン/チルト調整の速度に従って、ビデオストリームをエンコードしているエンコーダの動きベクトル探索範囲を適合させることである。2つの画像の間の画素のブロックをマッチングさせるための探索は、通常、大量の算術計算を必要とし、増加された動きベクトル探索範囲が、より多くの比較が行われることをもたらすので、この解決策の課題は、エンコーディングプロセスの計算上の複雑さが増加し、したがって、より大きなプロセッサパワーを必要とし及び/又はエンコーディングプロセスを完了するための処理時間が増加するということである。
したがって、この文脈に照らした改良が必要である。
上述に鑑み、本発明の目的は、上記の欠点のうちの1以上を解決する若しくは少なくとも低減させることである。概して、上記の目的は添付の独立特許クレームによって達成される。
第1の態様によれば、本発明は、パン及びチルト(PT)制御可能なカメラであって、カメラによってキャプチャされたビデオストリームをエンコードするように構成された、動きベクトル探索範囲を有するエンコーダに接続されている、カメラを制御するための方法であって、
・ ビデオストリーム内の現在の画像フレームの第1の視野(FOV)設定を読み出すステップ、
・ 第1のFOV設定からビデオストリーム内の次の画像フレーム内の第2のFOV設定へのFOVの望ましい調整に関するユーザ入力を受信するステップ、
・ カメラの1秒毎のフレーム数(FPS)設定を使用して、現在の画像フレームと次の画像フレームとの間の期間を規定し、期間を使用してFOVの望ましい調整の速度及び方向を計算するステップ、
・ エンコーダの動きベクトル探索範囲を、期間の間のカメラのFOVの最大調整へ変換し、FOVの最大調整の速度を計算することによって、第1の閾値速度を決定するステップ、
・ 第1の閾値速度に1より大きい値を掛けることによって、第2の閾値速度を決定するステップ、並びに
・ FOVの望ましい調整の速度を、第1の閾値速度及び第2の閾値速度と比較するステップを含む、方法により実現される。
FOVの望ましい調整の速度が、第2の閾値速度よりも高い又は第1の閾値速度よりも低いならば、カメラのFOVは、期間の間に、第1のFOV設定から第2のFOV設定へ調整される。言い換えると、カメラのFOVは、ユーザ入力に従って調整される。
しかし、FOVの望ましい調整の速度が、第1の閾値速度と第2の閾値速度との間にあるならば、カメラのFOVは、期間の間に、FOVの望ましい調整の方向及び第1の閾値速度に基づいて調整される。
これは、エンコーダの動きベクトル探索範囲を使用してビデオストリーム内の2つの連続する画像の間のブロックのマッチングをエンコーダが未だ見つけることができるような大きさで、ユーザがカメラのFOVを調整したい場合に、(カメラのパン/チルト動作を介して)FOVの調整がユーザによるリクエストに応じて実施されることを意味する。例えば、エンコーダの動きベクトル探索範囲が15画素であり、ユーザがビデオストリーム内の2つの連続する画像の間の15画素以下の差異に対応する大きさでFOVを調整したいならば、ユーザによって望まれるように調整が実施され、ビデオストリーム内の画素のほとんどのブロックがPブロックを使用してエンコードされるだろう。
また、15画素の動きベクトル探索範囲である場合に、ユーザが閾値より大きい値が掛けられた動きベクトル探索範囲、例えば、ビデオストリーム内の2つの連続する画像の間の50画素の差異に対応する大きさでカメラのFOVを調整したいならば、ユーザによって望まれるように調整が実施され、ビデオストリーム内の画素のほとんどのブロックがIブロックを使用してエンコードされるだろう。
しかし、ユーザが動きベクトル探索範囲より大きい2つの連続する画像フレームの間の画素の差異に対応する大きさでカメラのFOVを調整したいが、未だ第2の閾値の差異未満であるならば、FOVの調整の速度はユーザから望まれたものと比較して低減され、それによって、ビデオストリーム内の画素のほとんどのブロックがPブロックを使用してエンコードされるだろう。
本実施形態の1つの利点は、FOVの調整の特定の範囲に対して、エンコーダの動きベクトル探索範囲を満たすように、調整の速度が制限されるだろうということである。結局、エンコーダは、Pブロックを使用して画素のブロックのほとんどをエンコードすることができ、ユーザは、望ましい速度と比較してカメラのFOVの調整の速度の逸脱に気付かないだろう。例えば、ユーザ入力は、次の24個の画像フレームにわたる、水平方向における96度のFOVの調整に関し得る。これは、各フレームに対して、FOVが4度で調整される必要があることを意味する。(エンコーダの動きベクトル探索範囲に基づいて)FOVの最大調整の速度を決定するときに、本実施例では、これは、画像フレーム毎の3度の調整と合致するように計算される。したがって、FOVの調整は、代わりに、次の32個のフレームの間に80度のFOVの調整が実施されるように変更され、これは、より低いビットレートをもたらし得る。何故ならば、エンコーダは、Pブロックを使用して画像フレームのほとんどをエンコードすることができ、ユーザは、調整が不安定要素として受け止める8個の余剰なフレームを認識し得ない。
「動きベクトル探索範囲」という用語は、本明細書の文脈では、エンコーダ内の動き補正のための画像探索範囲であると理解されるべきである。ビデオ圧縮では、動きベクトルが、動き推定プロセスの主要な要素である。それは、別の画像フレーム(基準画像)内、例えば、ビデオストリーム内の直前の画像フレーム内の画素のブロック(又は画素の類似のブロック)の位置に基づいて、画像フレーム内の画素のこのブロックを表すために使用される。上述されたように、動きベクトル探索範囲は、画素の類似のブロックのための探索が行われる、基準画像内の領域のサイズを決定する。
「FOV設定」という用語は、本明細書の文脈では、カメラの画像センサによってキャプチャされ、任意の所与の瞬間にエンコーダに伝達される、カメラの周りの光景の範囲であると理解されるべきである。視野は、画角(AOV)とも呼ばれ得る。FOVという用語は、カメラの画像センサがキャプチャしているカメラの周りの光景の範囲から区別されることが重要である。通常、画像センサによってキャプチャされた画像データは、FOVと等しいが、ある場合では、いわゆるデジタルFOVが採用され得る。これは、画像センサによってキャプチャされたデータから、一部のみがエンコーダに伝達され、続いてエンコードされたビデオストリームを形成することを意味する。本明細書では、カメラのFOVという用語は、FOVの上述された実施態様の両方を含むと理解されるべきである。本明細書を通して、特許請求の範囲にも含まれる、「FOV」及び「FOV設定」は、同義的に使用され、カメラの画像センサによってキャプチャされ、任意の所与の瞬間にエンコーダに伝達される、カメラの周りの光景の範囲を意味する。
第1の閾値速度を決定するときに、エンコーダの動きベクトル探索範囲、例えば、15画素が、代わりにFOVの調整を表現するように変換される。言い換えると、FOVの最大調整とは、エンコーダが、動きベクトル探索範囲によって規定された領域内の2つの画像フレームの間のマッチングした画素のブロックを見つけることを未だ可能にするものと考えられる。無論、これは、カメラによってキャプチャされた光景のコンテンツが2つの画像の間で動かなかったという仮定に基づく理論的な推測である。この理論的な推測に基づいて、FOVの最大調整の速度が計算され、第1の閾値速度として使用され得る。画素の数(動きベクトル探索範囲)からFOVの調整への変換は、エンコーダによってエンコードされた所与の光景の角度範囲(ある場合では、カメラのレンズの画角)と同様に、カメラによってキャプチャされた画像フレームの画像解像度を含む。
ある実施形態によれば、カメラは、更に、拡大縮小(Z)制御が可能である。
ある実施形態によれば、カメラは、更に、回転(R)制御が可能である。
ある実施形態によれば、エンコーダは、カメラのFPS設定とは異なるFPS設定を用いて、ビデオストリームをエンコードするように構成される。この場合に、エンコーダのFPS設定とカメラのFPS設定との間の比率は、有利なことに、第1の閾値速度を決定するときに計算され、考慮される。例えば、カメラが1秒毎に20個の画像フレームをキャプチャする間に、エンコーダが1秒毎に1個だけの画像フレームをエンコードするならば、1つの画像フレームからカメラに対する次のものへのFOVの最大調整は、上述されたように、動きベクトル探索範囲の1/20に合致し得るのみである。代替的に、画像フレームnから画像フレームn+20へのFOVの最大調整は、上述されたように、動きベクトル探索範囲に合致し得るのみである。
ある実施形態によれば、第2の閾値速度は、第1の閾値速度に2を掛けることによって決定される。これは、FOVの調整の望ましい速度と実際の速度との間のユーザが認識した逸脱と、エンコーダから出力されたエンコードされたビデオストリームのビットレートの減少との間の優れたバランスであると考えられ得る。
第2の態様では、本発明が、処理能力を有する装置によって実行されたときに、第1の態様の方法を実施するように適合された指示命令を有する、コンピュータ可読記憶媒体を備えた、コンピュータプログラム製品を提供する。
第3の態様によれば、本発明は、パン及びチルト(PT)制御可能なカメラであって、カメラによってキャプチャされたビデオストリームをエンコードするように構成された、動きベクトル探索範囲を有するエンコーダに接続されている、カメラを制御するように適合された制御装置を提供する。該制御装置はプロセッサを備え、該プロセッサが、
カメラから、ビデオストリーム内の現在の画像フレームの第1の視野(FOV)設定を読み出し、
第1のFOV設定からビデオストリーム内の次の画像フレーム内の第2のFOV設定へのFOVの望ましい調整に関するユーザ入力を受信し、カメラの1秒毎のフレーム数(FPS)設定を使用して、現在の画像フレームと次の画像フレームとの間の期間を規定し、且つ、期間を使用してFOVの望ましい調整の速度及び方向を計算し、
エンコーダの動きベクトル探索範囲を、期間の間のカメラのFOVの最大調整へ変換し、FOVの最大調整の速度を計算することによって、第1の閾値速度を決定し、
第1の閾値速度に1より大きい値を掛けることによって、第2の閾値速度を決定し、
FOVの望ましい調整の速度を、第1の閾値速度及び第2の閾値速度と比較し、
FOVの望ましい調整の速度が、第2の閾値速度よりも高い又は第1の閾値速度よりも低いという判定に際して、カメラのFOVを、期間の間に、第1のFOV設定から第2のFOV設定へ調整し、
FOVの望ましい調整の速度が、第1の閾値速度と第2の閾値速度の間にあるという判定に際して、カメラのFOVを、期間の間に、FOVの望ましい調整の方向及び第1の閾値速度に基づいて調整するように構成される、プロセッサである。
第4の態様によれば、本発明は、パンチルト(PT)制御可能なカメラであって、カメラによってキャプチャされたビデオストリームをエンコードするように構成されたエンコーダに接続され、第3の態様による制御装置を備える、カメラを提供する。
ある実施形態によれば、カメラは、FOVの望ましい調整に関するユーザ入力を提供するためのジョイスティックに接続されている。
第2、第3、及び第4の態様は、概して、第1の態様と同一の特徴及び利点を有し得る。
本発明の上記及び追加の目的、特徴、利点は、付随する図面を参照しつつ、本発明の実施形態の以下の例示的かつ非限定的な詳細説明を通して、より明確に理解されるであろう。図面では類似要素に対して同じ参照番号が使用されている。
動き補正予測エンコーディングの原理、及びエンコーダの動きベクトル探索範囲の目的を概略的に示す。 カメラのFOVの望ましい調整の速度とカメラのFOVの調整の実際の速度との間の伝達関数を示す。 如何にしてFOVの調整が調整の速度及び方向へ変換されるかを例示的に示す。 如何にしてFOVの調整が調整の速度及び方向へ変換されるかを例示的に示す。 如何にしてFOVの調整が調整の速度及び方向へ変換されるかを例示的に示す。 如何にしてFOVの調整が調整の速度及び方向へ変換されるかを例示的に示す。 本発明の実施形態による、PT制御可能なカメラを制御するための方法を示す。
図1は、複数の画像フレーム106、108を含むビデオストリーム104をキャプチャしているカメラ102を示す。そのようなビデオストリームをエンコードするときに、エンコーディング方法として、動き補正予測エンコーディングが好適に使用され得る。カメラが3D空間で移動するときに、又はカメラによってキャプチャされている光景内でコンテンツが移動するときに、動き補正予測エンコーディングは、画像フレーム内のコンテンツの画像平面内での変位をもたらす。このことは、図1で例示され、ビデオストリームの第1の画像フレーム106内の物体が、ビデオストリームの第2の画像108内で移動した。通常、動き補正予測エンコーディングは、第2の画像フレーム108内のブロック110などの、画素のブロックを描写しようとする。このとき、動きベクトルが、第2の画像フレームと以前の画像フレーム106との間の画素のそのブロックに対する移動を表現する。任意選択的に、エンコードされた画素のブロック110と以前の画像フレーム内で最もマッチングする画素のブロック114との間のコンテンツの差異に対応する残留データも、エンコードされる。
動き補正予測エンコーディングは、例えば、以前の画像フレーム内で、エンコードされているものとマッチングする画素のブロックを探索するときに、動きベクトル探索範囲116を採用する。通常、エンコーディングは、ブロック110が現在エンコードされている際に、以前の画像106内で同じ位置112にある類似の画素のブロックに対する探索を開始する。任意の適切なブロックマッチングアルゴリズムが、探索で使用され得る。開始位置112から始まって、エンコーダは、動きベクトル探索範囲116内で、マッチングする画素のブロックを探索する。動きベクトル探索領域118内で適切にマッチングするブロックが見つからない場合に、エンコーダは、通常、Iブロックエンコーディングを使用して画素のブロックをエンコードする。それは、例えば、pブロックエンコーディング(動き補正予測エンコーディング)が使用され得るときと比較して、より多くのビットを必要とする。言うまでもなく、カメラが、2つの画像フレーム間の対応するブロックが動きベクトル探索領域118の外側にあるように移動されたならば、マッチングするブロックは見つからず、全体の画像フレームが、Iブロックエンコーディングを使用してエンコードされる必要があり、それは、画像フレーム内の画素のブロックのほとんど又は全てに対してpブロックエンコーディングが使用され得るときと比較して、エンコードされた画像を伝達するために増加されたビットレートをもたらし得る。そのようなシナリオは、カメラのパンチルト(PT)動作の間に起こり得る。このとき、ビットレートは高いレベルに到達し得る。最良の場合のシナリオでは、PT動作(FOVの調整)が、エンコーダが優れた動きベクトルマッチを見つけることができ且つ各マクロブロックをPブロックとしてエンコードできるように、十分小さいだろう。しかし、多くの場合では(殊に、エンコーダが制限された動きベクトル探索範囲116を有するならば)、動きが大き過ぎて、ほとんどのブロックが代わりにIブロックとしてエンコードされる。上述したように、Iブロックは、概して、ビットレートの急増をもたらし、Pブロックよりもエンコードするためにかなりな費用がかかる。
本発明は、さもなければIブロックエンコーディングが必要とされ得る場合に予測エンコーディングが使用され得るように、エンコーダの動きベクトル探索範囲に基づいて、(カメラのPT(Z)動作による)FOVの調整の許容速度を制限するというアイデアに基づく。典型的な実施態様は、図2で示されるようにFOVの調整の速度をクランプ(clamp)させるというものであり、それによって、FOVの望ましい調整の速度が、Pブロックを使用してエンコードできるものよりも高いならば、しかし、特定の閾値速度よりも低いならば、調整の速度が、pブロックに対するエンコーダ要件を満たすように制限され得る。図2では、FOVの望ましい調整の速度202と実際の調整の速度204が、(第1の閾値速度206と第2の閾値速度208との間の)特定の速度の範囲を除いて同じである。特定の速度の範囲では、実際の速度204がクランプされる。
言い換えると、FOVの望ましい調整の速度が、第1の閾値速度206と第2の閾値速度208との間にある場合では、FOVが、FOVの望ましい調整の方向及び第1の閾値速度に基づいて調整される。これを行うことによって、FOVの調整の速度は、特定の速度の範囲に対してエンコーダのリミットに制限されるが、一方、閾値より上の速度に対しては、実際の速度が望ましい速度に一致する。これは有利である。何故ならば、FOVを素早く調整したいユーザにとって、FOVの望ましい調整が、結果としてのFOVの実際の調整でもあるからである。
FOVの望ましい調整の速度及び方向を計算するために、種々のアルゴリズム及び基準が使用され得る。例えば、望ましい調整の速度は、例えば、第1のFOVの中心から第2のFOVの中心への、3D空間内のベクトルの長さによって表現され得る。この実施形態は、図3で概略的に示されている。図解を単純化するために、図3(及び図4〜図6)は、2D空間、すなわち、3D空間内のFOVの2Dの投影におけるFOVの調整を示している。
代替的に、カメラのための動きの原点にある中心、すなわち、カメラがその周りで動き得るところのサスペンションポイントを有する、見かけの球の周りのベクトルの長さ及び方向を計算するために、極座標が使用され得る。
FOVは、(以下で更に説明される)カメラによってキャプチャされた所与の光景の角度範囲と、カメラの指し示す方向を表す3D空間内のポイントとによって表現され得る。したがって、FOVの中心点は、指し示す方向(X、Y、及びZ値又はそれに類似するもの)によって表され、FOVの隅部は、カメラによってキャプチャされた所与の光景の中心点と角度範囲を使用して計算され得る。
第1のFOV302と第2の望ましいFOV304との間のベクトル306を計算することによって、ベクトル306の長さは、調整の速度を示す値として使用され、一方、ベクトルの方向は、FOVの調整の方向を示すために使用され得る。例えば、長さは、第1のFOV302を有するカメラの指し示す方向と、第2の望ましいFOV304を有するカメラの指し示す方向との間の、X、Y、及びZにおける差異として計算され得る。
速度及び方向を計算するために第1と第2のFOVの中心点のみを使用する代わりに、FOVの隅部が使用され得る。これは、図4で示され、4つのベクトル306a‐dが計算され、それらのベクトルのうちの1つが、FOVの各隅部に対応する。速度及び方向を計算するために、4つのベクトル306a‐dの平均値が使用され得る。代替的に、最も長い又は最も短いベクトルが使用され得る。
調整において、FOVの拡大縮小が含まれる場合又はFOVの回転が含まれる場合には、FOVの調整の速度及び方向を計算するためにFOVの隅部を使用することが、有利であり得る。図5で示される回転の場合には、これは、4つのベクトル306a‐dが異なる長さ及び方向を有することをもたらし得る。結果としてのFOVの望ましい調整の速度及び方向は、上述のように計算され得る。(図6で示される)拡大縮小の場合には、第1のFOV302と第2のFOV304の中心を使用することが、ゼロベクトル、すなわち、長さが0のベクトルをもたらし、したがって、全ての構成要素がゼロに等しい。しかし、これは正しくない。何故ならば、第1のFOV302を有するカメラによってキャプチャされた画像フレームと、第2のFOV304を有するカメラによってキャプチャされた画像フレームとの間で、カメラによってキャプチャされた光景のコンテンツが移動したからである。
FOVの望ましい調整は瞬間的ではないが、代わりに期間の間で生じることに注意すべきである。例えば、第1のFOV302は、第1の画像フレームに対するFOVであり、一方、第2のFOVは、n番目の画像フレームに対するFOVであり得る。カメラの1秒毎のフレーム数(FPS)使用することによって、調整のための期間が計算され得る。例えば、FPSが1秒毎にx個のフレームならば、この場合、期間はn/x秒である。期間に基づいて速度を計算することにより、カメラのFPSがエンコーダのFPSとは異なる事例が、上述のように好適に取り扱われ得る。
第1の閾値速度(図2の206)を決定するときに、エンコーダの動きベクトル探索範囲は、期間の間のカメラのFOVの最大調整へと変換されることが必要である。カメラによってキャプチャされた画像の解像度を考慮することにより、且つ、カメラによってキャプチャされた所与の光景の角度範囲を考慮することによって、エンコーダの動きベクトル探索範囲は、カメラのFOVの最大調整へと変換され得る。カメラの1以上のレンズが、光錐(cone of light)をキャプチャするように適合される。イメージサークル(image circle)は、光錐の断面である。ビニエッティング(画像の周縁における飽和)を避けるために、カメラは、キャプチャされた画像の画像形式のサイズよりも大きいイメージサークルを有しなければならない。カメラによってキャプチャされた所与の光景の角度範囲は、キャプチャされた画像と合致し、レンズが撮像できる角度範囲とは合致しない。
例えば、カメラによってキャプチャされた光景の角度範囲は、水平方向で40度であり、垂直方向で30度であり得る。キャプチャされた画像の解像度は、1200*900画素であり得る。これは、全ての画素が1/30度に相当することを意味する。動きベクトル探索範囲が30画素の場合、これは、エンコーダ内の2つのエンコードされた画像の間の1度のFOVの調整に合致する。エンコーダのFPSがカメラのFPSと同じ場合、キャプチャされた2つの画像の間のFOVの最大調整は、1度である、この実施例に対して、第1の閾値は、したがって、(3D空間において)カメラのFOVの1度の調整に相当し得る。
第2の閾値速度(図2の208)は、第1の閾値速度に1より大きい値を掛けることによって決定される。値は、1.2、1.5、2、4などである。ある実施形態によれば、値は2である。したがって、上述の実施例を使用して、第2の閾値は、キャプチャされた2つの画像の間のカメラのFOVの2度の調整に相当し得る。
したがって、ユーザが、次の20フレームにわたり水平方向において38度でFOVを調整することを望むならば、FOVを調整するために38フレームを使い、エンコードされたビデオストリームのより低いビットレートをもたらすように、調整の速度の制限が採用され得る。代わりに、ユーザが、45度でFOVを調整することを望むならば、制限は採用されず、調整は望ましい20フレームを使い、それは、Iエンコーディングが必要となり得るので、FOVの調整の間にビットレートの急増がもたらされ得る。上述のように第2の閾値を使用して、ユーザが素早くカメラのFOVを調整することを意図するならば、第2の閾値を超える速度で調整するための望ましい期間の間に未だこれをすることができる。
図7は、本発明の実施形態による、PT制御可能なカメラを制御するための方法を示す。上述されたように、PTZ、PTR、又はPTZR可能なカメラも、この方法を使用して制御され得る。カメラの動きは、遠隔制御されるように構成され得る。
カメラは、カメラによってキャプチャされたビデオストリームをエンコードするように構成されたエンコーダに接続されている。エンコーダは、カメラの外部要素であり又は内部要素であり得る。エンコーダは、規定された動きベクトル探索範囲を有し、それは、調整可能であるか又は調整不可能であり得る。
該方法は、ビデオストリーム内の現在の画像フレームの第1のFOV設定を読み出すステップ(S702)を含む。これは、カメラの現在のFOVが読み出されることを意味する。
該方法は、第1のFOV設定からビデオストリーム内の次の画像フレーム内の第2のFOV設定へのFOVの望ましい調整に関するユーザ入力を受信するステップ(S704)を更に含む。例えば、ユーザは、カメラが水平方向において90度回転し又は拡大縮小値を1xから2.5xへ変更することをリクエストするように、カメラに指示命令を入力し得る。望ましい調整は、FOVの任意の調整に関し得る。
ユーザ入力は、ジョイスティック、又はコンピュータマウスなどのカメラのFOVを制御するための他の適切な制御手段によって、カメラに提供され得る。ジョイスティック(マウスなど)は、例えば、第1と第2の閾値の間の調整の速度の制限を無効にするために押下(起動など)され得るボタンなどを備え得る。無効機能は、ユーザが利用可能なコンピュータインターフェース内にも提供され得る。制御手段は、制御手段(例えば、ジョイスティックのスティック)の動きによって直接的にFOVを調整するために使用され得る。または、制御手段は、カメラのFOVを調整するために画像内で指示及びクリックするコンピュータインターフェースと連動して使用され得る。後者の場合に、そのような調整は、特定の期間の間に生じるように予め規定され、その期間は、その後、上述され且つ以下に更に説明される第1と第2の閾値に基づいて変更され得る。別の典型的な状況は、カメラが、ガードツアー(guard tour)を実施するように設定されたときに、予め規定された速度で複数の予め規定された位置の間を移動することである。
したがって、望ましい調整は、調整が生じる期間、又は調整の間にキャプチャされ得るビデオストリーム内の画像フレームの数を含み得る。言い換えると、ユーザ入力は、第1のFOV設定からビデオストリーム内の次の画像フレーム内の第2のFOV設定へのFOVの望ましい調整に関する。このことから、現在の画像フレームと次の画像フレームとの間の期間は、カメラのFPS設定を使用して規定され得る。
FOVの望ましい調整から、FOVの望ましい調整の速度及び方向が、計算され得る(S706)。速度の計算は、調整が生じる期間を含む。
該方法は、エンコーダの動きベクトル探索範囲を、期間の間のカメラのFOVの最大調整へ変換することによって、第1の閾値速度を決定するステップ(S708)を更に含む。このことから、FOVの最大調整の速度が計算され得る。エンコーダの動きベクトル探索範囲が、固定された画素の数(例えば、15、30、40、50など)である場合に、第1の閾値速度を決定するステップ(S708)が、各カメラに対して1回だけ又はカメラの設定の際にだけ実施される必要があり得ることに留意されたい。
該方法は、第1の閾値速度に1より大きい値を掛けることによって、第2の閾値速度を決定するステップ(S710)を更に含む。上述のことから理解されるように、ある実施形態によれば、このステップは、第1の閾値速度が決定された(S708)ときにのみ実施される。その値は、1より大きい任意の適切な値、例えば、1.2、1.5、2、2.5、4などであり得る。
該方法は、FOVの望ましい調整の速度を、第1の閾値速度及び第2の閾値速度と比較するステップ(S712)を更に含み、この比較に基づいて、FOVが2つの異なるやり方で調整され得る。
FOVの望ましい調整の速度が、第2の閾値速度よりも高い又は第1の閾値速度よりも低いと判定されたならば、カメラのFOVは、期間の間に、第1のFOV設定から第2のFOV設定へ調整される(S714)。これは、ユーザからのFOVの望ましい調整が実施されることを意味する。
しかし、FOVの望ましい調整の速度が、第1の閾値速度と第2の閾値速度の間にあると判定されたならば、カメラのFOVは、期間の間に、FOVの望ましい調整の方向及び第1の閾値速度に基づいて調整される(S716)。これは、エンコーダが未だビデオストリーム内の2つの画像フレームの間で合致した画素のブロックを見つけることができるような最大速度で、FOVが調整され、したがって、FOVがユーザの望みに従って調整されることが可能にされたときと比較して、ビットレートが、より低いレベルに維持され得ることを意味する。

Claims (6)

  1. パン及びチルト(PT)制御可能なカメラであって、前記カメラによってキャプチャされたビデオストリームをエンコードするように構成された、動きベクトル探索範囲を有するエンコーダに接続されている、カメラを制御するための方法であって、
    前記ビデオストリーム内の現在の画像フレームをキャプチャしたときに前記カメラの第1の指し示す方向を読み出すステップ(S702)、
    前記第1の指し示す方向から第2の指し示す方向への前記カメラの指し示す方向の望ましい調整に関するユーザ入力であって、前記カメラの指し示す方向の前記望ましい調整が完了されるべき期間を画定するユーザ入力を受信するステップ(S704)、及び前記期間を使用して前記指し示す方向の前記望ましい調整の速度及び方向を計算するステップ(S706)、
    第1の閾値速度を決定するステップ(S708)であって、
    前記エンコーダの前記動きベクトル探索範囲を、前記期間の間の前記カメラの指し示す方向の最大調整へ変換し、前記最大調整はさらに、前記動きベクトル探索範囲を使用して、前記指し示す方向の前記最大調整を行う間にキャプチャされた2つの画像フレームの間のマッチングする画素のブロックを見つけることを可能にし、ここで前記動きベクトル探索範囲は固定された画素の数として画定され、前記カメラによってキャプチャされた画像の解像度及び前記カメラによってキャプチャされた光景の角度範囲が、前記カメラの指し示す方向の前記最大調整を計算するために用いられ、且つ
    前記期間を使用して前記指し示す方向の前記最大調整の速度を計算し、前記最大調整の速度を前記第1の閾値速度として使用する
    ことによって、前記第1の閾値速度を決定するステップ(S708)、
    前記第1の閾値速度に1より大きく4より小さい値を掛けることによって、第2の閾値速度を決定するステップ(S710)、
    前記カメラの指し示す方向の前記望ましい調整の前記速度を、前記第1の閾値速度及び前記第2の閾値速度と比較するステップ(S712)、
    前記指し示す方向の前記望ましい調整の前記速度が、前記第2の閾値速度よりも高い又は前記第1の閾値速度よりも低いという判定に際して、ユーザが所望するとおりに調整が行われるように、前記カメラの指し示す方向を、前記期間の間に、前記第1の指し示す方向から前記第2の指し示す方向へ調整するステップ(S714)、
    前記指し示す方向の前記望ましい調整の前記速度が、前記第1の閾値速度と前記第2の閾値速度との間にあるという判定に際して、ユーザが所望する速度より遅い速度で調整が行われるように、前記第1の閾値速度で、前記第1の指し示す方向から前記第2の指し示す方向に前記カメラの指し示す方向を調整するステップ(S716)
    を含む、方法。
  2. 前記第2の閾値速度が、前記第1の閾値速度に2を掛けることによって決定される、請求項1に記載の方法。
  3. コンピュータによって実行されたときに、請求項1又は2に記載の方法を実施するように適合された指示命令を有する、コンピュータ可読記憶媒体
  4. パン及びチルト(PT)制御可能なカメラを制御するように適合された制御装置であって、前記カメラが、前記カメラによってキャプチャされたビデオストリームをエンコードするように構成された、動きベクトル探索範囲を有するエンコーダに接続され、前記制御装置がプロセッサを備え、前記プロセッサが、
    前記ビデオストリーム内の現在の画像フレームをキャプチャしたときに前記カメラの第1の指し示す方向を読み出し、
    前記第1の指し示す方向から第2の指し示す方向への前記カメラの指し示す方向の望ましい調整に関するユーザ入力であって、前記カメラの指し示す方向の前記望ましい調整が完了されるべき期間を画定するユーザ入力を受信し、前記期間を使用して前記指し示す方向の前記望ましい調整の速度及び方向を計算し、
    前記エンコーダの前記動きベクトル探索範囲を、前記期間の間の前記カメラの指し示す方向の最大調整へ変換し、前記最大調整はさらに、前記動きベクトル探索範囲を使用して、前記指し示す方向の前記最大調整を行う間にキャプチャされた2つの画像フレームの間のマッチングする画素のブロックを見つけることを可能にし、ここで前記動きベクトル探索範囲は固定された画素の数として画定され、前記カメラによってキャプチャされた画像の解像度及び前記カメラによってキャプチャされた光景の角度範囲が、前記カメラの指し示す方向の前記最大調整を計算するために用いられ、且つ
    前記期間を使用して前記指し示す方向の前記最大調整の速度を計算し、前記最大調整の速度を第1の閾値速度として使用する
    ことによって、第1の閾値速度を決定し、
    前記第1の閾値速度に1より大きく4より小さい値を掛けることによって、第2の閾値速度を決定し、
    前記カメラの指し示す方向の前記望ましい調整の前記速度を、前記第1の閾値速度及び前記第2の閾値速度と比較し、
    前記指し示す方向の前記望ましい調整の前記速度が、前記第2の閾値速度よりも高い又は前記第1の閾値速度よりも低いという判定に際して、ユーザが所望するとおりに調整が行われるように、前記カメラの指し示す方向を、前記期間の間に、前記第1の指し示す方向から前記第2の指し示す方向へ調整し、
    前記指し示す方向の前記望ましい調整の前記速度が、前記第1の閾値速度と前記第2の閾値速度との間にあるという判定に際して、ユーザが所望する速度より遅い速度で調整が行われるように、前記第1の閾値速度で、前記第1の指し示す方向から前記第2の指し示す方向に前記カメラの指し示す方向を調整するように構成されているプロセッサである、制御装置。
  5. パン及びチルト(PT)制御可能なカメラであって、前記カメラによってキャプチャされたビデオストリームをエンコードするように構成されたエンコーダに接続され、請求項4に記載の制御装置を備える、カメラ。
  6. 前記指し示す方向の前記望ましい調整に関する前記ユーザ入力を提供するためのジョイスティックに接続されている、請求項5に記載のカメラ。
JP2017032832A 2016-03-01 2017-02-24 パン及びチルト制御可能なカメラを制御するための方法及び装置 Active JP6356287B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16158024.6A EP3214833B1 (en) 2016-03-01 2016-03-01 A method and device for controlling a camera capable of pan and tilt control
EP16158024.6 2016-03-01

Publications (3)

Publication Number Publication Date
JP2017216671A JP2017216671A (ja) 2017-12-07
JP2017216671A5 JP2017216671A5 (ja) 2018-04-19
JP6356287B2 true JP6356287B2 (ja) 2018-07-11

Family

ID=55588049

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017032832A Active JP6356287B2 (ja) 2016-03-01 2017-02-24 パン及びチルト制御可能なカメラを制御するための方法及び装置

Country Status (6)

Country Link
US (1) US9979882B2 (ja)
EP (1) EP3214833B1 (ja)
JP (1) JP6356287B2 (ja)
KR (1) KR101870933B1 (ja)
CN (1) CN107147838B (ja)
TW (1) TWI638567B (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10405010B2 (en) * 2017-10-05 2019-09-03 Sling Media Pvt Ltd Methods, systems, and devices for adjusting streaming video field-of-view in accordance with client device commands
KR102080456B1 (ko) * 2018-07-30 2020-02-24 이노뎁 주식회사 압축영상에 대한 신택스 기반의 ptz 카메라의 객체 추적 제어 방법
US11089205B2 (en) * 2019-08-16 2021-08-10 Toyota Motor Engineering & Manufacturing North America, Inc. Window position monitoring system
EP3883234B1 (en) * 2020-03-17 2022-02-02 Axis AB Wearable camera and a method for power consumption optimization in the wearable camera
US20220172440A1 (en) * 2020-12-01 2022-06-02 Samsung Electronics Co., Ltd. Extended field of view generation for split-rendering for virtual reality streaming
US11949984B2 (en) 2021-03-12 2024-04-02 Samsung Electronics Co., Ltd. Electronic device that performs a driving operation of a second camera based on a determination that a tracked object is leaving the field of view of a moveable first camera having a lesser angle of view than the second camera, method for controlling the same, and recording medium of recording program

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW425487B (en) * 1999-06-18 2001-03-11 Kim Woon Yong Apparatus and method of controlling pan/tilt camera
JP4591657B2 (ja) * 2003-12-22 2010-12-01 キヤノン株式会社 動画像符号化装置及びその制御方法、プログラム
JP4636887B2 (ja) 2005-01-11 2011-02-23 キヤノン株式会社 光学機器
US8135068B1 (en) 2005-07-19 2012-03-13 Maxim Integrated Products, Inc. Method and/or architecture for motion estimation using integrated information from camera ISP
US8035691B2 (en) * 2006-08-01 2011-10-11 Pelco, Inc. Method and apparatus for compensating for movement of a video surveillance camera
JP2009253510A (ja) * 2008-04-03 2009-10-29 Panasonic Corp 撮像装置
JP4760896B2 (ja) 2008-11-04 2011-08-31 ソニー株式会社 カメラ制御装置及びカメラ制御方法
KR101200491B1 (ko) * 2008-12-22 2012-11-16 한국전자통신연구원 사람 검출 장치 및 방법
US8724707B2 (en) * 2009-05-07 2014-05-13 Qualcomm Incorporated Video decoding using temporally constrained spatial dependency
TWI399706B (zh) * 2010-03-23 2013-06-21 Avermedia Information Inc 一種障礙物偵測警示系統及方法
JP2012023768A (ja) * 2011-09-29 2012-02-02 Sanyo Electric Co Ltd 撮像装置
KR20130105047A (ko) * 2012-03-16 2013-09-25 삼성테크윈 주식회사 비디오 압축률 향상 방법 및 장치
US9253503B2 (en) 2012-12-18 2016-02-02 Xerox Corporation Computationally efficient motion estimation with learning capabilities for video compression in transportation and regularized environments
JP2014176034A (ja) * 2013-03-12 2014-09-22 Ricoh Co Ltd 映像伝送装置
JP6347663B2 (ja) * 2014-05-12 2018-06-27 キヤノン株式会社 制御装置、撮像システム、制御方法、及び、プログラム
JP6395506B2 (ja) * 2014-08-22 2018-09-26 キヤノン株式会社 画像処理装置および方法、プログラム、並びに撮像装置

Also Published As

Publication number Publication date
US9979882B2 (en) 2018-05-22
US20170257560A1 (en) 2017-09-07
KR20170102424A (ko) 2017-09-11
CN107147838B (zh) 2018-09-07
EP3214833A1 (en) 2017-09-06
TW201733338A (zh) 2017-09-16
CN107147838A (zh) 2017-09-08
TWI638567B (zh) 2018-10-11
EP3214833B1 (en) 2018-02-28
KR101870933B1 (ko) 2018-06-25
JP2017216671A (ja) 2017-12-07

Similar Documents

Publication Publication Date Title
JP6356287B2 (ja) パン及びチルト制御可能なカメラを制御するための方法及び装置
US9544616B2 (en) Video transmission apparatus
TWI660626B (zh) 用於編碼視訊串流的方法和系統
US11012614B2 (en) Image processing device, image processing method, and program
CN109922251B (zh) 快速抓拍的方法、装置及系统
US8983217B2 (en) Stereo image encoding apparatus, its method, and image pickup apparatus having stereo image encoding apparatus
JP2018201189A5 (ja)
JP2017216671A5 (ja)
US10270977B2 (en) Imaging apparatus and a method of tracking a subject in the imaging apparatus
EP3989530A1 (en) Generating substitute image frames based on camera motion
JP2009071808A (ja) 撮像装置およびズーム制御方法
KR20160068657A (ko) 실시간 인코딩을 위한 방법 및 디바이스
JP7299690B2 (ja) 画像処理装置およびその制御方法
US11477380B2 (en) Stabilization degree adjustment method and device, and storage medium
JP6702737B2 (ja) 像ブレ補正装置、および、像ブレ補正装置の制御方法
JP7393245B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP7336185B2 (ja) 画像処理装置および画像処理方法
JP2012023768A (ja) 撮像装置
JP2016086212A (ja) 監視カメラ
JP2000115785A (ja) 符号化装置
JP2023006412A (ja) 制御装置、制御方法、およびプログラム
JP2019075685A (ja) 画像符号化装置、画像符号化方法及びプログラム
JP2017108205A (ja) 画像処理装置、撮像装置、制御方法およびプログラム
JP2017055253A (ja) 画像処理装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180309

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180309

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180309

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180319

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180327

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180502

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180515

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180613

R150 Certificate of patent or registration of utility model

Ref document number: 6356287

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250