TWI638567B - 用於控制可左右轉動及傾斜控制之攝影機之方法及裝置 - Google Patents

用於控制可左右轉動及傾斜控制之攝影機之方法及裝置 Download PDF

Info

Publication number
TWI638567B
TWI638567B TW106106635A TW106106635A TWI638567B TW I638567 B TWI638567 B TW I638567B TW 106106635 A TW106106635 A TW 106106635A TW 106106635 A TW106106635 A TW 106106635A TW I638567 B TWI638567 B TW I638567B
Authority
TW
Taiwan
Prior art keywords
camera
speed
pointing direction
fov
threshold speed
Prior art date
Application number
TW106106635A
Other languages
English (en)
Other versions
TW201733338A (zh
Inventor
維克多 艾德帕姆
Original Assignee
瑞典商安訊士有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞典商安訊士有限公司 filed Critical 瑞典商安訊士有限公司
Publication of TW201733338A publication Critical patent/TW201733338A/zh
Application granted granted Critical
Publication of TWI638567B publication Critical patent/TWI638567B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0338Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of limited linear or angular displacement of an operating part of the device from a neutral position, e.g. isotonic or isometric joysticks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明一般而言係關於一種用於控制可左右轉動及傾斜控制之一攝影機之方法及裝置,且更具體而言係關於一種用於控制此攝影機之視域之調整之方法及裝置。

Description

用於控制可左右轉動及傾斜控制之攝影機之方法及裝置
本發明一般而言係關於一種用於控制可左右轉動及傾斜控制之一攝影機之方法及裝置,且更具體而言係關於一種用於控制此攝影機之視域之調整之方法及裝置。
對於諸多視訊攝影機應用(例如,監測應用),使用可左右轉動、傾斜(及視情況變焦及/或旋轉)之一攝影機來覆蓋一大區域係有利的。此種攝影機係以名稱PT (左右轉動-傾斜)攝影機、PTZ (左右轉動-傾斜-變焦)攝影機等為人所知。PT功能性亦可藉由安裝於一所謂的PT頭部上之攝影機而提供,該PT頭部係可左右轉動及傾斜安裝於其上之一攝影機之一機動安裝基座。例如在攝影機之一左右轉動/傾斜運動期間,由攝影機擷取之一視訊串流之位元速率可達到高位準。此係歸因於視訊串流內(亦即視訊串流內之兩個連續的影像圖框之間)之調整使P區塊編碼難以達成之事實。因此,在此調整期間,一影像圖框內之大部分或所有像素區塊使用昂貴的I區塊編碼,從而導致一經增加位元速率。 在視訊處理內,存在致力於降低位元速率同時維持視訊串流之一感知品質之一持續努力。對上文之問題之一解決方案係根據左右轉動/傾斜調整之速度調適編碼視訊串流之編碼器之一運動向量搜尋範圍。此乃因搜尋兩個影像之間的匹配像素區塊通常需要大量算術運算及導致進行較多比較之一增加運動向量搜尋範圍,此解決方案之一問題係將增加編碼程序之運算複雜性,因此需要較多處理器功率及/或增加處理時間以用於完成編碼程序。 因此在此內容脈絡內存在改良之一需要。
鑒於上文,本發明之一目標係解決或至少降低上文所論述之缺陷中之一或數者。一般而言,藉由隨附獨立技術方案達成上文之目標。 根據一第一態樣,本發明藉由一種用於控制可左右轉動傾斜(PT)控制之一攝影機之方法實現,該攝影機連接至經配置以編碼由攝影機擷取之一視訊串流之一編碼器,該編碼器具有一運動向量搜尋範圍,該方法包括以下步驟: - 擷取該視訊串流中之一當前影像圖框之一第一視域(FOV)設定, - 接收關於該FOV之自該第一FOV設定至該視訊串流中之一後續影像圖框中之一第二FOV設定之一所要調整之一使用者輸入, - 使用該攝影機之一每秒圖框數(FPS)設定來界定該當前影像圖框與該後續影像圖框之間的一時間週期,且使用該時間週期計算該FOV之該所要調整之一速度及一方向, - 藉由在該時間週期期間將該編碼器之該運動向量搜尋範圍轉譯為該攝影機之該FOV之一最大調整來判定一第一臨限速度且計算該FOV之該最大調整之一速度, - 藉由將該第一臨限速度與高於1之一值相乘來判定一第二臨限速度,及 - 比較該FOV之該所要調整之該速度與該第一臨限速度及該第二臨限速度。 若FOV之所要調整之速度高於第二臨限速度或低於第一臨限速度,則在時間週期期間將攝影機之FOV自第一FOV設定調整至第二FOV設定。換言之,根據使用者輸入調整攝影機之FOV。 然而,若FOV之所要調整之速度在第一臨限速度與第二臨限速度之間,則在時間週期基於FOV之所要調整之方向及第一臨限速度調整攝影機之FOV。 此意指在使用者想要以一量值調整攝影機之FOV使得編碼器仍將能夠使用編碼器之運動向量搜尋範圍在視訊串流中之兩個連續的影像之間找到匹配區塊之情形中,視使用者請求執行FOV之調整(經由攝影機之一左右轉動/傾斜移動)。舉例而言,若編碼器之運動向量搜尋範圍係15個像素,且使用者想要以對應於小於或等於視訊串流中之兩個連續的影像之間的15像素差之一量值來調整FOV,則視使用者期望執行調整且將使用P區塊編碼視訊串流內之大部分像素區塊。 並且,若使用者想要以對應於多於一臨限倍數之運動向量搜尋範圍之值之一量值(例如在一15個像素運動向量搜尋範圍之情形中視訊串流中之兩個連續的影像之間的一50像素差)來調整攝影機之FOV,則視使用者期望執行調整且將使用I區塊編碼視訊串流內之大部分像素區塊。 然而,若使用者想要以對應於大於兩個連續影像圖框之間的像素差之運動向量搜尋範圍之值但仍低於第二臨限差之一量值來調整攝影機之FOV,則FOV之調整之速度與使用者所期望之速度相比係減小的,使得將使用P區塊編碼視訊串流內之大部分像素區塊。 本實施例之一個優點係:針對FOV之一特定調整範圍,將對調整之速度定限值以滿足編碼器之運動向量搜尋範圍。因此,編碼器將能夠使用P區塊編碼像素區塊中之大部分,且使用者可不會注意到攝影機之FOV之調整之速度與所要速度相比之偏差。舉例而言,使用者輸入可關於在接下來24個影像圖框內沿一水平方向對FOV進行96度之一調整。此意指針對每一圖框,需要將FOV調整4度。當判定FOV之最大調整之速度時(基於編碼器之運動向量搜尋範圍),在此實例中此經計算為對應於每影像圖框3度之一調整。可因此改變FOV之調整,使得替代地在接下來32個圖框內執行FOV之80度調整,此將導致一較低位元速率,此乃因編碼器可使用P區塊編碼影像圖框中之大部分,且使用者可不將調整所採用的八個額外圖框感知為干擾性。 在本說明書之內容脈絡中,術語「運動向量搜尋範圍」應理解為編碼器中用於運動補償之影像搜尋範圍。在視訊壓縮中,一運動向量係運動估計程序中之關鍵要素。其用於基於一像素區塊(或一類似像素區塊)在另一影像圖框(參考影像) (例如視訊串流中之緊挨的前一影像圖框)中之位置表示一影像圖框中之此像素區塊。如上文所闡述,運動向量搜尋範圍判定其中進行一類似像素區塊之搜尋之參考影像中之區域之大小。 在本說明書之內容脈絡中,術語「FOV設定」應理解為由攝影機之一影像感測器擷取且在任何給定時刻傳輸至編碼器的在攝影機周圍之場景之範圍。視域亦可稱為視角(AOV)。將術語FOV與攝影機之影像感測器擷取的在攝影機周圍之場景之範圍區分開係重要的。通常,由影像感測器擷取之影像資料等於FOV,但在某些情形中,可採用所謂的數位FOV。此意指,僅自影像感測器擷取之資料之一子部分被傳輸至編碼器且後續形成經編碼視訊串流。在此說明書中,攝影機之術語FOV應被理解為囊括上文所闡述之FOV之實施方案兩者。貫穿本說明書(包含在申請專利範圍中),「FOV」及「FOV設定」同義地使用以表示由攝影機之一影像感測器擷取且在任何給定時刻傳輸至編碼器的在攝影機周圍之場景之範圍。 當判定第一臨限速度時,編碼器之運動向量搜尋範圍(例如15個像素)經轉譯以替代地闡述FOV之一調整。換言之,計算FOV之最大調整係多少,該最大調整仍將允許編碼器在由運動向量搜尋範圍界定之區域中之兩個影像圖框之間找到匹配像素區塊。當然,此係基於由攝影機擷取之場景之內容在兩個影像之間未移動之假定之一理論計算。基於此理論計算,可計算FOV之最大調整之一速度且用作第一臨限速度。自若干個像素(運動向量搜尋範圍)至FOV之一調整之轉譯涉及由攝影機擷取之影像圖框之影像解析度以及由攝影機擷取且被編碼器編碼之一給定場景之角範圍(在某些情形中,攝影機之透鏡之視角)。 根據某些實施例,攝影機進一步可進行變焦(Z)控制。 根據某些實施例,攝影機進一步可進行旋轉(R)控制。 根據某些實施例,該編碼器經配置以與該攝影機之該FPS設定不同之一FPS設定來編碼之該視訊串流。在此情形中,在判定第一臨限速度時,有利地計算且考量編碼器之FPS設定與攝影機之FPS設定之間的一比率。舉例而言,若編碼器每秒僅編碼一個影像圖框而攝影機每秒擷取20個影像圖框,則對於攝影機自一個影像圖框至下一個影像圖框之FOV之最大調整可僅對應於運動向量搜尋範圍之1/20,如上文所闡述。另一選擇係,自影像圖框n至影像圖框n+20之FOV之最大調整可僅對應於運動向量搜尋範圍,如上文所闡述。 根據某些實施例,藉由將該第一臨限速度與2相乘來判定該第二臨限速度。此可被視為使用者在FOV之調整之所要速度與實際速度之間感知到的偏差與自編碼器輸出之經編碼視訊串流之位元速率之減小之間的一良好平衡。 在一第二態樣中,本發明提供一種電腦程式產品,其包括一電腦可讀儲存媒體,該電腦可讀儲存媒體具有經調適以在由具有處理能力之一裝置執行時實施第一態樣之方法之指令。 在一第三態樣中,本發明提供一種控制裝置,該控制裝置經調適以用於控制可左右轉動及傾斜(PT)控制之一攝影機,該攝影機連接至經配置以編碼由該攝影機擷取之一視訊串流之一編碼器,該編碼器具有一運動向量搜尋範圍,該控制裝置包括一處理器,該處理器經配置以用於: 自該攝影機擷取該視訊串流中之一當前影像圖框之一第一視域(FOV)設定, 接收關於該FOV之自該第一FOV設定至該視訊串流中之一後續影像圖框中之一第二FOV設定之一所要調整之一使用者輸入,使用該攝影機之一每秒圖框數(FPS)設定來界定該當前影像圖框與該後續影像圖框之間的一時間週期,且使用該時間週期計算該FOV之該所要調整之一速度及一方向, 藉由在該時間週期期間將該編碼器之該運動向量搜尋範圍轉譯為該攝影機之該FOV之一最大調整來判定一第一臨限速度且計算該FOV之該最大調整之一速度, 藉由將該第一臨限速度與高於1之一值相乘來判定一第二臨限速度, 比較該FOV之該所要調整之該速度與該第一臨限速度及該第二臨限速度, 在判定該FOV之該所要調整之該速度高於該第二臨限速度或低於該第一臨限速度之後,旋即在該時間週期期間將該攝影機之該FOV自該第一FOV設定調整至該第二FOV設定, 在判定該FOV之該所要調整之該速度處於該第一臨限速度與該第二臨限速度之間之後,旋即在該時間週期期間基於該FOV之該所要調整之該方向及該第一臨限速度調整該攝影機之該FOV。 在一第四態樣中,本發明提供一種可左右轉動及傾斜(PT)控制之攝影機,該攝影機連接至經配置以編碼由該攝影機擷取之一視訊串流之一編碼器,該攝影機包括如第三態樣之控制裝置。 根據某些實施例,該攝影機連接至一操縱桿以用於提供關於FOV之所要調整之使用者輸入。 該第二、該第三及該第四態樣通常可具有與該第一態樣相同之特徵及優點。
圖1展示擷取包括複數個影像圖框106、108之一視訊串流104之一攝影機102。當編碼此視訊串流時,可有利地將運動補償預測編碼用作一編碼方法。當攝影機在3D空間中移動時,或當由攝影機擷取之場景內之內容移動時,此導致影像圖框中之內容在影像平面中之一位移。圖1中例示此,其中視訊串流之一第一影像圖框106中之物件已在視訊串流之一第二影像108中移動。運動補償預測編碼通常試圖表示一像素區塊(諸如第二影像圖框108中之區塊110),其中一運動向量闡述第二影像圖框與一先前影像圖框106之間的彼像素區塊之移動。視情況,亦編碼對應於經編碼像素區塊110與先前影像圖框中之最佳匹配像素區塊114之間的一內容差異之剩餘資料。 當搜尋例如先前影像圖框與經編碼像素區塊中之匹配像素區塊時,運動補償預測編碼採用一運動向量搜尋範圍116。編碼通常開始在先前影像106中與當前經編碼區塊110相同之位置112處搜尋一類似像素區塊。在搜尋中可使用任何適合區塊匹配演算法。自開始位置112始發,編碼器將在運動向量搜尋範圍116內搜尋一匹配像素區塊。在於運動向量搜尋區域118中未找到適合匹配區塊之情形中,編碼器通常將使用I區塊編碼對像素區塊進行編碼,此與在可使用例如p區塊編碼(運動補償預測編碼)之情況下相比需要較多位元。毋庸置疑,若攝影機已移動使得兩個影像圖框之間的對應區塊在運動向量搜尋區域118之外,則將不會找到匹配區塊且整個影像圖框可需要使用I圖框編碼來編碼,此與在p區塊編碼可用於影像圖框中之大部分或所有像素區塊之情況下相比導致一經增長位元速率以用於傳輸經編碼影像圖框。此一情境可係在攝影機之一左右轉動-傾斜(PT)運動期間,其中位元速率可達到高位準。在一最佳情形情境中,PT運動(FOV之調整)將足夠小以使編碼器能夠找到一良好運動向量匹配且將每一巨集區塊編碼為一P區塊。然而,在諸多情形中(尤其在編碼器具有一有限運動向量搜尋範圍116之情況下)運動過大且大部分區塊替代地編碼為I區塊。如上文所闡述,I區塊編碼通常比P區塊編碼昂貴得多,此將導致位元速率尖峰。 本發明係基於以下理念:基於編碼器之運動向量搜尋範圍限制FOV之一調整(藉由攝影機一PT(Z)移動)之所允許速度,使得可在其中否則將需要I區塊編碼之某些情形中使用預測編碼。一典型實施方案可係如圖2中所展示固定FOV之調整之速度,使得若FOV之所要調整之速度高於編碼器可能夠使用P區塊編碼之速度但低於一特定臨限速度,則調整之速度可經侷限以滿足編碼器對p區塊編碼之要求。在圖2中,FOV之一所要調整之速度202與調整之實際速度204之速度相同惟一特定速度範圍(在一第一臨限速度206與一第二臨限速度208之間)除外,其中實際速度204係固定的。 換言之,在FOV之所要調整之速度處於第一臨限速度206與第二臨限速度208之間之情形中,將基於FOV之所要調整之方向及第一臨限速度調整FOV。藉由如此做,對於一特定速度範圍之速度,FOV之調整之速度將侷限於編碼器限制,同時對於超過臨限值之速度,實際速度將對應於所要速度。此係有利的,此乃因對於想要快速調整FOV之一使用者,FOV之所要調整亦將係FOV之所得實際調整。 為計算FOV之所要調整之一速度及一方向,可使用不同演算法及尺度。舉例而言,在3D空間中,所要調整之速度可由一向量之一長度表達,例如自第一FOV之一中心至一第二FOV之一中心。圖3中示意性地展示此實施例。為簡化圖解說明,圖3 (亦及圖4至圖6)在2D空間中(亦即3D空間中之FOV之2D投影)展示FOV之調整。 另一選擇係,可使用極座標來計算圍繞一假想球體之向量之一長度及方向,該假想球體具有在攝影機之移動之一原點中之一中心,亦即攝影機之圍繞其攝影機可移動之一懸吊點。 FOV可由被攝影機擷取之一給定場景(下文進一步闡述)之一角範圍及3D空間中表示攝影機之指向方向之一點表示。因此可由指向方向(一X、Y及Z值或類似)表示FOV之中心點且可使用由攝影機擷取之一給定場景之中心點及角範圍計算FOV之隅角。 藉由計算一第一FOV 302與一第二(所要) FOV 304之間的一向量306,可使用向量306之長度作為指示調整之速度之一值,同時可使用向量之方向指示FOV之調整之方向。可例如將長度計算為具有第一FOV 302之攝影機之指向方向與具有第二(所要) FOV 304之攝影機之指向方向之間的X、Y及Z之一差。 代替僅使用第一FOV及第二FOV之一中心點來用於計算速度及方向,可使用FOV之隅角。圖4中展示此,其中計算4個向量306a至306d,FOV之每一隅角一個。為計算速度及方向,可使用四個向量306a至306d之一平均值。另一選擇係,可使用最長向量或最短向量。 在涉及一變焦之情形中,或在調整中涉及FOV之旋轉之情況下,使用FOV之隅角來用於計算FOV之調整之速度及方向可係有利的。在旋轉之情形中,如圖5中所展示,此可導致四個向量306a至306d之不同長度及方向。可如上文所闡述計算FOV之所要調整之所得速度及方向。在變焦之情形中(如圖6中所展示),使用第一FOV 302及第二FOV 304之中心將導致一零向量(亦即長度為0之一向量),此因此使全部分量皆等於零。然而,此係不正確的,此乃因由攝影機擷取之場景之內容將在由具有第一FOV 302之攝影機擷取之影像圖框與由具有第二FOV 304之攝影機擷取之影像圖框之間移動。 應注意,FOV之所要調整不是瞬時的,而是將在一時間週期期間發生。舉例而言,第一FOV 302可係一第一影像圖框之FOV,而第二FOV可係一第n影像圖框之FOV。藉由使用攝影機之每秒圖框數(FPS),可計算調整之時間週期。舉例而言,若FPS係每秒x圖框數;則在此情形中時間週期將係n/x秒。藉由基於時間週期計算速度,可有利地處置其中攝影機之FPS與編碼器之編碼FPS不同之情形,如上文所闡述。 在判定第一臨限速度(圖2中之206)時,在時間週期期間需要將編碼器之運動向量搜尋範圍轉譯為攝影機之FOV之一最大調整。藉由考量由攝影機擷取之影像之解析度及由攝影機擷取之一給定場景之角範圍,可將編碼器之運動向量搜尋範圍轉譯成攝影機之FOV之一最大調整。攝影機之透鏡經調適以擷取一光錐。影像圈係光錐之橫截面。為避免光暈(一影像之周邊處之飽和),攝影機必須具有大於所擷取影像之影像格式之大小之一影像圈。由攝影機擷取之一給定場景之角範圍對應於所擷取影像,而不對應於一透鏡可成像之角範圍。 舉例而言,若由攝影機擷取之場景之角範圍沿一水平方向可係40度且沿一垂直方向可係30度,則一所擷取影像之解析度可係1200 * 900像素。此意指,每個像素對應於一1/30度。在運動向量搜尋範圍係30個像素之情形中,此對應於編碼器中之兩個經編碼影像之間的FOV之1度之一調整。在編碼器之FPS與攝影機之FPS相同之情形中,兩個所擷取影像之間的FOV之最大調整係1度。針對此實例,第一臨限值將因此對應於攝影機之FOV之一個1度調整(在3D空間中)。 藉由將第一臨限速度與高於1之一值相乘來判定第二臨限速度(圖2中之208)。該值可係1.2、1.5、2、4等。根據某些實施例,該值係2。因此,使用上文之實例,第二臨限值可對應於兩個所擷取影像之間的攝影機之FOV之2度調整。 因此若使用者期望在接下來20個圖框內沿一水平方向將FOV調整38度,則可採用調整之速度之限值使得將使38個圖框調整FOV,從而導致經編碼視訊串流之一較低位元速率。若使用者替代地期望將FOV調整45度,則將不採用限值且將對所要20個圖框採取調整,此可導致FOV之調整期間位元速率中之一峰值,此乃因可需要進行I編碼。使用如上文所闡述之一第二臨限值,意欲快速地調整攝影機之FOV之使用者可仍能夠在所要時間週期完成此以用於以超過第二臨限速度之一速度調整。 圖7展示根據本發明之實施例之用於控制可PT控制之一攝影機之一方法。如上文所闡述,亦可使用此方法控制可PTZ、PTR或PTZR控制之一攝影機。攝影機之移動可經配置以遠程控制。 攝影機連接至經配置以編碼由攝影機擷取之一視訊串流之一編碼器。編碼器可在攝影機外部及內部。編碼器具有一經界定運動向量搜尋範圍,該經界定運動向量搜尋範圍可係或可不係可調整的。 方法包括以下步驟:擷取S702視訊串流中之一當前影像圖框之一第一FOV設定。此意指攝影機之當前FOV係經擷取的。 該方法進一步包括以下步驟:接收S704關於該FOV之自該第一FOV設定至該視訊串流中之一後續影像圖框中之一第二FOV設定之一所要調整之一使用者輸入。使用者可舉例而言將一命令輸入至攝影機請求該攝影機沿一水平方向轉動90度,或將變焦值自1x改變至2.5x。所要調整可係關於FOV之任何調整。 可藉由一操縱桿或用於控制攝影機之FOV之其他適合控制構件(諸如一電腦滑鼠)而將使用者輸入提供至攝影機。操縱桿(滑鼠等)可包括例如一按鈕或可被推動(被啟動等)之類似物以用於在第一臨限值與第二臨限值之間更動調整之速度之限值。更動功能性亦可提供於使用者可用之一電腦介面中。控制構件可用於藉由移動控制構件(例如操縱桿之棒)直接調整FOV,或控制構件可結合一電腦介面使用以在一影像中指向及點擊以用於調整攝影機之FOV。在後一情形中,可預界定此調整以在一特定時間週期期間發生,然後可基於第一臨限值及第二臨限值改變時間週期,如上文及下文進一步所闡述。另一典型情況係攝影機經設置以執行一巡更(guard tour),即以一預界定速度在複數個預界定位置之間移動時。 所要調整可因此涉及其間發生調整之一時間週期,或可在調整期間擷取之視訊串流中之若干個影像圖框。換言之,使用者輸入關於FOV之自第一FOV設定至視訊串流中之一後續影像圖框中之一第二FOV設定之一所要調整。依據此,可使用攝影機之一FPS設定界定當前影像圖框與後續影像圖框之間的一時間週期。 依據FOV之所要調整可計算(S706) FOV之所要調整之一速度及一方向。速度之計算涉及其間發生調整之時間週期。 該方法進一步包括以下步驟:藉由在該時間週期期間將該編碼器之該運動向量搜尋範圍轉譯為該攝影機之該FOV之一最大調整來判定(S708)一第一臨限速度。依據此,可計算該FOV之該最大調整之一速度。應注意,在編碼器之運動向量搜尋範圍係一固定數目(例如15、30、40、50等)個像素之情形中,可需要針對每一攝影機僅執行一次或僅在攝影機起動時執行判定(S708)一第一臨限速度之步驟。 該方法進一步包括以下步驟:藉由將該第一臨限速度與高於1之一值相乘來判定(S710)一第二臨限速度。如自上文所理解,根據某些實施例,僅在判定(S708)第一臨限速度時執行此步驟。值可係高於1之任何適合值,例如1.2、1.5、2、2.5、4等。 該方法進一步包括以下步驟:比較(S712)該FOV之該所要調整之該速度與該第一臨限速度及該第二臨限速度,且基於此比較可以兩種不同方式調整FOV。 若判定FOV之所要調整之速度高於第二臨限速度或低於第一臨限速度,則在該時間週期期間將攝影機之FOV自第一FOV設定調整(S714)至第二FOV設定。此意指執行來自使用者之FOV之所要調整。 然而,若判定FOV之所要調整之速度在第一臨限速度與第二臨限速度之間,則在該時間週期期間基於FOV之所要調整之方向及第一臨限速度調整(S716)攝影機之FOV。此意指以最大速度調整FOV使得編碼器仍可在視訊串流中之兩個影像圖框之間找到對應像素區塊,且與在允許根據使用者之期望調整FOV之情況下相比位元速率可因此保持在一較低位準下。
102‧‧‧攝影機
104‧‧‧視訊串流
106‧‧‧影像圖框/第一影像圖框/先前影像圖框/先前影像
108‧‧‧影像圖框/第二影像/第二影像圖框
110‧‧‧區塊/經編碼像素區塊
112‧‧‧位置/開始位置
114‧‧‧最佳匹配像素區塊
116‧‧‧運動向量搜尋範圍/有限運動向量搜尋範圍
118‧‧‧運動向量搜尋區域
202‧‧‧速度
204‧‧‧實際速度
206‧‧‧第一臨限速度
208‧‧‧第二臨限速度
302‧‧‧第一視域
304‧‧‧第二視域/所要視域
306‧‧‧向量
306a‧‧‧向量
306b‧‧‧向量
306c‧‧‧向量
306d‧‧‧向量
透過參考隨附圖式對本發明之實施例之以下說明性及非限制性詳細說明將較佳地理解本發明之上文之以及額外目標、特徵及優點,其中相同元件符號將用於類似元件,在隨附圖式中: 圖1示意性地展示運動補償預測編碼之基礎及一編碼器之一運動向量搜尋範圍之目的, 圖2展示一攝影機之一FOV之一所要調整之一速度與攝影機之FOV之調整之實際速度之間的一傳遞函數, 圖3至圖6各自以實例之方式展示可如何將一FOV之一調整轉譯成調整之一速度及一方向, 圖7展示根據本發明之實施例之用於控制可PT控制之一攝影機之一方法。

Claims (6)

  1. 一種用於控制可左右轉動及傾斜(PT)控制之一攝影機之方法,該攝影機連接至經配置以編碼由該攝影機擷取(captured)之一視訊串流之一編碼器,該編碼器具有一運動向量搜尋範圍,該方法包括以下步驟:當在該視訊串流中擷取一當前影像圖框時,獲得(retrieving)(S702)該攝影機之一第一指向(pointing)方向,接收(S704)關於自該第一指向方向至一第二指向方向的該攝影機之該指向方向之一所要調整之一使用者輸入,該使用者輸入界定一時間週期,在該時間週期期間應該完成該攝影機之該指向方向之該所要調整,且使用該時間週期計算(S706)該指向方向之該所要調整之一速度及一方向,藉由以下來判定(S708)一第一臨限速度:在該時間週期期間將該編碼器之該運動向量搜尋範圍轉譯為該攝影機之該指向方向之一最大調整,其仍允許該編碼器尋找匹配像素區塊,在執行該指向方向之該最大調整時所擷取之二個影像圖框之間使用該運動向量搜尋範圍,其中該運動向量搜尋範圍經界定作為一固定數目之像素,其中由該攝影機所擷取之影像之一解析度,及由該攝影機所擷取之一場景之一角範圍(angular extent)係用以計算該攝影機之該指向方向之該最大調整,及使用該時間週期及使用該最大調整之速度作為該第一臨限速度來計算該指向方向之該最大調整之一速度,藉由將該第一臨限速度與高於1且低於4之一值相乘來判定(S710)一第二臨限速度,比較(S712)該攝影機之該指向方向之該所要調整之該速度與該第一 臨限速度及該第二臨限速度,在判定該攝影機之該指向方向之該所要調整之該速度高於該第二臨限速度或低於該第一臨限速度之後,在該時間週期期間將該攝影機之該指向方向自該第一指向方向調整(S714)至該第二指向方向,使得該調整如該使用者所要而實施,在判定該指向方向之該所要調整之該速度處於該第一臨限速度與第二臨限速度之間之後,在該時間週期期間將該攝影機之該指向方向以該第一臨限速度自該第一指向方向調整(S716)至該第二指向方向,使得該調整以相較於該使用者所要之一經減少速度而實施。
  2. 如請求項1之方法,其中藉由將該第一臨限速度與2相乘來判定該第二臨限速度。
  3. 一種電腦可讀儲存媒體,其具有經調適以在由一電腦執行時實施如請求項1或2之方法之指令。
  4. 一種控制裝置,其經調適以用於控制可左右轉動及傾斜(PT)控制之一攝影機,該攝影機連接至經配置以編碼由該攝影機擷取之一視訊串流之一編碼器,該編碼器具有一運動向量搜尋範圍,該控制裝置包括一處理器,該處理器經配置以用於:當在該視訊串流中擷取一當前影像圖框時,自該攝影機獲得該攝影機之一第一指向方向,接收關於自該第一指向方向至一第二指向方向的該攝影機之該指向 方向之一所要調整之一使用者輸入,該使用者輸入界定一時間週期,在該時間週期期間應該完成該攝影機之該指向方向之該所要調整,且使用該時間週期計算該指向方向之該所要調整之一速度及一方向,藉由以下來判定一第一臨限速度:在該時間週期期間將該編碼器之該運動向量搜尋範圍轉譯為該攝影機之該指向方向之一最大調整,其仍允許該編碼器尋找匹配像素區塊,在執行該指向方向之該最大調整時所擷取之二個影像圖框之間使用該運動向量搜尋範圍,其中該運動向量搜尋範圍經界定作為一固定數目之像素,其中由該攝影機所擷取之影像之一解析度,及由該攝影機所擷取之一場景之一角範圍係用以計算該攝影機之該指向方向之該最大調整,及使用該時間週期及使用該最大調整之速度作為該第一臨限速度來計算該指向方向之該最大調整之一速度,藉由將該第一臨限速度與高於1且低於4之一值相乘來判定一第二臨限速度,比較該攝影機之該指向方向之該所要調整之該速度與該第一臨限速度及該第二臨限速度,在判定該攝影機之該指向方向之該所要調整之該速度高於該第二臨限速度或低於該第一臨限速度之後,在該時間週期期間將該攝影機之該指向方向自該第一指向方向調整至該第二指向方向,使得該調整如該使用者所要而實施,在判定該指向方向之該所要調整之該速度處於該第一臨限速度與該第二臨限速度之間之後,在該時間週期期間將該攝影機之該指向方向以該 第一臨限速度自該第一指向方向調整至該第二指向方向,使得該調整以相較於該使用者所要之一經減少速度而實施。
  5. 一種可左右轉動及傾斜(PT)控制之攝影機,該攝影機連接至經配置以編碼由該攝影機擷取之一視訊串流之一編碼器,該攝影機包括如請求項4之控制裝置。
  6. 如請求項5之攝影機,其連接至一操縱桿,該操縱桿用於提供關於該指向方向之該所要調整之該使用者輸入。
TW106106635A 2016-03-01 2017-03-01 用於控制可左右轉動及傾斜控制之攝影機之方法及裝置 TWI638567B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
??16158024.6 2016-03-01
EP16158024.6A EP3214833B1 (en) 2016-03-01 2016-03-01 A method and device for controlling a camera capable of pan and tilt control

Publications (2)

Publication Number Publication Date
TW201733338A TW201733338A (zh) 2017-09-16
TWI638567B true TWI638567B (zh) 2018-10-11

Family

ID=55588049

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106106635A TWI638567B (zh) 2016-03-01 2017-03-01 用於控制可左右轉動及傾斜控制之攝影機之方法及裝置

Country Status (6)

Country Link
US (1) US9979882B2 (zh)
EP (1) EP3214833B1 (zh)
JP (1) JP6356287B2 (zh)
KR (1) KR101870933B1 (zh)
CN (1) CN107147838B (zh)
TW (1) TWI638567B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10405010B2 (en) * 2017-10-05 2019-09-03 Sling Media Pvt Ltd Methods, systems, and devices for adjusting streaming video field-of-view in accordance with client device commands
KR102080456B1 (ko) * 2018-07-30 2020-02-24 이노뎁 주식회사 압축영상에 대한 신택스 기반의 ptz 카메라의 객체 추적 제어 방법
US11089205B2 (en) * 2019-08-16 2021-08-10 Toyota Motor Engineering & Manufacturing North America, Inc. Window position monitoring system
EP3883234B1 (en) * 2020-03-17 2022-02-02 Axis AB Wearable camera and a method for power consumption optimization in the wearable camera
US20220172440A1 (en) * 2020-12-01 2022-06-02 Samsung Electronics Co., Ltd. Extended field of view generation for split-rendering for virtual reality streaming
US11949984B2 (en) 2021-03-12 2024-04-02 Samsung Electronics Co., Ltd. Electronic device that performs a driving operation of a second camera based on a determination that a tracked object is leaving the field of view of a moveable first camera having a lesser angle of view than the second camera, method for controlling the same, and recording medium of recording program

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW425487B (en) * 1999-06-18 2001-03-11 Kim Woon Yong Apparatus and method of controlling pan/tilt camera
JP2009253510A (ja) * 2008-04-03 2009-10-29 Panasonic Corp 撮像装置
TW201133405A (en) * 2010-03-23 2011-10-01 Avermedia Information Inc Warning system and method for detecting obstacle
JP2012023768A (ja) * 2011-09-29 2012-02-02 Sanyo Electric Co Ltd 撮像装置
US20140267808A1 (en) * 2013-03-12 2014-09-18 Ricoh Company, Ltd. Video transmission apparatus

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4591657B2 (ja) * 2003-12-22 2010-12-01 キヤノン株式会社 動画像符号化装置及びその制御方法、プログラム
JP4636887B2 (ja) 2005-01-11 2011-02-23 キヤノン株式会社 光学機器
US8135068B1 (en) 2005-07-19 2012-03-13 Maxim Integrated Products, Inc. Method and/or architecture for motion estimation using integrated information from camera ISP
US8035691B2 (en) * 2006-08-01 2011-10-11 Pelco, Inc. Method and apparatus for compensating for movement of a video surveillance camera
JP4760896B2 (ja) 2008-11-04 2011-08-31 ソニー株式会社 カメラ制御装置及びカメラ制御方法
KR101200491B1 (ko) * 2008-12-22 2012-11-16 한국전자통신연구원 사람 검출 장치 및 방법
US8724707B2 (en) * 2009-05-07 2014-05-13 Qualcomm Incorporated Video decoding using temporally constrained spatial dependency
KR20130105047A (ko) * 2012-03-16 2013-09-25 삼성테크윈 주식회사 비디오 압축률 향상 방법 및 장치
US9253503B2 (en) 2012-12-18 2016-02-02 Xerox Corporation Computationally efficient motion estimation with learning capabilities for video compression in transportation and regularized environments
JP6347663B2 (ja) * 2014-05-12 2018-06-27 キヤノン株式会社 制御装置、撮像システム、制御方法、及び、プログラム
JP6395506B2 (ja) * 2014-08-22 2018-09-26 キヤノン株式会社 画像処理装置および方法、プログラム、並びに撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW425487B (en) * 1999-06-18 2001-03-11 Kim Woon Yong Apparatus and method of controlling pan/tilt camera
JP2009253510A (ja) * 2008-04-03 2009-10-29 Panasonic Corp 撮像装置
TW201133405A (en) * 2010-03-23 2011-10-01 Avermedia Information Inc Warning system and method for detecting obstacle
JP2012023768A (ja) * 2011-09-29 2012-02-02 Sanyo Electric Co Ltd 撮像装置
US20140267808A1 (en) * 2013-03-12 2014-09-18 Ricoh Company, Ltd. Video transmission apparatus

Also Published As

Publication number Publication date
JP6356287B2 (ja) 2018-07-11
US9979882B2 (en) 2018-05-22
US20170257560A1 (en) 2017-09-07
KR20170102424A (ko) 2017-09-11
CN107147838B (zh) 2018-09-07
EP3214833A1 (en) 2017-09-06
TW201733338A (zh) 2017-09-16
CN107147838A (zh) 2017-09-08
EP3214833B1 (en) 2018-02-28
KR101870933B1 (ko) 2018-06-25
JP2017216671A (ja) 2017-12-07

Similar Documents

Publication Publication Date Title
TWI638567B (zh) 用於控制可左右轉動及傾斜控制之攝影機之方法及裝置
TWI660626B (zh) 用於編碼視訊串流的方法和系統
US9544616B2 (en) Video transmission apparatus
US20210051273A1 (en) Photographing control method, device, apparatus and storage medium
US20170201689A1 (en) Remotely controlled communicated image resolution
CN106293043B (zh) 可视化内容传输控制方法、发送方法、及其装置
JP2017216671A5 (zh)
WO2020063307A1 (zh) 监控摄影设备的方法、云台系统及移动设备
EP3989530A1 (en) Generating substitute image frames based on camera motion
JP5164721B2 (ja) 撮像装置およびズーム制御方法
JP6537396B2 (ja) 画像処理装置、撮像装置および画像処理方法
JP5471224B2 (ja) 撮像システム、撮像装置、情報処理装置及び撮像方法
JP2016111699A (ja) リアルタイム符号化のための方法及び装置
JP7299690B2 (ja) 画像処理装置およびその制御方法
JP7433820B2 (ja) 制御装置、制御方法、プログラム及び記憶媒体
JP2023063251A (ja) ビデオストリームを送信するための方法およびシステム
KR20170055455A (ko) 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템 및 그가 적용된 tvi 장치
JP6001140B2 (ja) 情報処理装置、情報処理方法
JP6073114B2 (ja) ロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステム
JP7336185B2 (ja) 画像処理装置および画像処理方法
JP5769527B2 (ja) 情報処理装置、情報処理方法
JP2022032491A (ja) 映像処理装置、映像処理方法、およびプログラム
JP2022175637A (ja) 撮像装置、撮像方法、及びコンピュータプログラム
JP2017046314A (ja) 制御装置、制御方法、及びプログラム
JP2017108205A (ja) 画像処理装置、撮像装置、制御方法およびプログラム