TWI530180B - 連動式攝影系統及其多攝影機的控制方法 - Google Patents
連動式攝影系統及其多攝影機的控制方法 Download PDFInfo
- Publication number
- TWI530180B TWI530180B TW102121251A TW102121251A TWI530180B TW I530180 B TWI530180 B TW I530180B TW 102121251 A TW102121251 A TW 102121251A TW 102121251 A TW102121251 A TW 102121251A TW I530180 B TWI530180 B TW I530180B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- center point
- camera
- point
- interest
- Prior art date
Links
Landscapes
- Studio Devices (AREA)
Description
本發明係關於一種連動式攝影系統及其多攝影機的控制方法,特別是一種能使多個攝影機快速連動的連動式攝影系統及其多攝影機的控制方法。
隨著監控設備的普及化,越來越多人會裝設監控設備來保障自身的財產與人身安全。為能無死角的監控,因此有廠商提出可全景(panorama)拍攝的攝影機。而全景攝影機的實現方式可以由多組鏡頭所接合而成,也可以利用以單一個魚眼鏡頭(fisheye lens)而實現。全景拍攝的優點在於可以全方位且無死角的方式觀看所拍攝的數位影像。
雖然全景攝影機具有廣角度拍攝的優點,但由於全景攝影機無法進行光學變焦的處理。所以觀看者無法從全景影像中的任一觀看目標進行影像的縮放處理。雖然全景攝影機可以透過數位變焦的方式,對觀看目標進行影像的縮放。但這樣的處理方式僅是利用像素的插補處理,所以經過數位變焦後的影像解析度會大幅下降,使得數位影像會有成像品質不佳的問題。若是在離全景攝影機較遠的地方發生事
故時,觀看者較難從全景影像中觀看到清晰的觀看目標。
相較於全景攝影機而言,迴轉變焦攝影機(pan-tilt-zoom,PTZ)可以進行光學變焦的處理。因此迴轉變焦攝影機可以拉近(zoom in)拍攝視野,使得遠處的觀看目標可以被放大。但迴轉變焦攝影機的拍攝視野則小於全景攝影機的拍攝視野。因此有人嘗試利用一台全景攝影機搭配另一台迴轉變焦攝影機以拍攝相同場景的細節。
但是由於不同位置的攝影機的視角不可能完全一致,若以環境中某一全景攝影機的觀點驅動環境中另一迴轉變焦攝影機時,視野會出現誤差。且現有的搭配方式需要即時運算每個像素在兩個攝影機所擷取的影像中對應的位置,因此需要耗費極大的運算資源以及運算時間。即使以採樣的方式取代對每個像素運算,仍需要有不短的反應時間。特別是當迴轉變焦攝影機同時需要進行在不同軸上的轉動以及變焦時,更是需要繁雜的計算才能得到控制迴轉變焦攝影機所需的參數。
有鑑於以上的問題,本發明提出一種連動式攝影系統及其多攝影機的控制方法。連動式攝影系統包括一第一攝影機、一第二攝影機、一校準單元以及一控制單元;且連動式攝影系統可執行多攝影機的控制方法。
多攝影機的控制方法可以包括下列步驟。利用一
第一攝影機得到一第一影像。利用一第二攝影機得到一第二影像,其中第一影像的拍攝視野至少部分涵蓋第二影像的拍攝視野。依據第一影像以及第二影像建立一控制對應表。接收一指定指令,其中指定指令指定第一影像中的一興趣區域(region of interest,ROI)。依據興趣區域以及控制對應表調整第二攝影機的拍攝視野,使第二攝影機拍攝興趣區域並輸出一第三影像。
而於連動式攝影系統之中,第一攝影機用以得到第一影像,第二攝影機用以得到第二影像,其中第一影像的拍攝視野至少部分涵蓋第二影像的拍攝視野。校準單元用以依據第一影像以及第二影像建立控制對應表。控制單元用以接收指定指令,其中指定指令指定第一影像中的興趣區域;以及依據興趣區域以及控制對應表調整第二攝影機的拍攝視野,使第二攝影機拍攝興趣區域並輸出第三影像。
綜上所述,連動式攝影系統及其多攝影機的控制方法可以利用第一影像以及第二影像建立控制對應表,並以查表的方式直接得到興趣區域所對應的參數並據以得到第三影像。因此連動式攝影系統及其多攝影機的控制方法能夠快速地使多個攝影機連動,而減少使用者需等待的反應時間。
22‧‧‧第一攝影機
24‧‧‧第二攝影機
26‧‧‧校準單元
28‧‧‧控制單元
30‧‧‧第四影像
31‧‧‧參考軸
32‧‧‧第五影像
33‧‧‧參考軸
34‧‧‧部分的全景接圖
35‧‧‧參考軸
40‧‧‧第一影像
41‧‧‧第一中心點
42‧‧‧第二中映點
43‧‧‧定位點
44、44a、44b、44c、44d‧‧‧座標點
45‧‧‧第一參考圓
50‧‧‧第二影像
51‧‧‧第一中映點
52‧‧‧第二中心點
53‧‧‧定位點
55‧‧‧第二參考圓
56‧‧‧縮放夾角
60‧‧‧興趣區域
61‧‧‧第三中心點
62、62a、62b‧‧‧邊界點
71‧‧‧第三中映點
72、72a、72b‧‧‧邊映點
第1圖係為本發明一實施例之連動式攝影系統之方塊示意
圖。
第2A圖係為本發明一實施例之第一攝影機與第二攝影機之架設示意圖。
第2B圖係為本發明另一實施例之第一攝影機與第二攝影機之架設示意圖。
第3圖係為本發明一實施例之多攝影機的控制方法之流程圖。
第4圖係為本發明一實施例之步驟S200之流程圖。
第5圖係為本發明一實施例之第四影像之示意圖。
第6圖係為本發明一實施例之步驟S300之流程圖。
第7圖係為本發明一實施例之定位點之示意圖。
第8圖係為本發明一實施例之步驟S340之流程圖。
第9圖係為本發明一實施例之圓角座標之示意圖。
第10圖係為本發明一實施例之內插法之示意圖。
第11圖係為本發明一實施例之步驟S500之流程圖。
第12A圖係為本發明一實施例之步驟S510之流程圖。
第12B圖係為本發明另一實施例之步驟S510之流程圖。
第13圖係為本發明一實施例之邊映點之示意圖。
第14圖係為本發明一實施例之第二參考圓之示意圖。
以下在實施方式中詳細敘述本發明之詳細特徵以及優點,其內容足以使任何熟習相關技藝者了解本發明之
技術內容並據以實施,且根據本說明書所揭露之內容、申請專利範圍及圖式,任何熟習相關技藝者可輕易地理解本發明相關之目的及優點。以下之實施例係進一步詳細說明本發明之觀點,但非以任何觀點限制本發明之範疇。
本發明提供一種連動式攝影系統及其多攝影機的控制方法,其中連動式攝影系統可執行多攝影機的控制方法。首先請參考「第1圖」,其係為本發明一實施例之連動式攝影系統之方塊示意圖。連動式攝影系統包括一第一攝影機22、一第二攝影機24、一校準單元26以及一控制單元28。其中第一攝影機22、第二攝影機24以及校準單元26分別連接到控制單元28。第一攝影機22以及第二攝影機24可分別對其拍攝視野(field of view)擷取影像,且控制單元28可利用第一攝影機22得到一第一影像,並利用第二攝影機24得到一第二影像。
第一攝影機22以及第二攝影機24可以例如是一組鏡頭加上電荷耦合元件(Charge-coupled Device,CCD)、一組鏡頭加上互補式金屬氧化物半導體(Complementary Metal-Oxide-Semiconductor,CMOS)或是一網路攝影機(Internet Protocol camera,IP camera)。更進一步地說,第一攝影機22的種類可以是魚眼(fisheye)攝影機、全景攝影機或廣角攝影機,以下係以魚眼攝影機為例,因此第一影像係為全景影像(或稱為魚眼影像)。一般而言,全景影像可以涵蓋360度的
拍攝視野。第二攝影機24則可以是迴轉變焦攝影機(Pan-Tilt-Zoom camera,PTZ camera)或是數位迴轉變焦之攝影機。
第一攝影機22的拍攝視野至少部份涵蓋第二攝影機24所拍攝的部分視野。為此第一攝影機22與第二攝影機24的可以相鄰架設,也可以將第一攝影機22與第二攝影機24以相隔一定距離的方式架設。以在同一房間中為例,第一攝影機22可與第二攝影機24並列的設置於相鄰位置,如「第2A圖」所示。此外,也可以將第一攝影機22與第二攝影機24設置於房間中的不同位置,如「第2B圖」所示。
校準單元26以及控制單元28可以透過個人電腦、網路影像記錄器(network video recorder,DVR)、嵌入式系統(embedded system)或具有計算能力的電子裝置所實現。除了上述元件之外,連動式攝影系統亦可依實際需求包括儲存單元以暫存或儲存擷取的影像,且儲存單元可連接到控制單元28。儲存單元例如可以是隨機存取記憶體(Random access memory,RAM)、快取記憶體(flash memory)或是硬碟。
控制單元28並可以連接到一顯示器,以顯示第一攝影機22或第二攝影機24擷取的影像,或是顯示控制單元28處理過的影像。且連動式攝影系統可透過一通訊單元連上網路,並透過網路連到一伺服器或一遠端顯示器,以增加連動式攝影系統的使用彈性。根據一實施範例,校準單元26
以及控制單元28可被配置於同一台計算機或伺服器,再透過網路連接第一攝影機22以及第二攝影機24。
接下來請參照「第3圖」,其係為本發明一實施例之多攝影機的控制方法之流程圖。連動式攝影系統可透過此一多攝影機控制方法,令第二攝影機24依據第一攝影機22以及使用者發出的一指定指令進行左右轉動(pan)、上下轉動(tilt)或是改變縮放(zoom)倍率,進而使第二攝影機24據以擷取一第三影像。
首先可利用第一攝影機得到第一影像(步驟S100),並利用第二攝影機得到第二影像,其中第一影像的拍攝視野至少部分涵蓋第二影像的拍攝視野(步驟S200)。請一併參照「第4圖」,其係為本發明一實施例之步驟S200之流程圖。於步驟S200中,校準單元26或控制單元28可執行下述步驟S210以及S220以獲得第二影像。
校準單元26先利用第二攝影機24對於不同的拍攝視野擷取多個第四影像(步驟S210),這些第四影像可以不是全景影像而是平面影像(planar image)。接著校準單元26再將第四影像進行全景接圖(panorama stitching)以產生一個全景影像,並以此全景影像作為第二影像(步驟S220),如「第5圖」所示。
全景接圖用以將第二攝影機24所拍攝的多個第四影像30進行拼接。如「第5圖」所示,多個不同視角的第
四影像30分別被擷取,而這些第四影像30所涵蓋的視角均為相鄰的背景,且在這些第四影像30中可以有部分的影像內容是重疊的。接著將這些第四影像30進行扭曲變形處理,並得到對應的多個第五影像32。由於第一影像22係由魚眼鏡頭或廣角鏡所拍攝的全景影像,因此需要先將第四影像30進行扭曲處理成第五影像32再進行全景接圖的處理後得到的第二影像才會與第一影像類似。
一般而言,全景接圖時可以根據多張經過扭曲後的第五影像32中的多組特徵(feature)進行接合,特徵可以是影像中的特定物件或場景。因此兩個第五影像32在合併時可以以場景或物件來進行對接。經過前述的接合處理後,可以得到部分的全景接圖34。同理,對於第一影像中的拍攝視野的其他區域,第二攝影機24可以進行拍攝並進行相應的處理。將所有部分的全景接圖34也進行前述的接合處理後可以得到完整全景影像,接合得到的全景影像會被作為第二影像。
由於第四影像30經過扭曲變形後成為第五影像32,因此每一個第四影像30上的水平線都會轉換成圓弧。例如「第5圖」中以水平方向貫穿第四影像30的一參考軸31是水平的,但經扭曲後第五影像32的參考軸33已變成圓弧形,而接合的到的部分的全景接圖34中的參考軸35自然也維持與參考軸33相同的圓弧形。
得到第一影像以及第二影像之後,校準單元26
依據第一影像以及第二影像建立一控制對應表(步驟S300)。其中校準單元26可以直接接收或是透過控制單元28接收第一影像或第四影像;而若是由控制單元28產生第二影像,校準單元26也可直接從控制單元28接收第二影像。
請一併參照「第6圖」以及「第7圖」,其分別為本發明一實施例之步驟S300之流程圖以及定位點之示意圖。
第一影像40具有一第一中心點41,第二影像50具有一第二中心點52;且第一中心點41對應第二影像50中的一第一中映點51,而第二中心點52對應第一影像40中的一第二中映點42。第一中映點51可視為將第一中心點41映射(mapping)到第二影像50中的投影點;第二中映點42則可視為將第二中心點52映射到第一影像40中的投影點。由於第一攝影機22與第二攝影機24必定配置在不同的位置,因此第一影像40與第二影像50的拍攝視野必非完全相同。而在第二影像50中,第一中映點51與第二中心點52的位置也必不相同。且隨著配置間距越遠,在第二影像50中第一中映點51與第二中心點52之間的距離會越大。類似地,在第一影像40中,第二中映點42與第二中心點52的位置也必不相同。
校準單元26在第一影像40與第二影像50中可分別設定位置對應的M個定位點43以及53。其中M為大於
或等於3的正整數(步驟S310),例如M可以是50或100。定位點43以及53係為在第一影像40以及第二影像50中對應相同位置的參考點。如前述,由於第一攝影機40與第二攝影機50的配置位置不同,因此拍攝視野中同一個物件在第一影像40以及第二影像50中亦會落於不同位置。舉例而言,相同的一幅畫的右上角在第一影像40中的座標是(160,180),但相同的點在第一影像40中的座標是(270,80)。
選取參考點的方式除了可以由使用者自行選擇外,也可以透過特徵點抽取與辨識比對(feature point extraction and matching)技術找出第一影像40與全景影像50中對應的定位點43以及53的位置。
校準單元26從第一影像40的M個定位點43中,依所有組合順序從第一影像40中分別選取三個定位點43為一定位點組。其中共會產生N個定位點組,N為正整數(步驟S320)。更實際地說,N為從M個定位點43中一次取3個定位點43的組合數。假設M為4,則校準單元26可從這4個定位點43中依序將第1、2、3個定位點43作為第一個定位點組;將第1、2、4個定位點43作為第二個定位點組;將第1、3、4個定位點43作為第三個定位點組;將第2、3、4個定位點43作為第四個定位點組;共會產生=4個定位點組。
接著,校準單元26計算與N個定位點組分別對應的N個座標轉換參數組(步驟S330)。針對N個定位點組,
校準單元26可逐一根據對應的定位點43以及53進行仿射轉換,以計算一個座標轉換參數組。其中前述M個定位點43在第一影像40的位置以及定位點53在第二影像50之中的位置被視為已知數。仿射轉換係根據下式進行運算:
其中,(Xi,Yi)為第一影像40的定位點43的座標,(Xo,Yo)為第二影像50的定位點53的座標,(a1,a2,a3,b1,b2,b3)為這組定位點43以及53所對應的座標轉換參數組,也就是「式1」中的轉換矩陣的各元素的值。而依據N個定位點組可分別計算出對應的N個座標轉換參數組。在後續的處理步驟中,控制單元28就可依據計算得到的座標轉換參數組將第一影像40的任何一點映射到第二影像50。換句話說,根據座標轉換參數組,能夠針對直接擷取得到的第一影像40中的任何一點,計算此點位於接合得到的第二影像50中的對應位置。
接著校準單元26可在第一影像40中設定多個座標點44。根據一實施範例,可將定位點43以外的所有像素設為座標點44。根據另一實施範例,為了節省運算量以及運算時間,可以以取樣的方式僅將部分的像素設為座標點44。舉例而言,可以每隔8×8或16×16個像素才取一個像素作為座標
點44,如「第7圖」所示。
針對第一影像40中的每一個座標點44,校準單元26可依據這N個座標轉換參數組之一執行轉換程序,以得到每一個座標點44對應於第二攝影機24的一拍攝位置參數(步驟S340),再將拍攝位置參數存入控制對應表(步驟S350)。換句話說,於步驟S340中校準單元26可依序選一個座標點44來執行轉換程序,且可在轉換程序執行完後確認是否已處理完所有的座標點44。如果還有未處理過的座標點44,就繼續從未處理過的座標點44之中擇一執行轉換程序,直到已對所有座標點44執行轉換程序。
請參照「第8圖」,其係為本發明一實施例之步驟S340之流程圖。依據目前針對的座標點44,會由第一影像40中選取N個定位點組之一(步驟S341)。更進一步地說,選取的定位點組可以由第一影像40中離目前針對的座標點44直線距離最近的三個定位點43所形成。校準單元26可計算每一個定位點組中3個定位點43與目前針對的座標點44之間的距離的總和,並選取對應於最小總和的定位點組。
接著依據選取的定位點組所對應的座標轉換參數組,可計算目前針對的坐標點44在第二影像中的映射點(步驟S342),並得到映射點對應的拍攝位置參數(步驟S343)。如前述,座標轉換參數組可以表示一個轉換矩陣;校準單元26可將目前針對的坐標點44的座標乘上此轉換矩陣以得到對
應的映射點的座標。
根據不同實施範例,座標點44以及映射點的座標是直角座標(x,y)的形式或是圓角座標(pan,tilt)的形式。而若採圓角座標的形式,拍攝位置參數可包括第二攝影機的一傾角(tilt angle)以及一搖攝角(pan angle),且傾角與搖攝角分別對應映射點的圓角座標(pan,tilt)的值。直角座標與圓角座標是可以請參照「第9圖」,其係為本發明一實施例之圓角座標之示意圖。直角座標與圓角座標可以以三角函數的公式互換,例如直角座標(x,y)可以以下述公式轉換成圓角座標(pan,tilt):
簡而言之,校準單元26於步驟S340中計算每一個座標點44對應的映射點,並可將這些映射點的圓角座標作為拍攝位置參數存入控制對應表。而藉由控制對應表,以後控制單元28就可以查表的方式快速地的到每個座標點44對應於第二影像50的映射點。
建立控制對應表之後,控制單元28可以不斷確認是否有收到使用者下達的指定指令。若有,則控制單元28接收指定指令;其中指定指令指定第一影像中的一興趣區域(Region of Interest,ROI)(步驟S400)。根據一實施範例,
連動式攝影系統可提供一圖形使用者介面(Graphical User Interface,GUI)以讓使用者能夠以直覺的方式輸入指定指令。例如興趣區域可以是圓形,使用者可以拖曳一個固定大小的圓形以設定興趣區域。而圖形使用者介面也可讓使用者自行設定興趣區域的圓心位置以及半徑的長度。但興趣區域也可以是直角矩形、圓角矩形或橢圓形,在此並不限定。
依據興趣區域以及控制對應表調整第二攝影機24的拍攝視野,控制單元28可使第二攝影機24拍攝興趣區域並輸出一第三影像(步驟S500)。控制單元28可以利用傾角與搖攝角控制第二攝影機24,而第二攝影機24直接在對應於傾角與搖攝角的軸向轉動到被設定的角度,再將動作成此狀態下的拍攝視野擷取成第三影像。
於多攝影機的控制方法中,步驟S100到S300都可算是前置的校準步驟,而步驟S400以及S500則可依據使用者的指令以及控制對應表即時控制第二攝影機24。控制單元28可以重複執行步驟S400以及S500以回應多個指定指令。
請參照「第10圖」,其係為本發明一實施例之步驟S500之流程圖。
控制單元28先依據興趣區域的一第三中心點查詢控制對應表,以得到對應興趣區域的拍攝位置參數(步驟S510);再令第二攝影機24依據查詢得到的拍攝位置參數動作並擷取輸出第三影像(步驟S520)。當興趣區域是圓形時,
第三中心點就會是此圓形的圓心。若第三中心點的位置正好是在其中一個座標點44,則可依據此座標點44查詢控制對應表,並得到此座標點44對應的傾角與搖攝角等拍攝位置參數。
而若第三中心點的位置不是在任何一個座標點44,則可查詢鄰近第三中心點周遭的座標點44於控制對應表中的拍攝參數利用內插法計算出對應第三中心點的拍攝參數(包括傾角與搖攝角)。請參照「第10圖」,其係為本發明一實施例之內插法之示意圖。假設第三中心點61落在彼此相鄰的4個座標點44a、座標點44b、座標點44c以及座標點44d之間,且兩個相鄰的座標點44(例如座標點44a與座標點44b)之間的距離是1個單位。並假設第三中心點61在橫軸上與以座標點44a之間的距離是m,第三中心點61在縱軸上與以座標點44a之間的距離是n,其中m與n都是小於1的正數。如此一來,就可利用下述內插法的公式計算得到第三中心點61的拍攝參數(傾角與搖攝角):P=[A×(1-m)+B×m]×(1-n)+[C×(1-m)+D×m]×n(式4)。其中P是第三中心點61的拍攝參數(傾角與搖攝角),A、B、C以及D分別是座標點44a、座標點44b、座標點44c以及座標點44d的拍攝參數(傾角與搖攝角)。且P、A、B、C以及D可以用數對(pan,tilt)的格式表示。
如上述,控制單元28先查表得到座標點44a、座標點44b、座標點44c以及座標點44d個別對應的傾角與搖攝
角,再利用內插法計算出第三中心點61所對應的傾角與搖攝角。如此一來,控制單元28可以依據第三中心點的位置令第二攝影機24在對應於傾角與搖攝角的軸向轉動到被設定的角度,再將動作成此狀態下的拍攝視野擷取成第三影像。
根據一實施範例,使用者可以改變興趣區域的大小以令第二攝影機24進行光學變焦(zoom)或數位變焦。也就是說,可以依據興趣區域改變第二攝影機24的縮放參數。於此實施範例中,除了傾角以及搖攝角外,拍攝位置參數另包括用以表示縮放參數的一縮放夾角。縮放參數可以是鏡頭擷取影像時的縮放倍率(zoom ratio)、焦距(focus)或視角(viewing angle)。其中縮放倍率是依據鏡頭組的焦段範圍所計算得到的相對倍率;焦距或視角則是絕對值,可針對不同的鏡頭組進行設定和控制。
請一併參照「第12A圖」以及「第13圖」,其分別為本發明一實施例之步驟S510之流程圖以及邊映點的示意圖。於本實施範例中,興趣區域60係為圓形。如「第13圖」所示,興趣區域60包括第三中心點61以及多個邊界點62,其中邊界點62圍繞出興趣區域60的邊界(boundary)。而第三中心點61對應第二影像50的一第三中映點71,每個邊界點62亦對應第二影像50的多個邊映點72。
控制單元28可計算第三中心點61在第二影像50中的第三中映點71,以及邊界點62在第二影像50中的多個
邊映點72(步驟S511)。其中第三中映點71以及邊映點72的座標可透過前述方式依據控制對應表查表或查表搭配內插法快速得到。
控制單元28可依據邊映點72a、第二中心點52及第三中映點71或邊映點72b、第二中心點52及第三中映點71所構成的夾角,(邊映點72a與邊映點72b係經由比對所有邊映點72,以形成最大銳角夾角的點,左右兩邊各取一個後得到),取大者再乘以2以得到一縮放夾角56(步驟S512);縮放夾角無法直接用邊映點72a、第二中心點52、邊映點72b所構成,原因係為邊映點是由邊界點查表對應而得,由對應查表產生的邊映點所組成的圖形並不會對稱(相對於由第二中心點52及第三中映點71所構成的線而言),所以直接用邊映點72a、第二中心點52、邊映點72b所構成的縮放夾角所對應的鏡頭視野範圍會沒辦法完全的涵蓋邊映點72a及邊映點72b,所以取最大夾角再乘二,這樣才能夠做到第三影像的中心點為第三中映點71(第三中心點61)時,第三影像的左右兩側會涵蓋邊映點72a(邊界點62a)與邊映點72b(邊界點62b)。再依據第三中映點71查詢控制對應表,以得到對應興趣區域60的拍攝位置參數(步驟S513),其中拍攝位置參數包括傾角、搖攝角。需注意的是,縮放夾角56是如上述依興趣區域60即時運算得到的,而非查詢控制對應表所得。
如「第5圖」所示,第四影像60中的水平線都
會被扭曲變形成圓弧線。而以相同傾角不同搖攝角擷取並扭曲的所有第五影像32經扭曲後可形成第二影像50中的環狀部分影像,且環狀部份影像中的參考軸33會接成一個完整的圓形,即「第13圖」以及「第14圖」所示的第二參考圓55。
興趣區域60越大,與第二參考圓55相交的邊映點72a與72b之間的距離越大,縮放夾角56也越大,並表示興趣區域60中涵蓋較大的拍攝視野。第二攝影機24可調低其縮放參數以得到較大的拍攝視野;或可調高其縮放參數以得到較窄的拍攝視野,但可針對遠端物件或物件細節獲得更多個細節資訊。因此縮放夾角56可以用來表示擷取第三影像時的縮放參數。
接著請一併參照「第12B圖」以及「第13圖」,其分別為本發明另一實施例之步驟S510之流程圖以及邊映點的示意圖。於本實施範例中,興趣區域60係為圓形。
於步驟S510之中,控制單元28可先計算第二中心點52在第一影像40中的第二中映點42,以及第三中心點61在第二影像50中的第三中映點71(步驟S515)。類似地,第三中映點71以及第二中映點42的座標可透過前述方式依據控制對應表查表或查表加內插法快速得到。
控制單元28可以以第二中映點42為圓心,以第二中映點42與第三中心點61的距離為半徑,計算得到第一參考圓45,其中第一參考圓45與這些邊界點62的其中之二
相交(步驟S516)。於「第13圖」中,邊界點62a以及62b與第一參考圓45相交。
接著控制單元28計算與第一參考圓45相交的這二個邊界點62a以及62b在第二影像50中的邊映點72a以及邊映點72b(步驟S517),並依據邊映點72a以及邊映點72b以及第二中心點52計算縮放夾角56(步驟S518)。其中經由步驟S517得到的邊映點72a以及邊映點72b,有可能會異於經由步驟S512得到的邊映點72a以及邊映點72b。
得到縮放夾角56後,控制單元28依據第三中映點71查詢控制對應表,以得到對應興趣區域60的拍攝位置參數(步驟S519),其中拍攝位置參數包括傾角、搖攝角。計算縮放夾角56時只會用到與第一參考圓45相交的邊界點62a和邊界點62b以及對應的邊映點72a和邊映點72b,而不須計算其他的邊界點62或邊映點72。因此可以快速的計算得到縮放夾角56,並保有高準確度。
如此一來,依據校準單元26先建好的控制對應表以及使用者指定的興趣區域60,控制單元28可以即時且迅速地算出對應的傾角、搖攝角等拍攝位置參數,再據以使第二攝影機24動作,以擷取拍攝視野對應於興趣區域60的第三影像。更進一步地說,第三影像的拍攝視野可以與興趣區域60大致相同,但是具有更高的影像解析度以及更多的影像細節。
綜上所述,連動式攝影系統及其多攝影機的控制方法可以利用一個魚眼攝影機、全景攝影機或廣角攝影機產生一個全景影像(即前述第一影像),並利用一個迴轉變焦攝影機產生另一個拍攝視野有重疊的全景影像(即前述第二影像)。連動式攝影系統及其多攝影機的控制方法依據這兩個全景影像的對應關係建立控制對應表,並以查表的方式以省去後續實際依據指定指令得到拍攝位置參數時可能所需的大量運算。
連動式攝影系統及其多攝影機的控制方法能以查表的方式直接得到興趣區域所對應的傾角以及搖攝角。且藉由查表以及利用第一參考圓,也能夠快速地計算出興趣區域所對應的縮放夾角。因此本連動式攝影系統及其多攝影機的控制方法能夠快速地使多個攝影機連動,而減少使用者需等待的反應時間。
雖然本發明以前述之實施例揭露如上,然其並非用以限定本發明。在不脫離本發明之精神和範圍內,所為之更動與潤飾,均屬本發明之專利保護範圍。關於本發明所界定之保護範圍請參考所附之申請專利範圍。
Claims (16)
- 一種多攝影機的控制方法,包括:利用一第一攝影機得到一第一影像;利用一第二攝影機得到一第二影像,其中該第一影像的拍攝視野至少部分涵蓋該第二影像的拍攝視野;依據該第一影像以及該第二影像建立一控制對應表;接收一指定指令,其中該指定指令指定該第一影像中的一興趣區域;以及依據該興趣區域以及該控制對應表調整該第二攝影機的拍攝視野,使該第二攝影機拍攝該興趣區域並輸出一第三影像;其中該第一影像包括多個座標點,且該依據該第一影像以及該第二影像建立該控制對應表的步驟包括:在該第一影像與該第二影像中分別設定位置對應的M個定位點,M為大於或等於3的正整數;從該第一影像的該M個定位點中,依所有組合順序分別選取三個該些定位點為一定位點組,其中共產生N個該定位點組,N為正整數;計算與該N個定位點組分別對應的N個座標轉換參數組; 針對該第一影像中的每一該座標點,依據該N個座標轉換參數組之一執行一轉換程序,以得到每一該座標點對應於該第二攝影機的一拍攝位置參數;以及將該些拍攝位置參數存入該控制對應表;其中該轉換程序逐一針對該些座標點執行以下步驟:依據目前針對的該座標點選取該N個定位點組之一;依據選取的該定位點組所對應的該座標轉換參數組計算目前針對的該坐標點在該第二影像中的一映射點;以及得到該映射點對應的該拍攝位置參數;其中選取的該定位點組係為由離目前針對的該座標點直線距離最近的三個該定位點所形成。
- 根據申請專利範圍第1項之多攝影機的控制方法,其中該利用該第二攝影機得到該第二影像的步驟包括:利用該第二攝影機對於不同的拍攝視野擷取多個第四影像;以及將該些第四影像進行全景接圖以產生一全景影像,並以該全景影像作為該第二影像。
- 根據申請專利範圍第1項之多攝影機的控制方法,其中該拍攝位置參數包括該第二攝影機的一傾角以及一搖攝角。
- 根據申請專利範圍第1項之多攝影機的控制方法,其中該依據該興趣區域以及該控制對應表調整該第二攝影機的拍攝視野,使該第二攝影機拍攝該興趣區域並輸出該第三影像的步驟包括:依據該興趣區域的一第三中心點查詢該控制對應表,以得到對應該興趣區域的一拍攝位置參數;以及令該第二攝影機依據查詢得到的該拍攝位置參數動作並擷取輸出該第三影像。
- 根據申請專利範圍第4項多攝影機的控制方法,其中該第二影像包括一第二中心點,該興趣區域包括多個邊界點,且該依據該興趣區域的該第三中心點查詢該控制對應表,以得到對應該興趣區域的該拍攝位置參數的步驟包括:計算該第三中心點在該第二影像中的一第三中映點,以及該些邊界點在該第二影像中的多個邊映點;依據該些邊映點、該第二中心點以及該第三中映點計算一縮放夾角;以及依據該第三中映點查詢該控制對應表,以得到對應該興趣區域的該拍攝位置參數,其中該拍攝位置參數包括一傾角、一搖攝角。
- 根據申請專利範圍第4項多攝影機的控制方法,其中該興趣區域係為圓形,該第二影像包括一第二中心點,該興趣 區域包括多個邊界點,且該依據該興趣區域的該第三中心點查詢該控制對應表,以得到對應該興趣區域的該拍攝位置參數的步驟包括:計算該第二中心點在該第一影像中的一第二中映點及該第三中心點在該第二影像中的一第三中映點;以該第二中映點為圓心,並以該第二中映點與該第三中心點的距離為半徑,計算得到一第一參考圓,其中該第一參考圓與該些邊界點的其中之二相交;計算與該第一參考圓相交的該二邊界點在該第二影像中形成的兩個邊映點;依據該兩個邊映點、該第二中心點以及該第三中映點計算一縮放夾角;以及依據該第三中映點查詢該控制對應表,以得到對應該興趣區域的該拍攝位置參數,其中該拍攝位置參數包括一傾角、一搖攝角。
- 根據申請專利範圍第5項多攝影機的控制方法,其中該依據該些邊映點、該第二中心點以及該第三中映點計算該縮放夾角的步驟包括:計算每一該邊映點、該第二中心點與該第三中映點所構成的多個夾角,並找出該些夾角中的一最大銳角夾角;以及將該最大銳角夾角乘以2作為該縮放夾角。
- 根據申請專利範圍第6項多攝影機的控制方法,其中該依據該兩個邊映點、該第二中心點以及該第三中映點計算一縮放夾角的步驟包括:計算每一該邊映點、該第二中心點與該第三中映點所形成的多個夾角;以及將該些夾角中最大的一銳角夾角乘以2作為該縮放夾角。
- 一種連動式攝影系統,包括:一第一攝影機,用以得到一第一影像;一第二攝影機,用以得到一第二影像,其中該第一影像的拍攝視野至少部分涵蓋該第二影像的拍攝視野;一校準單元,用以依據該第一影像以及該第二影像建立一控制對應表;以及一控制單元,用以接收一指定指令,其中該指定指令指定該第一影像中的一興趣區域;以及依據該興趣區域以及該控制對應表調整該第二攝影機的拍攝視野,使該第二攝影機拍攝該興趣區域並輸出一第三影像;其中該第一影像包括多個座標點,且在依據該第一影像以及該第二影像建立該控制對應表時,該校準單元在該第一影像與該第二影像中分別設定位置對應的M個定位點,M為大於或等於3的正整數;從該第一影像的該M個定位點中,依所有組合順序分別選取三個該些定位點為一 定位點組,其中共產生N個該定位點組,N為正整數;計算與該N個定位點組分別對應的N個座標轉換參數組;針對該第一影像中的每一該座標點,依據該N個座標轉換參數組之一執行一轉換程序,以得到每一該座標點對應於該第二攝影機的一拍攝位置參數;以及將該些拍攝位置參數存入該控制對應表;其中於該轉換程序中,逐一針對該些座標點,該控制單元依據目前針對的該座標點選取該N個定位點組之一;依據選取的該定位點組所對應的該座標轉換參數組計算目前針對的該坐標點在該第二影像中的一映射點;以及得到該映射點對應的該拍攝位置參數;其中選取的該定位點組係為由離目前針對的該座標點直線距離最近的三個該定位點所形成。
- 根據申請專利範圍第9項之連動式攝影系統,其中在利用該第二攝影機得到該第二影像時,係利用該第二攝影機對於不同的拍攝視野擷取多個第四影像,將該些第四影像進行全景接圖以產生一全景影像,並以該全景影像作為該第二影像。
- 根據申請專利範圍第9項之之連動式攝影系統,其中該拍攝位置參數包括該第二攝影機的一傾角以及一搖攝角。
- 根據申請專利範圍第9項連動式攝影系統,其中在依據該興趣區域以及該控制對應表調整該第二攝影機的拍攝視 野,使該第二攝影機拍攝該興趣區域並輸出該第三影像時,該控制單元依據該興趣區域的一第三中心點查詢該控制對應表,以得到對應該興趣區域的一拍攝位置參數;以及令該第二攝影機依據查詢得到的該拍攝位置參數動作並擷取輸出該第三影像。
- 根據申請專利範圍第12項之連動式攝影系統,其中該第二影像包括一第二中心點,該興趣區域包括多個邊界點,且在依據該興趣區域的一第三中心點查詢該控制對應表,以得到對應該興趣區域的該拍攝位置參數時,該控制單元計算該第三中心點在該第二影像中的一第三中映點,以及該些邊界點在該第二影像中的多個邊映點;依據該些邊映點、該第二中心點以及該第三中映點計算一縮放夾角;以及依據該第三中映點查詢該控制對應表,以得到對應該興趣區域的該拍攝位置參數,其中該拍攝位置參數包括一傾角、一搖攝角。
- 根據申請專利範圍第12項之連動式攝影系統,其中該興趣區域係為圓形,該第二影像包括一第二中心點,該興趣區域包括多個邊界點,且在依據該興趣區域的一第三中心點查詢該控制對應表,以得到對應該興趣區域的該拍攝位置參數時,該控制單元計算該第二中心點在該第一影像中的一第二中映點及該第三中心點在該第二影像中的一第三中映點,並以該第二中映點為圓心,以該第二中映點與該 第三中心點的距離為半徑,計算得到一第一參考圓,其中該第一參考圓與該些邊界點的其中之二相交,再計算與該第一參考圓相交的該二邊界點在該第二影像中形成的兩個邊映點,依據該兩個邊映點、該第二中心點及該第三中映點計算一縮放夾角,以及依據該第三中映點查詢該控制對應表,以得到對應該興趣區域的該拍攝位置參數,其中該拍攝位置參數包括一傾角及一搖攝角。
- 根據申請專利範圍第13項之連動式攝影系統,其中在依據該些邊映點、該第二中心點以及該第三中映點計算該縮放夾角時,該控制單元計算每一該邊映點、該第二中心點與該第三中映點所形成的多個夾角,並找出該些夾角中的一最大銳角夾角,並將該最大銳角夾角乘以2作為該縮放夾角。
- 根據申請專利範圍第14項之連動式攝影系統,其中在依據該兩個邊映點、該第二中心點以及該第三中映點計算一縮放夾角時,該控制單元計算每一該邊映點、該第二中心點與該第三中映點所形成的多個夾角,並將該些夾角中最大的一銳角夾角乘以2作為該縮放夾角。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW102121251A TWI530180B (zh) | 2013-06-14 | 2013-06-14 | 連動式攝影系統及其多攝影機的控制方法 |
CN201310369631.6A CN103780830B (zh) | 2012-10-17 | 2013-08-22 | 连动式摄影系统及其多摄影机的控制方法 |
EP13188724.2A EP2722831A3 (en) | 2012-10-17 | 2013-10-15 | Linking-up photographing system and control method for linked-up cameras thereof |
US14/056,515 US9313400B2 (en) | 2012-10-17 | 2013-10-17 | Linking-up photographing system and control method for linked-up cameras thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW102121251A TWI530180B (zh) | 2013-06-14 | 2013-06-14 | 連動式攝影系統及其多攝影機的控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201410016A TW201410016A (zh) | 2014-03-01 |
TWI530180B true TWI530180B (zh) | 2016-04-11 |
Family
ID=50820548
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW102121251A TWI530180B (zh) | 2012-10-17 | 2013-06-14 | 連動式攝影系統及其多攝影機的控制方法 |
Country Status (1)
Country | Link |
---|---|
TW (1) | TWI530180B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI689870B (zh) * | 2017-08-29 | 2020-04-01 | 瑞典商安訊士有限公司 | 相對於一固定攝影機來校準另一水平移動、俯仰、變焦攝影機之方向之方法及用來執行所述校準之系統 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI566599B (zh) * | 2014-10-31 | 2017-01-11 | Papago Inc | Screen adjustment monitoring system |
TWI554107B (zh) | 2015-01-12 | 2016-10-11 | 晶睿通訊股份有限公司 | 可改變縮放比例的影像調整方法及其攝影機與影像處理系統 |
US9906721B2 (en) | 2015-10-30 | 2018-02-27 | Essential Products, Inc. | Apparatus and method to record a 360 degree image |
US9819865B2 (en) * | 2015-10-30 | 2017-11-14 | Essential Products, Inc. | Imaging device and method for generating an undistorted wide view image |
US9813623B2 (en) | 2015-10-30 | 2017-11-07 | Essential Products, Inc. | Wide field of view camera for integration with a mobile device |
TWI587246B (zh) * | 2015-11-20 | 2017-06-11 | 晶睿通訊股份有限公司 | 影像物件判別方法及其具有影像物件判別功能的攝影系統 |
US20170243384A1 (en) * | 2016-02-19 | 2017-08-24 | Mediatek Inc. | Image data processing system and associated methods for processing panorama images and image blending using the same |
TWI626603B (zh) * | 2017-10-24 | 2018-06-11 | 鴻海精密工業股份有限公司 | 圖像獲取方法及圖像獲取裝置 |
-
2013
- 2013-06-14 TW TW102121251A patent/TWI530180B/zh active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI689870B (zh) * | 2017-08-29 | 2020-04-01 | 瑞典商安訊士有限公司 | 相對於一固定攝影機來校準另一水平移動、俯仰、變焦攝影機之方向之方法及用來執行所述校準之系統 |
Also Published As
Publication number | Publication date |
---|---|
TW201410016A (zh) | 2014-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI530180B (zh) | 連動式攝影系統及其多攝影機的控制方法 | |
CN103780830B (zh) | 连动式摄影系统及其多摄影机的控制方法 | |
WO2021208371A1 (zh) | 多摄变焦控制方法、装置、电子系统及存储介质 | |
CN102148965B (zh) | 多目标跟踪特写拍摄视频监控系统 | |
US8326077B2 (en) | Method and apparatus for transforming a non-linear lens-distorted image | |
CN112399033B (zh) | 摄像机组件和监控摄像机 | |
US8223214B2 (en) | Camera system with masking processor | |
WO2014023231A1 (zh) | 宽视场超高分辨率光学成像系统及方法 | |
US8274548B2 (en) | Network camera system | |
JP2000032319A (ja) | カメラ制御システム、カメラ制御方法、カメラ制御装置、及びこれらに用いる画像処理装置、記録媒体 | |
JP2017034552A (ja) | 情報処理装置およびその制御方法 | |
JP2008042729A (ja) | ネットワークカメラ | |
WO2021017532A1 (zh) | 图像融合方法及装置、存储介质、终端 | |
KR20120108747A (ko) | 3차원 영상을 생성하는 감시 카메라 및 그 방법 | |
JP5708051B2 (ja) | 映像処理装置、映像処理システム、テレビ会議システム、遠方監視システム、映像処理方法、及び撮像装置 | |
KR20140090775A (ko) | 어안 렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법 및 이를 구현하기 위한 영상 디스플레이 시스템 | |
US20190124260A1 (en) | Method and apparatus for generating indoor panoramic video | |
US8860780B1 (en) | Automatic pivoting in a wide-angle video camera | |
TW201410015A (zh) | 多攝影機的整合處理系統及其方法 | |
JP2000341574A (ja) | カメラ装置及びカメラ制御システム | |
CN104301674A (zh) | 一种基于视频特征匹配的全景监控与ptz摄像机联动方法 | |
KR102009988B1 (ko) | 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템의 영상 보정 방법 및 그가 적용된 tvi 장치 | |
JP6234015B2 (ja) | 撮像装置、マスクエリア表示方法および撮像装置の制御方法 | |
JP2018046415A (ja) | 表示制御装置、表示制御方法及びプログラム | |
KR102707798B1 (ko) | 팬틸트줌 동작이 가능한 카메라 장치와 이를 이용한 영상 감시 시스템 및 방법 |