TWI461057B - 控制裝置，相機系統及程式 - Google Patents

控制裝置，相機系統及程式 Download PDF

Info

Publication number
TWI461057B
TWI461057B TW100107926A TW100107926A TWI461057B TW I461057 B TWI461057 B TW I461057B TW 100107926 A TW100107926 A TW 100107926A TW 100107926 A TW100107926 A TW 100107926A TW I461057 B TWI461057 B TW I461057B
Authority
TW
Taiwan
Prior art keywords
image
preset
camera
area
entire image
Prior art date
Application number
TW100107926A
Other languages
English (en)
Other versions
TW201201573A (en
Inventor
Toshihiro Ezoe
Kazunori Sakaki
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201201573A publication Critical patent/TW201201573A/zh
Application granted granted Critical
Publication of TWI461057B publication Critical patent/TWI461057B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Accessories Of Cameras (AREA)

Description

控制裝置，相機系統及程式
本發明係相關於控制裝置，相機系統及程式。
已知相機控制系統，其中可由相機擷取之範圍顯示作整個影像，及由在整個影像上的操作來控制相機的成像方向。例如在日本專利申請案號碼JP-A-2005-354748說明此相機控制系統。另外，已知相機控制系統，其中對應於預設區之區段被顯示作縮圖，及當選擇想要的一縮圖時，相機的成像方向被控制到對應的預設區(例如參考日本專利申請公開號碼JP-A-2008-22260)。
然而，在日本專利申請案號碼JP-A-2005-354748和在日本專利申請公開號碼JP-A-2008-22260所說明之上述相機控制系統的任一個中，在可由相機所擷取之範圍中(整個影像)無法容易確定位置對應於預設區。此外，在JP-A-2005-354748和JP-A-2008-22260所說明之技術中，在整個影像上無法決定預設位置。因此，無法藉由在整個影像上的操作來控制成像方向朝預設區。結果，無法直覺式控制成像方向到想要的預設方向，及需要許多嘗試和錯誤。
按照上述，希望設置控制裝置、相機系統、及程式，它們是創新及改良的，並且能夠直覺式控制成像方向到設定在整個影像中之預設區。
根據本發明的實施例，設置有控制裝置，包括：顯示控制部，其執行控制，使得顯示由相機所擷取的整個影像之整個影像顯示區，及放大對應於整個影像上所指定的位置之區域及顯示放大影像的放大影像顯示區被顯示；以及控制部，其執行控制，使得對應於整個影像上所指定的位置之區域被改變。區域包括至少一預設區，及顯示控制部顯示對應於預設區之區段在整個影像上。
在此組態中，控制部執行控制，使得由相機擷取對應於整個影像上所指定的位置之區域。
在此組態中，當在整個影像上選擇對應於預設區之區段時，控制部控制相機的成像方向，使得選定的預設區被擷取。
在此組態中，依據基於預設區所設定的視角尺寸，顯示控制部顯示對應於預設區之區段在整個影像上。
在此組態中，當預設區未定位在整個影像的中心時，使用當預設區位在整個影像的中心時之框的尺寸做為參考，顯示控制部以基於預設區所設定之成像放大倍數來校正框的尺寸，及執行顯示。
在此組態中，根據由使用者所執行之拖曳操作，顯示控制部改變預設區的位置，及執行顯示。
在此組態中，當在整個影像上指定複數個預設區時，控制部控制相機的成像方向，使得複數個預設區被連續擷取；並且顯示控制部控制影像顯示，使得複數個預設區被顯示作為列表。
在此組態中，當在整個影像上指定複數個預設區時，控制部控制相機的該成像方向，使得複數個該預設區被連續擷取；並且顯示控制部交替顯示複數個預設區。
根據本發明的另一實施例，設置有相機系統，包括：相機，其擷取影像；以及控制裝置，其控制相機。控制裝置包括：顯示控制部，其執行控制，使得顯示由相機所擷取的整個影像之整個影像顯示區，及放大對應於整個影像上所指定的位置之區域及顯示放大影像的放大影像顯示區被顯示；以及控制部，其執行控制，使得對應於整個影像上所指定的位置之區域被改變。區域包括至少一預設區，及顯示控制部顯示對應於預設區之區段在整個影像上。
在此組態中，控制部執行控制，使得由相機擷取對應於整個影像上所指定的位置之區域。
在此組態中，當在整個影像上選擇對應於預設區之區段時，控制部控制相機的成像方向，使得選定的預設區被擷取。
在此組態中，依據基於預設區所設定的視角尺寸，顯示控制部顯示對應於預設區之區段在整個影像上。
在此組態中，當預設區未定位在整個影像的中心時，使用當預設區位在整個影像的中心時之框的尺寸做為參考，顯示控制部以基於預設區所設定之成像放大倍數來校正框的尺寸，及執行顯示。
在此組態中，根據由使用者所執行之拖曳操作，顯示控制部改變預設區的位置，及執行顯示。
在此組態中，當在整個影像上指定複數個預設區時，控制部控制相機的成像方向，使得複數個預設區被連續擷取；並且顯示控制部控制影像顯示，使得複數個預設區被顯示作為列表。
在此組態中，當在整個影像上指定複數個預設區時，控制部控制相機的成像方向，使得複數個預設區被連續擷取；並且顯示控制部交替顯示複數個預設區。
根據本發明的另一實施例，提供有程式，其包含命令電腦操作如下之指令：顯示控制單元，其執行控制，使得顯示由相機所擷取的整個影像之整個影像顯示區，及放大整個影像上所指定的至少一預設區及顯示放大影像的放大影像顯示區被顯示，並且其顯示對應於預設區之區段在整個影像上；以及控制單元，其執行控制，使得對應於整個影像上所指定的位置之區域被改變。
根據上述本發明，能夠提供控制裝置、相機系統、及程式，它們能夠直覺式控制成像方向到設定在整個影像中之預設區。
下面，將參考附圖詳細說明本發明的較佳實施例。需注意的是，在此說明書和附圖中，具有實質上相同功能和結構之構成元件以相同參考號碼表示，及省略這些構成元件的重複說明。
需注意的是，以下面順序進行說明。
1.第一實施例(包括相機終端裝置和伺服器之成像系統的例子)
(1)成像系統之組態例子
(2)相機終端裝置和中央伺服器之組態例子
(3)第一全景影像和第二全景影像之顯示操作
(4)產生第一全景影像之處理
(5)圖形使用介面(GUI)
(6)第一全景影像上的成像方向之指定
(7)使用預設位置之控制
1.第一實施例 (1)成像系統之組態例子
圖1為根據本發明的實施例之成像系統100的總組態之概要圖。成像系統100包括相機終端裝置(IP(網際網路協定)相機)200、中央伺服器300、及用戶400。複數個相機終端裝置200、中央伺服器300、及用戶400透過網路500來連接。代理伺服器600連接到網路500，及複數個相機終端裝置200連接到代理伺服器600。另外，監視器320連接到中央伺服器300。在本實施例中，相機終端裝置200例如是位在室內或室外之監視相機。可藉由在中央伺服器300的監視器320上顯示相機終端裝置200的每一個所取得之影像來監視設置相機終端裝置200的每一個之區域。透過網路500將用戶400連接到相機終端裝置200、中央伺服器300、或代理伺服器600。用戶400可具有中央伺服器300的功能和監視器320的功能，稍後將說明。透過網路500將由相機終端裝置200所擷取的影像傳送到用戶400，及第一全景影像和第二全景影像與稍後將說明之現場直播影像一起顯示在用戶400的每一個之顯示螢幕上。需注意的是，雖然IP相機被圖示作為相機終端裝置200的例子，但是相機終端裝置200並不侷限於IP相機，及它們可以是類比相機。
全景影像(全視影像、整個影像)指示由相機終端裝置200的每一個可擷取之範圍。具有各種全景影像的形狀，其例子包括圓形全景影像和矩形全景影像，諸如圖4所示者等，及如同投射到圓柱形表面上之環型全景影像。下面，在本實施例中，分別說明圓形全景影像和矩形全景影像作為第一全景影像和第二全景影像的例子。
(2)相機終端裝置和中央伺服器之組態例子
圖2為圖1所示之成像系統中的相機終端裝置200和中央伺服器300之詳細組態概要圖。圖2所示之相機終端裝置200和中央伺服器300的各自構成元件係可由硬體(電路等)，或者藉由諸如CPU等算術處理電路，及使算術處理電路能夠運作之軟體(程式)來形成。相機終端裝置200的相機部201包括成像光學系統。相機部201依據供應自稍後將說明之終端控制部210的成像控制訊號CTa來執行成像操作，及產生視頻訊號Dcam。另外，相機部201透過匯流排220將所產生的視頻訊號Dcam供應到訊號處理部202。需注意的是，記憶體部203、成像方向控制部204、網路界面部206、全景影像儲存部207、及終端控制部210亦連接到匯流排220。
訊號處理部202執行視頻訊號Dcam的壓縮處理，及將所獲得的視頻編碼訊號DV儲存在記憶體部203中。另外，訊號處理部202使用藉由連續移動相機部201的成像方向所獲得之視頻訊號Dcam，來產生第一全景影像的視頻訊號DF(下面亦稱此訊號為第一全景影像訊號DF)及第二全景影像的視頻訊號DP(下面亦稱此訊號為第二全景影像訊號DP)。然後，訊號處理部202將所產生的第一全景影像訊號DF及第二全景影像訊號DP儲存在全景影像儲存部207。需注意的是，視頻訊號Dcam的壓縮處理和第一全景影像訊號DF及第二全景影像訊號DP之產生係基於供應自稍後將說明的終端控制部210之訊號處理控制訊號CTb來執行。
為了將相機部201的成像方向移動至供應自稍後將說明之終端控制部210的方向控制訊號CTc所指示之方向，成像方向控制部204計算當移動成像方向時之速度和加速度。另外，成像方向控制部204基於計算結果而產生執行全景拍攝操作之驅動訊號MDp和執行上下搖攝操作之驅動訊號MDt，以及供應所產生的驅動訊號MDp及MDt到成像方向調整部205。另外，成像方向控制部204產生指示哪一方向為相機部201的成像方向之相機位置資訊訊號PM，及供應所產生的相機位置資訊訊號PM到終端控制部210。
成像方向調整部205包括使相機部201能夠在左右方向移動之全景拍攝操作馬達，及使相機部201能夠在上下方向移動之上下搖攝操作馬達。成像方向調整部205使用驅動訊號MDp來驅動全景拍攝操作馬達，及使用驅動訊號MDt來驅動上下搖攝操作馬達。如此，成像方向調整部205將相機部201之成像方向調整到由方向控制訊號CTc所指示的方向。需注意的是，假設成像方向調整部205執行連續全景拍攝操作，但並不限制其移動範圍。
圖3為相機終端裝置200的全景拍攝操作和上下搖攝拍攝操作的概要圖，及圖示相機終端裝置200裝附在天花板等等之例子。圖3B圖示根據本實施例之相機終端裝置200的全景拍攝/上下搖攝操作。另一方面，圖3A圖示一般相機終端裝置的全景拍攝/上下搖攝操作以作比較。如圖3A所示，在一般相機終端裝置中，執行連續360度全景拍攝操作，及從垂直方向到水平方向的90度範圍執行上下搖攝操作。相反地，在根據本實施例之相機終端裝置200中，執行連續360度全景拍攝操作，及在集中於垂直方向的220度範圍中執行上下搖攝操作。因此，可使用稍後將說明之技術產生第一全景影像的視頻訊號DF，並且儲存在全景影像儲存部207中。稍後將說明之第一全景影像為圓形全景影像。當成像方向被操作橫越圓心的附近時，根據本實施例之相機終端裝置200亦可以最短的距離而機械式移動到目標成像方向。相反地，在一般相機終端裝置中，無法機械式移動相機成像方向橫越圓心。
網路介面部206為透過網路500執行相機終端裝置200和中央伺服器300之間的通訊之介面。
終端控制部210使用成像控制訊號CTa來控制相機部201，使用訊號處理控制訊號CTb來控制訊號處理部202，及使用方向控制訊號CTc來控制成像方向控制部204。如此，終端控制部210在連續移動成像方向的同時執行影像擷取。然後，基於所獲得的視頻訊號Dcam，終端控制部210產生第一全景影像訊號DF和第二全景影像訊號DP，及將它們儲存在全景影像儲存部207。
根據本實施例之成像系統100可將基於視頻訊號Dcam所產生現場直播影像連同基於第一全景影像訊號DF所產生的第一全景影像或基於第二全景影像訊號DF所產生的第二全景影像一起從相機終端裝置200傳送到中央伺服器300，及可將它們顯示在監視器320上。需注意的是，在此說明書中，具有第一全景影像或第二全景影像被稱作整個影像之例子。圖4為第二全景影像和第一全景影像的顯示狀態之概要圖。中央伺服器300可根據使用者選擇將第一全景影像及第二全景影像的其中之一連同現場直播影像一起顯示在監視器320上。另外，中央伺服器300可被建構，使得其連同現場直播影像一起顯示第一全景影像和第二全景影像二者。需注意的是，中心附近的影像不見之圖4的右側上之圓形全景影像被圖示作第一全景影像。然而，第一全景影像並不侷限於此例，及可使用中心附近的影像未不見之圓形全景影像作為第一全景影像。
相機終端裝置200置放在天花板等等，及從相機終端裝置200以朝下方向顯示影像。因此，如圖4所示，集中於從相機終端裝置200朝下延伸的垂直線，取得全景拍攝360度和上下搖攝200度的範圍之第一全景影像，及第一全景影像的輪廓為圓形。
另外，成像方向調整部205被建構，使得其能夠如上述連續執行全景拍攝操作。因此，假設儲存在全景影像儲存部207之第二全景影像被形成，使得影像未如圖4所示一般重疊。例如，假設第二全景影像的一端距參考方向具有“+180度”的角度差，而第二全景影像的另一端距參考方向具有“-180度”的角度差。另外，因為全景拍攝操作的操作範圍並無限制，所以例如與限制操作範圍的例子比較，無法取得操作範圍的中心位置做為參考方向。因此，事先設定參考方向，及第二全景影像訊號DP被產生，使得此參考方向對應於第二全景影像的中心位置。成像方向控制部204產生指示例如相對於事先設定的參考方向之成像方向的角度差之訊號作為相機位置資訊訊號PM。
若以此方式事先設定參考方向，則無須決定使用哪一方向作為產生第二全景影像之成像操作時的參考方向。另外，若由相機位置資訊訊號PM指示相對於參考方向之成像方向的角度差，則容易在第二全景影像上決定基於相機位置資訊訊號PM之成像方向的位置。
再者，在上下搖攝操作中，假設事先設定參考方向及由相機位置資訊訊號PM所指示之相對於參考方向的成像方向之角度差。如此，在第一全景影像和第二全景影像二者上，能夠容易決定基於相機位置資訊訊號PM的成像方向之位置。需注意的是，在上下搖攝操作中，當相機終端裝置200置放在天花板上時，可採用垂直方向做為參考方向。
終端控制部210分析透過網路介面部206供應自中央伺服器300之命令訊號CM，及產生成像控制訊號CTa、訊號處理控制訊號CTb、及方向控制訊號CTc。另外，終端控制部210執行處理，以傳送儲存在記憶體部203之視頻編碼訊號DV、儲存在全景影像儲存部207之第一全景影像訊號DF和第二全景影像訊號DP、及供應自成像方向控制部204之相機位置資訊訊號PM到中央伺服器300。
中央伺服器300的網路介面部301為透過網路500執行相機終端裝置200和中央伺服器300之間的通訊之介面。網路介面部301將供應自相機終端裝置200的視頻編碼訊號DV供應到延伸處理部302。另外，網路介面部301供應相機位置資訊訊號PM到位置決定處理部303，及供應第一全景影像訊號DF和第二全景影像訊號DP到影像處理部304。
延伸處理部302執行視頻編碼訊號DV的延伸處理，及供應所獲得的視頻訊號Dcam到顯示處理部305。
位置決定處理部303決定第一全景影像或第二全景影像中的哪一位置對應於由相機位置資訊訊號PM所指示之成像方向，及供應位置決定結果KP到影像處理部304。此處，若假設相機位置資訊訊號PM產生第一全景影像訊號DF或第二全景影像訊號DP，使得如上述事先設定之參考方向為全景拍攝操作和上下搖攝操作的中心位置，及使得相機位置資訊訊號PM指示參考方向和目前成像方向之間的角度差，基於相機位置決定訊號PM，容易決定鳥瞰圖影像中(即、第一全景影像)中或者第二全景影像中哪一個位置對應於目前成像方向。
影像處理部304基於位置決定結果KP來執行影像處理，及產生第一全景影像的第一全景影像訊號DFC以及第二全景影像的第二全景影像訊號DPC。關於第二全景影像訊號DPC，能夠產生由位置決定結果KP所決定的位置被設定作為中心位置之第二全景影像訊號DPC。在此例中，影像處理部304決定所決定位置和第二全景影像的中心位置之間的差異量。然後，基於所決定的差異量，第二全景影像被處理，使得所決定的位置變成影像之中心位置。尤其是，以所決定的位置為中心位置，設定“±180度”的“第二全景影像之顯示影像框，及對應於偏離第二全景影像之顯示影像框的差異量之區域的第二全景影像傳遞到沒有影像之區域。如此，產生所決定的位置被設定作中心位置之第二全景影像的第二全景影像訊號CPC。再者在第一全景影像訊號DFC中，當在稍後將說明之“用以轉動第一全景影像的模式”中，以類似於第二全景影像訊號DPC之方式，決定第一全景影像的全景拍攝方向中之所決定的位置和參考位置之間的差異量，及基於所決定的差異量，第一全景影像被處理，使得所決定的位置位在影像上。需注意的是，在由位置決定結果KP所決定之位置並未設定作為中心位置的例子中，在未改變中心位置之下，分別基於第一全景影像訊號DF和第二全景影像訊號DP，影像處理部304產生第一全景影像的第一全景影像訊號DFC，及第二全景影像的第二全景影像訊號DPC。另外，影像處理部304顯示第一全景影像訊號DFC和第二全景影像訊號DPC的每一個中之基於位置決定結果KP的位置(即、相機部201的成像光學系統之光軸所指向的位置)。另外，影像處理部304供應藉由執行影像處理已產生之第一全景影像訊號DFC和第二全景影像訊號DPC到顯示處理部305。
顯示處理部305使用供應自延伸處理部302的視頻訊號Dcam以及供應自影像處理部304之第一全景影像訊號DFC和第二全景影像訊號DPC來產生顯示驅動訊號HD，及供應所產生的顯示驅動訊號HD到監視器320。另外，顯示處理部305使用基於供應自稍後將說明之控制部310的GUI顯示控制訊號CTg所產生之GUI視頻訊號來產生顯示驅動訊號HD，及供應所產生的顯示驅動訊號HD到監視器320。顯示處理部305可執行控制，使得傳送自複數個相機終端裝置200之現場直播影像和全景影像被顯示作為監視器320上的列表。
監視器320基於顯示驅動訊號HD來驅動顯示元件(例如，液晶顯示元件或電漿顯示元件)、陰極射線管等等，藉以將成像方向被設定成中心位置之第一全景影像、第二全景影像，由相機部201所擷取之影像(現場直播影像)，GUI影像等等顯示在螢幕上。
GUI被用於使用者介面部315，及使用者介面部315使用監視器320呈現資訊給使用者。當基於所呈現的資訊，使用諸如定位裝置、鍵盤等等操作輸入裝置來執行使用者操作時，使用者介面部315根據使用者操作來供應操作訊號US到控制部310，及使想要的操作能夠被執行。
基於操作訊號US和監視器320的顯示狀態，控制部310決定使用者已選擇哪一處理和使用者已請求哪一處理。然後，控制部310基於決定結果來產生控制訊號CTm，及供應所產生的控制訊號CTm到各部，藉以控制中央伺服器300的操作。另外，控制部310基於決定結果來產生命令訊號CM，及透過網路介面部301供應所產生的命令訊號CM到相機終端裝置200，藉以控制相機終端裝置200的操作。另外，控制部310產生GUI顯示控制訊號CTg，及將其供應到顯示處理部305。
在上述例子中，相機終端裝置200從視頻訊號Dcam產生第一全景影像的視頻訊號DF和第二全景影像的視頻訊號DP。然而，中央伺服器300或用戶400可產生第一全景影像的視頻訊號DF和第二全景影像的視頻訊號DP。在此例中，相機終端裝置200的網路介面部206傳送輸出自相機部201之視頻訊號Dcam到中央伺服器300或用戶400。若中央伺服器300或用戶400被設置有類似於相機終端裝置200的訊號處理部之訊號處理部，則中央伺服器300或用戶400可產生第一全景影像的視頻訊號DF和第二全景影像的視頻訊號DP。第一全景影像的視頻訊號DF和第二全景影像的視頻訊號DP儲存在設置於中央伺服器300或用戶400之諸如硬碟等記憶體中。
(3)第一全景影像和第二全景影像之顯示操作
接著，將說明第一全景影像和第二全景影像之顯示操作。當操作開始時，控制部310將請求傳輸第一全景影像訊號DF、第二全景影像訊號DP、相機位置資訊訊號PM、和視頻編碼訊號DV之命令訊號CM傳送到相機終端裝置200的每一個。當第一全景影像訊號DF和第二全景影像訊號DP儲存在全景影像儲存部207時，相機終端裝置200讀出第一全景影像訊號DF和第二全景影像訊號DP，及將它們傳送到中央伺服器300。另一方面，當第一全景影像訊號DF或第二全景影像訊號DP未儲存在全景影像儲存部207時，相機終端裝置200控制相機部201、訊號處理部202、及成像方向控制部204，及在移動成像方向的同時執行成像操作。如此，相機終端裝置200產生第一全景影像訊號DF和第二全景影像訊號DP，及將它們傳送到中央伺服器300。需注意的是，相機終端裝置200將所產生的第一全景影像訊號DF和第二全景影像訊號DP儲存在全景影像儲存部207。
相機終端裝置200供應在成像方向控制部204所產生之相機位置資訊訊號PM到中央伺服器300。另外，相機終端裝置200開始相機部201的成像操作，在訊號處理部202中壓縮所獲得的視頻訊號Dcam，及將視頻編碼訊號DV儲存在記憶體部203中。另外，相機終端裝置200供應儲存在記憶體部203中之視頻編碼訊號DV到中央伺服器300。需注意的是，當如圖1所示透過代理伺服器600連接相機終端裝置200和網路500時，透過代理伺服器600在相機終端裝置200的每一個和中央伺服器300之間傳送和接收資訊。
中央伺服器300之位置決定處理部303決定第一全景影像或第二全景影像中的哪一位置對應於由相機位置資訊訊號PM所指示之成像方向，及供應位置決定結果KP到影像處理部304。若採用第二全景影像作為例子，當例如由相機位置資訊訊號PM所指示之角度差為“0度”時，因為成像方向被設定成參考方向，所以成像方向的位置為第二全景影像的中心位置。
影像處理部304基於位置決定結果KP來執行影像處理。當位置決定結果KP指示成像方向的位置為第二全景影像之中心位置時，成像方向上的影像對應於第二全景影像之中心位置。因此，未執行第二全景影像的影像處理，及第二全景影像訊號DP係供應到顯示處理部305，作為第二全景影像訊號DPC。另一方面，當成像方向的位置非第二全景影像的中心位置時，所決定的成像方向之位置和第二全景影像的中心位置之間的差異量被決定。然後，基於所決定的差異量，第二全景影像被處理，使得所決定的位置對應於影像的中心位置，及產生第二全景影像訊號DPC。
因此，在第二全景影像中，當例如由相機位置資訊訊號PM所指示的角度差為“0度”時，由相機部201所擷取的影像、參考方向對應於中心位置之第二全景影像、及有關GUI的影像被顯示在由供應自顯示處理部305之顯示驅動訊號HD所驅動的監視器302之螢幕上。
在第一全景影像之例子中，當在稍後將說明之“用以轉動第一全景影像的模式”中，以類似於第二全景影像訊號DPC之方式，決定第一全景影像的全景拍攝方向中之所決定的位置和參考位置之間的差異量。然後，基於所決定的差異量，第一全景影像被處理，使得所決定的位置位在影像下方(在稍後說明的中心線L上)，及產生第一全景影像訊號DFC。影像處理部304顯示基於位置決定結果KP之成像方向的位置(即、相機部201的成像光學系統之光軸所指向的位置)在第一全景影像訊號DFC和第二全景影像訊號DPC的每一個中。
在第一全景影像和第二全景影像的任一個中，事先設定的參考位置可被固定及顯示作中心位置。在此例中，由位置決定結果KP所決定之位置和事先設定的參考位置之間的差異量被決定，及基於所決定的差異量，指示相機的成像方向(包括在相機部201中之光學系統的光軸之方向)被指向從中心位置移動差異量的位置之游標、框等等顯示在第一或第二全景影像中。
延伸處理部302延伸視頻編碼訊號DV，及供應所獲得的視頻訊號Dcam到顯示處理部305。控制部310供應用以執行GUI顯示之GUI顯示控制訊號CTg到顯示處理部305。
(4)產生第一全景影像之處理
接著，將參考圖5至圖8說明產生第一全景影像訊號DF之處理。當產生第一全景影像訊號DF時，為第一全景影像的每一區取得影像。首先，如圖5所示，相機終端裝置200的變焦被固定，及以指定間隔執行全景拍攝/上下搖攝操作及取得靜止影像。圖5所示之號碼指示影像取得的順序。
接著，藉由下面程序[1]至[3]執行靜止影像座標系統的座標轉換。此處，如圖6所示，靜止影像的各點被轉換成如從相機終端裝置200的轉動中心所觀看一般之相對位置(x,y,z)。
[1]具有thh[度]的水平視角和寬高比a之相機的觀看點設定在原點及指向a-z方向。若物像面(x,y,-L)被認為在距離L的位置中，則可見的範圍為矩形2Lx×2Ly。此處，建立下面關係：Lx=L‧tan(thh/2)，Ly=Lx/a。
[2]相機的姿勢最初為(x,y,z,p,q,r)。然而，考慮觀看點的位置固定在原點，獲得等式x=y=z=0。因此，此處，只有(p,q,r)被考慮(p：全景拍攝(y軸轉動)，q：上下搖攝(x軸轉動)，r：滾動(z軸轉動))。
[3]當使用矩形(2Lx)×(2Ly)中的點(j,i)時，建立下面等式。
x=Lx×(j-Lx)/Lx
y=Ly×(i-Ly)/Ly
z=-L
[4]使用(x,y,z)應用滾動換算、上下搖攝換算、及全景拍攝換算的下面等式。
式子1
■滾動換算
■上下搖攝換算
■全景拍攝換算
此處所獲得之點(x3,y3,z3)的值對應於當從相機之轉動中心觀看靜止影像中的點(x,y,z)之座標系統所表示之值。
接著，將相對位置轉換成橫向和縱向。此處，如圖7所示，上述所獲得的點(x3,y3,z3)被轉換成橫向和縱向。點(x3,y3,z3)之方向和相對於-z方向的水平方向之間的角度為縱向，而點(x3,y3,z3)之方向和x-z面之間的角度為橫向，及橫向和縱向係可藉由下面等式來獲得。
●橫向(La)
La=tan-1 (y3/::sqrt(x3*x3+z3*z3))
縱向(Lo)
當0.0<z3時，
若0.0<x3，則Lo=90.0+La
若0.0≧x3，則Lo=-90.0-La
當0.0≧z3時，
Lo=tan-1 (x3/z3)/RAD
其中，RAD=π/180(π為圓周率)接著，執行到第一全景影像的轉換。此處，如圖8所示，所獲得的橫向和縱向(La,Lo)被表示，使得由放射狀軸指示橫向，及由周圍座標系統指示縱向。
以上述方式，可產生第一全景影像訊號DF。
(5)圖形使用者介面(GUI)
接著，將說明GUI。圖9為監視器320的顯示螢幕之概要圖。圖9圖示一般螢幕顯示和全螢幕顯示二者。在任一例中，操作面板(控制面板)顯示在螢幕的左側上，而現場直播影像顯示在螢幕的右側上。當操作面板的“螢幕模式”被設定成“Full(全螢幕)”時，圖示全螢幕顯示。
圖10為操作面板上之操作的概要圖。操作面板包括用於個功能之面板，及面板的每一個可被折疊和儲存。可以下列方式分類面板。
●景象
有關顯示的設定
●相機控制
有關相機操作的設定
●全景
全景顯示
●預設位置
有關預設的設定
●觸發
有關觸發的設定
●其他
其他設定
當點選面板的每一個時，打開所點選的面板。圖10A圖示點選面板“景象”的狀態，及功能表被顯示在“景象”欄下方。另一方面，圖10B指示點選面板“相機控制”的狀態，及功能被顯示在“相機控制”行下方。圖10C指示拖曳面板“相機控制”的狀態，及可藉由拖曳它而將面板“相機控制”改變成浮動視窗。
圖11圖示當點選面板“景象”時，顯示諸如“螢幕模式”、“景象尺寸”、“影像編碼解”、及“框率”等功能表的狀態。利用“螢幕模式”功能表，可將顯示模式改變成一般模式和全螢幕模式。利用“景象尺寸”功能表，可指定1/4、1/2、與影像相同的尺寸，及最適模式。在最適模式中，根據目前顯示區域的尺寸來顯示影像。利用“影像編碼解碼”功能表，可執行編碼解碼變化。利用“框率”功能表，可改變JPEG框率。移動影像記錄按鈕被用於記錄移動影像，及靜止影像記錄按鈕被用於記錄靜止影像。除了這些按鈕之外，還可設置麥克風音量滑動器、麥克風靜音開/關按鈕、音訊音量滑動器、音訊靜音開/關按鈕等等。
圖12圖示當點選面板“相機”時所顯示之功能表。利用“操作模式”功能表，可在影像上執行操作模式切換。以它們上面的箭頭來操作全景拍攝/上下搖攝控制按鈕，可指定全景拍攝/上下搖攝方向。位在全景拍攝/上下搖攝控制按鈕的中心之按鈕為原來位置按鈕。變焦按鈕為指定相機終端裝置200的變焦之按鈕，及其被形成使得可看見光學變焦和數位變焦之間的邊界。若連續按壓變焦按鈕的“W”或“T”，則連續執行變焦操作。焦距按鈕被用於將焦點設定成“長距離”或“短距離”。除了這些按鈕之外，還可設置各種按鈕，諸如一推入自動聚焦按鈕及獨佔控制的控制權取得按鈕等。
圖13圖示當點選“預設位置”、“觸發器”、“其他”、及“資訊”所顯示之各自功能表。面板“預設位置”顯示略圖影像在事先決定之複數個成像方向中。藉由點選和選擇略圖影像的其中之一，能夠將相機終端裝置200指向所選定的略圖影像。
(6)第一全景影像上之成像方向的指定
接著，將參考圖14至圖18說明第一全景影像的顯示。圖14為藉由點選操作面板的“預設位置”顯示第一全景景象之狀態的概要圖。需注意的是，現場直播影像顯示在操作面板的右側上。如上述，藉由拖曳和移動“預設位置”欄，顯示第一全景影像之子面板可排列在操作面板的外面，如圖15所示。另外，可在顯示螢幕內移動顯示第一全景影像之子面板。
圖16為顯示第一全景影像之子面板的詳細概要圖。在第一全景影像中，以十字(+)圖示右側上之現場直播影像所顯示的影像之方向(相機終端裝置200之成像光學系統的光軸之方向)。另外，如圖16所示，藉由點選排列在第一全景影像的上右側上之全景切換按鈕，可將第一全景影像切換成第二全景影像。
圖17圖示使用第一全景影像來改變現場直播影像的方向之操作。當改變相機終端裝置200的全景拍攝/上下搖攝方向時，上述全景拍攝/上下搖攝控制按鈕可被用於變化。然而，亦可藉由指定第一全景影像中的指定點來改變相機終端裝置200的全景拍攝/上下搖攝方向。在圖17所示之狀態中，將相機終端裝置200的成像光學系統之光軸指向十字(+)的方向，及顯示在那方向上之現場直播影像。在此狀態中，若點選第一全景影像所示之黑圈(●)，則根據使用者操作之操作訊號US被傳送到控制部310。基於操作訊號US，相機終端裝置200的成像方向控制部204被控制，及將相機終端裝置200的成像光學系統之光軸指向黑圈(●)的方向。因此，顯示在操作面板的右側上之現場直播影像被切換成黑圈(●)的方向上之影像。
如此，使用者可藉由指定第一全景影像中的指定點來指定相機終端裝置200之全景拍攝/上下搖攝方向。第一全景影像包括可由相機終端裝置200擷取之全景拍攝/上下搖攝方向上的所有影像。因此，可藉由在第一全景影像上指定相機終端裝置200的方向，使用者以想要的方向顯示現場直播影像。需注意的是，藉由使用圍繞預定範圍的框來指定區域來取代使用指示點選位置的十字(+)，可控制光軸的方向。
當在第一全景影像上指定相機終端裝置200的方向時，具有兩模式，即、未改變第一全景影像的顯示狀態而只切換現場直播影像之模式，以及第一全景影像轉動之模式。在轉動第一全景影像之模式中，如圖18所示，第一全景影像的角度位置被設定，使得目前顯示現場直播影像之位置(由十字(+)指示)定位在從第一全景影像的中心朝上延伸之直線L上。接著，當在第一全景影像上點選黑圈(●)時，操作面板的右側上所顯示之現場直播影像被切換成黑圈(●)的方向上之影像。同時，第一全景影像轉動，使得黑圈(●)的位置定位在第一全景影像中之直線L上。因此，當使用者看著第一全景影像時，使用者可馬上辨識出現場直播影像的方向在第一全景影像之直線L上。
以類似方式，在第二全景影像中也一樣，使用者可藉由指定第二全景影像中的指定點來指定相機終端裝置200之全景拍攝方向。基於此，使用者可切換現場直播影像的方向。
(7)使用預設位置的控制
接著，將說明使用本實施例之系統中的預設位置之控制。如上述，在本實施例的系統中，藉由在第一全景影像或第二全景影像中指定想要的區域，相機終端裝置200的成像方向可指向指定方向。另一方面，當事先設定一或複數個預設位置時，藉由選擇預設位置(預設位置的其中之一)，相機終端裝置200的成像方向可指向選定位置。
圖19圖示根據本實施例之相機終端裝置200設置在會議室中之情形作為例子。在圖19所示之例子中，為由相機終端裝置200所擷取的影像設定四個預設位置。在四個預設位置的每一個中，擷取“白板”、“投影螢幕”、“會議室的相對寬範圍”、及“會議室的特性”。另外，在螢幕的下部中，顯示整個影像作為第二全景影像。
使用框A至D，將對應於各自預設位置之範圍顯示在第二全景影像中。此處，框A對應於“白板”，框B對應於“會議室的相對寬範圍”，框C對應於“投影螢幕”，及框D對應於“會議室的相對窄範圍”。
因為以此方式顯示對應於各自預設位置之成像範圍的框，所以使用者可看得見和直接決定全景影像中的哪一範圍對應於預設位置的每一個。
藉由使用者使用稍後將說明之方法來事先設定預設位置。預設位置的資料儲存在相機終端裝置200的全景影像儲存部207中，或者設置在中央伺服器300的記憶體，設置在用戶400的記憶體等等。
接著，將說明用以從全景影像顯示如上述所設定之預設位置的每一個之現場直播影像的方法。圖20至圖23各為藉由在圖19所示之整個影像中選擇框A至D的其中之一，而從四個預設位置中指定現場直播影像的狀態之概要圖。
圖20圖示從圖19所示之狀態選擇整個影像中的框A之狀態。可藉由在顯示螢幕上移動游標到整個影像中的框A之位置並且點選框A來執行框A的選擇。如圖20所示，當點選整個影像中的框A時，在整個影像上以大尺寸顯示對應於框A之現場直播影像“白板”。
以類似方式，圖21圖示點選整個影像中的框B之狀態。圖22圖示點選整個影像中的框C之狀態。圖23圖示點選整個影像中的框D之狀態。如圖21至圖23所示，當點選框B、框C、及框D時，顯示各自對應於框B、框C、及框D之現場直播影像。因此，藉由在看著整個影像的同時選擇框A、框B、框C、及框D的其中之一，使用者可切換和顯示現場直播影像中想要的其中之一。
在此例中，當使用者點選框A至D的其中之一時，從使用者介面部315傳送根據使用者操作之操作訊號US到控制部310。操作訊號US包括框A至D的選定者之資訊(即、預設位置的選定者)。控制部310透過網路介面部206傳送基於操作訊號US所產生之命令訊號CM到相機終端裝置200的終端控制部210。終端控制部210分析命令訊號CM，及使用儲存在全景影像儲存部207中之預設位置的資訊來產生方向控制訊號CTc。如此，藉由成像方向控制部204和成像方向調整部205將相機部201的成像方向調整到由方向控制訊號CTc所指示之方向。
需注意的是，當預設位置的資訊儲存在設置於中央伺服器300的記憶體中時，資訊包括在命令訊號CM中，及被傳送到相機終端裝置200。然後，終端控制部210分析命令訊號CM，及使用傳送自中央伺服器300之預設位置的資訊來產生方向控制訊號CTc。
圖24及圖25為用以改變預設位置之方法的概要圖。尤其是，圖24及圖25圖示藉由移動全景影像中之框B的位置來改變預設位置之方法。尤其是，若使用者在圖24所示之狀態中拖曳框B，及當框B移動至圖25所示之位置時結束拖曳操作，則使用者可將對應於框B之預設位置改變成圖25所示的位置。在圖25所示之狀態中，由於使用者所執行之拖曳操作，所以框B的位置被移動至對應於“白板”和“投影螢幕”之位置，及顯示對應於所移動的框B之“白板”和“投影螢幕”的現場直播影像。如此，對應於框B之預設位置被設定成對應於“白板”和“投影螢幕”的位置。
在此例中，當使用者拖曳框B及移動它時，根據使用者操作的操作訊號US從使用者介面部315傳送到控制部310。操作訊號US包括由拖曳操作所移動之框B的資訊(對應於框B之預設位置)。控制部310透過網路介面部206傳送基於操作訊號US所產生之命令訊號CM到相機終端裝置200的終端控制部210。終端控制部210分析命令訊號CM，及改變儲存在全景影像儲存部207中之預設位置的資訊。同時，終端控制部210基於所改變的預設位置來產生方向控制訊號CTc。如此，所改變的預設位置被儲存在全景影像儲存部207中，及相機部201的成像方向被調整到由方向控制訊號CTc所指示之方向。
需注意的是，當預設位置的資訊儲存在設置於中央伺服器300的記憶體中時，控制部310依據基於操作訊號US所產生之命令訊號CM來改變儲存在記憶體中的預設位置。然後，控制部310透過網路介面部206傳送包括所改變的預設位置之命令訊號CM到相機終端裝置200的終端控制部210。終端控制部210分析命令訊號CM，及基於所改變的預設位置來產生方向控制訊號CTc。如此，相機部201的成像方向被調整到由方向控制訊號CTc所指示之方向。
以此方式，藉由拖曳和移動顯示在全景影像中之框的每一個，能夠自由改變預設位置。在此例中，由相機終端裝置200所擷取之所有範圍顯示在全景影像上。因此，使用者可從可由相機終端裝置200所擷取之所有範圍中看得見地設定預設位置的想要者。
接著，將說明顯示設定在全景影像中之複數個現場直播影像的例子。圖26圖示藉由使用者所執行的拖曳操作來選擇兩框(即、框B及框D)之狀態。在此例中，以預定時間間隔交替顯示對應於框B之“會議室的相當寬範圍”的影像以及對應於框D之“會議室的相當窄範圍”的影像作為現場直播影像。
圖27圖示當藉由使用者所執行的拖曳操作來選擇兩框(即、框B及框D)時，對應於框B之“會議室的相當寬範圍”的影像以及對應於框D之“會議室的相當窄範圍”的影像二者都被顯示之例子。在此例中，因為無法同時顯示兩現場直播影像，所以兩影像被交替更新成最新現場直播影像。另一選擇是，兩影像的其中之一可被顯示作為現場直播影像，及然後顯示之前所取得之另一影像的過去影像。
在圖26及圖27之例子中，當使用者藉由拖曳操作指定框B及框D二者時，根據拖曳操作的操作訊號US從使用者介面部315傳送到控制部310。操作訊號US包括選定的框B及D之資訊。控制部310透過網路介面部206傳送基於操作訊號US所產生之命令訊號CM到相機終端裝置200的終端控制部210。終端控制部210分析命令訊號CM，及基於指示選擇兩框B及D之資訊和儲存在全景影像儲存部207中之框B及D的預設位置之資訊來產生方向控制訊號CTc。如此，藉由成像方向控制部204和成像方向調整部205將相機部201的成像方向調整到由方向控制訊號CTc所指示之方向。
圖28為設定預設位置之設定螢幕的詳細例子之概要圖。當點選圖10所示之“預設位置”按鈕時出現圖28所示之預設螢幕。在圖28所示之設定螢幕的例子中，全景影像被顯示到螢幕的中心之右邊，及預設位置的影像(現場直播影像)被顯示到螢幕的中心之左邊。
使用者可藉由在全景影像中執行拖曳操作來執行預設位置的預設。在此例中，例如，藉由在全景影像上拖曳矩形框的對角線之兩端點作為起始點和結束點來執行框A至D的每一個之預設。結果，已藉由預設來設定之框A至D顯示在全景影像上。之後，在藉由使用圖24及圖25所示之方法來執行拖曳操作而使用者已設定框A至D在想要的位置之狀態中，當使用者為預設位置的每一個設定預設數目和名稱並且點選“Set(設定)”按鈕時，完成對應於框A至D的每一個之預設。另外，可藉由點選“Call(呼叫)”按鈕來呼叫預設。需注意的是，藉由輸入預設位置的座標來進行設定。在本實施例中，圖示四個預設位置作為例子。然而，並未特別限制預設位置的數目。
在指定圖28所示之“群組預設位置”中，預設位置可被分類成一些群組。群組被表示作樹狀結構。在“原來設定位置”功能表中，顯示相機原來位置。
當建立新的群組資料夾時，新群組資料夾的屬性被圖示在“新群組”欄中。“重新命名”按鈕為當改變群組名稱時點選之按鈕。“清除”按鈕為當刪除群組時點選之按鈕。“OK(同意)”按鈕為當此頁的設定儲存在相機中時所點選之按鈕。“取消”按鈕為取消此頁的設定變化時所點選之按鈕。
當使用者設定預設位置時，根據使用者操作之操作訊號US從使用者介面部315傳送到控制部310。控制部310透過網路介面部206傳送基於操作訊號US所產生之命令訊號CM到相機終端裝置200之終端控制部210。終端控制部210分析命令訊號CM，及將包括在命令訊號CM之預設位置儲存在全景影像儲存部207中。另外，當預設位置的資訊儲存在設置於中央伺服器300的記憶體時，控制部310依據基於操作訊號US所產生之命令訊號CM，將預設位置儲存在記憶體中。
如上述，在圖28所示之螢幕顯示在連接到中央伺服器300的監視器320上或者在用戶400的顯示部上之狀態中，使用者可使用諸如滑鼠、鍵盤等等定位裝置來設定、改變、及刪除預設位置。
接著，將說明在全景影像上指示預設位置的框之位置和尺寸的設定。當使用者使用拖曳操作等等指定全景影像中的框之位置和尺寸時，設定框的中心位置作為預設位置。然後，在全景影像儲存部207中或者在中央伺服器300的記憶體中，框的中心位置被儲存作為預設位置。
框的參考尺寸被設定成定位在全景影像的中心之框的尺寸，因為影像曲率出現在全景影像的周邊。然後，參考框被放大或縮小至具有對應於成像放大倍數之尺寸，及決定框的最後尺寸。
例如，以下面方式設定相機終端裝置200的相機部201之框尺寸和變焦量之間的關係。如圖28所示，假設全景影像的尺寸高度為90像素而寬度為320像素。在圖28所示之例子中，全景影像為由360度全景拍攝操作所擷取之影像(第二全景影像)。因此，水平方向上的視角對應於360度。
作為例子，假設相機部201的透鏡之水平視角為58度(寬端)及2度(遠端)，及相機部210的最大解析度為640×480(像素)。在此例中，當相機部201的透鏡被設定在寬端時的矩形之尺寸(Xw,Yw)(其中Xw及Yw的單位為像素(像素的數目))以下面關係來表示。
360(度)：50(度)=320：Xw
因此，水平方向中的矩形尺寸為Xw=52(像素)。
垂直方向中的矩形尺寸Yw以下面關係來表示。
640：480=52：Yw
因此，獲得等式Yx=39(像素)。因此，當相機部201的透鏡被設定在寬端時之矩形框的尺寸為(52,39)像素。
當相機終端裝置200被大部分變焦並且透鏡在遠端時，以下面關係來表示矩形(Xt,Yt)(像素)的尺寸。
360(度)：2(度)=320：Xw
因此，水平方向中之矩形的尺寸為Xw=1.8像素。
另外，垂直方向中之矩形的尺寸Yw由下面關係來表示。
640：480=1.7：Yw
因此，獲得等式Yw=1.4(像素)。
因此，如上述，獲得相機部201的框尺寸和變焦量之間的關係。控制部310基於由使用者所指定之框的位置及變焦量來產生命令訊號CM，及透過網路介面部206傳送命令訊號CM到相機終端裝置200的終端控制部210。終端控制部210分析命令訊號CM，及基於包括在命令訊號CM中之變焦量來計算預設位置中之框的尺寸。然後，終端控制部210將所計算的框尺寸連同預設位置的中心位置一起儲存在全景影像儲存部207中。當預設位置儲存在中央伺服器300或用戶400的記憶體中時，控制部310基於包括在命令訊號CM中之變焦位置來設定框的尺寸。另外，基於包括在命令訊號CM中之框的中心位置，控制部310儲存預設位置在記憶體中。需注意的是，可藉由鍵盤輸入等等來指定變焦量，以取代基於框的尺寸來指定變焦量。
如上述，根據本實施例，預設位置顯示在整個影像上(全景影像)，及因此能夠容易確定整個影像中的預設位置。另外，因為可藉由在整個影像上指定它來指定預設，所以能夠明顯提高可使用性。另外，因為可基於成像的視角來顯示預設位置的尺寸(框的尺寸)，所以亦能夠確定已預設的視角之相對尺寸。而且，甚至在以失真方式將整個影像和實際擷取的影像彼此對應之情形中，仍能夠相當確定視角的尺寸。
需注意的是，在上述說明中，說明複數個使用者控制相機終端裝置200的每一個之成像方向的例子。然而，本發明亦可應用到固定相機終端裝置200的每一個之成像方向，及只有對應於來自使用者的區域從整個影像切出並且顯示之系統(數位化執行全景拍攝/上下搖攝控制之系統)。此系統被達成，使得例如中央伺服器300的控制部310根據使用者的成像方向之操作輸入來指定從整個影像的切出範圍，及使用顯示處理部305來執行顯示控制。再者在此例中，藉由使用預設位置來執行上述控制，能夠數位化控制現場直播影像的成像範圍。如上述，本實施例的系統不僅可應用到機械式控制成像方向之系統，而且亦可應用到數位化控制成像方向之系統。
上面參考附圖詳細說明本發明的例示實施例。然而，本發明並不侷限於上述例子。精於本技藝之人士應明白，只要在附錄的申請專利範圍及其同等物的範疇內，可依據設計要求和其他因素而出現各種修改、組合、子組合、及變化。
本申請案包含有關日本專利局於2010、3、26所發表之日本優先權專利申請案JP 2010-073232所揭示的主題，藉以併入其全文做為參考。
100．．．成像系統
200．．．相機終端裝置
201．．．相機部
202．．．訊號處理部
203．．．記憶體部
204．．．成像方向控制部
205．．．成像方向調整部
206．．．網路介面部
207．．．全景影像儲存部
210．．．終端控制部
220．．．匯流排
300．．．中央伺服器
301．．．網路介面部
302．．．延伸處理部
303．．．位置決定處理部
304．．．影像處理部
305．．．顯示處理部
310．．．控制部
315．．．使用者介面部
320．．．監視器
400．．．用戶
500．．．網路
600．．．代理伺服器
CTa．．．成像控制訊號
CTb．．．訊號處理控制訊號
CTc．．．方向控制訊號
CTg．．．圖形使用者介面顯示控制訊號
CTm．．．控制訊號
Dcam．．．視頻訊號
DV．．．視頻編碼訊號
DF．．．第一全景影像訊號
DP．．．第二全景影像訊號
DFC．．．第一全景影像訊號
DPC．．．第二全景影像訊號
MDp．．．驅動訊號
MDt．．．驅動訊號
PM．．．相機位置資訊訊號
CM．．．命令訊號
KP．．．位置決定結果
HD．．．顯示驅動訊號
US．．．操作訊號
L．．．中心線
圖1為根據本發明的實施例之成像系統的總組態之概要圖；
圖2為圖1所示之成像系統中的相機終端裝置和中央伺服器之詳細組態概要圖；
圖3為相機終端裝置200之全景拍攝操作和上下搖攝操作的概要圖；
圖4為全景影像和鳥瞰圖影像之顯示狀態的概要圖；
圖5為產生鳥瞰圖影像訊號DF之處理的概要圖；
圖6為產生鳥瞰圖影像訊號DF之處理的概要圖；
圖7為產生鳥瞰圖影像訊號DF之處理的概要圖；
圖8為產生鳥瞰圖影像訊號DF之處理的概要圖；
圖9為監視器的顯示螢幕之概要圖；
圖10為操作面板上的操作之概要圖；
圖11為當點選面板“景象”時，顯示諸如“螢幕模式”、“景象尺寸”、“影像編碼解”、及“框率”等功能表的狀態之概要圖；
圖12為當點選面板“相機”時所顯示之功能表的概要圖；
圖13為當點選“預設位置”、“觸發器”、“其他”、及“資訊”所顯示之各自功能表的概要圖；
圖14為鳥瞰圖影像的顯示之概要圖；
圖15為鳥瞰圖影像的顯示之概要圖；
圖16為鳥瞰圖影像的顯示之概要圖；
圖17為鳥瞰圖影像的顯示之概要圖；
圖18為鳥瞰圖影像的顯示之概要圖；
圖19為根據本實施例之相機終端裝置係設置在會議室中之例子的概要圖；
圖20為藉由在圖19所示之整個影像中選擇框A至D的其中之一而從四個預定位置中指定現場直播影像的狀態之概要圖；
圖21為藉由在圖19所示之整個影像中選擇框A至D的其中之一而從四個預定位置中指定現場直播影像的狀態之概要圖；
圖22為藉由在圖19所示之整個影像中選擇框A至D的其中之一而從四個預定位置中指定現場直播影像的狀態之概要圖；
圖23為藉由在圖19所示之整個影像中選擇框A至D的其中之一而從四個預定位置中指定現場直播影像的狀態之概要圖；
圖24為改變預設位置之方法的概要圖；
圖25為改變預設位置之方法的概要圖；
圖26為藉由使用者所執行的拖曳操作選擇兩框(即、框B及框D)之狀態的概要圖；
圖27為當藉由使用者所執行的拖曳操作選擇兩框(即、框B及框D)時顯示對應於框B之影像和對應於框D之影像的例子之概要圖；及
圖28為設定螢幕在設定預設位置之詳細例子的概要圖。
100．．．成像系統
200．．．相機終端裝置
201．．．相機部
202．．．訊號處理部
203．．．記憶體部
204．．．成像方向控制部
205．．．成像方向調整部
206．．．網路介面部
207．．．全景影像儲存部
210．．．終端控制部
300．．．中央伺服器
301．．．網路介面部
302．．．延伸處理部
303．．．位置決定處理部
304．．．影像處理部
305．．．顯示處理部
310．．．控制部
315．．．使用者介面部
320．．．監視器
500．．．網路
CTa．．．成像控制訊號
CTb．．．訊號處理控制訊號
CTc．．．方向控制訊號
CTg．．．圖形使用者介面顯示控制訊號
CTm．．．控制訊號
Dcam．．．視頻訊號
DV．．．視頻編碼訊號
DF．．．第一全景影像訊號
DP．．．第二全景影像訊號
DPC．．．第二全景影像訊號
PM．．．相機位置資訊訊號
CM．．．命令訊號
KP．．．位置決定結果
HD．．．顯示驅動訊號
US．．．操作訊號
MDp、MDt．．．驅動訊號

Claims (17)

  1. 一種控制裝置，包含：顯示控制部，其執行控制，使得顯示由相機所擷取的整個影像之整個影像顯示區，及放大對應於該整個影像上所指定的位置之區域及顯示放大影像的放大影像顯示區被顯示；以及控制部，其執行控制，使得對應於該整個影像上所指定的位置之該區域被改變，其中，該區域包括至少一預設區，及該顯示控制部顯示對應於該預設區之框在該整個影像上，藉由在該整個影像上指定該框的位置而事先記錄該預設區，以及其中，每一該預設區代表各自可選區，使得當選擇想要的預設區時，基於該各自預設區的尺寸放大該各自預設區的現場直播影像，並與該整個影像同時顯示。
  2. 根據申請專利範圍第1項之控制裝置，其中，該控制部執行控制，使得由該相機擷取對應於該整個影像上所指定的該位置之該區域。
  3. 根據申請專利範圍第2項之控制裝置，其中，當在該整個影像上選擇對應於該預設區之該框時，該控制部控制該相機的成像方向，使得該選定的預設區被擷取。
  4. 根據申請專利範圍第2項之控制裝置，其中，依據基於該預設區所設定的視角尺寸，該顯示控制部顯示對應於該預設區之該框在該整個影像上。
  5. 根據申請專利範圍第2項之控制裝置，其中，當該預設區未定位在該整個影像的中心時，使用當該預設區位在該整個影像的該中心時之框的尺寸做為參考，該顯示控制部以基於該預設區所設定之成像放大倍數來校正該框的尺寸，及執行顯示。
  6. 根據申請專利範圍第2項之控制裝置，其中，根據由使用者所執行之拖曳操作，該顯示控制部改變該預設區的位置，及執行顯示。
  7. 根據申請專利範圍第2項之控制裝置，其中，當在該整個影像上指定複數個該預設區時，該控制部控制該相機的成像方向，使得該複數個該預設區被連續擷取，並且其中，該顯示控制部控制影像顯示，使得該複數個該預設區被顯示作為列表。
  8. 根據申請專利範圍第7項之控制裝置，其中，當在整個影像上指定該複數個該預設區時，該控制部控制該相機的該成像方向，使得該複數個該預設區被連續擷取，並且其中，該顯示控制部交替顯示該複數個該預設區。
  9. 一種相機系統，包含：相機，其擷取影像；以及控制裝置，其控制該相機，其中，該控制裝置包括：顯示控制部，其執行控制，使得顯示由該相機所 擷取的整個影像之整個影像顯示區，及放大對應於該整個影像上所指定的位置之區域及顯示放大影像的放大影像顯示區被顯示；以及控制部，其執行控制，使得對應於該整個影像上所指定的該位置之該區域被改變，並且其中，該區域包括至少一預設區，及該顯示控制部顯示對應於該預設區之框在該整個影像上，藉由在該整個影像上指定該框的位置而事先記錄該預設區，以及其中，每一該預設區代表各自可選區，使得當選擇想要的預設區時，基於該各自預設區的尺寸放大該各自預設區的現場直播影像，並與該整個影像同時顯示。
  10. 根據申請專利範圍第9項之相機系統，其中，該控制部執行控制，使得由該相機擷取對應於該整個影像上所指定的該位置之該區域。
  11. 根據申請專利範圍第10項之相機系統，其中，當在該整個影像上選擇對應於該預設區之該框時，該控制部控制該相機的成像方向，使得該選定的預設區被擷取。
  12. 根據申請專利範圍第10項之相機系統，其中，依據基於該預設區所設定的視角尺寸，該顯示控制部顯示對應於該預設區之該框在該整個影像上。
  13. 根據申請專利範圍第10項之相機系統，其中，當該預設區未定位在該整個影像的中心時，使用當該預設區位在該整個影像的該中心時之框的尺寸做為 參考，該顯示控制部以基於該預設區所設定之成像放大倍數來校正該框的尺寸，及執行顯示。
  14. 根據申請專利範圍第10項之相機系統，其中，根據由使用者所執行之拖曳操作，該顯示控制部改變該預設區的位置，及執行顯示。
  15. 根據申請專利範圍第10項之相機系統，其中，當在該整個影像上指定複數個該預設區時，該控制部控制該相機的成像方向，使得該複數個該預設區被連續擷取，並且其中，該顯示控制部控制影像顯示，使得該複數個該預設區被顯示作為列表。
  16. 根據申請專利範圍第15項之相機系統，其中，當在該整個影像上指定該複數個該預設區時，該控制部控制該相機的該成像方向，使得該複數個該預設區被連續擷取，並且其中，該顯示控制部交替顯示該複數個該預設區。
  17. 一種程式，其包含命令電腦操作如下之指令：顯示控制單元，其執行控制，使得顯示由相機所擷取的整個影像之整個影像顯示區，及放大該整個影像上所指定的至少一預設區及顯示放大影像的放大影像顯示區被顯示，並且其顯示對應於該預設區之框在該整個影像上，藉由在該整個影像上指定該框的位置而事先記錄該預設區；以及控制單元，其執行控制，使得對應於該整個影像上所 指定的位置之該區域被改變，以及其中，每一該預設區代表各自可選區，使得當選擇想要的預設區時，基於該各自預設區的尺寸放大該各自預設區的現場直播影像，並與該整個影像同時顯示。
TW100107926A 2010-03-26 2011-03-09 控制裝置，相機系統及程式 TWI461057B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010073232A JP2011205573A (ja) 2010-03-26 2010-03-26 制御装置、カメラシステム及びプログラム

Publications (2)

Publication Number Publication Date
TW201201573A TW201201573A (en) 2012-01-01
TWI461057B true TWI461057B (zh) 2014-11-11

Family

ID=44656006

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100107926A TWI461057B (zh) 2010-03-26 2011-03-09 控制裝置，相機系統及程式

Country Status (5)

Country Link
US (3) US9380196B2 (zh)
JP (1) JP2011205573A (zh)
KR (1) KR20110108265A (zh)
CN (2) CN102202168B (zh)
TW (1) TWI461057B (zh)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5965596B2 (ja) * 2011-07-27 2016-08-10 オリンパス株式会社 画像処理システム、情報処理装置及びプログラム
JP2013051519A (ja) * 2011-08-30 2013-03-14 Sony Corp 情報処理装置、情報処理方法、プログラム及び情報処理システム
JP6074896B2 (ja) 2012-03-16 2017-02-08 株式会社リコー 撮像装置と撮像処理方法
JP2015156523A (ja) * 2012-06-06 2015-08-27 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP5975101B2 (ja) 2012-06-11 2016-08-23 ソニー株式会社 制御装置、制御方法および記録媒体
WO2014051010A1 (ja) * 2012-09-28 2014-04-03 株式会社Ｊｖｃケンウッド 診断支援装置および診断支援方法
JP6139872B2 (ja) * 2012-12-10 2017-05-31 キヤノン株式会社 情報処理装置及びその制御方法、プログラム、記憶媒体、並びに、映像処理システム
JP6044328B2 (ja) * 2012-12-26 2016-12-14 株式会社リコー 画像処理システム、画像処理方法およびプログラム
KR102090624B1 (ko) * 2013-02-26 2020-03-18 삼성전자 주식회사 이미지 촬영장치 및 방법
CN110401795A (zh) 2013-04-30 2019-11-01 索尼公司 图像处理装置、图像处理方法和程序
EP2960856B1 (en) * 2013-04-30 2020-03-04 Sony Corporation Image processing device, image processing method, and program
US9865033B1 (en) * 2014-01-17 2018-01-09 Amazon Technologies, Inc. Motion-based image views
CN109040600B (zh) * 2014-03-21 2021-03-30 北京小米移动软件有限公司 全景景象拍摄及浏览的移动装置、系统及方法
JP6401480B2 (ja) * 2014-04-02 2018-10-10 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US9934222B2 (en) 2014-04-22 2018-04-03 Google Llc Providing a thumbnail image that follows a main image
USD781318S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
USD780777S1 (en) 2014-04-22 2017-03-07 Google Inc. Display screen with graphical user interface or portion thereof
USD781317S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
US9972121B2 (en) * 2014-04-22 2018-05-15 Google Llc Selecting time-distributed panoramic images for display
US9883101B1 (en) * 2014-07-23 2018-01-30 Hoyos Integrity Corporation Providing a real-time via a wireless communication channel associated with a panoramic video capture device
JP6504793B2 (ja) * 2014-11-14 2019-04-24 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US9667848B2 (en) * 2015-04-22 2017-05-30 Qualcomm Incorporated Tiltable camera module
US9877016B2 (en) 2015-05-27 2018-01-23 Google Llc Omnistereo capture and render of panoramic virtual reality content
EP3304897A1 (en) * 2015-05-27 2018-04-11 Google LLC Capture and render of panoramic virtual reality content
JP6558088B2 (ja) * 2015-06-12 2019-08-14 リコーイメージング株式会社 撮影装置、撮影制御装置及び撮影制御方法
TWI547177B (zh) * 2015-08-11 2016-08-21 晶睿通訊股份有限公司 視角切換方法及其攝影機
KR20170124814A (ko) * 2016-05-03 2017-11-13 삼성전자주식회사 영상 표시 장치 및 그 동작 방법
CN106055247A (zh) * 2016-05-25 2016-10-26 努比亚技术有限公司 一种图片显示装置、方法和移动终端
CN105933707B (zh) * 2016-06-30 2019-02-22 北京奇艺世纪科技有限公司 一种全景视频的压缩方法及装置
DE102016213493A1 (de) * 2016-07-22 2018-01-25 Conti Temic Microelectronic Gmbh Kameravorrichtung zur Aufnahme eines Umgebungsbereichs eines eigenen Fahrzeugs sowie Verfahren zur Bereitstellung einer Fahrerassistenzfunktion
JP6953221B2 (ja) * 2017-07-31 2021-10-27 グリー株式会社 画像表示システム、画像表示プログラム、画像表示方法及びサーバ
JP6887130B2 (ja) * 2017-09-29 2021-06-16 パナソニックＩｐマネジメント株式会社 監視カメラシステム及び監視方法
CN108224288B (zh) * 2018-02-08 2024-04-05 浙江天平光电科技有限公司 一种可以自动调节焦距的led筒灯
US10643386B2 (en) 2018-04-11 2020-05-05 Zillow Group, Inc. Presenting image transition sequences between viewing locations
JP7313869B2 (ja) * 2018-05-11 2023-07-25 キヤノン株式会社 撮像装置、制御装置、制御方法及びプログラム
CN109525674B (zh) * 2018-11-27 2021-09-03 上海简家信息技术有限公司 一种制作房屋全景图的系统和方法
CN110427153B (zh) * 2019-07-30 2022-02-11 广州视源电子科技股份有限公司 书写内容显示方法、装置、设备及介质
CN110544312A (zh) * 2019-08-22 2019-12-06 上海晋泷科技有限公司 虚拟场景中的视频显示方法、装置、电子设备与存储装置
CN110602447A (zh) * 2019-08-28 2019-12-20 恒大智慧科技有限公司 一种紧急事件显示方法、装置及存储介质
CN112533021B (zh) * 2019-09-19 2023-04-11 Vidaa(荷兰)国际控股有限公司 一种显示方法及显示设备
JP2021052325A (ja) * 2019-09-25 2021-04-01 キヤノン株式会社 撮像装置、システム、撮像装置の制御方法、プログラム
CN111935456B (zh) * 2020-08-06 2022-05-17 厦门安科科技有限公司 一种施工现场用智能安全监管装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001079931A1 (en) * 2000-04-17 2001-10-25 Hoseo University Panoramic camera
US6720987B2 (en) * 1997-04-21 2004-04-13 Sony Corporation Controller for photographing apparatus and photographing system

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2959220B2 (ja) 1991-07-24 1999-10-06 日本電気株式会社 電子走査アンテナ
US6476868B1 (en) * 1994-04-11 2002-11-05 Canon Kabushiki Kaisha Image pickup apparatus provided with enlargement process means for enlarging image signals output from an image pickup device
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
JPH09327008A (ja) * 1996-06-05 1997-12-16 Ricoh Co Ltd 通信会議端末装置のカメラプリセット位置表示方法、カメラ位置制御方法及びカメラプリセット位置登録方法
JP2005354748A (ja) 1997-04-21 2005-12-22 Sony Corp 撮像手段制御方法および撮像手段制御装置
JP2001346031A (ja) * 2000-06-05 2001-12-14 Fuji Photo Film Co Ltd 画像合成方法及び装置
US6816626B1 (en) * 2001-04-27 2004-11-09 Cisco Technology, Inc. Bandwidth conserving near-end picture-in-picture videotelephony
JP2003108412A (ja) * 2001-10-02 2003-04-11 Hitachi Ltd ストレージ管理方式
US20090040238A1 (en) * 2004-10-25 2009-02-12 Mitsue Ito Image display program and storage medium containing same
JP2006191408A (ja) * 2005-01-07 2006-07-20 Hitachi Kokusai Electric Inc 画像表示プログラム
AU2005200888B2 (en) * 2005-02-28 2009-01-08 Canon Kabushiki Kaisha Visualising camera position in recorded video
JP4926416B2 (ja) * 2005-06-15 2012-05-09 キヤノン株式会社 画像表示方法、プログラム、記録媒体及び画像表示装置
JP4244973B2 (ja) * 2005-08-03 2009-03-25 ソニー株式会社 撮像システムとカメラ制御装置およびパノラマ画像表示方法とプログラム
US7813526B1 (en) * 2006-01-26 2010-10-12 Adobe Systems Incorporated Normalizing detected objects
JP2008022260A (ja) 2006-07-12 2008-01-31 Hitachi Kokusai Electric Inc 監視システム
WO2008044605A1 (fr) * 2006-10-04 2008-04-17 Nikon Corporation Appareil électronique et caméra électronique associée
JP2008211413A (ja) 2007-02-26 2008-09-11 Sanyo Electric Co Ltd ビデオカメラ装置
JP4565220B2 (ja) * 2008-07-30 2010-10-20 株式会社モリタ製作所 医療用実習装置
US20100245584A1 (en) * 2009-03-31 2010-09-30 Pelco, Inc. Method and apparatus for creating a zone of interest in a video display
US8724908B2 (en) * 2010-09-03 2014-05-13 Adobe Systems Incorporated System and method for labeling a collection of images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6720987B2 (en) * 1997-04-21 2004-04-13 Sony Corporation Controller for photographing apparatus and photographing system
US20040257436A1 (en) * 1997-04-21 2004-12-23 Sony Corporation Controller for photographing apparatus and photographing system
WO2001079931A1 (en) * 2000-04-17 2001-10-25 Hoseo University Panoramic camera

Also Published As

Publication number Publication date
US9380196B2 (en) 2016-06-28
TW201201573A (en) 2012-01-01
US20200014833A1 (en) 2020-01-09
CN102202168B (zh) 2016-01-27
CN102202168A (zh) 2011-09-28
US11146726B2 (en) 2021-10-12
CN105450934B (zh) 2019-06-07
JP2011205573A (ja) 2011-10-13
US20160277653A1 (en) 2016-09-22
KR20110108265A (ko) 2011-10-05
CN105450934A (zh) 2016-03-30
US20110234832A1 (en) 2011-09-29

Similar Documents

Publication Publication Date Title
TWI461057B (zh) 控制裝置，相機系統及程式
US11477375B2 (en) Control device, camera system, and program
JP6633862B2 (ja) 情報処理装置およびその制御方法
US20040179121A1 (en) System and method for displaying captured images according to imaging device position
CN110351475B (zh) 摄像系统、信息处理设备及其控制方法和存储介质
JP6826481B2 (ja) 映像表示装置、映像表示装置の制御方法及びプログラム
JP5464290B2 (ja) 制御装置、制御方法、及びカメラシステム
KR20170055455A (ko) 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템 및 그가 적용된 tvi 장치
JP2011205574A (ja) 制御装置、カメラシステム及びプログラム
JP2001268556A (ja) 遠隔監視システムおよび制御端末装置
JP2002077880A (ja) 遠隔監視システム
JP6702675B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP2019140599A (ja) 情報処理装置、情報処理方法及びプログラム
WO2023122511A1 (en) Apparatus and method for controlling an online meeting
JP2019140566A (ja) 情報処理装置、情報処理方法及びプログラム