TWI672950B - 可補償影像變化的影像裝置 - Google Patents

可補償影像變化的影像裝置 Download PDF

Info

Publication number
TWI672950B
TWI672950B TW107106059A TW107106059A TWI672950B TW I672950 B TWI672950 B TW I672950B TW 107106059 A TW107106059 A TW 107106059A TW 107106059 A TW107106059 A TW 107106059A TW I672950 B TWI672950 B TW I672950B
Authority
TW
Taiwan
Prior art keywords
image
change
planar
degree
compensator
Prior art date
Application number
TW107106059A
Other languages
English (en)
Other versions
TW201832545A (zh
Inventor
李季峰
Original Assignee
鈺立微電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 鈺立微電子股份有限公司 filed Critical 鈺立微電子股份有限公司
Publication of TW201832545A publication Critical patent/TW201832545A/zh
Application granted granted Critical
Publication of TWI672950B publication Critical patent/TWI672950B/zh

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/642—Optical derotators, i.e. systems for compensating for image rotation, e.g. using rotating prisms, mirrors
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

可補償影像變化的影像裝置包含至少一影像擷取器和一補償器。該補償器電連接該至少一影像擷取器，用以產生一360度影像，根據一視角投影該360度影像以產生對應該視角的一平面影像，偵測對應該平面影像內的至少一物件的影像位置變化，以及補償該平面影像內的至少一物件的影像位置變化，其中該影像裝置的位置變化使該至少一物件的影像位置被改變。

Description

可補償影像變化的影像裝置
本發明是有關於一種影像裝置，尤指一種可補償影像變化的影像裝置。
當一使用者利用一傳統相機拍攝影像時，該傳統相機可擷取一原始影像，並從該原始影像的範圍內決定一顯示影像的尺寸，其中該顯示影像的尺寸小於該原始影像的尺寸。因為該顯示影像的尺寸小於該原始影像的尺寸，所以當該顯示影像因為該使用者移動或轉動該傳統相機而抖動時，該傳統相機可利用現有技術所公開的數位補償方式補償該傳統相機的移動或轉動，也就是說該數位補償方式可調整該顯示影像在該原始影像的範圍內的顯示位置以補償該傳統相機的移動或轉動。然而因為該數位補償方式是調整該顯示影像在該原始影像的範圍內的顯示位置以補償該傳統相機的移動或轉動，所以很明顯地該數位補償方式將會受限於該原始影像的範圍。然而360度影像無此限制，因此，如何針對360度影像改進該數位補償方式將是一相機設計者的一項重要課題。
本發明的一實施例提供一種可補償影像變化的影像裝置。該影像裝 置包含至少一影像擷取器和一補償器。該補償器電連接該至少一影像擷取器，用以產生一360度影像，根據一視角投影該360度影像以產生對應該視角的一平面影像，偵測該平面影像內的至少一物件的影像位置變化，以及補償該平面影像內的至少一物件的影像位置變化，其中該影像裝置的位置變化使該至少一物件的影像位置被改變。
本發明的另一實施例提供一種可補償影像變化的影像裝置。該影像裝置包含至少一影像擷取器和一補償器。該補償器電連接該至少一影像擷取器，用以產生一360度影像，根據複數個視角投影該360度影像以產生對應該複數個視角的複數個平面影像，偵測該複數個平面影像內的至少一物件的影像位置變化，以及補償該複數個平面影像內的至少一物件的影像位置變化，其中該影像裝置的位置變化使該至少一物件的影像位置被改變。
本發明的另一實施例提供一種可補償影像變化的影像裝置。該影像裝置包含至少一影像擷取器和一補償器。該補償器電連接該至少一影像擷取器，用以產生一非平面投影影像，根據一視角投影該非平面投影影像以產生對應該視角的一平面影像，偵測該平面影像內的至少一物件的影像位置變化，以及補償該平面影像內的至少一物件的影像位置變化，其中該影像裝置的位置變化使該至少一物件的影像位置被改變。
本發明提供一種可補償影像變化的影像裝置。因為該影像裝置所產生的一360度影像(一環景影像或一球體影像)包含圍繞該360度影像的光學中心的360度空間的所有影像資訊，所以本發明所提供的影像裝置是利用上述該360度影像的特性可克服現有技術所提供的數位補償方式受限於一原始影像的範圍 的缺點。因此，相較於現有技術，該影像裝置可適用於360度全方位的數位防手震應用。
100‧‧‧影像裝置
202‧‧‧影像擷取組
104‧‧‧補償器
1022、1024、2022、2024、2026‧‧‧影像擷取器
602‧‧‧被攝物
C‧‧‧光學中心
f‧‧‧虛擬焦距
FOV、FOV1、FOV2‧‧‧視角
FOV3‧‧‧新視角
FFOV‧‧‧第一視角
NPIM‧‧‧新360度影像
PIM‧‧‧360度影像
PM、PM1‧‧‧平面影像
PM2‧‧‧新平面影像
PP‧‧‧投影平面
RPM、MPM‧‧‧影像
RP、NRP‧‧‧參考點
SFOV‧‧‧第二視角
TFOV‧‧‧第三視角
T1、T2‧‧‧時間點
Xs‧‧‧移動
θx‧‧‧元素
第1A圖是本發明的一實施例所公開的一種可補償影像變化的影像裝置的示意圖。
第1B圖是說明影像擷取組包含三個影像擷取器的示意圖。
第2圖是說明360度影像的視野的示意圖。
第3圖是說明對應平面影像的至少一物件的轉動的影像的示意圖。
第4圖是說明對應平面影像的至少一物件的移動的影像的示意圖。
第5圖是說明將對應該直角坐標系的三軸中的X軸的移動轉換為對應該旋轉補償矩陣內對應X軸的旋轉角度的元素的示意圖。
第6圖是說明影像裝置在X-Z軸方向出現旋轉使得360度影像的參考點偏移的示意圖。
第7圖是說明補償器可根據該旋轉補償矩陣產生新360度影像以補償對應該平面影像的變化的示意圖。
第8圖是說明影像裝置在X-Z軸方向出現旋轉的示意圖。
第9圖是說明該檢視器可根據該旋轉補償矩陣決定新視角，且根據該新視角投影360度影像以產生新平面影像以補償對應該平面影像的變化的示意圖。
第10A圖是說明該平面影像和該前平面影像之間的移動的影像已經嚴重失真的示意圖。
第10B圖是說明該平面影像和該前平面影像之間的轉動的影像並不會失真的示 意圖。
第11圖是說明補償器可根據2個視角投影360度影像以產生對應該2個視角的2個平面影像的示意圖。
請參照第1A圖，第1A圖是本發明的一實施例所公開的一種可補償影像變化的影像裝置100的示意圖。如第1A圖所示，影像裝置100包含影像擷取器1022、1024和一補償器104，其中影像擷取器1022、1024為魚眼影像擷取器。但本發明並不受限於影像裝置100包含影像擷取器1022、1024，也就是說影像裝置100可包含至少一影像擷取器。另外，本發明也不受限於影像擷取器1022、1024為魚眼影像擷取器。例如，如第1B圖所示，影像裝置100可包含影像擷取器2022、2024、2026，且影像擷取器2022、2024、2026為非魚眼影像擷取器，其中影像擷取器2022具有一第一視角FFOV，影像擷取器2024具有一第二視角SFOV，影像擷取器2026具有一第三視角TFOV，以及第1B圖未繪示補償器104。另外，本發明領域具有熟知技藝者應當熟知影像擷取器1022、1024、2022、2024、2026的每一影像擷取器至少包含鏡頭和影像感測器(例如電荷耦合元件(Charge-coupled Device,CCD)影像感測器或互補式金氧半影像感測器(Complementary Metal-Oxide-Semiconductor Image Sensor))。
如第1A圖所示，補償器104電連接影像擷取器1022、1024，用以根據影像擷取器1022、1024所擷取的影像產生一360度影像PIM(如第2圖所示)，其中第2圖是說明360度影像PIM的視野的示意圖，360度影像PIM是一環景或球體影像。如第2圖所示，補償器104可根據一視角FOV投影360度影像PIM以產生對應該視角FOV的一平面影像PM，其中平面影像PM是位於對應該視角FOV的一投影 平面上。同理，補償器104可另根據影像擷取器1022、1024所擷取的影像產生一前(previous)360度影像，以及根據視角FOV投影該前360度影像以產生對應該視角FOV的一前平面影像，其中360度影像PIM和該前360度影像分別對應兩時間點。在補償器104產生平面影像PM和該前平面影像之後，補償器104可利用一特徵點匹配的方式來偵測平面影像PM內的至少一物件的影像位置變化，其中影像裝置100的位置變化使平面影像PM內的至少一物件的影像位置被改變，且該特徵點匹配的方式為本發明領域具有熟知技藝者所熟知，在此不再贅述。另外，在本發明的另一實施例中，補償器104可利用對應平面影像PM內的至少一物件的光流(optical flow)來偵測平面影像PM內的至少一物件的影像位置變化，其中對應平面影像PM內的至少一物件的光流可由對應平面影像PM內的至少一物件的特徵點所產生，且對應平面影像PM內的至少一物件的光流也為本發明領域具有熟知技藝者所熟知，在此不再贅述。平面影像PM內的至少一物件的影像位置變化包含平面影像PM的至少一物件的移動與轉動的至少一種，其中第3圖是說明對應平面影像PM的至少一物件的轉動的影像RPM，以及第4圖是說明對應平面影像PM內的至少一物件的移動的影像MPM。另外，在本發明的另一實施例中，本發明可在影像裝置100所處環境中安置一預定紋理(例如快速響應矩陣圖碼(Quick Response Code(QR code))，然後補償器104即可根據平面影像PM中的該預定紋理決定平面影像PM內的至少一物件的影像位置變化。另外，在本發明的另一實施例中，影像裝置100另包含一微機電裝置(例如一陀螺儀或一加速度計)，然後補償器104即可利用該微機電裝置所輸出的信號變化偵測影像裝置100的位置變化並結合影像裝置100的位置變化和平面影像PM內的至少一物件的影像位置變化，最後補償器104再根據一結合結果補償平面影像PM內的至少一物件的影像位置變化。另外，在本發明的另一實施例中，補償器104是直接利用360度影像PIM和該前360度影像中赤道附近的影像偵測360度影像PIM內的至少一 物件的影像位置變化。
在補償器104利用該特徵點匹配的方式決定平面影像PM內的至少一物件的影像位置變化後，補償器104可利用一現有技術所提供的演算法根據平面影像PM內的至少一物件的影像位置變化，決定一補償矩陣T內的元素，其中補償矩陣T如式(1)所示：
其中如式(1)所示，係數a00~a11為對應該投影平面的旋轉矩陣，用以補償對應該平面影像PM內的至少一物件的轉動；係數b00~b10為對應該投影平面的位移，用以補償對應該平面影像PM內的至少一物件的移動。因此，在本發明的一實施例中，補償器104可根據補償矩陣T補償對應該平面影像PM內的至少一物件的移動和轉動。
另外，在本發明的一實施例中，補償器104可轉換補償矩陣T為一旋轉補償矩陣，且該旋轉補償矩陣內的元素是對應一直角坐標系的三軸的旋轉角度，其中該旋轉補償矩陣為一3x3的矩陣。請參照第5圖，第5圖是說明將對應該直角坐標系的三軸中的X軸的移動Xs轉換為對應該旋轉補償矩陣內對應X軸的旋轉角度的元素θx的示意圖。如第5圖所示，因為360度影像PIM的光學中心C和對應一視角FOV1的投影平面PP之間的距離為平面影像的虛擬焦距f，所以元素θx可由式(2)決定： θx=arctam(Xs/f) (2)
同理，對應該旋轉補償矩陣內對應Y軸的旋轉角度的元素θy可由式(3)決定：θy=arctam(Ys/f) (3)
其中如式(3)所示，Ys為對應該直角坐標系的三軸中的Y軸的移動。另外，對應該旋轉補償矩陣內對應Z軸的旋轉角度的元素θz可由補償矩陣T內的係數a00~a11決定。
請參照第6圖，第6圖是說明影像裝置100在X-Z軸方向出現旋轉使得360度影像PIM的參考點RP偏移的示意圖，且參考點RP可為360度影像PIM的原點位置(以經度為0度來表示)。其中第6圖是利用X-Z軸方向(忽略Y軸方向)的旋轉以簡化說明。如第6圖所示，在一時間點T1時，影像裝置100所產生的360度影像PIM的參考點RP是朝向一被攝物602，其中在時間點T1，被攝物602在影像裝置100所產生的360度影像PIM的參考點RP方向。在一時間點T2時，影像裝置100在X-Z軸方向出現旋轉使得360度影像PIM的參考點RP向左偏移，導致平面影像PM內的被攝物602出現影像位置變化(其中平面影像PM的被攝物602的影像位置變化可參照第3圖和第4圖)。此時，補償器104可根據該旋轉補償矩陣產生一新360度影像NPIM以補償平面影像PM的被攝物602的影像位置變化(如第7圖所示)，其中新360度影像NPIM的參考點NRP是朝向被攝物602，且新360度影像NPIM的原點位置(經度為0度)是設置在參考點NRP上。
另外，請參照第8圖，第8圖是說明影像裝置100在X-Z軸方向出現旋轉的示意圖，其中第8圖是利用X-Z軸方向(忽略Y軸方向)的旋轉以簡化說明。如第8圖所示，在一時間點T1時，影像裝置100另包含的一檢視器(未繪示於第8圖)可根據該視角FOV，投影360度影像PIM以產生平面影像PM，且平面影像PM的中心位置朝向被攝物602。在一時間點T2時，影像裝置100在X-Z軸方向出現旋轉，其中被攝物602會離開視角FOV的平面影像PM1。此時如第9圖所示，該檢視器可根據平面影像PM1與平面影像PM的關係求出該旋轉補償矩陣決定一新視角FOV3，且根據新視角FOV3投影360度影像PIM以產生一新平面影像PM2以補償對應該平面影像PM1的被攝物602的影像位置變化。另外，和該檢測器有關的平面影像可以直接作為一使用者用以觀看360度影像PIM的顯示平面影像(例如平面影像PM和新平面影像PM2可以直接作為該使用者用以觀看360度影像PIM的顯示平面影像)，但平面影像PM1並不會作為該使用者用以觀看360度影像PIM的顯示平面影像。然而在本發明的另一實施例中，該顯示平面影像和該檢測器有關的平面影像不相同，其中當該顯示平面影像和該檢測器有關的平面影像不相同時，本發明可只補償該顯示平面影像而不補償和該檢測器有關的平面影像，或同時補償該顯示平面影像和該檢測器有關的平面影像。
一般說來，傳統數位補償方式是利用一移動補償(也就是利用補償矩陣T)去補償影像裝置100的移動和轉動(因為該移動補償具有較低成本)。然而當影像裝置100被旋轉將近90度時，對應該平面影像PM的至少一物件的移動的影像MPM已經嚴重失真(如第10A圖所示)。因此，當影像裝置100被旋轉將近90度時，該傳統數位補償方式幾乎無法利用該移動補償去補償影像裝置100的移動和轉動。但如第10B圖所示，當影像裝置100被旋轉將近90度時，對應該平面影像PM的至少一物件的轉動的影像RPM並不會失真，也就是說當影像裝置100被旋 轉將近90度時，補償器104仍可根據該旋轉補償矩陣有效地補償對應該平面影像PM的至少一物件的移動和轉動。
另外，在本發明的另一實施例中，補償器104可根據影像擷取器1022、1024所擷取的影像產生一非平面投影影像，其中該非平面投影影像是一非針孔投影的投影影像，例如該非平面投影影像可以是小於360度的曲面影像(90度的曲面影像、120度的曲面影像、180度的曲面影像或270度的曲面影像)。因為該非平面投影影像也具有上述該360度影像的特性，所以補償器104也可利用該非平面投影影像補償對應該非平面投影影像的一平面影像內的至少一物件的移動和轉動。
另外，補償器104可以是一具有上述補償器104的功能的現場可程式邏輯閘陣列(Field Programmable Gate Array,FPGA)，或是一具有上述補償器104的功能的特殊應用積體電路(Application-specific integrated circuit,ASIC)或是一具有上述補償器104的功能的軟體模組。另外，該檢視器可以是一具有上述該檢視器的功能的現場可程式邏輯閘陣列，或是一具有上述該檢視器的功能的特殊應用積體電路或是一具有上述該檢視器的功能的軟體模組。
另外，因為平面影像PM可能為一無紋理影像或是一不穩定的影像，所以在本發明的另一實施例中，補償器104可根據複數個視角投影360度影像PIM以產生對應該複數個視角的複數個平面影像。例如，如第11圖所示，補償器104可根據2個視角FOV1、FOV2，投影360度影像PIM以產生對應該視角FOV1、FOV2的2個平面影像PM1、PM2。雖然補償器104可分別根據該平面影像PM1、PM2內的至少一物件的影像位置變化求出對應該視角FOV1、FOV2的2個旋轉補償矩 陣，其中該2個旋轉補償矩陣中的每一旋轉補償矩陣都具有對應X軸的旋轉角度的元素θx，對應Y軸的旋轉角度的元素θy，以及對應Z軸的旋轉角度的元素θz，但補償器104可根據視角FOV1(或視角FOV2)整合該2個旋轉補償矩陣為一最終旋轉補償矩陣。以視角FOV1為例，當影像裝置100在X-Y軸方向出現旋轉使得視角FOV1向下旋轉時，視角FOV2相對於視角FOV1是向上旋轉。因此，補償器104可根據視角FOV1(或視角FOV2)和上述視角FOV2和視角FOV1之間的相對關係，計算出視角FOV2和視角FOV1的角度變化總和。然後在本發明的一實施例中，補償器104可平均該角度變化總和以得出該最終旋轉補償矩陣的元素θz。另外，該最終旋轉補償矩陣的元素θx、θy也可通過上述原理求得，在此不再贅述。另外，在補償器104得出該最終旋轉補償矩陣後，補償器104可根據該最終旋轉補償矩陣產生一新360度影像以補償對應該平面影像PM1、PM2的至少一物件的影像位置變化(可參照第7圖)。
綜上所述，因為該360度影像(該環景影像或該球體影像)包含圍繞該360度影像的光學中心的360度空間的所有影像資訊，所以本發明所提供的可補償影像變化的影像裝置是利用上述該360度影像的特性可克服現有技術所提供的數位補償方式受限於一原始影像的範圍的缺點。因此，相較於現有技術，該影像裝置可適用於360度全方位的防手震應用。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

Claims (16)

  1. 一種可補償影像變化的影像裝置，包含：一檢視器；至少一影像擷取器；及一補償器，電連接該至少一影像擷取器，用以產生一360度影像，根據一視角和該360度影像以產生對應該視角的一平面影像，以及偵測該平面影像內的至少一物件的影像位置變化；其中該檢視器決定一新視角以補償該平面影像內的至少一物件的影像位置變化，其中該影像裝置的位置變化使該至少一物件的影像位置被改變。
  2. 如請求項1所述的影像裝置，其中該360度影像是一球體影像。
  3. 如請求項1所述的影像裝置，其中該至少一物件的影像位置變化包含該至少一物件的移動與轉動的至少一種。
  4. 如請求項1所述的影像裝置，其中該補償器利用一特徵點匹配的方式偵測該至少一物件的影像位置變化。
  5. 如請求項1所述的影像裝置，其中該補償器根據該至少一物件的影像位置變化，決定一補償矩陣內的元素。
  6. 如請求項5所述的影像裝置，其中該補償器另用以轉換該補償矩陣為一旋轉補償矩陣，且該旋轉補償矩陣內的元素是對應一直角坐標系的三軸的旋轉角度。
  7. 如請求項1所述的影像裝置，其中該檢視器是根據該新視角投影該360度影像以產生一新平面影像以補償該至少一物件的影像位置變化，且該新平面影像和提供給一使用者觀看的顯示平面影像相同。
  8. 如請求項1所述的影像裝置，其中該檢視器是根據該新視角投影該360度影像以產生一新平面影像以補償該至少一物件的影像位置變化，且該新平面影像和提供給一使用者觀看的顯示平面影像不相同。
  9. 如請求項1所述的影像裝置，其中該檢視器是根據該新視角補償給一使用者觀看的顯示平面影像。
  10. 如請求項1所述的影像裝置，其中該補償器利用一預定影像識別偵測的方式偵測該至少一物件的影像位置變化。
  11. 如請求項1所述的影像裝置，另包含：一微機電裝置，其中該補償器是利用該微機電裝置偵測該影像裝置的位置變化，並結合該影像裝置的位置變化和該至少一物件的影像位置變化。
  12. 如請求項1所述的影像裝置，其中該補償器利用一光流(optical flow)方式偵測該至少一物件的影像位置變化。
  13. 一種可補償影像變化的影像裝置，包含：至少一影像擷取器；及 一補償器，電連接該至少一影像擷取器，用以產生一360度影像，根據一視角和該360度影像以產生對應該視角的一平面影像，偵測該平面影像內的至少一物件的影像位置變化，以及產生一新360度影像以補償該至少一物件的影像位置變化，其中該影像裝置的位置變化使該至少一物件的影像位置被改變。
  14. 一種可補償影像變化的影像裝置，包含：至少一影像擷取器；及一補償器，電連接該至少一影像擷取器，用以產生一360度影像，根據複數個視角和該360度影像以產生對應該複數個視角的複數個平面影像，偵測該複數個平面影像內的至少一物件的影像位置變化，以及產生一新360度影像以補償該至少一物件的影像位置變化，其中該影像裝置的位置變化使該至少一物件的影像位置被改變。
  15. 如請求項14所述的影像裝置，其中該補償器根據該至少一物件的影像位置變化決定一旋轉補償矩陣，該旋轉補償矩陣內的元素是對應一直角坐標系的三軸的旋轉角度，且該旋轉補償矩陣對應該複數個視角中的一視角。
  16. 一種可補償影像變化的影像裝置，包含：至少一影像擷取器；及一補償器，電連接該至少一影像擷取器，用以產生一非平面投影影像，根據一視角和該非平面投影影像以產生對應該視角的一平面影像，偵測該平面影像內的至少一物件的影像位置變化，以及產生一新360度影像 以補償該至少一物件的影像位置變化，其中該影像裝置的位置變化使該至少一物件的影像位置被改變。
TW107106059A 2017-02-23 2018-02-23 可補償影像變化的影像裝置 TWI672950B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762462363P 2017-02-23 2017-02-23
US62/462,363 2017-02-23

Publications (2)

Publication Number Publication Date
TW201832545A TW201832545A (zh) 2018-09-01
TWI672950B true TWI672950B (zh) 2019-09-21

Family

ID=63167131

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107106059A TWI672950B (zh) 2017-02-23 2018-02-23 可補償影像變化的影像裝置

Country Status (3)

Country Link
US (1) US10324363B2 (zh)
CN (1) CN108513058B (zh)
TW (1) TWI672950B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108761992B (zh) * 2018-08-10 2024-06-28 杭州在现科技有限公司 一种内置稳定器的3d全景相机

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201138441A (en) * 2009-09-15 2011-11-01 Sony Corp Image capturing system, image capturing device, information processing device, and image capturing method
TW201218020A (en) * 2010-10-29 2012-05-01 Au Optronics Corp 3D image interactive system and position-bias compensation method of the same
TW201624096A (zh) * 2014-12-30 2016-07-01 鈺立微電子股份有限公司 校正導引系統和校正導引系統的操作方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005252626A (ja) * 2004-03-03 2005-09-15 Canon Inc 撮像装置および画像処理方法
JP2008514261A (ja) * 2004-09-28 2008-05-08 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像処理装置及び方法
US8514491B2 (en) * 2009-11-20 2013-08-20 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US9036001B2 (en) * 2010-12-16 2015-05-19 Massachusetts Institute Of Technology Imaging system for immersive surveillance
US9313495B2 (en) * 2012-05-14 2016-04-12 Luca Rossato Encoding and decoding based on blending of sequences of samples along time
KR101586249B1 (ko) * 2013-12-24 2016-01-18 (주)에프엑스기어 광 시야각 영상 처리 장치 및 방법
CN104866381B (zh) * 2014-02-20 2018-10-12 联想(北京)有限公司 一种信息处理方法及第一电子设备
CN105208247A (zh) * 2015-09-02 2015-12-30 长春理工大学 一种基于四元数的全景稳像方法
CN106210726A (zh) * 2016-08-08 2016-12-07 成都佳发安泰科技股份有限公司 根据cpu与gpu的使用率对视频数据进行自适应解码的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201138441A (en) * 2009-09-15 2011-11-01 Sony Corp Image capturing system, image capturing device, information processing device, and image capturing method
TW201218020A (en) * 2010-10-29 2012-05-01 Au Optronics Corp 3D image interactive system and position-bias compensation method of the same
TW201624096A (zh) * 2014-12-30 2016-07-01 鈺立微電子股份有限公司 校正導引系統和校正導引系統的操作方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
J. A. Parian, "Sensor modeling, calibration and point positioning with terrestrial panoramic cameras", A dissertation submitted to the SWISS FEDERAL INSTITUTE OF TECHNOLOGY (ETH) ZURICH, March 2007.
R. M. F. Galego, "Geometric and radiometric calibration for pan-tilt surveillance cameras", Dissertac¸ ˜ao para a obtenc¸ ˜ao do Grau de Mestre em Engenharia Electrot´ecnica e de Computadores, Junho de 2011.
R. M. F. Galego, "Geometric and radiometric calibration for pan-tilt surveillance cameras", Dissertac¸ ˜ao para a obtenc¸ ˜ao do Grau de Mestre em Engenharia Electrot´ecnica e de Computadores, Junho de 2011. J. A. Parian, "Sensor modeling, calibration and point positioning with terrestrial panoramic cameras", A dissertation submitted to the SWISS FEDERAL INSTITUTE OF TECHNOLOGY (ETH) ZURICH, March 2007. *

Also Published As

Publication number Publication date
US10324363B2 (en) 2019-06-18
TW201832545A (zh) 2018-09-01
US20180239226A1 (en) 2018-08-23
CN108513058A (zh) 2018-09-07
CN108513058B (zh) 2021-03-23

Similar Documents

Publication Publication Date Title
US10645284B2 (en) Image processing device, image processing method, and recording medium storing program
US10210622B2 (en) Image processing device, image processing method, and recording medium storing program
WO2017020150A1 (zh) 一种图像处理方法、装置及摄像机
TW201911862A (zh) 用於產生360度深度圖的影像裝置
WO2013038656A1 (ja) 投影像自動補正システム、投影像自動補正方法およびプログラム
US9892488B1 (en) Multi-camera frame stitching
JP6615545B2 (ja) 画像処理装置、画像処理方法および画像処理用プログラム
US10897573B2 (en) Image capturing system, terminal and computer readable medium which correct images
TW202145778A (zh) 投影機系統的投影方法
JP2010276433A (ja) 撮像装置、画像処理装置及び距離計測装置
US11657477B2 (en) Image processing device, image processing system, imaging device, image processing method, and recording medium storing program code
JP3957888B2 (ja) 撮像装置及び撮像画像合成方法
US11196929B2 (en) Signal processing device, imaging device, and signal processing method
TWI672950B (zh) 可補償影像變化的影像裝置
GB2557212A (en) Methods and apparatuses for determining positions of multi-directional image capture apparatuses
JP2001005956A (ja) 広視野カメラ装置
JP6625654B2 (ja) 投影装置、投影方法、および、プログラム
JP6579706B2 (ja) 画像処理装置、画像処理方法および画像処理用プログラム
WO2018150086A2 (en) Methods and apparatuses for determining positions of multi-directional image capture apparatuses
JPH1118007A (ja) 全方向性画像表示システム
JP2017225039A (ja) 撮像装置及び画像処理方法
KR101882977B1 (ko) 360도 이미지를 형성할 수 있는 렌즈 모듈 및 360도 이미지 형성 어플리케이션
JP7234802B2 (ja) 撮像システム、端末及びプログラム
US11928775B2 (en) Apparatus, system, method, and non-transitory medium which map two images onto a three-dimensional object to generate a virtual image
JP6879350B2 (ja) 画像表示システム、画像表示装置、画像表示方法、およびプログラム