TWI379587B - Image pickup apparatus and image pickup method - Google Patents

Description

1379587 九、發明說明 【發明所屬之技術領域】 本發明一般關於一種攝像裝置及攝像方法。本發明包 含與2007年三月27日申請之日本專利申請案JP2007-0 8 2069號的請求標的，其整體於本文倂入參考。 【先前技術】 本發明有關於一種應用於能夠以不同圖框率（frame rate )攝像之攝影機攝像裝置，以及應用於此種攝像裝置 的攝像方法，且尤有關於一種適合配備有依線序列（line sequence )攝像之影像感測的攝像裝置的技術。 過去’已發展種種能夠以不同圖框率攝像的攝影機。 有數種影像信號的圖框率的標準，諸如每秒六十圖框、每 秒五十圖框、及每秒二十四圖框。每秒六十圖框的影像信 號普遍見於日本及美國，而每秒五十圖框的影像信號歐洲 比較普遍。每秒二十四圖框的圖框率則適合用於電影中的 影像信號。 當使用單一攝影機對應此種種影像種類實施攝像時， 只要用於攝像的同步信號基準時脈頻率（base clock frequency)(像素時脈頻率）可依不同的圖框率改變就不 會有問題。 爲此緣故，當以攝影機的影像感測器以不同圖框率攝 像以及接者處理該被攝像的影像信號以便轉換該信號成具 有規定（stipulated)圖框率時’習慣上會使用同—基準時 1379587 脈頻率於單一像素單元。 圖1Α至ID是顯示用於基準時脈（像素時脈）是固 定的情形下的現有圖框率轉換處理圖。圖1A至1D顯示 的處理是根據SMPTE 274M之類的標準被標準化。 圖1A是在攝像信號中一圖框的影像。具有預定數目 的像素於水平方向及垂直方向的有效攝像區dl被設定於 圖框的影像信號。在有效攝像區dl中水平方向及垂直方 向中的像素數目在每一圖框率是相同的。例如，假設有效 攝像區dl在水平方向包括1920像素，在垂直方向假設包 括1 〇 8 0線。 當影像以每秒60圖框攝像，則稍寬於有效攝像區d 1 的攝像區d2可被設定如圖1A所不。假設攝像區d2於垂 直方向包括2200像素而於水平方向包括1125線。 圖1B顯示當以每秒60圖框的影像信號時’該有效區 的影像信號的垂直同步信號V。就每秒60圖框的影像信 號而言，攝像區d3(亦即，水平方向2200像素及垂直方 向1125像素）在圖框周期內重複攝像。該有效區的影像 信號是取自1125水平線的預定線（“η線”）的1〇8〇線Ha 。針對一水平線的信號係以例如圖1 A的虛線顯示。 當影像以每秒5 0圖框攝像時’如圖1A所示者，則藉 著將攝像區d2的右邊的攝像區d3加到區d2所產生的區 (d2 + d3 )的攝像信號從影像感測器的讀取單元輸出。設 定爲有效攝像區dl的範圍是相同的對於以每秒60圖框的 影像信號是相同的° -5- 1379587 圖1C顯示當以每秒50圖框取得影像信號時的垂直同 步信號V、水平同步信號Η、以及有效區的攝像信號。當 以每秒50圖框取得影像信號時，攝像區d2 + d3的影像（ 亦即，水平方向2640像素乘垂直方向1125線）在圖框周 期中重複攝像。此處，依與以每秒60圖框攝像相同的方 法，有效區的攝像信號是取自該1125水平線的預定線（ “η線”）的1 0 8 0線，但由於水平同步周期較當以每秒60 圖框攝像時還長，所以除了各水平線中的有效區的部分以 外的部分較長。此處，一水平線的信號係以虛線例如顯示 於圖1 Α。 當以每秒24圖框攝像時，如圖1 A所示.，藉著攝像區 d3右邊的攝像區d4進一步加到區（d2 + d3)所產生的區 (d2 + d3+d4 )的攝像信號係自該影像感測器的讀取單元輸 出。設定爲有效攝像區dl的範圍與每秒60圖框的影像信 號相同。 圖1D顯示顯示當以每秒24圖框取得影像信號時的垂 直同步信號V、水平同步信號Η、以及有效區的攝像信號 。當以每秒24圖框取得影像信號時，攝像區d2 + d3 + d4的 影像（亦即，水平方向2750像素乘垂直方向1 125線）在 圖框周期中重複攝像。此處，依與以每秒60圖框或每秒 5〇圖框攝像相同的方法，有效區的攝像信號是取自該 1 125水平線的預定線（“n線”）的1〇80線，但由於水平 同步周期較當以每秒50圖框攝像時甚至更長，所以除了 各水平線中的有效區的部分以外的部分基極長。此處，一 -6- 1379587 水平線的信號係以虛線例如顯示於圖1 A。 藉著實施此替攝像處理，隨著圖框率下降，不是各水 平線中的該有效攝像區（亦即，無效區）增加，其使得即 使基準時脈頻率固定，要改變圖框率是可能的。換言之， 當以每秒50圖框或每秒24圖框攝像取得影像信號時，無 效區（即’區d 3、d 4 )係自讀取自該影像感測器的攝像信 號被刪除，且實施一校正處理以延伸各水平線的時間軸， 且從而得具有規定的圖框率的影像信號。 在圖1A至1D所示的處理中，藉著改變水平同步周 期而不改變用以驅動影像感測器或該影像感測器之讀取單 元的基準時脈頻率來以不同的圖框率攝像是可能的。藉著 依此方式改變水平同步方向周期而不改變基準時脈頻率來 處理對圖框率的改變，改變該基準時脈頻率的控制便成不 必要，且欲防止顯示器上的閃爍是可能的。 PCT公告WO2003 -63 47 1揭露一種現有的攝像裝置， 其執行對改變圖框率的控制。該公告交件敘述藉著實施即 使當圖框率改變仍不改變基準時脈頻率的控制，欲防止顯 示器上.的閃爍是可能的。 【發明內容】 然而，圖框率藉著改變水平同步方向周期而被改變， 如圖1A至1D所示者，則當拍攝移動主體的影像時且特 別是當以較低圖框率來拍攝時，會有增加影像失直的問題 。當使用依線序列輸出攝像信號的影像感測器作爲影像感 -7- 1379587 測器時，此種在移動主體的影像失真會是個問題。依線序 列輸出攝像信號的感測器包括攝像管及一些CMOS (互補 金氧半導體）。尤其是近年來，CMOS影像感測器愈趨廣 泛’故有相當大比例的感測器現在係依線序列來輸出攝像 信號。 圖2顯示當依線序列攝像的移動主題的失真的原理。 此圖顯示在水平線上被攝像的時序如何不同。換言之，在 圖2的例子中，假設單一影像係以四條編號L1互L4的水 平線組成，且此四條編號L1至L4的水平線在分別依圖2 左側上垂直時間軸上的順序移位的時序T1到T4的時序被 攝像。此例中，在要被攝像的影像中，由圓形表示的物體 是靜止的且由長方形表示的物體是由右向左移動。 由圖2中最後被攝像的影像F1可了解，由長方形表 示的物體的攝像影像由頂線L 1到底線L4逐漸朝向左邊移 位，且因此以失真的影像被攝像。雖然顯示於圖2的失真 對於線序列影像感測器而言不特別是問題，若在圖框率方 面的改變係藉著上升及下降水平同步方向周期如圖1A至 1 D所示來處理，則當影像以低圖框率被攝像時會有問題 ，即移動主體的失真愈加明顯。詳而言之，當影像是以每 秒24圖框攝像時，水平線的周期會極長，所以在第一水 平線被攝像的時序與最後水卒線被攝像的時序之間的差距 變得極大，導致突顯移動主體的失真。吾人不樂見此種移 動主體失真的增加。 根據本發明實施例，提供一種以由多數圖框率中可改 -8 - 1379587 變地設定圖框率攝像的攝像方法。該方法包括以下步驟： 當自影像感測器取得攝像信號時，根據一設定圖框率 來設定垂直同步周期及增加不包括根據該設定垂直同步周 期的有效攝像區的影像攝像信號，而同時保持各攝像信號 的垂直同步周期恆定；以及 校正取得攝像信號的時間軸包括有效攝像區，對應到 該設定圖框率及抹除不包括該有效攝像區的取得的攝像信 號。 藉著實施上述步驟，該有效攝像區中的影像在一圖框 被攝像期間的時間週期不改變，即使該圖框率改變。於是 ，即使以低圖框率使用線序列影像感測器來實施攝像，不 會增加在各圖框率內的移動主體的失真。 根據本發明實施例，即使當圖框率改變，在一圖框中 有效攝像區攝像的時間週期不改變，即使以線序列影像感 測器實施攝像且設定爲低圖框率，在移動主體在各圖框率 內的失真不會減少。於是，不論如何設定該圖框，欲以少 的失真來有利地攝像是可能的。 【實施方式】 現將參照圖3至7說明本發明較佳實施例。圖3係顯 示根據本發明實施之攝像裝置的架構的例子的方塊圖。在 圖3中，經由包括有透鏡之類的光學系統11定焦在影像 感測器1 2之攝像表面的影像，被影像感測器丨2轉換成電 信號，且被轉換的電信號被感測器輸出單元13讀出。被 -9- 1379587 感測器輸出單元13讀出的此電信號被稱爲“攝像信號”。 在本實施例中，依線序列讀出攝像信號的感測器被用來當 作影像感測器1 2。此處，CMOS影像感測器被用來當作依 線序列讀出攝像信號的感測器的一例子。可使用一種架構 ，即光學系統Π中使用棱鏡以便將光分成諸色彩，且多 數個影像感測器作爲影像感測器1 2。影像感測器1 2的攝 像程序及由感測器輸出單元1 3進行的攝像信號的輸出程 序係由時序產生單元21來驅動。爲此，驅動時脈自該時 序產生單元21供應。 輸出自感測器輸出單元1 3的攝像信號被供應至類比/ 數位轉換器14以便被轉換成一數位信號。被數位化的攝 像信號接著被供應至攝像處理單元1 5，其中對攝像信號實 施種種信號處理。由類比/數位轉換器14處理的轉換程序 及由攝像處理單元15實施的處理亦以供應自時序產生單 元21的時脈同步實施。攝像處理單元15的處理在控制單 元20的控制下實施，且在已實施諸如白平衡校正及r ( gamma )校正的影像處理之後，該信號自RGB原色信號被 轉換成亮度/色度（luminance/chroma; Y/C)信號。 被攝像處理單元15處理的攝像信號被供應至以FIFO 記憶體組成的記憶體1 6。FIFO記憶體依資料被輸入的順 序輸資料。校正該攝像信號的時間軸的程序亦在記憶體1 6 中實施。亦實施移除不包括有效區的水平線的程序（稍後 敘述）。移除（“修整（trims”）水平線的此些部分可由另 一電路來實施，諸如攝像處理單元15。該時間軸校正程序 -10- 1379587 及水平線修整程序係於記憶體1 6中同步以供應自攝像處 理單元15的時脈來實施。 藉著在記憶體16中實施時間軸校正程序，輸出自記 憶體攝像信號被校正成符合預定影像信號格式（例如，針 對圖框率的適當影像信號）的影像信號。被記億體16輸 出的影像信號被供應至記錄單元1 7，被記錄到碟片、帶子 、記憶體等，被顯示於顯示單元18，且自影像信號輸出單 元1 9輸出。 被此攝像裝置根據控制單元2 0的控制實施攝像係。 控制單元20藉著自操作單元22供應諸如開始及停止攝像 的指示來控制攝像。經由操作單元22，設定攝像模式的操 作亦可以一對應於被控制單元20設定的此種操作來進行 〇 作爲本實施例的攝像模式，提供有三種攝像模式；影 像以每秒6 0圖框攝像的攝像模式、影像以每秒5 0圖框攝 像的攝像模式、以及影像以每秒24圖框攝像的攝像模式 〇 根據己被設定的模式，控制單元20指示時序產生單 元21產生對應驅動信號及時脈來驅動個別電路於保持模 式。然而，於本實施例中，是由時序產生單元21產生的 基準時脈的像素時脈（pixel clock)在每一模式中都相同 。此外’決定水平同步信號之周期（亦即，水平信號周期 )的水平時脈亦在每一模式中都相同。針對該設定模式， 影像被影像感測器1 2攝像的時間週期被設定成適當的時 -11 - 1379587 間週期。水平時脈等等會稍後於本說明書詳述。 圖4A至4D係顯示根據本實施例的可變圖框率 程序的圖。 圖4A顯示根據本實施例之攝像信號中的一圖框 像。在水平方向及垂直方向具有預定數目像素的有效 區dll針對一圖框的攝像信號來設定。在有效攝像區 中的水平方向及垂直方向的像素數在每一圖框率中都 。例如，假設有效攝像區dl 1包括1 920像素在水平 且1080水平線在垂直方向。 當影像以每秒60圖框被攝像時，設定一有效攝 d22稍寬的攝像區dl2，如圖4A所示。例如，攝像區 在水平方向是2200像素寬，而垂直方向是1125水平 不論圖框率爲何，攝像區dl2被設定中的攝像信號是 輸出的攝像信號。 根據本實施例，當影像以達到每秒5 0或2 4圖框 像時’垂直同步周期根據—設定圖框率來設定，且當 框的攝像區如圖4A所示時，攝像區dl3、dl4的攝像 被加到基準攝像區d 1 2下方。依此方式將攝像區d 1 3、 加到基準攝像區d 1 2下方可.對應一圖框中水平線的數 增加’而同時能保持圖框率的水平同步周期固定。由 被加到基準攝像區d 1 2下方，不構成有效攝像區但對 攝像區dl3中的線或在攝像區du + dM中的線的垂直 數目在有有效攝像區d 1 1時的水平線呈現時增加。

接下來’各模式的攝像的特定恆子將參照圖4BS 攝像 的影 攝像 dll 相同 方向 像區 dl 2 線。 要被 被攝 —圖 信號 d 1 4 目的 仿線 應在 線的

4D -12- 1379587 說明。 圖4B顯示當以每秒60圖框取得影像時的垂直同步信 號V、水平同步信號Η、以及有效區的攝像信號。就以每 秒60圖框的影像感測器而言，攝像區dl 2的攝像（亦即 ，水平方向2200像素乘垂直方向1125線）在每圖框周期 中重複。有效區的攝像信號是取自1125水平線的預定線 (“η水平線”）的1 080線的信號。 φ 圖4C顯示當以每秒50圖框取得影像時的垂直同步信 號V、水平同步信號Η、以及有效區的攝像信號。當如圖 4Α所示以每秒50圖框取得影像時，藉著將攝像區dl3加 到攝像區dl2下方而產生的區（dl2 + dl3)的攝像信號自 影像感測器1 2的讀出單元輸出。在攝像區d 1 3中的水平 線是不包括該有效攝像區的水平線。設定爲有效攝像區 dll的區是與每秒60圖框的攝像信號相同。在攝像區 dl2 + dl3中的水平線的數目是1，3 50。 # 圖4D顯當以每秒24圖框取得影像時的垂直同步信號 V、水平同步信號Η、以及有效區的攝像信號。當如圖4A . 所示以每秒24圖框取得影像時，藉著將攝像區d丨4進一 步加到攝像區dl3下方而產生的區（dl2 + dl3 + dl4)的攝 像信號自影像感測器1 2的讀出單元輸出。在攝像區d 1 3 及dl4中的水平線是不包括該有效攝像區的水平線。設定 爲有效攝像區dll的區是與每秒60圖框的攝像信號相同 。在攝像區dl2 + dl3+dl4中的水平線的數目是2,812.5。 此處’第2，8 1 3個（最終）水平線的水平同步周期是一半 -13- 1379587 ，以便使圖框率等於每秒50圖框。 顯示於圖4A之水平線的頻率及一水平線上的像素數 目針對一例子被設定，其中基準時脈頻率是14 8.5MHz ( 或是其一半爲74.25MHz)。在本實施例中，水平線的數 目係根據以下公式來設定：水平線數=〔（基準時脈頻率 )+ (圖框率）〕+ (水平時脈數）。 就每秒24圖框的影像信號而言，計數導致以上的分 數。 當每秒60圖框的攝像模式被設定，依此方式輸出自 感測器輸出單元13的攝像信號被供應至記錄單元17、顯 示器單元18、以及影像信號輸出單元19，作爲已被處理 的影像信號而不改變水平線數。 當每秒50圖框的攝像模式被設定以及當每秒24圖框 的攝像模式被設定’在（FIFO )記憶體1 6中實施校正以 延伸有效攝像區dll的時間軸’且加上的區 dl3或區 dl3 + sl4被刪除。 圖5A至5C係顯示記憶體16中的處理例的圖。圖5A 顯示被輸入記憶體16的垂直同步信號的周期。垂直同步 信號的周期在記億體丨6內並未改變。如圖5B之長方形所 示者，就被入記億體16的攝像信號而言’包括有效攝像 區dll的區dl2的線數在每個圖框時間內改變’且被加上 的區dl3或dl3+dl4出現在每個圖框時間週期的結束。 在此狀態中，在記憶體16內部’在包括有效攝像區 dll的區dl2中的各水平線被延伸’且被加上的區d13或 -14-

1379587 dl3 + dl4被刪除。針對此等延伸及刪除的程序E 攝像信號自記憶體16被輸出，如圖5C所示。 藉著依此方式使用記億體16等根據該模Ϊ 軸以及刪除於攝像期間被加上的區，針對各模Ϊ 像信號被輸出。在本實施例中，不論圖框率爲和 一圖框中攝像有效攝像區dll的時間週期是相 ，即使使用了依線序列攝像的影像感測器12，^ 動主體的失真。 注意，雖然圖4A至4D已說明攝像信號右 讀出的處理例，亦可以使用二水平線同時讀出的 圖6A至6C顯示二水平線同時讀出的例子 示每秒60圖框的影像模式的例子，圖6B顯示= 框的影像模式的例子，圖6C顯示每秒24圖框β 的例子。 在圖6Α至6C所示的模式中，輸出OUT1 > 攝像信號輸出，其中二水平線同時被讀出，每個 —條線輸出攝像信號。由於在每模式中二水平線 出，垂直同步時間週期只需要一半的時間，其中 信號被讀出，且其因此有可能上述移動主體的失 少。藉著結合二水平線的輸出以便依線序列於攝 元15中，具有規定數目之水平線的漸次的掃描 )攝像信號於是產生。注意，藉著只使用二線同 的攝像信號中的一水平線，可產生交錯的攝像信 ，雖然以上已說明二水平線同時被讀出的架構， :被實施的 ;校正時間 :的適當影 '，用以在 丨的。因此 :會增加移 :線序列被 架構。 1圖6Α顯 |秒5 0圖 I影像模式 OUT2 係 輸出每隔 同時被讀 一圖框的 真對應減 像處理單 (非交錯 時被輸出 號。此外 同時讀出 -15- 1379587 三或更多水平線的架構亦是可能的。 此外，雖然攝像處理單元15的輸出被供應至FIFO記 憶體16，其中時間軸被校正以便產生適當的影像信號於 圖3所示的攝像裝置的架構中，攝像處理單元15以及記 憶體1 6的位置可以對掉。 換言之，例如如圖7所示者，有可能使用類比/數位 轉換器14的輸出被供應到FIFO記憶體16’的架構，其中 時間軸的校正及加上的區的刪除是在該信號被供應至攝像 處理單元15’之前被實施，其中在攝像處理單元15’中實施 種種攝像處理。藉使用圖7所示的架構，攝像處理單元 I5’可具有確實與現有攝像處理單元之與多種圖框率相容 的相同的處理架構。藉著使用圖3的架構，由於被加上的 區包括在輸入信號中，所以此等區的處理是需要的。 此外，於圖4A至4D所示以及前述的實施例的例子 中，當以每秒24圖框取得影像信號時，在一圖框中的最 終水平線是一半的線。作爲產生此種分數的方法，亦可能 將水平時脈周期數對一半水平線（亦即，1 1 0 〇時脈周期） 來劃分作爲各給1 1 0 0線的一時脈周期，且爲此等線的像 素時脈周期數增加一。 或者’不最小化水平時脈周期數，例如，反而可以藉 著設定275 0線或2475線具有一水平線作爲2250或25 00 時脈周期的長方形區來以每秒24圖框攝像。 在上述實施例中，說明以每秒6 0圖框攝像、以每秒 5 0圖框攝像、以及以每秒6 0圖框攝像的例子，但亦可能 -16- 1379587 應用本發明實施例於可設定多數個其它圖框率的攝像裝置 。在上述之一水平線中的時脈周期數（亦即，像素數）亦 只是本發明的範例及實施例，本發明並不受到此等時脈周 期數的限制。 熟於此技藝之人士由此揭露可明白，只要在所附的申 '請專利範圍或其等效物的範疇內，即可進行種種修改、組 合、子組合及變化。 【圖式簡單說明】 圖1A至1D係顯示藉著改變水平同步周期而同時保 持基準時脈頻率恆定來改變圖框率的現有處理的例子的示 意圖及時序圖。 圖2係顯示當影像依線序列被攝像時的攝像影像的圖 t 圖3係顯示根據本發明實施例的攝像裝置的範例架構 φ 的方塊圖。 圖4A至4D係顯示根據本發明實施例之攝像處理的 例子的圖及時序圖。 、 圖5人至5C係顯示根據本發明實施例之以FIFO處理 例的時序圖。 圖6A至6C係顯示根據本，發明實施例之二線同時讀出 的處理例的時序圖； 圖7係顯示根據本發明另一實施例之攝像裝置的範例 架構的力塊圖。 -17- 1379587 【主要元件符號說明】 1 1 :光學系統 1 2 :影像感測器 1 3 :感測器輸出單元 14 :類比/數位轉換器 1 5 :攝像處理單元 1 5 ’ ：攝像處理單元 1 6 :記憶體 1 6 ’ ：記憶體 1 7 :記錄單元 1 8 :顯示單元 1 9 :影像信號輸出單元 2 0 :控制單元 21 :時序產生單元 22 :操作單元 -18-

Claims (1)

1379587 十、申請專利範圍 1. 一種攝像裝置，包含： 控制單元’自多數個圖框率可改變地設定一圖框率； 影像感測器，以由該控制單元所設定的圖框率對包括 有效攝像區的區的影像攝像； 輸出單元，自該影像感測器讀出攝像信號； 時序設定單元，根據由該控制單元所設定的圖框率設 定垂直同步周期，並根據該設定的垂直同步周期加上包括 該有效攝像區的攝像信號，而同時使被該輸出單元所輸出 的各攝像信號的水平同步周期保持恆定；以及： 時間軸校正單元，校正包括該有效攝像區的攝像信號 的時間軸，該攝像信號對應於該設定的圖框率輸出自該輸 出單元，以及刪除被該時序設定單元所加上之不包括該有 效攝像區的攝像信號。 2. 根據申請專利範圍第1項之攝像裝置，更包攝像 信號處理單元，其對由該輸出單元所輸出的該攝像信號實 施攝像信號處理， 其中該時間軸校正單元校正已被該攝像信號處理單元 所處理的該攝像信號的時間軸。 3. 根據申請專利範圍第1項之攝像裝置，更包含攝 像信號處理單元’其對由該輸出單元所輸出的該攝像信號 實施攝像信號處理’ 其中該輸出單元被組態以同時輸出多數條水平線的攝 像信號，且該攝像信號處理單元依預定順序來組合多數條 -19- 1379587 水平線的該攝像信號以產生攝像信號。 4. 根據申請專利範圍第1項之攝像裝置，更包含攝 像信號處理單元，其實施攝像信號處理， 其中該時間軸校正單元對由該輸出單元所輸出的該攝 像信號實施校正，且該攝像信號處理單元對由該時間軸校 ~ 正單元所校正的該攝像信號實施攝像信號處理。 5. —種攝像方法，其以自多數個圖框率所可改變地 φ 設定一圖框率來攝像，該方法包含以下步驟： 當自影像感測器取得攝像信號時，根據設定的圖框率 5受疋垂直问步周期 > 並根據該設定的垂直同步周期加上不 包括該有效攝像區的攝像信號，而同時使各攝像信號的水 平同步周期保持怪定；以及 校正取得之包括該有效攝像區的攝像信號的時間軸， 對應於該設定的圖框率並刪除不包括該有效攝像區的取得 之攝像信號。 -20-