TW535416B - Image processing apparatus and method - Google Patents

Description

535416 經濟部智慧財產局員工消費合作社印製 A7 ____B7_五、發明説明（彳） 發明背景 本發明係關於影像處理裝置及處理方法，特別是關於 在具備被排列爲2次元之受光元件適用像素錯開手法以產 生局解析度的單色影像之影像處理裝置以及處理方法。 C C D之固體攝影元件係具有2次元排列受光元件之 攝影面，利用攝影光學系統在此攝影面形成拍照的景物影 像。因此，該攝影元件的解析度由受光元件的排列節距所 決定。因此，爲了提高解析度，可以提高受光元件的排列 密度。但是，高密度化排列密度在製造攝影元件會增加困 難而產生製造成本上升。又，高密度化排列密度一使像素 之形狀變小，個個的攝影元件的感度會降低。 在特開平1 0 — 3 0 4 2 3 5號公報中顯示適用一面 指定量錯開攝影元件的攝影面一面攝取複數張的影像，接 著’藉由合成這些攝取的複數張的影像以產生高解析度的 彩色影像之方法，所謂「像素錯開」之手法的影像產生方 法。 Η 4係顯示習知的單色影像取得方法。單色影像首先 在適用像素錯開手法產生複數張的彩色影像後，利用產生 之彩色影像可以取得高解析度的單色影像。圖4 Α係顯示 由對應形成彩色攝影元件的攝影面之受光元件而排列的R ' G ' B 3色所形成之原色形式的彩色濾色器陣列。此配 置方式以成對方式爲所周知。在成對方式中，首先將高解 析度所必要的亮度信號用的綠色（G )濾色器配置呈方格 花紋狀’進而在剩餘部份交互將紅色（R )以及藍色（B 本紙張尺度適用中國國家標準（CNS ) A4規格（210X297公釐） I ——^ I-·——·! (請先閲讀背面之注意事項再填寫本頁) 、11 -4 - 535416 A7 ________B7_ 五、發明説明（2) )濾色器配置呈方格花紋狀。因此，對於受光元件的排列 密度成爲綠色（G )係1 / 2、紅色（R )以及藍色（B )分別爲1 / 4之排列密度（解析度）。 習知上產生解析度在R G B之各色相等的3張的影像 。.即各色的解析度與受光元件的排列密度成爲相同程度地 ，藉由像素錯開，各色地取得複數張的影像資料，各色地 產生取得之影像資料。首先，關於綠色（G )，取得有某 種位置關係的彩色攝影元件與拍照的景物影像的影像資料 ，接著，在彩色攝影元件與拍照的景物影像的相對位置關 係如圖4 B箭頭所示般地，於錯開1像素節距之狀態下， 取得影像資料。只抽離出取得的2張的影像資料的綠色（ G )部份’產生由（G )部份形成的一張的影像。關於藍 色（B ) ’在彩色攝影元件與拍照的景物影像的相對位置 關係如圖4 C箭頭所示般地，取得於不同之3方向錯開1 像素之合計4張的影像資料後，只抽離出取得的4張的影 像資料的藍色（B )部份，產生由（b )部份形成之1張 的影像。同樣地，關於紅色（R )，在彩色攝影元件與拍 照的景物影像的相對位置關係也如圖4 C箭頭所示般地， 取得於不同之3方向錯開1像素之合計4張的影像資料後 ，只抽離出取得的4張的影像資料的紅色（r )部份，產 生由（R )部份形成之1張的影像。如上述般地取得之單 色影像的解析度係G爲2倍、B與R爲4倍，R G B都成 爲相同的解析度。 另一方面’如使彩色攝影元件與拍照的景物影像的相 本紙張尺度適用中.國國家標隼（CNS ) A4規格（210X297公釐） ：-----1 |_.——·! (請先閱讀背面之注意事項再填寫本頁) 丁 、言 -^^1. 經濟部智慧財產局員工消費合作社印製 -5- 535416 A7 ____ B7 五、發明説明（3) (請先閱讀背面之注意事項再填寫本頁) 對k置關係成爲錯開量爲1、2像素節距，對於受光元件 的排列始度在各色都可以取得2倍密度的影像資料。即關 於綠色（G )，如圖4 D所示般地，取得彩色攝影元件與 拍照的景物影像的相對位置關係不同的8張的影像資料， 產生只由（G )部份形成之1張的影像資料。又關於藍色 (B )如圖4 E所示般地，取得彩色攝影元件與拍照的景 物影像的相對位置關係不同的1 6張的影像資料，產生只 由（B )部份形成的1張的影像資料。又，同樣地，關於 紅色（R )也如圖4 E所示般地，取得彩色攝影元件與拍 照的景物影像的相對位置關係不同的1 6張的影像資料， 產生由（R )部份形成之1張的影像資料。在此情形的單 色影像的解析度係G爲8倍、B與R爲1 6倍。 經濟部智慧財產局員工消費合作社印製 合成利用以上敘述的影像錯開手法所獲得的高解析度 的R G B的3色影像，產生黑白的單色影像。在此情形， R G B的各色的影像係被形成爲相同解析度之故，在合成 那些R G B的各色的影像之相互相同位置的3色的影像資 料，產生黑白的單色影像資料之際，考慮彩色攝影元件的 分光感度特性、視覺感度特性等，各像素地進行運算，在 將全部像素運算終了後，產生黑白的單色影像。 一藉由此種手法產生黑白的單色影像，比起產生 R G B的3色的單色影像，在運算黑白的單色影像資料需 要多花時間，單色影像的產生時間變長。例如，在上述之 錯開1 / 2像素節距的手法中，在1 6張的攝影時間之外 ，進而需要合成黑白的單色影像資料的運算時間。又’在 本紙張尺度適用中國國家標準（CNS ) A4規格（21〇'〆297公釐） -6 - 535416 A7 B7 五、發明説明（4) 1 6張的攝影時間中在各位置的3色的攝影係同時進行之 故，以1 6張份的攝影時間可以取得3色的單色影像。 (請先閱讀背面之注意事項再填寫本頁} 即在習知技術中，在產生黑白的單色影像上，比起取 得3色的單色彩色影像的時間，在運算時間上更多花時間 發明槪要 本發明之目的在於提供適用影像錯開手法，在短時間 內產生高解析度的單色影像之影像處理裝置及方法。 在取得黑白的單色影像之情形，只利用對亮度信號有 益的比例最大的綠色（G )顏色，取得拍照的景物的影像 以獲得黑白的單色影像之際，幾乎不見到畫質的劣化，特 別是在讀取以黑白印刷的帳簿類的情形，不會見到畫質劣 化。例如，在讀取描繪在紙張的文字或線圖等之掃描器中 ，一般係單色影像的讀取，所以不需要江彩色影像轉換爲 正確的黑白單色影像，只要可以產生幾乎沒有不好感覺的 單色影像即可。本發明者依據此種經驗想出本發明。 經濟部智慧財產局員工消費合作社印製 本發明乃有鑑於此觀點而完成，提供只就像素像素最 高的濾色器的顏色利用像素錯開手法，以獲得該顏色的高 解析度的單色影像，只以該單色影像進行影像處理之影像 處理裝置及方法。 如依據本發明之一實施形態，本發明的裝置係具備： 攝影拍照的景物影像之攝影光學系統；及以重複使用3色 濾色器之內的1色之4個濾色器爲1組之多數的濾色器組 本紙張尺度適用中國國家標準（CNS ) A4規格（21〇Χ：297公釐）~~一 一 535416 A7 _______B7_ 五、發明説明（5) 對應各濾色器被配置於攝影面上之各像素的彩色攝影元件 ’及使few W光學系統與彩色攝影兀件只相對位移指定像素 份之位移驅動手段；及只由該位移之前後的位置關係不同 的同一顏色的像素資料產生單色影像而輸出的裝置。 發明之詳細說明 以下，利用圖1至圖3說明本發明之一實施例。 圖1中’攝影光學系統1係在彩色攝影元件2之攝影 面上形成拍照的景物影像。彩色攝影元件2在將形成於2 次元排列於攝影面上的受光元件上的拍照的景物影像做空 間上取樣而做光電轉換後，送往輸出處理部5。彩色攝影 元件2可以合適使用以進行2次元影像的攝影之區域 CCD等之固體攝影元件。 位移驅動手段3例如可以利用壓電元件等之電氣上微 小移動之手段，使彩色攝影元件2與拍照的景物之相對位 置關係位移，在成像面上移動彩色攝影元件2。 控制部4係在1訊框份的影像資料由彩色攝影元件2 被送往輸出處理部5之間，驅動位移手段3，使彩色攝影 元件2的位置往相對位置關係不同的下一訊框位置移動。 而且，取得下一訊框的影像資料。如此，藉由取得改變彩 色攝影元件2與拍照的景物的相對位置關係的複數張的影 像資料，內插鄰接之像素資料得以提升解析度。 輸出處理部5放大個別由彩色攝影元件所送來之類比 影像資料，交互取樣基線部與信號部，將兩者之差當成信 本紙張尺度適用中國國家標準（CNS ) A4規格（210X297公釐） :----1ί 丨__0 — , (請先閱讀背面之注意事項再填寫本頁) 訂 經濟部智慧財產局員工消費合作社印製 -8- 535416 經濟部智慧財產局員工消費合作社印製 A7 ____B7五、發明説明（6) 號檢測以進行相關雙重取樣，並且進行A / D轉換等，當 成數位影像資料輸出。 對影像合成部6將相對位置關係不同的複數的影像資 料內插相互鄰接的像素資料，產生比拍照的景物更高解析 度的1張的單色影像。影像之合成係以不同位置的1張的 影像資料的對應像素資料補償在1張的影像資料中的不具 有像素資料的像素，即進行內插。此內插操作並不需要考 慮R G B之各色而特別運算。 影像處理部7係施以全體晝面成爲均勻明亮用之黑點 校正、調整輸入輸出特性用之r校正、強調影像之輪廓用 之Μ T F校正等。影像處理部7也可以因應需要而依據 R G Β之3色的彩色影像而進行對黑白的單色影像的轉換 。又，影像處理部7也可以依據使用者來之指示以選擇拍 照的景物影像是否爲彩色影像或單色影像。輸出部8係將 由影像處理部7所輸出的合成影像資料以適合外部介面的 通訊協定之格式輸出於輸出線9。 圖2係顯示單色影像的取得方法。首先在利用像素錯 開的影像產生方法以產生特定顏色的複數張的彩色影像後 ’利用產生的彩色影像可以取得高解析度的單色影像。圖 2 Α係顯示形成在彩色攝影元件的攝影面之前述成對方式 的彩色濾色器陣列。如前述般地，在成對方式中，呈方格 花紋狀配置高解析度所必要的亮度信號用的綠色（G )濾 色器，相對於該排列密度爲受光元件的排列密度的1 / 2 ’紅色（R )以及藍色（B )濾色器各爲1 / 4之排列密 本紙張尺度適用中國國家標準（CNS ) A4規格（210X297公嫠） ：----1 |丨.——0! (請先閲讀背面之注意事項再填寫本頁) 訂 -9- 535416 A 7 B7 五、發明説明（7) (請先閱讀背面之注意事項再填寫本頁) 度。藉由像素錯開取得之影像資料的顏色係選擇綠色（G )，取得複數張的此顏色的影像資料，合成取得的影像資 料產生一張的綠色（G )的單色影像。 即關於綠色（G ) ’取得有某種位置關係的彩色濾色 器與拍照的景物影像的影像資料，接著，在彩色攝影元件 與拍照的景物影像的相對位置關係如圖2 B所示般地，在 錯開1像素節距的狀態下取得影像資料，抽離出取得的2 張的影像資料的綠色（G )部份，以另一方的影像中的像 素資料內插在一方的影像中欠缺G的像素資料的像素，合 成一張的綠色（G )的單色影像。 經濟部智慧財產局員工消費合作社印製 圖3係顯示進行取得單色影像之處理的控制部3的動 作的流程圖。首先，在步驟1中，攝取拍照的景物影像。 在步驟2中，抽離出攝取的影像中的綠色（G )部份。在 步驟3中，例如如圖2 B所示般地，將彩色攝影元件與拍 照的景物影像的相對位置關係錯開1像素。在步驟4中， 攝取拍照的景物影像。在步驟5中，抽離出攝取的影像中 的綠色（G )部份，在步驟6中，合成在前述步驟2以及 5中抽離出的影像中的綠色（G )部份。在步驟7中，對 合成影像施以各種的校正，產生單色影像。在步驟8中， 輸出於外部。又，如之後敘述般地，在使像素錯開量爲1 / 2節距之情形，指定次數地重複步驟3至5。 又，關於取得藍色（B )之情形，在彩色攝影元件與 拍照的景物影像的相對位置關係如圖4 C箭頭所示般地， 取得於不同之3方向錯開1像素之4張的影像資料後，抽 本紙張尺度適用中國國家標準（CNS ) A4規格（210 X297公釐） -10- 535416 A7 ___B7_ 五、發明説明（8) (請先閱讀背面之注意事項再填寫本頁) 離出取得的4張的影像資料的藍色（B )部份，可以合成 一張的藍色（B )之單色影像。同樣地，關於取得紅色（ R )之情形，在彩色攝影元件與拍照的景物影像的相對位 置關係也如圖4 C箭頭所示般地，.取得於不同之3方向錯 開1像素之4張的影像資料後，抽離出取得的4張的影像 資料的紅色（R )部份，可以合成一張的紅色（R )之單 色影像。又，B與R之以上的操作並不一定需要，可以因 應需要而選擇性地實行。 接著，如使彩色攝影元件與拍照的景物影像的相對位 置關係爲錯開1 / 2像素節距，對於受光元件的排列密度 可以取得各色都成倍密度的影像資料。 即關於綠色（G )，如圖2 C所示般地，取得彩色攝 影元件與拍照的景物影像的相對位置關係不同的8張的影 像資料，抽離出取得的8張的影像資料的綠色（G )部份 ，合成1張的綠色（G )的單色影像。 經濟部智慧財產局員工消費合作社印製 又，取得藍色（B )之情形，如圖4 E所示般地，取 得彩色攝影元件與拍照的景物影像的相對位置關係不同的 1 6張的影像資料，抽離出取得的1 6張的影像資料的藍 色（B)部份’可以合成1張的藍色（B)的單色影像。 又，在取得紅色（R )之情形，與圖4 E所示之情形相同 地，取得彩色攝影元件與拍照的景物影像的相對位置關係 不同的1 6張的影像資料，抽離出取得的1 6張的影像資 料的紅色（R )部份，可以合成1張的紅色（r )的單色 影像。 本紙張尺度適用中國國家標準（CNS ) A4規格（210X297公釐） '' -11 - 535416 A7 B7 經濟部智慧財產局員工消費合作社印製 五、發明説明（9) 在成對方式的排列中，綠色（G )濾色器的排列密度 爲藍色（B )以及紅色（R )濾色器的2倍。即綠色（G )的攝影張數爲8張，而藍色（B.)或紅色（R )的情形 的攝影張數爲1 6張。因此，只高密度化綠色（G )以取 得單色影像的情形的攝影張數可以爲R或R之情形的1 / 2，因此，攝影時間也可以縮短爲1 / 2。而且，也不需 要單色影像產生用之運算時間，產生單色影像用之運算時 間可以爲只是8張份的攝影時間。如此在本發明的此實施 例中，單色影像的產生時間可以縮短爲習知的1 / 2以下 〇 在如此取得單色影像之情形，即使只利用對亮度信號 有益比例大的綠色（G )，除了讀取對象全體爲綠色系之 情形外，也可以獲得良好的單色影像。特別是在讀取以黑 白印刷之帳簿類的情形，不會見到畫質劣化。 以上雖就使像素錯開量爲1 / 2像素節距之例子做說 明，但是在像素錯開量爲1 / η像素節距之情形也同樣可 以適用，在單色影像取得所所縮短的時間係比例於η而變 大。 又，此處雖就彩色攝影元件2之原色濾色器排列係使 用成對方式而做說明，但是在使用其他方式的排列時，使 用配置受光面的佔有率最大的顏色的濾色器之受光元件的 輸出以產生單色影像即可。又，前述濾色器也可以使用餘 色濾色器（Ye、Mg、Cy)。 (請先閱讀背面之注意事項再填寫本頁) 本紙張尺度適用中國國家標準（CNS ) A4規格（210X297公釐） •12- 535416 A7 ____B7 ___ 五、發明説明（d 圖面之簡單說明 圖1係顯示本發明之影像處理裝置的一實施例之方塊 圖。 圖2 A - 2 C係顯示本發明之單色影像的取得方法圖 〇 圖3係顯示本發明之單色影像的取得處理順序之流程 圖。 圖4 A — 4 E係顯示習知的單色影像取得方法圖。 主要元件對照表 ----------- (請先閱讀背面之注意事項再填寫本頁) 經濟部智慧財產局員工消費合作社印製 1 攝 影 光 學 系 統 2 彩 色 攝 影 元 件 3 位 移 手 段 4 控 制 部 5 輸 出 處 理 部 6 影 像 合 成 部 7 影 像 處 理 部 8 輸 出 部 9 外 部 界 面 訂 P. 本紙張尺度適用中國國家標準（CNS ) A4規格（210 X 297公釐） -13-

Claims (1)

1. 535416 AS B8 二 C8 ‘ _______ D8 夂、申請專利範圍 第9〇 1 27927號專利申請案 中文申請專利範圍修正本 (請先閱讀背面之注意事項再填寫本頁) 民國92年3月2i日修正 1 . 一種影像處理裝置，其係一種具備： 在攝影面上形成拍照的景物影像用之攝影光學系統； 以及 一種具備：被排列於上述攝影面，個別形成像素之受 光元件，及以重複使用3色的濾色器內之1色之4個的濾 色器爲1組之多數組的濾色器之彩色攝影元件，各濾色器 係對應各受光元件而排列，在前述攝影光學系統所形成的 拍照的景物影像係通過各濾色器而形成在受光元件上之彩 色攝影元件；以及 在前述攝影面內使前述攝影光學系統與前述受光元件 只相對位移指定像素分之位移驅動裝置；以及 利用在該位移的前後所攝取的複數的影像資料以產生 1張的影像之影像處理部的影像處理裝置，其特徵爲：. 經濟部智慧財產局員工消費合作社印製 前述影像處理部係只使用以配置前述重複使用的顏色 的濾色器的受光元件所檢測的像素資料，以產生1張的單 色影像而輸出。 . 2 .如申請專利範圍第1項記載之影像處理裝置，其 中前述彩色濾色器係依循成對方式而排列。 3 .如申請專利範圍第1項記載之影像處理裝置，其 中前述位移驅動裝置係相對地只使位移1 / η ( η係整數 本紙張尺度適用中國國家標準（CNS ) Α4規格（210 X 297公釐） 535416 8 8 8 8 ABCD ?年 , Ϊ··

   經濟部智慧財產局員工消費合作社印製 六、申請專利範圍 )像素分。 4 .如申請專利範圍第1項記載之影像處理裝置，其 中前述重複使用之顏色係綠色（G )。 5 .如申請專利範圍第1項記載之影像處理裝置，其 中前述影像處理部係在1個的影像資料中以其他的影像資 料中的像素資料內插沒有前述重複使用的顏色的像素資料 之像素。 6 . —種影像處理方法，其特徵爲： 藉由對應被排列於攝影面之各受光元件而排列由重複 使用3色的濾色器內的1色之4個的濾色器所形成的多數 組的濾色器的各濾色器之彩色攝影元件以攝取利用攝影光 學系統而成像於前述攝影面上之拍照的景物影像， 由該攝取之影像資料抽離出對應前述重複使用的顏色 的濾色器之像素的像素資料， 在前述攝影面內相對地只使前述攝影光學系統與前述 攝影元件位移1/η ( η爲整數）像素分， 在該位移後，以前述攝影元件攝取形成在前述攝影面 之拍照的景物影像， 由該攝取的影像資料抽離出對應前述重複使用之顏色 的濾色器之像素的像素資料， 合成在前述位移之前後所抽離出的複數個的像素資料 ，以產生1張的單色影像。 7 ·如申請專利範圍第6項記載之影像處理方法，其 中在不同的位移位置複數次重複前述位移步驟及其以後之 (請先閱讀背面之注意事項再填寫本頁) 本紙張尺度適用中國國家檬準（CNS ) Α4規格（210X297公釐） -2- 535416 A8 B8 C8 D8 申請專利範圍 攝影步驟以及抽離步驟 ----r|_r---φI — (請先閲讀背面之注意事項再填寫本頁) I*訂 經濟部智慧財產局員工消費合作社印製 本紙張尺度適用中國國家標準（CNS ) A4規格（210X297公釐）