TWI230014B

TWI230014B - Image synthesis apparatus and image synthesis method

Info

Publication number: TWI230014B
Application number: TW092113418A
Authority: TW
Inventors: Jun Muraki
Original assignee: Casio Computer Co Ltd
Priority date: 2002-05-21
Filing date: 2003-05-19
Publication date: 2005-03-21
Also published as: CN1276643C; EP1365578A3; US20030219156A1; EP1365578A2; EP1365578B1; TW200402235A; JP2004048663A; KR100483187B1; CN1472702A; US7286701B2; KR20030091058A; JP3800192B2

Description

玖、發明說明：【發明所屬之技術領域】本發明涉及可進行圖像間之合成所用之圖像合成裝置和圖像合成方法【先前技術】近年，攝像所記錄之圖像資料間之合成以生成合成圖像資料，具備記錄機能之數位相機已很普及。在此種數位相機中，對由固体攝像元件之一種中之CCD所輸出之CCD 資料進行所謂畫素補間處理，7補正處理，白色平衡處理，邊緣強調處理，YC資料變換處理（使cCD資料變換成由輝度信號Y和色差信號C所構成之YC資料之處理）之色處理之後’以 JPEG (Joint Photographic Expert Group)等所定之格式（Format)記錄在快閃記憶体等之記錄媒体中。因此，在合成一圖像資料時，由快閃記億体讀出該成爲合成對象之第1圖像資料和第2圖像資料，由此加以伸張以進行圖像資料之間之合成而生成該合成圖像資料。然而’施加這樣的各種色處理之後的圖像資料之間若進平了合成而生成該合成圖像資料，則圖像之明亮處漬散成白色或反之各黑暗之處變成更暗等會發生由於色的潰散所造成之圖像之劣化。爲了圖像之處理問題，會發生所謂需要很多記憶体之問題。【發明內容】鑑於先則所發生之問題，本發明之目的是提供一種圖像合成裝置和圖像合成方法，其在進行圖像合成時可大幅提升便利性在本發明之一種形式中，圖像合成裝置包含：第1取得裝置’用來取得未施加所定之色處理之色圖像資料；第2 取得裝置，用來取得已施加所定之色處理之色圖像資料；變換裝置，使第2取得裝置所取得之色圖像資料變換成所定之色處理施加前之狀態之色圖像資料；合成裝置，對該變換裝置所變換之色圖像資料和第1取得裝置所取得之色圖像資料進行合成。又，本發明之其它形式中亦提供圖像合成方法，其中須取得未施加所定之色處理之色圖像資料和已施加所定之色處理之色圖像資料，使該已取得之已施加所定之色處理之色圖像資料變換成施加所定之色處理之前之狀態之色圖像資料，然後對已變換之色圖像資料和已取得之未施加所定之色處理之色圖像資料進行合成。【實施方式】以下將依據圖式來說明本發明之第1實施方式。第1圖是各實施方式共通之數位相機之電路構成之方塊圖。該數位相機包含：光學透鏡1 ;攝像元件2，其含有由該光學透鏡1來成像之CCD等；TG3,其用來驅動該攝像元件2 和隨後將述及之單元電路 4;單元電路 4，其由 CDS (Correlated Double Sampling，其用來保持該攝像元件2所輸出之攝像信號），AGC (Auto Gain Control)放大器（其用來使該攝像信號放大）和 A/D轉換器（AD)所構成。又，上述之攝像元件2之前設有原色拜爾（Bayer)配列之色（RGB) 濾器因此’被攝体之像經由光學透鏡1而成像在攝像元件2 上’該攝像元件2輸出信號。由該攝像元件2所輸出之信號在單元電路4中取樣，放大，數位化之後保持拜爾資料 (RGB資料）而送至圖像處理電路/CPU6，由該圖像處理電路/CPU6來進行各種信號處理（包含色處理）和圖像處理。該光學透鏡1保持在該具備AF馬達之透鏡驅動電路5 中。透鏡驅動電路5由於該圖像處理電路/CPU6之控制而受驅動，藉此使該光學透鏡1在光軸方向中移動，因此可調整成像在該攝像元件2中之被攝体像之聚焦。又，AE控制時，依據由該圖像處理電路/CPU6所送來之快門脈波藉由TG3來驅動該攝像元件2，以控制該電荷儲存時間。這樣可實現電子快門。圖像處理電路/CPU6具備各種信號處理和圖像處理機能。在攝像待機時，經由該單元電路4由已變換成數位信號之攝像信號來生成視頻信號。以該攝像元件2所得之被攝体像作爲圖像而顯示在由TFT液晶監視器所構成之顯示裝置中。又，攝像時對攝像信號作壓縮以生成由JPEG格式之YC資料所構成之圖像檔（file)，之後使該圖像檔儲存在由快閃記憶体等所構成之存取自在之外部記憶体8，再生時已壓縮之該圖像檔由外部記憶体8讀出且伸張以顯示在該顯示裝置7上。又，圖像處理電路/CPU6中連接著操作鍵部9(其包含：電源開關，快門鍵，捲繞鍵，設定鍵等各種開關），記憶 15 m〇m 体1 0和程式R 〇 Μ 1 1。該記憶体1 〇作爲下述圖像合成處理等之作業領域中使用之工作r A Μ。程式R Ο Μ 1 1中記憶著由圖像處理電路/CPU6而來之各部之控制和各種資料處理所必須之動作程式（即，進行下述之流程圖中所示之處理時所需之程式等）。其次’依據第2至5圖中所示之上述方式所構成之數位相機之動作之流程圖來說明。這些流程圖中顯示：藉由快門鍵之操作使攝像元件2所攝取之儲存於外部記憶体8中之先前之圖像資料（以下稱爲攝影圖像YC資料）合成至攝像後以Y C資料狀態保存在外部記憶体8中之原始圖像之圖像資料（以下稱爲原始圖像γ c資料）。上述之圖像處理電路/CPU6依據上述之程式以及第2圖所示之全体槪略流程來進行處理。由外部記憶体8讀出該成爲合成對象之原始圖像γ C資料且加以伸張以及在記憶体1 0上展開（步驟S A 1)。又，伴隨著快門鍵之操作而取得由攝像元件2所攝取且由單元電路4所輸出之拜爾資料（以下稱爲攝影圖像拜爾資料）（步驟SA2)，以下述之方式對以攝影圖像拜爾資料爲主之攝影圖像YC資料進行生成處理 (色處理）（步驟SA3)。又，進行後述之多重（合成）圖像yC 資料生成處理之後（步驟SA4)，使由多重圖像資料生成處理所得到之圖像資料（以下稱爲多重圖像Y C資料）顯不在顯不裝置7中同時保存在記憶体1 〇或外部記憶体8 中〇第3圖之流程詳細顯不上述步驟s A 3之攝影圖像γ c資月—日. 料之生成處理（色處理）。首先，伴隨著快門鍵之操作在該攝像元件2中所攝得且由單元電路4中所輸出之暫時儲存在記憶体1 0中之攝影圖像拜爾資料之處理對象點座標作爲標示値來設定初期値（步驟S B 1)。然後，由攝影圖像拜爾資料讀出該顯示此初期値之處理對象點資料和其周圍點資料（步驟SB2) °其次’依據該已讀出之處理對象點資料和其周圍點資料來進行畫素補間處理（步驟s B 3)。然後，對畫素補間後之資料依次進行^變換（7補正）處理（步驟 S B 4)，邊緣強調處理（步驟s B 5 )之後，進行由拜爾資料至 YC資料之變換處理（步驟SB6)，使該處理對象點中（對應於1畫素（pix)之）攝影圖像YC資料寫入記憶体1〇中（步驟 SB7)。又’對攝影圖像拜爾資料之全部之點（pix)判斷以上之步驟SB2至步驟SB7之處理是否已結束（步驟SB8)。若對全部之點之處理未結束（步驟SB 8 ; NO)，則該處理對象點座標之標示値更新後（步驟SB9)，對顯示該已更新之値之處理對象點進行步驟S B 2至步驟S B 7之處理。因此，若對全部之攝影圖像拜爾資料之點已完成以上之步驟S B 2至步驟 S B 7之處理，則第3圖所示之流程中之各種處理即結束。第4圖之流程詳細顯示上述步驟SB4之多重圖像YC資料生成處理。首先，以處理對象點座標作爲標示値來設定初期値（步驟SCI)，由原始圖像YC資料讀出該顯示初期値之處理對象點座標（步驟SC2)。又，亦由該攝影圖像YC 資料讀出該顯示初期値之處理對象點資料（步驟SC3)，依據下述第5圖中之流程圖來進行多重演算處理步驟（SC4)，使該處理對象點中已多重化之γ C資料寫入記憶体1 0中。其次’對原始圖像Y C資料和攝影圖像Y C資料之全部之點（Pix)判斷以上之步驟SC2至步驟SC5之處理是否已結束（步驟SC6)。若對全部之點之處理未結束（步驟SC6 ; N〇)，則該處理對象點座標之標示値更新後（步驟SC7)，對顯示該已更新之値之處理對象點進行步驟SC2至步驟SC5 之處理。因此，若對全部之原始圖像YC資料和攝影圖像 YC資料之點已完成以上之步驟SC2至步驟SC5之處理，貝1J第4圖所示之流程中之各種處理即結束。第5圖之流程圖詳細地顯示步驟SC4之多重演算處理。首先’使該處理對象點之原始圖像YC資料變換成拜爾資料（步驟SD1)，對該已變換之處理對象點之拜爾資料進行反r變換（步驟SD2)。即，對已施加r補正之有非線形性之資料進行一保持線形性之處理而回復至r補正前之狀態。又，該處理對象點之攝影圖像YC資料亦變換成拜爾資料（步驟SD3)，對該已變換之處理對象點之拜爾資料進行反7變換（步驟SD4)。其次，使該已反y變換之處理對象點之原始圖像之拜爾資料和攝影圖像之拜爾資料相加 (步驟SD5)，限定該加算後之拜爾資料之上限値（步驟 SD6)。又，對該上限値已限定之拜爾資料進行畫素補間處理（步驟SD7)，進行r變換（步驟SD8)，使已7變換之拜爾資料變換成YC資料（步驟SD9)。因此，第5圖之流程中所示之處理藉由第4圖之步驟SD4

來進行，則原始圖像YC資料和攝影圖像YC資料之全部之點在經由拜爾資料變換和反r變換而相加之後，進行畫 -素補間和7變換，於是生成由 y c資料所構成之多重圖像 yc資料（合成圖像資料）。於是，若進行以上第2至5圖所示之流程中之各種處理，例如，圖像大小是2048 * 1 568 pix，各YC資料之格式在YcbCi* 各1位元組中爲4 : 2 : 2，拜爾資料成爲1位元組/pix時，則如第6圖中所示在該記憶体1 0中該原始圖像YC資料展開時需要 6MB(10a)，攝影圖像拜爾資料儲存時需要 φ 3MB(l〇b)，攝影圖像拜爾資料變換成攝影圖像YC資料時需要6MB(10c)，多重圖像YC資料變換時需要6MB(10d)。因此，記憶体10中若有21MB之容量，則以原始圖像YC資 ' 料和攝影圖像YC資料爲準即可生成多重圖像YC資料。 '

又，使多重圖像 YC資料寫入至攝影圖像 YC資料上時 (l〇e)，記憶体10中若有15MB之容量，則以原始圖像YC 資料和攝影圖像YC資料爲準即可生成多重圖像YC資料。因此，從來以少許之記億体容量亦可進行圖像之合成。又，如第2至5圖之流程所示，進行圖像合成時，由於對施加r補正之原始圖像YC資料和攝影圖像YC資料施加反r補正而使二種YC資料合成，先前爲了防止畫質之劣化所需要之多個記億体容量且補正演算處理時所進行之需要時間之圖像補正處理都已不需要，可單純地藉由短時間之處理來進行畫質未劣化之圖像之合成。又，在本實施形態中，預先保存之原始圖像和保存前之 -11-

攝影圖像可進行合成，但原始圖像之間和外部記億体8中所保存之圖像之間亦可合成。 (第2實施形式）第7圖之本發明之第2實施形式中，其顯示該攝像之後在YC資料之狀態中保存在外部記憶体8中之第1原始圖像YC資料和第2原始圖像YC資料合成時之情況。上述之圖像處理電路/CPU6以上述之程式爲準來進行第 7圖所示之全体槪略流程中之處理。

首先，由外部記憶体8來選取、讀出該成爲合成對象之第1原始圖像YC資料且加以伸張而在記憶体1 〇上展開（步驟S A 1 1)。例如，外部記憶体8中記錄之多個YC資料對應於捲繞鍵之操作而順次切換以顯示在顯示裝置7上，在希望合成之YC資料所表示之時點藉由該設定鍵之操作來選取第1原始圖像YC資料。然後，由外部記憶体8來選取、讀出該成爲合成對象之第2原始圖像YC資料且加以伸張而在記憶体10上展開（步驟SA1 2)。在進行多重（合成）圖像YC資料生成處理之後（步驟SA13)，使由該多重（合成）圖像Y C資料生成處理所得到之多重圖像γ c資料保存在記憶体1 0或外部記憶体8中（步驟S A 1 4)。弟8圖之流程圖顯不步驟SA13之多重圖像yc資料生成處理。首先’以處理對象點座標作爲標示値來設定初期値（步驟SCI 1) ’由第1原始圖像YC資料讀出該初期値所示之處理對象點資料（步驟SC12)。又，亦由第2原始圖像Y C資料讀出該初期値所示之處理對象點資料（步驟 -12-

SCI 3)。依據下述第9圖中所示之流程圖來進行多重演算處理（步驟SC14)。使該處理對象點中已多重化之YC資料寫入記憶体1 0中（S C 5 )。其次’對第1原始圖像YC資料和第2原始圖像YC資料之全部之點（pix)判斷以上之步驟SC12至步驟SC15之處理是否已結束（步驟SCI 6)。若對全部之點之處理未結束（步驟SC16 ; N0)，則該處理對象點座標之標示値更新後（步驟S C 1 7)’對顯示該已更新之値之處理對象點進行步驟 SC12至步驟SC15之處理。因此，若對全部之第1原始圖像YC資料和第2原始圖像YC資料之點已完成以上之步驟SC12至步驟SC15之處理，則第8圖所示之流程中之各種處理即結束。第9圖之流程圖詳細顯示第8圖之步驟SC14之多重演算處理。首先，使該處理對象點中之第丨原始圖像YC資料變換成拜爾資料（步驟SD11)。對已變換之處理對象點之拜爾資料進行反r變換（步驟SD 12)。即，對已施加r補正之有非線形性之資料進行一保持線形性之處理而回復至7 補正前之狀態。又，該處理對象點之第2原始圖像YC資料亦變換成拜爾資料（步驟SD 13)，對該已變換之處理對象點之拜爾資料進行反7變換（步驟SD14)。其次，使該已反 7變換之處理對象點之第1原始圖像之拜爾資料和第2 原始圖像之拜爾資料相加（步驟SD 15)，限定該加算後之拜爾資料之上限値（步驟SD 16)。又，對該上限値已限定之拜爾資料進行畫素補間處理（步驟S D 1 7 )，進行r變換（步驟 k广」· \ ίο. 1

I23B0M SD18)，使已r變換之拜爾資料變換成 YC資料（步驟 SD19)。因此，第9圖之流程中所示之處理藉由第8圖之步驟 S D14來進行，則第1原始圖像Y C資料和第2原始圖像 Y C資料之全部之點在經由拜爾資料變換和反r變換而相加之後，進行畫素補間和r變換，於是生成由 YC資料所構成之多重圖像YC資料（合成圖像資料）。

於是，若進行以上第7至9圖所示之流程中之各種處理，例如，圖像大小是2048 * 1 568 pix，各YC資料之格式在YcbCr 各1位元組中爲4 : 2 : 2，拜爾資料成爲1位元組/Pix時，則在該記憶体10中第1原始圖像Y C資料展開時需要 6MB，第2原始圖像YC資料展開時需要6MB，多重圖像 YC資料變換時需要6MB。因此，記憶体10中若有18MB 之容量，則以第1原始圖像YC資料和第2原始圖像YC 資料爲準即可生成多重圖像YC資料。又，使多重圖像YC 資料寫入至第1或第2原始圖像YC資料上時，記憶体工〇中若有12MB之容量，則以第1原始圖像YC資料和第2 原始圖像YC資料爲準即可生成多重圖像YC資料。因此，從來以少許之記憶体容量亦可進行圖像之合成。又’如第7至9圖之流程所示，進行圖像合成時，由於對施加r補正之第1原始圖像YC資料和第2原始圖像YC 資料施加反r補正而使二種YC資料合成，先前爲了防止 #質之劣化所需要之多個記億体容量且補正演算處理時所進行之需要時間之圖像補正處理都已不需要，可單純地藉 -14-

I 年m L—·…^一——------------------ 由短時間之處理來進行畫質未劣化之圖像之合成。 (第3實施形式）第10至13圖之本發明之第3實施形式中，藉由快門之操作使攝像元件所取得之施加各種色處理之前之攝影像拜爾資料合成至攝像之後在Y C資料之狀態中保存在部記億体8中之原始圖像YC資料。上述之圖像處理電路/CPU6依據上述之程式以及第圖所示之全体槪略流程來進行處理。由外部記憶体8讀該成爲合成對象之原始圖像YC資料且加以伸張以及在憶体1 0上展開（步驟SE1)。又，伴隨著快門鍵之操作而得由攝像元件2所攝取且由單元電路4所輸出之攝影圖拜爾資料（步驟SE2)，以下述之方式對多重拜爾資料進生成處理（步驟SE3)。又，進行多重圖像YC資料生成理（色處理）之後（步驟SE4)，使由多重圖像YC資料生成理（色處理）所得到之圖像資料顯示在顯示裝置7中同時存記錄在外部記憶体8中（步驟SE5)。第1 1圖之流程詳細顯示上述步驟SE3之多重圖像拜資料之生成。首先，以處理對象點座標作爲標示値來設初期値（步驟SF1 )，之後，由已在記憶体1 0上展開之原圖像YC資料讀出該顯示初期値之處理對象點資料（步 SF2)。其次，伴隨著快門鍵之操作由該攝像元件2所攝且由單元電路4所輸出之暫時儲存在記憶体10中之該影圖像拜爾資料中讀出該顯示初期値之處理對象點資 (步驟SF3)。因此，使用該已讀出之原始圖像YC資料鍵圖外 10 出記取像行處處保爾定始驟取攝料之處理對象點資料和攝影圖像拜爾資料之處理對象點資料依據下述方式來進行多重演算處理（步驟SF4)。又，使由多重演算處理所生成之該處理對象點中已多重化之拜爾資料寫入記憶体1 〇中（步驟S F 5 )。其次，對原始圖像YC資料和攝影圖像拜爾資料之全部之點（pix)判斷以上之步驟SF2至步驟SF5之處理是否已結束（步驟SF6)。若對全部之點之處理未結束（步驟SF6 ; n〇），則該處理對象點座標之標示値更新後（步驟SF7)，對顯示該已更新之値之處理對象點進行步驟SF2至步驟SF5之處理。因此’若對全部之原始圖像Y C資料和攝影圖像拜爾資料之點已完成以上之步驟SF2至步驟SF5之處理，則第 1 1圖所示之流程中之各種處理即結束。第12圖之流程圖詳細顯示第1〇圖之步驟SF4之多重演算處理。首先，藉由，，原始圖像YC資料/拜爾資料變換，，之處理，使該處理對象點中之原始圖像Yc：資料變換成拜爾資料（步驟SG1)。又，藉由，，原始圖像拜爾資料反γ變換” 之處理來進行反r變換，使該處理對象點之拜爾資料之處理成爲與攝影圖像之拜爾資料同等級（步驟SG2)。藉由此種狀態之”原始圖像拜爾資料/攝影圖像拜爾資料加I，，處理，使該處理對象點之原始圖像拜爾資料和攝影圖像拜爾資料相加（步驟S G 3)。因此，限定該加算後之拜爾資料之上限値（步驟SG4)，則對應於ipix之冬甭洁替兩M & — P1X (夕童演算處理即已完成。 1 〇圖之步驟

於是’桌1 2圖之流程中所示之處理藉由第 -16-

SF4來進行，則原始圖像YC資料和攝影圖像拜爾資料之全部之點（p i X)在拜爾資料狀態中生成該相加後之多重圖像拜爾資料。因此，在第10圖所示之流程圖中，在步驟SG3之後之步驟SG4之多重圖像YC資料生成（色處理）時，進行一與第3圖所示之流程圖之處理相同之處理。

即，首先，以處理對象點座標作爲標示値來設定初期値 (步驟SB1)。然後，由多重圖像拜爾資料讀出該顯示此初期値之處理對象點資料和其周圍點資料（步驟SB2)。其次，依據該已讀出之處理對象點資料和其周圍點資料來依序進行畫素補間處理（步驟SB3)，7變換處理（步驟SB4)，邊緣強調處理（步驟SB5)後，進行一由拜爾資料至 YC資料之變換處理（步驟SB6)，使處理對象點中（相當於lpix之）多重圖像YC資料寫入至記憶体10中（步驟SB7)。

又，對多重圖像拜爾資料之全部之點（Pix)判斷以上之步驟SB2至步驟SB7之處理是否已結束（步驟SB8)。若對全部之點之處理未結束（步驟SB8 ; NO)，則該處理對象點座標之標示値更新後（步驟SB9)，對顯示該已更新之値之處理對象點進行步驟SB2至步驟SB7之處理。因此，若對全部之多重圖像拜爾資料之點已完成以上之步驟SB2至步驟 SB7之處理，則第3圖所示之流程中之各種處理即結束。若進行以上第1 0至1 2圖和第3圖所示之流程中之各種處理，例如，圖像大小是2048 * 1 5 68 pix時，如第13圖所示，在該記憶体1 0中全部是資料之情況下，該原始圖像 -17- 1驗0滅4 YC資料成爲6MB(10a)’攝影圖像拜爾資料成爲3MB(10b)，多重圖像拜爾資料成爲3MB(10c)，多重圖像YC資料成爲 6 Μ B (1 0 d)。因此，記億体1 〇中若有1 8 Μ B之容量，則以原始圖像Y C資料和色處理施加前之攝影圖像拜爾資料爲準即可生成多重圖像YC資料。又，由於可使多重圖像YC 資料和原始圖像YC資料、攝影圖像拜爾資料和多重圖像拜爾資料分別被寫入，則考慮此點時若記憶体1 0中有9ΜΒ 之容量，則可生成多重圖像YC資料。因此，以少許之記憶体容量亦可進行圖像之合成。 4Ρ 又，本實施形式中，多重處理之乘算只發生在第12圖之步驟SG1中之”原始圖像YC/拜爾資料變換”。此處之演算基本上是3*3之矩陣演算，但由於可藉由拜爾配列之色而算出RGB中之任一個，則相當於lpix之乘算次數成爲 3次。因此，伴隨複雜之演算所需之時間即可不需要。單純地藉由短時間之處理即可進行圖像未劣化之圖像之合成。 (第4實施形式）第1 4至1 7圖之本發明之實施形式中，藉由快門鍵之操作使攝像元件2所取得之施加各種色處理之前之攝影圖像 . 拜爾資料合成至攝像之後在γ C資料之狀態中保存在外部記億体8中之原始圖像YC資料。 . 上述之圖像處理電路/CPU6依據上述之程式以及第14 圖所示之全体槪略流程來進行處理。該全体槪略流程中之步驟SH1至SH15是與第10圖之步驟SE1至SE5之處理 -18- 相同。又，第15圖之流程圖詳細顯示步驟SH3之多重圖像拜爾資料之生成，但該流程圖中之步驟SI1至SI7之處理亦可與上述第1 1圖之步驟SF1至SF7之處理相同。第1 6圖之流程圖詳細顯示第1 5圖中步驟S 14之多重演算處理。首先，進行”原始圖像YC資料/LPF處理，，（步驟 SJ1)。在步驟SJ1之處理中，多重演算時對原始圖像yc 資料進行LPF(低通濾波）處理。該演算之內容以γ爲例而顯示在第1 4圖中。即，在某一對象點（圖例中之座標（1，1))中算出Y的低頻成份時，以該對象點作爲中心而對周圍9點（水平3 *垂直3)之資料進行濾波係數之疊合演算。此處係在Y (i-1，j-1) 至 Y (i-1 + 1，j-1 + l)中對 LPF 之行列 LPF (0，0)至 LPF (2，2) 進行疊合以算出YL (i，j)，則成爲下記之式·· YL (i, j) = (1 /1 6) ΣΣ Y(i-1H-m, j -1+n)LPF(m, η) 因此，若進行步驟S Π之處理，則對由步驟S Π之處理所得到之原始圖像YC資料之低頻成份在以下之步驟SJ2 至步驟SJ5中進行與上述第12圖之步驟SG1至SG4相同之處理。即，與色處理前之攝影圖像拜爾資料相比較，爲了色處理之一之邊緣強調過程進行後之資料，該原始圖像YC資料通常具有多個高頻成份。於是，若使用這些高頻成份來進行多重處理/色處理，則對原始圖像之高頻成份由於更進行了邊緣強調過程（參考第3圖之流程）而使不要之高頻成份成爲多個圖像。但是，第4實施形式中，預先對原始

圖像YC資料進行LPF而抑制了高頻成份，則理/色處理之後多重處理之圖像之不要之高頻抑制，因此可進行其結果圖像未劣化之圖像合又，在本實施形式中，濾波器是以3 * 3之方 5*5等之其它方式之構成亦可。又，多重演算濾波處理，但亦可在原始圖像YC資料讀出之處理。在上述第1至第4實施形式中，以CCD之β 爲拜爾配列（RGB)之補色之配列（YMC)亦可。又，料之格式在YcbCr各1位元組中成爲4 : 2 : 2， 0等亦可。在上述第1至第4實施形式中，其係就靜止圖行合成時來說明，但本發明亦可適用於動態圖傷成，及動態圖像與靜止圖像之間之合成。又，在上述第1至第4實施形式中，其係就圖重合成（加算）進行時來說明本發明適用之情況，亦適用於圖像之間進行減算時之情況。例如，考門在關閉時所攝得之圖像由快門在打開時所攝得減去以去除雜訊時，則本發明亦可適用於此種情又，在上述第1至第4實施形式中，任一實拥發明都以適用於數位相機之情況來說明，但對於之可攜式電話終端，具有相機之可攜式資訊終端機之個人電腦等之具有攝像機能之機器而言，本適用於其中任一種機器。 :行多重處份即受到〇 (構成，但理時進行進行濾波爾資料作各YC資但 4 : 2 : 像之間進之間之合像之間多但本發明慮藉由快之圖像中況。形式中本具有相機，具有相發明亦可 -20- 又，在上述第1至第4實施形式中，其係以本發明適用 -於具有攝像機能之機器時之情況來說明，但本發明亦可適 * 用於未具備相機功能之可攜式電話終端，可攜式資訊終端’個人電腦等。重要的是若該機器具備圖像合成功能，則本發明都可適用於其中任一機器中。【圖式簡單說明】第1圖本發明各實施形式中共通之數位相機之方塊圖。第2圖第1實施形式之一般流程圖。 φ 第3圖係第2圖之流程圖中步驟SA3之詳細之流程。第4圖係第2圖之流程圖中步驟SA4之詳細之流程。第5圖係第4圖之流程圖中步驟SC4之詳細之流程。第6圖係第1實施形式中記憶体使用狀況之說明圖。第7圖係第2實施形式之一般流程圖。第8圖係第7圖之流程圖中步驟S A 1 3之詳細之流程。第9圖係第8圖之流程圖中步驟SC 1 4之詳細之流程。第10圖係第3實施形式之一般流程圖。 β 第1 1圖係第1 0圖之流程圖中步驟SE3之詳細之流程。第1 2圖係第1 1圖之流程圖中步驟SF4之詳細之流程。 _ 第1 3圖係第3實施形式中記億体使用狀況之說明圖。第1 4圖係第4實施形式之一般流程圖。 · 第15圖係第14圖之流程圖中步驟SH3之詳細之流程。第1 6圖係第1 5圖之流程圖中步驟S14之詳細之流程。第17圖對第4實施形式之原始圖像YC資料作LPF處 -21- 時之說明圖。

元件之符號說明：

1 光學透鏡 2 攝像元件 3 TG 4 單元電路 5 透鏡驅動電路 6 圖像處理電路/CPU 7 顯示裝置 8 外部記憶体 9 操作鍵部 10 記憶体 11 程式ROM

-22-

Claims

Di4 頁1 1%1S y I合、申請專利範圍：第92 1 1 34 1 8號「圖像合成裝置及圖像合成方法」專利案 (93年10月15日修正） 1· 一種圖像合成裝置，其特徵爲具備：第1取得裝置’其取得該未施加所定之色處理之色圖像資料，第2取得裝置，其取得該已施加所定之色處理之色圖像資料，變換裝置’其使第2取得裝置所取得之色圖像資料變換成施加該所定之色處理前之狀態之色圖像資料，合成裝置，其對該換變裝置所變換之色圖像資料和該第1取得裝置所取得之色圖像資料進行合成。 2 ·如申請專利範圍第1項之圖像合成裝置，其中具備一記憶裝置，其用來記億已施加該所定之色處理之色圖像資料·，該第2取得裝置取得該記億裝置中所記憶之色圖像資料。 3 ·如申請專利範圍第2項之圖像合成裝置，其中該記憶 g S多次記憶該已施加所定之色處理之色圖像資料且具一選擇裝置，以便由該記憶裝置中所記憶之多個色匱I像資料中選取任意之色圖像資料， 2取得裝置取得該選擇裝置所選取之色圖像資料。 4 ·如申請專利範圍第2項之圖像合成裝置，其中具備一胃像_置，其用來攝取一種被攝體且輸出色圖像資料； @ _ ί里裝置，其對該攝像裝置所輸出之色圖像資料進

1 El G所定之色處理該記憶裝置對已由色處理裝置施加所定之色處理之色圖像資料進行記憶。如申請專利範圍第1項之圖像合成裝置，其中具備一攝像裝置，其用來攝取一種被攝體且輸出色圖像資料；色處理裝置，其對該攝像裝置所輸出之色圖像資料進行所定之色處理，

該第2取得裝置取得該已由色處理裝置施加所定之色處理之色圖像資料。 6 ·如申請專利範圍第1項之圖像合成裝置，其中具備一攝像裝置，其用來攝取一種被攝體且輸出色圖像資料；色處理裝置，其對該攝像裝置所輸出之色圖像資料進行所定之色處理，該第1取得裝置取得該已由色處理裝置施加所定之色處理前之色圖像資料。 7 ·如申請專利範圍第1項之圖像合成裝置，其中具備一

記憶裝置，其對已施加所定之色處理之色圖像資料進行記憶，該變換裝置含有一種變換用之裝置，其使該記憶裝置中所記憶之色圖像資料變換成施加所定之色處理前之狀態之色圖像資料，該第1取得裝置取得該由變換裝置變換成所定之色處理施加前之狀態之色圖像資料。 8 •如申請專利範圍第7項之圖像合成裝置，其中該記憶裝置對已施加所定之色處理之色圖像資料進行

多次記憶，具備一選擇裝置，其由該記憶裝置中所記憶之多個色圖像資料中選取任意之色圖像資料，該變換裝置含有一種變換用之裝置，其使由該選擇裝置所選取之色圖像資料變換成施加所定之色處理前之狀態之色圖像資料。

9 ·如申請專利範圍第7項之圖像合成裝置，其中具備一攝像裝置，其用來攝取一種被攝體且輸出色圖像資料；色處理裝置，其對該攝像裝置所輸出之色圖像資料進行所定之色處理，該記憶裝置對已由色處理裝置施加所定之色處理之色圖像資料進行記憶。 I 〇 ·如申請專利範圍第1項之圖像合成裝置，其中具備一記憶裝置，其用來對由該合成裝置所合成之合成色圖像資料進行記憶。

II ·如申請專利範圍第1項之圖像合成裝置，其中具備一顯示裝置，其顯示由該合成裝置所合成之合成色圖像資料。 12 ·如申請專利範圍第丨項之圖像合成裝置，其中具備一種色處理裝置，其用來對由該合成裝置所合成之合成色圖像資料進行所定之色處理。 1 3 ·如申請專利範圍第丨項之圖像合成裝置，其中該所定之色處理含有r補正處理。 14 ·如申請專利範圍第！項之圖像合成裝置，其中該所定之色處理含有一種使拜爾資料變換成輝度•色差資料

所用之處理。 1 5 ·如申請專利範圍第1項之圖像合成裝置，其中該所定之色處理含有畫素補間處理。 1 6 ·如申請專利'範圍第1項之圖像合成裝置，其中該第2取得裝置取得該已施加所定之色處理和邊緣強調處理之色圖像資料，

具備一種濾色處理裝置，其對由該第2取得裝置所取得之色圖像資料施加一抑制高頻成份甩之濾色處理，該合成裝置對已施加由濾色處理裝置而來之濾色處理和由該變換裝置而來之變換處理後之色圖像資料及該由第1取得裝置所取得之色圖像資料進行合成。 17 ·如申請專利範圍第16項之圖像合成裝置，其中第1 取得裝置取得該未施加所定之色處理和邊緣強調處理之色圖像資料。

1 8 ·如申請專利範圍第1 7項之圖像合成裝置，其中具備一攝像裝置，其用來攝取一種被攝體且輸出色圖像資料；一處理裝置，其對該攝像裝置所輸出之色圖像資料進行所定之色處理和邊緣強調處理，該第1取得裝置取得由該處理裝置施加所定之色處理和邊緣強調處理前之色圖像資料。 1 9 ·如申請專利範圍第16項之圖像合成裝置，其中具備一種邊緣強調裝置，其對該合成裝置所合成之合成圖像資料施加邊緣強調處理。 20· —種圖像合成方法，其特徵爲：取得該未施加所定之色處理之色圖像資料和已施加所之色處理之色圖像資料，該已取得之已施加所定之色處理之色圖像資料變換成施加所定之色處理前之狀態之色圖像資料，對已變換之色圖像資料和已取得之未施加所定之色處理之色圖像資料進行合成。