TWI408954B

TWI408954B - 影像處理裝置及電腦程式

Info

Publication number: TWI408954B
Application number: TW098129219A
Authority: TW
Inventors: Masakazu Yoshii; Keiichi Sakurai; Ryohei Yamamoto
Original assignee: Casio Computer Co Ltd
Priority date: 2008-09-02
Filing date: 2009-08-31
Publication date: 2013-09-11
Also published as: KR20100028002A; KR101032058B1; US8125544B2; TW201015987A; US20100053410A1

Description

影像處理裝置及電腦程式

本申請案係根據並主張2008年9月2日所提出之日本專利申請案第2008-224709號及2009年3月24日所提出之日本專利申請案第2009-072298號之優先權，在此併入其已揭示的整個內容作為參考。

本發明係關於在影像內抽出包含被拍攝體(subject)之輪廓(contour)的四角形(quadrangle)區域(area)的影像處理裝置及電腦程式。

以往，為了可對包含在攝影影像中之被拍攝體影像實行座標轉換等的影像處理，已知有種攝影裝置(image capturing device)，其具備在影像內抽出包含被拍攝體輪廓的四角形區域之功能，就是所謂的輪廓四角形抽出功能。這種攝影裝置係利用霍夫轉換(Hough transform)，從包含表示被拍攝體輪廓的邊緣畫素(包含edge pixels的邊緣影像(edge image)中，檢測出構成被拍攝體輪廓的複數條直線(straight line)，從所檢出之複數條直線中特別指定形成四角形區域的直線，藉以抽出四角形區域。這種攝影裝置之一範例揭露於日本國特開2005-267457號公報。

以前的攝影裝置係針對已檢測出之複數條直線之各條來算出在邊緣影像(edge image)內存在於直線上的邊緣畫素(edge pixel)，根據所算出之畫素數的多寡來特別指定(select)形成複數個四角形區域的直線。不過，藉由這種構成，在抽出之四角形區域的大小(size)不明顯時或複數個被拍攝體影像(subject image)存在於1個影像內的時候，有時會抽出不合規格(inadequate)的四角形區域。

另外，以前的攝影裝置係在攝影影像中包含複數個被拍攝體影像的時候，四角形區域之大小的評估值依高低順序而在顯示畫面上顯示複數個四角形區域的候補(以下簡稱為矩形候補(rectangle candidate))，使用者係從在顯示畫面上顯示之複數個矩形候補中選擇在影像處理時所利用的矩形候補。不過，根據這種以前的攝影裝置之構成，由於在相異的被拍攝體影像間切換矩形候補的顯示頻繁，或顯示與已經選出矩形候補的被拍攝體影像相關的其他矩形候補，造成使用者無法順暢地(smoothly)選擇矩形候補。

根據本發明之一種態樣，提供一種影像處理裝置，其特徵為具備：線段檢測單元，其在影像內檢測出縱方向線段和橫方向線段；對邊候補製作單元，其從藉由前述線段檢測單元所檢測出之縱方向線段和橫方向線段，製作在前述影像內構成四角形區域的縱方向對邊候補和橫方向對邊候補；矩形候補製作單元，其製作複數個前述縱方向對邊候補和橫方向對邊候補的組合，並製作以各組合之縱方向對邊候補和橫方向對邊候補之交點為4個頂點的前述四角形區域來作為前述矩形候補；及評分單元，其根據前述矩形候補和構成(constituting)縱方向對邊候補及橫方向對邊候補之線段(line segments)的關係(relationship)來算出針對各個前述矩形候補的似然度(likelihood)。

以下將參照圖式來說明用以實施本發明之各種特徵的一般型態。圖式及相關敘述係提供來說明發明之實施例，並非用來限縮本發明之範疇。

接著將參照附加圖式來詳細描述本發明之實施例。所請求之發明的範疇不應侷限於圖式中所說明之範例及以下所述的內容。

[第1實施形態]

以下，針對本發明之第1實施形態的數位靜態照相機之構成來進行詳細說明。

首先，參照第1A圖、第1B圖來說明本發明之第1實施形態的數位靜態照相機(digital camera)1之全體構成。

本發明之第1實施形態的數位靜態照相機1係如同第1A圖所示，在略矩形形狀之薄板狀(flat box shape)本體(body)(以下簡稱為本體)2的前面(front face)具備攝影透鏡3、自拍延時器燈(timer indicator)4、觀景窗5、閃光燈發光部6及微音器部(microphone)7。在本體2上面(top face)之右端側(對使用者而言)則設有電源鍵(power switch)8及快門鍵(shutter button)9。攝影透鏡3係具有使焦點距離進行無階段變化的變焦透鏡功能、及AF(AutoFocus)功能，且在電源OFF時及播放模式時會收縮至本體2內部。電源鍵8係每當進行電源之ON/OFF時所操作之按鍵，快門鍵9係在攝影模式時指示攝影時序的按鍵。

在本體2之背面(back face)係如同第1B圖所示，設有攝影模式(R)鍵(recording mode key)10、播放模式(P)鍵(playing mode key)11、電子觀景器(EVF)12、揚聲器部13、微距鍵14、閃光燈鍵15、選單(MENU)鍵16、轉輪鍵17、設定(SET)鍵18及液晶顯示部(display unit)19。攝影模式鍵10係藉由操作而從電源OFF的狀態自動地成為電源ON，並進入到靜止畫像之攝影模式；另一方面，從在電源ON之狀態下，藉由重複操作而循環地設定靜止畫像和動畫的攝影模式。在第1實施形態中，在靜止畫像的攝影模式中包含在既定曝光時間中進行一般之攝影動作的單張攝影模式(single shot mode)、及藉由比單張攝影模式更短之曝光時間而連續拍攝被拍攝體並合成複數個影像圖框而產生一張影像的連拍攝影模式(multi shot mode)。

播放模式鍵11係藉由操作而從電源OFF的狀態自動成為電源ON，並進入到播放模式。EVF12係使用了液晶畫面的接目型之觀景器，在攝影模式時於液晶畫面上顯示直通影像(live view image)；另一方面，在播放模式時，則播放顯示被選擇的影像。微距鍵14係在靜止畫像之攝影模式中切換一般攝影和微距攝影時進行操作。閃光燈鍵15則是在切換閃光燈發光部6之發光模式時進行操作。選單鍵16係在選擇各種選單項目等時進行換作。轉輪鍵17係用於上下左右各方向之項目選擇(item selection)的按鍵被一體形成(monolithically)者，位於此轉輪鍵17中央之設定鍵18係在該時間點設定被選擇之項目時進行操作。

液晶顯示部19係因為由附有背光之彩色液晶面板所構成，所以一方面在攝影模式時進行直通影像之顯示器顯示，另一方面在播放模式時則播放顯示已選擇之影像等。此外，液晶顯示部19也可以具備其他顯示設備來代替液晶面板。雖未圖示，但數位靜態照相機1之底面則設有用於裝卸被使用作為記錄媒體之記憶卡的記憶卡插槽、或作為用於連接外部個人電腦等之串連介面的USB(Universal Serial Bus)連接器等。

接著，參照第2圖、第3圖，說明第1實施形態的數位靜態照相機1之攝影系統及控制系統的構成。

在第1實施形態的數位靜態照相機1中，在攝影模式時，藉由馬達(M)31之驅動來移動對焦位置和光圈位置且作為在構成攝影透鏡3的透鏡光學系統32之攝影光軸後方配置之攝影元件的CCD33會被時序產生器(TG)34與垂直驅動器35所掃瞄驅動，並輸出與每個固定週期所成像之光像對應的1個畫面份量之光電轉換輸出。此光電轉換輸出係在以類比形態之信號狀態對RGB之各個原色成分進行適當增益調整以後，被取樣保持電路(S/H)36所取樣保持，以A/D轉換器37而轉換成數位資料，以色彩處理電路38來進行包含畫素插補處理及γ補正處理的色彩處理，並產生數位值之亮度信號Y及色差信號Cb、Cr，且輸出至DMA(Direct Memory Access)控制器39。

DMA控制器39係使用來自色彩處理電路38的複合同步信號、記憶體寫入致能信號及時脈信號，將同樣由色彩處理電路38輸出之亮度信號Y及色差信號Cb、Cr一次寫入至DMA控制器39內部之緩衝部，介由DRAM介面(I/F)40而進行DMA傳送至作為緩衝記憶體的DRAM41。控制部42係由CPU、固定記憶著以CPU所實行之電腦程式的ROM、及作為工作記憶體的RAM等所構成，用以控制數位靜態照相機1全體之動作。

控制部42係在將亮度Y及色差信號Cb、Cr進行DMA傳送至DRAM41結束以後，介由DRAM介面40以DRAM41來讀出此亮度Y及色差信號Cb、Cr，介由VRAM控制器43而寫入至VRAM44。數位視訊編碼器45係介由VRAM控制器43以VRAM44而定期讀出上述亮度Y及色差信號Cb、Cr，並根據這些資料來產生視訊信號，而輸出至EVF12和液晶顯示部19。EVF12和液晶顯示部19係藉由根據來自數位視訊編碼器45之視訊信號的顯示，在該時間點根據從VRAM控制器43取入之影像資訊的影像及時地進行顯示。

如同這般，在EVF12和液晶顯示部19中即時顯示當時之影像來作為顯示器影像之所謂的直通影像之顯示狀態下，以欲進行靜止畫像攝影之時序來操作快門鍵9時就產生觸發信號。控制部42係因應此觸發信號，保留使在該時間點從CCD33取入之1個畫面份量的亮度Y及色差信號Cb、Cr至DRAM41的DMA傳送，改以依照適當曝光條件的光圈與快門速度來驅動CCD33並取得1個畫面份量之亮度Y及色差信號Cb、Cr而傳送至DRAM41，爾後停止此路徑，遷移至記錄保存狀態。

在此記錄保存的狀態中，控制部42係介由DRAM介面40，針對Y、Cb、Cr之各個成分來讀出被寫入至DRAM41的亮度及色差信號，並寫入至影像處理部47，在此影像處理部47中，藉由ADCT(Adaptive Discrete Cosine Trans-form：適應性離散餘弦轉換)、作為熵編碼化方式的霍夫曼編碼化等之處理來進行資料壓縮。然後，從影像處理部47讀出所獲得之符號資料，並寫入至作為數位靜態照相機1之記錄媒體而被安裝成可自由裝卸的記憶卡48或者固定地內建於數位靜態照相機1中的內建記憶體(未圖示)當中的任一個。然後，隨著亮度Y及色差信號Cb、Cr之壓縮處理及全壓縮資料至記憶卡48或者內建記憶體之寫入結束，控制部42再次起動從CCD33至DRAM41的路徑。

控制部42上則連接著按鍵輸入部(user interface)49、聲音處理部50及閃光燈驅動部51。按鍵輸入部49係由上述電源鍵8、快門鍵9、攝影模式鍵10、播放模式鍵11、微距鍵14、閃光燈鍵15、選單鍵16、轉輪鍵17、設定鍵18等所構成，伴隨那些按鍵操作之信號會被送出至直接控制部42。聲音處理部50係具備PCM音源等的音源電路，聲音之錄音時，使由微音器部7所輸入之聲音信號數位化，依照既定資料檔案形式，例如MP3(MPEG-1 audio layer 3)規格來壓縮資料並製作聲音資料檔案且送出至記憶卡48或者內建記憶體，另一方面，在播放聲音時，解除從記憶卡48或內建記憶體送來之聲音資料檔案的壓縮並且類比化，驅動揚聲器部(SP)13並進行擴音播放。閃光燈驅動部51係在於靜止影像攝影時將未圖示之閃光燈用的大容量電容器充電以後，根據來自控制部42的控制來對閃光燈發光部6進行閃光驅動。

具有這種構成的數位靜態照相機1係藉由實行以下所示之輪廓四角形抽出處理，抽出包含被拍攝體輪廓的四角形區域。以下，參照第3圖所示的流程圖，說明實行此輪廓四角形之抽出處理時的數位靜態照相機1的動作。

使用者係藉由操作轉輪鍵17及設定鍵18來從按情境分類之攝影模式中選擇所謂之「拍攝名片或文件」「拍攝白板等」的模式並進行攝影。這些模式係進行被拍攝體之正面化補正(歪斜補正)者，在這種模式中所拍攝之影像會被取入至影像處理部47，以可實行輪廓四角形抽出處理的時序來開始第3圖所示之流程圖，輪廓四角形抽出處理進入到步驟S1的處理。此外，以下所示的數位靜態照相機1的動作係藉由以下方式來實現：控制部42內之CPU將ROM中所記憶的電腦程式載入至RAM，並實行已載入至RAM的電腦程式，藉以控制由影像處理部47所進行的影像處理。

在步驟S1的處理中，影像處理部47係藉由針對所輸入之攝影影像來實行歪曲象差的補正處理，藉由透鏡光學系統32的透鏡特性來補正已歪曲的攝影影像。藉此，步驟S1的處理完畢，輪廓矩形抽出處理會進入到步驟S2的處理。

在步驟S2的處理中，影像處理部47係將歪曲象差被補正後之攝影影像的大小(影像尺寸)縮小成既定大小。具體而言，影像處理部47係算出歪曲象差被補正後之攝影影像的大小，根據被算出之大小來將攝影影像之縱方向及橫方向的長度縮小成為攝影影像之大小為(縱)×(橫)：320×240(畫素)的大小。藉此，步驟S2的處理完畢，輪廓四角形抽出處理會進入到步驟S3的處理。

在步驟S3的處理中，影像處理部47係將攝影影像之色彩資訊的顯示形式從點陣圖形式轉變成YUV(Y：亮度信號，U：亮度信號和藍色成分的差，V：亮度信號和紅色成分的差)形式。藉此，步驟S3的處理完畢，輪廓四角形抽出處理會進入到步驟S4的處理。

在步驟S4的處理中，影像處理部47係藉由將攝影影像之影像資料提交於中間值(中央值，Median)過濾部，從攝影影像的影像資料中除去雜訊成分。在本實施形態的中間值過濾部係使3×3(畫素)之局部區域的畫素值以漸小順序來排列，將位於中央的畫素值設為區域中央之畫素的畫素值。藉此，步驟S4的處理完畢，輪廓矩形抽出處理會進入到步驟S5的處理。

在步驟S5的處理中，影像處理部47係如同第4A圖、第4B圖、第4C圖所示，從已除去雜訊成分的影像資料中抽出已分別抽出縱(垂直，x)方向及橫(水平，y)方向之邊緣的邊緣影像(edge images)。在本實施形態中，影像處理部47係使用計算如同第5圖所示之空間1次微分並檢測出輪廓的索貝爾(Sobel)濾波器，並分別抽出縱(垂直)方向及橫(水平)方向的邊緣影像(vertical edge image，horizontal edge image)。藉此，步驟S5的處理完畢，輪廓四角形抽出處理會進入到步驟S6的處理。

在步驟S6的處理中，影像處理部47係如同第6A圖、第6B圖所示，分別對藉由步驟S5之處理所抽出的縱方向及橫方向之邊緣影像施行細線化(thinning)及二元化處理(binarization)。具體而言，影像處理部47係在縱方向之邊緣影像(vertical edge image)所包含的邊緣畫素(edge pixels)當中，檢測出滿足條件{座標位置x-1之畫素值<座標位置x之畫素值≧座標位置x+1之畫素值}的座標位置x之畫素。另外，同樣地，影像處理部47係在橫方向之邊緣影像(horizontal edge image)所包含的邊緣畫素(edge pixels)當中，檢測出滿足條件{座標位置y-1之畫素值<座標位置y之畫素值≧座標位置y+1之畫素值)的座標位置y之畫素。然後，影像處理部47係在構成邊緣影像的畫素當中，將所抽出之座標位置x,y的畫素值設定為255，將其以外之座標位置的畫素值y設定為0。藉此，步驟S6的處理完畢，輪廓四角形抽出處理會進入到步驟S7的處理。

在步驟S7的處理中，影像處理部47係藉由分別對縱方向及橫方向之邊緣影像進行標籤化處理，製作形成第7A圖、第7B圖所示之被拍攝體輪廓的縱方向及橫方向之線段(line segment)資訊。在本實施形態中，影像處理部47係針對橫方向之邊緣影像，從x=0之座標位置，藉由也一邊參照在y方向上鄰接之畫素，一邊在x方向上掃瞄來檢測出邊緣影像中包含之邊緣畫素。然後，在已檢出邊緣畫素的情況下，影像處理部47係判別是否所檢出之邊緣畫素之畫素值為255並且與其他畫素連結，若在畫素值為255且未與其他畫素連結的情況下，就在x方向上開始包含已檢出之邊緣畫素的線段之追蹤。具體而言，影像處理部47係針對位於追蹤開始位置之座標(x,y)之右橫的3點(x+1,y-1),(x+1,y),(x+1,y+1)來實行追蹤。

然後，影像處理部47係在以下所示之3個條件當中滿足了任一條件的情況下，就對該線段賦予固有號碼(標籤化)，並結束該線段之追蹤，在繼續追蹤的情況下，將最後被檢出之具有邊緣畫素的x座標位置設定為下一個追蹤開始位置。

條件1：3點之中，至少有1點已經被標籤化了。

條件2：3點之中，2點以上為構成邊緣影像的畫素。

條件3：在追蹤中，構成邊緣影像之畫素在3點之中並未被檢出2次。

另一方面，針對縱方向的邊緣影像，影像處理部47係藉由從y=0之座標位置在x方向上掃瞄來檢測出邊緣影像中包含的邊緣畫素，並進行和針對橫方向之邊緣影像所行之處理相同的處理。然後，影像處理部47係算出因追蹤而被標籤化的各線段(line segment)之起點(start point)及終點(end point)的座標、傾斜(由起點和終點所求得者)、相對於構成線段之各點之線段傾斜的誤差(若為縱線則是x方向，若為橫線則是y方向的偏移(displacement))的平均、及誤差最大的座標位置和其值，以作為線段資訊。藉此，步驟S7的處理完畢，輪廓四角形抽出處理會進入到步驟S8的處理。

在步驟S8的處理中，影像處理部47係參照藉由步驟S7之處理所製作的線段資訊，判別是否有包含相對於線段之傾斜的誤差之最大值為既定值以上的點的線段，在具有包含誤差之最大值為既定值以上的點的線段之情況下，如第8圖所示，在該點(在第8圖所示的範例中是點P)中將線段分割成2個線段。此外，分割點也可以(may)被加入於分割後長度變短的線段。另外，影像處理部47係在線段長度為第1閾值以上時或者分割後之線段長度為第2閾值以下時，就不分割線段。然後，影像處理部47係在有被分割之線段的情況下，就更新線段資訊。藉此，步驟S8的處理完畢，輪廓四角形抽出處理會進入到步驟S9的處理。

在步驟S9的處理中，影像處理部47係參照藉由步驟S8之處理所更新的線段資訊，以長度順序來抽出既定數量的長度為既定值以上之線段，以作為連接基礎線段，如第9圖所示，將滿足以下3條件的線段(連接目標線段)連接於連接基礎線段。然後，影像處理部47係在連接了連接目標線段和連接基礎線段以後，藉由最小平方法來算出因連接了連接目標線段和連接基礎線段而形成之線段的起點和終點之座標位置。藉此，步驟S9的處理完畢，輪廓四角形抽出處理會進入到步驟S10的處理。

條件1：連接基礎線段和連接目標線段並未分離既定值。

條件2：連接目標線段中完全不包含連接基礎線段。

條件3：使連接基礎線段之起點或終點延伸至連接目標線段時，已延伸之部分和連接基礎線段之起點及終點的位置的誤差未達既定值。

在步驟S10的處理中，影像處理部47係如同第10A圖及第10B圖所示，由已施加步驟S8及步驟S9之分割處理及連接處理的縱方向及橫方向各個線段(line segment)，製作四角形(quadrangle)的對邊候補(candidate for a pair of facing edge lines；以下簡稱為“facing-lines candidate”)(在第10A圖、第10B圖所示的範例中，將橫方向的對邊候補表示作為線段H1和線段H2的配對，將縱方向的對邊候補表示作為線段V1和線段V2的配對)。具體而言，影像處理部47係分別針對縱方向及橫方向來製作線段間之距離為既定值以上而且一個線段相對於另一個線段之長度比例在既定範圍內(例如1/3～3倍)的複數個線段配對，以作為對邊候補。藉此，步驟S10的處理完畢，輪廓四角形抽出處理會進入到步驟S11的處理。

在步驟S11的處理中，影像處理部47係如第11圖所示，製作由步驟S10之處理所製作之縱方向及橫方向各個對邊候補的組合。然後，影像處理部47係針對各組合來算出對邊候補的4個交點。此時，影像處理部47係僅使用線段的傾斜資訊，若在線段之延長上有交點即可。換言之，也包含在被檢測出之交點上實際上並無線段交叉的情況。然後，影像處理部47係製作複數個以所算出之4個交點作為頂點之如第12圖所示的矩形候補S。藉此，步驟S11的處理完畢，輪廓田四角形抽出處理會進入到步驟S12的處理。

在步驟S12的處理中，影像處理部47係算出由步驟S11之處理所製作的矩形候補S之外周長度L1。能夠藉由配合構成矩形候補S之4個頂點間的距離來算出外周的長度L1。另外，影像處理部47係如第13圖所示，算出位於在縱方向及橫方向的線段(line segments)L上之矩形候補S之外周上的部分之長度總計(total)來作為長度L2。然後，影像處理部47係使用以下所示之數式1，算出(計分處理)線段L之長度總計L2相對於各矩形候補S之外周長度L1的比例，以作為各矩形候補S之分數(score)(矩形區域的似然度(likelihood))。在數式1中，係數P係在有超過構成矩形候補S之4個頂點(corner points)的線段(例如超過如第13圖所示之區域R1、R2、矩形候補S之外周部而延長的線段)的情況下，就代表著用以減少矩形候補S之分數的懲罰係數，並以例如線段超過4個頂點處為0處時就是1.0，若為1處時就是0.8，若為2處時就是0.64等的方式來進行設定。此外，懲罰係數並非被侷限於上述範例，例如在被拍攝體為定型，而預先判定了縱和橫之比率的情況下，愈偏離該比率，則愈加重懲罰係數之值(設為1以下)，或在判斷被拍攝體之外周長度的情況下，與該外周之誤差愈大，就則愈加重懲罰係數之值(設為1以下)等，各種應用皆可。藉此，步驟S12的處理完畢，輪廓矩形抽出處理會進入到步驟S13的處理。

score=L2/L1×100×P

在步驟S13的處理中，影像處理部47係如第14A圖～第14D圖所示，由步驟S12之處理所算出的分數以高低順序，亦即似然度之高低順序來將矩形候補S1～S4當中之一重合(overlap)於攝影影像並顯示在液晶顯示部19上。具體而言，影像處理部47係如第15圖所示，使用者會配合操作轉輪鍵17，在液晶顯示部19上依似然度之高低順序來循環(circularly)顯示矩形候補S1~S4。此外，在第15圖所示之範例中，雖在液晶顯示部19上以似然度之高低順序來循環顯示矩形候補，但也可以依照分數來對矩形候補進行色彩區分並同時顯示在液晶顯示部19上。

另外，為了在攝影影像內有複數個被拍攝體的情況，則準備了例如可切換ON/OFF的複數個補正模式，使用者也可選擇是否針對複數個矩形候補進行選擇即可。具體而言，複數個補正模式為OFF時，影像處理部47係例如第16圖所示，使用者會配合操作轉輪鍵17，在液晶顯示部19上依似然度之高低順序來循環(cyclically)顯示矩形候補，針對被使用者選擇之矩形候補所包圍的區域之畫素進行座標轉換等的影像處理以後，則結束輪廓四角形抽出處理。另外，複數個補正模式為ON時，影像處理部47係例如第17圖所示，使用者會配合操作轉輪鍵17，在液晶顯示部19上依似然度之高低順序來循環顯示矩形候補(第17圖中之區段(a)、(b))，針對被使用者選擇之矩形候補所包圍的區域之畫素進行座標轉換等的影像處理以後(第17圖中之區段(c))，可選擇被使用者選擇之矩形候補並進行進一步的影像處理(第17圖中之區段(d)、(e)、(f))。藉此，使用者就能夠對複數個被拍攝體來依序(sequentially)選擇正確的矩形候補並進行影像修整。以上，步驟S13的處理完畢，一連串的輪廓四角形抽出處理結束。

從以上的說明中可瞭解到，若藉由成為第1實施形態的輪廓四角形抽出處理，影像處理部47係從攝影影像中檢測出縱方向和橫方向的線段資訊，從被檢測出之縱方向和橫方向的線段資訊中製作構成矩形區域之縱方向和橫方向的對邊候補(facing-lines candidate)。另外，影像處理部47係製作複數個縱方向之對邊候補和橫方向之對邊候補的組合(pairs of the facing-lines candidate for vertical edge lines and the facing-lines candidate for horizontal edge lines)，針對各組合(pairs)製作以縱方向之對邊候補和橫方向之對邊候補的交點作為頂點之矩形區域來作為矩形候補S。然後，影像處理部47係算出位於矩形候補S之外周上的線段L的長度總計L2相對於矩形候補S之外周長度L1的比例，以作為各矩形候補S之分數，並依照算出結果而一起顯示攝影影像和矩形候補S。因此，藉由這種輪廓矩形抽出處理，考慮了被抽出之矩形候補S的似然度以後，能夠對使用者提示矩形候補S。因此，若藉由進行上述輪廓四角形抽出處理的數位靜態照相機1，對使用者而言就能夠順暢地(smoothly)選擇矩形候補S。此外，在上述的說明中，作為對使用者提示因進行輪廓四角形抽出處理而產生之複數個矩形候補S的手法，雖舉例說明了色彩區別之重合顯示的提示、循環地依序顯示之提示，但並非特別限定對於使用者提示複數個矩形候補S之手法。另外，完全不對使用者提示由輪廓四角形抽出處理所產生之複數個矩形候補S，依所算出之分數的高低順序來限制作為提示對象的矩形候補S之數量亦可。在此情況下，能夠減少對使用者提示的矩形候補S之數量，能夠防止使用者之選擇操作變得煩瑣的情況。

另外，在上述的說明中，對使用者提示因輪廓四角形抽出處理而產生之複數個矩形候補S以後，雖說明了讓使用者選擇在後段(at subsequent stage)作為影像處理之對象的矩形候補S的範例，但也可以根據所算出之分數而自動(automatically)選擇在後段作為影像處理之對象的矩形候補S。在此情況下，變得不需要對使用者要求選擇操作，能夠簡化使用者操作(simplifying user operation)，順暢地進行與後段中之影像處理合併的一連串處理。

另外，在輪廓四角形抽出處理之後段，作為對所選擇之矩形候補S內的畫素所進行之影像處理，也可以進行座標轉換之歪斜補正處理、影像抽出處理、擴大‧縮小處理、對比調整處理、水平補正處理等的各種影像處理或者這些影像處理的組合。

[第2實施形態]

接著，說明本發明之第2實施形態。在上述第1實施形態中，在由於步驟S11之處理而產生複數個矩形候補S以後，對各矩形候補S進行計分(步驟S12)，並根據計分的結果而依序對使用者提示了複數個矩形候補S(步驟S13)。第2實施形態係替代了第1實施形態中之步驟S12、S13的處理，如同以下所說明，在對複數個矩形候補S進行群組分類這一點上就和第1實施形態不同。

在第1實施形態中說明的範例係適合於在影像內包含之被拍攝體，亦即藉由選擇矩形候補S而作為影像處理之對象的影像內之區域的數量為一個至數個之情況的範例。另一方面，在第2實施形態中說明的範例係適合於適用在包含數個以上類似之被拍攝體的影像之情況(case,situation)的範例。作為這種情況之具體範例，則是在例如在俯瞰拍攝(taking an overview image of)相簿(photo album)以後從攝影影像中抽出各照片的情況，或在拍攝複數個已貼上備忘錄的公告板(taking a snapshot of a bulletin board having a plurality of memos pinned down)以後抽出各備忘錄的情況等。

第2實施形態的數位靜態照相機1係在藉由以第1實施形態所說明之輪廓四角形抽出處理(步驟S1～S11)而在1個攝影影像中產生複數個矩形候補S以後，實行以下的群組分類處理，藉以根據重心座標(coordinate of center of gravity；以下簡稱為“center position”)及大小(size)來對複數個矩形候補S進行群組分類。以下，參照第18圖所示之流程圖，說明實行此群組分類處理時的數位靜態照相機1之動作。

第18圖所示之流程圖係以上述輪廓四角形抽出處理完畢之時序而開始，群組分類處理會進入到步驟S21的處理。此外，藉由控制部42內之CPU將記憶於ROM中的電腦程式載入至RAM，並實行已載入於RAM的電腦程式來控制由影像處理部47所進行之影像處理，藉以實現以下所示之數位靜態照相機1的動作。

在步驟S21的處理中，影像處理部47算出各矩形候補S的重心座標。具體而言，影像處理部47係一開始如第19A圖、第19B圖所示，算出矩形候補S的4個頂點之座標(Ax,Ay)、(Bx,By)、(Cx,Cy)、(Dx,Dy)，使用以下所示的數式2、3來算出構成矩形候補S之三角形ABD及三角形BDC的重心座標G1、G2(參照第19A圖)。接著，影像處理部47係使用以下所示的數式4、5來算出構成矩形候補S之三角形ABC及三角形ACD的重心座標G3、G4(參照第19B圖)。然後，影像處理部47係算出連結重心G1、G2的直線和連結重心G3、G4的直線，算出由以下所示之數式6表示的2個直線之交點K(Kx,Ky)來作為矩形候補S的重心座標。更具體而言，現在藉由輪廓四角形抽出處理，如第20A圖所示，在1個攝影影像中產生5個矩形候補S1～S5的情況下，影像處理部47係如第20B圖所示，算出矩形候補S1～S5的4個頂點座標和重心座標。藉此，步驟S21的處理完畢，群組分類處理會進入到步驟S22的處理。

[數式2]

G1=((Ax+Bx+Dx)/3,(Ay+By+Dy)/3)

[數式3]

G2=((Bx+Dx+Cx)/3,(By+Dy+Cy)/3)

[數式4]

G3=((Ax+Bx+Cx)/3,(Ay+By+Cy)/3)

[數式5]

G4=((Ax+Cx+Dx)/3,(Ay+Cy+Dy)/3)

[數式6]

Kx=((G3y-((G4y-G3y)/(G4x-G3x))G3x)-(G1y-((G2y-G1y)/(G2x-G1x))G1x))/((G2y-G1y)/(G2x-G1x)-(G4y-G3y)/(G4x-G3x))

Ky=(((G4y-G3y)/(G4x-G3x))(G1y-((G2y-G1y)/(G2x-G1x))G1x)-(((G2y-G1y)/(G2x-G1x))(G3y-((G4y-G3y)/(G4x-G3x))G3x))/(((G2y-G1y)/(G2x-G1x))-((G4y-G3y)/(G4x-G3x)))

在步驟S22的處理中，影像處理部47係針對由步驟S21之處理所算出的各矩形候補S之重心座標，判別是否有XY方向之座標值的差值絕對值之合計值為既定閾值α的重心座標之群組。具體而言，在對矩形候補S1的重心座標(X1,Y1)實行處理的情況下，影像處理部47係判別是否有滿足數式：∣X1-X2∣+∣Y1-Y2∣≦α的重心座標(X2,Y2)之群組。然後，在判別的結果為有XY方向之座標值的差值絕對值之合計值為既定閾值α以下的重心座標之群組(重心座標之位置接近的矩形候補之群組)的情況下，影像處理部47係在作為步驟S23的處理而將該重心座標登錄於對應之重心座標的群組以後，使群組分類處理進入至步驟S25的處理。另一方面，在無XY方向之座標值的差值絕對值之合計值為既定閾值α以下的重心座標之群組的情況下，影像處理部47係作為步驟S24處理而製作新的重心座標之群組，在將該重心座標登錄於所製作之新的重心座標群組以後，使群組分類處理進入至步驟S25的處理。此外，雖考慮了各種方法來作為群組分類的方法，但也考慮到例如將群組固有之識別資訊附加於重心座標之屬性資訊的方法等。

在步驟S25的處理中，影像處理部47判別是否對由步驟S21之處理所算出之的全部重心座標實行了上述步驟S22的處理。然後，在判別的結果為尚未對由步驟S21之處理所算出之的全部重心座標實行了上述步驟S22之處理的情況下，影像處理部47係使群組分類處理返回步驟S22的處理。另一方面，在藉由對步驟S21之處理而算出的全部重心座標實行了上述步驟S22之處理的情況下，影像處理部47係使群組分類處理進入至步驟S26的處理。

在步驟S26的處理中，影像處理部47使用以下的數式7來算出各矩形候補S之外周長度L。具體而言，於現在第20A圖所示而產生了5個矩形候補S1～S5的情況下，影像處理部47係如同第20B圖所示，分別針對矩形候補S1～S5來算出外周長度L。藉此，步驟S26的處理完畢，群組分類處理會進入到步驟S27的處理。

[數式7]

L=√((Bx-Ax)^2+(By-Ay)^2)+√((Dx-Bx)^2+(Dy-By)^2)+√((Cx-Dx)^2+(Cy-Dy)^2)+√((Ax-Cx)^2+(Ay-Cy)^2)

【2-0050】

在步驟S27的處理中，影像處理部47係針對各重心座標的群組來判別是否包含由步驟S26之處理所算出的外周長度L不在既定閥值±β之範圍內的矩形候補S。然後，在判別的結果為包含那種矩形候補S的情況下，影像處理部47係作為步驟S28的處理而製作新的重心座標之群組(重心座標的位置接近但是大小不同的矩形候補之群組)，在將所製作之新的重心座標之群組登錄於與該矩形候補S對應之重心座標以後，使群組分類處理進行至步驟S29的處理。另一方面，在不包含那種矩形候補S的情況下，影像處理部47係使群組分類處理進行至步驟S29的處理。

在步驟S29的處理中，影像處理部47則判別是否對全部重心座標之群組實行了上述步驟S27的處理。然後，在判別的結果為尚未對全部重心座標之群組實行上述步驟S27之處理的情況下，影像處理部47係使群組分類處理返回步驟S27的處理。另一方面，在對全部重心座標之群組實行了上述步驟S27的處理的情況下，影像處理部47則結束一連串的群組分類處理。

藉由此群組分類處理，在1個攝影影像中包含的全部矩形候補S係根據該重心座標(center position)和大小(size)而被群組分類。

此外，在上述的說明中，算出矩形候補S之外周長度L並作為顯示用以在進行矩形候補S之群組分類時所使用的各矩形候補S之大小(size)的資訊，而說明了利用外周長度L時的範例。不過，影像處理部47為了取代外周長度L，也可以利用例如矩形候補S之四邊的長度平均值Z、矩形候補S的內部面積、或者矩形候補S的對角線長度之平均值等來作為表示大小的資訊，並進行矩形候補S的群組分類。

上述數位靜態照相機1係在上述群組分類處理完畢後，藉由實行以下的矩形候補選擇處理，即使於在1個攝影影像中存在著複數個矩形候補S的情況下，使用者也能夠順暢地(smoothly)選擇所需之矩形候補S。以下，參照第21圖所示的流程圖，說明實行此選擇處理時的數位靜態照相機1之動作。

第21圖所示的流程圖係以上述群組分類處理已完畢的時序而開始，選擇處理會進入到步驟S31的處理。此外，以下藉由上述輪廓四角形抽出處理，如第22圖所示，會抽出A、B1、B2、C1、C2、D1、D2、E1、E2、F1、F2、G1、G2、H1、H2、I1、I2共計17個矩形候補，藉由上述群組分類處理，這些矩形候補係如第23圖、第24圖、第25圖所示，使用藉由重心座標(X,Y)和大小(四邊長度的平均值)Z的組合而被群組分類的範例，具體說明選擇處理。另外，控制部42內的CPU將ROM中所記憶之電腦程式載入至RAM，藉由實行被載入至RAM的電腦程式來實現以下所示之數位靜態照相機1的動作。

在步驟S31的處理中，控制部42會判別是否操作了轉輪鍵17。然後，在已操作了轉輪鍵17的時序使選擇處理進入至步驟S32的處理。

在步驟S32的處理中，控制部42係為了能夠辨識所選擇之矩形候補S，而強調顯示(highlight)被轉輪鍵17所選擇的矩形候補S(補正候補)。具體而言，在藉由轉輪鍵17而選擇了第22圖所示之最大的矩形候補A的情況下，控制部42係藉由使矩形候補A之框色從白色變更成綠色來強調顯示(highlight)矩形候補A。藉此，步驟S32的處理完畢，選擇處理會進入至步驟S33的處理。

在步驟S33的處理中，控制部42會判別是否透過使用者按下操作設定鍵18來將由步驟S32之處理所選擇的矩形候補S決定為補正候補。在判別的結果為尚未按下操作設定鍵18的情況下，控制部42會使選擇處理返回至步驟S31的處理。另一方面，在按下操作了設定鍵18的情況下，控制部42會使選擇處理進行至步驟S34的處理。

此外，在第22圖所示的範例中，在選擇矩形候補A的狀態下，在使用者不操作設定鍵18，而是將轉輪鍵17操作至下方向的情況下，控制部42係根據第24圖、第25圖所示之群組分類的結果，強調顯示屬於矩形候補之大小接近於矩形候補A之大小的群組(換言之，處於在Z軸上最接近矩形候補A之位置的群組)的矩形候補B1。然後，在強調顯示矩形候補B1的狀態下，在使用者進一步將轉輪鍵17操作於下方向的情況下，控制部42在XY平面內強調顯示屬於與矩形候補B1相同之群組的矩形候補B2。

另一方面，在強調顯示矩形候補B1的狀態下，在使用者將轉輪鍵17操作於右方向上的情況下，控制部42係強調顯示屬於在Z軸上和矩形候補B1相同之群組，且屬於XY平面中右旋之鄰近的群組(重心座標位置接近的群組)的矩形候補C1。另外，在強調顯示矩形候補B1的狀態下，在使用者將轉輪鍵17操作於左方向上的情況下，控制部42係強調顯示屬於在Z軸上和矩形候補B1相同之群組，且屬於XY平面中左旋之鄰近的群組(重心座標位置接近的群組)的矩形候補F1。

另外，在強調顯示矩形候補C1的狀態下，在使用者將轉輪鍵17操作於右方向上的情況下，控制部42係強調顯示屬於在Z軸上和矩形候補C1相同之群組，且屬於XY平面中右旋之鄰近的群組(重心座標位置接近的群組)的矩形候補G1。此外，控制部42係在Z軸上從1個群組遷移至其他群組的時候，賦予了既定偏移量(offset)以後，就強調顯示下一個群組內的矩形候補。這是因為使用者欲改變矩形候補之大小並進行搜尋時，即使是將大小幾乎相同而位置不同者強調顯示為補正候補也沒有意義。具體而言，控制部42係在矩形候補B2之後，並非強調顯示較其略小的補正候補C1、C2和補正候補G1、G2，而是強調顯示矩形候補E1。當圖示以上的狀態遷移之一例時，則如第26圖所示。

在步驟S34的處理中，影像處理部47會算出將由步驟S33之處理所決定的矩形候補設為矩形區域的射影轉換行列，將所算出之射影轉換行列應用於矩形候補與被此矩形候補所包圍之畫素值，藉以產生矩形畫像。藉此，步驟S34的處理完畢，選擇處理會進入到步驟S35的處理。

在步驟S35的處理中，影像處理部47會消除與由步驟S33之處理所決定的矩形候補所屬的重心座標群組中所包含之全部重心座標對應的矩形候補之顯示。藉此，步驟S35的處理完畢，選擇處理會進入到步驟S36的處理。

在步驟S36的處理中，控制部42係判別是否使用者藉由操作按鍵輸入部49而指示了選擇操作的結束。在判別的結果為尚未指示選擇操作之結束時，控制部47會使選擇處理返回步驟S31的處理。另一方面，在指示了選擇操作之結束的情況下，控制部42會結束一連串的選擇處理。

從以上的說明中可瞭解到，藉由第2實施形態的數位靜態照相機1，影像處理部47會根據重心座標和大小來對複數個矩形候補S進行群組分類，因應從複數個矩形候補S中選擇了用於影像處理的矩形候補S，而根據群組分類處理的結果來消除在被選擇的矩形候補S所屬的群組中所包含之矩形候補S的顯示。藉由這種構成，即使是在存在著複數個重心位置和大小有些微差異(differs in small degree)的矩形候補S的情況下，使用者也能夠順暢地選擇所需的矩形候補。

以上的說明中，作為本發明之第1及第2實施形態，雖說明了數位靜態照相機1，但也可將本發明應用於拍攝動態影像的數位攝影機、不具有攝影部分的影像處理裝置等。亦即，也可以藉由記憶卡、USB纜線等來取入外部攝影裝置所拍攝之影像，進行上述實施形態所示之一連串輪廓四角形抽出處理。另外，在上述實施形態中，雖以評分的高地順序來提示矩形候補，讓使用者挑選後再進行座標轉換的補正，但也可以從評分高者開始藉由座標轉換來補正矩形候補，依序提示該補正結果，讓使用者選擇最適當者。

在此應理解到本發明並非侷限於上述特定實施例，且本發明可在不悖離本發明之精神及範疇的情況下進行修改。根據上述實施例中所揭露之元件的適當組合就可將本發明修改成各種型態。例如，可以從實施例中所示之所有元件中刪去一些元件。此外，在不同實施例中的元件可被適當地用來組合。

1．．．數位靜態照相機

2．．．本體

3．．．攝影透鏡

4．．．自拍延時器燈

5．．．觀景窗

6．．．閃光燈發光部

7．．．微音器部

8．．．電源鍵

9．．．快門鍵

10．．．攝影模式鍵

11．．．播放模式鍵

12．．．電子觀景器

13．．．揚聲器部

14．．．微距鍵

15．．．閃光燈鍵

16．．．選單鍵

17．．．轉輪鍵

18．．．設定鍵

19．．．液晶顯示部

31．．．馬達

32．．．透鏡光學系統

33．．．CCD

34．．．時序產生器

35．．．垂直驅動器

36．．．取樣保持電路

37．．．A/D轉換器

38．．．色彩處理電路

39．．．DMA控制器

40．．．DRAM介面

41．．．DRAM

42．．．控制部

43．．．VRAM控制器

44．．．VRAM

45．．．數位視訊編碼器

47．．．影像處理部

48．．．記憶卡

49．．．按鍵輸入部

50．．．聲音處理部

51．．．閃光燈驅動部

P．．．係數

L1、L2．．．長度

L、V1、V2．．．線段

R1、R2．．．區域

A、B1、B2、C1、C2、D1、D2、E1、E2、F1、F2、G1、G2、H1、H2、I1、I2、S、S1～S5．．．矩形候補

第1A圖及第1B圖係表示本發明之第1實施形態的數位靜態照相機之構成的斜視圖，第1A圖係主要表示前面之構成，第1B圖係主要表示背面之構成的斜視圖。

第2圖係表示第1圖所示之數位靜態照相機的控制系統之構成的區塊圖。

第3圖係表示第1實施形態的輪廓矩形抽出處理之流程的流程圖。

第4A圖～第4C圖係表示由第3圖的步驟S5之處理所抽出的邊緣影像之一例的圖。

第5圖係用於說明在第3圖之步驟S5的邊緣影像抽出處理中所使用的索貝爾濾波器之構成的圖。

第6A圖及第6B圖係表示第3圖之步驟S6的細線化‧二元化處理後之邊緣影像之一例的圖。

第7A圖及第7B圖係表示藉由第3圖之步驟S7的標籤化處理所獲得之線段資訊之一例的圖。

第8圖係用於說明第3圖之步驟S8的線段分割處理的概念圖。

第9圖係用於說明第3圖之步驟S9的線段連接處理的概念圖。

第10A圖及第10B圖係表示藉由第3圖之步驟S10的配對處理所獲得之橫方向及縱方向的對邊候補之一例的圖。

第11圖係表示第10圖所示之橫方向及縱方向的對邊候補之組合之一例的圖。

第12圖係表示從第11圖所示之橫方向及縱方向的對邊候補之組合中所獲得的矩形候補之一例的圖。

第13圖係用於說明第3圖所示之步驟S12的計分處理的圖。

第14A圖～第14D圖係表示以由第3圖所示之步驟S12的處理所算出的分數順序來進行表示之矩形候補之一例的圖。

第15圖係表示因應使用者之操作而顯示之矩形候補以分數順序而遷移之情況的圖。

第16圖係表示在攝影影像中包含複數個被拍攝體時的矩形候補之表示例的圖。

第17圖係表示根據所示之矩形候補來對被拍攝體影像進行影像處理時的處理流程圖。

第18圖係表示本發明之第2實施形態的群組分類處理之流程的流程圖。

第19A圖及第19B圖係表示用於說明第18圖所示之步驟S21之處理的矩形候補之一例的圖。

第20A圖係表示複數個矩形候補之一例的圖，第20B圖係表示針對各矩形候補而算出之頂點座標、重心座標及外周之長度的圖。

第21圖係表示第2實施形態之矩形候補選擇處理流程的流程圖。

第22圖係表示複數個矩形候補之一例的圖。

第23圖係表示以重心座標來將第22圖所示之複數個矩形候補進行群組分類的結果圖。

第24圖係表示以重心位置之x座標和大小來將第22圖所示之複數個矩形候補進行群組分類的結果圖。

第25圖係表示以重心位置之y座標和大小來將第22圖所示之複數個矩形候補進行群組分類的結果圖。

第26圖係表示選擇操作的狀態遷移之一例的圖。