TWI532361B - 自動尋景拍攝方法及其系統 - Google Patents

自動尋景拍攝方法及其系統 Download PDF

Info

Publication number
TWI532361B
TWI532361B TW102148815A TW102148815A TWI532361B TW I532361 B TWI532361 B TW I532361B TW 102148815 A TW102148815 A TW 102148815A TW 102148815 A TW102148815 A TW 102148815A TW I532361 B TWI532361 B TW I532361B
Authority
TW
Taiwan
Prior art keywords
picture
framing
image
score
processing unit
Prior art date
Application number
TW102148815A
Other languages
English (en)
Other versions
TW201526604A (zh
Inventor
范欽雄
吳孟倫
Original Assignee
國立臺灣科技大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立臺灣科技大學 filed Critical 國立臺灣科技大學
Priority to TW102148815A priority Critical patent/TWI532361B/zh
Priority to US14/228,268 priority patent/US9106838B2/en
Publication of TW201526604A publication Critical patent/TW201526604A/zh
Application granted granted Critical
Publication of TWI532361B publication Critical patent/TWI532361B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Description

自動尋景拍攝方法及其系統
本發明是有關於一種影像拍攝方法及其系統，且特別是有關於一種自動尋景拍攝方法及其系統。
隨著科技的發展，各式各樣的智慧型電子裝置，例如平板型電腦(tablet computer)、個人數位化助理(personal digital assistant,PDA)、及智慧型手機(smart phone)等，已成為現代人不可或缺的工具。其中，高階款的智慧型電子裝置所搭載的相機鏡頭已經與傳統消費型相機(digital camera)不相上下，甚至可以取而代之，少數高階款更有接近數位單眼的畫素和畫質。目前全世界使用具有相機的智慧型電子裝置的人口，無論是已開發國家或開發中國家，其數量有長足發展。
然而，目前智慧型電子裝置上的拍照應用，仍停留於物體與場景辨識以及影像增強，鮮少有自動構圖取景的功能。因此在許多聚會或出遊中，往往需要一位使用者掌鏡，記錄整個活動流程，不僅聚會的樂趣會受影響，掌鏡的人也無法入鏡。再者， 智慧型電子裝置的使用者大部分不是專業攝影師，於戶外場景拍照時，即便欲想用最佳的取景技巧以記錄珍貴的時刻，但在經濟考量上，大多數人往往不會額外聘請攝影師。
目前已有相關產品上市嘗試解決上述問題。然而，此類產品售價昂貴，並且拍攝策略相當保守，需要等待很久的時間，機器才會拍攝影像。另外，此類產品主要依賴人臉辨識運作，因此在沒有人臉的環境下是無法產生作用。因此，如何以較低的成本以及較快的速度來自動拍攝具有一定美學水準的影像已成為亟欲解決的問題之一。
本發明提供一種自動尋景拍攝方法及其系統，用以基於美學角度自動尋景拍攝影像，以得到更接近使用者期望的拍攝結果。
本發明提出的自動尋景拍攝方法，適於基於美學角度自動尋景拍攝影像，此自動尋景拍攝方法包括下列步驟。首先，針對一預拍區域進行取景，以產生取景畫面。接著，判斷取景畫面是否符合一構圖樣板。當取景畫面符合構圖樣板時，將取景畫面設定為一預拍畫面；而當取景畫面不符合構圖樣板時，計算預拍區域與符合構圖樣板的對焦區域之間的移動距離，並且根據移動距離決定是否將對焦區域的畫面設定為該預拍畫面。之後，根據使用者的個人資料，評估預拍畫面，據以拍攝或放棄拍攝預拍畫 面。
在本發明的一實施例中，上述判斷取景畫面是否符合構圖樣板的步驟包括：產生取景畫面的顯著圖；將顯著圖進行二值化處理，以產生二值化影像；自二值化影像擷取多個凸多邊形，其中各所述凸多邊形分別對應於一顯著區域；自所述顯著區域之中，選擇一目標顯著區域；以及判斷目標顯著區域相對於取景畫面是否符合構圖樣板。
在本發明的一實施例中，當取景畫面不符合該構圖樣板時，上述計算預拍區域與符合構圖樣板的對焦區域之間的移動距離，並且根據移動距離決定是否設定對焦區域的畫面為預拍畫面之步驟包括：計算目標顯著區域的質心與構圖樣板中各所述交叉點之間的歐幾里得距離，並且根據所述歐幾里得距離中的最小值產生一匹配分數，其中上述匹配分數與所述歐幾里得距離中的最小值互為反比關係；根據目標顯著區域的質心、構圖樣板中各所述交叉點以及目標顯著區域的面積，計算移動距離；判斷上述匹配分數是否大於一分數門檻值並且移動距離是否小於一距離門檻值；以及當上述匹配分數大於分數門檻值並且移動距離小於距離門檻值時，將目標顯著區域的質心對焦至最小歐幾里得距離所對應的交叉點，以產生對焦區域，並且將對焦區域設定為預拍畫面；否則，針對新的預拍區域進行取景，直到取得預拍畫面。
在本發明的一實施例中，當取景畫面符合構圖樣板時，在設定取景畫面為預拍畫面之前，上述自動尋景拍攝方法更包括 下列步驟。首先，將取景畫面輸入於一決策樹，並且根據取景畫面的多個影像特徵判斷取景畫面是否為合適畫面，其中決策樹的多個內部節點分別為各所述影像特徵的判斷條件，決策樹的多個葉節點分別表示為合適畫面或是不合適畫面。當判斷預拍畫面為不合適畫面時，根據取景畫面位於的葉節點所對應的影像特徵，調整取景畫面。
在本發明的一實施例中，上述根據使用者的個人資料，評估預拍畫面，據以拍攝或放棄拍攝該預拍畫面的步驟包括：擷取多個其它使用者的個人資料與影像資料；擷取各所述其它使用者的影像資料中的多個影像特徵；利用分群演算法，根據其它使用者的個人資料以及所述影像特徵，產生多組特徵權重；根據使用者的個人資料，自所述多組特徵權重之中取得使用者特徵權重，其中使用者特徵權重為對應於使用者的一組特徵權重；根據預拍畫面的所述影像特徵以及使用者特徵權重，計算預拍畫面的一畫面分數；將畫面分數與一分數門檻值進行比較；當畫面分數大於或等於分數門檻值時，拍攝預拍畫面；以及當畫面分數小於分數門檻值，放棄拍攝預拍畫面。
本發明提出的自動尋景拍攝系統，包括伺服馬達以及電子裝置，其中電子裝置承載並耦接於伺服馬達。伺服馬達用以旋轉電子裝置至多個方位以及多個角度。電子裝置包括影像擷取單元以及處理單元，其中影像擷取單元耦接至處理單元。影像擷取單元用以針對一預拍區域進行取景，以產生取景畫面。處理單元 用以判斷取景畫面是否符合一構圖樣板。當取景畫面符合構圖樣板時，處理單元設定取景畫面為一預拍畫面。當取景畫面不符合構圖樣板時，處理單元則將計算預拍區域與符合構圖樣板的對焦區域之間的移動距離，並且根據移動距離決定是否將對焦區域的畫面設定為預拍畫面。處理單元更根據一使用者的個人資料，評估預拍畫面，據以控制影像擷取單元拍攝或放棄拍攝預拍畫面。
在本發明的一實施例中，上述處理單元產生取景畫面的顯著圖，又將顯著圖進行二值化處理，以產生一二值化影像，再自二值化影像擷取分別對應於一顯著區域的多個凸多邊形，並且自所述顯著區域之中，選擇一目標顯著區域，以及判斷目標顯著區域相對於取景畫面是否符合構圖樣板。
在本發明的一實施例中，上述處理單元計算目標顯著區域的質心與構圖樣板中各所述交叉點之間的歐幾里得距離，並且根據所述歐幾里得距離中的最小值產生一匹配分數，其中上述匹配分數與所述歐幾里得距離中的最小值互為反比關係。處理單元又根據目標顯著區域的質心、構圖樣板中各所述交叉點以及目標顯著區域的面積，計算移動距離。處理單元再判斷上述匹配分數是否大於一分數門檻值並且移動距離是否小於一距離門檻值。當上述匹配分數大於分數門檻值並且移動距離小於距離門檻值時，影像擷取單元將目標顯著區域的質心對焦至最小歐幾里得距離所對應的交叉點，以產生對焦區域，並且將對焦區域設定為預拍畫面；否則，影像擷取單元針對一新的預拍區域進行取景，直到取 得預拍畫面。
在本發明的一實施例中，上述處理單元將取景畫面輸入於一決策樹，並且根據取景畫面的多個影像特徵判斷取景畫面是否為合適畫面，其中決策樹的多個內部節點分別為各所述影像特徵的判斷條件，決策樹的多個葉節點分別表示為合適畫面或是不合適畫面。當該處理單元判斷預拍畫面為不合適畫面時，根據取景畫面位於的葉節點所對應的影像特徵，調整取景畫面。
在本發明的一實施例中，上述電子裝置更包括資料擷取模組，用以擷取多個其它使用者的個人資料與影像資料以及自各所述其它使用者的影像資料擷取多個影像特徵。處理單元再利用分群演算法，根據所述其它使用者的個人資料以及所述影像特徵，產生多組特徵權重。處理單元再根據使用者的個人資料，自所述多組特徵權重之中取得使用者特徵權重，其中使用者特徵權重為對應於使用者的一組特徵權重。處理單元又根據預拍畫面的所述影像特徵以及使用者特徵權重，計算預拍畫面的一畫面分數，再將畫面分數與一分數門檻值進行比較。當畫面分數大於或等於分數門檻值時，影像擷取單元拍攝該預拍畫面；當畫面分數小於分數門檻值時，影像擷取單元放棄拍攝該預拍畫面。
基於上述，本發明自動尋景拍攝方法及其系統，主要針對取景畫面進行分析，以判定取景畫面是否具有美學水準，更根據取景畫面產生顯著圖，判斷取景畫面中較吸引人眼視覺的區域，據以控制系統進行構圖。此外，為了避免影像審美受到主觀 認定，本發明可針對不同場景以及不同族群的使用者分別進行機器學習，以得到多個影像特徵的多組不同特徵權重。在使用者提供個人資訊的前提下，可得到更接近期望的拍攝結果。如此一來，自動尋景拍攝系統的移動巡航、取景構圖、美學評估以及自動拍攝等操作可代替人類掌鏡，以提升生活上的便利性。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
100‧‧‧自動尋景拍攝系統
110‧‧‧伺服馬達
120‧‧‧電子裝置
122‧‧‧影像擷取單元
124‧‧‧處理單元
S201~S211‧‧‧自動尋景拍攝方法的流程
S301~S305‧‧‧最大顯著區域的擷取方法流程
410‧‧‧取景畫面
420‧‧‧顯著圖
430‧‧‧顯著圖的二值化影像
440‧‧‧最大顯著區域
P1~P4‧‧‧交叉點
圖1為根據本發明之一實施例所繪示的自動尋景拍攝系統的示意圖。
圖2為根據本發明之一實施例所繪示的自動尋景拍攝方法的流程圖。
圖3是依照本發明一實施例所繪示之最大顯著區域的擷取方法流程圖。
圖4是依照圖3之最大顯著區域的擷取方法所產生的圖示。
圖5A繪示黃金比例的示意圖。
圖5B繪示影像三分法的構圖樣板。
圖6A~6C是本發明一實施例所繪示之決策樹。
圖1為根據本發明之一實施例所繪示的自動尋景拍攝系統的示意圖，但此僅是為了方便說明，並不用以限制本發明。首先圖1先介紹自動尋景拍攝系統的所有構件以及配置關係，詳細功能將配合圖2的影像自動擷取方法一併揭露。
請參照圖1，自動尋景拍攝系統100包括伺服馬達110以及電子裝置120，其中電子裝置包括影像擷取單元122以及處理單元124。在本實施例中，自動尋景拍攝系統100可提供一個全自動尋景拍攝的機制，並且拍攝出符合人類視覺美感的影像。
伺服馬達110用以承載電子裝置120，其可沿水平方向或垂直方向旋轉至多個不同的方位與角度。
電子裝置120可以為數位相機或是具有照相功能的智慧型手機(smart phone)、個人數位助理(personal digital assistant,PDA)、平板電腦(tabular computer)等，本發明不以此為限。電子裝置120利用有線連結或是無線連結的方式耦接於伺服馬達110，進而利用處理單元124控制伺服馬達110的旋轉方位與角度。
影像擷取單元122包括攝像鏡頭與電荷耦合元件(charge coupled device,CCD)影像感測器，用以持續不斷地進行取景以及拍攝。處理單元124例如是中央處理單元(Central Processing Unit，CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits，ASIC)、可程式化邏輯裝置(Programmable Logic Device，PLD)或其他類似裝置或這些裝置的組合，用以控制自動尋景拍攝系統100的整體運作。
圖2為根據本發明之一實施例所繪示的自動尋景拍攝方法的流程圖，而圖2的自動尋景拍攝方法可以圖1的自動尋景拍攝系統100的各元件實現。
首先，電子裝置120的影像擷取單元122針對一預拍區域進行取景，以產生取景畫面(步驟S201)。詳言之，電子裝置120的處理單元124可先控制伺服馬達110旋轉至一預設或隨機方位後，可針對此方位所對應的區域進行取景。在本實施例中，取景畫面為低解析度影像。
接著，電子裝置120的處理單元124判斷上述取景畫面是否符合構圖樣板(image composition template)(步驟S203)。一般而言，一張影像的構圖是評判影像是否具有美學(aesthetics)價值的重要依據之一。此外，人眼對於一張影像中的關注區域，亦為影像構圖的評判基準。因此，在本實施例中，處理單元124將會先根據上述取景畫面的色彩特徵產生顯著圖，並且將顯著圖與攝影師常用的構圖樣板進行匹配，以判斷上述取景畫面是否符合構圖樣板，以進一步判斷上述取景畫面是否具有美學價值。
詳言之，在一張影像中，人眼首先會去關注的區域為「顯著區域」。在不同的影像中，人眼會去關注的區域不同；在同一張影像中，不同人會去關注的區域亦會不同。顯著圖是一種根據取景畫面的色彩特徵而產生的二維直方圖，其針對影像中每一個像 素標示出不同程度的被關注程度。在本實施例中，顯著圖是根據取景畫面的色彩頻率而產生。藉由統計多種顏色在取景畫面上的出現頻率，即可根據方程式(1)取得取景畫面中每個像素的顯著程度： 其中S(I k )為顯著圖於像素I k 的像素值，c l 為l的顏色，f j 為j的顏色出現頻率，D為兩個顏色在CIELab色彩空間(color space)的距離。然而，在方程式(1)中，取景畫面的總色彩數是影響演算效率的最大因素，因此可根據方程式(2)來降低色彩數，以提升演算效率： 其中C i 為原色彩，C max為色彩最大值，β為欲取得的總色彩數。當處理單元124使用色彩頻率算出顯著圖時，則會產生多個顯著區域。處理單元124會選擇其中一個顯著區域來判斷其是否符合構圖樣板中的適當位置，在此將此顯著區域定義為「目標顯著區域」。在本實施例中，處理單元124所選擇的目標顯著區域為所述顯著區域當中的最大顯著區域。
在此使用最大顯著區域的原因有二：第一，以攝影學而言，主體越大越好。第二，較小顯著圖區域往往是雜訊，而且只要攝像鏡頭稍微移動，便可能因為視差的因素導致被遮蔽，不適合取景之用。因此以下將針對最大區域顯著圖的擷取方法進行更 進一步的描述。然而，必須特別說明的是，在其它的實施例中，處理單元124亦可選擇對比度最高或是色彩最鮮豔等符合美學標準的顯著區域做為目標顯著區域，本發明不在此設限。
圖3是依照本發明一實施例所繪示之最大顯著區域的擷取方法流程圖。圖4是依照圖3之最大顯著區域的擷取方法所產生的圖示。
請同時參照圖3與圖4，處理單元124根據取景畫面410的色彩頻率，產生取景畫面410的顯著圖420(步驟S301)。在此，產生顯著圖420的演算方法請參照前述段落的相關說明，於此不再贅述。
接著，處理單元124利用最大類間方差法(Otsu's method)產生顯著圖的二值化影像430，並且進行尋找凸多邊形(contour)的程序，以產生多個顯著區域(步驟S303)。一般而言，是採用圖像切割法(graph cut)對顯著圖來區分前景與背景，以產生二值化遮罩。以此方式的顯著物件較會被切割出來且其中較不易產生破碎的空洞。然而，圖像切割法的二值化處理時間太長，因此採用最大類間方差法產生二值化遮罩。但若使用最大類間方差法進行二值化的步驟，一個顯著物件中可能包含不顯著的空洞。因此，後續需要搭配一個尋找多邊形的程序，針對OTSU二值化之後的結果，去尋找其凸多邊形，便可以將其空洞消除，形成一個較完整的顯著區域。
接著，處理單元124可自多個顯著區域中取得最大顯著 區域440(步驟S305)。也就是說，處理單元124可根據步驟S303中找出的多個凸多邊形之中的最大凸多邊形，其所對應的顯著區域即為最大顯著區域440。據此，處理單元124可以藉由這種較完整的最大顯著區域，算出更為精準的質心、顯著物件面積等構圖用的前置參數。
在攝影學上，若一張影像的主體區域落在黃金比例區域之上，通常具有較高的美學價值。因此，在本實施例中，上述的構圖樣板為影像三分法構圖、黃金比例構圖、金三角行、或黃金三角形與影像三分法混合構圖等基於黃金比例的樣板。黃金比例(或稱黃金分割)是一種數學上的比例關係。黃金分割具有嚴格的比例性、藝術性、和諧性，蘊藏著豐富的美學價值，其定義可以如圖5A所繪示或是方程式(3)所示： 於一般的應用上，φ=0.618或是φ=1.618。黃金比例在影像中可以做多方面的應用，可以用來算距離比例以及面積比例。藉由這些不同的應用，可以得到多種影像構圖的樣板。
舉例而言，圖5B繪示影像三分法的構圖樣板。請參照圖5B，若是以距離比例為基準，可以得到攝影學常用的此影像三分法(Rule of Thirds)構圖。影像三分法是假設影像主體的左半部與右半部之比例呈現一個黃金比例。在此假設中，影像的主體應盡量位於圖5B中的中央四個白點P1~P4其中之一上，在此的所述白點P1~P4為交叉點(power point)。
請再參照圖2，在本實施例中，電子裝置120的處理單元124在步驟S203主要是判斷上述取景畫面的目標顯著區域是否位於交叉點上。在執行完步驟S203後，當取景畫面符合構圖樣板時，電子裝置120的處理單元124則會將上述取景畫面設定為預拍畫面(步驟S205)。亦即，此預拍畫面將符合黃金比例的構圖樣板。
另一方面，當取景畫面不符合構圖樣板時，電子裝置120的處理單元124則會計算上述預拍區域與符合構圖樣板的對焦區域之間的移動距離(步驟S207)。詳言之，當目標顯著區域不在構圖樣板的任何交叉點上時，處理單元124會計算目標顯著區域與構圖樣板中所有交叉點之間的距離。在本實施例中，處理單元124將計算出目標顯著區域的質心與所有交叉點的歐幾里得距離(Euclidean distance)，並且找出與目標顯著區域的質心距離最近的交叉點來計算構圖樣板匹配分數，其演算公式如方程式(6.1)與方程式(6.2)：
其中C x 以及C y 分別代表目標顯著區域的x、y質心位置，P ix 以及P iy 則分別代表第i個交叉點的x、y軸位置；S template matching 為匹配分數，其值越大代表樣板匹配越合適。
接著，處理單元124將根據上述距離決定是否將上述對焦區域設定為預拍畫面(步驟S209)。詳言之，處理單元124除了 根據目標顯著區域的質心距離最近的交叉點來計算構圖樣板匹配分數決定預拍畫面之外，更判斷上述預拍區域與符合構圖樣板的對焦區域之間的距離是否小於一定的範圍內。在此的距離為前述之「移動距離」，其可以方程式(7)來表示： 其中A f 為目標顯著區域的像素面積，w與h分別為一個影像的寬度和高度，κ為增加一個影像像素面積百分比所需之單位距離。
接著，處理單元124若判斷匹配分數大於一分數門檻值並且影像像素增加距離小於一距離門檻值時，則處理單元124將所述對焦區域設定為預拍畫面，以進入步驟S211。詳言之，當匹配分數大於分數門檻值並且影像像素增加距離小於距離門檻值，處理單元124則會控制伺服馬達110旋轉電子裝置120，以將目標顯著區域的質心對焦於構圖樣板的交叉點。之所以要限定距離必須在一定範圍之內，是為了避免在旋轉電子裝置120或是調整影像擷取單元122的攝像鏡頭過久的情況之下，景物會因視差或其他變動而改變，造成旋轉次數的浪費。此外，由於伺服馬達110的旋轉無法做到精確細緻的對準之緣故，因此設定距離門檻值的意義在於可容許目標顯著區域質心與對焦的交叉點存在誤差，以避免永遠無對準之可能。另一方面，分數門檻值為依照使用者的喜好而設定的參數，其值越大代表構圖越嚴謹，也會因此減少影像擷取單元122拍攝的張數。除此之外，目標顯著區域的大小亦 是決定畫面是否合宜的因素之一。在本實施例中，若目標顯著區域的面積太小，處理單元124可直接控制影像擷取單元122將攝像鏡頭拉近；若目標顯著區域大於黃金比例，處理單元124可直接控制影像擷取單元122將攝像鏡頭拉遠。
當處理單元124判斷匹配分數不大於分數門檻值及/或移動距離不小於距離門檻值時，將會回到步驟S201，伺服馬達110則會將電子裝置120隨機旋轉至其它方位或角度，以使影像擷取單元122重新針對另一預拍區域進行取景。
值得注意的是，本發明並不限定於基於黃金比例的構圖樣板。在其它實施例中，上述的構圖樣板更可以為三角形構圖、放射狀構圖、水平構圖、垂直構圖、透視狀構圖、斜角構圖等攝影學常用的構圖方式。舉例而言，處理單元124可預先將多種影像作成積分圖(integral image)，並且將所述影像的積分圖特徵放入類神經網路(neural network)進行訓練，以將所述影像的構圖方式分類。當處理單元124取得前述的預拍區域時，便可判定預拍區域所數的構圖類別。舉例來說，可以使用例如是適應性增強演算法(Adaptive Boosting Algorithm,AdaBoosting Algorithm)等機器學習方法，以獲得可靠的分類結果。
除此之外，有時並非取景畫面沒有出現具備構圖美學標準的畫面，而是隱藏在取景畫面的其中一部份，在此稱為「子畫面」。為了避免子畫面被浪費，處理單元124可設計一個小於預拍區域的搜尋視窗(Search Window)，在預拍區域中例如是從左到 右、從上到下搜尋子畫面，逐一評估被搜尋視窗框選到的子畫面是否符合構圖美學標準。如果處理單元124沒有在取景畫面中找到符合構圖美學標準的子畫面，則可再調整搜尋視窗的大小，重新搜尋。以此方法，可以節省伺服馬達110旋轉電子裝置120尋找景物的次數，也可減少優良畫面被遺漏的可能性。
在另一實施例中，當處理單元124在判斷取景畫面符合構圖樣板之後，可在設定取景畫面為預拍畫面之前，針對取景畫面的整體特徵進行評估以判斷取景畫面是否符合美學標準。在本實施例中，處理單元124可利用決策樹(Decision Tree)的演算方式來判斷取景畫面是否為合適畫面。
詳言之，電子裝置120可預先儲存一決策樹，其中決策樹的內部節點(Internal Node)分別為多個影像特徵的判斷條件，而決策樹的葉節點(Leaf Node)分別表示為合適畫面或是不合適畫面。在一實施例中，處理單元124可以將取景畫面輸入於例如是圖6A的決策樹，以針對取景畫面的色調(Achromatic)、飽合度(Saturation)、銳利度(Sharpness)、和諧度(Harmonic)、紅(Red)、綠(Green)、藍(Cyan)等特徵進行評估。然而，必須說明的是，在其它實施例中，電子裝置120更可預先儲存其它不同判斷條件的決策樹，以更符合使用者的審美標準，本發明不在此受限。
當處理單元124根據決策樹的輸出結果判斷取景畫面為不合適畫面時，處理單元124根據取景畫面位於的葉節點所對應 的影像特徵，調整取景畫面。以圖6B為例，當決策樹的輸出結果為不合適畫面時，其葉節點所對應的影像特徵為「綠」。換言之，處理單元124將檢視決策樹，取得輸出結果為不合適畫面的原因在於「綠」成份(Green component)太多後，可給予使用者建議，以通知使用者依據建議調整相關的特徵。使用者據此調整取景畫面後，如圖6C所示，決策樹將回傳調整後的取景畫面為適合畫面。
藉由上述構圖樣板、顯著圖分析以及決策樹分析等三個項目，便可基本地做出自動控制拍攝機制。然而，值得一提的是，所謂具有美學標準的照片之定義，不僅在不同族群中不同，也在不同年代中不同。因此這種主觀的概念是會隨著時間而變化，而需要隨時更新。據此，在本實施例中，當處理單元124在設定預拍畫面後，將根據使用者的個人資料，評估上述預拍畫面，據以拍攝或放棄拍攝上述預拍畫面(步驟S211)。
詳細而言，處理單元124可預先利用電子裝置的資料擷取模組(未繪示)利用有線連結或是無線連結的傳輸方式擷取海量的其它使用者的個人資料以及影像資料後，可針對不同場景以及不同族群的使用者分別在類神經網路模型中進行機器學習(machine learning)，計算特定使用者族群與其喜好照片特徵的關聯性，以得到多個影像特徵的多組不同特徵權重。
在一實施例中，資料擷取模組包括網路爬手(web crawler)，其可自動隨機擷取其它使用者於Facebook、Twitter或者是Plurk等社群網路(social network)平台的首頁上之個人資料 與影像資料。個人資料包括使用者的年齡、性別、教育程度、工作地點等。影像資料包括使用者於社群網路平台首頁所放置的照片，其通常符合使用者的美感期望。由於特定族群與其喜好的美感特徵，也有一定程度的關聯性。因此，處理單元124可預先將取得的多個首頁照片利用特徵擷取演算法，擷取出亮度、彩度、平衡度、清晰度、是否含有人臉、動物、天空、地板等影像特徵後，再利用分群演算法(clustering)，根據上述個人資料與影像特徵取得照片與特定族群的關聯性。換言之，處理單元124將計算不同使用者族群和影像特徵的群類關係。如果一個影像特徵與一個使用者的族群的關聯性很大，則以該使用者族群做影像審美時，要提升該影像特徵的評分權重，而所有影像特徵的評分權重在此可定義為一組「特徵權重」。據此，處理單元124可根據其它使用者的個人資料，產生多組特徵權重。
當處理單元124在取得預拍畫面後，可根據電子裝置120的使用者之個人資料對預設畫面進行審美評分。在本實施例中，處理單元124可自使用者的電子裝置120所安裝的社群網路軟體取得使用者的個人資料，例如年齡、性別、教育程度、工作地點等等。在另一實施例中，處理單元124可接收使用者手動輸入的個人資料，本發明不在此受限。
當處理單元124取得使用者的個人資料後，便可得知其所屬的族群，據以分配一組使用者特徵權重對預拍畫面進行審美評分，並且產生一畫面分數。在此的使用者特徵權重為上述多組 特徵權重中屬於該使用者的該組特徵權重。當處理單元124判斷此畫面分數大於或等於一分數門檻值時，代表上述預拍畫面符合使用者的期望，而影像擷取單元122則會拍攝上述預拍畫面。反之，影像擷取單元122則會放棄上述預拍畫面。
必須說明的是，無論是影像擷取單元122拍攝或放棄拍攝上述預拍畫面，自動尋景拍攝系統100將會回到步驟S202，以重新執行自動尋景拍攝方法。
綜上所述，本發明自動尋景拍攝方法及其系統，主要是針對取景畫面進行分析，以判定取景畫面是否具有美學水準，更根據取景畫面產生顯著圖，判斷取景畫面中較吸引人眼視覺的區域，據以控制系統進行構圖。此外，為了避免影像審美受到主觀認定，本發明可針對不同場景以及不同族群的使用者分別在類神經網路模型中進行機器學習，以得到多個影像特徵的多組不同特徵權重。在使用者提供個人資訊的前提下，可得到更接近期望的拍攝結果。如此一來，自動尋景拍攝系統的移動巡航、取景構圖、美學評估以及自動拍攝等操作可代替人類掌鏡，以提升生活上的便利性。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S201~S211‧‧‧自動尋景拍攝方法的流程

Claims (10)

  1. 一種自動尋景拍攝方法，適於基於美學角度自動尋景拍攝一影像，該自動尋景拍攝方法包括：針對一預拍區域進行取景，以產生一取景畫面；判斷該取景畫面是否符合一構圖樣板；當該取景畫面不符合該構圖樣板時，計算該預拍區域與符合該構圖樣板的一對焦區域之間的一移動距離，並且根據該移動距離決定是否設定該對焦區域的畫面為一預拍畫面；當該取景畫面符合該構圖樣板時，設定該取景畫面為該預拍畫面；以及根據一使用者的個人資料，評估該預拍畫面，據以拍攝或放棄拍攝該預拍畫面。
  2. 如申請專利範圍第1項所述的自動尋景拍攝方法，其中判斷該取景畫面是否符合該構圖樣板的步驟包括：產生該取景畫面的一顯著圖；二值化該顯著圖，以產生一二值化影像；自該二值化影像擷取多個凸多邊形，其中各所述凸多邊形分別對應於一顯著區域自所述顯著區域之中，選擇一目標顯著區域；以及判斷該目標顯著區域相對於該取景畫面是否符合該構圖樣板。
  3. 如申請專利範圍第2項所述的自動尋景拍攝方法，其中當 該取景畫面不符合該構圖樣板時，計算該預拍區域與符合該構圖樣板的該對焦區域之間的該移動距離，並且根據該移動距離決定是否設定該對焦區域的畫面為該預拍畫面之步驟包括：計算該目標顯著區域的質心與該構圖樣板中各所述交叉點之間的一歐幾里得距離，並且根據所述歐幾里得距離中的最小值產生一匹配分數，其中該匹配分數與所述歐幾里得距離中的最小值互為反比關係；根據該目標顯著區域的質心、該構圖樣板中各所述交叉點以及該目標顯著區域的面積，計算該移動距離；判斷該匹配分數是否大於一分數門檻值並且該移動距離是否小於一距離門檻值；以及當該匹配分數大於該分數門檻值並且該移動距離小於該距離門檻值時，將該目標顯著區域的質心對焦至該最小歐幾里得距離所對應的交叉點，以產生該對焦區域，並且將該對焦區域設定為該預拍畫面；否則，針對一新的預拍區域進行取景，直到取得該預拍畫面。
  4. 如申請專利範圍第1項所述的自動尋景拍攝方法，其中當該取景畫面符合該構圖樣板時，在設定該取景畫面為該預拍畫面之前，該自動尋景拍攝方法更包括：輸入該取景畫面於一決策樹，並且根據該取景畫面的多個影像特徵判斷該取景畫面是否為合適畫面，其中該決策樹的多個內部節點分別為各所述影像特徵的判斷條件，該決策樹的多個葉節 點分別表示為合適畫面或是不合適畫面；當判斷該預拍畫面為不合適畫面時，根據該取景畫面位於的葉節點所對應的影像特徵，調整該取景畫面。
  5. 如申請專利範圍第1項所述的自動尋景拍攝方法，其中根據該使用者的個人資料，評估該預拍畫面，據以拍攝或放棄拍攝該預拍畫面的步驟包括：擷取多個其它使用者的個人資料與影像資料；擷取各所述其它使用者的影像資料中的多個影像特徵；利用分群演算法，根據所述其它使用者的個人資料以及所述影像特徵，產生多組特徵權重根據該使用者的個人資料，自所述多組特徵權重之中取得一使用者特徵權重，其中該使用者特徵權重為對應於該使用者的該組特徵權重；根據該預拍畫面的所述影像特徵以及該使用者特徵權重，計算該預拍畫面的一畫面分數；比較該畫面分數與一分數門檻值；當該畫面分數大於或等於該分數門檻值時，拍攝該預拍畫面；以及當該畫面分數小於該分數門檻值時，放棄拍攝該預拍畫面。
  6. 一種自動尋景拍攝系統，包括：一伺服馬達，承載一電子裝置，以使該電子裝置旋轉至多個方位以及多個角度； 該電子裝置，承載並耦接該伺服馬達，包括：一影像擷取單元，針對一預拍區域進行取景，以產生一取景畫面；一處理單元，耦接至該影像擷取單元，其中該處理單元判斷該取景畫面是否符合一構圖樣板，當該取景畫面符合該構圖樣板時，設定該取景畫面為一預拍畫面，當該取景畫面不符合該構圖樣板時，計算該預拍區域與符合該構圖樣板的一對焦區域之間的一移動距離，並且根據該移動距離決定是否設定該對焦區域的畫面為該預拍畫面，以及根據一使用者的個人資料，評估該預拍畫面，據以控制該影像擷取單元拍攝或放棄拍攝該預拍畫面。
  7. 如申請專利範圍第6項所述的自動尋景拍攝系統，其中該處理單元，產生該取景畫面的一顯著圖，又二值化該顯著圖，以產生一二值化影像，再自該二值化影像擷取分別對應於一顯著區域的多個凸多邊形，並且自所述顯著區域之中，選擇一目標顯著區域，以及判斷該目標顯著區域相對於該取景畫面是否符合該構圖樣板。
  8. 如申請專利範圍第7項所述的自動尋景拍攝系統，其中該處理單元計算該目標顯著區域的質心與該構圖樣板中各所述交叉點之間的一歐幾里得距離，並且根據所述歐幾里得距離中的最小值產生一匹配分數，其中該匹配分數與所述歐幾里得距離中的最小值互為反比關係，該處理單元又根據該目標顯著區域的質心、該構圖樣板中各 所述交叉點以及該目標顯著區域的面積，計算該移動距離；該處理單元再判斷該匹配分數是否大於一分數門檻值並且該移動距離是否小於一距離門檻值，以及當該匹配分數大於該分數門檻值並且該移動距離小於該距離門檻值時，該影像擷取單元將該目標顯著區域的質心對焦至該最小歐幾里得距離所對應的交叉點，以產生該對焦區域，並且將該對焦區域設定為該預拍畫面；否則，該影像擷取單元針對一新的預拍區域進行取景，直到取得該預拍畫面。
  9. 如申請專利範圍第6項所述的自動尋景拍攝系統，其中該處理單元輸入該取景畫面於一決策樹，並且根據該取景畫面的多個影像特徵判斷該取景畫面是否為合適畫面，其中該決策樹的多個內部節點分別為各所述影像特徵的判斷條件，該決策樹的多個葉節點分別表示為合適畫面或是不合適畫面，以及當該處理單元判斷該預拍畫面為不合適畫面時，根據該取景畫面位於的葉節點所對應的影像特徵，調整該取景畫面。
  10. 如申請專利範圍第6項所述的自動尋景拍攝系統，其中該電子裝置更包括：一資料擷取模組，擷取多個其它使用者的個人資料與影像資料，以及自各所述其它使用者的影像資料擷取多個影像特徵，其中該處理單元利用分群演算法，根據所述其它使用者的個人資料以及所述影像特徵，產生多組特徵權重； 該處理單元根據該使用者的個人資料，自所述多組特徵權重之中取得一使用者特徵權重，其中該使用者特徵權重為對應於該使用者的該組特徵權重；該處理單元又根據該預拍畫面的所述影像特徵以及該使用者特徵權重，計算該預拍畫面的一畫面分數；該處理單元再比較該畫面分數與一分數門檻值；當該畫面分數大於或等於該分數門檻值時，該影像擷取單元拍攝該預拍畫面；以及當該畫面分數小於該分數門檻值時，該影像擷取單元放棄拍攝該預拍畫面。
TW102148815A 2013-12-27 2013-12-27 自動尋景拍攝方法及其系統 TWI532361B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW102148815A TWI532361B (zh) 2013-12-27 2013-12-27 自動尋景拍攝方法及其系統
US14/228,268 US9106838B2 (en) 2013-12-27 2014-03-28 Automatic photographing method and system thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW102148815A TWI532361B (zh) 2013-12-27 2013-12-27 自動尋景拍攝方法及其系統

Publications (2)

Publication Number Publication Date
TW201526604A TW201526604A (zh) 2015-07-01
TWI532361B true TWI532361B (zh) 2016-05-01

Family

ID=53483377

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102148815A TWI532361B (zh) 2013-12-27 2013-12-27 自動尋景拍攝方法及其系統

Country Status (2)

Country Link
US (1) US9106838B2 (zh)
TW (1) TWI532361B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69434492T2 (de) 1993-03-10 2006-07-13 Smithkline Beecham Corp. Phosphodiesterase des menschlichen gehirns
US9659384B2 (en) * 2014-10-03 2017-05-23 EyeEm Mobile GmbH. Systems, methods, and computer program products for searching and sorting images by aesthetic quality
US20160247043A1 (en) * 2015-02-19 2016-08-25 Warren Rieutort-Louis Thin-film Sensing and Classification System
US9936127B2 (en) * 2015-11-02 2018-04-03 Paypal, Inc. Systems and methods for providing attention directing functions in an image capturing device
US10810706B2 (en) 2017-08-04 2020-10-20 Outward, Inc. Machine learning based image processing techniques
CN109359675B (zh) * 2018-09-28 2022-08-12 腾讯科技（武汉）有限公司 图像处理方法及设备
CN110268442B (zh) * 2019-05-09 2023-08-29 京东方科技集团股份有限公司 在图像中检测背景物上的外来物的计算机实现的方法、在图像中检测背景物上的外来物的设备以及计算机程序产品
JP7392368B2 (ja) * 2019-10-03 2023-12-06 富士フイルムビジネスイノベーション株式会社 画像処理装置，システム，プログラム
CN111265166B (zh) * 2020-01-23 2021-12-28 深圳市大拿科技有限公司 一种智能洗碗机的控制方法及相关产品
US11445121B2 (en) * 2020-12-29 2022-09-13 Industrial Technology Research Institute Movable photographing system and photography composition control method
CN113206956B (zh) * 2021-04-29 2023-04-07 维沃移动通信（杭州）有限公司 图像处理方法、装置、设备及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7574016B2 (en) * 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
JP5170961B2 (ja) 2006-02-01 2013-03-27 ソニー株式会社 画像処理システム、画像処理装置および方法、プログラム、並びに記録媒体
US8781175B2 (en) 2007-05-07 2014-07-15 The Penn State Research Foundation On-site composition and aesthetics feedback through exemplars for photographers
KR101469246B1 (ko) 2007-08-07 2014-12-12 삼성전자주식회사 로봇에서 사진 촬영하는 장치 및 방법
US8736704B2 (en) * 2011-03-25 2014-05-27 Apple Inc. Digital camera for capturing an image sequence
US20120277914A1 (en) 2011-04-29 2012-11-01 Microsoft Corporation Autonomous and Semi-Autonomous Modes for Robotic Capture of Images and Videos
US8660342B2 (en) 2012-01-24 2014-02-25 Telefonica, S.A. Method to assess aesthetic quality of photographs

Also Published As

Publication number Publication date
US20150189186A1 (en) 2015-07-02
TW201526604A (zh) 2015-07-01
US9106838B2 (en) 2015-08-11

Similar Documents

Publication Publication Date Title
TWI532361B (zh) 自動尋景拍攝方法及其系統
US9971955B2 (en) Photographing method, photo management method and device
JP6101397B2 (ja) 写真出力方法および装置
CN103929596B (zh) 引导拍摄构图的方法及装置
TWI640199B (zh) 影像擷取裝置及其攝影構圖的方法
CN109196852B (zh) 拍摄构图引导方法及装置
WO2019214574A1 (zh) 图像拍摄方法、装置及电子终端
CN110807759A (zh) 照片质量的评价方法及装置、电子设备、可读存储介质
WO2020124577A1 (zh) 相机拍摄参数的确定方法和装置
TW202203085A (zh) 自動相機指導和設置調整
CN110830712A (zh) 一种自主摄影系统和方法
US20220329729A1 (en) Photographing method, storage medium and electronic device
WO2022227752A1 (zh) 拍照方法及装置
CN107547789B (zh) 影像获取装置及其摄影构图的方法
KR101094648B1 (ko) 구도결정을 하는 사진사 로봇 및 그 제어방법
CN106815237B (zh) 搜索方法、搜索装置、用户终端及搜索服务器
US9888161B2 (en) Generation apparatus and method for evaluation information, electronic device and server
TWI767288B (zh) 群組分享式攝影方法
CN106815236B (zh) 搜索方法、搜索装置、用户终端及搜索服务器
CN117177052B (zh) 图像获取方法、电子设备及计算机可读存储介质
CN104580900B (zh) 确定拍摄参数的方法和终端
WO2023240452A1 (zh) 图像处理方法、装置、电子设备和存储介质
WO2020162320A1 (ja) 撮影装置、撮影方法、及びプログラム
WO2019095096A1 (zh) 拍照处理方法与拍照终端
CN116017117A (zh) 智能拍照装置及方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees