TWI550549B - 圖像處理裝置及圖像處理方法 - Google Patents

圖像處理裝置及圖像處理方法 Download PDF

Info

Publication number
TWI550549B
TWI550549B TW104102936A TW104102936A TWI550549B TW I550549 B TWI550549 B TW I550549B TW 104102936 A TW104102936 A TW 104102936A TW 104102936 A TW104102936 A TW 104102936A TW I550549 B TWI550549 B TW I550549B
Authority
TW
Taiwan
Prior art keywords
image
unit
correction
reliability
area
Prior art date
Application number
TW104102936A
Other languages
English (en)
Other versions
TW201530490A (zh
Inventor
小林理弘
Original Assignee
摩如富股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 摩如富股份有限公司 filed Critical 摩如富股份有限公司
Publication of TW201530490A publication Critical patent/TW201530490A/zh
Application granted granted Critical
Publication of TWI550549B publication Critical patent/TWI550549B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

圖像處理裝置及圖像處理方法
本發明是關於一種圖像處理裝置及圖像處理方法。
以往，例如在景點，在想要拍攝紀念照片的情況等時，即便想要進行拍攝，除了設為拍攝對象物的人物以外，其他人或車輛等移動被攝物也會進入畫框(frame)內，從而難以在適當的狀況下、即只有想要拍攝的對象物存在於畫框內的狀態下進行拍攝。針對所述課題，有藉由如下方式來嘗試解決的如專利文獻1、專利文獻2般的現有技術：進行多次同一場景(scene)的拍攝，在所述多張拍攝圖像中抽出認為是最適的部分並加以組合而進行合成。
[現有技術文獻]
[專利文獻]
[專利文獻1]美國專利申請公開第2012/0320237號說明書
[專利文獻2]歐洲專利第2360644號說明書
在將如上所述般的拍攝圖像作為輸入圖像而輸入，且想要由所述輸入圖像產生僅呈現出對象物的圖像的情況下，需要適當地檢測出移動被攝物並從圖像中將其刪除。作為用以實現所述技術的方法，例如考慮如下方法：使多個輸入圖像加權而進行加權平均，由此產生對象物作為背景而呈現出的背景圖像。
然而，在所述方法中，因為難以完全將多個輸入圖像的位置對準，且因手震等而會在多個輸入圖像中產生微妙的位置偏移，或因存在隨風搖動的樹葉等，而在所產生的背景圖像中所述區域會模糊，從而有無法獲得優質的圖像的問題。另外，人群等物體一直在移動的區域中無法對背景及前景進行區分，因此，有該物體會移動的區域未被完全地校正而產生重影(ghost)的問題。
本發明是鑒於所述課題而成，其目的在於提出一種用以對基於多個輸入圖像而決定的修正對象圖像進行修正，而產生優質的圖像的新方法。
為了解決所述課題，而採取以下的方案。此外，為了進行參考而以括號來附注具體的實施方式的說明及圖式中使用的符號，但本發明的構成要素並不限定於所述附注的內容。
第1發明為一種圖像處理裝置(圖像處理裝置3)，其包 括：圖像修正部件(圖像修正部160)，使用多個輸入圖像中的任一輸入圖像作為修正用圖像而對基於所述多個輸入圖像(利用拍攝而輸入的圖像)而決定的修正對象圖像(輸入圖像中的一圖像，例如基準圖像)的修正對象區域(前景候補區域)進行修正。
另外，作為第28發明，也可構成為一種圖像處理方法，其包括：使用多個輸入圖像中的任一輸入圖像作為修正用圖像而對基於所述多個輸入圖像(利用拍攝而輸入的圖像)而決定的修正對象圖像(輸入圖像中的一圖像，例如基準圖像)的修正對象區域(前景候補區域)進行修正。
根據所述第1發明等，使用多個輸入圖像中的任一輸入圖像作為修正用圖像而對基於多個輸入圖像而決定的修正對象圖像的修正對象區域進行修正，從而可產生優質的圖像。
另外，第2發明也可構成為一種圖像處理裝置，其根據第1發明的圖像處理裝置，其中在所述圖像修正部件中，與所述修正對象區域對應的區域的圖像資料將與所述多個輸入圖像有關聯的參照圖像(將多個輸入圖像加權平均而成的背景圖像)、和滿足規定關係(圖像資料類似)的輸入圖像設為所述修正用圖像，並使用所述修正用圖像的與所述修正對象區域對應的區域的圖像資料對所述修正對象圖 像的所述修正對象區域進行修正。
根據所述第2發明，將與修正對象區域對應的區域的圖像資料和與多個輸入圖像有關聯的參照圖像滿足規定關係的輸入圖像設為修正用圖像，並使用所述修正用圖像的與修正對象區域對應的區域的圖像資料，從而可適當地對修正對象圖像的修正對象區域進行修正。由此，即便在多個輸入圖像中產生微妙的位置偏移，或存在隨風搖動的樹葉等的情況下，對於所述區域的圖像資料也可使用修正用圖像的對應於所述區域的圖像資料來進行修正，從而產生優質的圖像。
另外，作為第3發明，也可構成為一種圖像處理裝置，其根據第1發明或第2發明的圖像處理裝置，還包括：可靠度判定部件(處理部100)，判定所述修正對象區域的作為前景的可靠度，所述圖像修正部件基於由所述可靠度判定部件判定的可靠度而判定所述修正對象區域的適合修正與否。
根據所述第3發明，在判定修正對象區域的作為前景的可靠度之後，可適當地判定是否應對修正對象區域進行修正。
另外，作為第4發明，也可構成為一種圖像處理裝置，其根據第3發明的圖像處理裝置，還包括：外觀變化區域檢測部件(處理部100)，檢測外觀變化區域，所述外觀變化區域即在所述多個輸入圖像間被攝物的外觀發生變化的區域， 所述可靠度判定部件將由所述外觀變化區域檢測部件檢測出的外觀變化區域作為所述修正對象區域而判定所述可靠度，所述圖像修正部件基於由所述可靠度判定部件判定的可靠度而判定所述外觀變化區域的適合修正與否。
外觀變化區域是被攝物的移動發生變化的區域、或因拍攝時的光的變化等而使被攝物的外觀發生變化的區域。
根據第4發明，可檢測在所述多個輸入圖像間被攝物的外觀發生變化的區域，且基於可靠度而判定檢測出的外觀變化區域的適合修正與否。由此，即便在存在人群等被攝物一直產生移動的區域、或受光的影響而被攝物的外觀發生變化的區域等的情況下，也可將所述區域作為外觀變化區域檢測出而進行修正。
另外，作為第5發明，也可構成為一種圖像處理裝置，其根據第3發明或第4發明的圖像處理裝置，其中所述可靠度判定部件對所述修正對象圖像中的每一規定的處理像素單元(1像素單元、多個像素單元)判定所述可靠度，所述圖像修正部件將對所述可靠度滿足規定條件(可靠度“高”)的所述處理像素單元進行連結而成的一群區域作為所述修正對象區域而進行修正。
根據所述第5發明，可對修正對象圖像中的每一規定的處理像素單元判定作為前景的可靠度，且將判定的可靠度滿足規定條件的處理像素單元連結而成的一群區域作為修正對象區域而進行修正。此處，處理像素單元是指由1像素以上構成的區域。
另外，作為第6發明，也可構成為一種圖像處理裝置，其根據第3發明至第5發明的任一發明的圖像處理裝置，其還包括：相對值計算部件(差分值計算部11、差分值計算部111)，針對所述多個輸入圖像的每一個，對每一規定的處理像素單元(1像素單元、多個像素單元)算出相對值，所述相對值表示所述輸入圖像和與所述多個輸入圖像有關聯的參照圖像(將多個輸入圖像加權平均而成的背景圖像)的相對關係(像素值的差分值)，輸入圖像判定部件(最小差分輸入圖像判定部17、非基準最小差分輸入圖像判定部117)，針對每一所述處理像素單元，判定所述多個輸入圖像中的由所述相對值計算部件算出的相對值滿足特定條件(差分值最小)的輸入圖像，圖像處理用資料產生部件(最小差分映射資料產生部19、非基準最小差分映射資料產生部119)，產生圖像處理用資料(最小差分映射資料27、非基準最小差分映射資料873)，所述圖像處理用資料針對每一所述處理像素單元將用以識別由所述輸入圖像判定部件判定的輸入圖像的識別信息(圖像編號)予以記憶，所述圖像修正部件使用所述修正用圖像與由所述圖像處理用資料產生部件產生的圖像處理用資料進行修正。
另外，作為第29發明，也可構成為一種圖像處理方法，其根據第28發明的圖像處理方法，還包括：針對多個輸入圖像的每一個，對每一規定的處理像素單 元算出表示所述輸入圖像和與所述多個輸入圖像有關聯的參照圖像(將多個輸入圖像加權平均而成的背景圖像)的相對關係的相對值(像素值的差分值)，對每一所述處理像素單元，判定所述多個輸入圖像中的所述算出的相對值滿足特定條件的輸入圖像(差分值最小)，產生圖像處理用資料(最小差分映射資料27、非基準最小差分映射資料873)，所述圖像處理用資料針對每一所述處理像素單元將用以識別所述經判定的輸入圖像的識別信息(圖像編號)予以記憶，所述修正包含使用所述修正用圖像與所述產生的圖像處理用資料進行修正。
根據所述第6發明，可針對多個輸入圖像的每一個，基於表示所述輸入圖像和與多個輸入圖像有關聯的參照圖像的相對關係的相對值，按處理像素單元產生將用以識別滿足特定條件的輸入圖像的識別信息予以記憶的圖像處理用資料。此處，相對值是表示輸入圖像與參照圖像的相對關係的值，例如所述值含有輸入圖像與參照圖像的像素值的差分值。另外，特定條件是預先決定的條件，例如可將相對值成為最大或最小、相對值成為中間值、相對值成為平均值等各種條件設為特定條件。藉由使用如上述般產生的圖像處理用資料與修正用圖像，可適當地對修正對象圖像進行修正。
另外，作為第7發明，也可構成為一種圖像處理裝置， 其根據第6發明的圖像處理裝置，其中所述圖像處理用資料產生部件針對每一所述處理像素單元將所述滿足特定條件的相對值(最小差分值)與所述識別信息(圖像編號)建立對應地記憶於所述圖像處理用資料中。
根據所述第7發明，藉由針對每一處理像素單元將滿足特定條件的相對值與輸入圖像的識別信息建立對應地記憶於圖像處理用資料中，可利用1個資料對滿足特定條件的相對值與對應於所述相對值的輸入圖像進行管理。
另外，作為第8發明，也可構成為一種圖像處理裝置，其根據第6發明或第7發明的圖像處理裝置，還包括：縮小部件(分析用圖像產生部130)，對所述多個輸入圖像分別進行縮小，所述相對值計算部件針對由所述縮小部件縮小的所述多個輸入圖像的每一個，對每一所述處理像素單元算出表示所述輸入圖像和與所述輸入圖像為相同大小的參照圖像的相對關係的相對值，所述圖像處理用資料產生部件產生與所述輸入圖像為相同大小的所述圖像處理用資料。
根據所述第8發明，可產生與對多個輸入圖像分別進行縮小而成的圖像為相同大小的圖像處理用資料。在輸入圖像的尺寸大的情況下，後段的圖像修正中的處理負荷增大，因此對多個輸入圖像分別進行縮小。而且，藉由產生與縮小的輸入圖像為相 同大小的圖像處理用資料，可使用圖像處理用資料減輕圖像修正的處理負荷。
另外，作為第9發明，也可以構成為一種圖像處理裝置，其根據第6發明至第8發明的任一發明的圖像處理裝置，還包括：前景候補區域檢測部件(前景候補區域檢測部140)，使用所述多個輸入圖像、與由所述圖像處理用資料產生部件產生的圖像處理用資料，檢測相對於所述參照圖像成為前景的候補的區域即前景候補區域，所述可靠度判定部件將由所述前景候補區域檢測部件檢測出的前景候補區域作為所述修正對象區域而判定所述可靠度，所述圖像修正部件將由所述前景候補區域檢測部件檢測出的前景候補區域作為所述修正對象區域而進行修正。
根據所述第9發明，藉由使用多個輸入圖像、與產生的圖像處理用資料，可檢測相對於參照圖像成為前景的候補的區域即前景候補區域。而且，在將檢測出的前景候補區域作為修正對象區域而判定可靠度之後，可將檢測出的前景候補區域作為修正對象區域而進行修正。
另外，第10發明也可構成為一種圖像處理裝置，其根據第9發明的圖像處理裝置，還包括：基準圖像設定部件(基準圖像設定部120)，從所述多個輸入圖像中設定基準圖像， 所述輸入圖像判定部件具有非基準圖像判定部件(非基準最小差分輸入圖像判定部117)，所述非基準圖像判定部件針對每一所述處理像素單元判定從所述多個輸入圖像中將所述基準圖像除外的輸入圖像即非基準圖像中的所述相對值滿足所述特定條件的非基準圖像，所述圖像處理用資料產生部件具有非基準圖像處理用資料產生部件(非基準最小差分映射資料產生部119)，產生非基準圖像處理用資料，所述非基準圖像處理用資料針對每一所述處理像素單元將用以識別由所述非基準圖像判定部件判定的非基準圖像的識別信息予以記憶，所述前景候補區域檢測部件使用所述基準圖像與由所述非基準圖像處理用資料產生部件產生的非基準圖像處理用資料對所述前景候補區域進行檢測，所述圖像修正部件將由所述基準圖像設定部件設定的基準圖像作為所述修正對象圖像而進行修正。
根據所述第10發明，針對每一處理像素單元判定從多個輸入圖像中將設定的基準圖像除外的輸入圖像即非基準圖像中的相對值滿足特定條件的非基準圖像，產生針對每一處理像素單元將用以識別判定的非基準圖像的識別信息予以記憶的非基準圖像處理用資料。例如可將使用者從多個輸入圖像中選擇的輸入圖像設定為基準圖像，也可如最初輸入的輸入圖像或最後輸入的輸入圖像般依照規定的規則(rule)而設定基準圖像。藉由使用如上所 述般設定的基準圖像、與基於非基準圖像而產生的非基準圖像處理用資料，可適當地檢測出前景候補區域。而且，藉由將基準圖像作為修正對象圖像而進行修正，可獲得優質的圖像。
另外，作為第11發明，也可構成為一種圖像處理裝置，其根據第9發明或第10發明的圖像處理裝置，其中所述圖像修正部件將對應於所述圖像處理用資料中記憶的識別信息的輸入圖像作為所述修正用圖像而對所述修正對象圖像的所述前景候補區域進行修正。
根據所述第11發明，藉由將對應於圖像處理用資料中記憶的識別信息的輸入圖像作為修正用圖像，可適當地對修正對象圖像的前景候補區域進行修正。
另外，作為第12發明，也可構成為一種圖像處理裝置，其根據第9發明至第11發明的任一發明的圖像處理裝置，其中所述圖像修正部件使用所述修正用圖像的與所述前景候補區域對應的區域的圖像資料對所述修正對象圖像的所述前景候補區域的圖像資料進行修正。
根據所述第12發明，藉由使用修正用圖像的與所述前景候補區域對應的區域的圖像資料對修正對象圖像的前景候補區域的圖像資料進行修正，可適當地對修正對象圖像的前景候補區域進行修正。
另外，作為第13發明，也可構成為一種圖像處理裝置， 其根據第9發明至第12發明的任一發明的圖像處理裝置，其中所述圖像修正部件根據所述前景候補區域的可靠度而切換執行的圖像修正處理(置換處理、黏貼處理)，對所述修正對象圖像的所述前景候補區域進行修正。
根據所述第13發明，藉由根據所述前景候補區域的可靠度而切換執行的圖像修正處理，可對各前景候補區域的每一個實現根據可靠度進行的適當的圖像修正。
另外，作為第14發明，也可構成為一種圖像處理裝置，其根據第13發明的圖像處理裝置，其中所述圖像修正部件對於所述可靠度滿足規定的高可靠度條件(可靠度“高”)的前景候補區域，作為所述圖像修正處理而執行以所述修正用圖像的與所述前景候補區域對應的區域的圖像資料對所述修正對象圖像的所述前景候補區域的圖像資料進行置換的處理。
根據所述第14發明，藉由對於可靠度滿足規定的高可靠度條件的前景候補區域，作為圖像修正處理而執行以修正用圖像的與所述前景候補區域對應的區域的圖像資料對修正對象圖像的所述前景候補區域的圖像資料進行置換的處理，可適當地對作為前景的可靠度高的前景候補區域進行修正。
另外，作為第15發明，也可構成為一種圖像處理裝置，其根據第13發明或第14發明的圖像處理裝置，其中 所述圖像修正部件對於所述可靠度滿足規定的低可靠度條件的前景候補區域，作為所述圖像修正處理而執行從所述修正用圖像中抽出與所述前景候補區域的圖像資料滿足規定關係的圖像資料而黏貼於所述修正對象圖像的所述前景候補區域的處理。
根據所述第15發明，藉由對於可靠度滿足規定的低可靠度條件的前景候補區域，作為圖像修正處理而執行從修正用圖像中抽出與所述前景候補區域的圖像資料滿足規定關係的圖像資料而黏貼於修正對象圖像的所述前景候補區域的處理，可適當地對作為前景的可靠度低的前景候補區域進行修正。
另外，作為第16發明，也可構成為一種圖像處理裝置，其根據第9發明至第15發明的任一發明的圖像處理裝置，其包括：顯示部件(顯示部300)，顯示控制部件(顯示控制部170)，將所述前景候補區域的可靠度控制顯示於所述顯示部件。
根據所述第16發明，使用者可在顯示畫面中確認前景候補區域的可靠度。
另外，作為第17發明，也可構成為一種圖像處理裝置，其根據第16發明的圖像處理裝置，其中所述顯示控制部件以使用者能夠區別的顯示方式(例如，根據可靠度而對前景候補區域或其輪廓線進行顏色區分的顯示方式、根據可靠度而對前景候補區域賦予不同的標記的顯示方 式、根據可靠度而對前景候補區域施加不同的紋樣或影線的顯示方式)將各前景候補區域的可靠度控制顯示於所述顯示部件。
根據所述第17發明，藉由以使用者可區別的顯示方式將各前景候補區域的可靠度顯示於顯示部件，使用者一看便可掌握各前景候補區域的可靠度。
另外，作為第18發明，也可構成為一種圖像處理裝置，其根據第9發明至第17發明的任一發明的圖像處理裝置，包括：物體檢測部件(處理部100)，從所述修正對象圖像中檢測物體，優先修正區域決定部件(處理部100)，基於由所述物體檢測部件而得的物體的檢測區域與所述前景候補區域的位置關係以及所述可靠度，決定所述修正對象圖像中應優先修正的區域即優先修正區域。
根據所述第18發明，藉由以物體的檢測區域與前景候補區域的位置關係以及前景候補區域的可靠度的判定結果為基準，可自動決定修正對象圖像中的應優先修正的區域即優先修正區域。
另外，作為第19發明，也可構成為一種圖像處理裝置，其根據第9發明至第18發明的任一發明的圖像處理裝置，其中所述可靠度判定部件基於所述前景候補區域的面積、與針對所述前景候補區域中所含的像素而記憶於所述圖像處理用資 料中的相對值中的至少任一者，判定所述前景候補區域的所述可靠度。
根據所述第19發明，基於前景候補區域的面積、與針對前景候補區域中所含的像素而記憶於圖像處理用資料中的相對值中的至少任一者，可判定所述前景候補區域的所述可靠度。面積小的前景候補區域為因噪音(noise)等而偶發地檢測出的區域的可能性高，因此宜判定此種前景候補區域的可靠度低。另外，雖取決於特定條件，但關於因物體一直移動等理由而難以對前景區域進行正確修正的區域，記憶於圖像處理用資料中的相對值有示出特定傾向的傾向。因此，根據針對前景候補區域中所含的像素而記憶於圖像處理用資料中的相對值可推定所述前景候補區域的修正難易度。若對修正難易度高的區域進行圖像修正，則有產生課題欄中所述般的重影的擔憂，因此此種區域的可靠度降低。
另外，作為第20發明，也可構成為一種圖像處理裝置，其根據第9發明至第19發明的任一發明的圖像處理裝置，還包括：操作部件(操作部200、觸碰面板250)，顯示部件(顯示部300)，顯示控制部件(顯示控制部170)，將從所述多個輸入圖像中選擇的基準圖像控制顯示於所述顯示部件，感測部件(處理部100)，感測對所述顯示部件中顯示的圖像上的位置進行指定的使用者操作(點擊(tap)操作)， 指定位置判定部件(處理部100)，根據所述感測部件的感測，判定由所述使用者操作而指定的位置是否含有於所述前景候補區域，所述圖像修正部件在所述指定位置判定部件的判定結果為肯定判定的情況下，對所述修正對象圖像的所述前景候補區域進行修正，所述顯示控制部件將由所述圖像修正部件修正的圖像控制顯示於所述顯示部件。
根據所述第20發明，可在以顯示有從多個輸入圖像中選擇的基準圖像的狀態完成對圖像上的位置進行指定的使用者操作且由所述使用者操作而指定的位置含有於前景候補區域時，對與所述前景候補區域對應的圖像區域進行修正。即，以使用者操作為契機，對與前景候補區域對應的圖像區域進行修正。而且，藉由將經修正的圖像控制顯示於顯示部件，使用者可確認經修正的圖像。
另外，作為第21發明，也可構成為一種圖像處理裝置，其根據第20發明的圖像處理裝置，還包括：圖像修正需要與否資料產生部件(處理部100)，基於所述指定位置判定部件的判定結果產生圖像修正需要與否資料(前景候補區域資料877)，所述圖像修正需要與否資料對是否需要根據所述使用者操作而對各前景候補區域進行所述圖像修正予以記憶， 所述圖像修正部件基於由所述圖像修正需要與否資料產生部件產生的圖像修正需要與否資料，判定是否需要對各前景候補區域進行修正。
根據所述第21的發明，藉由產生根據使用者操作的圖像修正需要與否資料，可判斷是否需要對各前景候補區域進行圖像修正，因此即便在如使用者指定多個前景候補區域般的情況下，也可無遺漏地將指定的前景候補區域作為修正圖像而進行圖像的修正。
另外，作為第22發明，也可構成為一種圖像處理裝置，其根據第18發明的圖像處理裝置，其中所述圖像修正部件對所述修正對象圖像的所述優先修正區域進行修正，且所述圖像處理裝置還包括：顯示部件(顯示部300)，顯示控制部件(顯示控制部170)，將由所述圖像修正部件修正的圖像控制顯示於所述顯示部件。
根據所述第22的發明，藉由修正優先修正區域且對所述修正的圖像進行顯示，使用者可確認自動對優先修正區域進行優先修正的圖像。
另外，作為第23發明，也可構成為一種圖像處理裝置，其根據第22發明的圖像處理裝置，其中所述顯示控制部件以與所述前景候補區域不同的顯示方式將所述優先修正區域控制顯示於所述顯示部件。
根據所述第23發明，藉由以與前景候補區域不同的顯示方式將優先修正區域控制顯示於顯示部件，使用者一看便可掌握應優先進行修正的區域。
第24發明為一種圖像處理裝置，其包括：圖像記憶部件(記憶部800)，記憶多個輸入圖像，計算部件(處理部100)，基於所述記憶的多個輸入圖像，算出圖像中的替換候補區域及與其有關聯的替換可靠度，顯示部件(顯示部300)，顯示所述多個輸入圖像中的最新輸入的輸入圖像即基準圖像、以及在所述基準圖像上重疊顯示或輪廓顯示所述替換候補區域而成的圖像，所述計算部件在所述基準圖像因新圖像輸入而被更新時，重新算出所述替換候補區域及所述替換可靠度，所述顯示部件基於所述重新算出的結果而更新所述顯示部件的顯示。
另外，作為第30發明，也可構成為一種圖像處理方法，其包括：記憶多個輸入圖像，基於所述記憶的多個輸入圖像，算出圖像中的替換候補區域及與其有關聯的替換可靠度，將所述多個輸入圖像中的最新輸入的輸入圖像即基準圖像以及在所述基準圖像上重疊顯示或輪廓顯示所述替換候補區域而成的圖像顯示於規定的顯示部件， 所述算出包含在所述基準圖像因新圖像輸入而被更新時，重新算出所述替換候補區域及所述替換可靠度，所述顯示包含基於所述重新算出的結果而更新所述顯示部件的顯示。
根據所述第24發明等，記憶多個輸入圖像且基於記憶的多個輸入圖像而算出圖像中的替換候補區域及與其有關聯的替換可靠度。而且，藉由對多個輸入圖像中的最新輸入的輸入圖像即基準圖像以及在所述基準圖像上重疊顯示或輪廓顯示替換候補區域而成的圖像進行顯示，使用者一看便可掌握替換候補區域。而且，藉由在基準圖像因新圖像輸入而被更新時重新算出替換候補區域及替換可靠度，可根據新圖像的輸入而隨時更新替換候補區域及替換可靠度。而且，藉由基於重新算出的結果而更新顯示部件的顯示，使用者可實時掌握最新的替換候補區域。
另外，作為第25發明，也可構成為一種圖像處理裝置，其根據第24發明的圖像處理裝置，其中所述顯示部件在對所述替換候補區域進行重疊顯示或輪廓顯示時，反映相關聯的替換可靠度而進行顯示。
根據所述第25的發明，藉由在對替換候補區域進行重疊顯示或輪廓顯示時，反映相關聯的替換可靠度而進行顯示，使用者一看便可掌握替換候補區域的可靠度。
另外，作為第26發明，也可構成為一種圖像處理裝置，其根據第24發明或第25發明的圖像處理裝置，還包括： 區域指定部件(操作部200、觸碰面板250)，可指定任意區域，通知部件(顯示部300)，在由所述區域指定部件指定的區域含有於由所述計算部件算出的所述替換候補區域的情況下，在有關聯的替換可靠度滿足規定條件時，將其內容通知給使用者。
根據所述第26發明，在指定的區域含有於替換候補區域的情況下，且有關聯的替換可靠度滿足規定條件時，將其內容通知給使用者。例如，藉由在替換可靠度為一定以上的可靠度時，將其內容通知給使用者，使用者可掌握可靠度高的替換候補區域。
另外，作為第27發明，也可構成為一種圖像處理裝置，其根據第24發明至第26發明的任一發明的圖像處理裝置，還包括：區域指定部件(操作部200、觸碰面板250)，可指定任意區域，圖像修正部件(圖像修正部160)，在由所述區域指定部件指定的區域含有於由所述計算部件算出的所述替換候補區域的情況下，在有關聯的替換可靠度滿足規定條件的情況下，對與所述替換候補區域對應的圖像區域進行修正，所述顯示部件對由所述圖像修正部件修正的圖像進行顯示。
根據所述第27發明，在指定的區域含有於替換候補區域的情況下，在有關聯的替換可靠度滿足規定條件的情況下，對與 所述替換候補區域對應的圖像區域進行修正。例如，在替換可靠度為一定以上的可靠度時，對與所述替換候補區域對應的圖像區域進行修正，由此可僅對替換可靠度高的對應於替換候補區域的圖像部分進行修正。另外，因對經修正的圖像進行顯示，使用者可在顯示畫面中確認經修正的圖像。
1‧‧‧圖像處理用資料產生裝置
3‧‧‧圖像處理裝置
7‧‧‧記憶卡
10‧‧‧圖像處理用資料產生部
11‧‧‧差分值計算部
17‧‧‧最小差分輸入圖像判定部
19‧‧‧最小差分映射資料產生部
20‧‧‧記憶部
21‧‧‧最小差分映射資料產生程式
23‧‧‧輸入圖像資料
25‧‧‧參照圖像資料
27‧‧‧最小差分映射資料
100‧‧‧處理部
110‧‧‧圖像處理用資料產生部
111‧‧‧差分值計算部
112‧‧‧合成比率設定部
113‧‧‧背景圖像產生部
114‧‧‧背景差分值計算部
117‧‧‧非基準最小差分輸入圖像判定部
119‧‧‧非基準最小差分映射資料產生部
120‧‧‧基準圖像設定部
130‧‧‧分析用圖像產生部
140‧‧‧前景候補區域檢測部
150‧‧‧前景候補區域可靠度判定部
160‧‧‧圖像修正部
170‧‧‧顯示控制部
200‧‧‧操作部
231‧‧‧圖像編號
233‧‧‧像素值資料
250‧‧‧觸碰面板
271‧‧‧像素
273‧‧‧最小差分值
275‧‧‧圖像編號
300‧‧‧顯示部
400‧‧‧通信部
500‧‧‧攝像部
600‧‧‧時鐘部
710‧‧‧卡槽
720‧‧‧卡讀寫器
800‧‧‧記憶部
810‧‧‧圖像處理程式
820‧‧‧背景圖像產生程式
830‧‧‧前景候補區域檢測程式
840‧‧‧前景候補區域可靠度判定程式
850‧‧‧圖像修正程式
870‧‧‧圖像資料
871‧‧‧拍攝圖像資料
871a‧‧‧拍攝日期時間
871b‧‧‧圖像編號
871c‧‧‧像素值資料
873‧‧‧非基準最小差分映射資料
875‧‧‧背景圖像資料
877‧‧‧前景候補區域資料
877a‧‧‧標號
877b‧‧‧構成像素
877c‧‧‧可靠度
877d‧‧‧修正旗標
879‧‧‧修正圖像資料
880‧‧‧輸出緩衝區
A1~A21、B1~B45、C1~C13、D1~D15、E1~E21、F1~F23‧‧‧步驟
R‧‧‧替換候補區域
R1~R6‧‧‧前景候補區域
圖1是表示圖像處理用資料產生裝置的功能構成的一例的框圖(block diagram)。
圖2是表示輸入圖像資料的資料構成的一例的圖。
圖3是表示最小差分映射資料(map data)產生的順序的一例的原理圖。
圖4是表示最小差分映射資料產生處理的流程的一例的流程圖(flow chart)。
圖5是表示圖像處理裝置的功能構成的一例的框圖。
圖6是表示圖像資料的資料構成的一例的圖。
圖7是表示非基準最小差分映射資料的產生的順序的一例的原理圖。
圖8(1)是表示拍攝圖像的一例的圖。圖8(2)是表示背景圖像的一例的圖。圖8(3)是表示背景差分圖像的一例的圖。
圖9是用於說明前景候補區域檢測及前景候補區域可靠度判 定的原理圖。
圖10是表示圖像處理的流程的一例的流程圖。
圖11是圖10的圖像處理的流程圖的後續。
圖12是表示背景圖像產生處理的流程的一例的流程圖。
圖13是表示前景候補區域檢測處理的流程的一例的流程圖。
圖14是表示前景候補區域可靠度判定處理的流程的一例的流程圖。
圖15是表示圖像修正處理的流程的一例的流程圖。
圖16(1)是表示拍攝圖像的一例的圖。圖16(2)是表示替換候補區域顯示圖像的一例的圖。圖16(3)是表示替換候補區域覆蓋顯示圖像的一例的圖。圖16(4)是表示修正圖像的一例的圖。
圖17(1)是表示拍攝圖像的一例的圖。圖17(2)是表示非基準最小差分圖像的一例的圖。圖17(3)是表示前景候補區域的檢測結果的一例的圖。圖17(4)是表示替換候補區域顯示圖像的一例的圖。
圖18(1)是表示帶狀的優先修正區域圖案(pattern)的一例的圖。圖18(2)是表示框狀的優先修正區域圖案的一例的圖。圖18(3)是表示三角形狀的優先修正區域圖案的一例的圖。
圖19是表示記錄媒體的一例的圖。
[1.第一實施方式]
首先，對產生圖像處理用資料的圖像處理用資料產生裝置的實施方式進行說明，所述圖像處理用資料是可用於後述的實施方式中將要說明的圖像中的前景候補區域的檢測或圖像修正等各種圖像處理的資料。
[1-1.功能構成]
圖1是表示圖像處理用資料產生裝置1的功能構成的一例的框圖。
圖像處理用資料產生裝置1是如下裝置：輸入多個輸入圖像，使用所述多個輸入圖像與規定的參照圖像而產生作為圖像處理用資料的一種的最小差分映射資料。最小差分映射資料是如下映射形式的資料：當對多個輸入圖像的每一個，以像素單元算出該輸入圖像與參照圖像的差分值時，將差分值成為最小的輸入圖像的編號與該差分值的最小值(以下，稱為“最小差分值”)建立對應地予以記憶。
輸入至圖像處理用資料產生裝置1的多個輸入圖像可較佳地設為對同一拍攝場景進行多張圖像的拍攝所得的多個拍攝圖像。具體而言，例如，可將在規定的拍攝場景配置拍攝對象物且在該拍攝對象物固定的狀態下設置時間間隔所拍攝的多個畫框的圖像設為輸入圖像。拍攝對象物可設為人物或動物、建築物、交通工具等物體。
圖像處理用資料產生裝置1包括圖像處理用資料產生部10與記憶部20而構成。
圖像處理用資料產生部10是如下處理裝置：包括中央處理器(Central Processing Unit，CPU)或數位信號處理器(Digital Signal Processor，DSP)等微處理器(microprocessor)、或者專用積體電路(Application Specific Integrated Circuit，ASIC)等積體電路而構成。
圖像處理用資料產生部10包括差分值計算部11、最小差分輸入圖像判定部17、及最小差分映射資料產生部19作為主要的功能部。所述功能部的功能將在後文進行敍述。
記憶部20是如下記憶裝置：包括唯讀記憶體(Read Only Memory，ROM)或快閃記憶體(flash memory)、隨機存取記憶體(Random Access Memory，RAM)等非易失性或易失性的記憶體、或者作為外部記憶裝置的硬碟(hard disk)等而構成。
在記憶部20中記憶有最小差分映射資料產生程式(program)21，所述最小差分映射資料產生程式21由圖像處理用資料產生部10讀出，並作為最小差分映射資料產生處理(參照圖4)而執行。而且，在記憶部20中記憶有輸入圖像資料23、參照圖像資料25、及最小差分映射資料27。
輸入圖像資料23是輸入至圖像處理用資料產生裝置1的多個輸入圖像經數位化而成的資料，將該資料構成的一例示於圖2。
輸入圖像資料23中，將作為用於唯一地識別各輸入圖像的識別信息的圖像編號231、與包含輸入圖像的各像素的像素值的 像素值資料233建立對應地針對每一輸入圖像予以記憶。本實施方式中，將用於識別輸入圖像的識別信息設為圖像編號(索引(index))而進行說明。
參照圖像資料25是參照圖像經數位化而成的資料，記憶有包含參照圖像的各像素的像素值的像素值資料，所述參照圖像是圖像處理用資料產生部10使用多個輸入圖像來產生最小差分映射資料27時所參照的圖像。
此處，參照圖像只要是與輸入圖像有關聯的圖像即可，例如，可將在與拍攝過輸入圖像的拍攝場景為同一拍攝場景配置拍攝對象物且以不映入其他多餘物體的方式拍攝的圖像設為參照圖像。如圖1中虛線所示，參照圖像既可與輸入圖像同時輸入至圖像處理用資料產生裝置1，也可隔開時間與輸入圖像分開地輸入。另外，同樣如圖1中虛線所示，也可從多個輸入圖像中選擇設為參照圖像的輸入圖像。
最小差分映射資料27是由圖像處理用資料產生部10所產生的最小差分映射的資料，將該資料構成的一例示於表1。
最小差分映射資料27中，將構成輸入圖像的像素271、對應於該像素271的最小差分值273、及對應於該最小差分值273的圖像編號275建立對應地予以記憶。
[1-2.原理]
圖3是用於說明最小差分映射資料產生的順序的原理圖。該原理圖中，以實線表示圖像或資料，以粗實線表示進行處理的功能塊，而區別兩者。其他原理圖也相同。
首先，差分值計算部11針對多個輸入圖像的每一個，對每一處理像素單元算出像素值的差分值作為表示該輸入圖像與參照圖像的相對關係的相對值。本實施方式中，設為如下情況而進行說明：將處理像素單元設為1像素，且對構成輸入圖像的所有像素分別算出差分值。即，設為如下情況而進行說明：以像素單 元算出輸入圖像與參照圖像的差分值。
其次，最小差分輸入圖像判定部17將針對多個輸入圖像的每一個對每一像素所算出的差分值成為最小的輸入圖像(以下，稱為“最小差分輸入圖像”)判定為滿足特定條件的輸入圖像。本實施方式中，將特定條件設為差分值成為最小而進行說明。具體而言，最小差分輸入圖像判定部17針對各像素的每一個，確定對多個輸入圖像的每一個所算出的差分值中成為最小的值並判定為最小差分值，將被算出該最小差分值的輸入圖像判定為最小差分輸入圖像。
然後，最小差分映射資料產生部19產生表1的最小差分映射資料27，所述最小差分映射資料27是將由最小差分輸入圖像判定部17所判定的最小差分值273與最小差分輸入圖像的圖像編號275按像素271建立對應地予以記憶。
[1-3.處理的流程]
圖4是表示圖像處理用資料產生部10依照記憶於記憶部20中的最小差分映射資料產生程式21而執行的最小差分映射資料產生處理的流程的流程圖。
首先，圖像處理用資料產生部10針對輸入圖像與參照圖像的各組合的每一個進行循環(loop)A的處理(步驟A1~步驟A11)。
循環A的處理中，差分值計算部11針對所述組合中所包含的輸入圖像與參照圖像的組合，進行以像素單元算出各所述輸 入圖像的像素值與所述參照圖像的像素值的差分值的差分值計算處理(步驟A5)。然後，圖像處理用資料產生部10將處理移至下一輸入圖像與參照圖像的組合。對所有輸入圖像與參照圖像的組合進行過所述處理之後，圖像處理用資料產生部10結束循環A的處理(步驟A11)。
之後，圖像處理用資料產生部10針對各像素的每一個進行循環C的處理(步驟A13~步驟A21)。循環C的處理中，最小差分輸入圖像判定部17判定所述像素的最小差分值(步驟A15)。而且，最小差分輸入圖像判定部17判定最小差分輸入圖像(步驟A17)。
然後，最小差分映射資料產生部19將所述像素271、步驟A15中所判定的最小差分值273、及步驟A17中所判定的最小差分輸入圖像的圖像編號275建立對應地記憶於記憶部20的最小差分映射資料27中(步驟A19)。
藉由對所有像素進行步驟A15~步驟A19的處理，而完成最小差分映射資料27。然後，圖像處理用資料產生部10結束循環C的處理(步驟A21)，且結束最小差分映射資料產生處理。
[1-4.作用效果]
圖像處理用資料產生裝置1中，差分值計算部11針對多個輸入圖像的每一個，按像素算出像素值的差分值作為表示所述輸入圖像與規定的參照圖像的相對關係的相對值。然後，最小差分輸入圖像判定部17按像素將由差分值計算部11所算出的差分 值成為最小的輸入圖像判定為滿足特定條件的輸入圖像。而且，最小差分映射資料產生部19產生將最小差分值與最小差分輸入圖像的圖像編號建立對應地予以記憶的最小差分映射資料27。如此產生的最小差分映射資料27可用於各種圖像處理。
[2.第二實施方式]
接下來，對圖像處理裝置3的實施方式進行說明。圖像處理裝置3是包括第一實施方式中所說明的圖像處理用資料產生裝置1的裝置，且是如下裝置：輸入拍攝多張拍攝對象物與除此以外的多餘物體混合存在的狀況下的圖像(畫框圖像)所得的拍攝圖像作為輸入圖像，使用所述多個輸入圖像，產生去除多餘物體後的圖像並輸出。所述圖像處理裝置3可應用於智慧型手機(smartphone)或平板終端(tablet terminal)、數位相機(digital camera)、個人數位助理(Personal Digital Assistant，PDA)、個人計算機(personal computer)等具有拍攝功能的各種電子設備。
[2-1.功能構成]
圖5是表示圖像處理裝置3的功能構成的一例的框圖。
圖像處理裝置3包括處理部100、操作部200、顯示部300、通信部400、攝像部500、時鐘部600、及記憶部800。
處理部100是如下處理裝置，即，依照記憶於記憶部800中的系統程式等各種程式而總括地控制圖像處理裝置3的各部，或進行與圖像處理有關的各種處理，且包含CPU或DSP等處理器、或者ASIC等積體電路而構成。
處理部100包括圖像處理用資料產生部110、基準圖像設定部120、分析用圖像產生部130、前景候補區域檢測部140、前景候補區域可靠度判定部150、圖像修正部160、及顯示控制部170作為主要的功能部。所述功能部的功能將在後文進行敍述。
而且，圖像處理用資料產生部110包括差分值計算部111、合成比率設定部112、背景圖像產生部113、背景差分值計算部114、非基準最小差分輸入圖像判定部117、及非基準最小差分映射資料產生部119作為主要的功能部。所述功能部的功能將在後文進行敍述。
操作部200包含操作按鈕(button)或操作開關(switch)、鼠標(mouse)等用於供使用者(user)對圖像處理裝置3進行各種操作輸入的輸入裝置而構成。而且，操作部200包含與顯示部300一體構成的觸碰面板(touch panel)250，該觸碰面板250作為使用者與圖像處理裝置3之間的輸入界面(interface)發揮功能。從操作部200將依照使用者操作的操作信號輸出至處理部100。
顯示部300是包含液晶顯示器(Liquid Crystal Display，LCD)等而構成的顯示裝置，進行基於從處理部100輸出的顯示信號的各種顯示。顯示部300與觸碰面板250一體構成而形成觸碰螢幕(touch screen)。在顯示部300顯示拍攝圖像或修正圖像等各種圖像。
通信部400是用以在與外部的信息處理裝置之間收發裝 置內部所利用的信息的通信裝置。作為通信部400的通信方式，可應用如下等各種方式：經由依據規定的通信標準的電纜(cable)進行有線連接的形式、或經由被稱為托架(cradle)的兼用作充電器的中間裝置進行連接的形式、利用近距離無線通信進行無線連接的形式。
攝像部500是構成為可拍攝任意場景的圖像的攝像裝置，包含電荷耦合器件(Charge Coupled Device，CCD)影像傳感器(image sensor)或互補金屬氧化物半導體(Complementary MOS，CMOS)影像傳感器等攝像元件而構成。攝像部500將光信號轉換為電信號，且將數位化的拍攝圖像的資料輸出至處理部100。
時鐘部600是圖像處理裝置3的內部時鐘，包含例如作為晶體振子及振盪電路的晶體振盪器而構成。時鐘部600的計時時刻隨時輸出至處理部100。
記憶部800是包含ROM或電可擦可編程唯讀記憶體(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、快閃記憶體、RAM等易失性或非易失性的記憶體、或者硬碟裝置等而構成的記憶裝置。記憶部800記憶用於供處理部100控制圖像處理裝置3的系統程式、以及用於進行各種圖像處理的程式及資料。
本實施方式中，在記憶部800中記憶有圖像處理程式810，所述圖像處理程式810由處理部100讀出並作為圖像處理(參 照圖10及圖11)而執行。圖像處理程式810包含以下程式作為子程式(subroutine)：最小差分映射資料產生程式21，作為最小差分映射資料產生處理(參照圖4)而執行；背景圖像產生程式820，作為背景圖像產生處理(參照圖12)而執行；前景候補區域檢測程式830，作為前景候補區域檢測處理(參照圖13)而執行；前景候補區域可靠度判定程式840，作為前景候補區域可靠度判定處理(參照圖14)而執行；以及圖像修正程式850，作為圖像修正處理(參照圖15)而執行。所述處理將在後文使用流程圖進行詳細敍述。
而且，在記憶部800中記憶有多個圖像資料870，並且包含作為圖像輸出用緩衝區(buffer)的輸出緩衝區880。
圖6是表示圖像資料870的資料構成的一例的圖。
在圖像資料870中，記憶有拍攝圖像資料871、非基準最小差分映射資料873、背景圖像資料875、前景候補區域資料877、及修正圖像資料879。
拍攝圖像資料871是由攝像部500所拍攝的拍攝圖像經數位化而成的資料，且將拍攝日期時間871a、用於唯一地識別各拍攝圖像(輸入圖像)的圖像編號871b、及包含所述拍攝圖像的各像素的像素值的像素值資料871c建立對應地記憶有多個。
拍攝日期時間871a是基於時鐘部600的計時時刻而由處理部100記憶於拍攝圖像資料871中。而且，處理部100依照規定的規則來設定圖像編號871b，並建立對應地記憶於拍攝圖像資 料871中。例如，按攝像部500進行拍攝的順序，基於各個拍攝圖像的拍攝日期時間871a，例如按拍攝圖像的拍攝時刻從前到後從1開始依次分配圖像編號871b。另外，也可按拍攝圖像的拍攝時刻從後到前從1開始依次分配圖像編號871b。此外，在拍攝時自動地附加圖像名的情況下(自動地附加圖像文件名(file name)的情況下)，也可按拍攝圖像的圖像名(Image1、Image2、Image3、…)的順序分配圖像編號871b。
非基準最小差分映射資料873是由非基準最小差分映射資料產生部119產生的圖像處理用資料。所述非基準最小差分映射資料873將在後文進行詳細敍述。
背景圖像資料875是將背景圖像的像素值針對每一像素予以記憶的資料。本實施方式中，所謂背景圖像，理想而言是指拍攝對象物作為前景映出，而其他的多餘物體未作為前景映出的圖像。因為多餘物體可能在拍攝場景中存在各種，所以難以去除全部多餘物體。因此，本實施方式中，藉由將存在拍攝對象物以外的移動物體的區域作為前景候補區域檢測出，並修正對應於該前景候補區域的圖像區域，而產生去除拍攝對象物以外的移動物體後的圖像。背景圖像雖也可藉由如下方式獲取，例如將拍攝對象物配置於拍攝場景中，以不映入其他移動物體的方式進行拍攝，但本實施方式中，設為使用從攝像部500輸入的多個拍攝圖像自動產生背景圖像而進行說明。
前景候補區域資料877是與前景候補區域有關的資料， 將該資料構成的一例示於表2。本實施方式中，將圖像中的拍攝對象物以外的移動物體所佔據的區域定義為前景候補區域。
在前景候補區域資料877中，建立對應地記憶有：標號(label)877a，是用於唯一地識別所檢測出的前景候補區域的識別信息；構成像素877b，是構成所述前景候補區域的像素的集合；所述前景候補區域的作為前景候補的可靠度877c；以及修正旗標(flag)877d，表示是否將所述前景候補區域設為修正對象。修正旗標877d相當於記憶有是否需要對各前景候補區域進行圖像修正的圖像修正需要與否資料。另外，前景候補區域的檢測方法及前景候補區域的可靠度的判定方法將在後文進行詳細敍述。
此處，亦可進行算出所檢測出的前景候補區域的輪廓線的輪廓線計算處理，將該輪廓線計算處理中所算出的輪廓線與對 應的前景候補區域的標號877a建立對應地記憶於所述前景候補區域資料877中。具體而言，例如，判定位於前景候補區域中的端部的像素，並作為構成輪廓線的像素算出。然後，將包含這些構成輪廓線的像素的一組資料作為輪廓線資料記憶於前景候補區域資料877中。
另外，算出前景候補區域的輪廓線並將輪廓線資料記憶於前景候補區域資料877中的時序(timing)既可設為例如檢測出前景候補區域的時序，也可設為將前景候補區域的輪廓線顯示於顯示部300的時序。只要是檢測出前景候補區域之後的時序，則可基於前景候補區域的資料在任意的時序算出輪廓線。
修正圖像資料879是如下資料：包含藉由圖像修正部160對規定的修正對象圖像進行圖像修正處理而獲得的修正圖像的各像素的像素值。本實施方式中，設為如下情況而進行說明：將由基準圖像設定部120所設定的基準圖像作為修正對象圖像而進行圖像修正處理。
輸出緩衝區880是用以暫時記憶圖像修正部160進行圖像修正處理時所使用的修正對象圖像的像素值的緩衝區，且所述輸出緩衝區880中處理過的修正圖像利用顯示控制部170而控制顯示於顯示部300。
[2-2.原理]
圖7是用於說明圖像處理裝置3中圖像處理用資料產生部110產生非基準最小差分映射資料873的順序的原理圖。
首先，背景圖像產生部113使用針對每一圖像設定的合成比率(權重)將一連串的輸入圖像進行加權平均，由此產生背景圖像。各輸入圖像的合成比率例如可基於輸入圖像間的相似度而設定。具體而言，基於規定的特徵(例如邊緣(edge))來判定一連串的輸入圖像的相似度，對相似度越高的輸入圖像設定越大的合成比率，且使用該設定的權重將一連串的輸入圖像進行加權平均。由此，輸入圖像間共同的區域、即背景區域的合成比率變高，另一方面，可使輸入圖像間不同的區域、即前景區域的合成比率變低，因此，結果產生強調背景區域的圖像。
如此產生的背景圖像原理上是映出拍攝對象物且未映出作為前景的其他的多餘物體的圖像。因此，作為一實施方式，也考慮將該背景圖像作為最終的輸出圖像。
然而，當使用者進行的拍攝並非裝置固定的狀態等穩定狀態下的拍攝，而是在拍攝者手持的狀態下進行時，因手震等影響，拍攝圖像會模糊，從而有所產生的背景圖像也容易產生模糊的問題。另外，當拍攝對象物以外的物體一面移動一面仍留在拍攝場景內時，有該物體移動的區域未被完全地校正，而產生重影的擔憂。這種區域是作為前景的可靠度低的區域。因此，本實施方式中，未將背景圖像作為最終的輸出圖像，而將經圖像修正處理而獲得的修正圖像作為最終的輸出圖像。
然後，背景差分值計算部114以像素單元算出所述輸入圖像與背景圖像的差分值即背景差分值，來作為表示多個輸入圖 像的每一個與由背景圖像產生部113所產生的背景圖像的相對關係的相對值。
之後，基準圖像設定部120從多個拍攝圖像中設定成為基準的圖像(基準圖像)。在基準圖像的設定中，例如，將多個拍攝圖像分別顯示於顯示部300，由使用者選擇一張拍攝圖像，將所選擇的拍攝圖像設定為基準圖像即可。另外，除此以外，也能夠以將最初或最後輸入的拍攝圖像設為基準圖像等方式依照規定的規則設定基準圖像。
此外，也可進行從多個拍攝圖像的每一個中檢測特徵量的特徵量檢測處理，並基於檢測出的特徵量而設定基準圖像。作為此時的特徵量，例如可列舉圖像的邊緣。具體而言，對多個拍攝圖像的每一個進行邊緣檢測處理，例如將包含最多邊緣的拍攝圖像設定為基準圖像等即可。
本實施方式中，將多個拍攝圖像中的基準圖像以外的拍攝圖像稱為非基準圖像。而且，將藉由針對非基準圖像算出與背景圖像的差分值而獲得的圖像稱為非基準背景差分圖像，將藉由算出基準圖像與背景圖像的差分值而獲得的圖像稱為基準背景差分圖像。
圖8(1)~圖8(3)是表示背景圖像、拍攝圖像及背景差分圖像的一例的圖。
圖8(1)是表示多個拍攝圖像中的一張拍攝圖像的圖。所述拍攝圖像中，除映出作為拍攝對象物的中央部的女性以外， 也映出男性行人。
圖8(2)是表示使用多個拍攝圖像而產生的背景圖像的一例的圖。觀察該背景圖像可知，在圖像中央部映出作為拍攝對象物的女性，而不存在圖8(1)的拍攝圖像中映出的男性行人。這是因為利用所述的背景圖像的產生而將拍攝對象物的女性作為背景抽出。
圖8(3)是表示藉由取得所述拍攝圖像與背景圖像的背景差分而獲得的背景差分圖像的圖。此處，利用背景差分值越大則灰階值越高的灰階(gray scale)的圖像來表示背景差分圖像。觀察該背景差分圖像可知，因為成為前景的男性行人的圖像部分的灰階值高(發白)，所以背景差分值大。即，可知藉由取得背景圖像與拍攝圖像的背景差分，拍攝對象物以外的移動物體的圖像部分會作為前景上浮。
回到圖7，非基準最小差分輸入圖像判定部117基於非基準背景差分圖像的像素值，針對每一像素判定非基準最小差分值與對應於非基準最小差分值的輸入圖像(以下，稱為“非基準最小差分輸入圖像”)。然後，非基準最小差分映射資料產生部119基於非基準最小差分輸入圖像判定部117的判定結果，而產生非基準最小差分映射資料873，所述非基準最小差分映射資料873是將像素、所述像素的非基準最小差分值、及所述像素的非基準最小差分輸入圖像建立對應地予以記憶。
圖9是用於說明前景候補區域檢測的原理及前景候補區 域可靠度判定的順序的原理圖。
前景候補區域檢測部140針對每一像素將從非基準最小差分映射資料873獲得的非基準最小差分值與對應於基準差分圖像的基準差分值進行比較，由此檢測前景候補區域。
具體而言，針對各像素的每一個，算出所述像素的基準差分值與非基準最小差分值的差的絕對值，對該差的絕對值進行閾值判定。當差的絕對值大於閾值時，將該像素判定為構成前景候補區域的像素(以下，稱為“前景候補區域構成像素”)。然後，將包含前景候補區域構成像素的一群區域判定為前景候補區域，並對各個前景候補區域分配標號。此處，所謂一群區域是指包含1像素以上的鄰接的前景候補區域構成像素的區域。
基準差分圖像是藉由算出基準圖像與背景圖像的差分而獲得的圖像。此處，背景圖像是檢測出拍攝對象物作為背景的圖像，因此，原理上應為不包含除此以外的多餘移動物體的圖像。另一方面，因為基準圖像中可能包含拍攝對象物以外的移動物體，所以基準差分值是作為反映拍攝對象物以外的移動物體的存在的值而算出。因此，當基準圖像中存在拍攝對象物以外的移動物體時，存在該移動物體的區域的背景差分值變大。
另一方面，非基準最小差分值是非基準圖像與背景圖像的差分值中的最小差分值，即便在某非基準圖像中映出拍攝對象物以外的移動物體，只要該移動物體未持續停留於同一位置，則該移動物體在其他非基準圖像中理應在另一位置映出或脫離畫 框。因此，未映出拍攝對象物以外的移動物體的非基準圖像的差分值被判定為非基準最小差分值的可能性高。
然後，前景候補區域可靠度判定部150判定由前景候補區域檢測部140所檢測出的前景候補區域的作為前景的可靠度。具體而言，例如算出所述前景候補區域的面積作為前景候補區域的可靠度指標值，對該面積進行閾值判定。具體而言，判定所算出的面積是否大於第一閾值。當面積大於第一閾值時，判定為所述前景候補區域的可靠度高。面積小的前景候補區域為包含基準差分值與非基準最小差分值的差因噪音等而偶發地變大的像素的區域的可能性高，因此，這種前景候補區域設為不可靠。
另外，就其他可靠度指標值而言，例如也可對所述前景候補區域中所包含的像素的非基準最小差分值進行閾值判定，而判定前景候補區域的可靠度。具體而言，例如，判定所述前景候補區域的非基準最小差分值是否小於第二閾值，當小於第二閾值時，判定為所述前景候補區域的可靠度高。在常有物體移動的區域中，有非基準最小差分值變大的傾向。如果對這種區域進行圖像修正，有發生問題欄所述的重影的擔憂。因此，基於非基準最小差分值來判定前景候補區域的作為前景的可靠度。
另外，也可如後文流程圖中作為具體的實施例所述般，預先對非基準最小差分值設定階段性的閾值，使用這些閾值進行階段性的閾值處理，從而更仔細地判定前景候補區域的可靠度。
另外，藉由對使用者示出如上所述般自動檢測出的前景 候補區域，使用者能夠知曉可將基準圖像內的哪一區域作為前景去除。由此，使用者可視需要進行修正對象的指定。
[2-3.處理的流程]
圖10及圖11是表示處理部100依照記憶於記憶部800中的圖像處理程式810而執行的圖像處理的流程的流程圖。
首先，處理部100判定由使用者經由操作部200所選擇的模式(mode)(步驟B1)。當所選擇的模式是“拍攝模式”時(步驟B1：拍攝模式)，處理部100根據使用者的快門(shutter)操作，而控制攝像部500對同一場景進行多張圖像的拍攝(步驟B3)。
之後，分析用圖像產生部130進行分析用圖像產生處理(步驟B5)。然後，基準圖像設定部120進行基準圖像設定處理(步驟B7)。此時的基準圖像的設定方法如上所述。
另外，當使用者進行的拍攝並非圖像處理裝置3固定的狀態等穩定狀態下的拍攝，而是在拍攝者手持的狀態下進行時，拍攝圖像間產生位置偏移的可能性高。因此，考慮到拍攝圖像間存在因手震等而產生的偏移，也可對基準圖像進行非基準圖像的位置對準處理。位置對準處理可應用各種方法，例如可應用使用光流(optical flow)的習知的位置對準方法。該方法中包括塊匹配法(block matching method)或梯度法等以往習知的方法。
另外，就分析用圖像而言，也可進行使用規定的縮小方法將基準圖像及非基準圖像分別縮小的縮小處理。將輸入圖像縮小而產生分析用圖像的原因在於，拍攝圖像的圖像尺寸(size)大， 因此，如果以原圖像尺寸進行處理，處理負荷會增大。將藉由進行所述的位置對準處理及縮小處理而獲得的拍攝圖像設為分析用圖像。拍攝圖像的縮小可利用下採樣(down sampling)等習知的方法而實現。
接下來，背景圖像產生部113依照記憶於記憶部800中的背景圖像產生程式820而進行背景圖像產生處理(步驟B9)。
圖12是表示背景圖像產生處理的流程的流程圖。
背景圖像產生部113針對分析用圖像的不同兩張的組合的每一組進行循環D的處理(步驟C1~步驟C11)。
在循環D的處理中，差分值計算部111進行針對所述組合的分析用圖像中所包含的各像素的每一個算出差分值的差分值計算處理(C5)。然後，合成比率設定部112進行設定所述組合中所包含的分析用圖像的合成比率的合成比率設定處理(步驟C7)。對所有分析用圖像的組合進行所述處理之後，背景圖像產生部113結束循環D的處理(步驟C11)。
之後，背景圖像產生部113使用針對每一像素所設定的合成比率將分析用圖像合成而產生背景圖像(步驟C13)。然後，背景圖像產生部113結束背景圖像產生處理。
回到圖像處理，進行背景圖像產生處理之後，圖像處理用資料產生部110將分析用圖像設為輸入圖像，將背景圖像設為參照圖像(步驟B11)，依照記憶於記憶部800中的最小差分映射資料產生程式21而進行最小差分映射資料產生處理(步驟B15)。 在該最小差分映射資料產生處理中，進行與圖4同樣的處理，而產生非基準最小差分映射資料873。另外，如上所述，分析用圖像是被縮小的圖像，因此，最小差分映射資料873成為與分析用圖像為相同大小的被縮小的映射資料。
然後，前景候補區域檢測部140依照記憶於記憶部800中的前景候補區域檢測程式830而進行前景候補區域檢測處理(步驟B17)。
圖13是表示前景候補區域檢測處理的流程的流程圖。
前景候補區域檢測部140對各像素的每一個進行循環F的處理(步驟D1~步驟D9)。在循環F的處理中，前景候補區域檢測部140針對所述像素，算出基準差分值與記憶於非基準最小差分映射資料873中的非基準最小差分值的差分(步驟D3)。
然後，前景候補區域檢測部140判定步驟D3中所算出的差分是否大於規定的閾值(步驟D5)，如果判定為大於規定的閾值(步驟D5：是)，則將所述像素的前景候補旗標設定為“開啟”(步驟D7)。接著，前景候補區域檢測部140將處理移至下一像素。對所有像素進行所述處理之後，前景候補區域檢測部140結束循環F的處理(步驟D9)。
另外，也可在步驟D3中，設為算出基準差分值與非基準最小差分值的比而非基準差分值與非基準最小差分值的差分，且在步驟D5中，設為對基準差分值與非基準最小差分值的比進行閾值判定。
然後，前景候補區域檢測部140基於各像素的前景候補旗標而檢測前景候補區域。具體而言，將包含前景候補旗標被設定為“開啟”的像素的一群區域作為前景候補區域檢測出。接著，前景候補區域檢測部140對檢測出的前景候補區域分配標號877a並將其記憶於前景候補區域資料877中，且將構成各前景候補區域的像素作為構成像素877b與標號877a建立對應地予以記憶之後(步驟D15)，結束前景候補區域檢測處理。
另外，因為非基準最小差分映射資料873是與分析用圖像為相同尺寸的被縮小的映射資料，所以前景候補區域資料877成為從縮小後的圖像中檢測出前景候補區域所得的資料。
回到圖像處理，進行前景候補區域檢測處理之後，前景候補區域可靠度判定部150依照記憶於記憶部800中的前景候補區域可靠度判定程式840，進行前景候補區域可靠度判定處理(步驟B19)。
圖14是表示前景候補區域可靠度判定處理的流程的流程圖。
前景候補區域可靠度判定部150對前景候補區域資料877被分配有標號877a的各前景候補區域的每一個，進行循環G的處理(步驟E1~步驟E21)。在循環G的處理中，前景候補區域可靠度判定部150算出所述前景候補區域的面積(步驟E3)。
然後，前景候補區域可靠度判定部150判定步驟E3中所算出的面積是否超過第一閾值(步驟E7)。而且，如果判定為滿 足該條件(步驟E7：是)，則前景候補區域可靠度判定部150判定所述前景候補區域內的非基準最小差分值是否低於第二閾值(步驟E9)。
如果步驟E9中條件成立(步驟E9：是)，則前景候補區域可靠度判定部150將所述前景候補區域的可靠度判定為“高”(可以替換)，並記憶於前景候補區域資料877的可靠度877c中(步驟E11)。
如果步驟E9中條件不成立(步驟E9：否)，則前景候補區域可靠度判定部150判定所述前景候補區域內的非基準最小差分值是否低於比第二閾值大的第三閾值(步驟E13)，如果判定為滿足該條件(步驟E13：是)，則將所述前景候補區域的可靠度判定為“中”(注意替換)，並記憶於前景候補區域資料877的可靠度877c中(步驟E15)。
如果步驟E13中條件不成立(步驟E13：否)，則前景候補區域可靠度判定部150將所述前景候補區域的可靠度判定為“低”(不可替換)，並記憶於前景候補區域資料877的可靠度877c中(步驟E17)。然後，前景候補區域可靠度判定部150將處理移至下一前景候補區域。
如果步驟E7中條件不成立(步驟E7：否)，則前景候補區域可靠度判定部150將所述前景候補區域從處理對象中除外，並從前景候補區域資料877中刪除所述前景候補區域(步驟E19)。然後，前景候補區域可靠度判定部150將處理移至下一前 景候補區域。
在步驟E11或步驟E15之後，前景候補區域可靠度判定部150將所述前景候補區域判定為替換候補的區域(以下，稱為“替換候補區域”)。即，將可靠度為“高”(可以替換)或“中”(注意替換)的前景候補區域判定為替換候補區域。然後，前景候補區域可靠度判定部150將處理移至下一前景候補區域。
替換候補區域是設為將所述區域中所包含的像素值替換為另一拍攝圖像的像素值的候補的區域。也可換言之為可替換區域。另外，就由另一拍攝圖像的像素值來置換所述區域中所包含的像素值的含義而言，也可換言之為置換候補區域或可置換區域。
本實施方式中，將可靠度被判定為“高”或“中”的前景候補區域設為替換候補區域而進行說明，但並不限於此，例如，也可設為可靠度被判定為“低”的前景候補區域也包含在替換候補區域內。此時，可靠度“低”的前景候補區域雖成為替換候補，但作為替換危險的區域(替換危險)、換言之為替換的風險(risk)高的區域來處理即可。
對所有前景候補區域進行步驟E3~步驟E19的處理之後，前景候補區域可靠度判定部150結束循環G的處理(步驟E21)，從而結束前景候補區域可靠度判定處理。
回到圖像處理，進行前景候補區域可靠度判定處理之後，顯示控制部170在原本大小的基準圖像上重疊與替換候補區域的可靠度相應的光罩(mask)並覆蓋(overlay)顯示於顯示部 300(步驟B23)。
具體而言，將記憶於前景候補區域資料877中的前景候補區域中可靠度為“高”或“中”的前景候補區域設為替換候補區域，且將基於產生分析用圖像時的拍攝圖像的縮小率而擴大成原尺寸的替換候補區域顯示於基準圖像上的對應的位置。此時，將根據可靠度而附加有不同顏色的替換候補區域覆蓋顯示於基準圖像上。例如，可設為如下等：可靠度為“高”的替換候補區域為可以替換，因此以“綠色”顯示，可靠度為“中”的替換候補區域為注意替換，因此以“黃色”顯示。藉由進行這種顯示，可實現直觀上易於知曉的可靠度的顯示。
另外，如上所述，也可將可靠度為“低”的前景候補區域包含在替換候補區域內，此時，設為如下等即可：可靠度為“低”的替換候補區域為替換危險，因此以“紅色”顯示。
另外，除將根據可靠度而區分顏色的替換候補區域重疊顯示於基準圖像上以外，例如，也可將根據可靠度而區分顏色的替換候補區域的輪廓重疊顯示於基準圖像上等。例如，也可設為如下等：可靠度為“高”的替換候補區域以綠色的輪廓線顯示替換候補區域的輪廓，可靠度為“中”的替換候補區域以黃色的輪廓線顯示替換候補區域的輪廓，可靠度為“低”的替換候補區域以紅色的輪廓線顯示替換候補區域的輪廓。
接下來，處理部100根據使用者的操作而判定是否變更基準圖像(步驟B25)，如果判定為變更(步驟B25：是)，則使處 理回到B7。另一方面，如果判定為不變更(步驟B25：否)，則處理部100判定是否感測到使用者經由觸碰面板250的點擊操作(步驟B29)，當未感測到時(步驟B29：否)，將處理移至步驟B41。
另一方面，如果感測到點擊操作(步驟B29：是)，則處理部100判定該點擊位置是否包含在任一替換候補區域內(步驟B31)。而且，如果判定為包含在任一替換候補區域內(步驟B31：是)，則處理部100將前景候補區域資料877的所述替換候補區域的修正旗標877d設定為“開啟”(步驟B33)。
之後，處理部100判定是否已由使用者經由操作部200實施了修正執行操作(步驟B35)，如果判定為未實施(步驟B35：否)，則將處理移至步驟B41。
另一方面，如果判定為已實施了修正執行操作(步驟B35：是)，則圖像修正部160依照記憶於記憶部800中的圖像修正程式850而進行圖像修正處理(步驟B37)。
圖15是表示圖像修正處理的流程的流程圖。
首先，圖像修正部160將基準圖像複製(copy)到輸出緩衝區880(步驟F1)。然後，圖像修正部160對非基準圖像依次進行移動校正(移動補償)(步驟F3)。此時的移動校正可藉由如下方式實現：例如，檢測當前的非基準圖像與前一非基準圖像之間的移動(局部的圖像的移動或左右/上下移動)，對前一非基準圖像進行所檢測出的移動量的校正。移動量可藉由算出圖像中的移動矢量(vector)等而檢測出。
之後，圖像修正部160參照前景候補區域資料877，將修正旗標877d被設定為“開啟”的替換候補區域設為修正對象候補區域(步驟F5)。然後，圖像修正部160對各修正對象候補區域的每一個進行循環H的處理(步驟F7~步驟F21)。
在循環H的處理中，圖像修正部160對所述修正對象候補區域中所包含的各像素的每一個進行循環J的處理(步驟F9~步驟F19)。在循環J的處理中，對各非基準圖像的每一個進行循環K的處理(步驟F11~步驟F17)。
在循環K的處理中，圖像修正部160判定所述非基準圖像的圖像編號、與記憶於非基準最小差分映射資料873中的非基準最小差分圖像的圖像編號是否一致(步驟F13)。如果判定為不一致(步驟F13：否)，則跳過(skip)步驟F15的處理。
另一方面，如果判定為圖像編號一致(步驟F13：是)，則圖像修正部160針對所述像素，執行使用所述非基準圖像的像素值來修正基準圖像的像素值的像素值修正處理(步驟F15)。此處，像素值的修正既可藉由利用非基準圖像的像素值來置換(替換)而進行，也可藉由使用規定的權重將基準圖像與非基準圖像加權平均而進行。另外，該權重也可在全體圖像中並不相同，而使用基準圖像與非基準圖像的相似度(像素的亮度或明度的差)等對每一像素進行算出。
本實施方式中，藉由使用非基準圖像的像素值來修正基準圖像的像素值，可消去前景候補區域中所包含的移動被攝物。 將如此消去移動被攝物的圖像修正處理的稱為“替換處理”，與後述的“遮蓋處理”加以區別。
對所有非基準圖像進行步驟F13及步驟F15的處理之後，圖像修正部160結束循環K的處理(步驟F17)。接著，對所有像素進行循環K的處理之後，圖像修正部160結束循環J的處理(步驟F19)。然後，對所有修正對象候補區域進行所述處理之後，圖像修正部160結束循環H的處理(步驟F21)。
接下來，圖像修正部160將記憶於輸出緩衝區880中的包含各像素的像素值的資料作為修正圖像資料879而記憶於記憶部800中(步驟F23)。然後，圖像修正部160結束圖像修正處理。
回到圖像處理，進行圖像修正處理之後，顯示控制部170將記憶於輸出緩衝區880中的包含像素值的修正圖像控制顯示於顯示部300(步驟B39)。
然後，處理部100判定是否已由使用者經由操作部200實施了修正模式的結束操作(步驟B41)。如果判定為未實施修正模式的結束操作(步驟B41：否)，則處理部100回到步驟B25。另外，如果判定為已實施了修正模式的結束操作(步驟B41：是)，則處理部100結束圖像處理。
另一方面，如果步驟B1中判定為已由使用者選擇了“圖像閱覽模式”(步驟B1：圖像閱覽模式)，則顯示控制部170將保存於記憶部800中的圖像的圖像資料870的一覽控制顯示於顯示部300。然後，處理部100根據來自操作部200的使用者操作， 從一覽顯示的圖像資料870中選擇一圖像資料870(步驟B45)。
接著，處理部100結束圖像閱覽模式之後，將處理移至步驟B5。以後的處理相同，對由使用者選擇的圖像資料870新設定基準圖像，並進行後段的圖像處理。
[2-4.前景候補區域的顯示方式]
由前景候補區域檢測部140及前景候補區域可靠度判定部150所求出的與前景候補區域有關的信息經由顯示部300而返回給使用者。此時，藉由將與前景候補區域有關的信息適當視覺化，使用者可容易地掌握應設為修正對象的候補區域。
替換候補區域是設為將所述區域中所包含的像素值替換為另一拍攝圖像的像素值的候補的區域。也可換言之為可替換區域。而且，就由另一拍攝圖像的像素值來置換所述區域中所包含的像素值的含義而言，也可換言之為置換候補區域或可置換區域。另外，本實施方式中表示以“高”“中”“低”的三個等級來評價可靠度的情況的例。
例如，將記憶於前景候補區域資料877中的前景候補區域設為替換候補區域，且將基於產生分析用圖像時的拍攝圖像的縮小率而擴大成原尺寸的替換候補區域顯示於基準圖像上的對應的位置。藉由覆蓋顯示於基準圖像上，使用者可直觀地掌握要修正的基準圖像的區域。
此處，也可將記憶於所述前景候補區域資料877中的前景候補區域的輪廓線與替換候補區域一起顯示。藉由顯示輪廓 線，即便覆蓋顯示的替換候補區域的顏色與基準圖像的所述區域的顏色類似，也可提高視覺辯認度。另外，也可如後所述，利用於與前景候補區域有關的隨附信息的顯示。
當將替換候補區域覆蓋顯示於基準圖像上時，也可根據可靠度而對區域附加不同顏色。例如，可設為如下等：可靠度為“高”的替換候補區域為可以替換，因此以“綠色”顯示，可靠度為“中”的替換候補區域為注意替換，因此以“黃色”顯示。另外，可靠度為“低”的替換候補區域為替換危險，因此以“紅色”顯示等即可。更佳的是，在此覆蓋顯示中，使用者以能夠容易辨識可替換內容的方式，而可設定為規定的不透明度(例如50%)。藉由進行這種顯示，可實現直觀上易於知曉的可靠度的顯示。
另外，除將根據可靠度而區分顏色的替換候補區域重疊顯示於基準圖像上以外，例如，也可將根據可靠度而區分顏色的替換候補區域的輪廓重疊顯示於基準圖像上等。例如，也可設為如下等：可靠度為“高”的替換候補區域以綠色的輪廓線顯示替換候補區域的輪廓，可靠度為“中”的替換候補區域以黃色的輪廓線顯示替換候補區域的輪廓，可靠度為“低”的替換候補區域以紅色的輪廓線顯示替換候補區域的輪廓。
另外，也可將以記憶於所述前景候補區域資料877中的前景候補區域或替換候補區域的重心位置為中心的圓等圖形、或記號、文字等重疊顯示於基準圖像上。由此，使用者可直觀地掌 握要修正的基準圖像的對象物的位置。以重心位置為中心的圓等圖形、或記號、文字等的顯示尤其在如下情況下有效：當多個人物或物體重合時等，僅利用輪廓線在視覺上難以知曉。重心位置既可設為例如當使前景候補區域或替換候補區域近似矩形時的成為中心的位置，也可設為從前景候補區域或替換候補區域的外周的多個點向所述區域內部方向的距離的偏差成為最小的位置。
另外，以所述重心位置為中心的圓等圖形、或記號、文字等可與輪廓線同時地顯示於同一圖像上。此外，亦可只顯示當初以所述重心位置為中心的圖形、記號、文字等，其後，藉由使用者選擇以所述重心位置為中心的圖形、記號、文字等，而顯示出對應該重心位置的對象物的輪廓線。此外，也可與所述輪廓線的情況同樣地根據可靠度而區分顏色顯示。
在本實施方式中，將所檢測出的所有前景候補區域設為替換候補區域而進行說明，但並不限於此，例如，也可將可靠度被判定為“低”的前景候補區域不包含在替換候補區域內，從而使用者無法修正。另外，也可將可靠度為“低”的區域也進行顯示，從而使用者也可將其選擇為修正候補，但在選擇時以對話(dialogue)的形式顯示無法進行適當修正的內容等，來強調進行修正的風險高，有無法實施適當的圖像修正的可能性。
[2-5.實驗結果]
圖16(1)~圖16(4)是表示替換候補區域顯示圖像及修正圖像的一例的圖。
圖16(1)中表示與圖8(1)所示的拍攝圖像相同的拍攝圖像。使用包含該拍攝圖像的多個拍攝圖像進行前景候補區域檢測處理，並進行前景候補區域可靠度判定處理，由此，將如圖16(2)所示的映出男性行人的前景候補區域作為替換候補區域R檢測出。設該替換候補區域R的可靠度為“高”。
此時，如圖16(3)所示，將根據可靠度而區分顏色的替換候補區域R覆蓋顯示於基準圖像上(圖11的步驟B23)。具體而言，因為替換候補區域R的可靠度為“高”，所以替換候補區域R以綠色顯示。進而，使用者藉由將替換候補區域R設定為規定的不透明度(例如50%)並在基準圖像上進行覆蓋顯示，而能夠容易地掌握執行替換的結果所得到的修正效果。繼而，使用者點擊顯示圖像中的替換候補區域R的部分，以將替換候補區域R作為修正對象(圖11的步驟B29)而選擇，進而選擇修正執行操作的執行(圖11的步驟B35：是)，藉此對替換候補區域R執行圖像修正處理(圖11的步驟B37)。
另外，圖16(2)中也一併表示替換候補區域R的輪廓線與重心位置的顯示例。輪廓線與重心位置也可對應於可靠度而區分顏色。此外，也可設為使用者可視需要分別選擇顯示與不顯示於畫面上。此外，即使在設定成圖16(3)的規定的不透明度的替換候補區域R也同樣可以執行輪廓線和重心位置的顯示。
該圖像修正處理的結果為，獲得如圖16(4)所示的修正圖像。觀察該修正圖像可知，圖16(1)的拍攝圖像中存在男性行 人的區域的像素值使用非基準最小差分圖像的像素值來進行修正，而獲得消去作為移動被攝物的男性行人後的修正圖像。
圖17(1)~圖17(4)是表示替換候補區域顯示圖像及修正圖像的另一例的圖。
圖17(1)中表示隔開一定的時間間隔所拍攝的5張拍攝圖像。這些拍攝圖像是以建築物為拍攝對象物，且以建築物的入口位於中央部分的方式進行拍攝的圖像。可知這些拍攝圖像中，除映出作為拍攝對象物的建築物以外，也映出多個行人作為前景。
將藉由基於圖17(1)的拍攝圖像算出非基準最小差分值而獲得的非基準最小差分圖像示於圖17(2)。觀察該非基準最小差分圖像可知，在比拍攝圖像的中央稍靠左側的區域，算出大的非基準最小差分值。這是因為所述區域的行人多，拍攝圖像中映出多個行人，所以作為非基準最小差分值而算出大的值。
對圖17(1)的拍攝圖像進行前景候補區域的檢測的結果為圖17(3)。觀察此圖可知，作為前景候補區域檢測出R1~R6的6個區域(圖13的步驟D11)。對這些前景候補區域R1~前景候補區域R6進行可靠度判定處理而判定可靠度的結果為，R1的可靠度被判定為“高”(可以替換)(圖14的步驟E11)，R2及R3的可靠度被判定為“中”(注意替換)(圖14的步驟E15)，R6的可靠度被判定為“低”(不可替換)(圖14的步驟E17)。而且，R4及R5因為前景候補區域的面積小，所以從可靠度判定處理對象中除外(圖14的步驟E19)。結果為，前景候補區域R1~ 前景候補區域R3被判定為替換候補區域。
圖17(4)是表示替換候補區域的顯示圖像的一例的圖。觀察此圖可知，基於替換候補區域R1~替換候補區域R3的可靠度，區分顏色地將R1顯示為綠色，將R2及R3顯示為黃色(圖11的步驟B23)。另外，前景候補區域R4~前景候補區域R6因為未被判定為替換候補區域，所以從顯示中除外。藉由使用者點擊替換候補區域R1~替換候補區域R3的任一個(圖11的步驟B29：是)，而修正與所點擊的替換候補區域相應的圖像部分(圖11的步驟B37)，且顯示修正圖像(圖11的步驟B39)。
另外，所述實施方式中，設為藉由使用者點擊替換候補區域而執行圖像修正處理，但在圖像修正處理的執行前，顯示預覽(preview)畫面也有效，所述預覽畫面是將設定為規定的不透明度(例如50%)的修正預定的圖像重疊顯示於拍攝圖像上。
回到圖17(1)~圖17(4)，具體而言，設為在將替換候補區域R重疊顯示於圖17(1)的拍攝圖像上之後，在使用者觸摸替換候補區域R的部分的期間(長按壓中)，在暫時替換候補區域R的區域顯示修正預定的圖像。此時，也可藉由將修正預定的圖像設定為規定的不透明度，而透視到圖17(1)的拍攝圖像。
之後，例如，設為當使用者的手指離開畫面後經過一定的時間時，修正預定的圖像的顯示消失。而且，設為藉由在使用者的手指暫時離開顯示畫面後仍顯示修正預定的圖像的期間，雙擊(double tap)替換候補區域R的區域，而對替換候補區域R執 行圖像修正處理。
另外，也可在設定為規定的不透明度的替換候補區域R，顯示對應於可靠度的顏色的影線(hatching)、輪廓線或重心位置。由此，使用者可在實際的修正處理執行前容易地掌握進行替換而獲得的修正圖像。
另外，也可在前景候補的檢測~替換候補區域的決定中，附加不刪除使用者預先指定的區域中所檢測出的前景候補區域的保護處理、或必須刪除的強制刪除處理。
具體而言，回到圖17(1)~圖17(4)，例如亦可設為使用者預先將建築物的左側深處的存在R4~R6的附近指定為保護區域。於是，在該區域內所檢測出的前景候補區域不論其面積或可靠度如何，均被保護為不可替換，而不成為刪除的對象。另一方面，例如亦可設為使用者預先將建築物的左側深處的存在R4~R6的附近指定為強制刪除區域。於是，位於該區域的所檢測出的前景候補區域不論可靠度或面積如何，均強制地刪除。
另外，保護區域及強制刪除區域的指定的方法利用如下等習知的方法進行即可：使用個人計算機或便攜設備中預先準備的圖像軟件，用手指或手寫筆(pen tablet)等在畫面上以矩形圈出想要指定的範圍。藉由附加這種功能，可更容易地獲得使用者所希望的修正圖像。
[2-6.作用效果]
在圖像處理裝置3中，基準圖像設定部120從多個拍攝 圖像中設定基準圖像。而且，非基準最小差分輸入圖像判定部117按像素判定除基準圖像以外的非基準圖像中差分值最小的非基準最小差分值、及對應於所述非基準最小差分值的非基準圖像作為非基準最小差分圖像。而且，非基準最小差分映射產生部119基於非基準最小差分輸入圖像判定部117的判定結果，產生最小差分映射資料873，所述最小差分映射資料873是將非基準最小差分值與非基準最小差分圖像建立對應地針對每一像素予以記憶。即，圖像處理裝置3也作為圖像處理用資料產生裝置發揮功能。
前景候補區域檢測部140針對每一像素比較藉由對基準圖像算出與背景圖像的背景差分而獲得基準差分值、與記憶於非基準最小差分映射資料873中的非基準最小差分值，將包含基準差分值與非基準最小差分值相差一定以上的像素的區域作為前景候補區域檢測出。即，圖像處理裝置3也作為檢測前景候補區域的前景候補區域檢測裝置發揮功能。
另外，前景候補區域可靠度判定部150判定由前景候補區域檢測部140檢測出的前景候補區域的作為前景的可靠度。而且，顯示控制部170基於可靠度的判定結果，將各前景候補區域的可靠度以使用者可區別的顯示方式控制顯示於顯示部300。由此，使用者一看便可掌握各前景候補區域的作為前景的可靠度，而容易地判斷應修正的前景候補區域，從而可指示裝置進行前景候補區域的修正。
另外，圖像修正部160感測對觸碰面板250的點擊操作， 當該點擊位置包含在前景候補區域內時，修正基準圖像中的與所述前景候補區域相應的圖像區域。而且，顯示控制部170將修正圖像控制顯示於顯示部300。即，圖像處理裝置3也作為圖像修正裝置發揮功能。由此，使用者確認基準圖像之後，判斷為存在多餘物體時，藉由點擊該部分，而可獲取去除多餘物體後的圖像。
另外，前景候補區域可靠度判定部150將面積小於規定閾值的前景候補區域從處理對象中除外。如果將面積小的前景候補區域設為替換候補區域而全部予以顯示，會顯示多個因噪音(noise)等而產生的細小的前景候補區域，有對使用者而言麻煩的問題。另外，這種面積小的前景候補區域有即便進行修正，也難以知曉其效果的問題。藉由將面積小的前景候補區域從處理對象中除外，可避免這種問題。
另外，前景候補區域可靠度判定部150將非基準最小差分值大的前景候補區域的可靠度判定為“低”，且設為不可替換。在常有物體移動的區域中，存在非基準最小差分值變大的傾向，如果對這種區域進行圖像修正，有產生重影的擔憂。但是，藉由將非基準最小差分值大的前景候補區域的可靠度判定為“低”，且設為不可替換，而將所述前景候補區域從替換候補中除外，所以可避免進行產生重影般的圖像修正。
[3.第三實施方式]
第三實施方式是如下實施方式：將所述實施方式中所說明的圖像修正處理的一例即替換處理與另一圖像修正處理的一例 即遮蓋處理(也稱為黏貼處理)組合，而進行拍攝對象物以外的移動被攝物的消去。
如第二實施方式中所說明，在前景候補區域的可靠度低的情況下，也可藉由使用者的指定等進行替換處理，但此時，結果有無法獲得合適的修正圖像的可能性。因此，對於這種可靠度低的前景候補區域，作為與替換處理不同的圖像修正處理，如下所示的遮蓋處理變得有效。
具體而言，從基準圖像的前景候補區域中，設定作為遮蓋對象的區域(以下，稱為“遮蓋對象區域”)。然後，從(1)基準圖像本身、(2)多個輸入圖像中的任一輸入圖像、(3)保存於其他資料庫(data base)中的圖像的任一圖像中探索與遮蓋對象區域內的小區域類似的小區域，利用探索所得的類似的小區域的像素的像素值來置換基準圖像中的遮蓋對象區域內的小區域的像素的像素值。即，從修正用圖像中探索與所述前景候補區域的圖像資料類似的圖像資料，並執行黏貼於修正對象圖像的所述前景候補區域的處理作為圖像修正處理。
此時，藉由從遮蓋對象區域的外緣部向該區域內部方向依次進行所述遮蓋處理，而防止遮蓋區域與其外側的區域的交界部分的明顯化。作為所述類似的小區域的探索時的類似的判定基準，例如算出像素值(亮度或明度)的差的平方即可。
另外，也可設為對可靠度為“高”或“中”的前景候補區域進行替換處理來進行圖像修正，對可靠度為“低”的前景候 補區域進行遮蓋處理來進行圖像修正等，根據前景候補區域的可靠度而切換圖像修正處理，進行對應於前景候補區域的圖像區域的修正。
另外，也可設為使用者可選擇執行替換處理與遮蓋處理的哪一圖像修正處理，而執行由使用者選擇的圖像修正處理來進行圖像的修正。
[4.變形例]
可應用本發明的實施例並不限定於所述實施例，當然在不脫離本發明的主旨的範圍內可進行適當變更。以下，對變形例進行說明，對於與所述實施例相同的構成附加相同的符號，並省略再次的說明。
[4-1.電子設備]
圖像處理裝置3可配備於智慧型手機或相機、數位相機、平板終端、PDA、個人計算機等電子設備中。只要是包括攝像部的電子設備，則可使各種電子設備配備本發明的圖像處理裝置3而加以利用。
另外，也可設為使用者對圖像處理裝置3中顯示於顯示部300的替換候補區域進行點擊操作，而將圖像處理裝置3所修正的圖像顯示於其他信息處理裝置的顯示部。具體而言，例如當將圖像處理裝置3設為智慧型手機時，使用者將手邊的智慧型手機與個人計算機進行通信連接。然後，使用者進行點擊顯示於智慧型手機的顯示器上的替換候補區域的點擊操作。智慧型手機的 處理部感測到使用者的點擊操作而進行圖像修正處理，且將修正圖像發送至個人計算機。個人計算機將從智慧型手機接收到的修正圖像顯示於顯示器上，使用者利用個人計算機的顯示畫面來確認修正圖像。
另外，也可設為從智慧型手機等電子設備將整套圖像資料發送至個人計算機，且設為個人計算機從智慧型手機等電子設備輸入拍攝圖像。而且，也可設為個人計算機使用輸入圖像進行與所述實施方式同樣的圖像修正而產生修正圖像，並顯示於個人計算機的顯示器上。此時，個人計算機成為本發明中的圖像處理裝置3。
[4-2.修正對象區域]
所述實施方式中，設為如下情況而進行說明：圖像處理裝置3使用多個輸入圖像與圖像處理用資料，將相對於基準圖像成為前景候補的區域即前景候補區域作為修正對象區域而檢測出。但是，修正對象區域的檢測方法並不限於此。
例如，也可對多個輸入圖像的每一個進行特徵點檢測處理而檢測特徵點，且基於所檢測出的特徵點的對應關係而檢測被攝物的移動發生變化的區域，即移動被攝物區域，以作為修正對象區域。特徵點的對應關係可使用塊匹配法或梯度法等習知的方法而求出。
具體而言，將多個輸入圖像間特徵點的位置的變化量(變位量)超過規定閾值的圖像區域作為移動被攝物區域而檢測出。 此時，針對所檢測出的各個移動被攝物區域，判定“移動度”作為基於移動被攝物的移動程度的可靠度，且基於所判定出的移動度而判定各移動被攝物區域的適合修正與否。例如，根據特徵點的變位量，將移動度分為“高”、“中”、“低”，將移動度為“高”或“中”的移動被攝物區域判定為應進行修正的移動被攝物區域。而且，也可將該移動被攝物區域設為修正對象區域進行所述替換處理，而進行圖像修正。
另外，也可將移動度為“低”的移動被攝物區域也包含在修正對象區域內，且對該移動被攝物區域進行所述遮蓋處理，而進行圖像修正。
此外，不只是所述移動被攝物區域，藉由拍攝時的光的變化等，無論是否為相同被攝物被拍攝的區域，都會有該區域的像素值在多張輸入圖像間產生變化的情形。因此，亦可將像素值在多張輸入圖像間產生一定以上變化的區域，即光影響區域，作為修正對象區域而進行檢測。具體來說，是將像素值(該區域的像素值的平均值等)的變化量在多張輸入圖像間超過規定閥值的圖像區域作為光影響區域而進行檢測。並且，基於光影響區域的光的影響程度而將“光影響度”判定為可靠度，基於所判定的光影響度，對各光影響區域的適合修正與否進行判定。例如，對應像素值的變化量將光影響度分為“高”、“中”、“低”，並將光影像度為“高”或“中”的光影響區域判定為應該執行修正的光影響區域。並且，亦可將該光影響區域設為修正對象區域，執 行所述的替換處理，並執行圖像修正。
又，亦可以設為光影響度“低”的光影響區域也包含修正對象區域，在該光影響區域執行所述遮蓋處理，並執行圖像修正。
所述移動被攝物區域及光影響區域為被攝物的外觀在多張輸入圖像間產生變化的區域即外觀變化區域的一例。
[4-3.處理像素單元]
所述實施方式中，將處理像素單元設為各像素(1像素)，且設為以像素單元進行與圖像處理用資料的產生有關的各種處理而進行說明，但處理像素單元不一定需要設為1像素單元，也可將包含多個像素的區域設為處理像素單元。例如，也可將構成圖像的像素劃分成格子狀的區域，將該劃分出的各區域作為處理像素單元進行與所述實施方式同樣的處理，而產生圖像處理用資料。
此時的處理像素單元既可設為例如10×10或20×20等正方形的區域，也可設為10×20或20×10等長方形的區域。
另外，處理像素單元的大小可基於輸入圖像的大小而適當設定變更。例如，可在輸入圖像的尺寸的1%~10%的範圍內決定各處理像素單元的大小，並按處理像素單元進行處理。
[4-4.圖像處理用資料]
所述實施方式中，設為如下情況而進行說明，即，將輸入圖像與參照圖像的差分值成為最小的輸入圖像判定為滿足特定條件的輸入圖像，並產生將最小差分輸入圖像的識別信息與最小 差分值建立對應的圖像處理用資料，但也可產生不記憶最小差分值，而僅將最小差分輸入圖像的識別信息針對每一處理像素單元予以記憶的圖像處理用資料。另外，反之，也可產生不記憶最小差分輸入圖像的識別信息，而僅將最小差分值針對每一處理像素單元予以記憶的圖像處理用資料。
應用其他條件作為特定條件的情況也相同。例如，當如上所述將差分值成為最大的輸入圖像判定為滿足特定條件的輸入圖像時，既可產生僅將最大差分輸入圖像的識別信息針對每一處理像素單元予以記憶的圖像處理用資料，也可產生僅將最大差分值針對每一處理像素單元予以記憶的圖像處理用資料。
[4-5.修正對象前景候補區域的自動決定]
所述實施方式的圖像處理裝置3中，設為根據使用者操作來決定設為修正對象的前景候補區域(或替換候補區域)而進行說明，但也可代替此，由圖像處理裝置3自動地決定設為修正對象的區域，並進行圖像修正。
另外，也可設為使用者對觸碰面板250進行手指操作等，而指定優先修正區域。此時，例如，也可將臉部檢測處理中所檢測出的多個臉部檢測區域顯示於顯示部300，且使用者可從所顯示的臉部檢測區域中指定設為優先修正區域的臉部檢測區域。
另外，也可預先將多種優先修正區域的圖案(以下，稱為“優先修正區域圖案”)的資料記憶於記憶部800，將該優先修正區域圖案顯示於顯示部300，使用者從中選擇設為優先修正區域 的圖案。
圖18(1)~圖18(3)是表示優先修正區域圖案的一例的圖。各圖中，施加有影線的區域是設為優先修正區域的候補的區域。
圖18(1)是在圖像的中央部呈縱長的帶狀設置有優先修正區域的圖案。圖18(2)是在圖像的周部呈框狀設置有優先修正區域的圖案。圖18(3)是從圖像的下部到上部設置有三角形狀的優先修正區域的圖案。
另外，這些優先修正區域圖案僅為一例，除此以外，也可預先規定各種優先修正區域圖案。
如此決定(確定)優先修正區域之後，顯示控制部170將優先修正區域以可與前景候補區域區別的顯示方式顯示於顯示部300。具體而言，例如，將優先修正區域以與前景候補區域(或替換候補區域)不同的顏色顯示。此時，既可顯示對區域附加顏色者，也可顯示對區域的輪廓附加顏色者。由此，使用者一看便可掌握裝置自動地決定為應優先修正的區域的區域與除此以外的前景候補區域。
另外，圖像修正部160將如上所述般決定的優先修正區域設為對象，以與所述的實施方式同樣的方法進行圖像修正。而且，顯示控制部170將經圖像修正部160修正的圖像控制顯示於顯示部300。
另外，也可基於各前景候補區域的可靠度，而決定設為 修正對象的前景候補區域(修正對象前景候補區域)。具體而言，例如，可將可靠度尤其高的前景候補區域決定為修正對象前景候補區域。例如，所述實施方式中也可將可靠度被判定為“高”的前景候補區域決定為修正對象前景候補區域。
另外，對可靠度尤其高的前景候補區域，也可在判定可靠度之後，圖像修正部160自動地以與所述實施方式同樣的方法進行圖像修正。然後，將所述圖像設為預設(default)的圖像，進而進行所述實施方式的自動圖像修正、及根據使用者操作而進行的前景候補區域的決定與修正。如此，藉由預先進行可靠度尤其高的前景候補區域的自動修正，可更容易且高速地進行後續的處理。
[4-6.基準圖像的自動設定]
所述實施方式中，作為從多個拍攝圖像中設定基準圖像的方法，設為由使用者從多個拍攝圖像中選擇一張拍攝圖像或將最初或最後輸入的拍攝圖像設為基準圖像而進行說明，但也可將利用規定的基準所選出的圖像自動地設定為基準圖像。例如，在多個人物作為拍攝對象存在的集體照片中，也可利用習知的方法檢測作為拍攝對象的人物的正面度或笑顏度，選擇顯現規定基準以上的正面度或笑顏度的輸入圖像設為基準圖像。此外，也可利用習知的方法檢測出無因手震而引起的圖像模糊或未成為逆光的狀態，並作為成為基準圖像的條件進行添加。
[4-7.替換候補區域判定的另一方式]
所述實施方式中，圖像處理裝置3基於前景候補區域的面積及非基準最小差分值與閾值的比較結果，而自動地進行替換候補區域的可靠度判定，且可靠度“低”的區域設為不可替換。另外，設為如下情況而進行說明，即，為了將被判定為可靠度“低”的區域設為可以替換，需要使用者進行區域指定作業等，但也可當可靠度“低”的區域的面積大的程度為規定像素數以上時，自動地設為可以替換。
具體來說，如上所述，亦可將構成修正對象圖像的像素區分為規定形狀(例如矩形)的處理像素單位，分別判定各處理像素單位的作為前景的可靠度。在此情況下，如上所述，基於特徵點的位置的變化量而分別針對各處理像素單位判定被攝物的移動程度。並且，移動程度愈大的處理像素單位，作為前景的可靠度判定為愈高(可靠度“高”)，而移動程度愈小的處理像素單位，作為前景的可靠度判定為愈低(可靠度“低”)。並且，例如將可靠度“高”的處理像素單位進行連結而成的一群區域作為替換候補區域。此外，亦可為例如：當一群區域成為滿足規定像素數以上或者規定面積以上的條件的情形時，將該一群區域作為替換候補區域，並在不滿足條件的情形時將該一群的區域從替換候補區域排除。
另外，所述一群區域也可不一定連結，此時，也可檢測顯示圖像的相當於每單位面積的前景候補區域的像素數或面積，將規定的像素密度或面積密度以上的區域設為替換候補區域。
由此，當產生較多可靠度“低”的區域時，也可利用圖像處理裝置3自動且有效地進行圖像的修正。
[4-8.輸入圖像的更新]
所述圖像處理裝置3中，也可將與前景候補區域的可靠度有關的顯示實時(real time)地顯示於拍攝圖像上。
具體而言，處理部100將所輸入的最新的規定數的畫框的拍攝圖像記憶於記憶部800中。即，記憶部800作為圖像記憶部件發揮功能。此時，例如，也可在記憶部800中構成可記憶規定數的圖像的環形緩衝區(ring buffer)，始終將最新的規定數的畫框的拍攝圖像記憶於環形緩衝區中。
另外，基準圖像設定部120將記憶於記憶部800中的最新的拍攝圖像設定為基準圖像。而且，關於記憶於記憶部800中的最新的規定數的畫框的拍攝圖像，處理部100使用基準圖像與非基準圖像，以與所述實施方式同樣的方法進行非基準最小差分映射資料產生處理、前景候補區域決定處理及前景候補區域可靠度判定處理。
顯示控制部170將基準圖像及在該基準圖像上重疊顯示或輪廓顯示有替換候補區域的圖像控制顯示於顯示部300。而且，當重疊顯示或輪廓顯示替換候補區域時，顯示控制部170將與所述替換候補區域有關聯的替換可靠度以使用者可區別的顯示方式顯示於顯示部300。例如，將根據替換可靠度而區分顏色的替換候補區域重疊顯示於基準圖像上，或將根據替換可靠度而區分顏色 的替換候補區域的輪廓顯示於基準圖像上。
每當新輸入拍攝圖像時隨時進行所述處理。即，處理部100利用新的拍攝圖像的輸入而隨時更新基準圖像，且重新算出替換候補區域及替換可靠度。而且，顯示控制部170基於該重新算出的結果，隨時更新顯示於顯示部300的替換候補區域，並且隨時更新與替換可靠度有關的顯示。
如此，藉由每當輸入新圖像時將最早的圖像捨棄而重新進行計算，使用者可實時掌握可替換區域。而且，使用者對於替換困難的區域，也可等待至可以替換，在適當的時序進行圖像的修正指示。
另外，也可設為使用者預先指定替換困難的區域(以下，稱為“替換困難區域”)，處理部100利用新的拍攝圖像的輸入，在至少一部分與該區域重複的所有前景候補區域可以替換的時序，自動地修正該區域。
另外，此時，使用者指定替換困難區域的方法可應用與“3-4.修正對象前景候補區域的自動決定”的項目中所說明的設定優先修正區域的方法同樣的方法。即，使用者既可藉由對觸碰面板250進行點擊操作等，指定圖像中認為是替換困難的區域，也可將多種替換困難區域的圖案(替換困難區域圖案)的資料預先記憶於記憶部300中，從這些圖案中選擇指定為替換困難區域的圖案。
另外，圖像處理裝置3也可執行所述修正對象區域的自 動修正處理、與基於使用者的手動操作的手動修正處理的兩種處理。例如，也可設為對於自動決定的修正對象區域在實施自動修正的狀態下開始圖像修正模式，而對於其他未實施自動修正的區域，使用者可手動選擇是否需要修正。此時，將實施自動修正後的圖像顯示於顯示部300，由使用者對其他區域是否需要修正進行選擇即可。
另外，也可不將背景圖像廢棄而保持於記憶部800。另外，也可設為如下形式：不將最早的拍攝圖像刪除，且繼續記憶新輸入的拍攝圖像。
[4-9.修正圖像的恢復處理]
也可在顯示實施了圖像修正的修正圖像之後，根據使用者操作進行將修正部分恢復為原本狀態的恢復處理，且將處理結果的圖像顯示於顯示部300。已閱覽修正圖像的使用者有對所述修正內容不滿意，而想要將實施修正後的替換候補區域中的一部分區域的圖像區域恢復原樣的情況。因此，對於修正旗標被設定為開啟的替換候補區域中由使用者實施恢復原樣的指示操作的替換候補區域，較佳為進行替換為原本的基準圖像的圖像資料的處理，並將處理結果的圖像顯示於顯示部300。
[4-10.記錄媒體]
所述實施方式中，圖像處理用資料的產生或圖像處理的各種程式或者資料記憶於圖像處理用資料產生裝置1的記憶部20或圖像處理裝置3的記憶部800，藉由處理部讀出並執行這些程 式，而實現所述各實施方式中的圖像處理。此時，各裝置的記憶部除ROM或EEPROM、快閃記憶體、硬碟、RAM等內部記憶裝置以外，也可包含記憶卡(memory card)(保全數位(Secure Digital，SD)卡)或壓縮快閃(CompactFlash)(註冊商標)卡、記憶盤(memory disk)、通用串行總線(Universal Serial Bus，USB)記憶體、可抹寫光碟(Compact Disc ReWritable，CD-RW)(光碟)、磁光碟(magneto-optical，MO)等記錄媒體(記錄介質、外部記憶裝置)，也可在這些記錄媒體中記憶所述的各種程式或者資料。
圖19是表示所述情況下的記錄媒體的一例的圖。
圖像處理裝置3設置有卡槽(card slot)710，用以供記憶卡7插入，且設置有卡讀寫器(card reader writer)(R/W)720，用以讀取插入卡槽710的記憶卡7中所記憶的信息或將信息寫入記憶卡7。卡讀寫器720根據處理部100的控制，進行如下動作：讀取記憶於記憶卡7的信息或將記錄於記憶部800的程式或資料寫入記憶卡7。進而，記錄於記憶卡7中的程式或資料構成為可由圖像處理裝置3以外的外部裝置(例如個人計算機)讀取並處理，由此，在該外部裝置中實現所述實施方式中的圖像處理。
3‧‧‧圖像處理裝置
21‧‧‧最小差分映射資料產生程式
100‧‧‧處理部
110‧‧‧圖像處理用資料產生部
111‧‧‧差分值計算部
112‧‧‧合成比率設定部
113‧‧‧背景圖像產生部
114‧‧‧背景差分值計算部
117‧‧‧非基準最小差分輸入圖像判定部
119‧‧‧非基準最小差分映射資料產生部
120‧‧‧基準圖像設定部
130‧‧‧分析用圖像產生部
140‧‧‧前景候補區域檢測部
150‧‧‧前景候補區域可靠度判定部
160‧‧‧圖像修正部
170‧‧‧顯示控制部
200‧‧‧操作部
250‧‧‧觸碰面板
300‧‧‧顯示部
400‧‧‧通信部
500‧‧‧攝像部
600‧‧‧時鐘部
800‧‧‧記憶部
810‧‧‧圖像處理程式
820‧‧‧背景圖像產生程式
830‧‧‧前景候補區域檢測程式
840‧‧‧前景候補區域可靠度判定程式
850‧‧‧圖像修正程式
870‧‧‧圖像資料
880‧‧‧輸出緩衝區

Claims (29)

  1. 一種圖像處理裝置，其特徵在於，包括：圖像修正部件，使用多個輸入圖像中的任一輸入圖像作為修正用圖像而對基於所述多個輸入圖像而決定的修正對象圖像的修正對象區域進行修正；所述圖像處理裝置還包括：可靠度判定部件，判定所述修正對象區域的作為前景的可靠度，所述圖像修正部件基於由所述可靠度判定部件判定的可靠度而判定所述修正對象區域的適合修正與否。
  2. 如申請專利範圍第1項所述的圖像處理裝置，其中在所述圖像修正部件中，與所述修正對象區域對應的區域的圖像資料將與所述多個輸入圖像有關聯的參照圖像、和滿足規定關係的輸入圖像設為所述修正用圖像，並使用所述修正用圖像的與所述修正對象區域對應的區域的圖像資料，對所述修正對象圖像的所述修正對象區域進行修正。
  3. 如申請專利範圍第1項所述的圖像處理裝置，還包括：外觀變化區域檢測部件，檢測外觀變化區域，所述外觀變化區域即在所述多個輸入圖像間被攝物的外觀發生變化的區域，所述可靠度判定部件將由所述外觀變化區域檢測部件檢測出的外觀變化區域作為所述修正對象區域而判定所述可靠度，所述圖像修正部件基於由所述可靠度判定部件判定的可靠度 而判定所述外觀變化區域的適合修正與否。
  4. 如申請專利範圍第1項所述的圖像處理裝置，其中所述可靠度判定部件針對所述修正對象圖像中的每一規定的處理像素單元判定所述可靠度，所述圖像修正部件將對所述可靠度滿足規定條件的所述處理像素單元進行連結而成的一群區域作為所述修正對象區域而進行修正。
  5. 如申請專利範圍第1項所述的圖像處理裝置，還包括：相對值計算部件，針對所述多個輸入圖像的每一個，對每一規定的處理像素單元算出相對值，所述相對值表示所述輸入圖像和與所述多個輸入圖像有關聯的參照圖像的相對關係，輸入圖像判定部件，對每一所述處理像素單元，判定所述多個輸入圖像中的由所述相對值計算部件算出的相對值滿足特定條件的輸入圖像，圖像處理用資料產生部件，產生圖像處理用資料，所述圖像處理用資料針對每一所述處理像素單元將用以識別由所述輸入圖像判定部件判定的輸入圖像的識別信息予以記憶，所述圖像修正部件使用所述修正用圖像與由所述圖像處理用資料產生部件產生的圖像處理用資料進行修正。
  6. 如申請專利範圍第5項所述的圖像處理裝置，其中，所述圖像處理用資料產生部件，針對每一所述處理像素單元，將所述滿足特定條件的相對值與所述識別信息建立對應地記 憶於所述圖像處理用資料中。
  7. 如申請專利範圍第5項所述的圖像處理裝置，還包括：縮小部件，對所述多個輸入圖像分別進行縮小，所述相對值計算部件針對由所述縮小部件縮小的所述多個輸入圖像的每一個，對每一所述處理像素單元算出表示所述輸入圖像和與所述輸入圖像為相同大小的參照圖像的相對關係的相對值，所述圖像處理用資料產生部件產生與所述輸入圖像為相同大小的所述圖像處理用資料。
  8. 如申請專利範圍第5項所述的圖像處理裝置，還包括：前景候補區域檢測部件，使用所述多個輸入圖像、與由所述圖像處理用資料產生部件產生的圖像處理用資料，檢測相對於所述參照圖像成為前景的候補的區域即前景候補區域，所述可靠度判定部件將由所述前景候補區域檢測部件檢測出的前景候補區域作為所述修正對象區域而判定所述可靠度，所述圖像修正部件將由所述前景候補區域檢測部件檢測出的前景候補區域作為所述修正對象區域而進行修正。
  9. 如申請專利範圍第8項所述的圖像處理裝置，還包括：基準圖像設定部件，從所述多個輸入圖像中設定基準圖像，所述輸入圖像判定部件具有非基準圖像判定部件，所述非基準圖像判定部件針對每一所述處理像素單元，判定從所述多個輸入圖像中將所述基準圖像除外的輸入圖像即非基準圖像中的所述 相對值滿足所述特定條件的非基準圖像，所述圖像處理用資料產生部件具有非基準圖像處理用資料產生部件，產生非基準圖像處理用資料，所述非基準圖像處理用資料針對每一所述處理像素單元將用以識別由所述非基準圖像判定部件判定的非基準圖像的識別信息予以記憶，所述前景候補區域檢測部件使用所述基準圖像與由所述非基準圖像處理用資料產生部件產生的非基準圖像處理用資料對所述前景候補區域進行檢測，所述圖像修正部件將由所述基準圖像設定部件設定的基準圖像作為所述修正對象圖像而進行修正。
  10. 如申請專利範圍第8項所述的圖像處理裝置，其中所述圖像修正部件將對應於所述圖像處理用資料中記憶的識別信息的輸入圖像作為所述修正用圖像，而對所述修正對象圖像的所述前景候補區域進行修正。
  11. 如申請專利範圍第8項所述的圖像處理裝置，其中所述圖像修正部件使用所述修正用圖像的與所述前景候補區域對應的區域的圖像資料，對所述修正對象圖像的所述前景候補區域的圖像資料進行修正。
  12. 如申請專利範圍第8項所述的圖像處理裝置，其中所述圖像修正部件根據所述前景候補區域的可靠度而切換執行的圖像修正處理，對所述修正對象圖像的所述前景候補區域進行修正。
  13. 如申請專利範圍第12項所述的圖像處理裝置，其中所述圖像修正部件對於所述可靠度滿足規定的高可靠度條件的前景候補區域，作為所述圖像修正處理，而執行以所述修正用圖像的與所述前景候補區域對應的區域的圖像資料，對所述修正對象圖像的所述前景候補區域的圖像資料進行置換的處理。
  14. 如申請專利範圍第12項所述的圖像處理裝置，其中所述圖像修正部件對於所述可靠度滿足規定的低可靠度條件的前景候補區域，作為所述圖像修正處理而執行從所述修正用圖像中抽出與所述前景候補區域的圖像資料滿足規定關係的圖像資料而黏貼於所述修正對象圖像的所述前景候補區域的處理。
  15. 如申請專利範圍第8項所述的圖像處理裝置，還包括：顯示部件，顯示控制部件，將所述前景候補區域的可靠度控制顯示於所述顯示部件。
  16. 如申請專利範圍第15項所述的圖像處理裝置，其中所述顯示控制部件以使用者能夠區別的顯示方式將各前景候補區域的可靠度控制顯示於所述顯示部件。
  17. 如申請專利範圍第8項所述的圖像處理裝置，還包括：物體檢測部件，從所述修正對象圖像中檢測物體，優先修正區域決定部件，基於由所述物體檢測部件而得的物體的檢測區域與所述前景候補區域的位置關係以及所述可靠度，決定所述修正對象圖像中應優先修正的區域即優先修正區域。
  18. 如申請專利範圍第8項所述的圖像處理裝置，其中所述可靠度判定部件基於所述前景候補區域的面積、與針對所述前景候補區域中所含的像素而記憶於所述圖像處理用資料中的相對值中的至少任一者，判定所述前景候補區域的可靠度。
  19. 如申請專利範圍第8項所述的圖像處理裝置，還包括：操作部件，顯示部件，顯示控制部件，將從所述多個輸入圖像中選擇的輸入圖像控制顯示於所述顯示部件，感測部件，感測對所述顯示部件中顯示的圖像上的位置進行指定的使用者操作，指定位置判定部件，根據所述感測部件的感測，判定由所述使用者操作而指定的位置是否含有於所述前景候補區域，所述圖像修正部件在所述指定位置判定部件的判定結果為肯定判定的情況下，對所述修正對象圖像的所述前景候補區域進行修正，所述顯示控制部件將由所述圖像修正部件修正的圖像控制顯示於所述顯示部件。
  20. 如申請專利範圍第19項所述的圖像處理裝置，還包括：圖像修正需要與否資料產生部件，基於所述指定位置判定部件的判定結果產生圖像修正需要與否資料，所述圖像修正需要與否資料對是否需要根據所述使用者操作而對各前景候補區域進行 所述圖像修正予以記憶，所述圖像修正部件基於由所述圖像修正需要與否資料產生部件產生的圖像修正需要與否資料，判定是否需要對各前景候補區域進行修正。
  21. 如申請專利範圍第17項所述的圖像處理裝置，其中，所述圖像修正部件對所述修正對象圖像的所述優先修正區域進行修正，且所述圖像處理裝置還包括：顯示部件，顯示控制部件，將由所述圖像修正部件修正的圖像控制顯示於所述顯示部件。
  22. 如申請專利範圍第21項所述的圖像處理裝置，其中，所述顯示控制部件以與所述前景候補區域不同的顯示方式，將所述優先修正區域控制顯示於所述顯示部件。
  23. 一種圖像處理裝置，其特徵在於，包括：圖像記憶部件，記憶多個輸入圖像，計算部件，基於所述記憶的多個輸入圖像，算出圖像中的替換候補區域及與其有關聯的替換可靠度，顯示部件，顯示所述多個輸入圖像中的最新輸入的輸入圖像即基準圖像、以及在所述基準圖像上重疊顯示或輪廓顯示所述替換候補區域而成的圖像，所述計算部件在所述基準圖像因新圖像輸入而被更新時，重新算出所述替換候補區域及所述替換可靠度， 所述顯示部件基於所述重新算出的結果而更新所述顯示部件的顯示。
  24. 如申請專利範圍第23項所述的圖像處理裝置，其中，所述顯示部件在對所述替換候補區域進行重疊顯示或輪廓顯示時，反映相關聯的替換可靠度而進行顯示。
  25. 如申請專利範圍第23項所述的圖像處理裝置，還包括：區域指定部件，可指定任意區域，通知部件，在由所述區域指定部件指定的區域含有於由所述計算部件算出的所述替換候補區域的情況下，在有關聯的替換可靠度滿足規定條件時，將其內容通知給使用者。
  26. 如申請專利範圍第23項所述的圖像處理裝置，還包括：區域指定部件，可指定任意區域，圖像修正部件，在由所述區域指定部件指定的區域含有於由所述計算部件算出的所述替換候補區域的情況下，在有關聯的替換可靠度滿足規定條件的情況下，對與所述替換候補區域對應的圖像區域進行修正，所述顯示部件對由所述圖像修正部件修正的圖像進行顯示。
  27. 一種圖像處理方法，其特徵在於，包括：使用多個輸入圖像中的任一輸入圖像作為修正用圖像而對基於所述多個輸入圖像而決定的修正對象圖像的修正對象區域進行修正，判定所述修正對象區域的作為前景的可靠度， 基於由所述判定的可靠度，而判定所述修正對象區域的適合修正與否。
  28. 如申請專利範圍第27項所述的圖像處理方法，還包括：針對多個輸入圖像的每一個，對每一規定的處理像素單元算出表示所述輸入圖像和與所述多個輸入圖像有關聯的參照圖像的相對關係的相對值，對每一所述處理像素單元，判定所述多個輸入圖像中的所述算出的相對值滿足特定條件的輸入圖像，產生圖像處理用資料，所述圖像處理用資料針對每一所述處理像素單元將用以識別所述經判定的輸入圖像的識別信息予以記憶，所述修正包含使用所述修正用圖像與所述產生的圖像處理用資料進行修正。
  29. 一種圖像處理方法，其特徵在於，包括：記憶多個輸入圖像，基於所述記憶的多個輸入圖像，算出圖像中的替換候補區域及與其有關聯的替換可靠度，將所述多個輸入圖像中的最新輸入的輸入圖像即基準圖像以及在所述基準圖像上重疊顯示或輪廓顯示所述替換候補區域而成的圖像顯示於規定的顯示部件，所述算出包含在所述基準圖像因新圖像輸入而被更新時，重新算出所述替換候補區域及所述替換可靠度， 所述顯示包含基於所述重新算出的結果而更新所述顯示部件的顯示。
TW104102936A 2014-01-31 2015-01-29 圖像處理裝置及圖像處理方法 TWI550549B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014017230 2014-01-31

Publications (2)

Publication Number Publication Date
TW201530490A TW201530490A (zh) 2015-08-01
TWI550549B true TWI550549B (zh) 2016-09-21

Family

ID=53732171

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104102936A TWI550549B (zh) 2014-01-31 2015-01-29 圖像處理裝置及圖像處理方法

Country Status (5)

Country Link
US (2) US9659350B2 (zh)
JP (1) JP6468865B2 (zh)
KR (1) KR101747511B1 (zh)
CN (1) CN104822016B (zh)
TW (1) TWI550549B (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101999140B1 (ko) * 2013-01-03 2019-07-11 삼성전자주식회사 카메라장치 및 카메라를 구비하는 휴대단말기의 이미지 촬영장치 및 방법
JP6351271B2 (ja) * 2014-01-17 2018-07-04 オリンパス株式会社 画像合成装置、画像合成方法、およびプログラム
KR102356448B1 (ko) * 2014-05-05 2022-01-27 삼성전자주식회사 이미지 합성 방법 및 그 전자 장치
JP6433389B2 (ja) * 2015-08-04 2018-12-05 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
EP3354037A4 (en) * 2015-09-21 2019-04-10 Qualcomm Incorporated PREVIEWING VIEWING APPARATUS
US10331944B2 (en) * 2015-09-26 2019-06-25 Intel Corporation Technologies for dynamic performance of image analysis
CA3045286C (en) * 2016-10-28 2024-02-20 Axon Enterprise, Inc. Systems and methods for supplementing captured data
US10970896B2 (en) * 2016-11-02 2021-04-06 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
US11635872B2 (en) * 2016-11-22 2023-04-25 Snap Inc. Smart carousel of image modifiers
CN108230328B (zh) * 2016-12-22 2021-10-22 新沂阿凡达智能科技有限公司 获取目标对象的方法、装置和机器人
US10719927B2 (en) * 2017-01-04 2020-07-21 Samsung Electronics Co., Ltd. Multiframe image processing using semantic saliency
JP6601441B2 (ja) * 2017-02-28 2019-11-06 株式会社デンソー 表示制御装置及び表示制御方法
CN108961158B (zh) * 2017-05-17 2022-01-25 中国移动通信有限公司研究院 一种图像合成方法及装置
KR102287043B1 (ko) 2017-05-22 2021-08-06 삼성전자주식회사 카메라를 이용하여 획득한 이미지를 처리하는 전자 장치 및 그 동작 방법
JP7197971B2 (ja) * 2017-08-31 2022-12-28 キヤノン株式会社 情報処理装置、情報処理装置の制御方法及びプログラム
KR102383129B1 (ko) * 2017-09-27 2022-04-06 삼성전자주식회사 이미지에 포함된 오브젝트의 카테고리 및 인식률에 기반하여 이미지를 보정하는 방법 및 이를 구현한 전자 장치
KR20190096748A (ko) 2018-02-09 2019-08-20 삼성전자주식회사 외부 전자 장치를 이용한 이미지 보정 방법 및 전자 장치
CN108769808B (zh) * 2018-05-24 2021-01-29 浙报融媒体科技(浙江)有限责任公司 交互式视频播放方法和系统
CN111125390B (zh) * 2018-11-01 2024-05-17 北京市商汤科技开发有限公司 数据库更新方法和装置、电子设备、计算机存储介质
CN110097509B (zh) * 2019-03-26 2021-05-18 杭州电子科技大学 一种局部运动模糊图像的复原方法
US10967751B2 (en) * 2019-05-10 2021-04-06 Gm Global Technology Operations, Llc Method to detect the proper connection of a vehicle charging cable
CN110611768B (zh) * 2019-09-27 2021-06-29 北京小米移动软件有限公司 多重曝光摄影方法及装置
US11076111B1 (en) * 2019-11-13 2021-07-27 Twitch Interactive, Inc. Smart color-based background replacement
US11217020B2 (en) * 2020-03-16 2022-01-04 Snap Inc. 3D cutout image modification
JP7475959B2 (ja) * 2020-05-20 2024-04-30 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
EP4264373A1 (en) * 2020-12-16 2023-10-25 ASML Netherlands B.V. Topology-based image rendering in charged-particle beam inspection systems
US11893668B2 (en) 2021-03-31 2024-02-06 Leica Camera Ag Imaging system and method for generating a final digital image via applying a profile to image information
WO2023281250A1 (en) * 2021-07-07 2023-01-12 Mo-Sys Engineering Limited Image stitching
US11995757B2 (en) 2021-10-29 2024-05-28 Snap Inc. Customized animation from video
TWI796822B (zh) * 2021-11-03 2023-03-21 宏碁股份有限公司 圖像顯示處理方法及圖像顯示處理系統
CN114363521B (zh) * 2022-01-12 2023-09-15 西安维沃软件技术有限公司 图像处理方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200913673A (en) * 2007-09-07 2009-03-16 Lite On Technology Corp Device and method for obtain a clear image
TW201004366A (en) * 2008-07-02 2010-01-16 Compal Communications Inc Mobile communication apparatus and image adjusting method thereof
TWM413289U (en) * 2011-02-15 2011-10-01 Chunghwa Picture Tubes Ltd Automatic image adjusting device
TW201235977A (en) * 2011-02-25 2012-09-01 Altek Corp Image processing apparatus and method thereof

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5053974A (en) * 1987-03-31 1991-10-01 Texas Instruments Incorporated Closeness code and method
JPH0622318A (ja) * 1992-05-18 1994-01-28 Mitsubishi Electric Corp 移動物体抽出装置
DE69526017T2 (de) * 1994-09-30 2002-11-21 Toshiba Kawasaki Kk Vorrichtung zur Vektorquantisierung
US6304563B1 (en) * 1999-04-23 2001-10-16 Qualcomm Incorporated Method and apparatus for processing a punctured pilot channel
US6922432B2 (en) * 2001-03-09 2005-07-26 Motorola, Inc. System for spread spectrum communication
JP2002281303A (ja) * 2001-03-19 2002-09-27 Fuji Photo Film Co Ltd 画像処理装置、方法及び記録媒体
US7120293B2 (en) * 2001-11-30 2006-10-10 Microsoft Corporation Interactive images
WO2003048976A1 (en) * 2001-12-04 2003-06-12 University Of Southern California Methods for fast progressive evaluation of polynomial range-sum queries on real-time datacubes
AU2003234995A1 (en) * 2002-04-25 2003-11-10 Matsushita Electric Industrial Co., Ltd. Object detection device, object detection server, and object detection method
US7356190B2 (en) * 2002-07-02 2008-04-08 Canon Kabushiki Kaisha Image area extraction method, image reconstruction method using the extraction result and apparatus thereof
US8032265B2 (en) * 2005-06-29 2011-10-04 Honeywell International Inc. System and method for enhancing computer-generated images of terrain on aircraft displays
US20080124050A1 (en) * 2006-09-07 2008-05-29 Joseph Deschamp Method and Apparatus for Processing Digital Program Segments
WO2008136933A1 (en) * 2007-05-07 2008-11-13 Thomson Licensing Method and apparatus for processing video sequences
JP4456180B2 (ja) 2008-04-10 2010-04-28 パナソニック株式会社 撮像装置、撮像システムおよび撮像方法
US8823808B2 (en) * 2009-10-27 2014-09-02 Intellectual Ventures Fund 83 Llc Method for improved digital video image quality
WO2011053374A1 (en) * 2009-10-30 2011-05-05 Zoran Corporation Method and apparatus for image detection with undesired object removal
TWI413024B (zh) * 2009-11-19 2013-10-21 Ind Tech Res Inst 物件偵測方法及系統
WO2011083555A1 (ja) * 2010-01-07 2011-07-14 パナソニック株式会社 画像処理装置、画像生成システム、方法、およびプログラム
SE534551C2 (sv) 2010-02-15 2011-10-04 Scalado Ab Digital bildmanipulation innefattande identifiering av ett målområde i en målbild och sömlös ersättning av bildinformation utifrån en källbild
US8515137B2 (en) * 2010-05-03 2013-08-20 Microsoft Corporation Generating a combined image from multiple images
DE102010022307A1 (de) * 2010-06-01 2011-12-01 Siemens Aktiengesellschaft Verfahren zur Überprüfung der Segmentierung einer Struktur in Bilddaten
CN103339652A (zh) * 2010-12-01 2013-10-02 皇家飞利浦电子股份有限公司 靠近伪影源的诊断图像特征
DE102011000204B4 (de) * 2011-01-18 2013-04-25 Gsi Helmholtzzentrum Für Schwerionenforschung Gmbh Erstellung einer Bestrahlungsplanung unter Berücksichtigung der Auswirkungen zumindest einer Unsicherheit
JP5687553B2 (ja) * 2011-04-25 2015-03-18 オリンパス株式会社 画像合成装置、画像合成方法及び画像合成プログラム
JP4856278B1 (ja) * 2011-04-25 2012-01-18 剛康 村上 キーボード収納支持具
JP5885398B2 (ja) * 2011-05-20 2016-03-15 キヤノン株式会社 画像処理装置、画像処理方法
US8526763B2 (en) * 2011-05-27 2013-09-03 Adobe Systems Incorporated Seamless image composition
US20120320237A1 (en) 2011-06-15 2012-12-20 Wei-Ting Liu Camera with function of removing unwanted object and method thereof
US9143659B2 (en) * 2012-01-08 2015-09-22 Gary Shuster Clothing and body covering pattern creation machine and method
US20130204883A1 (en) * 2012-02-02 2013-08-08 Microsoft Corporation Computation of top-k pairwise co-occurrence statistics
JP5929379B2 (ja) * 2012-03-19 2016-06-08 富士通株式会社 画像処理装置、画像処理方法及びプログラム
WO2014065340A1 (ja) * 2012-10-23 2014-05-01 株式会社東芝 画像処理装置、医用画像診断装置及び画像処理方法
EP2939217B1 (en) * 2012-12-27 2022-06-22 Koninklijke Philips N.V. Computer-aided identification of a tissue of interest
US20140280109A1 (en) * 2013-03-14 2014-09-18 Google Inc. User-Guided Term Suggestions

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200913673A (en) * 2007-09-07 2009-03-16 Lite On Technology Corp Device and method for obtain a clear image
TW201004366A (en) * 2008-07-02 2010-01-16 Compal Communications Inc Mobile communication apparatus and image adjusting method thereof
TWM413289U (en) * 2011-02-15 2011-10-01 Chunghwa Picture Tubes Ltd Automatic image adjusting device
TW201235977A (en) * 2011-02-25 2012-09-01 Altek Corp Image processing apparatus and method thereof

Also Published As

Publication number Publication date
JP2015164035A (ja) 2015-09-10
US20170213375A1 (en) 2017-07-27
KR20150091255A (ko) 2015-08-10
US10089770B2 (en) 2018-10-02
KR101747511B1 (ko) 2017-06-27
TW201530490A (zh) 2015-08-01
US20150221066A1 (en) 2015-08-06
JP6468865B2 (ja) 2019-02-13
CN104822016B (zh) 2018-04-17
CN104822016A (zh) 2015-08-05
US9659350B2 (en) 2017-05-23

Similar Documents

Publication Publication Date Title
TWI550549B (zh) 圖像處理裝置及圖像處理方法
JP5456159B2 (ja) 背景から前景の頭頂部を分離するための方法および装置
TWI651640B (zh) 在使用者介面上組織數位便箋
JP5210318B2 (ja) 画像処理装置、方法、および記憶媒体
EP3100208B1 (en) Note capture and recognition with manual assist
TWI526982B (zh) 區域分割方法、電腦程式產品及檢查裝置
WO2005055143A1 (ja) 人物顔の頭頂部検出方法及び頭頂部検出システム並びに頭頂部検出プログラム
TW201546699A (zh) 運用使用者介面上之提示的便箋擷取、辨識及管理
US11049303B2 (en) Imaging apparatus, and operation program and operation method for imaging apparatus
JP2006309405A (ja) メータ認識システム、メータ認識方法、およびメータ認識プログラム
WO2015196681A1 (zh) 一种图片处理方法及电子设备
JP4751886B2 (ja) 画像判定方法
JP6497030B2 (ja) 撮影システム、情報処理装置、撮影方法、プログラム、記憶媒体
WO2005055144A1 (ja) 人物顔のあご検出方法及びあご検出システム並びにあご検出プログラム
JP7110163B2 (ja) 画像処理装置、撮影装置、画像処理方法、及び画像処理プログラム
CN114363521B (zh) 图像处理方法、装置及电子设备
US11495010B2 (en) Image processing apparatus, imaging apparatus, image processing method, and image processing program
JP6150419B2 (ja) カメラおよびプログラム
KR20200029120A (ko) 듀얼 카메라를 이용한 배경 제거 사진 촬영 방법 및 컴퓨터 프로그램