TW201821967A - 影像處理裝置、方法以及電腦可讀取的記錄媒體 - Google Patents

Abstract

一種影像處理裝置、方法以及電腦可讀取的記錄媒體，在對輸入圖像進行放大顯示時，既能維持放大顯示，又能瀏覽未被用作輸出圖像的輸入圖像資料區域的資訊。影像處理裝置具備：特定區域設定部，從輸入圖像中設定特定區域；附加資訊設定部，設定附加資訊，所述附加資訊是與從所述輸入圖像除去所述特定區域以外的區域即非特定區域的至少一部分相關的資訊；以及顯示控制部，使所述特定區域及所述附加資訊作為輸出圖像而顯示於顯示部。通過能夠同時瀏覽經放大的特定區域的圖像與附加資訊，從而能夠較以往更有效地活用輸入圖像的資訊。

Description

影像處理裝置、方法以及電腦可讀取的記錄媒體

本發明是有關於一種將圖像放大顯示的影像處理裝置、方法、電腦可讀取的記錄媒體以及在有攝像機（camera）的可攜式裝置中安裝有具備望遠功能的光學設備的電子設備等。

以往，已知有一種安裝裝置，其將雙筒望遠鏡或望遠鏡等具備望遠功能的光學設備安裝於智慧型電話等帶攝像機的可攜式裝置（例如專利文獻1）。而且，已知有一種影像處理裝置，其進行因拍攝時的手抖等引起的拍攝圖像的畸變或模糊修正（例如專利文獻2）。 現有技術文獻

專利文獻 專利文獻1：日本專利特開2015-200700公報 專利文獻2：WO2014/069632公報 專利文獻3：WO2012/127618公報

[發明所欲解決之課題] 通過雙筒望遠鏡等的光學變焦（zoom）而放大的圖像具有畫質比數位變焦（digital zoom）好的優點，但必須由用戶（user）自身在瀏覽過程中手動進行倍率變更等操作，因此存在無法專心瀏覽的問題。另一方面，通過對圖像資料進行數位處理來將圖像放大的數位變焦儘管在畫質方面差于光學變焦，但能夠迅速且容易地進行倍率變更或者與場景相應的攝影模式的變更等。而且，有能夠在顯示畫面上顯示成為攝影輔助的告知等各種資訊的優點。

通過在智慧型電話等帶有具備數位變焦功能的攝像機的可攜式裝置上，安裝具備光學變焦式望遠功能的光學設備，能夠兼具光學變焦的畫質與數位變焦的操作性這兩種優點。

經光學設備光學變焦的圖像被輸入至可攜式裝置，進而，此輸入圖像（光學輸出圖像）在可攜式裝置上進行數位變焦時，使用者最終所瀏覽的輸出圖像是將輸入至可攜式裝置的輸入圖像（光學輸出圖像）的一部分切出而得的圖像。即，存在雖作為輸入圖像（光學輸出圖像）而輸入至可攜式裝置、但未被用作輸出圖像的圖像資料區域。但是，在以往的影像處理裝置中，不存在供使用者在瀏覽輸出圖像的狀態下掌握未被用作輸出圖像的圖像資料區域的資訊的手段。因此，存在無法有效活用輸入圖像資料中的資訊的問題。

例如設想下述場景：在對足球比賽等體育場景（sports scene）進行攝影時，使用可攜式裝置的攝像機的數位變焦來瀏覽以球（ball）為中心的放大圖像。此時，使用者正在瀏覽放大顯示在可攜式裝置的顯示畫面上的輸出圖像，因此為了掌握在未顯示於當前輸出圖像上的位置其他球員的移動如何，必須進行縮小（zoom out）操作（降低數位變焦的放大倍率或解除數位變焦）。此時存在下述問題，即，原本正注視的球附近的圖像資訊也會縮小，從而變得難以目測。

本發明是有鑑於此種問題而完成，其目的在於：在使用者繼續瀏覽輸出圖像的狀態下，從輸入圖像中獲取未作為當前的輸出圖像而顯示的區域的資訊以提供給使用者。

[解決課題之手段] 為了解決所述問題，採用以下手段。另外，後述的具體實施方式的說明及附圖中所使用的符號用括弧標注以供參考，但本發明的構成要素並不限定於此標注者。

第1發明是一種影像處理裝置，其包括： 顯示部（顯示部22、300）；輸入部（輸入部10、110），輸入圖像；特定區域設定部（切出圖像設定部13、173），從輸入至所述輸入部的輸入圖像中設定特定區域（切出資料區域52）；顯示控制部（顯示控制部20、180），使所述特定區域顯示於所述顯示部；附加資訊設定部（輔助圖像設定部16、176），設定附加資訊，所述附加資訊是與從所述輸入圖像除去所述特定區域以外的區域即非特定區域（非切出資料區域53）的至少一部分相關的資訊；以及附加資訊顯示控制部（顯示控制部20、180），使所述附加資訊顯示於所述顯示部，所述特定區域設定部（切出圖像設定部13、173）對應於所述輸入圖像的更新來更新所述特定區域，所述附加資訊設定部（輔助圖像設定部16、176）對應於所述輸入圖像的更新來更新所述附加資訊。 據此，使用者能夠在顯示部上確認從輸入圖像中設定的特定區域與附加資訊，所述附加資訊是與從輸入圖像中除去特定區域以外的區域即非特定區域的至少一部分相關的資訊。而且，通過對應於輸入圖像的更新來更新特定區域，並對應於輸入圖像的更新來更新附加資訊，從而能夠配合輸入圖像的更新來更新特定區域及附加資訊的顯示。由此，能夠在使用者繼續瀏覽輸出圖像的狀態下，從輸入圖像中獲取例如未作為當前的輸出圖像而顯示的區域的資訊來作為附加資訊，以提供給使用者。

而且，作為第2發明，也可構成下述影像處理裝置， 其是根據第1發明的影像處理裝置，其中 所述附加資訊顯示控制部（顯示控制部20、180）使所述附加資訊與所述特定區域（切出資料區域52）的位置關係對應地，使所述附加資訊顯示於所述顯示部。

而且，作為第3發明，也可構成下述影像處理裝置， 其是根據第1發明或第2發明的影像處理裝置，其中 所述附加資訊（圖示（icon）65）是與所述非特定區域（非切出資料區域53）中所含的物體（object）相關的資訊。

而且，作為第4發明，也可構成下述影像處理裝置， 其是根據第3發明的影像處理裝置，其中 所述附加資訊（圖示65）是與所述物體的位置相關的資訊。

而且，作為第5發明，也可構成下述影像處理裝置， 其是根據第3發明或第4發明的影像處理裝置，其中 所述物體是符合事先設定的特徵的物體。

而且，作為第6發明，也可構成下述影像處理裝置， 其是根據第3發明或第4發明的影像處理裝置，其中 所述物體是由使用者所指定的物體、或符合使用者所指定的特徵的物體。

而且，作為第7發明，也可構成下述影像處理裝置， 其是根據從第3發明至第6發明中選擇的任一發明的影像處理裝置，其中 所述附加資訊顯示控制部（顯示控制部20、180）基於從所述物體的位置直至所述特定區域（切出資料區域52）為止的距離，來決定是否使與所述物體對應的附加資訊（圖示65）顯示於所述顯示部（顯示部22、300）上。

而且，作為第8發明，也可構成下述影像處理裝置， 其是根據從第1發明至第7發明中選擇的任一發明的影像處理裝置，其中 所述附加資訊顯示控制部（顯示控制部20、180）使所述附加資訊（圖示65）在所述顯示部（顯示部22、300）上顯示於所述特定區域（切出資料區域52）的顯示區域的外側。

而且，作為第9發明，也可構成下述影像處理裝置， 其是根據從第1發明至第8發明中選擇的任一發明的影像處理裝置，其中 所述附加資訊是使非特定區域（非切出資料區域53）變形而得的圖像。

而且，作為第10發明，也可構成下述影像處理裝置， 其是根據第9發明的影像處理裝置，其中 所述附加資訊是根據距所述特定區域（切出資料區域52）的距離使非特定區域（非切出資料區域53）變形的圖像。

而且，作為第11發明，也可構成下述影像處理裝置， 其是根據從第1發明至第10發明中選擇的任一發明的影像處理裝置，其中 所述特定區域設定部（切出圖像設定部13、173）對所述特定區域（切出資料區域52）的更新週期短於所述附加資訊設定部（輔助圖像設定部16、176）對所述附加資訊（圖示65）的更新週期。

而且，作為第12發明，也可構成下述影像處理裝置， 其是根據從第1發明至第11發明中選擇的任一發明的影像處理裝置，其中 所述特定區域設定部（切出圖像設定部13、173）是以包含物件物體的方式來設定所述特定區域（切出資料區域52），所述物件物體是由使用者所選擇的物體、或符合使用者所指定的條件的物體。

而且，作為第13發明，也可構成下述影像處理裝置， 其是根據從第1發明至第11發明中選擇的任一發明的影像處理裝置，其中 所述特定區域設定部（切出圖像設定部13、173）在通過用戶輸入而選擇了所述附加資訊（圖示65）的情況下，以包含與所述附加資訊對應的物體作為物件物體的方式來設定所述特定區域（切出資料區域52）。

而且，作為第14發明，也可構成下述影像處理裝置， 其是根據第12發明或第13發明的影像處理裝置，其中 所述特定區域設定部（切出圖像設定部13、173）對應於所述輸入圖像的更新來更新所述特定區域（切出資料區域52），以包含所述物件物體。

而且，作為第15發明，也可構成下述影像處理裝置， 其是根據第14發明的影像處理裝置，其中 所述特定區域設定部（切出圖像設定部13、173）對應於所述輸入圖像的更新來使所述特定區域（切出資料區域52）的放大顯示率發生變化，以包含所述物件物體。

而且，作為第16發明，也可構成下述影像處理裝置， 其是根據從第12發明至第14發明中選擇的任一發明的影像處理裝置，還包括： 拍攝部（攝像機23、拍攝部500）；以及 告知部，促使用戶移動所述拍攝部的攝影方向，以使包含所述物件物體的特定區域（切出資料區域52）靠近所述輸入圖像的中心。

而且，作為第17發明，也可構成下述影像處理裝置， 其是根據從第12發明至第15發明中選擇的任一發明的影像處理裝置，還包括： 資訊顯示控制部（顯示控制部20、180），當所述物件物體不再包含在所述輸入圖像中時，使此意旨顯示在所述顯示部（顯示部22、300）上。

第18發明是一種影像處理裝置， 其具備可顯示輸入圖像的顯示部（顯示部22、300），且所述圖像顯示裝置包括： 亮度調整部（處理部100、顯示控制部20、180），當所述輸入圖像中包含亮度滿足特定條件的物體時，調整所述輸入圖像的亮度。 此時，所述亮度調整部也可使與所述物體對應的圖像區域的亮度下降。

第19發明是一種影像處理裝置，其包括： 拍攝部（攝像機23、拍攝部500）；顯示部（顯示部22、300）；計算部（處理部100），基於所述拍攝部的位置資訊來計算太陽的方向；以及顯示控制部（顯示控制部20、180），使所述顯示部顯示警告不要使所述拍攝部朝向所述經計算的太陽的方向的資訊。 而且，作為其他發明，也可構成下述影像處理裝置， 其是根據第19發明的影像處理裝置，還包括： 位置計算部（處理部100），使用衛星定位系統（全球定位系統（Global Position System，GPS）等）與慣性導航系統（INS（Inertial Navigation System）等）中的至少任一種來計算所述拍攝部的位置， 所述計算部基於與由所述位置計算部所計算的位置對應的位置資訊，來計算太陽的方向。

第20發明是一種影像處理裝置，其包括： 顯示部（顯示部22、300）；拍攝部（攝像機23、拍攝部500），拍攝圖像；輸入部（輸入部10、110），輸入由所述拍攝部所拍攝的圖像；顯示控制部（顯示控制部20、180），將輸入至所述輸入部的輸入圖像放大並顯示於所述顯示部；以及修正指標值設定部（移動判定部11、171、模糊修正部15、175），檢測所述拍攝部的移動，設定修正指標值， 所述顯示控制部（顯示控制部20、180）對應於所述輸入圖像的更新，基於所述修正指標值來更新所述顯示。

而且，作為第21發明，也可構成下述影像處理裝置， 其是根據第20發明的影像處理裝置，其中 所述顯示控制部（顯示控制部20、180）在所述修正指標值大於第1閾值的情況下，以降低所述顯示的放大率的方式進行更新。

而且，作為第22發明，也可構成下述影像處理裝置， 其是根據第20發明或第21發明的影像處理裝置，其中 所述顯示控制部（顯示控制部20、180）在所述修正指標值小於第2閾值的情況下，比所述修正指標值大於第2閾值的情況加強模糊的抑制而更新所述顯示。

而且，作為第23發明，也可構成下述影像處理裝置， 其是根據第20發明的影像處理裝置，其中 所述修正指標值設定部（移動判定部11、171、模糊修正部15、175）基於輸入圖像中的放大顯示範圍的位置來使所述修正指標值發生變化。

而且，作為第24發明，也可構成下述影像處理裝置， 其是根據第20發明的影像處理裝置，其中 所述修正指標值設定部（移動判定部11、171、模糊修正部15、175）基於輸入圖像中的物體的位置來使所述修正指標值發生變化。

而且，作為第25發明，也可構成下述影像處理裝置， 其是根據第20發明的影像處理裝置，其中 關於由所述拍攝部連續拍攝的輸入圖像中的各個特定區域（切出資料區域52），在存在包含預定物體的特定區域與不含預定物體的特定區域的情況下，當預定物體的特徵滿足預定條件時，將包含預定物體的特定區域替換為不含預定物體的特定區域。

而且，作為第26發明，也可構成下述影像處理裝置， 其是根據第20發明的影像處理裝置，其中 關於由所述拍攝部連續拍攝的輸入圖像中的各個特定區域（切出資料區域52），在存在包含預定物體的特定區域與不含預定物體的特定區域的情況下，當預定物體的特徵滿足預定條件時，將包含預定物體的特定區域中的所述預定物體的區域，替換為不含預定物體的特定區域的對應區域。

而且，作為第27發明，也可構成下述影像處理裝置， 其是根據第20發明的影像處理裝置，其中 可安裝與所述拍攝部（攝像機23、拍攝部500）的鏡頭（lens）不同的外部鏡頭（光學變焦部24、550），且具備：安裝資訊檢測部（處理部100），在安裝有所述外部鏡頭的狀態下拍攝的輸入圖像中，對用於確定所述外部鏡頭（光學變焦部24、550）的安裝位置或安裝角度的資訊進行檢測。

而且，作為第28發明，也可構成下述影像處理裝置， 其是根據第27發明的影像處理裝置，其具備： 判定部（處理部100），基於由所述安裝資訊檢測部（處理部100）所檢測出的資訊，來判定所述外部鏡頭（光學變焦部24、550）是否已適當地安裝，且，所述影像處理裝置使基於所述判定部的判定結果的資訊顯示於所述顯示部（顯示部22、300）。

而且，作為第29發明，也可構成下述影像處理裝置， 其是根據第27發明的影像處理裝置，其具備： 輸入圖像修正部（處理部100），基於由所述安裝資訊檢測部（處理部100）所檢測出的資訊來修正所述輸入圖像。

第30發明是一種影像處理方法，用於執行影像處理，所述影像處理方法包括： 輸入步驟，輸入圖像；特定區域設定步驟（S250），從在所述輸入步驟輸入的輸入圖像中設定特定區域；顯示控制步驟，使所述特定區域顯示於顯示部；附加資訊設定步驟（S350），設定附加資訊，所述附加資訊是與從所述輸入圖像除去所述特定區域以外的區域即非特定區域的至少一部分相關的資訊；以及附加資訊顯示控制步驟，使所述附加資訊顯示於所述顯示部， 所述特定區域設定步驟包含對應於所述輸入圖像的更新來更新所述特定區域的步驟， 所述附加資訊設定步驟包含對應於所述輸入圖像的更新來更新所述附加資訊的步驟。

第31發明是一種程式，用於使電腦執行影像處理，所述程式使電腦執行下述步驟，即： 輸入步驟，輸入圖像；特定區域設定步驟（S250），從在所述輸入步驟輸入的輸入圖像中設定特定區域；顯示控制步驟，使所述特定區域顯示於顯示部（顯示部22、300）；附加資訊設定步驟（S350），設定附加資訊，所述附加資訊是與從所述輸入圖像除去所述特定區域以外的區域即非特定區域的至少一部分相關的資訊；以及附加資訊顯示控制步驟，使所述附加資訊顯示於所述顯示部， 所述特定區域設定步驟包含對應於所述輸入圖像的更新來更新所述特定區域的步驟， 所述附加資訊設定步驟包含對應於所述輸入圖像的更新來更新所述附加資訊的步驟。

第32發明是一種影像處理方法，用於執行影像處理，所述影像處理方法包括： 拍攝步驟，通過拍攝部來拍攝圖像；輸入步驟，輸入所述所拍攝的圖像；顯示控制步驟，將在所述輸入步驟輸入的輸入圖像放大並使其顯示於顯示部（顯示部22、300）；以及修正指標值設定步驟（S150、S300），檢測所述拍攝部的移動，並設定修正指標值， 所述顯示控制部步驟包含下述步驟，即，對應於所述輸入圖像的更新，基於所述修正指標值來更新所述顯示。

第33發明是一種程式，用於使電腦執行影像處理，所述程式使電腦執行下述步驟，即： 拍攝步驟，通過拍攝部來拍攝圖像；輸入步驟，輸入所述所拍攝的圖像；顯示控制步驟，將在所述輸入步驟輸入的輸入圖像放大並使其顯示於顯示部（顯示部22、300）；以及修正指標值設定步驟（S150、S300），檢測所述拍攝部的移動，並設定修正指標值， 所述顯示控制部步驟包含下述步驟，即，對應於所述輸入圖像的更新，基於所述修正指標值來更新所述顯示。 而且，作為其他發明，也可構成一種記錄媒體， 其記錄有所述任一發明的程式且電腦可讀取。

以下，使用附圖來說明適用本發明的較佳實施方式的一例。另外，在附圖的說明中，有時對相同要素標注相同的符號並省略重複說明。而且，附圖的尺寸比率未必與所說明者一致。而且，可適用本發明的形態當然不限定於以下說明的實施方式。

[1.影像處理裝置] 本實施方式的影像處理裝置是顯示經放大顯示的輸出圖像，且將輸出圖像中未顯示的區域且輸入圖像中存在的區域的資訊輸出至顯示部的裝置。例如，本實施方式的影像處理裝置是在多個圖像的連續拍攝或視頻拍攝時採用。

本實施方式的影像處理裝置例如適合搭載於行動電話、數位攝像機、個人數位助理（Personal Digital Assistant，PDA）等資源（resource）有限的移動終端中，但並不限於這些，例如也可搭載於通常的電腦系統（computer system）中。

[1-1.結構及原理] （圖像名的稱呼） 本實施方式所記載的輸入圖像50是指由影像處理裝置的輸入部所輸入的圖像，當將光學變焦部連接於影像處理裝置的攝像機而使用光學變焦功能時，經光學放大的圖像經由攝像機而輸入至影像處理裝置。

以下的說明及圖所示的輸入圖像50是輸入圖像資料、輸入幀、或光學（optical）輸出圖像的概念圖。而且，輸出圖像60是指顯示在影像處理裝置的顯示部上，使用者所瀏覽的圖像。在未使用數位變焦的情況下，輸入圖像50（光學輸出圖像）作為輸出圖像60而顯示於顯示部上。在使用數位變焦時，輸出圖像60成為將輸入圖像50（光學輸出圖像）通過數位變焦功能而放大的圖像。本實施方式中，若未特別說明，則設為不使用光學變焦來進行說明，但明確的是，即使在使用光學變焦的情況下，仍起到同樣的效果。

而且，本實施方式的輸出圖像60包含主（main）圖像與子（sub）圖像。在對輸出圖像進行放大顯示的情況下，主圖像成為顯示將輸入圖像50的資料的一部分區域（以下稱作切出資料區域52）切取的資訊的圖像，因此以下的說明中將主圖像稱作切出圖像62。子圖像是顯示輸入圖像50的資料內的切出資料區域52以外的區域（以下稱作非切出資料區域53）的資訊的圖像，以下稱作輔助圖像63。另外，由於此含義，輔助圖像63也可稱作附加資訊圖像、輔助資訊圖像等。

圖1是表示本實施方式中的影像處理裝置1的功能結構的一例的框圖。影像處理裝置1具備輸入部10與顯示控制部20。顯示控制部20具備移動判定部11、影像映射生成部12、切出圖像（主圖像）設定部13、數位變焦控制部14、模糊修正部15及輔助圖像（子圖像）設定部16。它們是影像處理裝置1的未圖示的處理部（處理裝置）所具有的功能部（功能塊），處理部是具備中央處理器（Central Processing Unit，CPU）或數位訊號處理器（Digital Signal Processor，DSP）等處理器或專用積體電路（Application Specific lntegrated Circuit，ASIC）等積體電路而構成。

輸入部10具有輸入由攝像機23所拍攝的圖像（以下稱作“拍攝圖像”）、來自移動感測器25的輸出資訊及從操作部26輸出的資訊的功能。拍攝圖像從輸入部10輸出並保存至儲存部21中。而且，輸入部10具有將輸入圖像（以下也有時稱作輸入幀圖像）的圖像資料輸出至移動判定部11及影像映射生成部12的功能。

移動感測器25是內置或附設於攝像機23的感測器，對用戶移動攝像機23時的攝像機23的移動資訊進行檢測。移動感測器25是具有檢測三軸加速度的加速度感測器、檢測三軸角速度的角速度感測器（陀螺感測器（gyro sensor））、將這些感測器封裝化的慣性測量裝置（Inertial Measurement Unit，IMU）等感測器單元而構成。移動感測器25檢測加速度或角速度來作為移動資訊，並將所檢測出的移動資訊輸出至移動判定部11。通過使用由移動感測器25所檢測的角速度或加速度，能夠檢測攝像機23的動向及位移。移動感測器25的輸出值經由輸入部10而輸出至移動判定部11及模糊修正部15。

光學變焦部24是利用夾具等可裝卸地連接於攝像機23的、具有望遠功能的光學望遠裝置。

顯示控制部20具有下述功能，即，使用儲存在儲存部21中的輸入幀圖像的資訊、由移動感測器25所檢測的攝像機23的移動資訊、從操作部26輸入的使用者的操作資訊，來控制顯示控制部20內部所設的移動判定部11、影像映射生成部12、數位變焦控制部14、模糊控制部15、切出圖像設定部13及輔助圖像設定部16，並且控制顯示部22的顯示。

移動判定部11使用移動感測器25的輸出資訊或輸入幀圖像資料，來判定攝像機23的移動度。或者，移動判定也可使用當前的輸入幀圖像與在此輸入幀圖像之前剛剛或以前拍攝的過去的輸入幀的圖像資料來進行判定。而且，也可使用移動感測器25的輸出資訊與輸入幀圖像資料這兩者。

作為用戶移動攝像機23的動作，有拿著攝像機的手的顫動及手抖等用戶無意識的動作與用戶有意識的動作。作為用戶有意識的動作，設想下述兩種動作，即：為了追隨所注視的被攝物的移動而移動攝像機23的搖移俯仰（pan tilt）動作；以及為了變更要注視的被攝物或場景而相對較大地移動攝像機23的動作。通過立足於這些特徵，從而能夠根據攝像機23的移動大小的程度等，來判定用戶所進行的動作是搖移俯仰動作，還是被攝物變更動作等。

具體而言，例如相對於移動感測器25的輸出值，將後述的攝像機的移動度指標即第1閾值至第3閾值這三個閾值設定為第3閾值＞第2閾值＞第1閾值。並且，只要將移動感測器25的輸出值為第3閾值以上的情況判定為被攝物變更動作，將為第2閾值以上且小於第3閾值的情況判定為搖移俯仰動作即可。而且，只要在小於第1閾值的情況下，判定為攝像機未移動（固定），將為第1閾值以上且小於第2閾值的情況判定為稍稍移動（微動）即可。

影像映射生成部12使用輸入圖像50的圖像資料，通過物體識別、人物識別、人臉識別等公知的方法，來檢測輸入圖像50內的物體。而且，影像映射生成部12具有進行使用物體的顏色資訊的檢測的功能。所檢測出的物體的位置資訊被輸出至儲存部21，並對應於進行物體檢測的每個輸入幀編號而作為影像映射資料予以保存。此時，優選對所有輸入幀進行檢測，但此時，資料處理的負載會變大，因此也可每隔預定幀間隔、例如每隔10幀進行檢測。

使用物體的顏色資訊的檢測是基於使用者事先登記的顏色資訊來進行。基於顏色資訊的檢測方法例如專利文獻3（WO2012/127618公報）中所記載般，可通過評價顏色的移動程度來進行。具體而言，首先，獲取圖像幀間的畫素的移動度及圖像幀中所含的畫素的顏色。繼而，基於移動度，針對每種顏色來計算表示顏色移動程度的評價得分（score），並基於所計算的評價得分來檢測運動物體。此處，對於評價得分的計算，可針對每種顏色來累積所述圖像幀內的畫素數及此畫素的移動度，並基於圖像幀內的累積畫素數及累積移動度來計算此顏色的評價得分。而且，通過針對每種顏色來累積畫素的位置資訊，從而能夠基於每種顏色的累積畫素數及累積位置資訊來確定運動物體的位置。以上，對專利文獻3中揭示的方法進行了說明，但可適用於本實施方式的檢測方法並不限於此，也可使用與專利文獻3不同的方法。例如，也可基於事先設定好顏色資訊的支援向量機（Support Vector Machine，SVM）或深度學習（Deep Learning，DL）來進行。而且，也可僅對具有與進行體育轉播等的播放的廣播台所發佈或售賣的資訊相適合的顏色資訊的物體進行檢測。

切出圖像設定部13設定與進行輸出圖像的放大顯示時的切出圖像的顯示相關的資訊。如上所述，輸出圖像包含切出圖像（主圖像）與輔助圖像（子圖像）。切出圖像顯示的設定資訊被輸出至顯示部22。

數位變焦控制部14具有對從攝像機23輸入至輸入部10的圖像的數位變焦倍率進行控制的功能。數位變焦倍率是由用戶經由操作部26而設定為例如2倍，並作為數位變焦倍率資訊而從數位變焦控制部14輸出至切出圖像設定部13，以用於切出圖像顯示的設定。

模糊修正部15具有排除手抖或捲簾快門（rolling shutter）畸變等問題而輸出幀圖像的功能。對於模糊修正處理，可適用公知的修正處理方法，例如可使用專利文獻2（WO2014/069632公報）中揭示的方法。在專利文獻2的影像處理裝置中，將圖像變形的移動分為捲簾快門畸變成分、平行移動成分或旋轉成分中的至少一者、與其他成分這三種來處理，分別獨立地進行計算。例如，可將應去除的捲簾快門成分從進行手抖去除等的修正對象中除外。由此，能夠使修正的計算成本或修正濾波器（filter）的設計變得容易。進而，對於平行移動成分或旋轉成分、與包含輔助矩陣的成分，分別利用不同的式來計算，因此能夠使強烈反映用戶意圖的平行移動成分或旋轉成分、與其他的剩餘成分不相互關聯而獨立地修正。即，對於強烈反映用戶意圖的移動成分與除此以外的移動成分，能夠利用不同的濾波器來進行修正，因此既能適當地追隨攝像機的移動，又能兼顧消除因用戶無意識的移動造成的問題。

以下，對專利文獻2所揭示的影像處理裝置及影像處理方法進行說明。 將基準幀圖像frame^i-1 與作為處理物件的幀圖像frameⁱ 的移動資料（移動向量）設為移動資料P。而且，將使基準幀圖像frame^i-1 的切出區域K^i-1 與輸出幀圖像out-frame^i-1 相關聯的轉換式（第1投影矩陣）設為P_dst ^i-1 。此時，使幀圖像frameⁱ 的切出區域Kⁱ 與輸出幀圖像out-frameⁱ 相關聯的轉換式（第2投影矩陣）P_dst ⁱ 可使用移動資料P與第1投影矩陣P_dst ^i-1 ，而以P_dst ⁱ =P・P_dst ^i-1 （式1）來算出。此處，在式1的狀態下，完全成為將切出區域固定的模式。但是，必須相對於用戶有意識的移動（例如攝像機的平行移動或搖移俯仰）而追隨，並去除手抖等問題。例如使用旁通濾波器（bypass filter），對用戶有意識的移動及成為問題的移動進行濾波。此時，第2投影矩陣P_dst ⁱ 為P_dst ⁱ =HPF（P・P_dst ^i-1 ）（式2）。此處，HPF為旁通濾波器。即，使手抖等的高頻成分通過而使畫面固定，對於使用者有意識的移動即低頻成分進行裁切（cut）而使畫面追隨於使用者的移動。

但是，在移動資料P中包含捲簾快門畸變成分。所謂捲簾快門畸變，是指當攝像機相對於被攝物而相對地沿水準方向移動時，被攝物朝水準方向畸變為平行四邊形狀，當攝像機沿垂直方向移動時，如同被攝物沿垂直方向放大/縮小般變形。對於此捲簾快門畸變成分，必須始終予以修正，因此是應始終通過旁通濾波器的成分。即，對於捲簾快門畸變成分，無須適用旁通濾波器。因而，必須構建下述架構，即，在使捲簾快門畸變成分分離的狀態下，相對於使用者有意識的移動而追隨，並去除手抖等問題。詳細說明在專利文獻2中有所記載，因此予以省略，但無捲簾快門畸變的系統的第2投影矩陣S_i 是以S_i =HPF（N・S_i-1 ）（式3）來表示。而且，第2投影矩陣P_dst ⁱ 是以P_dst ⁱ =D_i ・S_i =D_i ・HPF（N・S_i-1 ）（式4）來表示。此處，N是無捲簾快門畸變的系統中的移動資料，S_i-1 是使基準幀圖像frame^i-1 的無捲簾快門畸變的圖像即RS_frame^i-1 的切出區域、與輸出幀圖像out-frameⁱ 相關聯的向量（投影矩陣）。

第1計算部計算包含捲簾快門畸變成分的第1矩陣D_i 。攝像機的移動速度越快，則畸變量越大，因此捲簾快門畸變能夠使用攝像機的移動速度來推定。攝像機的移動速度能夠使用幀間的平行移動量來推定。因而，第1計算部例如基於移動資料P中所含的平行移動量，來計算包含捲簾快門畸變成分的第1矩陣D_i 。通過計算第1矩陣D_i ，能夠將作為處理物件的幀圖像frameⁱ 轉換為無捲簾快門畸變的系統的圖像RS_frameⁱ 。由此，也能夠使用移動資料P及第1矩陣D_i ，來匯出無捲簾快門畸變的系統中的移動資料N。通過計算移動資料N，能夠僅關於未考慮捲簾快門畸變的N・S_i-1 來適用旁通濾波器。

然而，由於N・S_i-1 為矩陣，因此若直接在N・S_i-1 的狀態下適用旁通濾波器，則處理有可能變得複雜。因此，將N・S_i-1 的移動成分分割為反映了用戶意圖的攝像機的移動、與除此以外的移動成分來處理。第2計算部算出包含反映了用戶意圖的攝像機移動的第2矩陣。輔助矩陣計算部算出包含除此以外的移動的輔助矩陣。

第2計算部為了算出包含反映了用戶意圖的攝像機移動的第2矩陣，而算出用戶移動矩陣Ac。用戶移動矩陣Ac包含將朝向與拍攝方向正交的方向的平行移動成分、及以拍攝方向為基準的旋轉成分中的至少一者。第2計算部修正用戶移動矩陣Ac而算出第2矩陣。第2計算部具有下述功能，即，關於可能是用戶有意識的攝像機移動，去除因手抖等引起的高頻成分。第2計算部使用旁通濾波器來去除因攝影技巧（camera work）引起的頻率成分。 第2計算部算出用戶移動矩陣Ac，並對用戶移動矩陣Ac進行修正而算出第2矩陣。例如，利用旁通濾波器進行修正而得到第2矩陣。移動矩陣Ac包含朝向與拍攝方向正交的方向的平行移動成分、及以拍攝方向為基準的旋轉成分的至少一者。第2計算部能夠根據移動資料P來算出使用者移動矩陣Ac。具體而言，第2計算部例如使用使輸出幀圖像out-frame投影至第1幀圖像的已知的第1投影矩陣P_dst ^i-1 與移動資料P，來確定幀圖像frame的中心座標。然後，第2計算部算出使輸出幀圖像out-frame的座標（x，y）平行移動及旋轉，並投影至幀圖像frame的中心（X，Y）的用戶移動矩陣Ac。對於平搖（yaw）成分、橫搖（roll）成分及縱搖（pitch）成分，例如能夠根據中心附近的移動量與焦點距離而在一定程度上準確地推測。而且，輔助矩陣計算部使用移動資訊N、第1矩陣D_i 及過去的輔助矩陣，算出包含第1矩陣D_i 及第2矩陣中未包含的移動成分的輔助矩陣。 第2矩陣可設為下述矩陣，即，當用戶移動矩陣Ac主要包含旋轉成分時，對包含平搖成分yi、縱搖成分pi及橫搖成分ri的用戶移動矩陣Ac適用旁通濾波器。輔助矩陣可設為下述矩陣，即，對包含第1矩陣及第2矩陣中未包含的成分（li）的移動矩陣Bc適用旁通濾波器。使輸出幀圖像out-frameⁱ 與輸入幀圖像frameⁱ 相關聯的第2投影矩陣P_dst ⁱ 是使用第1矩陣D_i 、第2矩陣及輔助矩陣，而以P_dst ⁱ =D_i ・HPF（yi）・HPF（pi）・HPF（ri）・HPF（li）（式5）來表示。

以上，對專利文獻2所揭示的方法進行了說明，但可適用於本實施方式的畸變/手抖修正的方法並不限於此，也可使用與專利文獻2不同的方法及計算式。即，只要是如下所述的方法即可：推定呈現模糊的要素即平行/旋轉成分等，對於用於修正的濾波器，根據狀況來改變係數而適用，以進行畸變/模糊修正。

輔助圖像設定部16具有設定與輔助圖像的顯示相關的資訊的功能。顯示於輔助圖像的資訊，例如是以模仿所檢測的物體的圖示等來顯示。在進行基於顏色資訊的物體識別的情況下，較佳的是，對應於所檢測的位置來顯示標注有所檢測的物體顏色的圖示等。輔助圖像顯示的設定資訊被輸出至顯示部22。

顯示部22使用從切出圖像設定部13及輔助圖像設定部16輸出的設定資訊，顯示包含切出圖像及輔助圖像的輸出圖像。

光學變焦部24是具備望遠鏡頭的光學設備，利用夾具等連接於攝像機23。 另外，以下的說明中，若未特別說明，則設為未使用光學變焦部24的光學變焦的狀態來說明，但明確的是，即使在使用光學變焦的情況下，仍起到同樣的效果。

（輔助圖像顯示例） 圖2（1A）及圖2（1B）與圖2（2A）及圖2（2B）是對未使用輔助圖像顯示的以往技術的問題進行說明的圖。圖2（3A）及圖2（3B）是對本實施方式的輔助圖像顯示的一形態及其效果進行說明的圖。圖2（1A）至圖2（3B）的說明中，假設無攝像機23的移動，而不考慮畸變修正（手抖畸變修正或捲簾快門畸變修正）。

首先，使用圖2（1A）及圖2（1B）與圖2（2A）及圖2（2B），對未使用輔助圖像顯示的以往技術中的輸入圖像50的圖像資料與輸出圖像的關係進行說明。 圖2（1A）及圖2（1B）是表示未使用數位變焦功能的情形（數位變焦倍率1倍）時的、輸入圖像的圖像資料與輸出圖像的關係的一例。當未使用數位變焦功能時，圖2（1A）的輸入圖像50的圖像資料區域51整體顯示在圖2（1B）的輸出圖像60的顯示區域61中。即，如圖2（1A）及圖2（1B）所示，輸入圖像50的圖像資料區域51中所含的被攝物K及被攝物L顯示在輸出圖像60的顯示區域61中。

接下來，圖2（2A）及圖2（2B）表示從圖2（1A）及圖2（1B）所示的數位變焦倍率1倍的狀態，將輸出圖像60變更為數位變焦倍率2倍的狀態的輸入圖像50的圖像資料與輸出圖像的關係。 在圖2（1B）的輸出圖像60中，位於顯示區域61中央的被攝物K在圖2（2B）中被放大為2倍而顯示。另一方面，顯示在顯示區域61的端部附近的被攝物L在圖2（2B）的輸出圖像60中不再被顯示。

通過將數位變焦倍率設為2倍，從而圖2（2B）的輸出圖像60成為將圖2（2A）的輸入圖像50的圖像資料的一部分切出而放大為2倍而得的圖像。即，圖2（2A）的輸入圖像50的切出資料區域52經數位處理而放大為2倍，圖2（2B）的輸出圖像60成為切出圖像62。 此處，從圖2（2A）的輸入圖像50的圖像資料區域51除去切出資料區域52後的非切出資料區域53成為雖作為輸入圖像50的圖像資料而存在，但未顯示在圖2（2B）的輸出圖像60上的區域。因此，在對輸出圖像60進行放大顯示的情況下，使用者將無法再瀏覽非切出資料區域53的資訊。即，之所以在圖2（1B）的輸出圖像60中所顯示的被攝物L在圖2（2B）的輸出圖像60中不再顯示，是因為被攝物L位於非切出資料區域53內。為了從此狀態再次瀏覽非切出資料區域53的資訊，必須解除數位變焦而中止放大顯示。以上是未使用輔助圖像顯示的以往技術中的輸入圖像50的圖像資料與輸出圖像60的顯示範圍的關係的說明。

接下來，使用圖2（3A）及圖2（3B），對適用了本實施方式的輔助圖像顯示時的、輸入圖像50的圖像資料與輸出圖像60的關係進行說明。被攝物及數位變焦的倍率與圖2（2B）相同。 與圖2（1B）同樣，在圖2（1B）的輸出圖像60中位於顯示區域61中央的被攝物K在圖2（3B）中被放大為2倍而顯示。另一方面，在圖2（1B）的輸出圖像60中位於顯示區域61的端部附近的被攝物L，在圖2（3B）的輔助圖像63內作為模仿被攝物L的圓形圖示65而示意性地顯示。圖2（3B）的輸出圖像60的切出圖像62是將圖2（3A）的輸入圖像50的切出資料區域52放大為2倍而得的圖像。另外，若通過基於顏色資訊的物體識別來檢測被攝物L，並將所檢測出的被攝物L的顏色標注於所述圓形圖示65而顯示等，則更為有效。 並且，圖2（3B）的輔助圖像63被設定為從輸出圖像60去除切出圖像62後的區域，作為顯示圖2（3A）的輸入圖像50的非切出資料區域53的資訊的區域發揮功能。

如以上所說明般，通過使用本實施方式的影像處理裝置1，從而使用者通過瀏覽圖2（3B）的輸出圖像60，既能瀏覽被放大顯示為主圖像即切出圖像62的被攝物K，又能通過目測輔助圖像63而獲得未伴隨放大顯示而顯示的被攝物L的位置資訊、顏色資訊等。即，通過輸出圖像60具有切出圖像62與輔助圖像63，從而使用者能夠較以往更多地掌握輸入圖像資料中原本所含的資訊。

[1-2.處理] 使用圖3與圖4（1）及圖4（2），對包含切出圖像（主圖像）及輔助圖像（子圖像）的輸出圖像的顯示處理進行說明。圖3是表示顯示控制處理流程的一例的流程圖。圖4（1）及圖4（2）是對足球比賽中的一場景進行拍攝而得的圖像，圖4（1）是輸入圖像資料，圖4（2）與圖2（3B）同樣，表示將數字變焦設為2倍，且使輸出圖像包含切出圖像（主圖像）及輔助圖像（子圖像）而顯示的示例。 另外，為了簡化說明，使用圖4（1）及圖4（2）的顯示例來說明攝像機23的位置被固定的狀態、且作為被攝物的足球X1、黑色隊服的球員Y1～Y4及白色隊服的球員Z1～Z4（以下稱作球X1、黑Y1～Y4及白Z1～Z4）未移動的狀態，即相當於定點攝影時的靜止圖像的狀態。

顯示控制處理是由影像處理裝置1的顯示控制部20依照儲存在儲存部21中的顯示控制程式來執行。此顯示控制處理是通過由使用者啟動影像處理裝置1的應用程式（application）來執行。 當啟動顯示控制程式時，首先，作為影像映射生成處理，影像映射生成部12從輸入圖像資料，針對每個輸入幀來執行基於使用者事先登記的顏色資訊的物體檢測，而生成影像映射資料（S15）。所謂影像映射資料，是指標對每個輸入幀而記錄有各檢測物體的位置資訊（輸入圖像資料內的座標資訊）的資料。若以圖4（1）及圖4（2）的示例來說明，則使用者事先登記的顏色資訊是球或隊服的顏色，影像映射資料是針對每個輸入幀而記錄有球X1、黑Y1～Y4及白Z1～Z4的位置資訊的資料。而且，較佳的是，與輸入幀相關聯地記錄數位變焦倍率。

另外，物體檢測及位置資訊的儲存也可每隔預定的輸入幀間隔來進行。而且，用於影像映射資料的各物體的位置（座標）例如只要設定包圍各物體的矩形，並設為此矩形的中心點即可。當在物體檢測中進行輪廓提取時，也可使用將所述提取的輪廓用作包圍各物體的圖形。

繼而，移動判定部11使用移動感測器25的輸出值，根據預先設定的多個閾值來判定攝像機23的移動度，並將判定結果輸出至數位變焦控制部14及模糊修正部15。圖4（1）及圖4（2）的示例中，由於攝像機23被固定，因此判定為攝像機23未移動，前進至下個處理。

數位變焦控制部14將經由操作部26而輸入的數位變焦倍率的設定值輸出至切出圖像設定部13。而且，數位變焦控制部14具有下述功能，即，在由移動判定部11判定為攝像機23發生了移動時，根據所判定的移動等級（level）來調整數位變焦功能。

模糊修正部15例如使用所述專利文獻2所揭示的方法來修正手抖等的移動。而且，模糊修正部15具有下述功能，即，在由移動判定部11判定為攝像機23發生了移動時，根據所判定的移動等級，來變更修正等級或解除修正。

接下來，切出圖像設定部13執行進行切出圖像62的設定的切出圖像設定處理（S25）。攝像機23的移動資訊及數位變焦倍率資訊分別從移動判定部11及數位變焦控制部14輸出至切出圖像設定部13。圖4（2）的示例中，切出圖像62的中心位置被設定為與輸出圖像60的中心位置一致。而且，切出圖像62的顯示尺寸是根據顯示部22的尺寸、使用者所設定的數字變焦倍率（圖4（1）及圖4（2）中為2倍）及輸出圖像60與切出圖像62的尺寸比率的設定值而算出。切出圖像62的設定值被輸出至顯示部22。切出圖像62是對應於每個輸入幀而即時（real time）地更新。 或者，也可在設定好輔助圖像63的尺寸後，輔助圖像設定部16將輔助圖像63的設定值輸出至切出圖像設定部13，切出圖像設定部13根據輔助圖像63的顯示尺寸及顯示部22的尺寸來設定切出圖像62的顯示尺寸。

繼而，輔助圖像設定部16執行進行輔助圖像63的設定的輔助圖像設定處理（S35）。輔助圖像的顯示尺寸是根據顯示部22的尺寸及從切出圖像設定部13輸出的切出圖像62的尺寸而算出並設定。 此處，輔助圖像設定部16基於保存在儲存部21中的影像映射資料（物體的位置資訊）及事先設定的顏色資訊，來設定圖示65的顯示位置、尺寸、顏色等。顯示控制部20使用切出圖像62及輔助圖像63的設定值，在顯示部22上顯示輸出圖像60。 另外，在對所有輸入幀進行物體檢測及影像映射資料的保存時，輔助圖像63可與切出圖像62同樣地，針對所有的每個輸入幀而即時更新。另外，輔助圖像63的更新未必需要對所有的每個輸入幀來進行，也可設定為每隔預定的幀間隔來更新。此時，例如只要配合進行物體檢測的幀間隔，而每隔預定幀間隔、例如每隔10幀來進行輔助圖像63的更新即可。

圖4（2）的示例中，在各圖示65上分別附加有對應的球員隊服的顏色資訊。例如可掌握黑Y3是位於切出圖像62的區域外且左下方向。而且，黑Y4是位於切出圖像62的區域外且右上方向。而且，白Z3是位於切出圖像62的區域外且左方向。而且，白Z4是位於切出圖像62區域外且右下方向。而且，各圖示65的圖形大小（此時為圓的直徑）是與從切出圖像62的中央或切出圖像62最近的端部算起的距離對應的大小，且設定為，距離越近則顯示得越大。例如對於白Z3與黑Y3設定為，使白Z3的圖示顯示得較大。即，使用者通過目測輔助圖像63的圖示65，便能夠掌握哪個顏色的隊服的球員在哪個方向上位於大致怎樣的距離。通過如此般設定輔助圖像63，並與切出圖像62同時顯示在輸出圖像60內，一眼便能夠看到顯示在切出圖像62上的球員以外的資訊（輸入圖像50內的非切出資料區域53的資訊），從而能夠在使數位變焦功能持續的狀態下掌握其他球員的移動。

（輔助圖像顯示的另一例） 圖5（1）至圖5（3）是表示輔助圖像顯示的另一例的圖。 圖4（2）中，表示了顯示有模仿被攝物的圖形（圓形的圖示65）的示例，但輔助圖像63的顯示形態並不限於此。圖形也可使用多邊形及模仿被攝物的示意圖、記號、數位、文字及符號，還可為它們的組合。而且，也可顯示與被攝物對應的球員的背部編號或姓名。圖5（1）是對圓形的圖示65標注與球員所屬的每個隊伍對應的不同顏色，進而將球員的背部編號顯示在圖示65內的示例。

而且，作為輔助圖像63，也可使對應位置的輸入圖像50的非切出資料區域53變形或壓縮而顯示。而且，例如也可設為模仿魚眼鏡頭的顯示形態。在進行壓縮顯示時，例如只要將非切出資料區域53整體以預定的壓縮率來進行壓縮即可。或者，也可越接近切出資料區域52而使壓縮率越低，越遠則使壓縮率越高。或者，也可僅對包含所檢測的被攝物資料的非切出資料區域53進行壓縮。或者，也可對應於輔助圖像63的顯示幅度，將非切出資料區域53變形或壓縮為例如縱長或橫長而顯示。

圖5（2）是取代圖示65，而對輸入圖像50的非切出資料區域53進行圖像壓縮而顯示的示例。白Z3、黑Y3、黑Y4及白Z4的被攝物的圖像對應於位於非切出資料區域53內的位置，而在輔助圖像63內壓縮顯示（縮小顯示）。 而且，在輔助圖像63中，不僅可設置圖示65等，也可設置顯示電視播放時所使用的反射式字幕（telop）等其他資訊的區域。 而且，這些顯示形態只要可由使用者對操作部26進行操作來選擇即可。而且，也可切換顯示及非顯示。

而且，在圖4（2）中，輔助圖像63的畫面顯示設為與矩形的輸出圖像的外框的四邊之間具備寬度的形狀，且上下左右方向設為均等的顯示區域寬度，但並不限於此。例如也可設為使切出圖像62的四角並非直角而是帶有弧度的形狀，將從輸出圖像60除去切出圖像62後的區域設為輔助圖像63。而且，也可根據輸入圖像50內的檢測物體的存在狀況而使輔助圖像63的顯示區域發生變形。例如，輔助圖像63的顯示未必需要為輸出圖像60的整個周圍（矩形的情況下為四邊），也可根據檢測物體的存在狀況，使未檢測到事先登記的物體的方向比檢測到物體的其他區域縮窄輔助圖像63的顯示區域。或者，也可僅在檢測到物體的方向上顯示輔助圖像63。或者，也可為，所檢測的物體的資料量（畫素量）越多的方向，則越加寬輔助圖像63的顯示區域。

圖5（3）是將切出圖像62的四角設為帶有弧度的形狀，使輔助圖像63的上下左右方向的顯示區域寬度根據檢測物體的存在狀況而變化的示例。為了表示在上方向的輸入圖像資料的非切出資料區域53中不存在檢測物體，以輔助圖像63的上方向的顯示區域寬度比其他方向窄的方式來予以顯示。當在下幀或預定數後的輸入幀中，在上方向的非切出資料區域53內檢測到物體時，只要設定為，變更輔助圖像63的上方向的顯示區域寬度，以顯示所述檢測物體即可。

根據本實施方式，使用者能夠在顯示部上確認從輸入圖像中設定的切出資料區域52與輔助圖像63，所述輔助圖像63是作為與從輸入圖像除去切出資料區域52以外的區域即非切出資料區域53的至少一部分相關的資訊。而且，通過對應於輸入圖像的更新來更新切出資料區域52，並對應於輸入圖像的更新來更新輔助圖像63，從而能夠配合輸入圖像的更新來更新切出資料區域52及輔助圖像63的顯示。由此，能夠在使用者繼續瀏覽輸出圖像的狀態下，從輸入圖像中獲取未作為當前的輸出圖像而顯示的區域的資訊來作為附加資訊，以提供給使用者。

[2.實施例] 接下來，作為具備所述影像處理裝置的電子設備的一例，對作為便攜終端、資訊顯示裝置之一種的智慧型電話2的實施例進行說明。但是，可適用本發明的實施例當然並不限定於以下說明的實施例。

[2-1.功能結構] 圖6是表示具備本實施方式中的影像處理裝置1的智慧型電話2的功能結構的一例的框圖。 智慧型電話2具備處理部100、操作部200、顯示部300、聲音輸出部400、拍攝部500、通信部600、時鐘部700、振動部750、移動感測器760及儲存部800。

處理部100是依照儲存在儲存部800中的系統程式等各種程式來統一控制智慧型電話2的各部，或進行與影像處理相關的各種處理的處理裝置，具有CPU或DSP等處理器或者ASIC等積體電路而構成。 處理部100具有輸入部110、顯示控制部180及告知部140，以作為主要的功能部。而且，顯示控制部180具有移動判定部171、影像映射生成部172、切出圖像設定部173、數位變焦控制部174、模糊修正部175及輔助圖像設定部176。這些功能部分別對應於圖1的影像處理裝置1所具備的功能部。

操作部200是具有操作按鈕（button）或操作開關（switch）、或者另行連接的觸控筆（touch pen）或滑鼠（mouse）等供用戶進行針對智慧型電話2的各種操作輸入的輸入裝置而構成。而且，操作部200具有與顯示部300一體地構成的觸控面板（touch panel）250，此觸控面板250作為用戶與智慧型電話2之間的輸入介面（interface）發揮功能。依據使用者操作的操作信號從操作部200輸出至處理部100。

顯示部300是具有液晶顯示器（Liquid Crystal Display，LCD）等而構成的顯示裝置，進行基於從處理部100輸出的顯示信號的各種顯示。顯示部300是與觸控面板250一體地構成而形成觸控屏（touch screen）。在顯示部300上，顯示拍攝圖像等各種圖像。

聲音輸出部400是具有揚聲器（speaker）等而構成的聲音輸出裝置，進行基於從處理部100輸出的聲音輸出信號的各種聲音輸出。

拍攝部500是可拍攝任意場景的圖像地構成的攝像裝置，是具有電荷耦合器件（Charge Coupled Device，CCD）影像感測器（image sensor）或互補金屬氧化物半導體（Complementary Metal Oxide Semiconductor，CMOS）影像感測器等拍攝元件而構成。拍攝部500將光信號轉換為電信號，並將數位化的拍攝圖像的資料輸出至處理部。

通信部600是用於與外部的資訊處理裝置之間收發裝置內部所利用的資訊的通信裝置。作為通信部600的通信方式，可適用經由遵照預定通信規格的電纜（cable）而進行有線連接的形式、或經由被稱作座充（cradle）的與充電器兼用的中間裝置而連接的形式、利用近距離無線通訊來進行無線連接的形式等各種方式。

時鐘部700是智慧型電話2的內部時鐘，例如具有晶體振子及作為振盪電路的晶體振盪器而構成。時鐘部700的計時時刻被隨時輸出至處理部100。

儲存部800是具有唯讀記憶體（Read Only Memory，ROM）或電可擦可程式設計唯讀記憶體（Electrically Erasable Programmable Read Only Memory，EEPROM）、快閃記憶體（flash memory）、隨機存取記憶體（Random Access Memory，RAM）等易失性或非易失性的記憶體或者硬碟（hard disk）裝置等而構成的儲存裝置。儲存部800儲存處理部100用於控制智慧型電話2的系統程式、或用於進行各種影像處理的程式或資料。

本實施例中，在儲存部800中，儲存有由處理部100所讀出並作為顯示控制處理而執行的顯示控制程式810。顯示控制程式810包含移動判定程式811、影像映射生成程式812、切出圖像設定程式813、數位變焦控制程式814、模糊修正程式815及輔助圖像設定程式816作為子常式（subroutine）。

而且，在儲存部800中，包含圖像資料儲存部820、保存移動感測器760的資訊的移動資料儲存部830、及保存由使用者事先設定的資訊的設定資訊儲存部840。而且，在圖像資料儲存部820中，儲存有：輸入圖像資料庫（database）825，將從拍攝部500輸入至處理部100的拍攝圖像的圖像資訊保存為輸入圖像；影像映射資料表821，保存輸入圖像的影像映射；以及切出圖像設定表822，保存切出圖像的設定資訊。在輸入圖像資料庫825中，針對每個輸入幀或每隔預定幀間隔而保存有過去及當前的輸入圖像資料。

振動部750是具有馬達（motor）等而構成的振動產生裝置，進行基於從處理部100輸出的振動產生信號的各種振動產生。此裝置是作為對使用者的告知部件的一例，被用於使智慧型電話2振動時。

移動感測器760是可檢測智慧型電話2的移動資訊地構成的感測器。移動感測器760將使智慧型電話2的移動資訊轉換為電信號的資料輸出至處理部100。

光學變焦部550是具備望遠鏡頭的光學設備，通過接合裝置520而連接於智慧型電話2的拍攝部500。另外，以下的說明中，若未特別說明，則設為不使用光學變焦功能的狀態，但明確的是，即使在使用光學變焦功能的情況下，仍起到同樣的效果。

[2-2.處理] 使用圖4（1）及圖4（2）所示的足球的圖像及圖6～圖14，對本實例的智慧型電話2的一形態進行說明。

圖7是表示顯示控制處理流程的一例的流程圖。顯示控制處理是智慧型電話2的處理部100依照儲存在儲存部800中的顯示控制程式810而執行的處理。此顯示控制處理是通過由使用者啟動智慧型電話2的應用程式而執行。

[2-2-1.影像映射生成處理] 最先，顯示控制部180進行影像映射生成處理（S100）。 圖8是表示影像映射生成處理的一例的流程圖。影像映射生成處理是處理部100的影像映射生成部172依照儲存在儲存部800中的影像映射生成程式812而執行的處理。 首先，最先，影像映射生成部172從儲存在儲存部800中的設定資訊儲存部840讀出物體資訊（S101）。 在設定資訊儲存部840中，儲存有使用者事先設定的物體資訊例如球或隊服的顏色等。本實施例中，在設定資訊儲存部840中，記錄有球X1、黑色隊服的球員Y及白色隊服的球員Z（以下稱作黑Y及白Z）的資訊。繼而，影像映射生成部172從輸入圖像資料庫825進行輸入圖像50的圖像資料（輸入幀）的讀出（S103）。

繼而，影像映射生成部172基於在S101中讀出的物體資訊例如使用者事先登記的顏色資訊，針對每個輸入幀來進行物體檢測，由此來確定所檢測的各物體的位置，生成包含所述輸入幀中的各檢測物體的位置資訊（所述輸入圖像資料內的各檢測物體的座標資訊）的影像映射資料（S105）。所生成的影像映射資料保存在影像映射資料表821中（S107），結束影像映射生成處理。

圖9表示保存在圖像資料儲存部820中的影像映射資料表821的一例。如圖9所示，在影像映射資料表821中，例如與時間序列資訊一同儲存有當前輸入幀及過去輸入幀中的球X1、黑Y1～Y4及白Z1～Z4的位置資訊，各位置資訊與各幀編號相關聯。位置資訊是將輸入幀的左上設為原點的X及Y這兩方向的座標值，單位為畫素（pixel）。另外，物體檢測及位置資訊的儲存既可針對每個輸入幀，也可每隔預定的輸入幀間隔例如每隔10幀來進行。而且，位置資訊的原點並不限於左上，例如也可設為輸入幀的中心點。而且，較佳的是，與輸入幀相關聯地記錄數位變焦倍率。

以上所說明的示例中，影像映射生成部172基於在S101中讀出的物體資訊，通過圖像識別處理來進行物體檢測及物體位置資訊的獲取，但也可基於來自安裝於物體的GPS單元等衛星定位單元的信號，來獲取物體的位置資訊。具體而言，安裝於物體的GPS單元接收射頻（Radio Frequency，RF）信號，此RF信號包含從作為定位用衛星之一種的GPS衛星發送的定位用衛星信號的一種即GPS衛星信號。並且，GPS單元從所接收的RF信號中捕捉GPS衛星信號，基於所捕捉的GPS衛星信號來進行公知的GPS運算以運算出物體的位置資訊等，並將所述運算結果作為GPS運算信號而發送。GPS運算信號被智慧型電話2的通信部600接收，並被輸出至顯示控制部180。影像映射生成部172基於事先與各物體ID相關聯地登記在設定資訊儲存部840中的各GPS單元的ID資訊，進行將各物體的GPS運算信號轉換為所述輸入圖像資料內的各檢測物體的座標資訊的運算處理，製作影像映射資料。作為GPS單元，在足球比賽等中，只要使用可安裝於隊服或鞋上的小型GPS標籤（tag）即可。在汽車賽等中，作為GPS單元，只要使用搭載於車輛中的GPS裝置（GPS模組（module））即可。而且，在日常場景中，作為GPS單元，只要使用搭載於各種裝置或車輛等中的導航（navigation）裝置中內置的GPS裝置（GPS模組）即可。

[2-2-2.移動判定處理] 返回圖7，顯示控制部180進行移動判定處理（S150）。移動判定處理是處理部100的移動判定部171依照儲存在儲存部800中的移動判定程式811而執行的、對拍攝部500的移動（以下稱作智慧型電話2的移動）進行判定的處理。移動判定處理結果被輸出至數位變焦控制部174及模糊修正部175，用於是否需要使用數位變焦功能的判斷、及手抖修正等級適用判斷。

圖10是表示移動判定處理的一例的流程圖。本例中，作為智慧型電話2的移動度的指標，將三個閾值設定為第3閾值＞第2閾值＞第1閾值。閾值既可對應於移動感測器25的輸出值來設置，也可對應於根據多個輸入幀圖像資料而算出的移動量來設置。使用圖10，對使用多個閾值，將智慧型電話2的移動分類為移動標記（flag）1～4而保存在移動資料儲存部830中的處理流程進行說明。

當執行移動判定程式811時，首先，若智慧型電話2的移動度小於第1閾值（S151：否（No）），則智慧型電話2被判定為大致未移動，移動標記設定為1（S153）。 若智慧型電話2的移動度為第1閾值以上（S151：是（Yes）），則判定是否為第2閾值以上（S155）。若小於第2閾值（S155：否），則移動標記設定為2（S157）。若智慧型電話2的移動度為第2閾值以上（S155：是），則判定是否為第3閾值以上（S159）。若小於第3閾值（S159：否），則移動標記設定為3（S161）。若為第3閾值以上（S159：是），則移動標記設定為4（S163）。 移動判定部171將所設定的移動標記資訊（移動標記1、2、3、4）保存到移動資料儲存部830中（S170），結束移動判定處理。另外，移動判定也可並非針對每幀，而是每隔預定幀（例如每隔10幀）來進行。較佳的是，移動標記資訊是與進行移動判定時的幀相關聯地儲存在移動資料儲存部830中。

（移動判定的分類） 圖10所示的示例中，設定三個閾值（第1～3閾值）來進行智慧型電話2的移動判定，且設定有移動標記1～4。移動標記1、2、3、4分別設想下述四種移動，即：1）大致未移動（以下稱作固定）；2）有稍稍移動（以下稱作微動）；3）因用戶的搖移俯仰動作而稍大地移動（以下稱作搖移俯仰）；4）因用戶的被攝物變更或攝影場景轉換動作而大幅移動（以下稱作場景轉換）。通過適當地設定閾值，能夠判別所述1）～4）的移動。

（移動度的閾值設定） 對用於判定智慧型電話2的移動度的閾值設定的示例進行說明。成為以下說明的閾值設定基準的項目既可單獨使用，也可組合使用。 1）所謂固定（移動標記1），例如是指智慧型電話2大致未移動或被固定的狀態，所謂2）微動（移動標記2），是設想雖有所移動，但為小於搖移俯仰動作的輕微移動。判別1）固定（移動標記1）與2）微動（移動標記2）的第1閾值例如只要設定為可判別固定狀態與小於通常的搖移俯仰動作的輕微移動即可。 判別2）微動（移動標記2）與3）搖移俯仰（移動標記3）的第2閾值是將設想為進行通常的搖移俯仰動作的情況的移動為基準而設定。例如，當根據輸入幀的圖像資料來進行移動度的判定時，在1080×1980畫素的解析度及30 fps的拍攝條件下，只要將第2閾值設定為幀20畫素/幀左右即可。 判別3）搖移俯仰（移動標記3）與4）場景轉換（移動標記4）的第3閾值只要在與第2閾值設定相同的拍攝條件下，設定為50畫素/幀左右即可。另外，以上的說明中，是使用來自輸入幀的計算值來進行閾值的設定，但如上所述，也可基於移動感測器760的輸出值來進行閾值的設定，還可基於移動感測器760的輸出資訊與來自輸入幀的計算值這兩者。

而且，在閾值的設定時，也可使用智慧型電話2的移動加速度。3）搖移俯仰（移動標記3）是設想使用者追隨於特定的被攝物的移動而移動智慧型電話2的動作，因此為智慧型電話2的移動速度大致固定且穩定地移動的狀態（加速度小的狀態）。另一方面，4）場景轉換（移動標記4）是設想為了拍攝不同的被攝物或不同的場景，用戶快速且大幅地移動智慧型電話2的場景，因此移動速度的變化變得急遽（加速度大的狀態）。即，將智慧型電話2的移動加速度作為基準來設定第3閾值，若小於第3閾值，則視為3）搖移俯仰（移動標記3），也可將第3閾值以上的情況判別為4）場景轉換（移動標記4）。加速度的資訊只要根據從移動感測器760的輸出資訊或輸入幀的圖像資料獲取的移動速度來計算即可。

而且，在閾值的設定時，也可使用在輸入幀圖像資料間移動的畫素量。在用戶追隨於某個特定的被攝物的移動而移動智慧型電話2的狀態下，構成輸入幀圖像資料的多個畫素的位置在輸入幀圖像資料間為大致固定。另一方面，在變更用戶所瀏覽的被攝物，或者轉換了拍攝場景的狀態下，構成輸入幀圖像資料的多個畫素的位置在輸入幀圖像資料間大幅不同。即，在輸入幀圖像資料間，也可將移動了預定值以上的畫素的量作為基準來設定第3閾值，將小於第3閾值的情況設為3）搖移俯仰（移動標記3），若為第3閾值以上，則判別為4）場景轉換（移動標記4）。

而且，在閾值的設定時，也可使用當前及過去的輸入幀圖像資料內的被攝物資訊。如上所述，在影像映射資料表821中，對應於每個圖像幀編號而記錄有事先登記的被攝物的位置資訊。即，未記錄有位置資訊的被攝物是未存在於輸入幀圖像中的被攝物。即，當在預定幀數中（例如60幀中）以預定的概率（例如80%）而存在事先登記的被攝物資訊的記錄時、或在連續的預定幀數中（例如15幀中）存在事先登記的被攝物資訊的記錄時，判斷為未進行被攝物變更，從而判定為3）搖移俯仰（移動標記3）。在無記錄的情況下，也可判斷為進行了被攝物變更或場景轉換，從而判定為4）場景轉換（移動標記4）。

另外，對於以上說明的借助閾值的判定，也可在第1～3閾值判定（S151、S155、S159）結束後，不立即執行作為下個處理的移動標記1～4的設定（S153、S157、S161、S163），而是當此閾值判定狀態維持預定期間時，進行移動標記的設定。借此，能夠防止因用戶的操作失誤等而進行與用戶的意圖不同的移動判定處理。

而且，也可將移動判定部171當前的判定結果為1）固定、2）微動、3）搖移俯仰及4）場景轉換中的哪一種告知給用戶。借此，用戶能夠知曉是否達成了用戶有意識的移動判定。而且，可識別如何移動智慧型電話2才會判定為例如搖移俯仰動作。當被告知有無意識的移動判定時，能夠修正移動智慧型電話2的操作，或者暫時中斷移動操作。

而且，第1～3閾值也可由用戶變更。例如若用戶感到判定為2）微動、3）搖移俯仰或4）場景轉換的頻率過多，則只要分別上調第1、第2、第3閾值的設定即可。 而且，也可通過用戶對操作部200或觸控面板250進行操作，來進行1）固定、2）微動、3）搖移俯仰及4）場景轉換的切換。而且，例如也可將切換1）固定與2）微動的按鈕顯示在觸控面板250上，且可通過用戶用手指來輕擊（tap）切換按鈕的動作與移開手指的動作，來切換1）固定與2）微動。如此，當用戶進行操作時，只要使基於用戶操作的切換較移動判定部171的判定而優先設定智慧型電話2的移動度（移動標記設定值）即可。 由於智慧型電話2的操作存在個人差異，因此通過如此般進行借助用戶操作的設定變更，從而能夠提高操作性。

[2-2-3.數位變焦控制處理] 接下來，返回圖7，顯示控制部180進行數位變焦控制處理（S200）。數位變焦控制處理是數位變焦控制部174依照儲存在儲存部800中的數位變焦控制程式814而執行。數位變焦控制部174將用戶經由操作部200而設定的數位變焦的倍率輸出至切出圖像設定部173。而且，數位變焦控制部174具有下述功能，即，基於從移動判定部171輸出的智慧型電話2的移動資訊即移動標記設定值來調整數位變焦功能。

對於使用者而言，難以一邊觀察通過數位變焦功能而放大的輸出圖像60，一邊進行變更作為瀏覽對象的被攝物的動作或攝影場景轉換動作，放大倍率越高，其困難度越高。因此，理想的是，此種情況下，自動解除數位變焦功能，或者使基於此功能的倍率自動下降至預定值（例如2倍等）為止。以下，使用圖11的流程圖來說明數位變焦控制處理的處理流程。

首先，數位變焦控制部174從移動資料儲存部830進行移動標記設定值的讀出（S201）。 接下來，數位變焦控制部174判定移動標記是否為4（S202）。若移動標記並非4（S202：否），則移動標記為1～3中的任一個，因此數位變焦控制部174將數字變焦倍率仍維持當前的倍率（S210）。若移動標記為4（S202：是），則智慧型電話2的移動為4）場景轉換，因此數位變焦控制部174解除數位變焦（S220），輸出圖像60縮小。

另外，以上的說明中，在移動標記4的情況下設為解除數位變焦功能，但亦可不解除此功能，而是使倍率降低至預定值（例如2倍等）為止。而且，在移動標記1～3的情況下，設為數位變焦功能仍持續當前的倍率，但對於移動標記3的3）搖移俯仰動作，也可與移動標記4同樣地，解除數位變焦功能或者使此功能的倍率降低至預定值為止。

另外，在移動標記4的情況（S202：是）下，數位變焦控制部174也可不立即解除數位變焦功能或執行倍率的降低，而是在來自移動判定部171的移動標記4的輸出維持預定時間後執行。或者也可設為，在移動標記4的情況下，移動判定部171再次進行移動判定處理。借此，能夠防止因移動判定處理的錯誤或使用者的操作失誤等，導致在與用戶意圖不同的時機（timing）解除數位變焦或者降低數位變焦倍率。

[2-2-4.模糊修正處理] 接下來，返回圖7，進行模糊修正處理（S300）。 模糊修正處理是模糊修正部175依照儲存在儲存部800中的數位變焦控制程式814而執行。另外，對於模糊修正處理，可使用專利文獻2中揭示的方法。而且，以下的說明中，對針對通過數位變焦而放大的圖像的模糊修正處理進行說明，但明確的是，對於同時進行光學變焦與數位變焦的放大圖像及輸入圖像50（光學輸出圖像），也能夠適用同樣的模糊修正處理。

設想下述狀況：當用戶使用望遠功能時，欲在無模糊的固定狀態下瀏覽所注視的被攝物。另一方面，望遠輸出圖像（望遠圖像）與未使用變焦功能的輸出圖像（非望遠圖像）相比，使用者手抖的影響變大。作為進行模糊修正的頻段，在非望遠圖像中，通常僅對因手抖引起的高頻段進行模糊修正，這意味著，因智慧型電話2的輕微移動等引起的低頻段不作為模糊修正的對象頻段。但是，為了獲得固定的望遠圖像，對於在非望遠圖像中不造成問題的程度的智慧型電話2的輕微移動也必須進行模糊修正。具體而言，理想的是，在望遠圖像中，將比非望遠圖像寬的頻段，即，將因手抖引起的高頻段及因輕微移動等引起的低頻段這兩者作為模糊修正的對象頻段。 另一方面，在進行搖移俯仰動作時，為了追隨於用戶有意識的移動，理想的是，因搖移俯仰動作引起的低頻段不作為模糊修正物件，而僅將因手抖引起的高頻段作為模糊修正的對象頻段。

因此，作為適用於望遠圖像的模糊修正模式，較佳的是，準備較非望遠圖像更嚴格地設定移動容許等級的模糊修正模式（模糊修正模式A：對高頻段及低頻段進行修正而將切出圖像62固定）、與容許因搖移俯仰動作引起的移動的模糊修正模式（模糊修正模式B：僅對高頻段進行修正，而允許搖移俯仰動作），且用戶或模糊修正部175可根據攝影狀況來進行模糊修正模式的切換。

在作為修正對象的頻段設定時，例如較佳的是使用旁通濾波器（以下稱作HPF）。所謂HPF，是指使比所設定的阻斷頻率高的頻率成分通過，而將比阻斷頻率低的頻率成分截止的濾波器。在不使用HPF的情況下，對高頻段至低頻段為止的頻段進行模糊修正處理。當僅將因手抖引起的高頻段作為模糊修正的對象頻段時，提高阻斷頻率，即將HPF係數設定得較高。當將更低頻側作為模糊修正的對象頻段時，只要進一步降低阻斷頻率，即，只要將HPF係數設定得更低即可。通過如此般適當切換借助HPF來修正的頻段而進行模糊修正處理，從而能夠對用戶有意識的移動即搖移俯仰動作不執行模糊修正，而使切出圖像62的顯示追隨於智慧型電話2的移動，而對於手抖執行模糊修正，以從切出圖像62的顯示中去除因手抖引起的移動。

當模糊修正部175自動切換模糊修正模式時，只要模糊修正部175使用來自移動感測器760的輸出值、或者從移動判定部171輸出的移動判定結果（移動標記設定值），來進行模糊修正模式的變更即可。 若對智慧型電話2的移動度（移動標記1～4）與模糊修正模式的設定的一例進行說明。例如在移動判定的結果為1）固定（移動標記1）的情況下，為了使移動容許的等級較非望遠圖像更嚴格，在1）固定的情況下，在將HPF係數設定得比移動判定的結果為2）微動（移動標記2）的情況更低的狀態、或不使用HPF的狀態下，進行模糊修正（模糊修正模式A：固定）。借此，能夠將修正的頻段設為更寬的範圍，從而能夠獲得大致或完全固定的狀態的切出圖像62。另外，在移動判定的結果為3）搖移俯仰（移動標記3）的情況下，在將HPF係數設定得比2）微動（移動標記2）的情況高的狀態下進行模糊修正處理（模糊修正模式B：搖移俯仰允許），以去除手抖引起的高頻段而容許搖移俯仰動作。低於阻斷頻率的低頻段成分通過HPF而被截止，因此不成為模糊修正處理的物件。另一方面，比阻斷頻率高的因手抖引起的高頻段成分通過HPF，因此執行模糊修正處理。

使用圖12來說明模糊修正處理的模糊修正模式設定流程。 首先，模糊修正部175從移動資料儲存部830進行由移動判定部171所設定的移動標記的讀出（S251）。 接下來，模糊修正部175判定移動標記是否為1或2（S253）。若移動標記為1或2（S253：是），則模糊修正部175將模糊修正模式設定為A（固定）（S255），執行模糊修正後結束處理。若移動標記並非1或2（S253：否），則模糊修正部175判定移動標記是否為3（S260）。若移動標記為3（S260：是），則模糊修正部175將模糊修正模式設定為B（搖移俯仰允許）（S265），執行模糊修正後結束處理。若移動標記並非3（S260：否），則判定移動標記為4，不進行模糊修正處理（S270）而結束處理。

另外，在移動判定的結果為4）場景轉換(移動標記4)的情況下，是設想為了進行被攝物變更或場景轉換而大幅移動智慧型電話2的情況，因此也可設為在數位變焦中不進行模糊修正處理的設定。此時，可省略圖12的是否為移動標記3的判斷（S260）。而且，較佳的是，在大幅的移動結束，移動標記由4變化為3以下的時機，進行模糊修正處理。

而且，較佳的是，根據數位變焦倍率，來使進行模糊修正的頻段自動地發生變化。具體而言，從數位變焦控制部174將數位變焦倍率的值輸出至模糊修正部175。模糊修正部175只要根據數位變焦倍率的值，以倍率越高則越加寬進行模糊修正的頻段的方式，來下調例如阻斷頻率（下調HPF的係數）即可。

而且，如圖12的說明中所說明般，當智慧型電話2的移動被判定為1）固定（移動標記1）或2）微動（移動標記2）時，通過模糊修正模式A（固定）來進行模糊修正處理，因此切出圖像62成為被固定的狀態。即，只要用戶未將智慧型電話2大幅移動到判斷為3）搖移俯仰（移動標記3）或4）場景轉換（移動標記4）的程度，則切出圖像62仍保持固定。這意味著，即使用戶為了追蹤被攝物而移動智慧型電話2，切出圖像62也無法追隨於被攝物的移動的狀態。

為了避免此種狀態，在使用者移動智慧型電話2的可能性高的狀況，例如當切出圖像62的中心位置距輸入圖像50的中心位置為預定距離時，模糊修正部175只要將模糊修正模式由模糊修正模式A（固定）變更為模糊修正模式B（搖移俯仰允許）即可。借此，即使在智慧型電話2未大幅移動到判定為3）搖移俯仰（移動標記3）的程度的情況下，也能夠追隨於智慧型電話2的移動來移動切出圖像62。

或者，為了避免此種狀態，例如在切出圖像62的中心位置距輸入圖像50的中心位置為預定距離的情況下，移動判定部171也可下調判別2）微動與3）搖移俯仰的第2閾值，將第2閾值緩和至較通常更容易判定為3）搖移俯仰（移動標記3）的值，由此使得模糊修正模式容易由A（固定）變更為B（搖移俯仰允許）。通過如此般變更閾值的設定，即使在智慧型電話2未大幅移動到判定為3）搖移俯仰（移動標記3）的程度的情況下，也能夠追隨於智慧型電話2的移動來移動切出圖像62。 而且，較佳的是，當用戶再次移動智慧型電話2，而切出圖像62的中心位置在輸入圖像50的預定距離內停留預定時間（例如1秒鐘）時，通過取消（cancel）第2閾值的緩和，從而使模糊修正模式由B（搖移俯仰允許）自動切換為A（固定）。 以上，對借助緩和第2閾值的方法進行了說明，但通過變更模糊修正模式的設定值，也可獲得同樣的效果。以下，對此方法進行說明。

模糊修正模式的設定值的變更例如設定為，使進行模糊修正的頻段窄於1）固定（標記1）狀態，以允許相當於2）微動（移動標記2）的輕微移動。具體而言，適用設定為比模糊修正模式A（固定）高、且比模糊修正模式B（搖移俯仰允許）低的阻斷頻率（低的HPF係數）的模糊修正模式A2（微動允許），以允許相當於2）微動（移動標記2）的輕微移動。

即，當切出圖像62的中心位置距輸入圖像50的中心位置為預定距離時，可自動切換為模糊修正模式A2（微動允許），將修正頻段縮窄至較1）固定（移動標記1）為高頻側（將阻斷頻率變更至高的方向、HPF係數大的方向），由此，避免將因相當於2）微動（移動標記2）的輕微移動引起的低頻成分作為模糊修正對象。 借此，即使在智慧型電話2未大幅移動到判定為3）搖移俯仰（移動標記3）的程度的情況下，也能夠追隨於智慧型電話2的移動而移動切出圖像62。

另外，在模糊修正模式切換為A2（微動允許）後，當為了進一步追隨被攝物而移動智慧型電話2，而被判定為3）搖移俯仰（移動標記3）時，模糊修正模式由A2（微動允許）自動切換為B（搖移俯仰允許）。而且，較佳的是，當在切換為模糊修正模式A2（微動允許）後，再次移動智慧型電話2，而切出圖像62的中心位置在輸入圖像50的預定距離內停留預定時間（例如1秒鐘）時，使模糊修正模式由A2（微動允許）自動切換為A（固定）。

而且，較佳的是，將用於告知使用者顯示在顯示部300上的切出圖像62是將輸入圖像50的哪個區域切出而得的圖像的顯示窗，顯示在輸出圖像60內的例如切出圖像62的端部附近。在顯示窗中，例如可顯示輸入圖像50及切出圖像62的輪廓與各自的中心位置。而且，顯示控制部180在切出圖像62的切出位置靠近從輸入圖像50的端部起的預定距離內的情況及位於輸入圖像50外側的情況等下，也可將引導用戶移動智慧型電話2的位置的告知顯示在輸出圖像60內。

[2-2-5.切出圖像設定處理] 接下來，返回圖7，顯示控制部180進行切出圖像設定處理（S250）。圖13是表示切出圖像設定處理的一例的流程圖。切出圖像設定處理是處理部100的切出圖像設定部173依照儲存在儲存部800中的切出圖像設定程式813而執行。

切出圖像設定部173根據從數位變焦控制部174輸出的數位變焦倍率資訊，來設定輸入圖像50的切出資料區域52的尺寸（S301）。另外，在數位變焦倍率為1倍的情況下，輸入圖像50（光學輸出）成為切出資料區域52，因此省略S301的步驟。

接下來，設定輸出圖像60內的切出圖像62的顯示尺寸及顯示位置（S305），將設定資訊輸出至顯示部300而結束切出圖像設定處理。切出資料區域52例如為矩形區域，切出資料區域52的中心點是設定為與輸入圖像50的中心點一致。而且，切出圖像62的中心點是設定為與輸出圖像60的中心點一致。借此，位於輸入圖像50（光學輸出）的中心點附近的被攝物被顯示在輸出圖像60及切出圖像62的中心點附近。

而且，切出圖像62的顯示尺寸例如只要設為輸出圖像60的50%～80%的尺寸即可。而且，也可由用戶對操作部200或觸控面板250進行操作而變更顯示尺寸。 而且，也可在通過以下說明的輔助圖像設定處理來設定輔助圖像63的尺寸後，將從輸出圖像60除去輔助圖像63以外的區域作為切出圖像62。

[2-2-6.輔助圖像設定處理] 繼而，返回圖7，顯示控制部180進行輔助圖像設定處理（S350）。 圖14是表示輔助圖像設定處理的一例的流程圖。輔助圖像設定處理是處理部100的輔助圖像設定部176依照儲存在儲存部800中的輔助圖像設定程式816而執行的處理。

首先，輔助圖像設定部176從儲存在儲存部800中的影像映射資料表821中讀出物體資訊（S351）。 接下來，輔助圖像設定部176基於所讀出的物體資訊，對於位於輸入圖像50內且切出圖像62的區域外（非切出資料區域53）的被攝物，針對每個被攝物來設定其位置和與種類（是否為人物等）及顏色資訊對應的圖示65（S355），並將設定資訊輸出至顯示部300而結束輔助圖像設定處理。 以上，結束圖7所示的顯示控制處理。

[3.變形例] 可適用本發明的實施例並不限定於所述實施例，當然可在不脫離本發明的主旨的範圍內進行適當變更。以下，對變形例進行說明，但對於與所述實施例相同的結構標注相同的符號，並省略再次的說明。

[3-1-1.將切出圖像中的選擇被攝物顯示於中心] 在觀看球賽例如足球時，將球附近放大瀏覽的傾向高，為了使隨時移動的球顯示在輸出圖像的中心附近，使用者必須進行精細地移動智慧型電話2的位置的動作。但是，數字變焦倍率越高，越會反映出用戶輕微的手移動而大幅移動輸出圖像60的顯示，因此使用者的動作變得困難，負擔也增加。 為了解決此種問題，只要智慧型電話2將在切出圖像62中由使用者所選擇的被攝物自動顯示在切出圖像62的中心位置即可。以下，使用圖15（1A）至圖15（3B）來進行具體說明。

假設位於圖15（1A）的輸入圖像50及圖12（1B）輸出圖像60的中心附近的球X1是用戶欲作為瀏覽中心的被攝物。 如圖15（2A）的輸入圖像50及圖15（2B）的輸出圖像60所示，假設球X1移動到切出圖像62的左上方向。此處，用戶不移動智慧型電話2，而進行對操作部200或觸控面板250進行操作（例如用手指輕擊切出圖像62上的球X1）來選擇球X1的操作。切出圖像設定部173根據球X1在當前的輸入圖像50內的座標位置、數位變焦倍率，來算出為了使用戶所選擇的球X1顯示在切出圖像62的中心附近所需的切出資料區域52的移動方向及移動量，並依照計算值來使切出資料區域52移動。

圖15（3A）的輸入圖像50及圖15（3B）的輸出圖像60表示進行所述處理而進行了切出資料區域52的移動的狀態。可知的是，通過使在輸入圖像50內切出的位置移動到左上，球X1便顯示在切出圖像62的中心附近。

[3-1-2.將輔助圖像中的選擇被攝物顯示於中心、操作引導功能] 接下來，對智慧型電話2將在輔助圖像63中由使用者所選擇的被攝物自動顯示於切出圖像62的中心位置的處理進行說明。

假設位於圖16（1A）的輸入圖像50內的球X1如圖16（1B）所示，未顯示在切出圖像62內，而在輔助圖像63內以白色的圓形圖示65所顯示。 此種情況下，使用者不移動智慧型電話2，而對操作部200或觸控面板250進行操作（例如用手指輕擊輔助圖像63上的圖示65）而選擇與球X1對應的白色圖示65。

切出圖像設定部173根據球X1在當前的輸入圖像50內的座標位置、數位變焦倍率，來算出為了使用戶所選擇的球X1顯示在切出圖像62的中心附近所需的切出資料區域52的移動方向及移動量，並依照計算值來使切出資料區域52移動。

圖16（2A）的輸入圖像50及圖16（2B）的輸出圖像60表示進行所述處理而進行了切出圖像62的移動的狀態。可知的是，通過使在輸入圖像50內切出的位置移動到左上，球X1便顯示在切出圖像62內。如此，在用戶欲瀏覽的被攝物未顯示在切出圖像62內的情況下，無須移動智慧型電話2，通過選擇顯示在輔助圖像63內的圖示65等，便可將所選擇的被攝物顯示在切出圖像62內。

（切出資料區域的移動範圍的限制） 另外，在圖16（2B）的輸出圖像60中，球X1未顯示在切出圖像62的中心附近的理由是：對切出資料區域52的移動範圍設置限制，以免切出到不存在輸入圖像50的資料的範圍。在未設限制的情況下，有可能使球X1顯示在切出圖像62的中心附近。但在此時，將切出不存在輸入圖像50的資料的範圍，從而有損輸出圖像60的美觀。

（操作引導的顯示） 為了避免此種狀態，只要使使用者持著智慧型電話2的手朝球X1所處的方向適當移動即可。此時，較佳的是，告知部140對用戶進行促使其移動智慧型電話2的位置的告知。 在圖16（2B）的輔助圖像63上，作為告知的一例，顯示有表示移動智慧型電話2的方向的箭頭的操作引導66。另外，告知方法也可為在輸出圖像60上顯示文本消息（text message）、或借助聲音輸出部400的聲音。而且，也可借助所述方法的組合。

而且，也可如圖5（3）的輔助圖像63的顯示例所示，通過變更輔助圖像63的區域寬度來進行告知。此時，根據資料的存在量來縮窄或消除不存在預定量的輸入圖像50的資料的方向的輔助圖像63的區域寬度。使用者通過目測輔助圖像63的區域寬度，便能夠獲知移動智慧型電話2的方向。

圖16（3A）的輸入圖像50及圖16（3B）的輸出圖像60表示了下述狀態，即，使用者依照告知而適當地移動了智慧型電話2，結果，球X1顯示在切出圖像62的中心附近。

而且，為了避免切出不存在輸入圖像50的資料的範圍而有損輸出圖像的美觀的狀況，也可設定為，在切出資料區域52靠近至輸入圖像的端部的情況下，例如，當切出資料區域52的外邊緣到達從輸入圖像的端部起在預定距離內的位置（內線）的情況下，自動上調數位變焦倍率。借此，與切出圖像62對應的切出資料區域52的尺寸變小，因此能夠防止切出到不存在輸入圖像50的資料的範圍。

另外，以上的說明中，設為使用戶所選擇的被攝物顯示在切出圖像62的中心而進行了說明，但也可並非使被攝物，而是使在切出圖像62中由使用者所選擇的範圍顯示在切出圖像62的中心。此時，用戶對操作部200或觸控面板250進行操作，以選擇切出圖像62內的所需範圍（例如矩形的範圍）。隨後，只要將用戶選擇範圍的中心點設為所述說明中的球X1而進行同樣的處理即可。

而且，以上的說明中，設為在切出圖像62內進行範圍的選擇，將所選擇的範圍顯示在切出圖像62的中心而進行了說明，但也可在輸入圖像50內進行範圍的選擇。 此時，將用於告知使用者顯示在顯示部300上的切出圖像62是將輸入圖像50的哪個區域切出而得的圖像的顯示窗，顯示在輸出圖像60內的例如切出圖像62的端部附近。在顯示窗中，例如顯示輸入圖像50及當前的切出圖像62的輪廓與各自的中心位置。用戶對操作部200或觸控面板250進行操作，以選擇欲在顯示窗內瀏覽的範圍（例如矩形的範圍）。顯示控制部180只要算出與顯示窗的選擇範圍對應的輸入圖像50內的範圍的座標資訊，繼而算出為了使輸入圖像50內的選擇範圍的中心點與切出資料區域52的中心點一致所需的座標資訊，並輸出至切出圖像設定部173即可。

[3-1-3.選擇被攝物位置的告知] 如在影像映射生成處理中所說明般，本實施例中，事先登記的被攝物資訊被保存在設定資訊儲存部840中，當前及過去的輸入幀中的位置資訊被保存在影像映射資料表821中。使用這些資訊，當使用者所選擇的特定的被攝物位於切出圖像62或輸入圖像50內時，可將其位置告知給用戶。

例如，用戶事先選擇球X1來作為選擇被攝物，並登記在設定資訊儲存部840中。在開始拍攝後，影像映射生成部172在球X1的位置資訊被記錄於影像映射資料表821中時，影像映射生成部172將選擇被攝物檢測標記輸出至顯示控制部180。顯示控制部180在選擇被攝物的檢測位置位於切出資料區域52內的情況下，向切出圖像設定部173輸出選擇被攝物的位置資訊及告知處理命令，在選擇被攝物的檢測位置位於非切出資料區域53內的情況下，向輔助圖像設定部176輸出選擇被攝物的位置資訊及告知處理命令。

切出圖像設定部173為了告知用戶選擇被攝物位於切出圖像62內，例如將以矩形的框來包圍選擇被攝物周圍等的設定資訊輸出至顯示部300。圖17（1A）及圖17（1B）表示進行所述告知時的輸入圖像50與輸出圖像60。如圖17（1A）所示，作為選擇被攝物的球X1位於輸入圖像50的切出資料區域52內。如圖17（1B）所示，在球X1的周圍顯示有矩形的框67。

輔助圖像設定部176為了告知用戶選擇被攝物位於輔助圖像63內，例如將以矩形的框來包圍與選擇被攝物對應的圖示65周圍等的設定資訊輸出至顯示部300。圖17（2A）及圖17（2B）表示進行此告知時的輸入圖像50與輸出圖像60。如圖17（2A）所示，作為選擇被攝物的球X1位於輸入圖像50的非切出資料區域53內。如圖17（2B）所示，在與球X1對應的圖示65的周圍顯示有矩形的框68。

而且，設想下述情況：暫時在輸入圖像50內被檢測到的選擇被攝物因被攝物突發性的大幅移動，而移動到輸入圖像50外。例如設想下述情況：在足球比賽中的球等被攝物的移動突發性地加快的場景中，選擇被攝物移動到當前的輸入圖像50的資料區域外。此時，由於物件被攝物的資料不處於當前的輸入圖像50內，因此無法通過圖15（1A）至圖15（3B）中所說明的切出圖像62的移動處理來應對。以下，使用圖17（1A）至圖17（3B）來說明此種情況下由智慧型電話2所進行的處理。

圖17（1A）及圖17（1B）表示作為選擇被攝物的球X1位於輸入圖像50及輸出圖像60的中心附近的情況。 圖17（2A）及圖17（2B）表示了：球X1位於輸入圖像50內，但球X1未顯示在輸出圖像60的切出圖像62內，且在輔助圖像63內顯示有模仿球X1的白色圖示65。 在此階段，由於球X1位於輸入圖像50內，因此通過移動切出圖像62，便能夠使X1顯示在切出圖像62內。

圖17（3A）及圖17（3B）表示了：球X1未位於輸入圖像50中，且未顯示在輸出圖像60上。檢測到作為選擇被攝物的球X1未位於輸入圖像50中的顯示控制部180從保存在儲存部800的影像映射資料表821中的過去幀的圖像資料中，讀出相當於球X1的例如過去數秒鐘的移動的位置資料。

接下來，顯示控制部180使用所讀出的過去的位置資料，例如判定為當前的球X1位於根據球X1的過去數秒鐘的座標而算出的軌跡的方向、或最後檢測到球X1的位置的方向上。繼而，顯示控制部180在告知部140及輔助圖像設定部176上輸出球X1的當前位置推定方向以作為操作引導資訊。告知部140及輔助圖像設定部176例如圖17（3B）所示，在輔助圖像63內顯示催促朝上方向移動智慧型電話2的操作引導66。

通過進行此種告知，使用者無須解除數位變焦功能或降低變焦倍率，既能維持瀏覽輸出圖像60的狀態，又能有效地移動智慧型電話2，以使作為選擇被攝物的球X1再次顯示在輸出圖像60上。

[3-2.向注視位置的恢復處理] 當用戶使智慧型電話2朝向某固定位置而對望遠圖像瀏覽預定時間以上時，可視為對於此位置的注視度高，將來進行此位置（以下稱作注視位置）的瀏覽的概率高。注視度的設定例如可使用在數位變焦中由移動判定處理（S150）判定為智慧型電話2未移動（1）固定（移動標記1））的狀態下的經過時間或輸入幀數。即，當在望遠圖像中對某固定位置瀏覽預定時間（例如15秒鐘）或預定的輸入幀數（例如450幀）以上時，將此瀏覽位置判斷為注視位置，將此時的輸出圖像60的圖像資訊作為注視圖像資訊（注視場景資訊）而保存在圖像資料儲存部820中加以利用。或者，在解除數位變焦功能而縮小輸出圖像60時，也可將此之前的輸出圖像60的資訊自動保存為注視圖像資訊。數位變焦功能的解除既可通過用戶操作來解除，也可通過前述的移動判定部171及數位變焦控制部174使用移動標記的判定來解除。

在進行注視圖像資訊的保存後，使用者為了變更被攝物而大幅移動智慧型電話2，或者為了讓手休息而將持著智慧型電話2的手放下，由此，通過移動判定部171及數位變焦控制部174使用移動標記的判定（4）場景轉換（移動標記4））來自動解除數位變焦功能，輸出圖像60成為縮小畫面。

隨後設定為，當智慧型電話2的移動停止，而達成了1）固定（移動標記1）判定時，處理部100對此時的切出圖像62自動適用最近縮小前的數位變焦設定倍率。即，每當達成了由4）場景轉換（移動標記4）到1）固定（移動標記1）的移動判定時，使數位變焦設定倍率由1倍恢復至縮小前的倍率（以下稱作倍率恢復功能）。最近縮小前的數字變焦倍率只要從影像映射資料表821讀出即可。另外，倍率恢復也可並非在1）固定（移動標記1）的移動判定之後立即進行，而是在此狀態維持預定時間或預定幀數後進行。而且，也可並非恢復至最近縮小前的倍率，而是變更為預先設定的預定倍率（例如2倍）。

具體說明在下述場景下，使用倍率恢復功能時的流程，即：在注視位置處的瀏覽及注視圖像資訊的保存後，使用者為了變更被攝物而移動智慧型電話2後，將智慧型電話2再次移動到原本的注視位置。首先，因以數字變焦2倍對某位置瀏覽預定時間，由此保存注視圖像資訊。接下來，當用戶為了變更被攝物而大幅移動智慧型電話2，從而判定為4）場景轉換（移動標記4）時，切出圖像62自動成為縮小（倍率1倍）圖像。繼而，當用戶停止智慧型電話2的移動而判定為1）固定（移動標記1）時，即，當用戶開始瀏覽不同的被攝物時，處理部100對此時的切出圖像62自動適用前次的數位變焦倍率（此時為2倍）。

隨後，當用戶為了再次瀏覽原本的注視位置而大幅移動智慧型電話2而判斷為4）場景轉換（移動標記4）時，切出圖像62自動成為縮小（倍率1倍）圖像。當用戶在注視位置附近停止智慧型電話2的移動而判定為1）固定（移動標記1）時，處理部100對此時的切出圖像62自動適用前次的數位變焦倍率（此時為2倍）。由此，切出圖像62從縮小畫面切換為適用前次的數位變焦倍率的畫面（望遠圖像）。

繼而，處理部100針對每個畫素而算出當前的倍率恢復處理後的切出圖像62與保存在圖像資料儲存部820中的注視位置圖像的切出圖像62的差分值。當存在預定量以上的差分值為預定值以下的畫素時，處理部100判定為向注視位置的恢復，執行注視位置恢復處理。具體而言，處理部100進行借助切出資料區域52的移動的對位，以使當前的切出圖像62重合於注視位置的切出圖像62。借此，能夠容易地進行向注視位置的恢復。

另外，以上的說明中，設處理部100自動進行對位，但例如也可通過將對注視位置的切出圖像62進行邊緣（edge）檢測而生成的輪廓圖像以預定的不透明度（例如50%）重疊顯示於當前的切出圖像62，來對使用者進行催促其移動智慧型電話2的告知。此時也可為，首先，用戶依照告知來對位至大致準確的位置，隨後進行借助處理部100的對位。

（使用輸入圖像資訊的恢復處理） 而且，也可不使用倍率恢復功能，而使用輸入圖像資訊如下所述般進行恢復處理。當使用輸入圖像50時，只要預先保存注視位置的輸入圖像資訊來作為注視位置資訊即可。 在進行了作為注視圖像資訊的、輸入圖像資訊及數位變焦倍率資訊的保存後，使用者為了變更被攝物而大幅移動智慧型電話2，或者為了讓手休息而將持著智慧型電話2的手放下，由此，通過移動判定部171及數位變焦控制部174使用移動標記的判定（4）場景轉換（移動標記4））來自動解除數位變焦功能，輸出圖像60成為縮小畫面。

隨後，當用戶為了再次瀏覽注視位置而將智慧型電話2移動到縮小前的位置附近之後停止移動，而達成了1）固定（移動標記1）判定時，處理部100針對每個畫素而算出當前的輸入圖像50與保存在圖像資料儲存部820中的注視位置的輸入圖像50的差分值，當存在預定量以上的差分值為預定值以下的畫素時，處理部100判定為向注視位置的恢復，執行注視位置恢復處理。具體而言，處理部100進行借助切出資料區域52的移動的對位元及數位變焦倍率的設定，以使當前的輸出幀重合於注視位置的輸出幀圖像。借此，能夠容易地進行向注視位置的恢復。

另外，以上的說明中，設處理部100自動進行對位元與數位變焦倍率的設定，但也可通過將對注視位置的輸出幀圖像進行邊緣檢測而生成的輪廓圖像以預定的不透明度（例如50%）重疊顯示於當前的輸出幀圖像，來對使用者進行催促其移動智慧型電話2的告知。此時只要首先使用者依照告知來進行數字變焦倍率的變更與朝向大致準確位置的對位，隨後進行借助處理部100的對位即可。

而且，除了畫素的差分值的計算以外，也可進行運動物體檢測，將判定為運動物體的區域從差分值的計算中予以除外。借此，將因人物或車輛等運動物體引起的畫素移動從差分值計算中予以除外，因此能夠提高差分值的計算精度。

而且，也可取代畫素的差分值，而提取注視位置的輸入圖像50中的特徵點，通過與當前的輸入圖像50的特徵點進行匹配（matching），來進行向注視位置的恢復。例如在足球比賽的情況下，較佳的是，使用門柱（goalpost）或比賽場的圍欄（fence）等固定的被攝物的特徵點來進行匹配。為此，例如只要對各特徵點算出移動向量，進行重視移動向量小的特徵點的匹配即可。即，只要僅使用所提取的多個特徵點中的、移動向量為預定值以下的特徵點，或者，使移動向量為預定值以下的特徵點的權重高於除此以外的特徵點的權重來用於匹配即可。

而且，當在圖像資料儲存部820中保存有多個注視位置圖像的資訊時，只要從在時間序列上最近的注視位置圖像資訊開始進行所述判定即可。而且，也可設定為，使用者對注視位置資訊標注標籤（label）而保存，當欲進行向注視位置的恢復時，用戶選擇特定的標籤，由此來讀出所需的注視位置資訊，進行所述處理。

[3-3.意料外的物體的去除處理] 在瀏覽望遠圖像的過程中，有時會有意料外的物體顯示在輸出圖像60中。即便其顯示時間極短，但放大倍率越大，意料外的物體便會在輸出圖像60中佔據越大的比例而顯示，因此對使用者造成的不快感變大。以下說明用於避免此種顯示的處理。

對於是否產生了包含意料外的物體的輸出幀的判斷，關於各輸出幀而生成邊緣映射，並在對位的基礎上與其之前及之後的幀的邊緣映射進行比較。邊緣映射的生成例如是由影像映射生成部172來進行。

首先，判定所述幀與之前幀以及所述幀與之後幀之間，差分值超過預定值的畫素是否為預定數（判定1）。通過此判定1，來檢測幀間是否有變化。 當通過判定1而判定為幀間有變化時，繼而在通過判定1而檢測出變化的區域的畫素中，算出所述幀前後的幀間、即所述幀的之前幀與之後幀間的差分值。判定所述差分值不超過預定值（與用於第1判定的預定值不同）的畫素是否為預定數（判定2）。即，判定2是判定在經判定1檢測的區域中，在所述幀前後的幀間是否存在意料外的物體。當在判定2中所述畫素數存在預定數時，判定為意料外的物體僅位於所述幀的所述區域，可調換為在之前幀或之後幀中，與跟所述區域對應的位置的畫素。

邊緣映射既可基於亮度及彩度這兩者來生成，也可僅基於亮度而生成。尤其，若為後者，則將忽略彩度，但人眼對於彩度的變化感覺遲鈍，因此即使產生了意料外的物體，多數情況下也不會在意。而且，能夠避免因過度識別意料外的物體的產生而進行過剩的處理。

圖18（1A）至圖18（4B）是表示體育場景中的輸入圖像50與輸出圖像60的一例的說明圖。圖18（1A）至圖18（4A）表示輸入圖像50，圖18（1B）至圖18（4B）表示輸出圖像60（切出圖像62與輔助圖像63）。在影像映射資料表821中，與幀編號相關聯地儲存有事先設定的物體的座標位置。

圖18（2A）所示的輸入圖像50是緊跟著圖18（1A）而輸入。 此處，如圖18（2A）所示，在輸入圖像50上，顯示有未包含在事先設定的物體資訊中的物體Q。影像映射生成部172中，當從輸入圖像資料生成邊緣映射時，檢測到未包含在事先設定的物體資訊中的物體時，與幀編號相關聯地使此物體的座標位置儲存於儲存部800中。

圖18（3A）表示緊跟著圖18（2A）而輸入的輸入圖像50。與圖18（2A）不同，在圖18（3A）中，物體Q位於輸入圖像50的大致中央。此時，在切出圖像62上，如圖18（3B）所示般放大顯示物體Q。

圖18（4A）表示緊跟著圖18（3A）而輸入的輸入圖像50。與圖18（3A）不同，在圖18（4A）中，物體Q位於輸入圖像50的左下。

若在與圖18（3A）的物體Q的座標位置對應的、圖18（2A）的位置處無物體資訊，則局部地複製（copy）此位置的畫素，與圖18（3A）的物體Q的座標位置的畫素進行替換，借此，能夠避免在切出圖像62中顯示物體Q。

影像映射生成部172也可不僅使用3幀（所述幀及其前後的幀）的圖像儲存資料，而且使用例如更多幀的圖像資料來進行所述判斷。

而且，作為意料外的物體，設想有各種物體，但若是飛在空中的蟲子等，則會生成影子，因此可認為成為黑色的傾向高，因而除了所述判斷處理以外，也可在成為此幀中的物件的物體的顏色含有較多黑色的情況下，進行畫素資訊的調換。

以上，對下述處理進行了說明，即，當產生包含意料外的物體的輸出幀時，將所述區域的畫素調換為其之前或之後幀的對應區域的畫素，並作為輸出圖像而輸出至智慧型電話2的顯示部，但也可複製從包含意料外的物體的輸出幀起為預定範圍內的幀、例如之後或其之後幀整體，而替換幀整體。

另外，以上說明的實施例及變形例中，使用了智慧型電話2的拍攝部500經由接合裝置520而連接于光學變焦部550的示例，但本領域技術人員當明確，本發明的效果在未連接光學變焦部550的情況仍充分有效。

[3-4.攝像機鏡頭與望遠鏡頭的對位] 當安裝智慧型電話2的攝像機（拍攝部500）與望遠鏡頭時，由於望遠鏡頭及智慧型電話2分別存在各種各樣的形狀，因此難以用一樣的形式來實現其安裝，在安裝時，用戶必須對望遠鏡頭位置與智慧型電話2的攝像機位置進行微調。並且，在用戶進行微調後，即使判斷為即便啟動裝置也無問題，從而實際啟動裝置來使用，仍有可能產生漸暈，或者圖像產生畸變。

以往，在安裝望遠鏡頭時，通常是關閉（OFF）智慧型電話2的電源或攝像機功能而進行，但本實施例中，是在開啟（ON）智慧型電話2的電源及攝像機（拍攝部500）功能的狀態下進行安裝。 圖19（1A）及圖19（2A）是表示智慧型電話2的攝像機鏡頭與望遠鏡頭的對位的一例的圖。處理部100使顯示部300的輸出圖像60中顯示表示智慧型電話2的攝像機的鏡頭的中心位置C1（0，0）的標記（mark）（例如+符號）、和由智慧型電話2的攝像機所拍攝的望遠鏡頭與接目部（例如接目的抵目部分）。而且，圖19（1A）及圖19（2A）所示的區域A及區域B表示望遠鏡頭區域A及接目部區域B。

處理部100例如通過以下說明的方法來算出鏡頭區域A與接目部區域B的交界線即圓形部D的中心位置（望遠鏡頭的中心位置）C2（X，Y），並使其顯示於智慧型電話2的顯示部300。此時，較佳的是，表示C2的標記採用顏色或形狀與表示C1的標記不同的標記。用戶通過目測智慧型電話2的攝像機的鏡頭的中心位置C1與圓形部D的中心位置C2的位置，能夠識別安裝誤差，通過微調安裝位置，便能夠將望遠鏡頭安裝到適當的位置。

對於望遠鏡頭的中心位置C2（X，Y）的計算，首先，由處理部100隨機（random）提取一圓的圓周上的2點，所述圓是通過在對圓形部D進行邊緣檢測後進行霍夫變換（Hough transform）而獲得。接下來，算出將所提取的2點分別作為基準的2個法線向量的交點座標。算出通過多次重複此操作而獲得的多個交點座標的中心位置，以作為望遠鏡頭的中心位置C2（X，Y）。另外，霍夫變換也可由用戶通過輕擊等來指定圓形部D的圓周上的2點、例如圖19（1A）的P1、P2，將以P1、P2為基準的法線向量H1、H2的交點作為望遠鏡頭的中心位置C2（X，Y）。借此，能夠降低資料處理的負載。而且，通過由用戶指定適當的位置而非由處理部100隨機提取，從而能夠避免處理錯誤。

處理部100算出所計算出的望遠鏡頭的中心位置C2（X，Y）與智慧型電話2的攝像機的鏡頭的中心位置C1（0，0）的誤差，例如圖19（2A）所示，沿望遠鏡頭的中心位置C2朝向智慧型電話2的攝像機的鏡頭的中心位置C1的方向顯示箭頭E，以作為用戶進行對位的引導。另外，處理部100即使在所計算出的望遠鏡頭的中心位置C2（X，Y）處於輸出圖像60外側的情況下，也可使箭頭E顯示在輸出圖像60內，以引導用戶進行對位操作。

圖20（1A）至圖20（4B）是表示智慧型電話2的攝像機鏡頭與望遠鏡頭的對位的一例的圖。 如圖20（1A）至圖20（4A）所示，在顯示部300上，顯示有望遠鏡頭的鏡頭區域A、望遠鏡頭的接目部區域B、鏡頭區域A與接目部區域B的交界線即圓形部D、及智慧型電話2的攝像機的鏡頭的中心位置C1。另外，圓形部D也可設為霍夫變換後的圓形。 圖20（1B）至圖20（4B）是將橫軸設為圓形部D的中心角（0～360度），將縱軸設為從智慧型電話2的攝像機的鏡頭的中心位置C1直至圓形部D的圓周為止的距離R的圖。圖20（1B）的圖中，在0～360度的角度時，距離R呈固定的值。這表示：望遠鏡頭的中心位置C2與智慧型電話2的攝像機的鏡頭的中心位置C1一致。此時，理想的是，在智慧型電話2的顯示部上進行“鏡頭位置正確（OK）”等的顯示。

在圖20（2A）中，圓形部D的中心相對於中心位置C1而偏向右側顯示。圖20（2B）的圖表成為與將180度設為最低值的雙曲線相近的形狀。這表示：望遠鏡頭的中心位置C2與智慧型電話2的攝像機的鏡頭的中心位置C1發生了偏離，具體而言，表示望遠鏡頭偏移（offset）向右方向而安裝。此時，理想的是，在智慧型電話2的顯示部上進行“望遠鏡頭偏向右側安裝，請調整”等的顯示。

在圖20（3A）中，圓形部D顯示為縱長的橢圓。圖20（3B）的圖表成為在100度附近及250度附近具有峰而在180度處具有穀的曲線。這表示：望遠鏡頭的中心位置C2與智慧型電話2的攝像機的鏡頭的中心位置C1一致，但望遠鏡頭朝平搖方向傾斜。此時，理想的是，在智慧型電話2的顯示部上進行“望遠鏡頭朝平搖方向傾斜安裝，請調整”等的顯示。

在圖20（4A）中，圓形部D顯示為橫長的橢圓。圖20（4B）的圖表成為在90度附近及270度附近具有穀而在200度附近具有峰的曲線。而且，90度附近的穀的斜率大於270度附近的穀。這表示：望遠鏡頭的中心位置C2與智慧型電話2的攝像機的鏡頭的中心位置C1一致，但望遠鏡頭朝縱搖方向傾斜。此時，理想的是，在智慧型電話2的顯示部上進行“望遠鏡頭朝縱搖方向傾斜安裝，請調整”等的顯示。

以上，對在智慧型電話2的攝像機鏡頭上安裝望遠鏡頭時的調整進行了說明，但也可使用圖20（1A）至圖20（4B）所示的資料來進行輸入圖像50（光學輸出圖像）的畸變修正。當將望遠鏡頭無偏離地安裝於智慧型電話2的攝像機時，輸入圖像50成為無畸變的狀態。即，如圖20（1A）及圖20（1B）所示，智慧型電話2的攝像機的鏡頭的中心位置C1與望遠鏡頭的中心位置C2一致，從中心位置C1直至圓形部D的圓周為止的距離R為固定值，將距離R作為半徑而繪製的圓為正圓。另一方面，如圖20（4A）及圖20（4B）所示，當望遠鏡頭以偏離的狀態而安裝於智慧型電話2的攝像機時，輸入圖像50也產生畸變，將距離R作為半徑而繪製的圓成為縱方向短的橢圓。為了修正此種輸入圖像的畸變，只要算出轉換矩陣，由處理部100進行基於此轉換矩陣的修正處理即可，所述轉換矩陣是在作為理想狀態的正圓上與作為歪斜狀態的橢圓上，決定例如上下左右方向及中心的5點的對應關係。

[3-5.拍攝避免處理] 在通過外置於終端（影像處理裝置1、智慧型電話2）的望遠鏡頭（光學變焦部24、550）來拍攝室外等時，有可能因望遠鏡頭朝向太陽的方向，而導致正在觀看放大顯示中的切出圖像62的使用者產生視覺上的損傷（damage）。為了避免此種風險（risk），顯示控制部（顯示控制部20、180）進行避免太陽包含在切出圖像62中的拍攝避免處理。

終端（影像處理裝置1或智慧型電話2）所具備的GPS單元接收RF信號，此RF信號包含從作為定位用衛星之一種的GPS衛星發送的定位用衛星信號的一種即GPS衛星信號。並且，GPS單元從所接收的RF信號中捕捉GPS衛星信號，基於所捕捉的GPS衛星信號來進行公知的GPS運算，以算出自身終端的三維位置資訊及時刻誤差資訊。

終端所具備的陀螺感測器（移動感測器25、760）對與自身終端相關聯的本地（local）坐標系中的三維角速度（三軸的繞軸角速度）進行檢測。

圖21是表示智慧型電話2的顯示控制部180所執行的例外處理流程的一例的流程圖。 首先，顯示控制部180從GPS單元獲取包含自身終端的位置資訊及時刻誤差資訊的GPS資訊（A1）。然後，處理部執行時刻修正處理（A3）。具體而言，基於在A1中獲取的GPS資訊中所含的時刻誤差資訊，修正自身終端的時鐘部的計時時刻。

繼而，顯示控制部180執行太陽位置推定處理（A5）。具體而言，基於在A3的時刻修正處理中經修正的時鐘部的計時時刻，推定以在A1中獲取的自身終端的位置為基準的、相對性的太陽位置。此處理也可以說是推定自身終端的位置與太陽位置的相對位置關係的處理（相對位置關係推定處理）。

隨後，顯示控制部180從移動感測器760獲取自身終端的角速度資訊（A7）。然後，顯示控制部180執行姿勢計算處理（A9）。具體而言，通過對在A7中獲取的角速度資訊中所含的三維角速度進行積分處理（積分及累計），從而算出自身終端的姿勢角（attitude angle）（姿勢）。然後，顯示控制部180基於所算出的姿勢角，將自身終端當前朝向的方向確定為攝影方向（A11）。

隨後，顯示控制部180基於在A5中推定的太陽位置，來判定在A11中算出的攝影方向是否包含太陽（A13）。若判定為包含（A13；是），則顯示控制部180執行警告處理（A15）。具體而言，例如使提醒使用者注意便攜終端正朝向太陽的資訊、或催促使用者改變便攜終端的移動以避開太陽的資訊顯示於顯示部300上，或者從聲音輸出部400輸出警告聲等，以進行對用戶的警告。

在A15之後，或者，當在A13中判定為在攝影方向上不含太陽的情況下（A13；否），顯示控制部180判定是否結束處理（A17）。若判定為繼續處理（A17；否），則顯示控制部180使處理返回A1。另一方面，若判定為結束處理（A17；是），則顯示控制部180結束拍攝避免處理。

另外，GPS單元所輸出的位置既可設為三維位置資訊，也可設為包含維度、經度的二維位置資訊。

而且，在姿勢計算處理中，也可使用加速度感測器或磁感測器來算出自身終端的姿勢。例如，也可通過並用三軸加速度感測器及三軸磁感測器來算出自身終端的傾斜及方位，從而算出自身終端的姿勢。加速度感測器或陀螺感測器、磁感測器等感測器可作為慣性測量單元（Inertial Measurement Unit，IMU）而封裝化為一個感測器單元，並搭載於便攜終端中。

而且，也可並非使用GPS等衛星定位系統來算出終端的位置，而是使用具備慣性測量單元（IMU）等而構成的慣性導航系統（Inertial Navigation System，INS）來算出終端的位置。而且，也可使用衛星定位系統與慣性導航系統中的至少任一種來算出終端的位置。具體而言，例如也可進行對使用衛星定位系統所算出的位置、與使用慣性導航系統所算出的位置進行平均（例如算術平均或加權平均）的平均處理，以算出終端的位置。

如此，即使在進行了用於抑制望遠鏡頭朝向太陽方向的警告的情況下，仍存在使用者誤將望遠鏡頭朝向太陽方向的可能性。為了降低此時的危險性，也可在儘管太陽未映入於切出圖像62（切出資料區域52）中，但包含在輔助圖像63（非切出資料區域53）中的階段，執行使太陽的圖像亮度下降的處理。具體而言，在輔助圖像63（非切出資料區域53）中存在閾值以上（或超過閾值）的亮度的畫素時，顯示控制部180也可自動進行使此亮度值下降的處理等，從而進行使與高亮度物體對應的圖像區域的亮度下降的處理。即，通過對輔助圖像63（非切出資料區域53）適用亮度濾波器，防止如太陽般高亮度的物體直接顯示在切出圖像62上。另外，使此亮度值下降的處理並不限於以非切出資料區域53為物件來進行，也可以切出資料區域52為物件來進行。

而且，由於可基於陀螺感測器等的輸出來算出自身裝置的姿勢，因此也可基於所算出的自身裝置的姿勢來修正所拍攝的輸入圖像50或切出圖像62的透視（perspective）。例如，也可使從建築物的高樓層以俯瞰的角度拍攝下方的拍攝物件所獲得的拍攝圖像（輸入圖像50或切出圖像62）、與拍攝時的自身裝置的姿勢即拍攝時姿勢相關聯地儲存在儲存部800中。並且，也可算出將拍攝時姿勢、與將預先儲存的拍攝部500的鏡頭方向設為水準方向時的自身裝置的姿勢相關聯的轉換矩陣，基於所算出的轉換矩陣來轉換拍攝圖像，以獲取假定為正視拍攝物件時的修正圖像。

（物體檢測的檢測框） 當檢測到物體時，也可顯示包圍物體的例如矩形的檢測框，以提高可視性。此時，有效的是，針對所檢測出的每個人物、每個球隊，對檢測框標注顏色。而且，在所述中，對將球設為選擇被攝物的示例進行了說明，但也可選擇特定的球員，還可使包圍選擇被攝物的框與其他框的顏色顯示為不同，以使其容易看到。

以上說明的實施例中，對將智慧型電話2保持在手上來使用的情況進行了說明，但明確的是，在將智慧型電話2連接於攝影輔助器材，用戶通過利用遙控器（remote controller）等來操作攝影輔助器材而使智慧型電話2平行移動及旋轉，以進行放大圖像的瀏覽或拍攝的情況下，也能夠同樣地適用。即，明確的是，智慧型電話2的移動是與保持在手上時同樣地由移動判定部171來判定，並可使用此判定結果來執行數位變焦控制及模糊修正等。

而且，以上說明的實施例中，設針對用戶的操作引導等的告知是通過在顯示部300上顯示圖形或文字資訊來進行而進行了說明，但告知的形態並不限於此，也可通過聲音、光、振動及它們的組合來進行。

而且，也可構成一種記錄媒體，所述記錄媒體記錄有用於使電腦執行所述實施方式或實施例中說明的各種影像處理或圖像顯示的程式且電腦可讀取。這些記錄媒體可採用各種磁片或光碟、光磁片、快閃記憶體等記錄媒體。

圖22是表示此時的記錄媒體的一例的圖。 在智慧型電話2中，設有用於插入儲存卡（memory card）9的卡槽（card slot）910，且設有卡讀寫器（R/W）920，所述卡讀寫器（R/W）920用於讀取插入至卡槽910內的儲存卡9中儲存的資訊、或者對儲存卡9寫入資訊。卡讀寫器920通過處理部100的控制，進行將記錄在儲存部800中的程式或資料寫入至儲存卡9的動作。通過利用智慧型電話2以外的外部裝置（例如個人電腦（personal computer））來讀取記錄在儲存卡9中的程式或資料，從而構成為能夠在所述外部裝置中實現所述實施方式中的影像處理或圖像顯示。

（衛星定位系統） 而且，所述實施方式中，舉適用GPS作為衛星定位系統的情況為例進行了說明，但也可適用廣域增強系統（Wide Area Augmentation System，WAAS）、准天頂衛星系統（Quasi Zenith Satellite System，QZSS）、全球導航衛星系統（GLObal NAvigation Satellite System，GLONASS）、伽利略（GALILEO）等其他衛星定位系統。

1‧‧‧影像處理裝置

2‧‧‧智慧型電話

9‧‧‧儲存卡

10、110‧‧‧輸入部

11、171‧‧‧移動判定部

12、172‧‧‧影像映射生成部

13、173‧‧‧切出圖像設定部

14、174‧‧‧數位變焦控制部

15、175‧‧‧模糊修正部

16、176‧‧‧輔助圖像設定部

20、180‧‧‧顯示控制部

21‧‧‧儲存部

22、300‧‧‧顯示部

23‧‧‧攝像機

24、550‧‧‧光學變焦部

25、760‧‧‧移動感測器

26、200‧‧‧操作部

50‧‧‧輸入圖像

51‧‧‧圖像資料區域

52‧‧‧切出資料區域

53‧‧‧非切出資料區域

60‧‧‧輸出圖像

61‧‧‧顯示區域

62‧‧‧切出圖像

63‧‧‧輔助圖像

65‧‧‧圖示

66‧‧‧操作引導

67、68‧‧‧框

100‧‧‧處理部

140‧‧‧告知部

250‧‧‧觸控面板

400‧‧‧聲音輸出部

500‧‧‧拍攝部

520‧‧‧接合裝置

600‧‧‧通信部

700‧‧‧時鐘部

750‧‧‧振動部

800‧‧‧儲存部

810‧‧‧顯示控制程式

811‧‧‧移動判定程式

812‧‧‧影像映射生成程式

813‧‧‧切出圖像設定程式

814‧‧‧數位變焦控制程式

815‧‧‧模糊修正程式

816‧‧‧輔助圖像設定程式

820‧‧‧圖像資料儲存部

821‧‧‧影像映射資料表

822‧‧‧切出圖像設定表

825‧‧‧輸入圖像資料庫

830‧‧‧移動資料儲存部

840‧‧‧設定資訊儲存部

910‧‧‧卡槽

920‧‧‧卡讀寫器

A‧‧‧望遠鏡頭區域

A1～A17、S15～S35、S100～S350、S101～S107、S151～S170、S201～S220、S251～S270、S301、S305、S351、S355‧‧‧步驟

B‧‧‧接目部區域

C1‧‧‧智慧型電話的攝像機的鏡頭的中心位置

C2‧‧‧望遠鏡頭的中心位置

D‧‧‧圓形部

E‧‧‧箭頭

H1、H2‧‧‧法線向量

K、L‧‧‧被攝物

P1、P2‧‧‧點

Q‧‧‧物體

X1‧‧‧足球

Y1～Y4‧‧‧黑色隊服的球員

Z1～Z4‧‧‧白色隊服的球員

θ‧‧‧角度

圖1是表示影像處理裝置的功能結構的一例的框圖。 圖2中的（1A）至（3B）是表示輸入圖像與輸出圖像的一例的說明圖。 圖3是表示影像處理裝置的處理流程的一例的流程圖。 圖4中的（1）及（2）是表示輸入圖像與輸出圖像的一例的說明圖。 圖5中的（1）至（3）是表示輸出圖像的另一例的說明圖。 圖6是表示智慧型電話的功能結構的一例的框圖。 圖7是表示顯示控制處理流程的一例的流程圖。 圖8是表示影像映射生成處理流程的一例的流程圖。 圖9是表示影像映射資料的一例的圖。 圖10是表示移動判定處理流程的一例的流程圖。 圖11是表示數位變焦控制處理流程的一例的流程圖。 圖12是表示模糊修正處理流程的一例的流程圖。 圖13是表示切出圖像設定處理流程的一例的流程圖。 圖14是表示輔助圖像設定處理流程的一例的流程圖。 圖15中的（1A）至（3B）是表示選擇被攝物顯示的一例的說明圖。 圖16中的（1A）至（3B）是表示選擇被攝物顯示的另一例的說明圖。 圖17中的（1A）至（3B）是表示選擇被攝物的告知及操作引導顯示的一例的說明圖。 圖18中的（1A）至（4B）是表示意料外的物體的去除處理時的輸入圖像與輸出圖像的一例的圖。 圖19中的（1A）及（2A）是表示攝像機鏡頭與望遠鏡頭的對位的一例的圖。 圖20中的（1A）至（4B）是表示攝像機鏡頭與望遠鏡頭的對位的一例的圖。 圖21是表示拍攝避免處理流程的一例的流程圖。 圖22是表示記錄媒體的一例的圖。

Claims (20)

1. 一種影像處理裝置，包括： 顯示部； 輸入部，輸入圖像； 特定區域設定部，從輸入至所述輸入部的輸入圖像中設定特定區域； 顯示控制部，使所述特定區域顯示於所述顯示部； 附加資訊設定部，設定附加資訊，所述附加資訊是與從所述輸入圖像除去所述特定區域以外的區域即非特定區域的至少一部分相關的資訊；以及 附加資訊顯示控制部，使所述附加資訊顯示於所述顯示部， 所述特定區域設定部對應於所述輸入圖像的更新來更新所述特定區域， 所述附加資訊設定部對應於所述輸入圖像的更新來更新所述附加資訊。
2. 如申請專利範圍第1項所述的影像處理裝置，其中所述附加資訊顯示控制部使所述附加資訊與所述特定區域的位置關係對應地，使所述附加資訊顯示於所述顯示部。
3. 如申請專利範圍第1項所述的影像處理裝置，其中所述附加資訊是與所述非特定區域中所含的物體相關的資訊。
4. 如申請專利範圍第3項所述的影像處理裝置，其中所述附加資訊是與所述物體的位置相關的資訊。
5. 如申請專利範圍第3項所述的影像處理裝置，其中所述物體是符合事先設定的特徵的物體。
6. 如申請專利範圍第3項所述的影像處理裝置，其中所述物體是由使用者所指定的物體、或符合使用者所指定的特徵的物體。
7. 如申請專利範圍第3項所述的影像處理裝置，其中所述附加資訊顯示控制部基於從所述物體的位置直至所述特定區域為止的距離，來決定是否使與所述物體對應的附加資訊顯示於所述顯示部上。
8. 如申請專利範圍第1項所述的影像處理裝置，其中所述附加資訊顯示控制部使所述附加資訊在所述顯示部上顯示於所述特定區域的顯示區域的外側。
9. 如申請專利範圍第1項所述的影像處理裝置，其中所述附加資訊是使所述非特定區域變形而得的圖像。
10. 如申請專利範圍第9項所述的影像處理裝置，其中所述附加資訊是根據距所述特定區域的距離來使所述非特定區域變形而得的圖像。
11. 如申請專利範圍第1項所述的影像處理裝置，其中所述特定區域設定部對所述特定區域的更新週期短於所述附加資訊設定部對所述附加資訊的更新週期。
12. 如申請專利範圍第1項所述的影像處理裝置，其中所述特定區域設定部是以包含物件物體的方式來設定所述特定區域，所述物件物體是由使用者所選擇的物體、或符合使用者所指定的條件的物體。
13. 如申請專利範圍第1項所述的影像處理裝置，其中所述特定區域設定部在通過用戶輸入而選擇了所述附加資訊的情況下，以包含與所述附加資訊對應的物體的方式來設定所述特定區域。
14. 如申請專利範圍第12項所述的影像處理裝置，其中所述特定區域設定部對應於所述輸入圖像的更新來更新所述特定區域，以包含所述物件物體。
15. 如申請專利範圍第14項所述的影像處理裝置，其中所述特定區域設定部對應於所述輸入圖像的更新來使所述特定區域的放大顯示率發生變化，以包含所述物件物體。
16. 如申請專利範圍第12項所述的影像處理裝置，還包括： 拍攝部；以及 告知部，促使用戶移動所述拍攝部的攝影方向，以使包含所述物件物體的所述特定區域靠近所述輸入圖像的中心。
17. 如申請專利範圍第12項所述的影像處理裝置，還包括： 資訊顯示控制部，當所述物件物體不再包含在所述輸入圖像中時，使此意旨顯示在所述顯示部上。
18. 如申請專利範圍第1項所述的影像處理裝置，還包括： 亮度調整部，當所述輸入圖像中包含亮度滿足特定條件的物體時，調整所述輸入圖像的亮度。
19. 一種影像處理方法，用於執行影像處理，所述影像處理方法包括： 輸入步驟，輸入圖像； 特定區域設定步驟，從在所述輸入步驟輸入的輸入圖像中設定特定區域； 顯示控制步驟，使所述特定區域顯示於顯示部； 附加資訊設定步驟，設定附加資訊，所述附加資訊是與從所述輸入圖像除去所述特定區域以外的區域即非特定區域的至少一部分相關的資訊；以及 附加資訊顯示控制步驟，使所述附加資訊顯示於所述顯示部， 所述特定區域設定步驟包含對應於所述輸入圖像的更新來更新所述特定區域的步驟， 所述附加資訊設定步驟包含對應於所述輸入圖像的更新來更新所述附加資訊的步驟。
20. 一種包括影像處理程式的電腦可讀取的記錄媒體，用於使電腦執行影像處理，所述影像處理程式，使電腦執行下述步驟，即： 輸入步驟，輸入圖像； 特定區域設定步驟，從在所述輸入步驟輸入的輸入圖像中設定特定區域； 顯示控制步驟，使所述特定區域顯示於顯示部； 附加資訊設定步驟，設定附加資訊，所述附加資訊是與從所述輸入圖像除去所述特定區域以外的區域即非特定區域的至少一部分相關的資訊；以及 附加資訊顯示控制步驟，使所述附加資訊顯示於所述顯示部， 所述特定區域設定步驟包含對應於所述輸入圖像的更新來更新所述特定區域的步驟， 所述附加資訊設定步驟包含對應於所述輸入圖像的更新來更新所述附加資訊的步驟。