TW201743602A - 影像處理裝置、影像處理方法及儲存介質與攝影輔助器材 - Google Patents

影像處理裝置、影像處理方法及儲存介質與攝影輔助器材 Download PDF

Info

Publication number
TW201743602A
TW201743602A TW106103220A TW106103220A TW201743602A TW 201743602 A TW201743602 A TW 201743602A TW 106103220 A TW106103220 A TW 106103220A TW 106103220 A TW106103220 A TW 106103220A TW 201743602 A TW201743602 A TW 201743602A
Authority
TW
Taiwan
Prior art keywords
image
photographing
display
unit
rotation
Prior art date
Application number
TW106103220A
Other languages
English (en)
Other versions
TWI663876B (zh
Inventor
平賀督基
平井駿
三浦健
大野良
Original Assignee
摩如富股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 摩如富股份有限公司 filed Critical 摩如富股份有限公司
Publication of TW201743602A publication Critical patent/TW201743602A/zh
Application granted granted Critical
Publication of TWI663876B publication Critical patent/TWI663876B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/14Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Abstract

在將輸入影像予以合成而生成全景合成影像時,通過獲得適合於影像合成的輸入影像,從而獲得優質的合成影像。影像處理裝置將多個輸入影像予以合成而生成全景合成影像。拍照控制部設定用於從不同的拍攝角度對拍攝物件進行拍攝的引導,以作為用於拍攝適合於影像合成的多個輸入影像的引導資訊。引導顯示設定部基於引導資訊而在顯示部上顯示攝影引導影像。使用者一邊參照攝影引導影像一邊使照相機旋轉,從不同的角度拍攝多張輸入影像。然後,影像合成部將多個輸入影像予以合成而生成合成影像。

Description

影像處理裝置、影像處理方法及儲存介質與攝影輔助器材
本發明是有關於一種生成廣角合成影像的影像處理裝置,且特別是有關於一種影像處理裝置、影像處理方法及儲存介質與攝影輔助器材。
在習知上,作為影像處理裝置,已知有一種裝置,其將依次輸入的輸入影像予以拼接,從而生成一幅廣角的合成影像即全景(panorama)影像(例如專利文獻1)。
對專利文獻1中揭露的全景影像生成的概略進行說明。 專利文獻1中,基準影像Ir(成為對位基準的影像)與物件影像Ic的對位是使用轉換矩陣來進行,該轉換矩陣是基於基準影像Ir及物件影像Ic的特徵點對(pair)的位置資訊(三維座標資訊)而推定。 此處,所謂對位,是指如下所述的處理,即:通過探尋特徵點對彼此最重合的位置,從而確定基準影像Ir的規定點與物件影像Ic的規定點的相對位置。
轉換矩陣是視基準影像Ir與物件影像Ic之間的移動僅為照相機(camera)的旋轉運動,而使用特徵點對的位置資訊來推定。 轉換矩陣的參數為照相機的移動(因朝向xy方向的平行移動、朝向z方向的移動造成的放大縮小)、照相機的旋轉(影像朝向x方向、y方向的變形及z軸上的影像的旋轉)等,是通過借助最優化方法的收斂運算而求出。具體而言,以目標函數成為最小值的方式來進行收斂運算,所述目標函數包含基準影像Ir的特徵點的位置(x0,y0,1)與將物件影像Ic的特徵點的位置(x1,y1,1)進行轉換後的位置的差值。對於最優化方法,可適用牛頓法(Newton method)、高斯牛頓法(Gaussian-Newton method)等公知的方法。
此處,當使用考慮到了因如上所述的照相機移動引起的縮小成分的轉換矩陣,且以進一步減小誤差為優先來進行收斂運算時,由於縮小影像會使誤差相對變小,因此存在縮小成分的程度變大的轉換矩陣成為解的傾向。此時,每當逐次合成時,誤差將累積。對此,通過將轉換矩陣僅限定為旋轉成分,從而在借助最優化方法的收斂運算時不會考慮縮小成分,因此能夠避免誤差的累積,與未僅限定於旋轉成分的情況相比,可生成優質的全景影像。 [現有技術文獻] [專利文獻]
[專利文獻1]WO2014/064783公報
[發明欲解決的課題] 在習知上,在用於全景影像生成的多個輸入影像的拍攝時,存在下述問題,即:若使照相機平行移動來進行攝影,則會在拍攝影像間產生視差,因此最終無法生成優質的全景影像,例如所生成的全景影像的一部分產生偏移或變形。 而且,被攝物與照相機的距離越近,因照相機的平行移動產生的視差則越大,因此,在使用者拍攝使用者自身的所謂自拍時,該問題變得尤為顯著。除此以外,由於自拍時的被攝物為人物的臉,因此即使所生成的全景影像中產生的偏移或變形的程度微小,也會顯著損害所生成的全景影像的美觀。因此,當在自拍全景攝影中使照相機平行移動來進行攝影時,與通常的全景攝影相比,得不到使用者所要求的品質的全景影像的機率高。 即,為了尤其是在自拍時生成優質的全景影像,使用者必須不使照相機平行移動,而是使照相機旋轉,由此來從不同的方位拍攝多張包含物件被攝物的影像。
但是,在習知的影像處理裝置中,由於不具備引導使用者一邊使照相機旋轉一邊進行攝影的動作所需的告知功能,因此使用者使照相機平行移動來進行攝影的可能性高。因此,存在下述問題:無法進行優質全景影像的生成所需的影像的攝影,結果造成攝影失敗,從而得不到使用者所要求的品質的全景影像。而且,在使用習知的影像處理裝置時,若未得到使用者所要求的品質的全景影像,則估計使用者會進行再次攝影。但是,習知的影像處理裝置中,並不具備具體告知要如何移動照相機來進行攝影為佳的告知功能,因此即使進行再次攝影仍同樣造成失敗的可能性高。 而且,當使用者進行自拍或群攝(group shot)時,生成全景影像所需的攝影張數不明,因此有可能會未達所需張數便停止攝影,或者不必要地進行大量的攝影。而且,存在下述問題:由於所需的攝影張數及照相機移動方法不明的不安感,拿著照相機的手會變得不穩定,從而最終容易造成攝影失敗。
本發明是有鑑於此種問題而完成,其目的在於,通過引導使用者一邊使照相機旋轉一邊拍攝多張包含物件被攝物的影像的動作,由此來獲得適合於全景影像合成的輸入影像。 [解決課題的技術手段]
為了解決所述問題,採用了以下手段。另外,將用於實施後述發明的形態的說明及附圖中所用的符號以括弧來附註以供參考,但本發明的構成要素並不限定於該附註者。
第1發明是一種影像處理裝置,具備顯示拍攝物件的顯示裝置(顯示部300)與對拍攝物件進行拍攝的拍攝裝置(拍照部500),所述影像處理裝置包括: 引導顯示控制部件(拍照控制部150、引導顯示設定部180),使所述顯示裝置顯示用於從不同的拍攝角度對拍攝物件進行拍攝的引導;以及 影像合成部件(影像合成部160),將通過從不同的拍攝角度對拍攝物件進行拍攝而獲得的多個影像予以合成以生成合成影像。
而且,作為第2發明,也可構成下述影像處理裝置,即, 根據第1發明的影像處理裝置,其中, 所述引導是提示使所述拍攝裝置旋轉以從不同的拍攝角度對拍攝物件進行拍攝。
而且,作為第3發明,也可構成下述影像處理裝置,即, 根據第2發明的影像處理裝置,還包括: 第1檢測部件(移動感測器760),檢測所述拍攝裝置的旋轉方向及旋轉量, 所述引導顯示控制部件(拍照控制部150、引導顯示設定部180)根據所述拍攝裝置的旋轉方向及旋轉量來使所述引導的顯示形態發生變化。
而且,作為第4發明,也可構成下述影像處理裝置,即, 根據第3發明的影像處理裝置,其中, 所述引導包含第1影像(旋轉引導41),所述第1影像提示為了生成所述合成影像而通過多次拍攝的應拍攝範圍即整體拍攝範圍。
而且,作為第5發明,也可構成下述影像處理裝置,即, 根據第4發明的影像處理裝置,其中, 所述第1影像(旋轉引導41)提示拍攝所述整體拍攝範圍所需的拍攝次數。
而且,作為第6發明,也可構成下述影像處理裝置,即, 根據第4發明的影像處理裝置,其中, 所述引導還包含提示當前的拍攝範圍的第2影像(旋轉標示(marker)42), 所述引導顯示控制部件(拍照控制部150、引導顯示設定部180)根據所述拍攝裝置的旋轉方向及旋轉量來使所述第2影像(旋轉標示42)相對於所述第1影像(旋轉引導41)的相對位置發生變化。
而且,作為第7發明,也可構成下述影像處理裝置,即, 根據第6發明的影像處理裝置,其中, 通過所述第2影像(旋轉標示42)相對於所述第1影像(旋轉引導41)的相對位置來提示以拍攝裝置為基準的拍攝角度。
而且,作為第8發明,也可構成下述影像處理裝置,即, 根據第4發明的影像處理裝置,其中, 所述引導還包含所拍攝的影像的縮小影像(縮小影像47), 所述引導顯示控制部件(拍照控制部150、引導顯示設定部180)根據所述拍攝裝置的旋轉方向及旋轉量來使所述縮小影像相對於所述第1影像(旋轉引導41)的相對位置發生變化。
而且,作為第9發明,也可構成下述影像處理裝置,即, 根據第6發明的影像處理裝置,其中, 通過所述第2影像(標示51)相對於所述第1影像(旋轉引導41')的相對位置來提示以使用者為基準的拍攝角度。
而且,作為第10發明,也可構成下述影像處理裝置,即, 根據第6發明的影像處理裝置,其中, 當通過所述第2影像(旋轉標示42、標示51)相對於所述第1影像(旋轉引導41、旋轉引導41')的相對位置來提示拍攝角度時,在提示以拍攝裝置為基準的拍攝角度的情況下與提示以使用者為基準的拍攝角度的情況下,使顯示於所述顯示裝置的影像的左右位置反轉。
而且,作為第11發明,也可構成下述影像處理裝置,即, 根據第6發明的影像處理裝置,其中, 所述第1影像(旋轉引導41)被劃分為與拍攝所述整體拍攝範圍所需的拍攝次數對應的多個區塊(旋轉引導單元41a~41e),根據所述第2影像(旋轉標示42)位於哪個區塊來提示拍攝角度。
而且,作為第12發明,也可構成下述影像處理裝置,即, 根據第10發明的影像處理裝置,其中, 所述第1影像(旋轉引導41)是提示關於所述多個區塊(旋轉引導單元41a~41e)的各個的、與該區塊對應的拍攝順序。
而且,作為第13發明,也可構成下述影像處理裝置,即, 根據第4發明的影像處理裝置,還包括: 人臉區域檢測部件,對顯示於所述顯示裝置的人物的人臉區域進行檢測, 所述引導顯示控制部件以將由所述人臉區域檢測部件所檢測出的人臉區域作為中心而形成所述整體拍攝範圍的方式,來設定所述第1影像(旋轉引導41)。
而且,作為第14發明,也可構成下述影像處理裝置,即, 根據第4發明的影像處理裝置,還包括: 人臉區域檢測部件,對顯示於所述顯示裝置的人物的人臉區域進行檢測, 所述引導顯示控制部件在由所述人臉區域檢測部件所檢測出的人臉區域存在多個的情況下,以將其中任一者作為中心而形成所述整體拍攝範圍的方式,來設定所述第1影像(旋轉引導41)。
而且,作為第15發明,也可構成下述影像處理裝置,即, 根據第4發明的影像處理裝置,還包括: 人臉區域檢測部件,對顯示於所述顯示裝置的人物的人臉區域進行檢測, 所述引導顯示控制部件在由所述人臉區域檢測部件所檢測出的人臉區域存在多個的情況下,以形成至少包含兩端的人臉區域的所述整體拍攝範圍的方式,來設定所述第1影像(旋轉引導41)。
而且,作為第16發明,也可構成下述影像處理裝置,即, 根據第3發明的影像處理裝置,其中, 所述拍攝裝置包含第1拍攝裝置(前置照相機62)及第2拍攝裝置(後置照相機72),所述第1拍攝裝置對與所述顯示裝置(顯示部300、顯示畫面63)所朝向的方向相同的方向進行拍攝,所述第2拍攝裝置對與所述顯示裝置(顯示部300、顯示畫面63)所朝向的方向相反的方向進行拍攝,使用者可選擇通過所述第1拍攝裝置(前置照相機62)及所述第2拍攝裝置(後置照相機72)中的哪個拍攝裝置來進行拍攝, 根據所選擇的拍攝裝置,所述引導的顯示形態不同。
而且,作為第17發明,也可構成下述影像處理裝置,即, 根據第4發明的影像處理裝置,其中, 所述拍攝裝置包含第1拍攝裝置(前置照相機62)及第2拍攝裝置(後置照相機72),所述第1拍攝裝置對與所述顯示裝置(顯示部300、顯示畫面63)所朝向的方向相同的方向進行拍攝,所述第2拍攝裝置對與所述顯示裝置(顯示部300、顯示畫面63)所朝向的方向相反的方向進行拍攝,使用者可選擇通過所述第1拍攝裝置(前置照相機62)及所述第2拍攝裝置(後置照相機72)中的哪個拍攝裝置來進行拍攝, 所述整體拍攝範圍是包含所述第1拍攝裝置(前置照相機62)的拍攝範圍及所述第2拍攝裝置(後置照相機72)的拍攝範圍這兩者的拍攝範圍。
而且,作為第18發明,也可構成下述影像處理裝置,即, 根據第3發明的影像處理裝置,還包括: 人臉區域檢測部件,對顯示於所述顯示裝置的人物的人臉區域進行檢測, 所述引導顯示控制部件基於由所述人臉區域檢測部件所檢測出的人臉區域來設定所述引導的顯示位置。
而且,作為第19發明,也可構成下述影像處理裝置,即, 根據第3發明的影像處理裝置,其中, 所述引導顯示控制部件將所述引導的顯示位置設定於第1拍攝裝置(前置照相機62)附近,所述第1拍攝裝置對與所述顯示裝置(顯示部300、顯示畫面63)所朝向的方向相同的方向進行拍攝。
而且,作為第20發明,也可構成下述影像處理裝置,即, 根據第3發明的影像處理裝置,其中, 所述引導顯示控制部件在所述拍攝裝置尚未旋轉至規定旋轉量的期間,以視認性高於所述拍攝物件的設定來顯示所述引導。
而且,作為第21發明,也可構成下述影像處理裝置,即, 根據第3發明的影像處理裝置,還包括: 第2檢測部件(移動感測器760),對所述拍攝裝置的平行移動方向及平行移動量進行檢測, 所述引導顯示控制部件根據所述拍攝裝置的平行移動方向及平行移動量來使所述引導的顯示形態發生變化。
而且,作為第22發明,也可構成下述影像處理裝置,即, 根據第3發明的影像處理裝置,還包括: 輔助引導顯示控制部件(拍照控制部150、引導顯示設定部180),使用於抑制拍攝位置變更的輔助引導(中心引導43、中心標示44)顯示於所述顯示裝置。
而且,作為第23發明,也可構成下述影像處理裝置,即, 根據第22的發明的影像處理裝置,還包括: 第2檢測部件(移動感測器760),對所述拍攝裝置的平行移動方向及平行移動量進行檢測, 所述輔助引導顯示控制部件(拍照控制部150、引導顯示設定部180)根據所述拍攝裝置的平行移動方向及平行移動量來使所述輔助引導(中心引導43、中心標示44)的顯示形態發生變化。
而且,作為第24發明,也可構成下述影像處理裝置,即, 根據第23的發明的影像處理裝置,其中, 所述輔助引導包含第3影像(中心引導43)及第4影像(中心標示44),所述第3影像的顯示位置不會根據所述拍攝裝置的平行移動方向及平行移動量而變化,所述第4影像的顯示位置根據所述拍攝裝置的平行移動方向及平行移動量而變化。
第25發明是一種影像處理裝置,具備顯示拍攝物件的顯示裝置(顯示部300)與對拍攝物件進行拍攝的拍攝裝置(拍照部500),所述影像處理裝置還包括: 引導顯示控制部件(拍照控制部150、引導顯示設定部180),使所述顯示裝置顯示用於從不同的拍攝角度對拍攝物件進行拍攝的引導;以及 通訊部件(通訊部600),可連接於設在所述影像處理裝置外部的影像合成裝置, 所述影像合成裝置將通過從不同的拍攝角度對拍攝物件進行拍攝而獲得的多個影像予以合成以生成合成影像。
第26發明是一種影像處理裝置,其包括: 通訊部件,可連接於顯示裝置(顯示部35)及拍攝裝置(照相機20),所述顯示裝置設在所述影像處理裝置外部且顯示拍攝物件,所述拍攝裝置對拍攝物件進行拍攝; 引導顯示控制部件(拍照控制部150、引導顯示設定部180),使所述顯示裝置顯示用於從不同的拍攝角度對拍攝物件進行拍攝的引導;以及 影像合成部件(影像合成部160),將通過從不同的拍攝角度對拍攝物件進行拍攝而獲得的多個影像予以合成以生成合成影像。
而且,第27發明是一種攝影輔助器材,包括可裝卸影像處理裝置的固定機構以及使所述固定機構進行旋轉動作的旋轉控制機構,所述影像處理裝置包括: 顯示裝置,顯示拍攝物件; 拍攝裝置,對拍攝物件進行拍攝; 引導顯示控制部件,使所述顯示裝置顯示引導,所述引導通過根據所述拍攝裝置的旋轉方向及旋轉量來使顯示形態發生變化,從而提示使所述拍攝裝置旋轉以從不同的拍攝角度對拍攝物件進行拍攝; 第1檢測部件,檢測所述拍攝裝置的旋轉方向及旋轉量;以及 影像合成部件,將通過從不同的拍攝角度對拍攝物件進行拍攝而獲得的多個影像予以合成以生成合成影像。
第28發明是一種影像處理方法,包含使顯示裝置顯示拍攝物件的顯示步驟與通過拍攝裝置來對拍攝物件進行拍攝的拍攝步驟(A35),所述影像處理方法還包括: 引導顯示控制步驟(A15),使所述顯示裝置顯示用於從不同的拍攝角度對拍攝物件進行拍攝的引導;以及 影像合成步驟(A55),將通過從不同的拍攝角度對拍攝物件進行拍攝而獲得的多個影像予以合成以生成合成影像。
第29發明是一種影像處理程式,包含使顯示裝置顯示拍攝物件的顯示步驟與通過拍攝裝置來對拍攝物件進行拍攝的拍攝步驟(A35),所述影像處理程式還包括: 引導顯示控制步驟(A15),使所述顯示裝置顯示用於從不同的拍攝角度對拍攝物件進行拍攝的引導;以及 影像合成步驟(A55),將通過從不同的拍攝角度對拍攝物件進行拍攝而獲得的多個影像予以合成以生成合成影像。 [發明的效果]
在用於全景影像生成的多個輸入影像的拍攝中,作為引導使用者一邊使拍攝裝置旋轉一邊進行攝影的動作所需的告知功能,在拍攝裝置的顯示部上顯示與拍攝裝置的旋轉方向及旋轉量對應的引導,由此,防止使用者使照相機平行地移動來進行攝影,從而能夠較習知上容易地進行優質的全景影像生成所需的影像的攝影。
以下,參照附圖來說明適用本發明的較佳實施方式的一例。另外,在附圖的說明中,有時對相同的要素標註相同的符號並省略重複的說明。而且,附圖的尺寸比例未必與所說明的一致。而且,可適用本發明的形態當然不限定於以下說明的實施方式。
[1.影像處理裝置] 本實施方式的影像處理裝置是將依次輸入的輸入影像在每次輸入時予以拼接以逐次生成一張合成影像的裝置,例如適合用於將連續拍攝的多個影像即時(realtime)拼接,而生成比一張拍攝影像廣角的全景影像的情況。
本實施方式的影像處理裝置例如可配設在智慧型手機等行動電話機、數位照相機(digital camera)、平板電腦(tablet)、個人數位助理(Personal Digital Assistant,PDA)等資源(resource)存在限制的移動(mobile)終端中,但並不限定於這些,例如也可配設在通常的電腦系統(computer system)中。
[1-1.結構及原理] 本實施方式的影像處理裝置具有下述功能,即,在拍攝待機畫面上顯示對使用者引導以獲得全景合成影像所需的攝影張數及照相機移動的指導(guidance)。 此處,本實施方式中的引導攝影功能是指如下所述的功能,即,在拍攝待機畫面上顯示表示當前的照相機方向及位置的當前位置標示與表示攝影時的照相機方向、位置及所需攝影張數的攝影引導,在使用者移動照相機而使當前位置標示與攝影引導一致的時機(timing)進行攝影。 由此,使用者能夠容易地進行獲得較佳的全景合成影像所需的多張影像攝影。
圖1是表示本實施方式中的影像處理裝置1的功能結構的一例的方塊圖。 影像處理裝置1具備輸入部10、基準影像選擇部11、匹配(matching)部12、轉換矩陣推定部13、對位部14、影像合成部15、拍照控制部31及引導顯示設定部32。這些部分是影像處理裝置1的處理部(處理裝置)所具有的功能部(功能區塊),處理部是具有中央處理器(Central Processing Unit,CPU)或數位訊號處理器(Digital Signal Processor,DSP)等處理器或特定用途積體電路(Application Specific Integrated Circuit,ASIC)等積體電路而構成。
輸入部10具有輸入由照相機20所拍攝的影像(以下稱作“拍攝影像”)的功能。輸入部10例如具有每當拍攝時輸入拍攝影像的功能。
輸入部10將初次輸入的影像保存至第1臨時儲存區域(以下稱作“輸出影像用緩衝器(buffer)”)。而且,輸入部10將接下來連續輸入的影像保存至第2臨時儲存區域(以下稱作“輸入影像用緩衝器”)。
另外,當在第2臨時儲存區域中保存影像時,進行該影像的定位,並且判斷該影像是否為描繪物件,若判斷為描繪物件的影像,則將保存在第1臨時儲存區域中的輸出影像通過合成而予以更新並覆蓋保存。以下,將保存在第1臨時儲存區域中的影像作為合成影像It,將保存在第2臨時儲存區域中的影像作為物件影像Ic(輸入影像)來進行說明。
基準影像選擇部11具有選擇對位用基準影像Ir的功能。所謂基準影像Ir,是指成為物件影像Ic的對位基準的影像。例如,基準影像選擇部11是可參照保存有與已輸入影像相關的資訊的已輸入影像記憶體25地構成。已輸入影像是在物件影像Ic之前由輸入部10所輸入的影像,一個或多個影像成為已輸入影像。即,若將第n個物件影像Ic設為Ic(n-1),則已輸入影像為Ic(n-2)、Ic(n-3)、…Ic0。基準影像選擇部11在已輸入影像為一張的情況下,選擇該影像Ic1來作為物件影像Ic2的基準影像Ir0。以下,除了滿足規定條件的情況,基準影像選擇部11不變更該基準影像。
對於規定條件,例如可預先決定為基準影像Ir與物件影像Ic(n)的距離相隔規定值以上的情況。此時,基準影像選擇部11選擇物件影像Ic(n)來作為下次的新的物件影像Ic(n+1)的基準影像Ir(k),將與物件影像Ic(n)相關的資訊保存至已輸入影像記憶體25。所謂與物件影像Ic(n)相關的資訊,例如也可僅為由後述的匹配部12所匯出的特徵點的像素值及位置資訊。如此,通過對記錄在已輸入影像記憶體25中的資訊進行限制,從而與保存基準影像Ir其自身的情況相比,能夠削減使用記憶體容量。
基準影像選擇部11在輸入有物件影像Ic(n+1)時,參照已輸入影像記憶體25,選擇物件影像Ic(n)來作為基準影像Ir(k)。繼而,基準影像選擇部11將與基準影像Ir相關的影像資訊(至少包含特徵點的像素資訊及位置資訊的資訊)輸出至匹配部12。
匹配部12獲取基準影像Ir及物件影像Ic的對應關係。匹配部12獲取與基準影像Ir的特徵點及物件影像Ic的特徵點相關的資訊。匹配部12例如基於特徵點的像素值來獲取基準影像Ir及物件影像Ic的對應關係。作為匹配方法,可使用塊匹配(block matching)法或梯度法等公知的方法。
另外,匹配部12也可在對基準影像Ir及物件影像Ic進行多解析度化之後進行匹配。例如,匹配部12分別階段性地變更基準影像Ir及物件影像Ic的解析度,以生成解析度不同的多個影像。然後,匹配部12也可在解析度最小的影像間獲取特徵點的平行移動量,在解析度更大的影像間進行特徵點的像素(pixel)單位的匹配。此時,能夠實現處理的高速化及運算成本的降低。
匹配部12獲取已算出基準影像Ir與物件影像Ic的對應關係的特徵點對的位置資訊(座標資訊)。即,匹配部12成對地獲取基準影像Ir的某特徵點的位置資訊和與該特徵點對應的物件影像Ic的特徵點的位置資訊。此時,匹配部12為了進行後述的對位處理而獲取多個特徵點對。
匹配部12將所獲取的特徵點對輸出至轉換矩陣推定部13。另外,如前所述,在基準影像選擇部11追加該物件影像Ic來作為接下來的基準影像Ir時,匹配部12將物件影像Ic的特徵點的像素值及位置資訊輸出至基準影像選擇部11。
轉換矩陣推定部13基於從匹配部12輸出的基準影像Ir與物件影像Ic的對應關係,來推定使基準影像Ir的座標系與物件影像Ic的座標系對應的轉換式即轉換矩陣。
對位部14使用由轉換矩陣推定部13所推定出的轉換矩陣,來進行基準影像Ir與物件影像Ic的對位。
在僅輸入有第一張影像的情況下,選擇該影像來作為基準影像Ir0。並且,在輸入有第二張影像(物件影像Ic)的情況下,對位部14將基準影像Ir0的位置作為基準來使物件影像Ic對位。
此處,所謂對位,是指決定基準影像Ir0的規定點(例如中心C0)與物件影像Ic的規定點(例如中心C1)的相對位置。對位部14探尋由匹配部12所獲取的特徵點對彼此最重合的位置。並且,當基準影像Ir0與物件影像Ic的對位完成時,記錄位置關係已彼此連結(link)的意旨(連結Re1)。
例如,當八張輸入影像的中心C0~C7之間被連結(連結Re1~Re7)時,反覆進行基準影像選擇部11選擇基準影像Ir且對位部14形成連結的動作,由此能夠使八張影像一邊對位一邊拼接。
另外,如前所述,通過對位部14而對位完成,當基準影像Ir0與物件影像Ic的相對距離成為規定值以上時,基準影像選擇部11必須追加該物件影像Ic來作為接下來的基準影像Ir1,因此匹配部12將物件影像Ic的特徵點的像素值及位置資訊輸出至基準影像選擇部11。
若設旋轉前的照相機20的拍攝面設為S0、旋轉後的照相機20的拍攝面為S1,則拍攝面S0與拍攝面S1不存在於同一平面內。因此,使特徵點對通過平行移動而重合的位置將不同於原本的重合位置。即,當進行對位時,必須考慮照相機的移動來進行對位,以使基準影像Ir的特徵點的位置與物件影像Ic的特徵點的位置在同一三維座標系上一致。
基於所述理由,轉換矩陣推定部13推定使基準影像Ir0的三維座標系與物件影像Ic的三維座標系一致的轉換矩陣。
此處,轉換矩陣推定部13具有下述功能,即,視基準影像Ir與物件影像Ic之間的移動僅為照相機20的旋轉運動,從而限定照相機20的移動,使用特徵點對的位置資訊來推定轉換式。本實施方式中,轉換矩陣推定部13將特徵點的二維座標投影至三維空間的球面上,使用投影所得的座標的對應關係來推定轉換矩陣,並將推定出的轉換矩陣輸出至對位部14及拍照控制部31。
影像合成部15使用由轉換矩陣推定部13所推定出的轉換矩陣,將通過對位部14而在三維空間的球面上對位的影像群作為描繪影像,將該描繪影像Id投影至作為二維平面的合成平面Sp上。並且,將描繪影像作為一張合成影像而輸出至顯示部35,並且記錄至輸出影像用緩衝器。顯示部35顯示從影像合成部15輸出的影像資訊。
拍照控制部31設定引導資訊。在設於照相機20的輸入畫面等上,當使用者選擇自拍引導拍攝模式時,該資訊經由輸入部10而輸出至拍照控制部31,拍照控制部31開始引導資訊的設定處理。
拍照控制部31例如設定作為全景影像而生成的攝影範圍(以下稱作“全景拍攝範圍”)、攝影的張數(以下稱作“攝影張數”)、每一次攝影的照相機20的旋轉角度(以下稱作“單位旋轉角度”),以作為引導資訊。具體而言,例如將全景拍攝範圍設定為“150度”的範圍,將攝影張數設定為“5張”,將單位旋轉角度設定為“30度”。另外,單位旋轉角度只要是比照相機20的視場角(照相機的可攝影角度)小的角度即可,優選的是,可使各攝影時的拍攝範圍分別重合10度以上。
基於從拍照控制部31輸出的全景拍攝範圍、攝影張數及單位旋轉角度,引導顯示設定部32生成攝影引導影像,並顯示於照相機20的拍攝待機畫面上。如後所述,攝影引導影像是以告知一邊使本裝置轉動一邊使用照相機20來攝影的方法的形態而顯示。由此,使用者能夠一眼掌握恰當的照相機的移動。而且,通過依照告知來使照相機20旋轉地進行攝影,從而能夠進行優質的全景影像生成所需的攝影。
移動感測器30是內置或附設於照相機20的感測器(sensor),對使用者移動照相機時的照相機20的移動資訊進行檢測。移動感測器30是具備對三軸的加速度進行檢測的加速度感測器、對三軸的角速度進行檢測的角速度感測器(陀螺儀感測器(gyro sensor))、及將這些感測器封裝化的慣性計測裝置(Inertial Measurement Unit,IMU)等感測器單元而構成。移動感測器30檢測加速度或角速度來作為移動資訊,並將檢測出的移動資訊輸出至拍照控制部31。通過使用由移動感測器30所檢測的角速度或加速度,能夠檢測照相機20的方向及位移。
另外,作為影像處理裝置1與外部裝置間(例如照相機20與輸入部10間以及影像合成部15與顯示部35間等)的通訊方式,可適用經由遵循規定通訊規格的電纜(cable)來進行有線連接的形式、經由被稱作支架(cradle)的兼用為充電器的中間裝置來連接的形式、利用近距離無線通訊來進行無線連接的形式等各種方式。 [1-2.處理]
當使用者操作照相機20上所設的按鈕(button)等來進行第一張的攝影時,將第一張拍攝影像從照相機20輸出至輸入部10。輸入部10向拍照控制部31輸出通知第一張的攝影已結束的拍攝結束信號。
根據拍攝結束信號而偵測到第一張的拍攝結束的拍照控制部31將以第一張的攝影時的照相機位置及方向為原點的照相機的當前位置資訊輸出至引導顯示設定部32。引導顯示設定部32將表示照相機的當前位置資訊的標示(以下稱作“當前位置標示”)顯示於拍攝待機畫面上。另外,此處是在第一張的攝影後顯示當前位置標示,但也可在第一張的攝影前一併顯示攝影引導影像。此時的當前位置標示只要以重合於表示第一張的攝影位置的攝影引導影像的方式來顯示即可。
照相機20的當前位置資訊通過從移動感測器30輸出至引導拍照控制部31的照相機20的移動資訊而隨時更新。更新後的移動資訊通過顯示於拍攝待機畫面的當前位置標示的移動而告知給使用者。
繼而,拍照控制部31經由引導顯示設定部32而將攝影引導影像更新為第二張的攝影引導影像。第二張的攝影引導影像成為向使用者告知使照相機20旋轉的方向及旋轉量目標的形態。例如,在如上所述般將單位旋轉角度設定為“30度”的情況下,第二張攝影引導成為與照相機從第一張的攝影時朝規定方向旋轉30度的位置對應的影像。
使用者使照相機20旋轉,以使拍攝待機畫面的當前位置標示重合於第二張攝影引導影像所表示的位置。拍照控制部31在基於從移動感測器30輸出的移動資訊而偵測到照相機20旋轉了規定角度(例如30度)時,經由引導顯示設定部32來對使用者進行催促第二張的攝影的告知。使用者基於該告知來操作照相機20上所設的按鈕等來進行第二張的攝影。以下,同樣進行第三張至第五張為止的攝影。
另外,所述說明中,說明了攝影全部通過使用者的操作來進行的情況,但也可由偵測到照相機20旋轉了規定角度的拍照控制部31通過向照相機20輸出拍攝指示信號來自動進行攝影。此時,只要以使使用者在旋轉照相機20的中途不進行攝影的方式對使用者進行實施攝影的意旨的告知,在移動感測器30偵測到使用者依照告知而停止了照相機20的旋轉後進行攝影即可。
而且,所述說明中,是通過移動感測器30來檢測照相機20的移動資訊,但並不限定於此。例如,也可基於各影像的特徵點間的距離來檢測照相機20的移動資訊。以下,使用圖1來說明該方法。
以下的說明中,設第一張拍攝影像(自拍影像)為基準影像Ir0,第二張以後的拍攝影像為物件影像IcN(N=1、2…Nmax)來進行說明。 第二張以後的拍攝影像IcN的位置如上所述,是通過從基準影像Ir0計起的旋轉角度設定而在攝影前預先設定。
照相機20將映入照相機20內部的透鏡(lens)的光信號通過影像元件而轉換為電信號,並輸出至輸入部10及顯示部35。該影像資訊作為拍攝待機畫面而顯示於顯示部35上。該拍攝待機畫面為即時影像(隨時或每隔規定的時間間隔而更新的動態影像)。 將顯示於拍攝待機畫面且隨時或每隔規定的時間間隔而更新的動態影像的影像之一設為當前影像IctM(M=N-1)。以下,使用當前影像Ict0(在從基準影像Ir0的攝影後直至第二張的攝影(Ic1的攝影)為止的期間內即時顯示於拍攝待機畫面上的影像)來進行說明。
當前影像Ict0從照相機20經由輸入部10而輸出至匹配部12,匹配部12成對地獲取基準影像Ir0與當前影像Ict0的中心位置的座標資訊。接下來,匹配部12將所獲取的所述中心座標對輸出至轉換矩陣推定部13,轉換矩陣推定部13推定使基準影像Ir0的座標系與當前影像Ict0的座標系對應的轉換式即轉換矩陣。
接下來,轉換矩陣推定部13將推定出的轉換矩陣輸出至拍照控制部31。 拍照控制部31基於推定出的轉換矩陣來進行基準影像Ir0與當前影像Ict0的對位。繼而,算出使基準影像Ir0的特徵點(例如中心座標)旋轉規定角度(此時為30度)後的座標,若該座標與當前影像Ict0的特徵點(例如中心位置)的座標的距離為規定值及以下或小於規定值,則判定為照相機旋轉了規定角度。另外,也可由對位部14來進行基於該轉換矩陣的對位及照相機的旋轉判定,並將判定結果輸出至拍照控制部31。 以下,Ict1(在從第二張的攝影直至第三張的攝影為止的期間內即時顯示於拍攝待機畫面上的影像)、Ict2也同樣。
另外,也可同時採用上文所說明的使用移動感測器的方法及使用各影像的特徵點座標的方法,以提高照相機的移動檢測的精度。
而且,對於全景拍攝範圍、攝影張數及單位旋轉角度,只要將若干個設定的組合預先儲存在影像處理裝置1或照相機20的儲存部中,由使用者根據用途來選擇即可。而且,也可由使用者輸入任意的數值來設定。此時,在輸入有無法設定的數值時(例如輸入有在所使用的照相機的視場角下無法攝影的旋轉角度時),只要將該意旨顯示為輸入錯誤(error)而告知給使用者即可。
[1-3.變形例] 以上說明的影像處理裝置1表示了本發明的影像處理裝置的一例,但本發明的影像處理裝置並不限於影像處理裝置1,也可在不變更各權利要求所記載的主旨的範圍內,對實施方式的影像處理裝置進行變形,或者適用於其他裝置。
例如,所述實施方式中,對照相機20連續拍攝靜態影像的示例進行了說明,但照相機20也可拍攝動態影像。此時,輸入部10也可具有從所拍攝的動態影像中提取連續的影像的功能。而且,輸入部10所輸入的影像也可為從其他設備經由網路(network)而發送的影像。
而且,所述實施方式中,對由照相機20所拍攝的影像的大小為相同的情況進行了說明,但所拍攝的影像的大小也可在每次拍攝時為不同的大小。
而且,所述實施方式中,對影像處理裝置1具備輸入部10、基準影像選擇部11、匹配部12、轉換矩陣推定部13、對位部14、影像合成部15、拍照控制部31及引導顯示設定部32的結構進行了說明,但也可根據所要求的性能來適當變更這些結構。 例如,採用影像處理裝置1具備輸入部10、拍照控制部31及引導顯示設定部32的結構,以使連接於影像處理裝置1的外部伺服器(server)等資訊處理終端具備與影像合成相關的功能,即,具備相當於基準影像選擇部11、匹配部12、轉換矩陣推定部13、對位部14及影像合成部15的功能。此時,只要採用下述結構即可,即:由照相機20所拍攝的影像資訊經由影像處理裝置1的輸入部10及通訊線路而輸出至外部伺服器,外部伺服器使用影像資訊來進行影像合成處理,且由外部伺服器所生成的合成影像經由通訊線路而輸出至顯示部35。
[2.實施例] 接下來,作為具備所述影像處理裝置1的電子設備的一例,對智慧型手機2的實施例進行說明。但是,可適用本發明的實施例當然不限定於以下說明的實施例。
[2-1.功能結構] 圖2(a)及圖2(b)是表示本發明的智慧型手機2的一結構例的立體圖。 圖2(a)示出了智慧型手機2的框體60的前表面61,圖2(b)示出了智慧型手機2的框體60的背面71。 智慧型手機2包含框體60、前置照相機62、後置照相機72、顯示畫面(觸控面板(touch panel))63、操作按鈕64、進行聲音輸出的揚聲器(speaker)73及閃光燈(flash light)74等。 前置照相機62、顯示畫面(觸控面板)63及操作按鈕64被設在框體60的前表面61,後置照相機72、揚聲器73及閃光燈74被設在框體60的背面。 顯示畫面(觸控面板)63例如包含:顯示裝置,具有包含液晶顯示器(Liquid Crystal Display,LCD)的顯示畫面;以及觸摸感測器(touch sensor),檢測對顯示畫面的觸摸操作。 操作按鈕64是以物理方式設於框體50,通過使用者的按下操作來執行預先分配的功能。或者,也可使操作按鈕64以圖示(icon)形狀顯示於觸控面板上,通過使用者的觸摸操作來進行操作。
圖3是表示智慧型手機2的功能結構的一例的方塊圖。 智慧型手機2具備處理部100、操作部200、顯示部300、聲音輸出部400、拍照部500、通訊部600、時鐘部700、儲存部800、振動部750及移動感測器760。
處理部100是依照儲存部800中所儲存的系統程式(system program)等各種程式來統一控制智慧型手機2的各部,或者進行與影像處理相關的各種處理的處理裝置,是具有CPU或DSP等處理器或者ASIC等積體電路而構成。 處理部100具有基準影像選擇部110、匹配部120、轉換矩陣推定部130、對位部140、影像合成部160、顯示控制部170、拍照控制部150及引導顯示控制部180,以作為主要的功能部。這些功能部分別對應於圖1的影像處理裝置1所具備的功能部。
操作部200是具有操作按鈕或操作開關、滑鼠(mouse)等供使用者進行對智慧型手機2的各種操作輸入的輸入裝置而構成。而且,操作部200具有與顯示部300一體地構成的觸控面板250,該觸控面板250作為使用者與智慧型手機2之間的輸入介面(interface)發揮功能。依照使用者操作的操作信號從操作部200輸出至處理部100。
顯示部300是具有液晶顯示器(Liquid Crystal Display,LCD)等而構成的顯示裝置,基於從處理部100輸出的顯示信號來進行各種顯示。顯示部300是與觸控面板250一體地構成而形成觸控式螢幕(touch screen)。在顯示部300上,顯示拍攝影像或修正影像等各種影像。
聲音輸出部400是具有揚聲器等而構成的聲音輸出裝置,進行基於從處理部100輸出的聲音輸出信號的各種聲音輸出。
拍照部500是可對任意場景(scene)的影像進行攝影地構成的拍攝裝置,是具有電荷耦合器件(Charge Coupled Device,CCD)影像感測器或互補金屬氧化物半導體(Complementary Metal Oxide Semiconductor,CMOS)影像感測器等拍攝元件而構成。拍照部500將光信號轉換為電信號,並將數位化的拍攝影像的資料輸出至處理部100。 拍照部500具備配設在智慧型手機2的顯示部300側的前置照相機62、及配設在其相反側的後置照相機72以作為拍攝裝置。 前置照相機62與後置照相機72可通過使用者輸入等來切換地構成。前置照相機62主要用於保持智慧型手機2的使用者拍攝使用者自身的自拍或群攝用。後置照相機72用於拍攝使用者以外的人物或風景。
通訊部600是用於與外部的資訊處理裝置之間收發在裝置內部利用的資訊的通訊裝置。作為通訊部600的通訊方式,可適用經由遵循規定通訊規格的電纜(cable)來進行有線連接的形式、經由被稱作支架的兼用為充電器的中間裝置來連接的形式、利用近距離無線通訊來進行無線連接的形式等各種方式。另外,以下的實施例中,顯示於智慧型手機2的顯示部300上的影像也可顯示在經由通訊部600而有線或無線連接於智慧型手機2的外部的顯示終端裝置上。
時鐘部700為智慧型手機2的內部時鐘,例如具有晶體振子及作為振盪電路的晶體振盪器而構成。時鐘部700的計時時刻被隨時輸出至處理部100。
儲存部800是具有唯讀記憶體(Read Only Memory,ROM)或電子可抹除可程式化唯讀記憶體(Electrically Erasable Programmable Read Only Memory,EEPROM)、快閃記憶體(flash memory)、隨機存取記憶體(Random Access Memory,RAM)等揮發性或非揮發性的記憶體、或者硬碟(hard disk)裝置等而構成的儲存裝置。儲存部800儲存處理部100用於控制智慧型手機2的系統程式、或者用於進行各種影像處理的程式或資料。
本實施例中,在儲存部800中,儲存有由處理部100所讀出並作為照相機模式處理而執行的照相機模式處理程式810。照相機模式處理程式810包含作為影像生成處理而執行的影像生成程式811以作為副程式(subroutine)。
而且,在儲存部800中,包含:已輸入影像資料庫830,保存從拍照部500輸入至處理部100的拍攝影像的影像資訊來作為已輸入影像;輸入影像用緩衝器850,暫時保存依次輸入的拍攝影像;以及輸出影像用緩衝器870,保存最終生成的合成影像。
振動部750是具有馬達等而構成的振動產生裝置,進行基於從處理部100輸出的振動產生信號的各種振動產生。該裝置作為對使用者的告知部件的一例,在使智慧型手機2振動時使用。
移動感測器760是可對智慧型手機2的移動資訊進行檢測地構成的感測器。移動感測器760將使智慧型手機2的移動資訊轉換為電信號的資料輸出至處理部100。
拍照控制部150是對與後述的智慧型手機2的自拍引導拍攝模式相關的處理等進行控制的功能部,對從操作部200、拍照部500、匹配部120、轉換矩陣推定部130及移動感測器760等輸出的資料進行處理,並輸出至引導顯示設定部180、顯示部300、聲音輸出部400、拍照部500及振動部750。
引導顯示設定部180基於從拍照控制部150輸出的資料而生成引導影像等,並將它們輸出至顯示部300。
[2-2.處理] 圖4是表示智慧型手機2的處理部100依照儲存部800中所儲存的照相機模式處理程式810而執行的照相機模式處理的流程的一例的流程圖。該照相機模式處理是通過由使用者啟動照相機的應用(application)而執行的處理。
首先,處理部100判定由使用者經由操作部200而選擇的模式是否為自拍引導拍攝模式(A10)。當選擇了自拍引導拍攝模式時(A10;是(Yes)),拍照控制部150設定全景拍攝範圍、攝影張數及單位旋轉角度,並將各設定值輸出至引導顯示設定部180。引導顯示設定部180基於各設定值資訊來生成以下說明的攝影引導影像及當前位置標示影像,並顯示於顯示部300的拍攝待機畫面(A15)。 另外,在進行人臉區域檢測處理的情況下,只要在自拍引導拍攝模式選擇(A10)與自拍引導拍攝設定(A15)之間設置進行人臉區域檢測的步驟即可。
自拍引導拍攝模式的拍攝待機畫面包含當前影像、攝影引導影像及當前位置標示影像。當前影像是每隔規定的時間間隔而更新的所謂即時影像。經由拍照部500(自拍引導拍攝模式時為前置照相機62)中所設的透鏡而入射至影像感測器的光信號由影像元件轉換為電信號後,隨時輸出至處理部100,並通過顯示控制部190而顯示於顯示部300。以下,隨時更新當前影像,直至在A15中設定的攝影張數(例如5張)的拍攝結束為止。
攝影引導影像是用於對使用者進行催促其使智慧型手機2轉動至規定角度的告知、與告知攝影張數及攝影順序等的影像。而且,當前位置標示影像是用於告知智慧型手機2的當前位置資訊的影像。
使用者一邊看著拍攝待機畫面一邊將拿著智慧型手機2的手臂伸向前方,使智慧型手機2的拍照部500朝向使用者自身的方向。繼而,通過操作設於操作部200的按鈕等,從而進行第一張的攝影(A35)。另外,由於第一張是使用者的自拍影像,因此省略從旋轉檢測處理(A20)直至催促拍攝的告知(A30)為止的處理。而且,此時,當前位置標示影像的顯示可省略。
當拍照部500的拍攝結束時,顯示控制部190將所拍攝的拍攝影像顯示於顯示部300上(A40)。 此時,若瀏覽了拍攝影像的使用者欲重新拍攝影像,則使用者也可操作設於操作部200的按鈕等而返回A35,進行使拍照部500再次拍攝一張影像的拍照處理。
接下來,若攝影張數小於在A15中設定的攝影張數(A45;否(No)),處理部100使處理返回A15。並且,拍照控制部150將攝影引導影像更新為第二張的攝影引導影像,並對使用者進行催促其使智慧型手機2旋轉至進行第二張攝影的旋轉角度(以下稱作“拍攝旋轉角度”。)為止的告知(A15)。
使用者按照告知內容來使智慧型手機2旋轉,以使拍攝待機畫面的當前位置標示影像重合於第二張的攝影引導影像所示的位置。拍照控制部150基於從移動感測器760輸出的移動資訊來執行智慧型手機2的旋轉檢測處理(A20)。然後,當偵測到智慧型手機2旋轉了在A15中設定的規定角度(例如30度)時(A25;是),拍照控制部150經由引導顯示設定部180來對使用者進行催促第二張拍攝的告知(A30)。
繼而,使用者操作設於操作部200的按鈕等來進行第二張的攝影(A35)。以下,同樣地進行第3張以後的攝影。當在A15中設定的攝影張數(5張)的拍攝結束時(A45;是),繼而,處理部100判定是否由使用者經由操作部200進行了生成全景影像的執行操作(A50),若判定為未進行(A50;否),則返回A15,再次進行自拍引導拍攝設定。
另一方面,若判定為由使用者進行了生成全景影像的執行操作(A50;是),則處理部100依照儲存部800中所儲存的影像生成程式811來執行影像生成處理(A55)。
繼而,顯示控制部190將在影像生成處理中生成的合成影像作為全景影像而顯示控制於顯示部300(A60)。隨後,判定是否由使用者進行了結束自拍引導拍攝模式的操作(A65),若判定為未進行操作(A65;否),則使處理返回A15。
另一方面,若在A10中判定為自拍引導拍攝模式未被選擇(A10;否),則處理部100進行通常拍攝模式處理(A100)。在通常拍攝模式處理中,處理部100根據使用者對操作部200的拍攝操作來使拍照部500進行一張影像的拍攝,使所拍攝的拍攝影像儲存於儲存部800中,並顯示於顯示部300。
若在A65中判定為進行了結束自拍引導拍攝模式的操作(A65;是),或者,在A100的通常拍攝模式處理的執行後,處理部100判定是否由使用者進行了結束照相機模式的操作(A70),若判定為未進行結束操作(A70;否),則使處理返回A10。另一方面,若判定為進行了結束操作(A70;是),則結束照相機模式處理。
另外,所述說明中,攝影全部是通過使用者的按鈕操作等來進行,但也可通過基於由移動感測器760所檢測出的旋轉角度而偵測到智慧型手機2的方向已與攝影引導所示的拍攝方向一致(智慧型手機2旋轉了規定角度)的拍照控制部150向拍照部500輸出拍攝指示信號,從而自動進行攝影。此時,較佳的是設定為:以使使用者在使智慧型手機2旋轉的中途不進行攝影的方式,在移動感測器760檢測到智慧型手機2停止了規定時間(例如一秒鐘)後,自動進行攝影。
而且,也可設定為:由移動感測器760偵測到智慧型手機2旋轉了規定角度(例如30度)的拍照控制部150對使用者進行引導旋轉動作停止的告知,隨後,偵測到智慧型手機2停止了規定時間(例如一秒鐘)的拍照控制部150向拍照部500輸出拍攝指示信號,由此來自動進行攝影。而且,所述引導旋轉動作停止的告知不僅在旋轉了規定角度(例如30度)時,也可在相對於規定的旋轉角度而接近至規定範圍為止時(例如相對於30度而旋轉至25度為止時)進行。而且,也可在達到規定的旋轉角度時、與相對於規定的旋轉角度而接近至規定範圍為止時,進行不同形態的告知。在如上所述般自動進行攝影時,省略對使用者催促拍攝操作的告知(A30)。
而且,所述說明中,設通過移動感測器760來偵測智慧型手機2的移動資訊(A20),但並不限定於此,也可如[1-2.處理]中所說明般,基於影像的特徵點間的距離來偵測智慧型手機2的移動。而且,也可使用借助移動感測器760的偵測、與基於特徵點間距離的偵測這兩者。
(外部伺服器的活用) 而且,所述實施例中,對智慧型手機2的處理部100具備基準影像選擇部110、匹配部120、轉換矩陣推定部130、對位部140、影像合成部160、顯示控制部170、拍照控制部150及引導顯示控制部180的結構進行了說明,但也可適當變更這些結構。 例如,採用智慧型手機2的處理部100具備拍照控制部150、顯示控制部170及引導顯示設定部180的結構,使設在智慧型手機2外部的伺服器等資訊終端具備與影像合成相關的功能,即,具備相當於基準影像選擇部110、匹配部120、轉換矩陣推定部130、對位部140及影像合成部160的功能。由拍照部500所拍攝的影像資訊經由通訊部600及通訊線路而輸出至外部伺服器,外部伺服器使用影像資訊來進行影像合成處理。由外部伺服器所生成的合成影像經由通訊部600及通訊線路而輸出至智慧型手機2的顯示部300。 只要設定為如下即可:從智慧型手機2向外部伺服器的影像資訊的輸出是對應於每次拍攝、每規定的拍攝張數、每規定時間或者成為智慧型手機2可連接至外部伺服器的狀態時等,基於來自拍照控制部150的輸出命令而進行。例如,較佳的是,在依照攝影引導影像而規定張數的拍攝結束的時機,進行影像資訊的輸出。而且,只要設定為如下即可:外部伺服器的影像合成處理是在輸入有規定張數的影像資訊的時機自動進行。或者也可設定為如下:例如拍照控制部150在依照攝影引導影像而規定張數的拍攝結束的時機,將影像合成處理命令發送至外部伺服器。而且,也可設定為如下:來自外部伺服器的合成影像的輸出及顯示可在合成影像的生成結束後自動進行,例如通過使用者操作智慧型手機2的操作部200來進行。 如此,通過根據拍攝影像的張數或像素數而在外部伺服器中進行資料處理量變大的影像合成處理,從而能夠降低智慧型手機2的資料處理量。而且,影像合成處理中的對位處理由於資料處理的負載大,因此若在智慧型手機2等移動終端中搭載的處理部(CPU或DSP等處理器或者ASIC等積體電路)的資料處理能力下高速進行影像合成處理,則有時不得不生成粗略地對位的合成影像。如上所述,通過在資料處理能力大幅高於移動終端的伺服器中進行影像合成處理,從而能夠高速且準確地獲得對位的合成影像。
而且,所述實施例中,對下述情況進行了說明,即,在智慧型手機2的儲存部800中包含:已輸入影像資料庫830,保存從拍照部500輸入至處理部100的拍攝影像的影像資訊來作為已輸入影像;輸入影像用緩衝器850,暫時保存依次輸入的拍攝影像;以及輸出影像用緩衝器870,保存最終生成的合成影像,但是,合成影像也可保存在連接於智慧型手機2的外部伺服器的儲存部中。藉此,能夠降低智慧型手機2的儲存部800的儲存量。
而且,合成影像的顯示並不限於智慧型手機2的顯示部300,也可顯示於與外部伺服器有線或無線連接的外部的顯示終端裝置。合成影像在外部的顯示終端裝置上的顯示既可通過使用者操作智慧型手機2的操作部200來進行,也可不經由智慧型手機2的操作及處理而從外部的顯示終端裝置讀出外部伺服器的儲存部中所保存的合成影像並予以顯示。藉此,即使在智慧型手機2中進行有其他作業的情況下,也能夠在外部的顯示終端中參照合成影像。而且,使用者能夠在比智慧型手機2的顯示部300大的外部的顯示終端畫面上參照合成影像。而且,能夠不經由智慧型手機2的操作及處理而從外部的顯示終端裝置參照合成影像,由此,例如使用者能夠參照由過去拍攝的影像所生成的合成影像,一邊將其作為參考一邊進行下個拍攝引導影像的設定及拍攝操作。
[2-3.顯示畫面] 圖5(a)及圖5(b)是表示顯示部300上所顯示的自拍引導拍攝模式的拍攝待機畫面的一例的圖。 圖5(a)圖示了下述狀態,即,在圖4的照相機模式處理中啟動自拍引導拍攝模式,在拍攝待機畫面上,顯示有當前影像、攝影引導影像及當前位置標示影像(A15)。
在圖5(a)的拍攝待機畫面上,顯示有單手拿著智慧型手機2的使用者40及其背景,以作為當前影像。 作為攝影引導影像,顯示有使橢圓的圓弧的一部分具備規定寬度的形狀的旋轉引導41、及圓形的中心引導43這兩種。當前位置標示顯示有與旋轉引導41對應的旋轉標示42、及與中心引導43對應的中心標示44這兩種。旋轉引導41及中心引導43的中心位置被配置於顯示部300的左右方向的中心線(中心軸)上。
圖5(a)所示的旋轉引導41的使橢圓的圓弧的一部分具備規定寬度的形狀,是為了對使用者引導下述動作而有效的形狀,即,將顯示部300的左右方向的中心線作為旋轉的中心軸來使智慧型手機2朝左右方向轉動以進行多次攝影。只要使用者能夠領會旋轉的中心軸的位置,即使不將旋轉的中心軸顯示在顯示部300也可以。如圖5(a)所示,使用者可以藉由旋轉引導41的形狀領會旋轉的中心軸在顯示部300的左右方向的中心線位置,因此不進行旋轉的中心軸的顯示。
而且,構成旋轉引導41的外緣的、橢圓的一部分的角度(內角)成為與作為全景影像而生成的攝影範圍(全景拍攝範圍)對應的角度。作為設定角度的一例,圖5(a)中的該角度設為150度。當全景拍攝範圍窄於150度,例如被設定為90度時,旋轉引導41的該角度則與此對應地設定得較小。
而且,旋轉引導41基於所設定的單位旋轉角度(例如30度)而分割成旋轉引導單元41a~41e這五個區域來顯示。旋轉引導41的分割數即旋轉引導單元的數量表示了將要進行的攝影的攝影張數為五張。而且,如圖5(a)及圖5(b)所示,通過對旋轉引導單元標注影線(hatching),從而將表示下個拍攝方向的旋轉引導單元告知給使用者。此處,圖5(a)表示了第一張的攝影(使用者的正面方向的自拍攝影)時的拍攝待機畫面,因此僅對旋轉引導單元41c標注影線,從而可與其他旋轉引導單元識別地予以顯示。
由此,使用者只要一看旋轉引導41,便可想起使智慧型手機2轉動以進行多次攝影的動作,且可認識到全景拍攝範圍、單位旋轉角度、攝影張數及下個拍攝方向。
另外,旋轉引導41的形狀如後所述,並不限於圖5(a)所示的形狀。例如,也可將矩形板狀的旋轉引導單元排列在橢圓或圓的外周上。進而,也可設為使該板狀引導單元具備縱深的形狀。
而且,圖5(a)的各旋轉引導單元是以實線劃分而顯示,但顯示的形態並不限於此,只要是能夠視認相鄰的旋轉引導單元間的邊界的形態即可。
而且,圖5(b)中,對表示下個拍攝方向的旋轉引導單元標注了影線,但也可將圖5(b)中標注了影線的區域,以例如規定的不透明度(例如50%)的規定色(例如藍色)而顯示。藉此,可在能夠視認當前影像的狀態下,一眼視認到表示下個拍攝方向的旋轉引導單元。另外,顯示的形態並不限於此,只要是可識別表示下個拍攝方向的旋轉引導單元與除此以外的旋轉引導單元的形態即可。例如,也可為使表示下個拍攝方向的旋轉引導單元的外框的顯示色不同或閃爍等的形態。
旋轉標示42在圖5(a)中,重合於旋轉引導單元41c而顯示。以下,將此種狀態稱為引導與標示一致的狀態。對於旋轉標示42與旋轉引導單元41a~41e,使用圖5(b)及圖6(a)及圖6(b)來後述。
外觀旋轉引導45為智慧型手機2的外觀示意圖,以對應於智慧型手機2的轉動動作而旋轉的方式予以顯示。通過外觀旋轉引導45,使用者能夠一眼就直觀地掌握使智慧型手機2旋轉的方向。
圖5(a)及圖5(b)中,旋轉標示42是以比旋轉引導41粗的實線來表示,但顯示形態並不限於此,例如為了提高旋轉標示42的視認性,只要採用與旋轉引導41不同的顯示色即可。而且,也可在與旋轉標示42和旋轉引導41的距離遠隔的狀態一致的狀態下,使旋轉標示42的顏色發生變化。而且,當引導與標示一致時,也可進行使旋轉標示42閃爍等借助光的告知或者使智慧型手機2振動的告知、借助聲音的告知。 而且,也可將旋轉引導41以橢圓或圓的圓弧的一部分的線(實線或虛線等)來顯示,將旋轉標示42以圖形、文字、符號等來顯示。此時,只要在各旋轉引導單元的圓弧的中央顯示圖形、文字、符號等標記(mark),使智慧型手機2旋轉而在該標記與旋轉標示42一致的位置進行攝影即可。
接下來,對圖5(a)所示的中心引導43及中心標示44進行說明。
當為了第二張以後的攝影而使智慧型手機2旋轉時,考慮智慧型手機2朝上下左右移動的情況。例如,當使用者結束自身左側的攝影,繼而為了進行右側的攝影而使智慧型手機2再次旋轉到使用者的正面時,有時會因拿著智慧型手機2的手臂的疲勞等而導致智慧型手機2的位置從第一幅攝影時的位置朝上下左右移動。若在此狀態下使智慧型手機2旋轉來進行使用者右側的攝影,則所拍攝的影像會相對於第一張拍攝影像而產生大的偏移,結果有可能損害所生成的全景影像的美觀。中心引導43及中心標示44將此種朝向上下左右方向的偏移告知給使用者,以催促使用者進行智慧型手機2的位置修正。
中心引導43是以將拍攝待機畫面的中心位置作為原點的圓形來顯示。例如,當使用者進行第一張的自拍影像攝影時,如圖5(a)所示,只要使智慧型手機2移動以使中心引導43位於臉的中心,便能夠使臉的中心與畫面的中心一致。即,拍攝待機畫面的中心位置可以說是表示瞄準哪個位置來進行攝影即可的瞄準位置。
以比中心引導43大的圓而顯示的中心標示44是對應於智慧型手機2朝向上下左右方向的移動而顯示於拍攝待機畫面的標示。圖5(a)表示了第一張攝影時的拍攝待機畫面,因此中心標示44及中心引導43是作為將拍攝待機畫面的中心位置作為原點的圓而顯示,該狀態為無偏移狀態的顯示形態。
為了將如上所述的朝向上下左右方向的偏移告知給使用者,例如將第一張攝影時的拍攝待機畫面的中心位置作為中心引導43而持續顯示於拍攝待機畫面上。在使用者使智慧型手機2旋轉時智慧型手機2發生了移動的情況下,以中心標示44相對於中心引導43而朝移動方向發生了偏移的狀態予以顯示。
圖5(a)及圖5(b)中,中心引導43是以圓形而顯示,中心標示44是以使圓的外周具備寬度的形狀而顯示,進而,中心引導43及中心標示44是以規定的不透明度(例如50%)而顯示,但顯示的形態並不限於此。例如,中心引導43及中心標示44也可為正方形、菱形(diamond)形狀等的其他圖形或文字、符號等,而非圓。而且,例如為了提高中心標示44的視認性,只要採用與中心引導43不同的顯示色即可。而且,也可在與中心標示44和中心引導43的距離遠隔的狀態一致的狀態下,使中心標示44的顏色發生變化。而且,當中心引導43與中心標示44一致時,也可進行使中心標示44閃爍等借助光的告知或者使智慧型手機2振動的告知、借助聲音的告知。
當第一張的拍攝結束時(A35),由於攝影張數小於所設定的必要攝影張數(A45:否),因此拍照控制部150將攝影引導影像更新為第二張的攝影引導影像(A15)。
圖5(b)表示了使用者按照第二張的攝影引導影像來使智慧型手機2旋轉的狀態。 第二張的攝影引導影像中,對於旋轉引導41的表示下個拍攝方向的旋轉方向的引導41b及引導41d標注有影線,使用者只要選擇左右任一方向來使智慧型手機2旋轉即可。圖5(b)中表示了:使用者使智慧型手機2朝向旋轉引導單元41b的方向(左方向)旋轉,旋轉標示42對應於該旋轉角度而移動。
而且,圖5(b)的中心標示44顯示在從中心引導43朝左偏移的位置。這表示:當使用者使智慧型手機2旋轉時,使智慧型手機2朝左方向進行了平行移動。使用者使智慧型手機2朝右方向平行移動,直至中心標示44的圓的中心與中心引導43的圓的中心重合的位置為止,即,直至中心引導43與中心標示44的位置關係成為與圖5(a)的顯示狀態相同為止,從而修正朝向平行方向的偏移。而且,圖5(b)中表示了朝左方向偏移的示例,在朝上下方向發生了偏移的情況,只要同樣地進行修正即可。
而且,在圖5(a)及圖5(b)的拍攝待機畫面的上部,配置了模仿智慧型手機2的外觀的外觀旋轉引導45。外觀旋轉引導45是與旋轉標示42同樣地設定為,對應於智慧型手機2的旋轉方向與角度而旋轉。使用者通過同時視認實際的智慧型手機2的旋轉方向與外觀旋轉引導45的旋轉方向,從而能夠容易地使智慧型手機2朝下個拍攝方向旋轉。
以下,使用圖6(a)及圖6(b)、圖7(a)及圖7(b)與圖8(a)及圖8(b)來說明圖5(a)所示的攝影引導影像及當前位置標示影像的變形例。本發明的實施例並不限於以下的變形例,在不變更各權利要求所記載的主旨的範圍內,實施例的攝影引導影像及當前位置標示影像的形狀、顯示位置及組合可進行變更。
(在旋轉引導41的中心位置配置中心引導43) 圖6(a)是在構成旋轉引導41的橢圓的中心位置顯示中心引導43的示例。具體而言,配置成:中心引導43的中心位置與構成旋轉引導41的外緣的橢圓的中心位置一致。圖6(a)中,進而顯示有連結旋轉引導41的端部與橢圓的中心位置的虛線47。此時,也可在中心位置進而顯示圖形或符號。旋轉引導41及中心引導43的中心位置是與圖5(a)同樣地,配置於顯示部300的左右方向的中心軸上。旋轉標示42與中心標示44的功能與圖5(a)及圖5(b)中說明的功能相同。 通過如圖6(a)般顯示旋轉引導41與中心引導43,從而使用者無須移動視線便能夠視認旋轉引導41與中心引導43這兩者。因此,能夠容易地進行智慧型手機2的旋轉與朝向上下左右方向的位置修正。
(中心標示44與旋轉引導41聯動地移動) 圖6(b)是對應於中心標示44的位置變動而使旋轉引導41的顯示位置發生變動的示例。 在如圖5(b)般智慧型手機2朝左方向進行了平行移動的情況下,對應於該位置變動,中心標示44相對於顯示在顯示部300中央的中心引導43而朝左方向偏移。此時,圖5(b)中,旋轉標示42為不移動的設定。與此相對,圖6(b)所示的示例中,對應於中心標示44的位置變動,旋轉引導41也朝左方向移動。 藉此,使用者更易掌握當前的智慧型手機2的位置從中心位置發生了偏移的情況。
(移動操作錯誤告知:旋轉標示42發生變形) 圖7(a)是當智慧型手機2進行了旋轉動作以外的移動時,通過使旋轉標示42發生變形,從而對使用者進行移動操作錯誤告知的示例。 當智慧型手機2朝左方向進行了平行移動時,設定為,旋轉標示42對應於該位置變動而發生變形。例如,只要設定為如下即可:如圖7(a)所示般,原本呈現與旋轉引導單元41b一致的形狀的旋轉標示42例如以矩形來顯示。進而,也可設為進行使旋轉標示42的顏色發生變化、閃爍等處理的設定。 藉此,只要顯示旋轉引導41及旋轉標示42,便能夠對使用者進行智慧型手機2的移動操作錯誤告知。
(移動操作錯誤告知:旋轉引導41發生變形) 圖7(b)是當智慧型手機2進行了旋轉動作以外的移動時,通過使旋轉引導41或旋轉引導單元41b發生變形,從而對使用者進行操作錯誤告知的示例。 如圖7(a)或圖7(b)般,當旋轉標示42的一部分或旋轉引導41(旋轉引導單元41b)變形為矩形狀時,使用者能夠一眼就掌握:即便在該位置使智慧型手機2旋轉,也無法如後述的圖9(c)所示般使旋轉標示42與旋轉引導單元41b一致(即無法進行拍攝)。
(移動操作錯誤告知:旋轉標示42進行移動) 圖8(a)是當智慧型手機2進行了旋轉動作以外的移動時,通常位於構成旋轉引導41的形狀內或沿著形狀移動的旋轉標示42以從旋轉引導41偏移的狀態而顯示,由此來對使用者進行移動操作錯誤告知的示例。 例如,如圖8(a)所示,當智慧型手機2朝上方向進行了平行移動時,設定為,對應於該位置變動而旋轉標示42移動至從旋轉引導41朝上方向偏移的狀態。同樣,當智慧型手機2朝左方向進行了平行移動時,只要設定為如下即可:使旋轉標示42以從旋轉引導41朝左方向平行移動而偏移的狀態予以顯示。 當旋轉標示42從旋轉引導41發生了偏移時,使用者能夠一眼就掌握:即便在該位置使智慧型手機2旋轉,也無法如後述的圖9(c)所示般使旋轉標示42與旋轉引導單元41b一致(即無法進行拍攝)。
(將中心引導43的中心與中心標示44的中心間連線) 也可如圖8(b)所示,顯示將中心引導43的中心位置與中心標示44的中心位置間予以連結的直線46。藉此,能夠使使用者明確認識到必須使中心引導43的中心位置與中心標示44的中心位置一致。而且,若在直線46的一端附加朝向中心引導43的中心位置的方向,即使用者進行智慧型手機2的位置修正的方向的箭頭,則成為更有效的告知。 而且,也可對應於直線46的長度(中心引導43的中心位置與中心標示44的中心位置間的距離)而使直線46的線寬及線的顏色發生變化。此時,例如只要採用下述等設定即可:直線46的長度越短則使線寬越粗;當直線46的長度變長時,線的顏色從藍色變化為紅色。 而且,當使用者修正智慧型手機2的位置以使中心引導43的中心與中心標示44的中心一致時及旋轉引導單元與旋轉標示一致時,也可使這些引導或標示的一部分或全部的顯示色發生變化或閃爍,由此來對使用者進行告知。
以上說明的示例中,是使用表示引導及標示的圖形、符號、文字等,利用其移動或顏色的變化等來對使用者進行告知,但也可在顯示部300上顯示數值資訊,由此來對使用者進行告知,以引導進行恰當的攝影所需的動作。 例如,如圖5(b)所示,當智慧型手機2朝左方向進行平行移動時,將智慧型手機2的位置修正所需的距離、例如從當前位置朝右移動10英寸(inch)的距離作為數值資訊而即時顯示於顯示部300上。使用者一邊參照將0英寸作為目標值而即時顯示的數值資訊一邊使智慧型手機2朝右平行移動,由此能夠修正智慧型手機2的位置變動。 同樣地,當進行智慧型手機2的旋轉動作時,將旋轉方向與單位旋轉角度(例如朝左30度)作為數值資訊而顯示於顯示部300上,同時將從當前位置旋轉30度為止的旋轉角度作為數值資訊而即時顯示。使用者一邊參照將30度作為目標值而即時顯示的數值資訊一邊使智慧型手機2旋轉,由此能夠使智慧型手機2旋轉至適合於攝影的旋轉角度為止。
而且,以上說明的示例中,將使用者依照告知來修正智慧型手機2的位置以繼續下次攝影作為前提而進行了說明,但若偏移量大,則有時不進行位置修正而暫時中斷攝影的做法更有效率。為了執行該操作,只要將經由移動感測器760而檢測到偏移量大於規定值的拍照控制部150中斷攝影模式的步驟設置於A25與A30之間,攝影中斷後返回A15,返回第一張的攝影引導設定處理或該攝影引導的設定處理即可。進而,只要將該意旨的文字訊息(text message)顯示於顯示部300,以對使用者進行告知即可。
圖9(a)至圖9(e)表示進行第1張至第4張為止的攝影的期間的、作為拍攝待機畫面而顯示於顯示部300上的旋轉引導41及旋轉標示42的顯示變化的示例。
圖9(a)及圖9(b)中,與圖5(a)及圖5(b)的旋轉引導41及旋轉標示42相同,因此省略說明。
圖9(c)中,與圖9(a)同樣,旋轉引導單元41b與旋轉標示42成為一致的狀態。即,表示已由使用者使智慧型手機2旋轉至第二張的攝影位置為止。對於使用者,顯示催促第二張的拍攝操作的告知(A30)。
在第二張的拍攝結束後,與第一張的拍攝結束後同樣,將攝影引導影像更新為接下來的第三張的攝影引導影像。即,成為下述狀態:對旋轉引導單元41b標注的影線消失,取而代之,對旋轉引導單元41a標注有影線。圖9(d)表示使用者按照第三張的攝影引導影像的顯示來改變智慧型手機2的角度,從而旋轉引導單元41a與旋轉標示42一致的狀態。在此狀態下進行第三張的攝影。
圖9(e)同樣表示使用者按照第四張的攝影引導影像的顯示來改變智慧型手機2的角度,從而旋轉引導單元41d與旋轉標示42一致的狀態。在此狀態下,進行第四張的攝影。
繼而,在未圖示的第五張的攝影引導影像中,僅對剩餘的旋轉引導單元41e標注有影線。使用者按照第五張的攝影引導影像的顯示來改變智慧型手機2的角度,直至旋轉引導單元41e與旋轉標示42一致為止,從而進行第五張的攝影。
圖10(a)及圖10(b)是表示旋轉引導的另一顯示形態的示例的圖。 在圖5(a)及圖5(b)~圖9(a)至圖9(e)中,為了表示攝影順序,對表示下個攝影角度的旋轉引導單元標注了影線。圖10(a)及圖10(b)是以數字來顯示攝影順序的示例。首先,使用者在圖10(a)所示的顯示為“1”的旋轉引導單元41c的位置進行第一張的攝影。繼而,按照所顯示的數字的順序,在旋轉引導單元41b、41a、41d、41e的位置進行攝影。另外,數字的顯示也可如圖10(b)所示般設定為,在各旋轉引導單元位置處的拍攝結束後不再顯示。而且,也可將表示攝影順序的數字與影線處理加以組合而顯示。
(上下方向引導攝影模式) 以上說明的實施例中,對下述情況進行了說明,即,使智慧型手機2以顯示部300的左右方向的中心線作為旋轉的中心軸而使智慧型手機2旋轉以進行多次攝影,從而獲得左右方向為廣角範圍的全景合成影像,但本發明的引導功能對於下述情況也有效,即,以顯示部300的上下方向的中心線作為旋轉的中心軸而使智慧型手機2朝上下方向旋轉以進行多次攝影,從而獲得上下方向為廣角範圍的全景合成影像。 為了執行該操作,只要在照相機模式處理開始後設置選擇上下方向引導攝影模式的步驟即可。進而,當上下方向引導攝影模式受到選擇時,只要取代自拍引導拍攝設定、引導顯示及引導更新(A15),而設置進行上下方向引導攝影設定、引導顯示及引導更新的步驟即可。 此時,作為對使用者的引導,顯示旋轉的中心軸線、上下方向較長的矩形的旋轉引導、將旋轉引導根據單位旋轉角度而分割為例如三個的旋轉引導單元、及與旋轉引導單元的形狀對應的旋轉標示。上下方向較長的旋轉引導的中心是配置於旋轉的中心軸線上。即,成為在水平方向上旋轉的中心軸線橫切上下方向較長的旋轉引導的中心的形態。旋轉引導例如也可設為上底短於下底的梯形或三角形,只要將使其以單位旋轉角度來分割而成者作為各旋轉引導單元即可。而且,也可同時顯示中心引導及中心標示。
(正圓型的旋轉引導) 以上所說明的示例中,作為旋轉引導41,表示了使橢圓的圓弧的一部分具備規定寬度的形狀,但旋轉引導41的形狀並不限定於此,也可如圖11(a)所示,採用使正圓的圓弧的一部分具備規定寬度的形狀。圖11(a)表示了與旋轉引導41一同而在與圖6(a)同樣的位置顯示有中心引導43及中心標示44的示例。
(橢圓或圓的局部形狀型的旋轉引導) 以上所說明的示例中,將旋轉引導41的形狀如圖5(a)及圖5(b)~圖10(a)及圖10(b)及圖11(a)般設為使橢圓或圓的圓弧的一部分具備規定寬度的形狀(將從橢圓或圓的中心點至規定距離為止的內周部予以去除的形狀),但也可設為將橢圓或圓沿著從其中心點朝向外周的方向分割而成的形狀。此時,旋轉引導單元成為具有規定角度(例如150度)的內角的橢圓或圓的局部形狀,各旋轉引導單元成為具有單位旋轉角度(例如30度)的內角的橢圓或圓的局部形狀。 或者,也可將旋轉引導單元的外周設為直線形狀而非橢圓或圓的圓弧。此時,進而在未將從旋轉引導的中心點至規定距離為止的內周部予以去除的情況下,各旋轉引導單元成為具有單位旋轉角度(例如30度)的內角的三角形的形狀。
(引導的組合:在旋轉引導的中心位置顯示外觀旋轉引導) 而且,多種引導顯示的組合並不限於旋轉引導41與中心引導43的組合。例如,也可如圖11(b)所示,將旋轉引導41與外觀旋轉引導45加以組合。圖11(b)中,在使橢圓的圓弧的一部分具備規定寬度的形狀的旋轉引導41的圓弧的中心位置,配置有旋轉的中心軸48及外觀旋轉引導45。 通過設為如圖11(b)般,使用者無須移動視線便能夠視認旋轉引導41及外觀旋轉引導45這兩者。而且,通過一同顯示旋轉的中心軸48,從而能夠讓使用者明確地意識到旋轉的中心軸位於智慧型手機2上。
(螢幕(screen)型的旋轉引導) 或者,也可如圖11(c)所示,將旋轉引導41的形狀設為如下所述的形狀,即,使多個四邊形的旋轉引導單元沿水平方向排列,對中央的旋轉引導單元41c左右的旋轉引導單元(此時為旋轉引導單元41b及旋轉引導單元41d)予以傾斜。進而,也可將旋轉的中心軸48顯示於旋轉引導單元41(c)的左右方向的中心線上。通過將旋轉引導單元如此設為四邊形的形狀(螢幕形狀)而配置多個,從而能夠以面來顯示旋轉引導單元的傾斜方向及傾斜程度,因此具有容易與實際的智慧型手機2的傾斜方向及傾斜程度進行比較的優點。
(圓柱、多棱形型的旋轉引導) 或者,也可如圖11(d)所示,將旋轉引導41的形狀設為圓柱形狀。此時,旋轉引導單元41a~41e成為將圓柱的側面基於單位旋轉角度(例如30度)而沿垂直方向予以分割的形狀。而且,也可如圖11(d)所示,將連結圓柱的上表面及下表面的中心點的直線顯示為旋轉的中心軸48,進而,在旋轉的中心軸48上顯示外觀旋轉引導45。而且,圓柱也可為多棱柱,此時,旋轉引導單元41a~41e成為構成多棱柱的側面的矩形形狀。
(引導的顯示位置) 而且,對於顯示部300內的攝影引導的顯示位置,也可以下述方式構成。另外,為了簡化說明,在以下的結構例中,使用旋轉引導41及旋轉標示42來進行說明,但應明確的是,本發明並不限定於此。
(顯示在畫面中央或人臉區域的中心) 圖12(a)表示使旋轉引導41顯示在顯示部300的中心位置的狀態。圖12(a)中,使位於旋轉引導41中央的旋轉引導單元41c的中心位置一致於顯示部300的中心位置而顯示,但也可使構成旋轉引導41外緣的橢圓的中心位置一致於顯示部300的中心位置而顯示。 或者,也可執行人臉區域檢測,並以旋轉引導單元41c的中心位置或構成旋轉引導41外緣的橢圓的中心位置、與所述檢測的結果顯示的矩形區域即人臉區域49的中心位置一致的方式,來顯示旋轉引導41。
此處,所謂人臉區域檢測,是指對人物的臉進行檢測的物體檢測處理的一例,採用維奧拉鐘斯(Viola-Jones)法或使用類哈爾(Haar-like)特徵量的人臉區域檢測法等公知的方法。為了執行人臉區域檢測,只要在自拍引導拍攝模式判定(A10;是)與自拍引導拍攝設定(A15)之間,新設置人臉區域檢測處理的步驟。而且,為了簡化說明,將所檢測的人臉區域設為矩形來進行說明,但應明確的是,人臉區域的形狀並不限於矩形,也可為正方形、圓或橢圓等。 藉此,作為攝影者的使用者無須移動視線,便能夠視認旋轉引導41及攝影物件(此時為使用者40的臉)這兩者。
(顯示在人臉區域以外) 或者,也可如圖12(b)所示,在人臉區域49以外的位置顯示旋轉引導41及旋轉標示42。此處,在圖12(b)中,是在人臉區域49以外且顯示部300的上部顯示旋轉引導41及旋轉標示42,但也可顯示在人臉區域49的顯示區域以外且顯示部300的下部。藉此,由於人臉區域49與旋轉引導41及旋轉標示42並不重合而是分開顯示,因此具有容易視認被攝物的狀態(此時為使用者自身的表情等)的優點。 進而,也可在不與人臉區域49重合的範圍內、且盡可能接近人臉區域49的位置,顯示旋轉引導41及旋轉標示42。即,使圖12(b)所示的旋轉引導41移動到更接近人臉區域49的矩形範圍的位置。藉此,使用者無須移動視線便能夠視認被攝物的狀態與旋轉引導41這兩者。
(顯示在前置照相機附近) 而且,也可如圖13(a)所示,在靠近智慧型手機2的前置照相機62的位置顯示旋轉引導41及旋轉標示42。在前置照相機62與旋轉引導41及旋轉標示42的位置分開的情況下,在攝影時,預計使用者的視線會朝向旋轉引導41及旋轉標示42而非前置照相機62,由此將在使用者的視線較前置照相機62偏向下方向的狀態下進行攝影。與此相對,通過如圖13(a)般將旋轉引導41及旋轉標示42顯示在接近前置照相機62的位置,從而能夠在使用者的視線更接近地朝向前置照相機62的狀態下進行攝影。而且,使用者能夠在將視線維持在接近前置照相機62的位置的狀態下,一邊看著旋轉引導41及旋轉標示42一邊使智慧型手機2旋轉來進行攝影,因此操作性提高。
(多個人臉區域檢測:顯示在所選擇的人臉區域或人臉區域以外、全景拍攝範圍的設定) 而且,如群攝般,有時會有作為攝影者的使用者以外的多個人物的臉映入顯示部300。此種情況下,設定為:以旋轉引導單元41c的中心位置或構成旋轉引導41外緣的橢圓的中心位置、與多個人臉區域中的所選擇的任一個人臉區域的中心位置一致的方式,來顯示旋轉引導41。人臉區域的選擇將通過使用者的點擊(tap)、點兩下(double tap)或長按等操作來進行。或者,也可在規定條件下自動進行人臉區域的選擇。例如,為了從多個人臉區域中自動選擇作為攝影者的使用者自身的人臉區域,只要採用下述設定即可,即:自動選擇具備最大面積的人臉區域或最接近顯示部300中央的人臉區域,以作為使用者自身的人臉區域的可能性高的區域。 或者,也可如圖13(b)所示,在所檢測出的多個人臉區域以外的區域顯示旋轉引導41。在圖13(b)中,在所檢測出的多個人臉區域50a、50b及50c以外的區域、且在人臉區域50b的附近顯示旋轉引導41。
圖5(a)的說明中,設旋轉引導41的中心位置配置在顯示部300的左右方向的中心軸上,以該中心軸為基準來設定全景拍攝範圍(例如150度),但在如上所述般存在多個人臉區域的情況下,也可設置如下所述的設定。 即,如上所述從多個人臉區域中選擇一個人臉區域後,以該人臉區域的左右方向的中心軸為基準來設定全景拍攝範圍(例如150度)。此時,較佳的是設定為,利用文字或箭頭等符號來告知全景拍攝範圍的中心已被變更的情況。而且,對於所選擇的人臉區域,為了與其他的人臉區域辨別開來,有效的是進行使人臉區域的框的顏色發生變化、閃爍等處理。 藉此,在有多個人物的臉映入顯示部300的情況下,能夠設定以所選擇的人臉區域為中心的全景拍攝範圍。對於是僅將引導的顯示位置設定在所選擇的人臉區域或人臉區域以外,還是與此同時變更全景拍攝範圍的中心,例如只要在顯示部300上顯示功能表(menu)以供使用者選擇即可。
(基於使用者操作的引導顯示位置的變更) 而且,也可設定為:能夠通過使用者的點擊、點兩下或長按等操作來選擇所顯示的旋轉引導41,並通過拖曳(drag)操作來使旋轉引導41移動到顯示部300內的所需位置。而且,也可設為:能夠通過點擊、點兩下或長按等操作來選擇所顯示的旋轉引導41,並通過捏合(pinch)操作來變更旋轉引導41的大小。 而且,也可使旋轉引導41的大小對應於顯示部300內的旋轉引導41的顯示位置及可顯示區域的大小而發生變化。例如,如圖13(b)所示,當使攝影引導顯示在人臉區域以外的位置時,人臉區域以外的區域有時較窄(顯示部300中的可顯示攝影引導的區域窄)。此種情況下,也可設定為,使攝影引導大小對應於可顯示區域的大小而縮小。
(引導的優先顯示) 而且,在智慧型手機2未處於攝影位置的狀態下,也可設定為,較被攝物而優先顯示引導顯示。例如,在智慧型手機2尚未旋轉至下個攝影位置為止(例如單位旋轉角度30度)的期間,對引導顯示與包含被攝物的映入前置照相機62的場景的亮度設置差異,將引導顯示的亮度設為比映入前置照相機62的場景的亮度高的狀態。或者,將映入前置照相機62的場景的亮度設為比引導顯示的亮度低的狀態。引導顯示的優先顯示的解除只要在智慧型手機2旋轉至攝影位置為止時、或者朝攝影位置接近至規定範圍為止時進行即可。而且,也可隨著接近攝影位置而逐漸減小亮度差,在旋轉至攝影位置為止時消除亮度差,以進行優先顯示的解除。而且,優先顯示的形態並不限於亮度差,只要使使用者觀察顯示畫面時的視認性產生差異即可,例如也可使用明度差、或者亮度與明度的組合差。
(顯示矩形的旋轉引導與中心軸) 圖14(a)至圖14(c)是顯示有矩形的旋轉引導及以智慧型手機2為中心的旋轉中心軸的、引導顯示的一例。圖14(a)表示使用者將智慧型手機2的前置照相機62朝向使用者的方向進行自拍的狀態。圖14(a)中,在顯示部300的左右方向的中心位置顯示有表示旋轉的中心軸48的直線。進而,為了讓使用者意識到旋轉動作,在中心軸48的周圍呈圓弧狀地顯示有附箭頭的實線。 在顯示部300的上端,顯示有圖14(a)所示的旋轉引導41及旋轉標示42,所述旋轉引導41包含水平方向較長的矩形形狀的旋轉引導單元41a~41e。圖14(b)表示使智慧型手機2朝旋轉引導單元41b的方向旋轉的中途的狀態。圖14(c)表示智慧型手機2旋轉至旋轉引導單元41b的位置為止的狀態。 另外,較佳的是,在中心軸48上進而顯示與圖11(b)同樣的外觀旋轉引導45及表示旋轉方向的箭頭。而且,也可將中心引導43及中心標示44顯示在旋轉的中心軸上的任意位置。 而且,中心軸48無須如圖14(a)至圖14(c)所示般顯示在智慧型手機2的顯示部300的整個垂直方向上,也可僅顯示在上部的規定範圍內。或者,也可使中心軸48及圓弧狀的附箭頭的實線顯示在旋轉引導41內、例如旋轉引導單元41c內部。而且,表示旋轉方向的圓弧狀的附箭頭的實線也可為直線而非圓弧狀。 藉此,能夠讓使用者明確理解要進行旋轉動作來進行攝影。
(矩形的旋轉引導、拍攝範圍標示、拍攝影像的顯示) 以上所說明的示例中,對將旋轉引導41及旋轉標示42予以組合的引導顯示進行了說明,但也可在旋轉引導41中顯示表示拍攝範圍的拍攝範圍標示46及所拍攝的影像的縮小影像47。以下,使用圖15(a)至圖15(c)來說明此情況下的引導顯示的一例。
圖15(a)表示第一張的攝影(使用者正面方向的自拍攝影)時的拍攝待機畫面。圖15(a)中,在顯示部300的上部右上,顯示有旋轉引導41及拍攝範圍標示46,該旋轉引導41包含垂直方向較長的旋轉引導單元41b~41d。拍攝範圍標示46是重合於位於旋轉引導41中央的旋轉引導單元41c而顯示,在拍攝範圍標示46及旋轉引導單元41c的位置,顯示有在旋轉引導單元41c的位置所拍攝的第一張影像(使用者正面方向的自拍影像)的縮小影像47。進而,在旋轉引導41之下,顯示有與圖11(b)同樣的外觀旋轉引導45。
拍攝範圍標示46是表示當前的智慧型手機2的前置照相機62的拍攝範圍及旋轉狀態的標示。拍攝範圍標示46對應於拍攝旋轉角度而在旋轉引導41中左右移動。而且,拍攝範圍標示46的形狀被設定為,在使用者使智慧型手機2旋轉的中途,對應於智慧型手機2的旋轉方向及旋轉角度而由矩形變形為梯形,當智慧型手機2旋轉至下個拍攝旋轉角度為止時,再次恢復為矩形。
旋轉引導單元41c的垂直方向與水平方向的尺寸比是對應於拍攝影像的垂直方向與水平方向尺寸比,理想的是設定為相同的尺寸比。位於旋轉引導單元41c左右的旋轉引導單元41b及旋轉引導單元41d的水平方向的尺寸既可設為與旋轉引導單元41c相同,也可如圖15(a)至圖15(c)所示,設定為比旋轉引導單元41c短。 在外觀旋轉引導45中,顯示表示下個旋轉方向的圓弧狀的附箭頭的實線。另外,表示下個旋轉方向的附箭頭的實線也可顯示在旋轉引導41內。而且,也可為直線形狀而非圓弧狀。 進而,較佳的是,在顯示部300上顯示催促朝左方向或右方向旋轉的文字訊息。而且,也可與圖5(b)同樣地,在旋轉引導單元41c的位置處的攝影後,對旋轉引導單元41b及旋轉引導單元41d標注影線,由此來將下個拍攝方向告知給使用者。
圖15(b)表示使用者為了在旋轉引導單元41b的位置進行第二張的攝影而使智慧型手機2旋轉的中途的拍攝待機畫面。拍攝範圍標示46的形狀是對應於智慧型手機2的旋轉方向及旋轉角度而由矩形變形為梯形來顯示。而且,外觀旋轉引導45是以與智慧型手機2的旋轉方向及旋轉角度對應的傾斜而顯示,進而標注有表示當前的旋轉方向的箭頭(此時為左方向的箭頭)。另外,較佳的是在顯示部300上顯示文字訊息,該文字訊息是催促在到達下個拍攝旋轉角度為止的期間內繼續旋轉。
繼而,圖15(c)表示第二張的攝影時的拍攝待機畫面。拍攝範圍標示46的形狀由梯形恢復為矩形,對應於智慧型手機2的旋轉方向及旋轉角度朝左方向移動而顯示。進而,在拍攝範圍標示46的位置,顯示有第二張攝影時的影像(在旋轉引導單元41b的位置處拍攝的影像)的縮小影像47。如此,通過將所拍攝的影像的縮小影像47顯示在旋轉引導41內,從而使用者無須從旋轉引導41移開視線,便能夠一邊視認拍攝範圍間的重合狀態一邊進行全景攝影。 在圖15(c)的外觀旋轉引導45中,顯示有表示下個旋轉方向的箭頭(此時為右方向的箭頭)。進而,較佳的是,在顯示部300上顯示催促朝向相反方向的旋轉的文字訊息。而且,也可與圖9(d)同樣地,在第二張的攝影後對旋轉引導單元41d標注影線,由此來將下個拍攝方向告知給使用者。 另外,旋轉引導41的顯示位置並不限於顯示部300的上部右上,也可為顯示部300內的任意位置,例如上部中央、上部左上。而且,也可將中心引導43及中心標示44顯示於顯示部300的中心位置。
(以使用者為基準的拍攝角度) 以上所說明的示例中的旋轉引導41及旋轉標示42是以智慧型手機2為基準來表示從使用者所見的智慧型手機2的方向(旋轉方向與旋轉程度)。而且,顯示於拍攝待機畫面上的影像為鏡像。與此相對,也可以使用者為基準,使根據智慧型手機2的方向而變化的作為攝影物件的內容反映至旋轉引導。以下,使用圖16(a)至圖16(c)來說明此時的旋轉引導的一例。
圖16(a)表示第一張影像攝影時的狀態。標示51是以使矩形的外周的一部分具備寬度的形狀而顯示,其中心位置被固定於顯示部300的中心位置。旋轉引導41'包含矩形的旋轉引導單元41a'~41e',其整體對應於智慧型手機2的旋轉而橫向移動。圖16(a)是對位於旋轉引導單元41a'~41e'中央的旋轉引導單元41c',標注有表示為攝影位置的影線的狀態。進而,也可顯示表示下個攝影方向(此時為旋轉引導單元41b')的箭頭52。旋轉引導單元是與圖5(a)及圖5(b)~圖10(a)及圖10(b)的示例相反地,以位於端部的旋轉引導單元41a'及旋轉引導單元41e'排列在顯示畫面的靠近側的方式而顯示。而且,顯示於拍攝待機畫面的影像成為與圖5(a)及圖5(b)~圖14(a)至圖14(c)的示例左右反轉的影像。 第一張的拍攝結束後,使用者使智慧型手機2旋轉,以使旋轉引導單元41b'收聚在標示51的範圍內。對應於智慧型手機2的旋轉,旋轉引導41'朝橫向(此時為右方向)移動。在旋轉引導單元41b'中,預先顯示有當智慧型手機2旋轉至旋轉引導單元41b'所表示的攝影位置為止時成為攝影物件的內容(映入前置照相機62的場景),使用者通過在智慧型手機2的旋轉操作過程中視認顯示於旋轉引導單元41b'的內容,從而能夠預先掌握接下來會拍攝怎樣的影像。
圖16(b)是第二張影像攝影時的狀態。在使用者使智慧型手機2旋轉而使旋轉引導單元41b'收聚在標示51的範圍內的狀態下,進行第二張的攝影。第三張以後的攝影也同樣。而且,圖16(c)是將圖16(a)的旋轉引導41'的上部與下部的外緣設為橢圓外緣的局部形狀的變形例。 藉此,較之圖5(a)及圖5(b)~圖14(a)至圖14(c)所示的旋轉引導的顯示形態,難以引起是否要以使智慧型手機旋轉的形式來對被攝物周圍進行攝影之類的誤認。而且,能夠以將要拍攝怎樣的影像預先提示給使用者的形式來進行攝影。
而且,圖16(a)至圖16(c)的示例中,並未顯示圖5(a)及圖5(b)~圖14(a)至圖14(c)的示例中所說明的當前位置標示。這是因為,如上所述,在圖16(a)至圖16(c)中顯示於拍攝待機畫面上的影像是相對於圖5(a)及圖5(b)~圖14(a)至圖14(c)的示例而左右反轉的影像。具體而言,若在圖16(a)至圖16(c)中進而顯示當前位置標示以欲修正智慧型手機2的左右方向的位置,則當前位置標示的移動與實際的智慧型手機2的移動方向為相反,使用者有可能發生混亂。因而,理想的是省略當前位置標示影像的顯示,或者,作為當前位置標示影像的代替,利用表示修正方向的箭頭之類的圖形資訊、“右(RIGHT)”、“左(LEFT)”之類的文字資訊及表示位置修正所需的距離的數值資訊等,來顯示智慧型手機2的位置修正所需的資訊。 而且,若在智慧型手機2的旋轉時存在上下方向的偏移,則也可設定為,相對於引導51而偏移地顯示旋轉引導41'。而且,若存在朝向平行方向的偏移,則也可設定為,使旋轉引導41'整體或相應的旋轉引導單元的矩形顯示發生變化(例如變形為梯形形狀)。
以上,對攝影引導的顯示形態的示例及顯示位置的示例進行了說明,但對於所使用的攝影引導的種類、組合及顯示位置,例如只要在顯示部300上顯示功能表以供使用者選擇即可。
而且,所述說明中,對以第一張拍攝影像為中心來左右均等地使智慧型手機2旋轉的示例進行說明,但本實施例的形態並不限於此。例如,也可設置能夠選擇僅在使用者的左側或右側進行第二張以後的攝影的步驟,以設定全景拍攝範圍。並且,當使用者選擇僅對左側進行攝影時,僅顯示旋轉引導單元41a~41c,而不顯示旋轉引導單元41d及旋轉引導單元41e。或者,只要將“縮小攝影範圍(攝影中途結束)”的圖示顯示於觸控面板250上,在旋轉引導單元41a~41c的範圍的拍攝結束後,通過觸摸該圖示來結束攝影,從而進行全景影像生成即可。或者,也可通過用手指來點擊所顯示的旋轉引導單元,從而能夠各別地切換旋轉引導單元的顯示與不顯示。
而且,所述說明中,是對在A15中設定的旋轉引導41的範圍(全景拍攝範圍)進行攝影,但本實施例的形態並不限於此。例如,也可設置下述步驟,即,能夠進行選擇,以使使用者能對較所設定的旋轉引導41更廣的範圍進行攝影。 例如,在圖5(a)中設定為:當在使用者使智慧型手機2旋轉而結束旋轉引導單元41a的位置處的攝影後,進一步使智慧型手機2朝同方向旋轉時,拍照控制部150對使用者顯示是否進行攝影範圍的放大的選擇功能表。當使用者選擇攝影範圍的放大時,更新旋轉引導41,並朝同方向追加顯示旋轉引導單元。同時更新所需攝影張數的資訊。 或者,只要在旋轉引導41的左右端的任一拍攝結束時,使“放大攝影範圍”的圖示顯示於觸控面板250,通過使用者觸摸該圖示,從而拍照控制部150更新旋轉引導41,而追加顯示旋轉引導單元即可。 或者,只要設定為如下即可:當在旋轉引導41的左右端的任一拍攝結束後,使用者進一步使智慧型手機2朝放大全景拍攝範圍的方向旋轉時,根據移動感測器760的輸出而判斷為攝影範圍已放大的拍照控制部150自動更新旋轉引導41,並朝所放大的方向追加顯示旋轉引導單元。
而且,所述說明中,對於在A15中所設定的攝影範圍(全景拍攝範圍),設為進行設定為相同的攝影張數的攝影,但本實施例的形態並不限於此。例如,也可通過對智慧型手機2朝向相反方向的旋轉進行檢測,從而重新設定攝影範圍及攝影張數。 具體而言,例如,在圖5(a)中,在結束旋轉引導單元41c及旋轉引導單元41b的攝影的階段,使用者使智慧型手機2朝相反方向旋轉。此時設定為,經由移動感測器760而檢測到使用者使智慧型手機2朝相反方向旋轉的拍照控制部150判斷為旋轉引導單元41a的位置處的攝影已被取消(cancel),對旋轉引導41的顯示進行更新,將相反方向的旋轉引導單元41d作為下一個攝影位置而告知給使用者。進而,也可採用下述設定:基於旋轉引導單元41a被取消的情況,位於相反方向的線對稱位置的旋轉引導單元41e也予以取消。
以上為縮小攝影範圍的示例,但攝影範圍的追加也同樣。例如,假設在結束旋轉引導單元41c、41b及41a的攝影的階段,使用者使智慧型手機2進一步朝同方向旋轉。此時,拍照控制部150判斷為追加了從旋轉引導單元41a進一步旋轉的位置處的攝影,對旋轉引導41的顯示進行更新,在旋轉引導單元41a的左側追加旋轉引導單元。旋轉引導單元的追加反復進行至使用者使智慧型手機2朝向相反方向旋轉為止。經由移動感測器760而檢測到使用者使智慧型手機2朝相反方向旋轉的拍照控制部150判斷為同旋轉方向的攝影已結束,從而將相反方向的旋轉引導單元41d作為下個攝影位置而告知給使用者。進而,也可採用下述設定:將旋轉引導單元41a左側的攝影範圍所追加的數量份,追加至位於相反方向的線對稱位置的旋轉引導單元數。
而且,所述說明中,對於在A15中所設定的攝影範圍,設為進行設定為相同的攝影張數的攝影,但本實施例的形態並不限於此。例如也可設定為,在第一張的攝影階段,僅將一個單位旋轉角度、即僅將一個旋轉引導單元顯示為引導,並根據隨後的使用者操作來追加旋轉引導單元以使攝影範圍放大。 例如,在圖5(a)中,僅將A15中的旋轉引導41的顯示設定設為單位旋轉角度(例如30度)的旋轉引導單元41c。此時,引導設定及顯示所需的資訊僅為單位旋轉角度。假設在該位置處進行第一張的攝影後,使用者使智慧型手機2朝左方向旋轉。經由移動感測器760而檢測到使用者使智慧型手機2旋轉的拍照控制部150判斷為攝影張數已追加,對旋轉引導41的顯示進行更新,在旋轉引導單元41c的左側追加旋轉引導單元41b。同樣,也可進一步追加左側的旋轉引導單元41a、右側的旋轉引導單元41d及旋轉引導單元41e來進行攝影。拍攝結束(A45)的判斷只要通過使用者對操作按鈕的操作等來進行即可。 而且,為了使使用者意識到智慧型手機2的旋轉動作,也可在自拍引導拍攝模式判定(A10;是)或自拍引導拍攝設定(A15)的步驟中,將表示第一張的攝影位置的旋轉引導單元41c與使橢圓的一部分(內角150度)的圓弧具備規定寬度的形狀的旋轉引導41的外緣一同顯示。 或者,也可在攝影開始時刻不顯示旋轉引導單元,而在第一張的拍攝結束後顯示所攝影的範圍的旋轉引導單元(此時為旋轉引導單元41c)。 另外,所述說明中,第一張的攝影是以旋轉引導單元41c來進行,但也可將除此以外的旋轉引導單元用於第一張的攝影。
而且,所述說明中,是將在自拍引導拍攝模式下所拍攝的拍攝影像(所述說明中為五張)用於全景影像的生成,但也可不將它們全部用於全景影像的生成。 例如,在自拍引導拍攝模式下對旋轉引導單元41a至旋轉引導單元41e為止的五張進行攝影後,通過拍攝影像的顯示控制(A40),使用者對拍攝影像進行確認。此時,例如有時欲將旋轉引導41a的位置處的拍攝影像從全景生成的物件影像中予以去除。為了執行該操作,只要在拍攝影像的顯示控制(A40)與影像生成執行操作(A55)之間,新設置使用者可從拍攝影像中選擇欲用於A55的全景影像生成的影像的步驟即可。
而且,為了生成更佳的全景影像,也可多次(例如連續兩次)進行自拍引導拍攝模式下的攝影,並使使用者能夠從對應於每個旋轉角度引導單元而保存的多個拍攝影像中選擇用於全景影像生成的拍攝影像。此時,使用者例如能夠對旋轉引導單元41b~41e選擇第1次的拍攝影像,而僅對剩餘的旋轉引導單元41a選擇第2次的拍攝影像來執行全景影像生成。
(換手輔助) 當使用者用右手拿著智慧型手機2時,使智慧型手機2朝向使用者的右側方向旋轉要比朝向左方向的旋轉難。而且,若勉強進行大角度的旋轉,則拿著智慧型手機2的手臂朝上下左右移動的可能性高。為了防止此現象,例如在使用者左側的拍攝結束的時機,進行催促將拿著智慧型手機2的手由右手改為左手的告知。例如,優選的是,將“換手中”圖示顯示於觸控面板250上,當由右手換為左手時,通過觸摸該圖示,從而能夠臨時中斷及重新開始自拍引導拍攝模式。
(旋轉速度限制) 移動感測器760對智慧型手機2的移動資訊進行檢測,但若以規定的速度以下使智慧型手機2旋轉,則預計測定誤差會變大。而且,若旋轉耗費時間,則拿著智慧型手機2的手臂的疲勞度會相應地提高,從而手臂整體的位置有可能下降。因此,即使從拍攝結束經過規定時間以上(例如10秒以上)仍未偵測到直至下個攝影引導為止的旋轉時或者未進行攝影時,可在拍攝待機畫面上告知該意旨以催促使用者注意。而且,也可設定為,自動中斷自拍引導拍攝模式。
(全景拍攝範圍設定) 以下說明下述示例,即:如圖17(a)所示,當將人物C設為作為攝影者的使用者,而欲獲得將橫向排列的A~D這四個人物設為被攝物的全景合成影像58時,在進行實際的攝影之前,進行全景拍攝範圍設定。 為了執行全景拍攝範圍設定,只要在自拍引導拍攝模式判定(A10;是)與自拍引導拍攝設定(A15)之間,設置進行全景拍攝範圍設定及告知的步驟即可。進而,若在全景拍攝範圍設定之前設置進行人臉區域檢測的步驟,則更具效果。
圖17(b)、圖17(c)及圖17(d)是人物C使智慧型手機2旋轉時,作為拍攝待機畫面而顯示於顯示部300上的影像的示例,人臉區域50a、50b、50c、50d分別表示通過人物A、B、C、D的人臉區域檢測而設定的人臉區域。旋轉引導41、旋轉引導單元41a~41e及旋轉標示42是在以下說明的全景拍攝範圍設定後顯示(圖17(d))。或者,在全景拍攝範圍設定之前,也可如圖17(b)及圖17(c)所示,例如以150度的範圍來暫時顯示使橢圓的一部分的圓弧具備寬度的形狀的旋轉引導41,以催促使用者進行智慧型手機2的旋轉動作。 在以下說明的全景拍攝範圍設定中,在進行攝影之前,使用者使智慧型手機2旋轉,以包含欲生成為全景合成影像58的範圍,即,在圖17(a)至圖17(d)的示例中包含人物A~D,拍照控制部150基於使用者所旋轉的角度範圍的資訊來設定全景拍攝範圍。 首先,使用者使智慧型手機2旋轉,以使包含位於左端的人物A的人臉區域50a的所需影像顯示在拍攝待機畫面上為止,並將該位置維持規定時間(例如兩秒鐘)(圖17(b))。將其設為全景拍攝範圍的端部1。此時,也可進行“請將智慧型手機2旋轉到左右任一端,並維持此狀態兩秒鐘”等的告知。 移動感測器760對智慧型手機2的直至全景拍攝範圍的端部1為止的旋轉角度進行檢測,並輸出至拍照控制部150。隨後,對在規定時間(此時為兩秒鐘)沒有智慧型手機2的旋轉及移動的情況進行偵測,並將端部1的設定結束的信號輸出至拍照控制部150。
接下來,使用者使智慧型手機2旋轉至包含位於右端的人物D的人臉區域50d的所需影像顯示在拍攝待機畫面上為止,並將智慧型手機2的位置維持規定時間(例如兩秒鐘)(圖17(c))。將其設為全景拍攝範圍的端部2。此時,也可進行“請將智慧型手機2旋轉到相反側的一端,並維持此狀態兩秒鐘”等的告知。移動感測器760對智慧型手機2的直至全景拍攝範圍的端部2為止的旋轉角度進行檢測,並輸出至拍照控制部150。隨後,對在規定時間(此時為兩秒鐘)沒有智慧型手機2的旋轉及移動的情況進行偵測,並將端部2的設定結束的信號輸出至拍照控制部150。 另外,在智慧型手機2的旋轉後,也可取代將該狀態維持規定時間的操作,而通過使用者按下智慧型手機2的操作按鈕等的操作來進行端部1及端部2的設定。或者,也可通過檢測到智慧型手機2朝向一方向旋轉後已朝相反方向旋轉的移動感測器760將該資訊輸出至拍照控制部150,從而進行端部1及端部2的設定。
進到A15,拍照控制部150基於直至所述端部1及端部2為止的旋轉角度的資訊來設定全景拍攝範圍,且引導顯示設定部180基於從拍照控制部150輸出的資訊,將旋轉引導41、旋轉引導單元41a~41e及旋轉標示42顯示於顯示部300上(圖17(d))。 此時,如圖17(d)所示,旋轉引導41的中心(全景拍攝範圍的中心)是配置於作為攝影者的人物C的人臉區域50c左右的中心線上。人物A及人物B位於人物C的左側,人物D位於右側,因此旋轉引導41並非左右均等。即,設定為,顯示旋轉引導單元41a~41d,而未包含在全景拍攝範圍內的旋轉引導單元41e不顯示。或者,如圖17(d)所示般設定為,僅旋轉引導單元41e以與其他旋轉引導單元41a~41d不同的顯示形態而顯示(本例中,以虛線來顯示旋轉引導單元41e的框)。隨後,進行A15~A55的處理,通過影像生成處理(A55)而生成全景影像58。 藉此,使用者能夠在進行實際的攝影之前,設定包含欲攝影的多個人臉的全景拍攝範圍。而且,能夠掌握全景影像的生成所需的攝影張數。
(後置照相機用引導攝影模式) 以上說明的實施例中,對在自拍或群攝時,使用搭載於智慧型手機2的框體60的前表面61的前置照相機62的情況進行了說明,但本發明的引導功能在使用搭載於智慧型手機2的背面71側的後置照相機72的情況下也有效。 以下,使用圖18(a)至圖18(d)~圖20來作具體說明。
對圖18(a)所示的欲獲得廣範圍的風景全景合成影像59的情況進行說明。 當如風景全景合成影像59般進行作為攝影者的使用者自身不包含在被攝物中的攝影時,使用者有時會使用後置照相機72而非前置照相機62來作為攝影用照相機。
為了執行該操作,只要在照相機模式處理開始後,設置選擇後置照相機用引導攝影模式的步驟即可。進而,當由使用者選擇了後置照相機用引導攝影模式時,只要取代自拍引導拍攝設定、引導顯示及引導更新(A15),而設置進行後置照相機用引導攝影設定、後置照相機用引導顯示及引導更新的步驟即可。
圖18(b)表示後置照相機用引導攝影模式下的第一張的攝影階段。另外,旋轉引導55的形狀成為與使用前置照相機62的情況相反的方向、即朝顯示畫面的裡側彎曲的、使橢圓的圓弧的一部分具備規定寬度的形狀。使用者與自拍引導拍攝模式同樣地,按照旋轉引導55、旋轉引導單元55a~55c、旋轉標示56的顯示,在圖18(b)的標注有影線的旋轉引導單元55a所示的位置處進行第一張的攝影。繼而,使用者使智慧型手機2旋轉至圖18(c)及圖18(d)所示的標注有影線的與旋轉引導單元對應的位置為止,來進行第2張與第3張的攝影。隨後,通過影像生成處理(A55),能夠獲得圖18(a)所示的廣範圍的風景全景合成影像59。
(後置照相機用的全景拍攝範圍設定) 圖19(a)至圖19(c)是將使用圖17(a)至圖17(d)所說明的自拍引導拍攝中的全景拍攝範圍設定適用於後置照相機用引導攝影模式的示例。 使用者使智慧型手機2旋轉至顯示出成為全景合成影像左端的影像的所需位置為止,以進行端部1的設定(圖19(a))。繼而,使智慧型手機2旋轉至顯示出成為全景合成影像右端的影像的所需位置為止,以進行端部2的設定(圖19(b))。進到A15,拍照控制部150基於直至所述端部1及端部2為止的旋轉角度的資訊來設定旋轉引導55(圖19(c))。
(整周引導攝影模式) 圖20是併用後置照相機72及前置照相機62來進行以作為攝影者的使用者為中心的整周(360度)影像攝影,從而進行整周全景影像合成時的引導顯示的一例。 為了執行該操作,只要在照相機模式處理開始後設置選擇整周引導攝影模式的步驟即可。 在整周引導攝影模式下,使用者在自拍引導拍攝模式及後置照相機用引導攝影模式進行攝影之後,處理部100按照儲存於儲存部800中的影像生成程式811來執行影像生成處理(A55),從而生成整周全景影像。
當對使用者的相反側進行攝影時,使用者使用後置照相機72,依照旋轉引導單元57a~57c來使智慧型手機2旋轉以進行攝影。 當對使用者側進行攝影時,使用者使用前置照相機62,依照旋轉引導單元57e~57g來使智慧型手機2旋轉以進行攝影。 對於與使用者側和跟使用者為相反側的中間位置對應的、旋轉引導單元57d及旋轉引導單元57h的位置處的攝影,只要使用者選擇前置照相機62與後置照相機72中的任一個來預先設定即可。或者,只要設置下述步驟即可:當智慧型手機2旋轉到與旋轉引導單元57d或旋轉引導單元57h對應的位置為止時,拍照控制部150對使用者進行催促切換照相機的告知,讓使用者選擇要使用的照相機。
(攝影輔助器材) 而且,所述說明中,是使用者使拿在手中的智慧型手機2轉動來進行多次攝影,但也可將智慧型手機2安裝於攝影輔助器材的具備旋轉機構的固定部,通過使該固定部旋轉來進行智慧型手機2的旋轉。例如使用者將智慧型手機2通過夾具等而固定於攝影輔助器材的具備旋轉機構的固定部。繼而,使用者一邊視認智慧型手機2的顯示部300上所顯示的旋轉引導41一邊操作遙控器等,以進行攝影輔助器材的固定部的旋轉及停止動作。旋轉及停止動作是由智慧型手機2的移動感測器760進行檢測,檢測結果被隨時輸出至拍照控制部150。攝影是通過偵測到智慧型手機2旋轉了規定角度之後停止了規定時間(例如一秒鐘)的拍照控制部150向智慧型手機2的拍照部500輸出拍攝指示信號而自動進行。或者,也可由使用者一邊視認旋轉引導41與旋轉標示42,一邊操作智慧型手機2的操作按鈕或遙控器來進行攝影。 或者,也可設定為:在攝影輔助器材的控制部中預先儲存將規定角度的旋轉與停止動作進行規定次數的設定,攝影輔助器材的固定部自動將旋轉及停止動作進行規定次數。此時,在智慧型手機2被安裝於攝影輔助器材的狀態下,使用者啟動攝影輔助器材。繼而,攝影輔助器材的固定部自動進行預先設定的規定角度的旋轉及規定時間的停止動作。旋轉及停止動作的檢測以及攝影的指示是由智慧型手機2的移動感測器760及拍照控制部150來進行。 或者,也可從智慧型手機2的處理部100向攝影輔助器材的控制部輸出旋轉方向、單位旋轉角度及攝影範圍等資訊。攝影輔助器材的控制部也可基於該資訊來驅動攝影輔助器材的固定部,以進行旋轉及停止動作。 作為攝影輔助器材,有設置於桌面的器材、連接於照相機的一腳或三腳的器材、連接於自拍杆的器材等,但應明確的是並不限定於這些器材。
而且,所述說明中,對針對使用者的視覺告知進行了說明,但本實施例的告知方法並不限於此,包括使用智慧型手機2的振動部750來使智慧型手機2振動的告知、使用智慧型手機2的聲音輸出部400來進行借助聲音引導的告知、或者借助它們的組合的告知等。
[3.變形例] 可適用本發明的實施例當然並不限定於所述實施例,可在不脫離本發明的主旨的範圍內進行適當變更。以下,對變形例進行說明,但對於與所述實施例相同的結構標注相同的符號,並省略再次的說明。
[3-1.電子設備] 影像處理裝置1可配設在智慧型手機或照相機、數位照相機、平板電腦、PDA、個人電腦(personal computer)等電子設備中。只要是具備拍照部的電子設備,則可在各種電子設備中具備本發明的影像處理裝置1。
而且,使用者也可使顯示在智慧型手機2中的顯示部300上的合成影像顯示於其他電子設備(資訊處理裝置)的顯示部上。具體而言,例如,使用者將手邊的智慧型手機2與個人電腦進行通訊連接。然後,使用者將顯示在智慧型手機2的顯示部300上的合成影像轉發至個人電腦。個人電腦使從智慧型手機2轉發的合成影像顯示在顯示器上,使用者在個人電腦的顯示畫面上瀏覽合成影像。
另外,此時,也可設為將由智慧型手機2所拍攝的拍攝影像的全套影像資料發送至個人電腦,由個人電腦取代智慧型手機2來生成合成影像,並顯示於個人電腦的顯示器上。此時,智慧型手機及個人電腦成為本發明中的影像處理裝置1。
[3-2.儲存介質] 所述實施方式中,與影像生成相關的各種程式或資料被儲存在影像處理裝置1的儲存部或智慧型手機2的儲存部800中,通過處理部讀出並執行這些程式,從而實現所述各實施方式中的影像處理。此時,各裝置的儲存部除了ROM或EEPROM、快閃記憶體,硬碟、RAM等內部儲存裝置以外,還可具備記憶卡(memory card)(安全數位(Secure Digital,SD)卡)或緊湊快閃(Compact Flash,CF)(註冊商標)卡、記憶棒(memory stick)、通用序列匯流排(Universal Serial Bus,USB)記憶體、可複寫光碟(Compact Disc-ReWritable,CD-RW)(光碟)、磁光碟(Magneto Optical,MO)等儲存介質(儲存媒體、外部儲存裝置),也可在這些儲存介質中儲存所述的各種程式或資料。
圖21是表示此時的記錄介質的一例的圖。 在智慧型手機2中,設有用於插入記憶卡9的卡槽(card slot)910,並設有用於對插入卡槽910內的記憶卡9中儲存的資訊進行讀取或者向記憶卡9中寫入資訊的卡讀寫器(card reader writer)(R/W)920。卡讀寫器920進行下述動作,即:通過處理部100的控制,將記錄於儲存部800中的程式或資料寫入記憶卡9中。通過以智慧型手機2以外的外部裝置(例如個人電腦)讀取記憶卡9中記錄的程式或資料,從而能夠在該外部裝置中實現所述實施方式中的合成影像的生成。
1‧‧‧影像處理裝置
2‧‧‧智慧型手機
9‧‧‧記憶卡
10‧‧‧輸入部
11、110‧‧‧基準影像選擇部
12、120‧‧‧匹配部
13、130‧‧‧轉換矩陣推定部
14、140‧‧‧對位部
15、160‧‧‧影像合成部
20‧‧‧照相機
25‧‧‧已輸入影像記憶體
30、760‧‧‧移動感測器
31、150‧‧‧拍照控制部
32、180‧‧‧引導顯示設定部
35‧‧‧顯示部
40‧‧‧使用者
41、41'、55、57‧‧‧旋轉引導
41a~41e、41a'~41e'、55a~55c、57a~57h‧‧‧旋轉引導單元
42、56‧‧‧旋轉標示
43‧‧‧中心引導
44‧‧‧中心標示
45‧‧‧外觀旋轉引導
46‧‧‧直線
46‧‧‧拍攝範圍標示
47‧‧‧虛線
47‧‧‧縮小影像
48‧‧‧中心軸
49‧‧‧人臉區域
49、50a~50d‧‧‧人臉區域
51‧‧‧標示
52‧‧‧箭頭
58、59‧‧‧全景影像
60‧‧‧智慧型手機框體
61‧‧‧智慧型手機框體的前表面
62‧‧‧前置照相機
63‧‧‧顯示畫面
64‧‧‧操作按鈕
71‧‧‧智慧型手機框體的背面
72‧‧‧後置照相機
73‧‧‧揚聲器
74‧‧‧閃光燈
100‧‧‧處理部
170‧‧‧顯示控制部
200‧‧‧操作部
250‧‧‧觸控面板
300‧‧‧顯示部
400‧‧‧聲音輸出部
500‧‧‧拍照部
600‧‧‧通訊部
700‧‧‧時鐘部
750‧‧‧振動部
800‧‧‧儲存部
810‧‧‧照相機模式處理程式
811‧‧‧影像生成程式
830‧‧‧已輸入影像資料庫
850‧‧‧輸入影像用緩衝器
870‧‧‧輸出影像用緩衝器
910‧‧‧卡槽
920‧‧‧卡讀寫器
A10~A100‧‧‧步驟
圖1是表示影像處理裝置的功能結構的一例的方塊圖。 圖2(a)及圖2(b)是表示智慧型手機的結構的一例的立體圖。 圖3是表示智慧型手機的功能結構的一例的方塊圖。 圖4是表示自拍引導拍攝模式處理的流程的一例的流程圖。 圖5(a)及圖5(b)是表示智慧型手機的顯示部上所顯示的攝影引導影像的一例的圖。 圖6(a)及圖6(b)是表示智慧型手機的顯示部上所顯示的攝影引導影像的一例的圖。 圖7(a)及圖7(b)是表示智慧型手機的顯示部上所顯示的攝影引導影像的一例的圖。 圖8(a)及圖8(b)是表示智慧型手機的顯示部上所顯示的攝影引導影像的一例的圖。 圖9(a)至圖9(e)是表示智慧型手機的顯示部上所顯示的旋轉引導影像的一例的圖。 圖10(a)及圖10(b)是表示智慧型手機的顯示部上所顯示的旋轉引導影像的一例的圖。 圖11(a)至圖11(d)是表示智慧型手機的顯示部上所顯示的旋轉引導影像的一例的圖。 圖12(a)及圖12(b)是表示智慧型手機的顯示部上所顯示的旋轉引導影像的一例的圖。 圖13(a)及圖13(b)是表示智慧型手機的顯示部上所顯示的旋轉引導影像的一例的圖。 圖14(a)至圖14(c)是表示智慧型手機的顯示部上所顯示的旋轉引導影像的一例的圖。 圖15(a)至圖15(c)是表示智慧型手機的顯示部上所顯示的旋轉引導影像的一例的圖。 圖16(a)至圖16(c)是表示智慧型手機的顯示部上所顯示的旋轉引導影像的一例的圖。 圖17(a)至圖17(d)是說明自拍引導拍攝模式的拍攝範圍設定的一例的說明圖。 圖18(a)至圖18(d)是表示後置照相機用引導攝影模式時在智慧型手機的顯示部上所顯示的旋轉引導影像的一例的圖。 圖19(a)至圖19(c)是說明後置照相機用引導攝影模式的拍攝範圍設定的一例的說明圖。 圖20是表示整周引導攝影模式時在智慧型手機的顯示部上所顯示的旋轉引導影像的一例的圖。 圖21是表示儲存介質的一例的圖。
1‧‧‧影像處理裝置
10‧‧‧輸入部
11‧‧‧基準影像選擇部
12‧‧‧匹配部
13‧‧‧轉換矩陣推定部
14‧‧‧對位部
15‧‧‧影像合成部
20‧‧‧照相機
25‧‧‧已輸入影像記憶體
30‧‧‧移動感測器
31‧‧‧拍照控制部
32‧‧‧引導顯示設定部
35‧‧‧顯示部

Claims (29)

  1. 一種影像處理裝置,具備顯示拍攝物件的顯示裝置與對所述拍攝物件進行拍攝的拍攝裝置,所述影像處理裝置的特徵在於還包括: 引導顯示控制部件,使所述顯示裝置顯示用於從不同的拍攝角度對所述拍攝物件進行拍攝的引導;以及 影像合成部件,將通過從不同的拍攝角度對所述拍攝物件進行拍攝而獲得的多個影像予以合成以生成合成影像。
  2. 如申請專利範圍第1項所述的影像處理裝置,其中所述引導是提示使所述拍攝裝置旋轉以從不同的拍攝角度對所述拍攝物件進行拍攝。
  3. 如申請專利範圍第2項所述的影像處理裝置,還包括: 第1檢測部件,檢測所述拍攝裝置的旋轉方向及旋轉量, 所述引導顯示控制部件根據所述拍攝裝置的旋轉方向及旋轉量來使所述引導的顯示形態發生變化。
  4. 如申請專利範圍第3項所述的影像處理裝置,其中所述引導包含第1影像,所述第1影像提示為了生成所述合成影像而通過多次拍攝的應拍攝範圍即整體拍攝範圍。
  5. 如申請專利範圍第4項所述的影像處理裝置,其中所述第1影像提示拍攝所述整體拍攝範圍所需的拍攝次數。
  6. 如申請專利範圍第4項所述的影像處理裝置,其中 所述引導還包含提示當前的拍攝範圍的第2影像, 所述引導顯示控制部件根據所述拍攝裝置的旋轉方向及旋轉量來使所述第2影像相對於所述第1影像的相對位置發生變化。
  7. 如申請專利範圍第6項所述的影像處理裝置,其中 通過所述第2影像相對於所述第1影像的相對位置來提示以所述拍攝裝置為基準的拍攝角度。
  8. 如申請專利範圍第4項所述的影像處理裝置,其中 所述引導還包含所拍攝的影像的縮小影像, 所述引導顯示控制部件根據所述拍攝裝置的旋轉方向及旋轉量來使所述縮小影像相對於所述第1影像的相對位置發生變化。
  9. 如申請專利範圍第6項所述的影像處理裝置,其中 通過所述第2影像相對於所述第1影像的相對位置來提示以使用者為基準的拍攝角度。
  10. 如申請專利範圍第6項所述的影像處理裝置,其中 當通過所述第2影像相對於所述第1影像的相對位置來提示拍攝角度時,在提示以所述拍攝裝置為基準的拍攝角度的情況下與提示以使用者為基準的拍攝角度的情況下,使顯示於所述顯示裝置的影像的左右位置反轉。
  11. 如申請專利範圍第6項所述的影像處理裝置,其中 所述第1影像被劃分為與拍攝所述整體拍攝範圍所需的拍攝次數對應的多個區塊,根據所述第2影像位於哪個區塊來提示拍攝角度。
  12. 如申請專利範圍第10項所述的影像處理裝置,其中 所述第1影像是提示關於所述多個區塊的各個的、與所述區塊對應的拍攝順序。
  13. 如申請專利範圍第4項所述的影像處理裝置,還包括: 人臉區域檢測部件,對顯示於所述顯示裝置的人物的人臉區域進行檢測, 所述引導顯示控制部件以將由所述人臉區域檢測部件所檢測出的人臉區域作為中心而形成所述整體拍攝範圍的方式,來設定所述第1影像。
  14. 如申請專利範圍第4項所述的影像處理裝置,還包括: 人臉區域檢測部件,對顯示於所述顯示裝置的人物的人臉區域進行檢測, 所述引導顯示控制部件在由所述人臉區域檢測部件所檢測出的人臉區域存在多個的情況下,以將其中任一者作為中心而形成所述整體拍攝範圍的方式,來設定所述第1影像。
  15. 如申請專利範圍第4項所述的影像處理裝置,還包括: 人臉區域檢測部件,對顯示於所述顯示裝置的人物的人臉區域進行檢測, 所述引導顯示控制部件在由所述人臉區域檢測部件所檢測出的人臉區域存在多個的情況下,以形成至少包含兩端的人臉區域的所述整體拍攝範圍的方式,來設定所述第1影像。
  16. 如申請專利範圍第3項所述的影像處理裝置,其中 所述拍攝裝置包含第1拍攝裝置及第2拍攝裝置,所述第1拍攝裝置對與所述顯示裝置所朝向的方向相同的方向進行拍攝,所述第2拍攝裝置對與所述顯示裝置所朝向的方向相反的方向進行拍攝,使用者可選擇通過所述第1拍攝裝置及所述第2拍攝裝置中的哪個拍攝裝置來進行拍攝, 根據所選擇的所述拍攝裝置,所述引導的顯示形態不同。
  17. 如申請專利範圍第4項所述的影像處理裝置,其中 所述拍攝裝置包含第1拍攝裝置及第2拍攝裝置,所述第1拍攝裝置對與所述顯示裝置所朝向的方向相同的方向進行拍攝,所述第2拍攝裝置對與所述顯示裝置所朝向的方向相反的方向進行拍攝,使用者可選擇通過所述第1拍攝裝置及所述第2拍攝裝置中的哪個拍攝裝置來進行拍攝, 所述整體拍攝範圍是包含所述第1拍攝裝置的拍攝範圍及所述第2拍攝裝置的拍攝範圍這兩者的拍攝範圍。
  18. 如申請專利範圍第3項所述的影像處理裝置,還包括: 人臉區域檢測部件,對顯示於所述顯示裝置的人物的人臉區域進行檢測, 所述引導顯示控制部件基於由所述人臉區域檢測部件所檢測出的人臉區域來設定所述引導的顯示位置。
  19. 如申請專利範圍第3項所述的影像處理裝置,其中 所述引導顯示控制部件將所述引導的顯示位置設定於第1拍攝裝置附近,所述第1拍攝裝置對與所述顯示裝置所朝向的方向相同的方向進行拍攝。
  20. 如申請專利範圍第3項所述的影像處理裝置,其中 所述引導顯示控制部件在所述拍攝裝置尚未旋轉至規定旋轉量的期間,以視認性高於所述拍攝物件的設定來顯示所述引導。
  21. 如申請專利範圍第3項所述的影像處理裝置,還包括: 第2檢測部件,對所述拍攝裝置的平行移動方向及平行移動量進行檢測, 所述引導顯示控制部件根據所述拍攝裝置的平行移動方向及平行移動量來使所述引導的顯示形態發生變化。
  22. 如申請專利範圍第3項所述的影像處理裝置,還包括: 輔助引導顯示控制部件,使用於抑制拍攝位置變更的輔助引導顯示於所述顯示裝置。
  23. 如申請專利範圍第22項所述的影像處理裝置,還包括: 第2檢測部件,對所述拍攝裝置的平行移動方向及平行移動量進行檢測, 所述輔助引導顯示控制部件根據所述拍攝裝置的平行移動方向及平行移動量來使所述輔助引導的顯示形態發生變化。
  24. 如申請專利範圍第23項所述的影像處理裝置,其中 所述輔助引導包含第3影像及第4影像,所述第3影像的顯示位置不會根據所述拍攝裝置的平行移動方向及平行移動量而變化,所述第4影像的顯示位置根據所述拍攝裝置的平行移動方向及平行移動量而變化。
  25. 一種影像處理裝置,具備顯示拍攝物件的顯示裝置與對所述拍攝物件進行拍攝的拍攝裝置,所述影像處理裝置的特徵在於還包括: 引導顯示控制部件,使所述顯示裝置顯示用於從不同的拍攝角度對所述拍攝物件進行拍攝的引導;以及 通訊部件,可連接於設在所述影像處理裝置外部的影像合成裝置, 所述影像合成裝置將通過從不同的拍攝角度對所述拍攝物件進行拍攝而獲得的多個影像予以合成以生成合成影像。
  26. 一種影像處理裝置,其特徵在於包括: 通訊部件,可連接於顯示裝置及拍攝裝置,所述顯示裝置設在所述影像處理裝置外部且顯示拍攝物件,所述拍攝裝置對所述拍攝物件進行拍攝; 引導顯示控制部件,使所述顯示裝置顯示用於從不同的拍攝角度對所述拍攝物件進行拍攝的引導;以及 影像合成部件,將通過從不同的拍攝角度對所述拍攝物件進行拍攝而獲得的多個影像予以合成以生成合成影像。
  27. 一種攝影輔助器材,其特徵在於包括可裝卸影像處理裝置的固定機構以及使所述固定機構進行旋轉動作的旋轉控制機構,所述影像處理裝置包括: 顯示裝置,顯示拍攝物件; 拍攝裝置,對所述拍攝物件進行拍攝; 引導顯示控制部件,使所述顯示裝置顯示引導,所述引導通過根據所述拍攝裝置的旋轉方向及旋轉量來使顯示形態發生變化,從而提示使所述拍攝裝置旋轉以從不同的拍攝角度對所述拍攝物件進行拍攝; 第1檢測部件,檢測所述拍攝裝置的旋轉方向及旋轉量;以及 影像合成部件,將通過從不同的拍攝角度對所述拍攝物件進行拍攝而獲得的多個影像予以合成以生成合成影像。
  28. 一種影像處理方法,包含使顯示裝置顯示拍攝物件的顯示步驟與通過拍攝裝置來對所述拍攝物件進行拍攝的拍攝步驟,所述影像處理方法的特徵在於還包括: 引導顯示控制步驟,使所述顯示裝置顯示用於從不同的拍攝角度對所述拍攝物件進行拍攝的引導;以及 影像合成步驟,將通過從不同的拍攝角度對所述拍攝物件進行拍攝而獲得的多個影像予以合成以生成合成影像。
  29. 一種儲存介質,儲存有影像處理程序,所述影像處理程序包括: 顯示步驟,使顯示裝置顯示拍攝物件; 拍攝步驟,通過拍攝裝置來對所述拍攝物件進行拍攝; 引導顯示控制步驟,使所述顯示裝置顯示用於從不同的拍攝角度對所述拍攝物件進行拍攝的引導;以及 影像合成步驟,將通過從不同的拍攝角度對所述拍攝物件進行拍攝而獲得的多個影像予以合成以生成合成影像。
TW106103220A 2016-02-02 2017-01-26 影像處理裝置、影像處理方法及儲存介質與用於影像處理裝置的攝影輔助器材 TWI663876B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-017918 2016-02-02
JP2016017918 2016-02-02

Publications (2)

Publication Number Publication Date
TW201743602A true TW201743602A (zh) 2017-12-16
TWI663876B TWI663876B (zh) 2019-06-21

Family

ID=59386939

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106103220A TWI663876B (zh) 2016-02-02 2017-01-26 影像處理裝置、影像處理方法及儲存介質與用於影像處理裝置的攝影輔助器材

Country Status (5)

Country Link
US (1) US10713828B2 (zh)
JP (1) JP6678122B2 (zh)
KR (1) KR101813834B1 (zh)
CN (1) CN107026973B (zh)
TW (1) TWI663876B (zh)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9202297B1 (en) * 2011-07-12 2015-12-01 Domo, Inc. Dynamic expansion of data visualizations
US9792017B1 (en) 2011-07-12 2017-10-17 Domo, Inc. Automatic creation of drill paths
US9282309B1 (en) 2013-12-22 2016-03-08 Jasmin Cosic Methods, systems and apparatuses for multi-directional still pictures and/or multi-directional motion pictures
EP3256067A2 (en) 2015-02-13 2017-12-20 Scapa Flow LLC System and method for medical device placement in bone
US10102226B1 (en) 2015-06-08 2018-10-16 Jasmin Cosic Optical devices and apparatuses for capturing, structuring, and using interlinked multi-directional still pictures and/or multi-directional motion pictures
CA2996573A1 (en) * 2017-03-01 2018-09-01 Naim Salem Method and application for aiding self photography
TWI633499B (zh) * 2017-06-22 2018-08-21 宏碁股份有限公司 全景影像的顯示方法及其電子裝置
EP3668426A4 (en) 2017-08-14 2021-10-20 Circinus Medical Technology, LLC SYSTEM AND METHOD USING EXTENDED REALITY WITH SHAPE FITTING TO PLACE A MEDICAL DEVICE IN THE BONE
CN107465907B (zh) * 2017-08-16 2019-08-20 维沃移动通信有限公司 一种拍摄方法及移动终端
CN111066316B (zh) * 2017-09-20 2021-08-24 夏普株式会社 电子设备、存储介质、控制装置以及控制方法
KR101963449B1 (ko) * 2017-09-20 2019-04-01 주식회사 쓰리아이 360°비디오 생성 시스템 및 방법
CN107707817B (zh) * 2017-09-27 2019-12-17 维沃移动通信有限公司 一种视频拍摄方法及移动终端
EP3496387A1 (en) * 2017-12-05 2019-06-12 Koninklijke Philips N.V. Apparatus and method of image capture
CN107948523A (zh) * 2017-12-19 2018-04-20 维沃移动通信有限公司 一种拍摄方法及移动终端
CN110049226B (zh) * 2018-01-16 2021-01-29 飞狐信息技术(天津)有限公司 一种全景图片素材的拍摄方法及系统
US10574881B2 (en) * 2018-02-15 2020-02-25 Adobe Inc. Smart guide to capture digital images that align with a target image model
JP7163057B2 (ja) * 2018-04-26 2022-10-31 キヤノン株式会社 撮像装置、撮像方法、プログラムおよび記録媒体
WO2019205170A1 (zh) 2018-04-28 2019-10-31 华为技术有限公司 一种拍照方法和终端设备
JP7051570B2 (ja) 2018-05-09 2022-04-11 キヤノン株式会社 撮像制御装置、撮像制御装置の制御方法およびプログラム
US10955253B2 (en) * 2018-05-16 2021-03-23 Alex MATHEW System and method for aggregating and displaying tactical, intelligence, and military garrison information
US20200053278A1 (en) * 2018-08-08 2020-02-13 Sony Corporation Techniques for improving photograph quality for common problem situations
US10686991B2 (en) 2018-09-11 2020-06-16 Sony Corporation Techniques for improving photograph quality for fouled lens or sensor situations
JP7091974B2 (ja) 2018-09-26 2022-06-28 オムロン株式会社 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム
KR102159803B1 (ko) * 2018-10-11 2020-09-24 강산 촬영 가이드 제공 장치 및 프로그램
KR101990252B1 (ko) * 2018-10-26 2019-06-19 주식회사 비포유플랫폼 Vr 이미지 획득 방법, 이를 수행하기 위한 vr 촬영 프로그램이 설치된 휴대 단말기, 그리고 이 vr 촬영 프로그램을 휴대 단말기에 제공하는 서버
US20200226787A1 (en) * 2019-01-14 2020-07-16 Sony Corporation Information processing apparatus, information processing method, and program
EP3923065A4 (en) * 2019-02-07 2022-04-06 FUJIFILM Corporation PHOTOGRAPHY SYSTEM, PHOTOGRAPHY POINT SETTING DEVICE, PHOTOGRAPHY DEVICE AND PHOTOGRAPHY METHOD
CN109977770B (zh) * 2019-02-21 2023-06-27 安克创新科技股份有限公司 一种自动跟踪拍摄方法、装置、系统及存储介质
EP3956812A4 (en) * 2019-04-15 2023-01-04 Circinus Medical Technologies LLC ORIENTATION CALIBRATION SYSTEM FOR IMAGE CAPTURE
CN111107269B (zh) * 2019-12-31 2021-10-26 维沃移动通信有限公司 拍摄方法、电子设备及存储介质
US11477366B2 (en) * 2020-03-31 2022-10-18 Snap Inc. Selfie setup and stock videos creation
US11388334B2 (en) * 2020-05-22 2022-07-12 Qualcomm Incorporated Automatic camera guidance and settings adjustment
CN111741223B (zh) * 2020-07-17 2022-04-26 北京搜房科技发展有限公司 一种全景图像拍摄方法、装置和系统
JP6974573B1 (ja) * 2020-10-22 2021-12-01 ヤフー株式会社 情報処理プログラム、端末装置および情報処理方法
JP6959422B1 (ja) * 2020-10-22 2021-11-02 ヤフー株式会社 送信プログラム、端末装置および送信方法
CN112437231B (zh) * 2020-11-24 2023-11-14 维沃移动通信(杭州)有限公司 图像拍摄方法和装置、电子设备及存储介质
CN114697516B (zh) * 2020-12-25 2023-11-10 花瓣云科技有限公司 三维模型重建方法、设备和存储介质
US11509819B2 (en) * 2021-01-19 2022-11-22 Adobe Inc. Providing contextual augmented reality photo pose guidance
WO2022169906A1 (en) * 2021-02-02 2022-08-11 Circinus Medical Technology Llc Systems and methods for simulating three- dimensional orientations of surgical hardware devices about an insertion point of an anatomy
CN113038015B (zh) * 2021-03-19 2023-03-24 城云科技(中国)有限公司 二次拍摄方法和系统
US11716531B2 (en) * 2021-03-22 2023-08-01 International Business Machines Corporation Quality of multimedia
CN113329253A (zh) * 2021-05-21 2021-08-31 深圳创维-Rgb电子有限公司 电视拍照方法、装置、设备与计算机可读存储介质
US20220414193A1 (en) * 2021-06-28 2022-12-29 Capital One Services, Llc Systems and methods for secure adaptive illustrations
TWI775557B (zh) * 2021-08-09 2022-08-21 華碩電腦股份有限公司 影像擷取方法及電子裝置
CN114049260B (zh) * 2022-01-12 2022-03-22 河北工业大学 一种图像拼接方法和装置及设备

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6628887B1 (en) * 1998-04-17 2003-09-30 Honeywell International, Inc. Video security system
JP3804313B2 (ja) * 1998-12-03 2006-08-02 カシオ計算機株式会社 パノラマ撮影方法および撮像装置
KR100446235B1 (ko) * 2001-05-07 2004-08-30 엘지전자 주식회사 다중 후보를 이용한 움직임 벡터 병합 탐색 방법
JP3825380B2 (ja) * 2002-09-06 2006-09-27 エヌ・ティ・ティ・インフラネット株式会社 自動モーションコントロール撮影装置
JP2004228711A (ja) * 2003-01-20 2004-08-12 Sony Corp 監視装置及び方法、プログラム並びに監視システム
JP2007318490A (ja) * 2006-05-26 2007-12-06 Olympus Imaging Corp 画像処理装置、カメラ、及び画像処理プログラム
KR20100069844A (ko) 2008-12-17 2010-06-25 삼성전자주식회사 이미지 촬영 방법 및 그를 수행하는 휴대 단말기
EP2207342B1 (en) * 2009-01-07 2017-12-06 LG Electronics Inc. Mobile terminal and camera image control method thereof
TWI395471B (zh) * 2009-07-17 2013-05-01 Altek Corp Panorama image of the leading shooting method
TWM400544U (en) * 2010-05-03 2011-03-21 feng-long Xu Electrically-adjustable camera tripod
JP5853359B2 (ja) * 2010-11-11 2016-02-09 ソニー株式会社 撮像装置、撮像装置の制御方法およびプログラム
KR101723642B1 (ko) 2011-01-31 2017-04-19 삼성전자주식회사 파노라마 이미지를 촬영하는 촬영 기기 및 그 파노라마 촬영 방법
TWI516120B (zh) * 2012-03-29 2016-01-01 華晶科技股份有限公司 產生全景影像的方法及其影像擷取裝置
US10681304B2 (en) * 2012-06-08 2020-06-09 Apple, Inc. Capturing a panoramic image using a graphical user interface having a scan guidance indicator
JP6267961B2 (ja) * 2012-08-10 2018-01-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 映像提供方法および送信装置
KR101692652B1 (ko) 2012-10-24 2017-01-03 가부시키가이샤 모르포 화상 처리 장치, 화상 처리 방법, 및 기록 매체
JP2014115863A (ja) * 2012-12-11 2014-06-26 Sony Corp 情報処理装置、情報処理方法およびプログラム
KR102090624B1 (ko) * 2013-02-26 2020-03-18 삼성전자 주식회사 이미지 촬영장치 및 방법
KR102089614B1 (ko) 2013-08-28 2020-04-14 삼성전자주식회사 구면 파노라마 이미지 촬영 방법 및 그 전자 장치
US20150130799A1 (en) * 2013-11-12 2015-05-14 Fyusion, Inc. Analysis and manipulation of images and video for generation of surround views
CN104995558B (zh) * 2013-12-13 2016-12-28 华为终端有限公司 一种获取全景图像的方法及终端
JP6376753B2 (ja) * 2013-12-25 2018-08-22 キヤノン株式会社 撮像装置、表示制御装置の制御方法、記録装置の制御方法
US20150256754A1 (en) * 2014-03-04 2015-09-10 Neuone, Llc Auto leveling image capture of a hand-held device
WO2015137788A1 (en) * 2014-03-14 2015-09-17 Samsung Electronics Co., Ltd. Electronic apparatus for providing health status information, method of controlling the same, and computer-readable storage medium
CN104182173A (zh) * 2014-08-15 2014-12-03 小米科技有限责任公司 一种切换摄像头的方法和装置
US9749510B2 (en) * 2014-12-25 2017-08-29 Panasonic Intellectual Property Management Co., Ltd. Imaging unit and imaging apparatus
KR20160088719A (ko) * 2015-01-16 2016-07-26 삼성전자주식회사 이미지를 촬영하는 전자 장치 및 방법
WO2016203282A1 (en) * 2015-06-18 2016-12-22 The Nielsen Company (Us), Llc Methods and apparatus to capture photographs using mobile devices

Also Published As

Publication number Publication date
JP2017139759A (ja) 2017-08-10
CN107026973B (zh) 2020-03-13
CN107026973A (zh) 2017-08-08
KR20170092127A (ko) 2017-08-10
US10713828B2 (en) 2020-07-14
JP6678122B2 (ja) 2020-04-08
KR101813834B1 (ko) 2017-12-29
US20170221244A1 (en) 2017-08-03
TWI663876B (zh) 2019-06-21

Similar Documents

Publication Publication Date Title
TWI663876B (zh) 影像處理裝置、影像處理方法及儲存介質與用於影像處理裝置的攝影輔助器材
US9712745B2 (en) Method and apparatus for operating camera function in portable terminal
TWI476505B (zh) 拍攝全景圖的方法與電子裝置
JP4878083B2 (ja) 画像合成装置及び方法、プログラム
US20110234750A1 (en) Capturing Two or More Images to Form a Panoramic Image
KR102280000B1 (ko) 표시 제어 장치, 표시 제어 방법 및 저장 매체
TW201301203A (zh) 全景處理
US20170111574A1 (en) Imaging apparatus and imaging method
JP2006237757A (ja) デジタルカメラ装置、及びスルー画像表示方法
TW201410018A (zh) 影像擷取方法與系統
JP5885395B2 (ja) 撮影機器及び画像データの記録方法
KR20210100170A (ko) 전자기기 및 그 제어 방법
CN103780747A (zh) 一种信息处理方法及电子设备
JP2005025268A (ja) 電子機器および表示制御方法
WO2022061541A1 (zh) 控制方法、手持云台、系统及计算机可读存储介质
JP2020042064A (ja) 表示制御装置、撮像装置、制御方法、プログラム、及び、記憶媒体
JP6249596B2 (ja) 撮像装置および撮像方法
JP5003358B2 (ja) 表示装置、電子カメラおよび制御プログラム
JP2007259002A (ja) 画像再生装置ならびにその制御方法およびその制御プログラム
JP6586819B2 (ja) 画像管理システム、画像通信システム、画像管理方法、及びプログラム
JP2004312549A (ja) パノラマ画像撮影装置及びパノラマ画像撮影方法
JP6836306B2 (ja) 撮像制御装置、その制御方法、プログラム及び記録媒体
JP2019041188A (ja) 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
JP2007019694A (ja) ディジタルカメラの撮影画像処理装置と撮影画像処理用コンピュータプログラム
JP4298727B2 (ja) 画像情報表示システム、画像情報表示プログラム