TWI536320B - 影像分割方法 - Google Patents

影像分割方法 Download PDF

Info

Publication number
TWI536320B
TWI536320B TW104129350A TW104129350A TWI536320B TW I536320 B TWI536320 B TW I536320B TW 104129350 A TW104129350 A TW 104129350A TW 104129350 A TW104129350 A TW 104129350A TW I536320 B TWI536320 B TW I536320B
Authority
TW
Taiwan
Prior art keywords
image
camera unit
stencil mask
predetermined
segmentation method
Prior art date
Application number
TW104129350A
Other languages
English (en)
Other versions
TW201610917A (zh
Inventor
任正隆
戴伯靈
武景龍
闕鑫地
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW201610917A publication Critical patent/TW201610917A/zh
Application granted granted Critical
Publication of TWI536320B publication Critical patent/TWI536320B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Description

影像分割方法
本案是有關於一種影像處理方法與其電子裝置，且特別是有關於一種用以進行動態影像分割的影像處理方法。
為了在自拍影像上發展出更多樣化的數位影像視覺特效，由自拍影像中提取出前景人物物件是一項必備的技術。一般來說，為了從影像中辨視出前景人物物件通常需採用一些臉部辨視演算法(例如邊緣偵測、臉部特徵偵測等)。
近來的行動裝置經常包含兩個相機，其為前相機與後相機。前相機設置在顯示面板的同一側，通常主要用來進行自拍(selfie shooting)、視訊通話或其他與使用者本身相關的影像功能。後相機則設置在相對的另一側，通常主要用來拍攝其他人物、風景或一些背景場景。一般情況下，當使用者握持行動裝置時，前相機通常朝向使用者本身。若前相機所拍攝到的前景人物物件可即時提取，則可以將前景人物物件結合至另一影像，以實現某些視覺特效或是特定功能。更進一步，若前相機所拍攝到的前景人物物件可即時提取，則涉及前景人物物件的視覺特效可以即時地在使用者介面上呈現，如此一來， 用來設定或調整視覺特效的使用者介面便可以更為直覺且便於操作。
然而，由影像的背景中提取出前景人物物件需要一定的運算時間。傳統作法在提取前景人物物件時存在一定的延遲時間，因此，難以即時地由影像背景中提取出前景人物物件。如此一來，基於自拍影像的視覺特效便難以即時地呈現在使用者眼前。
本案的一態樣為一種影像分割方法，其適用於包含第一相機單元以及動態感測器的電子裝置，該影像分割方法包含：提供至少一預定模版遮罩；由動態感測器取得姿態資料，姿態資料是相關於第一相機單元的指向或位置；根據姿態資料將預定模版遮罩其中一者調整為適應性模版遮罩；以及，根據適應性模版遮罩由第一相機單元擷取的第一影像中提取物件。
本案的另一態樣為一種影像分割方法，適用於包含第一相機單元以及動態感測器的電子裝置，影像分割方法包含：以該第一相機擷取一第一影像；由該第一影像估算一物件姿態；由該動態感測器取得一姿態資料，該姿態資料是相關於當該第一影像被擷取時該第一相機單元的一指向或一位置；根據該姿態資料分析一相機姿態；根據該物件姿態與該相機姿態，追蹤一相對動態；提供一預定模版遮罩；根據該相對動態，將該預定模版遮罩調整為一適應性模版遮罩；以及，根據該適 應性模版遮罩，由該第一相機單元擷取的該第一影像中適應性地提取一物件。
本案的另一態樣為一種影像分割方法，適用於包含一第一相機單元以及一動態感測器的一電子裝置，該影像分割方法包含：提供一第一模版遮罩；以該第一相機單元擷取一第一影像，該第一影像包含一物件；根據該第一模版遮罩，由該第一影像中提取該物件；以該第一相機單元擷取一第二影像；由該動態感測器取得一姿態資料，該姿態資料是相關於當該第二影像被擷取時該第一相機單元的一指向或一位置；根據該姿態資料與該第一影像的該物件，追蹤由該第一影像至該第二影像之間的一相對動態；根據該相對動態，動態地提供一第二模版遮罩；以及，根據該第二模版遮罩，由該第一相機單元擷取的該第二影像中適應性地提取另一物件。
為讓本揭示內容之上述和其他目的、特徵、優點與實施例能更明顯易懂，所附符號之說明如下：
100‧‧‧電子裝置
120‧‧‧動態感測器
140‧‧‧第一相機單元
160‧‧‧處理模組
180‧‧‧第二相機單元
182‧‧‧儲存單元
184‧‧‧顯示單元
161‧‧‧物件姿態分析單元
162‧‧‧相機姿態分析單元
163‧‧‧相對動態分析單元
164‧‧‧適應性分割單元
166‧‧‧視覺處理單元
200、300、400‧‧‧方法
S202~S208、S302~S316、S402~S418‧‧‧步驟
為讓本揭示內容之上述和其他目的、特徵、優點與實施例能更明顯易懂，所附圖式之說明如下：
第1圖繪示根據本揭示文件之一實施例中一種電子裝置的示意圖。
第2圖繪示根據本揭示文件之一實施例中一種根據適應性模版遮罩由影像中提取物件之方法的方法流程圖。
第3圖繪示根據一操作例中第一相機單元所擷取的影像的示意圖。
第4A圖繪示根據本揭示文件之一實施例中一種預定模版 遮罩的示意圖。
第4B圖、第4C圖以及第4D圖繪示根據本揭示內容的實施例中在不同操作情況下的三種適應性模版遮罩的示意圖。
第5圖繪示根據本揭示文件之一實施例中一種電子裝置的示意圖。
第6圖繪示根據本揭示文件之一實施例中一種根據適應性模版遮罩由影像中提取物件之方法的方法流程圖。
第7圖繪示根據本揭示文件之一實施例中一種電子裝置的示意圖。
第8圖繪示根據本揭示文件之一實施例中一種根據適應性模版遮罩由影像中提取物件之方法的方法流程圖。
下文係舉實施例配合所附圖式作詳細說明，以更好地理解本案的態樣，但所提供之實施例並非用以限制本案所涵蓋的範圍，而結構操作之描述非用以限制其執行之順序，任何由元件重新組合之結構，所產生具有均等功效的裝置，皆為本案所涵蓋的範圍。
請參閱第1圖，其繪示根據本揭示文件之一實施例中一種電子裝置100的示意圖。如第1圖所示，電子裝置100包含動態感測器120、第一相機單元140以及處理模組160。處理模組160耦接至動態感測器120以及第一相機單元140。電子裝置100適用於執行影像分割(segmentation)方法，其用以根據適應性模版遮罩(adaptive model mask)由影像中提取一物 件。請一併參閱第2圖，其繪示根據本揭示文件之一實施例中一種根據適應性模版遮罩由影像中提取物件之方法200的方法流程圖。於部份實施例中，由影像中分割得到的物件為一前景物件(例如，人臉、臉部肖像、人體、多人群體或是靠近第一相機單元的一目標物件)。於部份實施例中，由影像中分割得到的物件為一背景中的目標物件(例如，山、海灘、車輛等)。
動態感測器120與第一相機單元140均設置於電子裝置100中。因此，當電子裝置100移動(且第一相機單元140隨之相對應移動)時，動態感測器120用以感測到電子裝置100及第一相機單元140的移動狀態。於部份實施例中，動態感測器120包含陀螺儀(gyroscope)、重力感測器(g-sensor)、慣性感測器(Inertial Sensor)及/或電子羅盤(electrical compass)。動態感測器120用以產生姿態資料POS，例如電子裝置100上的加速度、轉速、旋轉力矩、地球磁場強度等資訊。
第一相機單元140用以擷取影像IMGa。於部份實施例中，第一相機單元140為前相機設置於電子裝置100的正面(通常設置在與顯示單元184同一面)。因此，於一實施例中，第一相機單元140所擷取的影像IMGa經常是自拍影像(selfie image)。請一併參閱第3圖，其繪示根據一操作例中第一相機單元140所擷取的影像IMGa的示意圖。
如第3圖所示，影像IMGa當中存在一物件OBJ(於此實施例中為一前景物件)。於此例中，影像IMGa是朝向握持電子裝置100之使用者所拍攝的自拍影像，因此其中的前景物件為人物肖像。然而，前景物件OBJ並不僅限於此一使用者。 於其他部份實施例中，前景物件OBJ可為多人群體(例如使用者與站在使用者旁的多名友人)、或是人物連同他的個人物品(例如使用者以及使用者手中握持的產品)等。
為了由影像IMGa當中提取前景物件OBJ，有多種不同的辨識演算法(例如基於深度資訊的物件辨識演算法、人臉特徵辨識演算法)以辨認前景物件OBJ並將前景物件OBJ由影像IMGa的背景中分離出來。然而，辨識演算法需要佔用大量的演算時間。如此一來，前景物件OBJ的計算結果便無法在影像IMGa擷取時快速產生(或是即時性產生)。
為了減少由影像IMGa中提取前景物件OBJ時的延遲時間，可在影像IMGa上採用特定的預定模版遮罩(pre-defined model mask)。請一併參閱第4A圖，其繪示根據本揭示文件之一實施例中一種預定模版遮罩MSKp的示意圖。當預定模版遮罩MSKp施加在影像IMGa上時，影像IMGa中通過預定模版遮罩MSKp中空白區域的部分影像被提取為前景物件OBJ，而影像IMGa中位於預定模版遮罩MSKp中陰影區域的部分影像則被遮蔽。預定模版遮罩MSKp的形狀是參考過往經驗、統計或以機器學習方式計算常見自拍影像中人物肖像的典型樣版。
然而，預定模版遮罩MSKp並無法精確地適用在各種不同的操作情況，特別是當使用者以不同的方式移動電子裝置100連同其第一相機單元140時(例如，將電子裝置100往上移動、往下移動、將電子裝置100旋轉到右側或旋轉到左側等)。若電子裝置100總是使用相同的預定模版遮罩MSKp由影 像IMGa中提取前景物件OBJ，則前景物件OBJ的提取結果將不夠精確，不符後續視覺特效(例如影像合成、影像強化等)的要求。
因此，電子裝置100執行第2圖中所示的方法200以適應性地由影像IMGa中提取前景物件。方法200的詳細作法將在下列段落中說明，於此實施例中，方法200包含影像分割方法的步驟。如第1圖所示，處理模組160包含相機姿態分析單元162、適應性分割單元164以及視覺處理單元166。於部分實施例中，處理模組160以處理器、圖形處理器、數位訊號處理器(DSP)或其他具相等性的處理電路加以實現。相機姿態分析單元162、適應性分割單元164以及視覺處理單元166可由處理模組160所執行的軟體程式、指令或程序加以實現。
於第1圖所示之實施例中，電子裝置100更包含第二相機單元180、儲存單元182以及顯示單元184。第二相機單元180、儲存單元182以及顯示單元184耦接至處理模組160。
如第2圖所示，執行步驟S202以提供至少一預定模版遮罩(例如第4A圖所示的預定模版遮罩MSKp)。預定模版遮罩MSKp儲存於儲存單元182中。預定模版遮罩MSKp的形狀是參考過往經驗、統計或以機器學習方式計算常見自拍影像中人物肖像的典型樣版。
第4A圖中所繪示的僅為人物肖像的典型樣版的其中一種例示性形狀。預定模版遮罩MSKp的形狀涵蓋人物的前視圖。此前視圖至少涵蓋人物的頭部以及上軀幹。一般來說，作為典型樣版的預定模版遮罩MSKp的左半部與右半部大 致上為彼此鏡像。
然而，電子裝置100的儲存單元182可儲存有複數個預定模版遮罩(圖中未示)，其提供的複數個預定模版遮罩的形狀分別對應不同的人物形態。舉例來說，該些預定模版遮罩彼此在髮型(如長髮、短髮或捲髮)、體重(胖、瘦或正常體態)、尺寸(依照人物是靠近或遠離第一相機單元140將有不同尺寸)或骨架拓樸上彼此區別。換句話說，多個預定模版遮罩並不僅限於第4A圖中所示的預定模版遮罩MSKp。於其他實施例中，預定模版遮罩的形狀對應多人群體的前視圖，於此情況下，前視圖至少涵蓋多人群體的多個頭部與多個上軀體。
執行步驟S204利用相機姿態分析單元162由動態感測器120取得姿態資料POS。姿態資料POS是相關於第一相機單元140的指向(orientation)或位置(position)。於此例中，姿態資料POS是在第一相機單元140擷取影像是IMGa時所取得的。於一實施例中，動態感測器120所取得姿態資料POS包含當第一相機單元140擷取影像IMGa時第一相機單元140之指向的旋轉角度(沿著水平方向旋轉)，舉例來說，第一相機單元140被移動到相對於前景物件OBJ的右側，或是第一相機單元140被移動到相對於前景物件OBJ的左側。於另一實施例中，動態感測器120所取得姿態資料POS包含當第一相機單元140擷取影像IMGa時的位置的平移距離(代表第一相機單元140是被握持在相對高於第一相機單元140的位置或是相對低於第一相機單元140的位置)。於另一實施例中，動態感測器120所取得姿態資料POS同時包含當第一相機單元140擷取影 像IMGa時的第一相機單元140之指向的旋轉角度以及第一相機單元140之位置的平移距離。
執行步驟S206以根據姿態資料POS(其包含第一相機單元140的指向及/或位置)將至少一預定模版遮罩的其中一者(例如第4A圖中所示的預定模版遮罩MSKp)調整為適應性模版遮罩。請一併參閱第4B圖、第4C圖以及第4D圖，其繪示根據本揭示內容的實施例中在不同操作情況下的三種適應性模版遮罩MSKa1~MSKa3的示意圖。
若姿態資料POS的分析結果表示第一相機單元140被往下移動(即姿態資料POS顯示第一相機單元140是由相對低於前景物件OBJ的位置進行拍攝)，預定模版遮罩MSKp被調整為第4B圖中所示的適應性模版遮罩MSKa1。於此例中，適應性模版遮罩MSKa1之可通過區塊在遮罩的下半部相對較寬且在遮罩的上半部相對較窄(相較原先的預定模版遮罩MSKp)，如此一來，適應性模版遮罩MSKa1便更適合用在從相對低於前景物件OBJ的視角(由下往上拍)所拍攝的影像。
若姿態資料POS的分析結果表示第一相機單元140被往上移動(即姿態資料POS顯示第一相機單元140是由相對高於前景物件OBJ的位置進行拍攝)，預定模版遮罩MSKp被調整為第4C圖中所示的適應性模版遮罩MSKa2。於此例中，適應性模版遮罩MSKa2之可通過區塊在遮罩的上半部相對較寬且在遮罩的下半部相對較窄(相較原先的預定模版遮罩MSKp)，如此一來，適應性模版遮罩MSKa2便更適合用在從相對高於前景物件OBJ的視角(由上往下拍)所拍攝的影像。
若姿態資料POS的分析結果表示第一相機單元140被往右側旋轉(即姿態資料POS顯示第一相機單元140是從相對前景物件OBJ中心軸線的右側進行拍攝)，預定模版遮罩MSKp被調整為第4D圖中所示的適應性模版遮罩MSKa3。於此例中，適應性模版遮罩MSKa3之可通過區塊在遮罩的右半部相對較寬且在遮罩的左半部相對較窄(相較原先的預定模版遮罩MSKp)，如此一來，適應性模版遮罩MSKa3便更適合用在從相對前景物件OBJ中心軸線的右側進行拍攝(由右往左拍)所拍攝的影像。相似地，若第一相機單元140被往左側旋轉，預定模版遮罩MSKp被調整為另一種不同的適應性模版遮罩(圖中未示)。
基於上述實施例，適應性分割單元164是根據姿態資料POS調整原先的預定模版遮罩MSKp進而產生適應性模版遮罩MSKa1~MSKa3。執行步驟S308根據適應性模版遮罩MSKa1、MSKa2或MSKa3由第一相機單元140擷取的影像IMGa中提取前景物件OBJ。如此一來，適應性模版遮罩MSKa1~MSKa3可以在提取前景物件OBJ的過程中提供較高的精確性，並且亦可提供較高的計算前景物件OBJ的效率(相較於純粹使用物件辨識演算法來分辨前景物件OBJ)。
當前景物件OBJ(例如使用者的肖像)由適應性分割單元164提取出來後，前景物件OBJ可以使用在各種不同形態的視覺特效當中，例如影像合成特效或其他效果。如第1圖所示，電子裝置100更包含第二相機單元180。於部分實施例中，方法200更執行一步驟，當第一相機單元140擷取影像 IMGa時，同步利用第二相機單元180擷取另一影像IMGb。
於部分實施例中，第一相機單元140與第二相機單元180是設置電子裝置100的相對兩側表面上。第二相機單元180為設置於電子裝置100背表面上的後相機(或被視為是主要相機)。第二相機單元180主要用來擷取位於使用者前方且使用者感興趣的景象。
於部分實施例中，方法200更執行一步驟，以將第一相機單元140所擷取之影像IMGa中提取的前景物件OBJ合成至第二相機單元140所擷取之影像IMGb當中。如此一來，前景物件OBJ(例如使用者的肖像)可以合併到第二相機單元140(例如主要相機單元)所擷取之影像IMGb中。合成影像(例如將影像IMGa中提取的前景物件OBJ覆蓋於第二相機單元140所擷取之影像IMGb的背景畫面上)的輸出結果可以即時地顯示於電子裝置100的顯示單元184上，作為即時的預覽影像。上述應用功能，適用於使用者欲透過第二相機單元180拍攝相片，且使用者欲將自己本身的自拍畫面結合至第二相機單元180擷取的影像IMGb當中的情況。上述方法200與電子裝置100可在不經過辨識演算法的複雜計算下即時地提供預覽影像(包含影像IMGa中的前景物件OBJ以及另一影像IMGb的背景畫面)。
於上述實施例中，適應性模版遮罩MSKa1、MSKa2或MSKa3是根據姿態資料POS(其代表第一相機單元140的位置及/或指向)而決定的。然而，本揭示文件並不以此為限。本揭示文件另一實施例中，有關如何產生適應性模版遮 罩是根據第一相機單元140與前景物件OBJ之間的相對動態而產生。
請參閱第5圖，其繪示根據本揭示文件之一實施例中一種電子裝置100的示意圖。如第5圖所示，電子裝置100包含動態感測器120、第一相機單元140、處理模組160、第二相機單元180、儲存單元182以及顯示單元184。如第5圖所示，處理模組160包含物件姿態分析單元161、相機姿態分析單元162、相對動態分析單元163、適應性分割單元164以及視覺處理單元166。
於部分實施例中，處理模組160以處理器、圖形處理器、數位訊號處理器(DSP)或其他具相等性的處理電路加以實現。物件姿態分析單元161、相機姿態分析單元162、相對動態分析單元163、適應性分割單元164以及視覺處理單元166可由處理模組160所執行的軟體程式、指令或程序加以實現。
處理單元160耦接至動態感測器120以及第一相機單元140。電子裝置100適用以運行一方法，藉以根據適應性模版遮罩由影像中分割得到物件。請一併參閱第6圖，其繪示根據本揭示文件之一實施例中一種根據適應性模版遮罩由影像中提取物件之方法300的方法流程圖，第6圖所示的方法300適用於第5圖所示的電子裝置100上。
如第6圖所示，執行步驟S302以利用第一相機單元140擷取影像IMGa(可參照第3圖)。執行步驟S304以物件姿態分析單元161由影像IMGa估算物件姿態。上述物件姿態表 示物件本身的面向、角度、動作姿勢、高低位置等。
於步驟S304中，物件姿態分析單元161用以在影像IMGa中定位與人物相關的物件OBJ(例如人物臉部)。在影像IMGa偵測一些臉部特徵(眼睛、鼻、嘴部等)，且人物頭部形狀可利用邊緣偵測程序來估算，藉此得到人物相關的物件OBJ的大致位置。此外，人臉的位置與輪廓可以根據臉部顏色及/或臉部特徵的強健特徵(robust feature)的統計比對加以最佳化。基於臉部位置與人物軀幹的連續性，人物的位置可以利用人體骨架拓墣加以估計，接著，人體形狀可以用色彩材質統計由原始影像中分離。藉此，物件姿態分析單元161可用以估算物件姿態，其表示人物相關的物件OBJ的位置、姿勢及/或指向。此外，在下列使用者與相機之間相對動態的分析過程中，物件姿態是隨著時間持續不間斷地進行動態估算與追蹤。於此實施例中，與人物相關的物件OBJ為影像IMGa中的前景物件。
執行步驟S306以取得由動態感測器120取得姿態資料POS。姿態資料POS是相關於第一相機單元140的指向(orientation)及/或位置(position)。於此例中，姿態資料POS是在第一相機單元140擷取影像是IMGa時所取得的。執行步驟S308以相機姿態分析單元162根據姿態資料POS分析得到相機姿態。相機姿態分析單元162將來自動態感測器120的姿態資料POS依時序進行統計計算並移除雜訊，以判斷第一相機單元140的指向及/或位置。此外，在下列使用者與相機之間相對動態的分析過程中，相機姿態是隨著時間持續不間斷地進行 動態估算與追蹤。上述相機姿態表示第一相機單元140的面向、握持方式、鏡頭角度、高低位置等。
執行步驟S306以相對動態分析單元163根據相機姿態(來自相機姿態分析單元162)與物件姿態(來自物件姿態分析單元161)追蹤一相對動態，其表示影像中物件的動作與持有相機的動作之間的相互關係。藉由整合物件姿態(包含人物臉部與人物軀幹的位置與指向)以及物件姿態(包含第一相機單元140的位置與指向)，相對動態分析單元163用以即時追蹤物件OBJ(即與人相關的物件)與第一相機單元140之間的相對動態。相對動態包含物件OBJ與第一相機單元140之間各種關係，例如自拍影像(即影像IMGa)是由第一相機單元140在何種不同視角或何種不同位置下所拍攝(例如第一相機單元140是高於或低於與人相關的物件、或者第一相機單元140是位於與人相關的物件左側或右側)。
相對動態是同時根據相機姿態(由動態感測器120產生姿態資料POS分析得到)以及物件姿態(由影像IMGa的人物特徵分析得到)而決定的。
執行步驟S312以提供預定模版遮罩MSKp(參照第4A圖)。預定模版遮罩MSKp可儲存於儲存模組182中。相似於先前實施例，預定模版遮罩MSKp的形狀是參考過往經驗、統計或以機器學習方式計算常見自拍影像中人物肖像的典型樣版。
執行步驟S314以適應性分割單元164根據相對動態將預定模版遮罩MSKp調整為適應性模版遮罩(參照第4B圖 至第4D圖中的適應性模版遮罩MSKa1~MSKa3)。
若相對動態表示第一相機單元140相對人物物件被往下移動(即第一相機單元140是由相對低於前景物件OBJ的位置進行拍攝)，預定模版遮罩MSKp被調整為第4B圖中所示的適應性模版遮罩MSKa1。
若相對動態表示第一相機單元140相對人物物件被往上移動(即第一相機單元140是由相對高於前景物件OBJ的位置進行拍攝)，預定模版遮罩MSKp被調整為第4C圖中所示的適應性模版遮罩MSKa2。
若相對動態表示第一相機單元140被往右側旋轉(即第一相機單元140是從相對前景物件OBJ中心軸線的右側進行拍攝)，預定模版遮罩MSKp被調整為第4D圖中所示的適應性模版遮罩MSKa3。
步驟S314中根據相對動態將預定模版遮罩MSKp調整為適應性模版遮罩的作法與第2圖中的步驟S206相似。主要差別在於，步驟S314是根據相對動態進行調整，而步驟S206是根據動態感測器120產生姿態資料POS進行調整。
執行步驟S316以適應性分割單元164根據適應性模版遮罩由影像IMGa中提取前景物件OBJ。
當前景物件OBJ(例如使用者的肖像)由適應性分割單元164提取出來後，前景物件OBJ可以使用在各種不同形態的視覺特效當中，例如影像合成特效或其他效果。於部分實施例中，方法300更執行一步驟，當第一相機單元140擷取影像IMGa時，同步利用第二相機單元180擷取另一影像IMGb。 於部分實施例中，方法300更執行一步驟，以將第一相機單元140所擷取之影像IMGa中提取的前景物件OBJ合成至第二相機單元140所擷取之影像IMGb當中。
由於相機姿態以及物件姿態兩者都隨時間可能動態改變，方法300利用相機姿態以及物件姿態兩者之間的相對動態，進而即時地從自拍影像中將人物物件分離出來作為前景物件OBJ。接著，使用者便可以在預覽階段有效率地添加影像特效至前景物件OBJ上。
此外，為了使添加的影像效果在第二相機單元180之影像IMGb所提供的背景上看起來更為自然，前景物件OBJ(即人物)在合成至影像IMGb上時，是將前景物件OBJ合成到影像IMGb的位置是相對應於前景物件OBJ原先在影像IMGa所在位置。
請一併參閱第7圖，其繪示根據本揭示文件之另一實施例中一種電子裝置100的示意圖。於第7圖中的電子裝置100相似於第5圖中的電子裝置100，因此，第7圖中的電子裝置100中各元件的細節在此不另贅述。電子裝置100適用於執行影像分割(segmentation)方法，其用以根據適應性模版遮罩(adaptive model mask)由影像中提取一物件。請一併參閱第8圖，其繪示根據本揭示文件之一實施例中一種根據適應性模版遮罩由影像中提取物件之方法400的方法流程圖。第8圖中所示的方法400可用於第7圖中所示的電子裝置100上。
第7圖與第8圖之實施例中，第一相機單元140用以依序擷取影像IMGa1以及另一影像IMGa2。影像IMGa2是 在影像IMGa1之後擷取的。在第一相機單元140擷取影像IMGa2時，第二相機單元180用以同步擷取影像IMGb。
執行步驟S402以提供第一模版遮罩。第一模版遮罩可為預定模版遮罩(參照先前實施例中的預定模版遮罩MSKp)，預定模版遮罩之形狀對應於人物的前視圖，前視圖至少涵蓋該人物的頭部以及上軀幹，預定模版遮罩的左半部與右半部大致上為彼此鏡像。此外，方法400所提供之預定模版遮罩之形狀分別對應於不同形態的複數個人物，預定模版遮罩彼此在髮型、體重、尺寸或骨架拓樸上彼此區別。於其他實施例，方法400所提供之預定模版遮罩之形狀可對應於多人群體的前視圖，前視圖至少涵蓋多人群體的複數個頭部以及複數個上軀幹。
執行步驟S404以第一相機單元140擷取影像IMGa1。影像IMGa1包含前景物件OBJ(參照第3圖)。執行步驟S406以根據第一模版遮罩(即預定模版遮罩)由影像IMGa1中提取前景物件OBJ。執行步驟S408以第一相機單元140擷取影像IMGa2。執行步驟S410由動態感測器120取得姿態資料POS，姿態資料POS是相關於當影像IMGa2被擷取時第一相機單元140的指向及/或位置。執行步驟S412以相機姿態分析單元162根據姿態資料POS分析相機姿態。執行步驟S414根據相機姿態(或是姿態資料POS)與影像IMG1a所提取的物件OBJ，追蹤由影像IMGa1至影像IMGa2之間的相對動態。執行步驟S416根據相對動態，動態地提供第二模版遮罩。第二模版遮罩是由預定模版遮罩根據相對動態進行調整而得到的適 應性模版遮罩(參照第4B圖至第4D圖中所示的適應性模版遮罩MSKa1~MSKa3)。關於如何由預定模版遮罩形成適應性模版遮罩的細部作法已在第5圖與第6圖之實施例中說明，在此不另贅述。執行步驟S418以根據該第二模版遮罩，由第一相機單元140擷取的影像IMGa2中適應性地提取另一物件(影像IMGa1與影像IMGa2兩者當中物件可以是同一人物)。
方法400的操作方式與技術作法相似於先前實施例中的方法300。主要差異在於方法400是採用追蹤先前畫面(影像IMGa1)中的人物以粗略地分割前景物件。接著，根據相機姿態(由動態感測器120偵測的姿態資料POS得到)與先前畫面(影像IMGa1)中所提取的前景物件之間來計算相對動態。藉此，第一相機單元140所擷取之稍後畫面(即影像IMGa2)中的前景物件便可根據適應性模版遮罩以較佳的精確性進行提取。
於本文中，當一元件被稱為或『耦接』時，可指『電性連接』或『電性耦接』。『耦接』亦可用以表示二或多個元件間相互搭配操作或互動。此外，雖然本文中使用『第一』、『第二』、…等用語描述不同元件，該用語僅是用以區別以相同技術用語描述的元件或操作。除非上下文清楚指明，否則該用語並非特別指稱或暗示次序或順位，亦非用以限定本揭示內容。
雖然本揭示內容已以實施方式揭露如上，然其並非用以限定本揭示內容，任何熟習此技藝者，在不脫離本揭示內容之精神和範圍內，當可作各種更動與潤飾，因此本揭示內容之保護範圍當視後附之申請專利範圍所界定者為準。
200‧‧‧方法
S202~S208‧‧‧步驟

Claims (15)

  1. 一種影像分割方法，適用於包含一第一相機單元以及一動態感測器的一電子裝置，該影像分割方法包含：提供至少一預定模版遮罩；對應該第一相機單元擷取一第一影像時，由該動態感測器取得一姿態資料，該姿態資料是相關於該第一相機單元的一指向或一位置；根據該姿態資料，將該至少一預定模版遮罩其中一者調整為一適應性模版遮罩；以及根據該適應性模版遮罩，由該第一相機單元擷取的該第一影像中提取一物件。
  2. 如申請專利範圍第1項所述的影像分割方法，其中當該電子裝置更包含一第二相機單元，該影像分割方法包含：當該第一相機單元擷取該第一影像時，同步由該第二相機單元擷取一第二影像；以及將該第一影像中所提取該物件，合成至該第二相機單元所擷取的該第二影像中。
  3. 如申請專利範圍第2項所述的影像分割方法，其中該第一相機單元與該第二相機單元設置於該電子裝置的相對兩側表面上，該第一相機擷取的該第一影像為一自拍影像。
  4. 如申請專利範圍第1項所述的影像分割方法，其中該至少一預定模版遮罩之形狀對應於一人物的一前視圖，該前視圖至少涵蓋該人物的一頭部以及一上軀幹，該預定模版遮罩的一左半部與一右半部大致上為彼此鏡像。
  5. 如申請專利範圍第1項所述的影像分割方法，其中該影像分割方法共提供複數個預定模版遮罩，該些預定模版遮罩之形狀分別對應於不同形態的複數個人物，該些預定模版遮罩彼此在髮型、體重、尺寸或骨架拓樸上彼此區別。
  6. 如申請專利範圍第1項所述的影像分割方法，其中該至少一預定模版遮罩之形狀對應於一多人群體的一前視圖，該前視圖至少涵蓋該多人群體的複數個頭部以及複數個上軀幹。
  7. 如申請專利範圍第1項所述的影像分割方法，其中由該動態感測器所取得的該姿態資料標示該第一相機單元之該指向的一旋轉角度或是該第一相機單元之該位置的一平移距離，該適應性模版遮罩是對應於該旋轉角度及該平移距離由該至少一預定模版遮罩計算得到。
  8. 一種影像分割方法，適用於包含一第一相機單元以及一動態感測器的一電子裝置，該影像分割方法包含：以該第一相機擷取一第一影像；由該第一影像估算一物件姿態； 由該動態感測器取得一姿態資料，該姿態資料是相關於當該第一影像被擷取時該第一相機單元的一指向或一位置；根據該姿態資料分析一相機姿態；根據該物件姿態與該相機姿態，追蹤一相對動態；提供一預定模版遮罩；根據該相對動態，將該預定模版遮罩調整為一適應性模版遮罩；以及根據該適應性模版遮罩，由該第一相機單元擷取的該第一影像中適應性地提取一物件。
  9. 如申請專利範圍第8項所述的影像分割方法，更包含：提供複數個預定模版遮罩；根據該第一影像，由該些預定模版遮罩中挑選其中一者；以及根據該相對動態，將被挑選之該其中一預定模版調整為該適應性模版遮罩。
  10. 如申請專利範圍第9項所述的影像分割方法，其中該些預定模版遮罩之形狀分別對應於不同形態的複數個人物，該些預定模版遮罩彼此在髮型、體重、尺寸或骨架拓樸上彼此區別，於由該些預定模版遮罩中挑選其中一者之步驟中，該影像分割方法更包含：將該第一影像內的一物件與該些預定模版遮罩的至少一者比較。
  11. 如申請專利範圍第8項所述的影像分割方法，其中該電子裝置更包含一第二相機單元，該影像分割方法包含：當該第一相機單元擷取該第一影像時，同步由該第二相機單元擷取一第二影像；以及將該第一影像中所提取該物件，合成至該第二相機單元所擷取的該第二影像中。
  12. 如申請專利範圍第11項所述的影像分割方法，其中該第一相機單元與該第二相機單元設置於該電子裝置的相對兩側表面上，該第一相機擷取的該第一影像為一自拍影像。
  13. 如申請專利範圍第8項所述的影像分割方法，其中由該動態感測器所取得的該姿態資料標示該第一相機單元之該指向的一旋轉角度或是該第一相機單元之該位置的一平移距離，該適應性模版遮罩是對應於該旋轉角度及該平移距離由該至少一預定模版遮罩計算得到。
  14. 一種影像分割方法，適用於包含一第一相機單元以及一動態感測器的一電子裝置，該影像分割方法包含：提供一第一模版遮罩；以該第一相機單元擷取一第一影像，該第一影像包含一物件； 根據該第一模版遮罩，由該第一影像中提取該物件；以該第一相機單元擷取一第二影像；由該動態感測器取得一姿態資料，該姿態資料是相關於當該第二影像被擷取時該第一相機單元的一指向或一位置；根據該姿態資料與該第一影像的該物件，追蹤由該第一影像至該第二影像之間的一相對動態；根據該相對動態，動態地提供一第二模版遮罩；以及根據該第二模版遮罩，由該第一相機單元擷取的該第二影像中適應性地提取另一物件。
  15. 如申請專利範圍第14項所述的影像分割方法，其中該第一模版遮罩為一預定模版遮罩，該預定模版遮罩之形狀對應於一人物的一前視圖，該前視圖至少涵蓋該人物的一頭部以及一上軀幹，該預定模版遮罩的一左半部與一右半部大致上為彼此鏡像。
TW104129350A 2014-09-04 2015-09-04 影像分割方法 TWI536320B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201462045572P 2014-09-04 2014-09-04
US14/838,378 US9807316B2 (en) 2014-09-04 2015-08-28 Method for image segmentation

Publications (2)

Publication Number Publication Date
TW201610917A TW201610917A (zh) 2016-03-16
TWI536320B true TWI536320B (zh) 2016-06-01

Family

ID=54105624

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104129350A TWI536320B (zh) 2014-09-04 2015-09-04 影像分割方法

Country Status (4)

Country Link
US (1) US9807316B2 (zh)
EP (1) EP2993893B1 (zh)
CN (1) CN105407346B (zh)
TW (1) TWI536320B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI797923B (zh) * 2021-12-28 2023-04-01 國家中山科學研究院 遮罩係數空間之線上多物件分割與追蹤系統

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104023192B (zh) * 2014-06-27 2016-04-13 努比亚技术有限公司 一种录制视频的方法和装置
US9471954B2 (en) * 2015-03-16 2016-10-18 International Business Machines Corporation Video sequence assembly
US10276210B2 (en) 2015-11-18 2019-04-30 International Business Machines Corporation Video enhancement
US10270965B2 (en) 2015-12-04 2019-04-23 Ebay Inc. Automatic guided capturing and presentation of images
TWI622298B (zh) * 2016-08-23 2018-04-21 和碩聯合科技股份有限公司 廣告影像生成系統及其廣告影像生成之方法
KR102650189B1 (ko) 2016-12-26 2024-03-22 삼성전자주식회사 전자 장치 및 전자 장치 제어 방법
CN106846323B (zh) * 2017-01-04 2020-07-10 珠海大横琴科技发展有限公司 一种实现交互式图像分割的方法、装置及终端
US10467456B2 (en) * 2017-04-17 2019-11-05 Htc Corporation Tracking system for tracking an object based on silhouette
US10944902B2 (en) * 2017-06-20 2021-03-09 Adobe Inc. Digital image generation using capture support data
US10609398B2 (en) * 2017-07-28 2020-03-31 Black Sesame International Holding Limited Ultra-low bitrate coding based on 3D map reconstruction and decimated sub-pictures
US10839577B2 (en) * 2017-09-08 2020-11-17 Apple Inc. Creating augmented reality self-portraits using machine learning
US11394898B2 (en) 2017-09-08 2022-07-19 Apple Inc. Augmented reality self-portraits
US10778939B2 (en) * 2017-09-22 2020-09-15 Facebook, Inc. Media effects using predicted facial feature locations
CN111131692B (zh) * 2018-10-31 2021-09-10 苹果公司 用于使用机器学习创建增强现实自摄像的方法和系统
US10997396B2 (en) 2019-04-05 2021-05-04 Realnetworks, Inc. Face liveness detection systems and methods
JP7220128B2 (ja) * 2019-06-21 2023-02-09 東洋ガラス株式会社 ガラスびんの検査方法及びガラスびんの製造方法
US20210144297A1 (en) * 2019-11-12 2021-05-13 Shawn Glidden Methods System and Device for Safe-Selfie
US11636580B2 (en) 2021-07-21 2023-04-25 Black Sesame Technologies Inc. Human portrait segmentation based image processing system

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6388707B1 (en) * 1994-04-12 2002-05-14 Canon Kabushiki Kaisha Image pickup apparatus having means for appointing an arbitrary position on the display frame and performing a predetermined signal process thereon
DE60039534D1 (de) 1999-11-08 2008-08-28 Vistas Unltd Inc Verfahren und vorrichtung zur echtzeitbildeinfügung in video
JP3777922B2 (ja) * 1999-12-09 2006-05-24 コニカミノルタフォトイメージング株式会社 デジタル撮像装置、それを備えた画像処理システム、画像処理装置、デジタル撮像方法および記録媒体
JP2003189168A (ja) * 2001-12-21 2003-07-04 Nec Corp 携帯電話用カメラ
KR100752870B1 (ko) * 2002-05-28 2007-08-29 가시오게산키 가부시키가이샤 합성화상출력장치, 합성화상출력방법 및 기록매체
JP2004062565A (ja) 2002-07-30 2004-02-26 Canon Inc 画像処理装置及び方法並びにプログラム記憶媒体
JP3948387B2 (ja) * 2002-10-24 2007-07-25 松下電器産業株式会社 ディジタルカメラおよびディジタルカメラ付き携帯電話装置
JP2005051298A (ja) * 2003-07-29 2005-02-24 Seiko Epson Corp ディジタルカメラ及びテンプレートデータ構造
JP2005094741A (ja) * 2003-08-14 2005-04-07 Fuji Photo Film Co Ltd 撮像装置及び画像合成方法
JP2005100084A (ja) * 2003-09-25 2005-04-14 Toshiba Corp 画像処理装置及び方法
JP4118231B2 (ja) * 2003-12-17 2008-07-16 シャープ株式会社 携帯通信端末
WO2005119591A1 (ja) * 2004-06-04 2005-12-15 Matsushita Electric Industrial Co., Ltd. 表示制御方法および装置、プログラム、並びに携帯機器
JP4410732B2 (ja) 2005-07-27 2010-02-03 グローリー株式会社 顔画像検出装置、顔画像検出方法および顔画像検出プログラム
EP1763243A3 (en) * 2005-09-09 2008-03-26 LG Electronics Inc. Image capturing and displaying method and system
JP2007257585A (ja) * 2006-03-27 2007-10-04 Fujifilm Corp 画像処理方法および装置ならびにプログラム
CA2654960A1 (en) * 2006-04-10 2008-12-24 Avaworks Incorporated Do-it-yourself photo realistic talking head creation system and method
TWI313426B (en) * 2006-06-13 2009-08-11 Sunplus Technology Co Ltd Method for screen browsing and portable electronic device using the same
TW200832237A (en) 2007-01-19 2008-08-01 Univ Nat Chiao Tung Human activity recognition method by combining temple posture matching and fuzzy rule reasoning
TW200924514A (en) 2007-11-20 2009-06-01 Ind Tech Res Inst Vibrating-proof mechanism
US8416277B2 (en) * 2009-12-10 2013-04-09 Apple Inc. Face detection as a metric to stabilize video during video chat session
US8451312B2 (en) * 2010-01-06 2013-05-28 Apple Inc. Automatic video stream selection
KR101105034B1 (ko) * 2010-02-09 2012-01-16 주식회사 팬택 촬영 기능을 보유한 단말기
US8233789B2 (en) * 2010-04-07 2012-07-31 Apple Inc. Dynamic exposure metering based on face detection
KR101764372B1 (ko) * 2011-04-19 2017-08-03 삼성전자주식회사 휴대용 단말기에서 영상 합성 방법 및 장치
TW201316755A (zh) 2011-10-14 2013-04-16 Altek Corp 產生動態影像的影像處理方法及其影像擷取裝置
US20130120602A1 (en) * 2011-11-14 2013-05-16 Microsoft Corporation Taking Photos With Multiple Cameras
KR101795603B1 (ko) 2011-11-17 2017-12-01 삼성전자주식회사 디지털 촬영 장치 및 그 제어방법
TWI505708B (zh) 2012-01-16 2015-10-21 Oriental Inst Technology 多鏡頭影像擷取裝置及其立體影像顯示方法
JP5807555B2 (ja) * 2012-01-20 2015-11-10 富士通株式会社 画像処理プログラム、装置及び方法
US20130235223A1 (en) * 2012-03-09 2013-09-12 Minwoo Park Composite video sequence with inserted facial region
US8866943B2 (en) * 2012-03-09 2014-10-21 Apple Inc. Video camera providing a composite video sequence
TWI478078B (zh) 2012-05-31 2015-03-21 Senao Networks Inc A motion detection device and a motion detection method
US9516223B2 (en) 2012-06-06 2016-12-06 Apple Inc. Motion-based image stitching
US9807299B2 (en) 2012-08-30 2017-10-31 Htc Corporation Image capture methods and systems with positioning and angling assistance
TW201428680A (zh) 2013-01-02 2014-07-16 Ind Tech Res Inst 影像處理裝置及立體影像前景分離方法
KR102018887B1 (ko) 2013-02-21 2019-09-05 삼성전자주식회사 신체 부위 검출을 이용한 이미지 프리뷰
KR102076771B1 (ko) * 2013-02-21 2020-02-12 삼성전자주식회사 다수의 이미지 동시 포착
JP2014241547A (ja) * 2013-06-12 2014-12-25 ソニー株式会社 表示制御装置、表示制御方法、プログラムおよび撮像装置
US20150237268A1 (en) * 2014-02-20 2015-08-20 Reflective Practices, LLC Multiple Camera Imaging
KR101533686B1 (ko) * 2014-06-30 2015-07-09 숭실대학교산학협력단 시선 추적 장치 및 방법, 이를 수행하기 위한 기록매체

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI797923B (zh) * 2021-12-28 2023-04-01 國家中山科學研究院 遮罩係數空間之線上多物件分割與追蹤系統

Also Published As

Publication number Publication date
US20160073040A1 (en) 2016-03-10
CN105407346A (zh) 2016-03-16
TW201610917A (zh) 2016-03-16
CN105407346B (zh) 2018-04-06
US9807316B2 (en) 2017-10-31
EP2993893A1 (en) 2016-03-09
EP2993893B1 (en) 2017-04-05

Similar Documents

Publication Publication Date Title
TWI536320B (zh) 影像分割方法
JP7249390B2 (ja) 単眼カメラを用いたリアルタイム３ｄ捕捉およびライブフィードバックのための方法およびシステム
CN107993216B (zh) 一种图像融合方法及其设备、存储介质、终端
JP4473754B2 (ja) 仮想試着装置
CN110738595B (zh) 图片处理方法、装置和设备及计算机存储介质
KR102097016B1 (ko) 동작 분석 장치 및 방법
JP7387202B2 (ja) ３次元顔モデル生成方法、装置、コンピュータデバイス及びコンピュータプログラム
Hu et al. Hand pointing estimation for human computer interaction based on two orthogonal-views
WO2019237745A1 (zh) 人脸图像处理方法、装置、电子设备及计算机可读存储介质
CN106896925A (zh) 一种虚拟现实与真实场景融合的装置
Kawai et al. Diminished reality considering background structures
JP2009020761A (ja) 画像処理装置及びその方法
JP5965293B2 (ja) カメラポーズ推定装置、及びカメラポーズ推定プログラム
JP2009265809A (ja) 情報端末装置
JP7162079B2 (ja) 頭部のジェスチャーを介してディスプレイ装置を遠隔制御する方法、システムおよびコンピュータプログラムを記録する記録媒体
KR20170027266A (ko) 영상 촬영 장치 및 그 동작 방법
WO2010144050A1 (en) Method and system for gesture based manipulation of a 3-dimensional image of object
CN105809664B (zh) 生成三维图像的方法和装置
JP2016071645A (ja) オブジェクト３次元モデル復元方法、装置およびプログラム
JP2009211513A (ja) 画像処理装置及びその方法
CN107016730A (zh) 一种虚拟现实与真实场景融合的装置
JP6272071B2 (ja) 画像処理装置、画像処理方法及びプログラム
US11138743B2 (en) Method and apparatus for a synchronous motion of a human body model
JP2012160051A (ja) 情報端末装置
CN106981100A (zh) 一种虚拟现实与真实场景融合的装置