TWI597980B - 影音管理方法及其系統 - Google Patents
影音管理方法及其系統 Download PDFInfo
- Publication number
- TWI597980B TWI597980B TW104125994A TW104125994A TWI597980B TW I597980 B TWI597980 B TW I597980B TW 104125994 A TW104125994 A TW 104125994A TW 104125994 A TW104125994 A TW 104125994A TW I597980 B TWI597980 B TW I597980B
- Authority
- TW
- Taiwan
- Prior art keywords
- audio
- file
- video
- visual
- emotional
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 15
- 230000002996 emotional effect Effects 0.000 claims description 94
- 230000008451 emotion Effects 0.000 claims description 65
- 238000007726 management method Methods 0.000 claims description 46
- 230000008921 facial expression Effects 0.000 claims description 29
- 230000000694 effects Effects 0.000 claims description 20
- 210000001747 pupil Anatomy 0.000 claims description 10
- 206010027940 Mood altered Diseases 0.000 claims description 3
- 230000007510 mood change Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 230000036651 mood Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 2
- 230000036760 body temperature Effects 0.000 description 2
- 210000004243 sweat Anatomy 0.000 description 2
- 206010011469 Crying Diseases 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001121 heart beat frequency Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
- G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Television Signal Processing For Recording (AREA)
- User Interface Of Digital Computer (AREA)
Description
本案涉及一種影音管理方法及影音管理系統。具體而言,本案涉及一種應用情緒標籤之影音管理方法及影音管理系統。
隨著科技的發展,數位影像已廣泛地應用在人們的生活當中。一般而言,使用者可能將大量的數位影像儲存於電子裝置中,並藉由手動將這些數位影像進行分類,或是將這些數位影像藉由電子裝置預設之排序方式進行管理,例如依照檔案大小、修改日期或檔案名稱進行排序。
然而,使用者難以在大量的數位影像中,一一判斷或紀錄影像拍攝當下的拍攝者或被拍攝者的情緒或是生理資訊,以將影像進行管理。另一方面,當使用者欲將影像進行特效處理時,無論使用者藉由手動或自動挑選欲附加的影像效果,其影像效果套用後於整段影片的效果都是一致的,無法依照拍攝當下的拍攝者或被拍攝者的情緒或是生理資訊將影
像片段適應性地套用影像特效。如此一來,造成了數位影像於應用上的限制。
本發明之一態樣提供一種影音管理的方法。影音管理的方法包含下列步驟:擷取一影音檔案;其中在擷取該影音檔案時,產生對應該影音檔案的一情緒標籤。
本發明之另一態樣係於提供一種影音管理系統。影音管理系統包括一影音擷取模組及一處理裝置。影音擷取模組用以擷取一影音檔案;處理裝置用以在擷取該影音檔案時,產生對應該影音檔案的一情緒標籤。
透過應用上述之影音管理方法及影音管理系統,使用者可在大量的影音檔案中,取得每一影音檔案拍攝當下的拍攝者或被拍攝者的情緒或是生理資訊,並依據情緒或生理資訊以產生對應影音檔案的情緒標籤,藉此更有彈性且更為便利地將影音檔案進行管理、分類、剪輯或是特效處理。
10‧‧‧影音擷取模組
20‧‧‧感測模組
30‧‧‧處理裝置
32‧‧‧人臉表情識別模組
34‧‧‧情緒分析模組
36‧‧‧情緒標籤產生模組
38‧‧‧輸出單元
40‧‧‧儲存單元
42‧‧‧資料庫
50‧‧‧使用者介面
100‧‧‧影音管理系統
22‧‧‧瞳孔感測器
24‧‧‧溫度感測器
26‧‧‧心跳感測器
28‧‧‧皮膚排汗感測器
300‧‧‧影音管理方法
S301、S303‧‧‧步驟
70‧‧‧雲端系統
LA、LB、LC、TR、TG、TB‧‧‧情緒標籤
IM1、IM2‧‧‧影音檔案
TL‧‧‧時間軸
RA‧‧‧檔案顯示區域
FA、FB‧‧‧圖片資料夾
FC‧‧‧影片資料夾
第1圖為根據本案一實施例所繪示的影音管理系統之方塊圖;
第2圖為根據本案一實施例所繪示的感測模組之內部元件的方塊圖;第3圖為根據本案一實施例所繪示的影音管理方法的流程圖;第4圖為根據本案一實施例所繪示的影音管理系統之方塊圖;第5圖為根據本案一實施例所繪示的影音管理系統之使用者介面的示意圖;第6圖為根據本案一實施例所繪示的影音管理系統之使用者介面的示意圖;第7圖為根據本案一實施例所繪示的影音管理系統之使用者介面的示意圖。
請參照第1圖,第1圖為根據本案一實施例所繪示的影音管理系統100之方塊圖。如第1圖所示,影音管理系統100包含影音擷取模組10與處理裝置30。影音擷取模組10用以擷取影音檔案,並透過有線或無線方式連接至處理裝置30。處理裝置30用以處理影音擷取模組10所擷取到的影音檔案。
於一實施例中,處理裝置30包含人臉表情識別模組32、情緒分析模組34、情緒標籤產生模組36以及輸出單元38。處理裝置30中的人臉表情識別模組32電性耦接於影音擷取模組10,情緒分析模組34電性
耦接於人臉表情識別模組32,情緒標籤產生模組36電性耦接於情緒分析模組34。人臉表情識別模組32用以識別影音擷取模組10所擷取的影音檔案中使用者之人臉表情。情緒分析模組34用以分析影音檔案中人臉表情之情緒,例如以識別出之人臉表情與預先儲存於資料庫42關於情緒之表情進行比對,以分析出擷取的人臉表情屬何種情緒。情緒標籤產生模組36用以根據情緒分析模組34產生情緒標籤,並將情緒標籤嵌入於影音檔案,抑或是產生對應影音檔案之情緒標籤並儲存於於一預設或指定的暫存資料夾(例如於儲存單元40)中。接著,當使用者欲依據情緒標籤並透過處理裝置30,以增加對應情緒標籤之影音檔案之影音特效時,輸出單元38輸出完成增加效果後之影音檔案。
值得一提的是,於本發明各實施例中,處理裝置30可為處理器或控制器。其中,位於處理裝置30中的人臉表情識別模組32、情緒分析模組34、情緒標籤產生模組36、輸出單元38可以各自或合併實施為體積電路如微控制單元(microcontroller)、微處理器(microprocessor)、數位訊號處理器(digital signal processor)、特殊應用積體電路(application specific integrated circuit,ASIC)或邏輯電路;影音擷取模組10可以是一數位相機,其包含電荷耦合元件(Charge Coupled Device,CCD)或互補性氧化金屬半導體(Complementary Metal-Oxide Semiconductor,CMOS)
及收音元件。
換句話說,影音擷取模組10用以擷取影音檔案,並透過處理裝置30產生對應該影音檔案的情緒標籤。其中,影音檔案可以包含一圖片檔、一音訊檔、一影片片段至少其中之一。舉例來說,使用者利用影音擷取模組10(例如,數位相機)擷取包括一孩童的影音檔案,接著經由處理裝置30中之人臉表情辨識模組32辨識出一孩童臉部表情。若處理裝置30中的人臉表情識別模組32判斷孩童的表情為一笑臉,則情緒分析模組34將孩童表情分析為高興之情緒,並藉由情緒標籤產生模組36產生對應孩童臉部影像的情緒標籤,且此情緒標籤被用來表示為高興之屬性。再舉例而言,透過影音擷取模組10之收音元件可擷取此孩童之影音檔案中的聲音訊息,若此影音檔案中的聲音訊息較為吵鬧(例如,以音頻或音量之預設值作為判斷),則情緒分析模組34將孩童分析為興奮之情緒,並藉由情緒標籤產生模組36產生對應孩童的情緒標籤,且此情緒標籤被用來表示為興奮之屬性。因此,使用者藉由情緒標籤進一步將影音檔案進行分類、剪輯或是特效處理。
於一實施例中,人臉表情識別模組32可利用影音檔案中的聲音或人臉表情(如,嘴角上揚角度或是眼角移動幅度)以判斷拍攝者或被拍攝者的情緒,舉例而言,當人臉表情識別模組32判斷影音畫面
中被拍攝者的嘴角上揚角度大於一角度門檻值,且拍攝者發出較大聲的說話聲音,則情緒分析模組34可分析出當下拍攝場景的拍攝者或被拍攝者皆處於較興奮的情緒,並透過情緒標籤產生模組36產生對應此影音檔案片段且表示為興奮的情緒標籤。更進一步的說,情緒標籤產生模組36可基於影音擷取模組10擷取到的影音檔案,產生對應此影音檔案的情緒標籤,以依據情緒標籤將影音檔案作管理或應用。
於一實施例中,影音管理系統100更包含儲存單元40,用以儲存各種資料,例如是記憶體、硬碟、隨身碟記憶卡等。此儲存單元40電性耦接於處理裝置30,且此儲存單元40可進一步包含資料庫42。
於一實施例中,影音管理系統100更包含使用者介面50,用以提供使用者一操作介面。
於一實施例中,影音管理系統100可進一步包含感測模組20,感測模組20可以由至少一感測器所構成,感測模組20以無線或有線方式連接於處理裝置30與影音擷取模組10,且感測模組20用以測量生理資訊感測訊號。生理資訊感測訊號可包括一瞳孔感測值、一溫度感測值、一心跳感測值及一皮膚排汗感測值。請參閱第2圖,第2圖為根據本案一實施例所繪示的感測模組20之內部元件的方塊圖。於第2圖中,感測模組20包含瞳孔感測器22、溫度感測器24、心跳感測器26及皮膚排汗感測器28。其中,瞳孔感測器22用
以感測使用者瞳孔大小,溫度感測器24用以感測使用者體溫,心跳感測器26用以感測使用者心跳頻率及次數,皮膚排汗感測器28用以感測使用者的皮膚排汗程度。
於此實施例中,感測模組20利用多個感測器以感測使用者在拍攝當下的生理資訊感測訊號,將生理資訊感測訊號傳送到處理裝置30的情緒分析模組34中,而情緒分析模組34依據生理資訊感測訊號決定一情緒屬性,並使情緒標籤產生模組36產生情緒標籤。舉例而言,當皮膚排汗感測器28感測到拍攝者與拍攝裝置接觸的皮膚部份排汗量較多,且瞳孔感測器22計算出影音畫面中的被拍攝者瞳孔較大,則可判斷出當下拍攝場景的拍攝者或被拍攝者皆處於較緊張或興奮的情緒屬性,並產生對應此影音檔案片段的情緒標籤,將此情緒標籤表示為緊張或興奮。於另一實施例中,影音管理系統100可同時採用感測模組20與人臉表情識別模組32,以偵測到的生理資訊感測訊號及人臉表情以更精準地判斷使用者於擷取影音畫面當下的情緒。
另一方面,上述的影音擷取模組10、感測模組20、處理裝置30、儲存單元40、使用者介面50可包含於一手持式行動裝置中。
接著,請一併參照第1圖~第3圖,第3圖為根據本案一實施例所繪示的影音管理方法300的流程
圖。為了方便說明,第1圖所示之影音管理系統100之操作會與影音管理方法300一併說明。
於步驟S301中,影音擷取模組10用以擷取一影音檔案。此影音檔案可以是照片、影片或其他多媒體影音檔案。例如,使用者透過影音擷取模組10以擷取一孩童的臉部影像。
於步驟S303中,處理裝置30用以於擷取影音檔案時,產生對應影音檔案的一情緒標籤。舉例而言,處理裝置30可以透過人臉表情識別模組32所識別之一人臉表情或感測模組20所偵測到的生理資訊感測訊號,以產生對應影音檔案的一情緒標籤。於另一實施例中,處理裝置30可以同時依據人臉表情及生理資訊感測訊號,以產生對應影音檔案的一情緒標籤。此外,情緒標籤可以是在影音檔案的檔案資訊欄位(例如,拍攝時間、地點、檔案大小)中,加上一情緒標籤欄位,或是另外產生一標籤檔案,並將此標籤檔案附屬至影音檔案,以紀錄情緒標籤。
另一方面,處理裝置30不限於需即時產生情緒標籤,例如,處理裝置30可於擷取/錄製影音檔案後產生對應影音檔案的一情緒標籤。
於一實施例中,於影音擷取模組10取得影音檔案及/或感測模組20接收生理資訊感測訊號後,處理裝置30可於一手持式行動裝置上依據生理資訊感測訊號產生對應影音檔案之情緒標籤,並將情緒標籤
儲存於手持式行動裝置之資料庫42中。
於另一實施例中,請參閱第4圖,第4圖為根據本案一實施例所繪示的影音管理系統400之方塊圖。第4圖與第1圖的不同之處在於,第4圖更包含一雲端系統70,其中雲端系統70藉由有線或無線方式耦接至處理裝置30、影音擷取模組10及感測模組20,且雲端系統70包含一伺服器(未繪示)。於一實施例中,處理裝置30、影音擷取模組10及感測模組20各自包含一傳輸模組,可藉由有線或無線方式傳輸訊號。
於本實施例中,雲端系統70具有與處理裝置30相同之功能。舉例而言,在影音擷取模組10取得影音檔案及/或感測模組20接收生理資訊感測訊號後,影音擷取模組10及感測模組20各自直接將影音檔案及/或生理資訊感測訊號傳送至伺服器。在影音檔案及/或生理資訊感測訊號傳送完畢後,於伺服器上直接依據影音檔案之人臉表情及/或生理資訊感測訊號,以產生對應影音檔案之情緒標籤,並將情緒標籤儲存於伺服器中。
藉此,在擷取完影音檔案之後,可直接在雲端系統70中依據影音檔案之人臉表情及/或生理資訊感測訊號產生對應影音檔案的情緒標籤,待處理裝置30需要情緒標籤時,情緒標籤再由伺服器回傳至處理裝置30以進行後續處理。於此實施例中,藉由將影音檔案及/或生理資訊感測訊號傳送到雲端系統70上
進行運算,可減低手持式行動裝置上的處理裝置30之運算負擔。
此外,於一些實施例中,處理裝置30可隨著影音中人物情緒的改變,以產生對應各時點之情緒的多個情緒標籤。以下詳述對應至少一影音檔案產生至少一情緒標籤的實施例,然本領域具通常知識者應知,在不偏離本案發明的精神下,本案所述的影音管理系統100及影音管理方法300並不僅限於以下實施方式。
請參閱第5圖,第5圖為根據本案一實施例所繪示的影音管理系統100之使用者介面50的示意圖。於第5圖中,影音檔案為一具有20秒長度的影音檔案IM1,於第5秒時,人臉表情識別模組32判斷被拍攝者的嘴角上角度大於一角度門檻值,且心跳感測器26判斷拍攝者的心跳頻率高於一心跳門檻值,則情緒分析模組34分析影音檔案IM1中人物的情緒為正面的,並推斷其為高興的情緒,使情緒標籤產生模組36於影音檔案時間軸TL之第5秒的位置標記一情緒標籤LA,情緒標籤LA例如可由微笑符號標示;於第10秒時,人臉表情識別模組32判斷被拍攝者的嘴角下撇,且皮膚排汗感測器28判斷拍攝者的體溫低於一體溫門檻值,則情緒分析模組34分析影音檔案IM1中人物的情緒為負面的,並推斷為哀傷的情緒,使情緒標籤產生模組36於影音檔案時間軸TL之第10秒的位置標
記一情緒標籤LB,情緒標籤LB例如可由一哭臉符號標示;接著,於第17秒時,若處理裝置30再次判斷影音檔案IM1中人物的情緒為正面的,且推斷為高興的情緒,則於影音檔案時間軸TL之第17秒的位置標記一情緒標籤LC。
據此,可依據使用者在拍攝當下各時點的情緒,以標示至少一情緒標籤,並利用情緒標籤進行後續的應用。
於一實施例中,處理裝置30依據情緒標籤所紀錄的情緒屬性,以將影音檔案加上影音效果。其中,影音效果包括一音訊檔、一文字檔、一圖片檔三者至少其中之一。
舉例而言,於第5圖中,處理裝置30將影音檔案IM1中的表示高興之情緒標籤LA、LC所對應的影片段落(即第5秒與第17秒時)加上繽紛的邊框效果及輕快的音樂,並利用輸出單元38輸出加入影音特效後的有趣畫面;另一方面,處理裝置30將表示哀傷之情緒標籤LB所對應之影片段落(即第10秒時)以灰階的效果呈現,配合哀傷的音樂,以並利用輸出單元38輸出加入影音特效後的畫面,以呈現使用者拍攝當下的情緒。
於另一實施例中,處理裝置30對應影音檔案IM1之多個片段,分別產生情緒標籤LA、LB、LC後,分析情緒標籤LA、LB、LC後之一情緒變化,由
影音檔案IM1的多個片段中選取對應情緒變化為一預設情況之至少一片段,或是挑出所有類似屬性的情緒標籤之片段,並剪輯為一選集檔案。例如,選擇表示同為高興之情緒標籤LA、LC所對應的影片段落,以產生一影音檔案IM1的選集檔案。又例如,影音檔案IM1中的情緒標籤LA、LB對應時點的情緒改變之情緒變化為由高興變為難過之預設情況時,則將情緒標籤LA、LB剪輯影音檔案IM1的選集檔案。
接著,請參閱第6圖,第6圖為根據本案一實施例所繪示的影音管理系統100之使用者介面50的示意圖。於一實施例中,影音檔案為一具有30秒長度的影音檔案IM2,於第6圖中,處理裝置30判斷影音檔案IM2中各片段的拍攝者或被拍攝者情緒,並將不同的情緒片段以不同顏色的情緒標籤進行標示。處理裝置30依據情緒標籤TR、TG、TB,對應影音檔案IM2之一時間軸加入至少一顏色線段或至少一標記符號,於影音檔案IM2之時間軸TL上標示至少一顏色線段或至少一標記符號。
例如,處理裝置30判斷影音檔案IM2在第0秒到第7秒、第14秒到第19秒及第27秒到第30秒時,拍攝者或被拍攝者的情緒為高興之情緒屬性,則以紅色線段的情緒標籤TR標示於時間軸TL上;另外,處理裝置30判斷影音檔案IM2在第21秒到第27秒時,拍攝者或被拍攝者的情緒為哀傷之情緒屬性,則以藍色
線段的情緒標籤TB標示於時間軸TL上;當處理裝置30判斷影音檔案IM2在第7秒到第14秒及第19秒到第21秒時,拍攝者或被拍攝者的情緒沒有特別反應,則以綠色線段的情緒標籤TG標示於時間軸TL上。
藉此,處理裝置30可判斷影音檔案IM2中的內容,以對應拍攝當下的拍攝者或被拍攝者的情緒產生多種情緒標籤TR、TG、TB,並進一步將情緒標籤TR、TG、TB對應的片段加上不同的效果,例如將表示高興(或正面)情緒的情緒標籤TR之對應片段套用繽紛的文字圖片及搭配輕快的音樂,或將表示哀傷(或負面)情緒的情緒標籤TB套用懷舊風效果及哀傷的音樂。藉此,在影音檔案IM2中,可依據各個時間點的情緒標籤TR、TG、TB,以套用對應情緒標籤TR、TG、TB的多種效果,使得影音檔案IM2在套用效果後,能夠帶給使用者更生動的視覺效果。
於一實施例中,使用者可點選使用者介面50中的選單按鈕,以促使處理裝置30將具有類似情緒屬性的情緒標籤剪輯在一精選片段中,例如,將所有影音檔案IM2中具有情緒標籤TR之對應片段(第0秒到第7秒、第14秒到第19秒及第27秒到第30秒)剪輯為一短片,使此短片成為影音檔案IM2的精選片段。
接著,請參閱第7圖,第7圖為根據本案一實施例所繪示的影音管理系統100之使用者介面50的示意圖。於此實施例中,使用者介面50具有一檔案顯
示區域RA、圖片資料夾FA、FB及影片資料夾FC。檔案顯示區域RA用以即時依照預設或隨機的撥放順序,以自動撥放照片或影片。圖片資料夾FA可用以存放具有高興(或正面)情緒屬性的情緒標籤之照片。影片資料夾FB可用以存放具有哀傷(或負面)情緒屬性的情緒標籤之照片,影片資料夾FC則用以存放所有影片。於另一實施例中,影片資料夾FC可進一步依據影片中的各種情緒標籤的數量、情緒屬性相似度、持續時間長短等資訊,將影片進行分類為具有正面情緒屬性的影片或具有負面情緒屬性的影片。
藉此,透過應用上述之影音管理方法及影音管理系統,可取得每一影音檔案拍攝當下的拍攝者或被拍攝者的情緒或是生理資訊,並依據情緒或生理資訊或其兩者,以產生對應影音檔案的情緒標籤,藉此更有彈性且更為便利地將影音檔案對應拍攝當下的情境進行管理、分類、剪輯或是特效處理。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何熟習此技藝者,在不脫離本發明之精神和範圍內,當可作各種之更動與潤飾,因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
10‧‧‧影音擷取模組
20‧‧‧感測模組
30‧‧‧處理裝置
32‧‧‧人臉表情識別模組
34‧‧‧情緒分析模組
36‧‧‧情緒標籤產生模組
38‧‧‧輸出單元
40‧‧‧儲存單元
42‧‧‧資料庫
50‧‧‧使用者介面
100‧‧‧影音管理系統
Claims (18)
- 一種影音管理方法,包括:擷取一影音檔案;其中在擷取該影音檔案時,產生對應該影音檔案的一情緒標籤,並依據該情緒標籤,對應該影音檔案之一時間軸加入至少一顏色線段;以及於該影音檔案之該時間軸上標示該至少一顏色線段。
- 如申請專利範圍第1項所述之影音管理方法,其中在擷取該影音檔案的步驟中,更包括:偵測一生理資訊感測訊號或該影音檔案之一人臉表情,以產生該情緒標籤。
- 如申請專利範圍第1項所述之影音管理方法,其中該情緒標籤為擷取該影音檔案時,偵測從一感測模組所獲得該生理資訊感測訊號,並依據該生理資訊感測訊號決定一情緒屬性所產生。
- 如申請專利範圍第2項所述之影音管理方法,其中,該生理資訊感測訊號包括一瞳孔感測值、一溫度感測值、一心跳感測值及一皮膚排汗感測值。
- 如申請專利範圍第1項所述之影音管理方法,該方法更包括:對應該情緒標籤,將該影音檔案加入至少一影音效果;其中,該影音效果包括一音訊檔、一文字檔、一圖片檔三者至少其中之一。
- 如申請專利範圍第1項所述之影音管理方法,其中,該影音檔案包含一圖片檔,該方法更包括:依據該情緒標籤,以將該圖片檔分類至對應該情緒標籤之一圖片資料夾。
- 如申請專利範圍第1項所述之影音管理方法,其中,該方法更包括:對應該影音檔案之複數個片段,分別產生複數個情緒標籤;分析該些情緒標籤之一情緒變化;以及由該影音檔案的該些片段中選取對應該情緒變化為一預設情況之至少一片段,並剪輯為一選集檔案。
- 如申請專利範圍第1項所述之影音管理方法,更包括:傳送該影音檔案或該生理資訊感測訊號至一伺服器系統之一儲存單元,該儲存單元包含一資料庫,於該影音檔案或該生理資訊感測訊號傳送完畢後,於該伺服器 上依據該影音檔案之該人臉表情及該生理資訊感測訊號,以產生對應該影音檔案之該情緒標籤,並將該情緒標籤儲存於該伺服器系統之該資料庫中。
- 如申請專利範圍第1項所述之影音管理方法,更包括:於取得該影音檔案或接收該生理資訊感測訊號後,於一手持式行動裝置上依據該生理資訊感測訊號產生對應該影音檔案之該情緒標籤,並將該情緒標籤儲存於該手持式行動裝置之一資料庫中。
- 一種影音管理系統,包括:一影音擷取模組,用以擷取一影音檔案;一處理裝置,用以在擷取該影音檔案時,產生對應該影音檔案的一情緒標籤;以及一使用者介面;其中,該處理裝置用以依據該情緒標籤,將該影音檔案加入至少一顏色線段,當該影音檔案顯示於該使用者介面上時,於該影音檔案之一時間軸上標示該至少一線段。
- 如申請專利範圍第10項所述之影音管理系統,更包括:一感測模組,用以偵測一生理資訊感測訊號或該影音 檔案之一人臉表情,以產生該情緒標籤。
- 如申請專利範圍第10項所述之影音管理系統,其中該情緒標籤為擷取該影音檔案時,偵測從一感測模組所獲得之一生理資訊感測訊號,並依據該生理資訊感測訊號決定一情緒屬性所產生。
- 如申請專利範圍第11項所述之影音管理系統,其中,該生理資訊感測訊號包括一瞳孔感測值、一溫度感測值、一心跳感測值及一皮膚排汗感測值。
- 如申請專利範圍第10項所述之影音管理系統,其中該處理裝置用以對應該情緒標籤,將該影音檔案加入至少一影音效果;其中,該影音效果包括一音訊檔、一文字檔、一圖片檔三者至少其中之一。
- 如申請專利範圍第10項所述之影音管理系統,其中,該影音檔案包含一圖片檔,該處理裝置用以依據該情緒標籤,以將該圖片檔分類至對應該情緒標籤之一圖片資料夾。
- 如申請專利範圍第10項所述之影音管理系統,其中,該處理裝置用以對應該影音檔案之複數個片段,分別產生複數個情緒標籤,分析該些情緒標籤 之一情緒變化,由該影音檔案的該些片段中選取對應該情緒變化為一預設情況之至少一片段,並剪輯為一選集檔案。
- 如申請專利範圍第10項所述之影音管理系統,更包括:傳送該影音檔案或該生理資訊感測訊號至一伺服器,於該影音檔案或該生理資訊感測訊號傳送完畢後,於該伺服器上依據該影音檔案之該人臉表情及該生理資訊感測訊號,以產生對應該影音檔案之該情緒標籤,並將該情緒標籤儲存於該伺服器中。
- 如申請專利範圍第10項所述之影音管理系統,更包括:於取得該影音檔案或接收該生理資訊感測訊號後,於一手持式行動裝置上依據該生理資訊感測訊號,產生對應該影音檔案之該情緒標籤,並將該情緒標籤儲存於該手持式行動裝置之一資料庫中。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW104125994A TWI597980B (zh) | 2015-08-10 | 2015-08-10 | 影音管理方法及其系統 |
US14/979,572 US20170047096A1 (en) | 2015-08-10 | 2015-12-28 | Video generating system and method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW104125994A TWI597980B (zh) | 2015-08-10 | 2015-08-10 | 影音管理方法及其系統 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201707460A TW201707460A (zh) | 2017-02-16 |
TWI597980B true TWI597980B (zh) | 2017-09-01 |
Family
ID=57995993
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW104125994A TWI597980B (zh) | 2015-08-10 | 2015-08-10 | 影音管理方法及其系統 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20170047096A1 (zh) |
TW (1) | TWI597980B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017018012A1 (ja) * | 2015-07-28 | 2017-02-02 | ソニー株式会社 | 情報処理システム、情報処理方法、および記録媒体 |
JP6589838B2 (ja) * | 2016-11-30 | 2019-10-16 | カシオ計算機株式会社 | 動画像編集装置及び動画像編集方法 |
US10636175B2 (en) * | 2016-12-22 | 2020-04-28 | Facebook, Inc. | Dynamic mask application |
KR102660124B1 (ko) * | 2018-03-08 | 2024-04-23 | 한국전자통신연구원 | 동영상 감정 학습용 데이터 생성 방법, 동영상 감정 판단 방법, 이를 이용하는 동영상 감정 판단 장치 |
GB2571956B (en) * | 2018-03-14 | 2022-04-27 | Sony Interactive Entertainment Inc | Head-mountable apparatus and methods |
US11146862B2 (en) * | 2019-04-16 | 2021-10-12 | Adobe Inc. | Generating tags for a digital video |
US11810357B2 (en) * | 2020-02-21 | 2023-11-07 | BetterUp, Inc. | Segmenting and generating conversation features for a multiparty conversation |
CN111770375B (zh) * | 2020-06-05 | 2022-08-23 | 百度在线网络技术(北京)有限公司 | 视频处理方法、装置、电子设备及存储介质 |
CN112597938B (zh) * | 2020-12-29 | 2023-06-02 | 杭州海康威视系统技术有限公司 | 一种表情检测方法、装置、电子设备及存储介质 |
US20230316759A1 (en) * | 2022-03-30 | 2023-10-05 | Motorola Mobility Llc | Monitoring system with image projection of content of subjective interest to a person |
CN114697568B (zh) * | 2022-04-07 | 2024-02-20 | 脸萌有限公司 | 特效视频确定方法、装置、电子设备及存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8634701B2 (en) * | 2009-12-04 | 2014-01-21 | Lg Electronics Inc. | Digital data reproducing apparatus and corresponding method for reproducing content based on user characteristics |
US9354763B2 (en) * | 2011-09-26 | 2016-05-31 | The University Of North Carolina At Charlotte | Multi-modal collaborative web-based video annotation system |
US20140181668A1 (en) * | 2012-12-20 | 2014-06-26 | International Business Machines Corporation | Visual summarization of video for quick understanding |
KR102091848B1 (ko) * | 2013-01-04 | 2020-03-20 | 삼성전자주식회사 | 전자 장치에서 사용자의 감정 정보를 제공하기 위한 장치 및 방법 |
US20140310598A1 (en) * | 2013-01-10 | 2014-10-16 | Okappi, Inc. | Multimedia Spiral Timeline |
KR102184272B1 (ko) * | 2014-06-25 | 2020-11-30 | 엘지전자 주식회사 | 글래스 타입 단말기 및 이의 제어방법 |
-
2015
- 2015-08-10 TW TW104125994A patent/TWI597980B/zh active
- 2015-12-28 US US14/979,572 patent/US20170047096A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
TW201707460A (zh) | 2017-02-16 |
US20170047096A1 (en) | 2017-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI597980B (zh) | 影音管理方法及其系統 | |
US12087086B2 (en) | Method for identifying, ordering, and presenting images according to expressions | |
JP4896838B2 (ja) | 撮像装置、画像検出装置及びプログラム | |
KR102091848B1 (ko) | 전자 장치에서 사용자의 감정 정보를 제공하기 위한 장치 및 방법 | |
TWI253860B (en) | Method for generating a slide show of an image | |
US20100086204A1 (en) | System and method for capturing an emotional characteristic of a user | |
US8331691B2 (en) | Image data processing apparatus and image data processing method | |
CN105302315A (zh) | 图片处理方法及装置 | |
KR20140114238A (ko) | 오디오와 결합된 이미지 표시 방법 | |
CN103620682A (zh) | 包括感兴趣的特征的视频摘要 | |
TW201203134A (en) | Facial expression capturing method and apparatus therewith | |
KR20090098505A (ko) | 상태 정보를 이용하여 미디어 신호를 생성하는 방법 및장치 | |
TW201602922A (zh) | 自動插入視頻成爲相片故事 | |
TWI556640B (zh) | 媒體檔案管理方法及系統、及電腦可讀媒體 | |
JP2015092646A (ja) | 情報処理装置、制御方法、およびプログラム | |
JP4968346B2 (ja) | 撮像装置、画像検出装置及びプログラム | |
US11163822B2 (en) | Emotional experience metadata on recorded images | |
US9201947B2 (en) | Methods and systems for media file management | |
JP6081788B2 (ja) | 動画像処理装置及び動画像処理方法 | |
JP7206741B2 (ja) | 健康状態判定システム、健康状態判定装置、サーバ、健康状態判定方法、及びプログラム | |
JP2010200079A (ja) | 撮影制御装置 | |
CN106454060A (zh) | 影音管理方法及其系统 | |
JP5550114B2 (ja) | 撮像装置 | |
JP6166070B2 (ja) | 再生装置および再生方法 | |
JP2015170941A (ja) | 画像音声処理装置、画像音声処理方法、およびプログラム |