TWI772564B - 具有運動感測器的耳機 - Google Patents

具有運動感測器的耳機 Download PDF

Info

Publication number
TWI772564B
TWI772564B TW107142162A TW107142162A TWI772564B TW I772564 B TWI772564 B TW I772564B TW 107142162 A TW107142162 A TW 107142162A TW 107142162 A TW107142162 A TW 107142162A TW I772564 B TWI772564 B TW I772564B
Authority
TW
Taiwan
Prior art keywords
data
processing unit
posture
transceiver
processor
Prior art date
Application number
TW107142162A
Other languages
English (en)
Other versions
TW202021372A (zh
Inventor
林孟葦
林貿鴻
林宏錡
陳聖
Original Assignee
美律實業股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美律實業股份有限公司 filed Critical 美律實業股份有限公司
Priority to TW107142162A priority Critical patent/TWI772564B/zh
Priority to CN201910169878.0A priority patent/CN109889941A/zh
Priority to US16/293,660 priority patent/US10783359B2/en
Publication of TW202021372A publication Critical patent/TW202021372A/zh
Application granted granted Critical
Publication of TWI772564B publication Critical patent/TWI772564B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4561—Evaluating static posture, e.g. undesirable back curvature
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B23/00—Exercising apparatus specially adapted for particular parts of the body
    • A63B23/02—Exercising apparatus specially adapted for particular parts of the body for the abdomen, the spinal column or the torso muscles related to shoulders (e.g. chest muscles)
    • A63B23/0244—Exercising apparatus specially adapted for particular parts of the body for the abdomen, the spinal column or the torso muscles related to shoulders (e.g. chest muscles) with signalling or indicating means, e.g. of incorrect posture, for deep-breathing exercises
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/001—Monitoring arrangements; Testing arrangements for loudspeakers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2208/00—Characteristics or parameters related to the user or player
    • A63B2208/02—Characteristics or parameters related to the user or player posture
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2230/00—Measuring physiological parameters of the user
    • A63B2230/62—Measuring physiological parameters of the user posture
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0446—Sensor means for detecting worn on the body to detect changes of posture, e.g. a fall, inclination, acceleration, gait
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0453—Sensor means for detecting worn on the body to detect health condition by physiological monitoring, e.g. electrocardiogram, temperature, breathing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1016—Earpieces of the intra-aural type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1025—Accumulators or arrangements for charging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/105—Earpiece supports, e.g. ear hooks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/03—Aspects of the reduction of energy consumption in hearing devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H04R5/0335—Earpiece support, e.g. headbands or neckrests

Abstract

提供一種耳機，包括揚聲器、運動感測器、收發器以及處理器。揚聲器播放音訊資料。運動感測器感測使用者的姿勢以產生第一感測資料。收發器與外部裝置進行資料傳輸。處理器耦接運動感測器以及收發器。處理器根據第一感測資料判斷姿勢是否正確以產生輸出結果，並且透過收發器發送輸出結果。

Description

具有運動感測器的耳機
本發明是有關於一種耳機，且特別是有關於一種具有運動感測器的耳機。
隨著科技進步，市面上出現了許多搭配有運動感測器的智慧型行動配件，諸如智慧型手環、智慧型手錶等。這些類型的配件係通過無線傳輸技術將運動感測器所感測到的資料發送至智慧型手機，再利用智慧型手機的應用程式對該些資料進行解析，從而產生分析結果。使用者可通過分析結果取得個人心律、運動步數等關聯於生理狀態和運動狀態的資訊。然而，進行無線傳輸將大量地消耗智慧型行動配件以及智慧型手機的電量，並且不良的連線品質也會使資料的分析延遲。
另一方面，對關聯於運動姿勢的感測資料進行分析時所使用的識別模型，其訓練過程往往需使用到大量的標籤資料。一般來說，標籤資料都是由人員根據自身對姿勢的判斷來對感測資料進行貼標而產生。以人工方式對資料進行貼標的效率不高。此外，不同的人員對相同姿勢的判斷標準並不相同，且長期的貼標 過程容易使人員疲累而導致判斷錯誤。基此，訓練模型時所使用的標籤資料中經常參雜了許多錯誤的標籤資料，進而導致模型的效能不彰。
為了改善使用具有感測器的耳機時需消耗大量電量的問題，並且克服不良的連線品質造成資料的分析延遲之問題，本發明提出一種耳機。
一種耳機，包括揚聲器、運動感測器、收發器以及處理器。揚聲器播放音訊資料。運動感測器感測使用者的姿勢以產生第一感測資料。收發器與外部裝置進行資料傳輸。處理器耦接運動感測器以及收發器。處理器根據第一感測資料判斷姿勢是否正確以產生輸出結果，並且透過收發器發送輸出結果。
一種耳機，包括揚聲器、運動感測器以及處理器。揚聲器播放音訊資料。運動感測器感測使用者的姿勢以產生第一感測資料。處理器包含資料處理單元及音訊處理單元，其中資料處理單元耦接於運動感測器與音訊處理單元之間。資料處理單元根據第一感測資料判斷姿勢是否正確以產生輸出結果，並且透過音訊處理單元，發送輸出結果至揚聲器播放。
基於上述，本發明的耳機不需要透過無線傳輸技術來將感測器所產生的原始資料發送至諸如智慧型手機等外部裝置。因此，可顯著地降低耳機及/或外部裝置所耗用的電量。
為了增加標籤資料的產生效率，並且改善所訓練之模型的識別的準確率(accuracy)，本發明提出一種產生標籤資料的系統和方法。
本發明提供一種產生標籤資料的系統，包括第一影像擷取裝置、第二影像擷取裝置、運動感測裝置以及第一處理器。第一影像擷取裝置感測使用者的姿勢以產生平面影像。第二影像擷取裝置感測使用者的姿勢以產生深度影像。運動感測裝置感測使用者的姿勢以產生運動資料。第一處理器耦接第一影像擷取裝置、第二影像擷取裝置以及運動感測裝置。第一處理器根據平面影像以及深度影像產生姿勢的識別結果，並且根據識別結果對運動資料進行貼標以產生標籤資料。
本發明提供一種產生標籤資料的方法，包括：感測使用者的姿勢以產生平面影像；感測使用者的姿勢以產生深度影像；感測使用者的姿勢以產生運動資料；以及根據平面影像以及深度影像產生姿勢的識別結果，並且根據識別結果對運動資料進行貼標以產生標籤資料。
基於上述，本發明的產生標籤資料的系統可自動化地對資料進行貼標，幫助使用者更快速地產生標籤資料，並且使用標籤資料所訓練出來的識別模型之識別的準確率也會獲得提升。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
10:耳機
100:主板
101:處理器
103:收發器
110、120:殼體
111:運動感測器
113、123:揚聲器
121:生理感測器
130:電源模組
140:麥克風與控制按鍵模組
30:產生標籤資料的系統
310:第一處理單元
320:第一影像擷取裝置
330:第二影像擷取裝置
340:運動感測裝置
350:雲端處理單元
40:產生標籤資料的方法
b:訊號
d1、d2:感測資料
d3:運動資料
i1:平面影像
i2:深度影像
im:識別模型
op:輸出結果
P1:資料處理單元
P2:音訊處理單元
S410、S420、S430、S440、S441、S442、S443、S450、S460:步驟
td:標籤資料
圖1根據本發明的實施例繪示一種耳機的示意圖。
圖2根據本發明的實施例繪示一種耳機的功能方塊圖。
圖3根據本發明的實施例繪示一種產生標籤資料的系統的示意圖。
圖4根據本發明的實施例繪示一種產生標籤資料的方法的流程圖。
圖5根據本發明的實施例更進一步地繪示產生標籤資料的方法的步驟的流程圖。
圖1根據本發明的實施例繪示一種耳機10的示意圖，圖2根據本發明的實施例繪示一種耳機10的功能方塊圖，請同時參照圖1及圖2。
耳機10可包括主板100、第一殼體110、第二殼體120、電源模組130以及麥克風與控制按鍵模組140。電源模組130用以提供耳機10之運行所需耗用的電量。麥克風與控制按鍵模組140可用以作為耳機10的輸入裝置，使用者可透過麥克風與控制按鍵模組140將聲音或控制指令發送至耳機10的處理器101。
主板100可例如是陶瓷基板、印刷電路板(printed circuit board，PCB)、有機基板或中介基板，本發明不限於此。在本實施 例中，主板100可包括處理器101以及收發器103。
處理器101可例如是中央處理單元(central processing unit，CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(microprocessor)、數位信號處理器(digital signal processor，DSP)、可程式化控制器、特殊應用積體電路(application specific integrated circuit，ASIC)或其他類似元件或上述元件的組合，本發明不限於此。
更具體來說，處理器101的內部可包括一或多個具有不同功能的處理單元。如圖2所示，處理器101可包括資料處理單元P1以及音訊處理單元P2，其中資料處理單元P1耦接於運動感測器111與音訊處理單元P2之間。資料處理單元P1可用以識別耳機10之使用者的姿勢，且音訊處理單元P2可用以執行音訊處理以及發送音訊資料至揚聲器113及/或揚聲器123。
收發器103耦接於處理器101的資料處理單元P1，並可以透過無線或有線的方式與處理器101或外部裝置進行資料傳輸。收發器103還可以執行例如低噪聲放大(low noise amplifying，LNA)、阻抗匹配、混頻、上下變頻轉換、濾波、放大以及類似的操作。
第一殼體110對應於耳機10之使用者的第一耳，並可設置運動感測器111以及揚聲器113。第二殼體120對應於耳機10之使用者的第二耳，並可設置生理感測器121以及揚聲器123。揚聲器113與揚聲器123分別耦接至處理器101的音訊處理單元P2。 音訊處理單元P2可發送訊號b至揚聲器113及/或揚聲器123，藉以透過揚聲器113及/或揚聲器123播放音訊資料。在一些實施例中，第一殼體110可設置運動感測器111及/或生理感測器121，並且第二殼體120可設置運動感測器111及/或生理感測器121，本發明不限於此。
運動感測器111耦接處理器101的資料處理單元P1，並可用以感測耳機10之使用者的姿勢以產生感測資料d1。運動感測器111可例如是電子羅盤、地磁感測器、陀螺儀、角速度感測器、加速度感測器、六軸感測器或九軸感測器，本發明不限於此。感測資料d1可例如是位移、加速度、角速度或磁力變化等關聯於人體之姿勢的動作姿態參數。
生理感測器121耦接處理器101的資料處理單元P1，並可用以感測耳機10之使用者的生理資訊以產生感測資料d2。生理感測器121可例如是心電感測器、聲音感測器、溫濕度感測器、汗液酸鹼度感測器或肌電感測器，本發明不限於此。感測資料d2可例如是心率值、呼吸率或過敏反應等關聯於人體之生理狀態的生理參數。
耳機10可具備一般模式及訓練模式。在一般模式中，耳機10可用以對使用者的姿勢進行辨識並產生用以判斷使用者之姿勢是否正確的輸出結果op，其中耳機10的收發器103不發送除了輸出結果op以外的任何資料。換言之，耳機10在一般模式中僅會耗費極小的電量。
另一方面，在訓練模式中，耳機10可利用使用者在運動時所產生的感測資料來訓練識別模型im。更具體來說，在訓練模式中，耳機10的資料處理單元P1可透過收發器103將感測資料d1及/或感測資料d2發送至外部裝置(例如：智慧型手機)。外部裝置可根據感測資料d1及/或感測資料d2來進行識別模型im的訓練。換言之，耳機10的訓練模式可產生關聯於使用者之姿勢或生理資訊的訓練資料。
在一般模式中，處理器101的資料處理單元P1可接收來自運動感測器111的感測資料d1，並且根據感測資料d1判斷耳機10之使用者的姿勢是否正確，藉以產生輸出結果op。輸出結果op可用以提示使用者其進行運動時的姿勢正確或不正確。
更具體來說，處理器101的資料處理單元P1可儲存(或預存)一或多個識別模型im。資料處理單元P1可根據識別模型im以及感測資料d1來判斷使用者的姿勢是否正確並產生輸出結果op。在一些實施例中，資料處理單元P1更可以根據識別模型im、感測資料d1以及感測資料d2來判斷使用者的姿勢是否正確並產生輸出結果op。
在產生輸出結果op後，資料處理單元P1可透過收發器103將輸出結果op輸出至外部裝置(例如：智慧型手機)。另一方面，資料處理單元P1也可將輸出結果op發送至音訊處理單元P2。音訊處理單元P2可對輸出結果op進行音訊處理(audio processing)以產生對應的訊號b，並將訊號b發送至揚聲器113以及揚聲器 123以進行播放。訊號b可以提示音的形式來提示耳機10之使用者其姿勢是否正確。在播放關聯於輸出結果op的訊號b時，若使用者正使用耳機10收聽音樂或廣播等其他音訊資料，則音訊處理單元P2可降低當前之音訊資料的聲量。據此，使用者可將對應於訊號b的提示音聽得更加清楚。
在一些實施例中，處理器101的資料處理單元P1可透過收發器103接收由使用者設定的鍛鍊菜單。例如，使用者可透過智慧型手機的應用設定鍛鍊菜單，並發送鍛鍊菜單至耳機10。處理器101的資料處理單元P1可根據感測資料d1、識別模型im以及鍛鍊菜單來判斷使用者的姿勢是否正確，藉以產生輸出結果op。鍛鍊菜單可包括鍛鍊種類、組數(set)或次數(rep)，但本發明不限於此。
在一些實施例中，除了使用預設於資料處理單元P1的識別模型im進行姿勢的識別外，耳機10還可以自外部裝置接收新的識別模型im。具體來說，處理器101的資料處理單元P1可透過收發器103接收更新訊息，其中更新訊息用以提示耳機10進行韌體的更新，且更新訊息可包括識別模型im的相關資訊。資料處理單元P1可響應於接收到的更新訊息而更新耳機10的韌體，藉以取得更新的或新增的識別模型im。
圖3根據本發明的實施例繪示一種產生標籤資料的系統30的示意圖。系統30可包括第一處理器310、第一影像擷取裝置320、第二影像擷取裝置330、運動感測裝置340以及雲端處理單 元350。系統30可用以根據一使用者的姿勢自動地產生對應該姿勢的標籤資料。雲端處理單元350可使用標籤資料訓練出對應於該使用者之姿勢的客製化識別模型，以更準確地識別出該使用者運動時的姿勢是否正確。
第一處理器310耦接第一影像擷取裝置320、第二影像擷取裝置330、運動感測裝置340以及雲端處理單元350。第一處理器310可例如是中央處理單元，或是其他可程式化之一般用途或特殊用途的微處理器、數位信號處理器、可程式化控制器、特殊應用積體電路或其他類似元件或上述元件的組合，本發明不限於此。
第一影像擷取裝置320可感測使用者的姿勢以產生對應該姿勢的平面影像i1。第二影像擷取裝置330可感測使用者的姿勢以產生對應該姿勢的深度影像i2。第一影像擷取裝置320及第二影像擷取裝置330可例如是相機、攝影機等，本發明不限於此。在一些實施例中，第一影像擷取裝置320可例如是紅綠藍攝影機，且第二影像擷取裝置330可例如是深度攝影機，本發明不限於此。
運動感測裝置340可感測使用者的姿勢以產生對應該姿勢的運動資料d3。運動感測裝置340可例如是六軸感測器或九軸感測器。在一些實施例中，運動感測裝置340可例如是如圖2所示的耳機10，並且該運動資料d3可例如是如圖2所示的感測資料d1，本發明不限於此。
雲端處理單元350耦接第一處理器310。雲端處理單元 350可例如是中央處理單元，或是其他可程式化之一般用途或特殊用途的微處理器、數位信號處理器、可程式化控制器、特殊應用積體電路或其他類似元件或上述元件的組合，本發明不限於此。
在本實施例中，當使用者進行運動時，第一處理器310可分別自第一影像擷取裝置320和第二影像擷取裝置330接收對應於該使用者之姿勢的平面影像i1和深度影像i2，並且自運動感測裝置340接收對應於該使用者之姿勢的運動資料d3。接著，第一處理器310可基於平面影像i1和深度影像i2而對使用者的姿勢進行識別(例如：透過預設的或所接收到的識別模型對使用者的姿勢進行識別)，從而產生對應於使用者姿勢的識別結果。在取得識別結果後，第一處理器310可根據識別結果對運動資料d3進行貼標以產生對應的標籤資料td，其中該標籤資料td為具有時間標籤的運動資料d3。
更具體來說，第一處理器310可先根據平面影像i1和深度影像i2偵測出運動中之使用者的一特定姿勢以及該特定姿勢的開始時間，並對運動資料d3進行貼標以將對應於開始時間的開始時間標籤與運動資料d3相關聯。接著，第一處理器310可根據平面影像i1和深度影像i2偵測出該特定姿勢的結束時間，並對運動資料d3進行貼標以將對應於結束時間的結束時間標籤與運動資料d3相關聯。在產生開始時間標籤和結束時間標籤後，第一處理器310可根據開始時間標籤和結束時間標籤而對開始時間至結束時間之間的時段中的運動資料d3進行貼標，使該時段中的運動資料 d3對應於該特定姿勢，亦即，將對應於該特定姿勢的姿勢標籤與該時段中的運動資料d3相關聯。在上述的步驟完成後，第一處理器310可產生標籤資料td，其中標籤資料td即為已完成貼標的運動資料d3。
在產生標籤資料td後，第一處理器310可將標籤資料td發送至雲端處理單元350。舉例來說，第一處理器310可透過一發送器將對應於一使用者的標籤資料td發送至雲端處理單元350。雲端處理單元350可基於標籤資料td訓練對應的識別模型im，其中該識別模型im用以辨識該使用者的姿勢是否正確。雲端處理單元350可將其所產生的新的或更新後的識別模型im發送至第一處理器310，使得第一處理器310可根據新的識別模型im來產生新的標籤資料。
另一方面，雲端處理單元350也可將所產生的識別模型im發送至運動感測裝置340。運動感測裝置340可根據所接收到的識別模型im來判斷使用者進行運動時的姿勢正確或不正確。具體來說，雲端處理單元350可響應於所產生的識別模型im而發送包括了識別模型im之資訊的更新訊息至運動感測裝置340，其中更新訊息用以提示運動感測裝置340進行韌體的更新。運動感測裝置340可自雲端處理單元350接收更新訊息，並且根據更新訊息來更新運動感測裝置340的韌體，藉以取得更新或新的識別模型im。
圖4根據本發明的實施例繪示一種產生標籤資料的方法 40的流程圖，其中方法40可由如圖3所示的系統30實施。在步驟S410，感測使用者的姿勢以產生平面影像。在步驟S420，感測使用者的姿勢以產生深度影像。在步驟S430，感測使用者的姿勢以產生運動資料。在步驟S440，根據平面影像以及深度影像產生姿勢的識別結果，並且根據識別結果對運動資料進行貼標以產生標籤資料。在步驟S450，根據標籤資料產生識別模型。在步驟S460，響應於產生識別模型而發送更新訊息，藉以提示運動感測裝置更新韌體。
圖5根據本發明的實施例更進一步地繪示產生標籤資料的方法40的步驟S440的流程圖。在步驟S441，根據平面影像以及深度影像偵測姿勢的開始時間。在步驟S442，根據平面影像以及深度影像偵測姿勢的結束時間。在步驟S443，對開始時間至結束時間之間的時段中的運動資料進行貼標，藉以使時段中的運動資料對應於姿勢。
綜上所述，本發明的耳機可在本地端進行姿勢的識別並產生判斷結果。耳機將不需要透過無線傳輸技術來將感測器所產生的原始資料發送至諸如智慧型手機等外部裝置。如此，可顯著地降低耳機及/或外部裝置所耗用的電量。此外，耳機可配置不同類型的感測器以分別產生不同種類的感測資料，進而使感測資料具有更多元的應用方式。另一方面，本發明的產生標籤資料的系統使用影像處理技術對使用者的運動姿勢進行識別，並且根據識別結果自動地對資料進行貼標。產生標籤資料的系統不需人力介 入標籤資料的產生過程。如此，該系統可以幫助使用者更快速地產生標籤資料，並且使用標籤資料所訓練出來的識別模型之識別的準確率也會獲得提升。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
10:耳機
100:主板
101:處理器
103:收發器
110、120:殼體
111:運動感測器
113、123:揚聲器
121:生理感測器
130:電源模組
140:麥克風與控制按鍵模組

Claims (11)

  1. 一種耳機，具有訓練模式以及一般模式，包括：揚聲器，播放音訊資料；運動感測器，感測使用者的姿勢以產生第一感測資料；收發器，與外部裝置進行資料傳輸；以及處理器，耦接該運動感測器以及該收發器，並儲存複數個識別模型，該處理器根據該第一感測資料以及該些識別模型判斷該姿勢是否正確以產生輸出結果，並且透過該收發器發送該輸出結果；以及在該訓練模式中，該處理器通過該收發器發送該第一感測資料至該外部裝置，其中該第一感測資料用以訓練該些識別模型，其中該輸出結果指示該姿勢正確或該姿勢不正確，其中在該一般模式中，該收發器不發送除了該輸出結果以外的任何資料。
  2. 如申請專利範圍第1項所述的耳機，更包括：生理感測器，耦接該處理器，該生理感測器感測該使用者的生理資訊以產生第二感測資料，其中該處理器根據該第一感測資料和該第二感測資料產生該輸出結果。
  3. 如申請專利範圍第2項所述的耳機，更包括：第一殼體，對應於該使用者的第一耳，其中該運動感測器設置於該第一殼體；以及第二殼體，對應於該使用者的第二耳，其中該生理感測器設 置於該第二殼體。
  4. 如申請專利範圍第2項所述的耳機，其中該第一感測資料是動作姿態參數，並且該第二感測資料是生理參數。
  5. 如申請專利範圍第1項所述的耳機，其中在產生該輸出結果後，該處理器降低當前播放的該音訊資料的聲量，並且發送關聯於該輸出結果的提示音至該揚聲器。
  6. 如申請專利範圍第1項所述的耳機，其中該處理器透過該收發器接收由應用所設定的鍛練菜單，並且根據該第一感測資料以及該鍛練菜單判斷該姿勢是否正確以產生該輸出結果，其中該鍛練菜單包括鍛練種類、組數以及次數中的至少其中之一。
  7. 如申請專利範圍第1項所述的耳機，其中該處理器響應於該收發器接收到更新訊息而更新韌體，藉以取得更新的該些識別模型。
  8. 一種耳機，具有訓練模式以及一般模式，包括：揚聲器，播放音訊資料；運動感測器，感測使用者的姿勢以產生第一感測資料；以及處理器，包含資料處理單元及音訊處理單元，並儲存複數個識別模型，該資料處理單元耦接於該運動感測器與該音訊處理單元之間；以及收發器，耦接該資料處理單元並通訊連接至外部裝置，其中該資料處理單元根據該第一感測資料以及該些識別模型判斷該姿勢是否正確以產生輸出結果，並且透過該音訊處理單元發送 該輸出結果至該揚聲器播放；以及在該訓練模式中，該資料處理單元透過該收發器來發送該第一感測資料至該外部裝置，其中該第一感測資料用以訓練該些識別模型，其中該輸出結果指示該姿勢正確或該姿勢不正確，其中在該一般模式中，該收發器不發送除了該輸出結果以外的任何資料。
  9. 如申請專利範圍第8項所述的耳機，其中該收發器與該外部裝置進行資料傳輸，該資料處理單元響應於該收發器接收到更新訊息而更新韌體，藉以取得更新的該些識別模型。
  10. 如申請專利範圍第8項所述的耳機，其中在該般模式中，在該資料處理單元產生該輸出結果後，該音訊處理單元發送關聯於該輸出結果的提示音至該揚聲器。
  11. 如申請專利範圍第10項所述的耳機，其中該資料處理單元在該一般模式下產生該輸出結果後，該音訊處理單元將降低當前播放的該音訊資料的聲量，並且發送關聯於該輸出結果的該提示音至該揚聲器。
TW107142162A 2018-11-27 2018-11-27 具有運動感測器的耳機 TWI772564B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW107142162A TWI772564B (zh) 2018-11-27 2018-11-27 具有運動感測器的耳機
CN201910169878.0A CN109889941A (zh) 2018-11-27 2019-03-06 耳机
US16/293,660 US10783359B2 (en) 2018-11-27 2019-03-06 Headset with motion sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107142162A TWI772564B (zh) 2018-11-27 2018-11-27 具有運動感測器的耳機

Publications (2)

Publication Number Publication Date
TW202021372A TW202021372A (zh) 2020-06-01
TWI772564B true TWI772564B (zh) 2022-08-01

Family

ID=66931008

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107142162A TWI772564B (zh) 2018-11-27 2018-11-27 具有運動感測器的耳機

Country Status (3)

Country Link
US (1) US10783359B2 (zh)
CN (1) CN109889941A (zh)
TW (1) TWI772564B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD919593S1 (en) * 2019-09-11 2021-05-18 Bose Corporation Set of headphones
CN110680294A (zh) * 2019-11-05 2020-01-14 深圳市傲威奇科技有限公司 数据处理方法、装置、音箱和存储介质
USD951904S1 (en) * 2020-04-20 2022-05-17 Black & Decker Inc. Head phone
CN111800693A (zh) * 2020-06-30 2020-10-20 韶关市启之信息技术有限公司 一种基于蓝牙耳机的运动姿态判断方法与系统
USD964315S1 (en) * 2020-07-03 2022-09-20 Epos Group A/S Headset
USD1008214S1 (en) * 2022-08-04 2023-12-19 Minuendo As Ear plugs

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN205247579U (zh) * 2015-11-30 2016-05-18 吴松林 一种智慧型姿势矫正耳机
CN105744420A (zh) * 2016-03-23 2016-07-06 惠州Tcl移动通信有限公司 智能运动耳机及智能运动系统
CN107005764A (zh) * 2014-11-21 2017-08-01 三星电子株式会社 具有活动控制输出的耳机
CN107493531A (zh) * 2017-08-04 2017-12-19 歌尔科技有限公司 一种头部姿态检测方法、装置和耳机
CN107580268A (zh) * 2017-08-04 2018-01-12 歌尔科技有限公司 一种头部姿态检测方法、装置和耳机

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6209011B1 (en) * 1997-05-08 2001-03-27 Microsoft Corporation Handheld computing device with external notification system
US8655004B2 (en) * 2007-10-16 2014-02-18 Apple Inc. Sports monitoring system for headphones, earbuds and/or headsets
US8428758B2 (en) * 2009-02-16 2013-04-23 Apple Inc. Dynamic audio ducking
CN102006528B (zh) * 2009-08-31 2014-01-08 幻音科技(深圳)有限公司 耳机装置
US9128521B2 (en) * 2011-07-13 2015-09-08 Lumo Bodytech, Inc. System and method of biomechanical posture detection and feedback including sensor normalization
US10798487B2 (en) * 2014-01-24 2020-10-06 Bragi GmbH Multifunctional earphone system for sports activities
DE102014100824A1 (de) * 2014-01-24 2015-07-30 Nikolaj Hviid Eigenständiger Multifunktionskopfhörer für sportliche Aktivitäten
US20170325718A1 (en) * 2016-05-12 2017-11-16 Bragi GmbH Neuropathic Diagnosis and Monitoring Using Earpiece Device, System, and Method
US10121258B2 (en) * 2016-07-01 2018-11-06 Intel IP Corporation Posture system for mobile devices
JP2018097160A (ja) * 2016-12-14 2018-06-21 セイコーエプソン株式会社 表示システム、表示装置、及び、表示装置の制御方法
CN206370930U (zh) * 2016-12-16 2017-08-01 佳禾智能科技股份有限公司 一种用于运动监测的智能耳机
US10277973B2 (en) * 2017-03-31 2019-04-30 Apple Inc. Wireless ear bud system with pose detection
US11074036B2 (en) * 2017-05-05 2021-07-27 Nokia Technologies Oy Metadata-free audio-object interactions
US20190380597A1 (en) * 2018-06-15 2019-12-19 Newton Howard Device for monitoring activities of daily living and physiological parameters to determine a condition and diagnosis of the human brain and body

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107005764A (zh) * 2014-11-21 2017-08-01 三星电子株式会社 具有活动控制输出的耳机
CN205247579U (zh) * 2015-11-30 2016-05-18 吴松林 一种智慧型姿势矫正耳机
CN105744420A (zh) * 2016-03-23 2016-07-06 惠州Tcl移动通信有限公司 智能运动耳机及智能运动系统
CN107493531A (zh) * 2017-08-04 2017-12-19 歌尔科技有限公司 一种头部姿态检测方法、装置和耳机
CN107580268A (zh) * 2017-08-04 2018-01-12 歌尔科技有限公司 一种头部姿态检测方法、装置和耳机

Also Published As

Publication number Publication date
TW202021372A (zh) 2020-06-01
CN109889941A (zh) 2019-06-14
US20200169802A1 (en) 2020-05-28
US10783359B2 (en) 2020-09-22

Similar Documents

Publication Publication Date Title
TWI772564B (zh) 具有運動感測器的耳機
CN107509153B (zh) 声音播放器件的检测方法、装置、存储介质及终端
CN108710615B (zh) 翻译方法及相关设备
WO2019062242A1 (zh) 无线耳机及无线耳机的控制方法
WO2020191582A1 (zh) 具有嵌入式无线耳机的智能手表及信息播报方法
JP2018195334A (ja) 情報処理装置及び情報処理システム
CN105138319B (zh) 事件提醒方法及装置
CN108008858B (zh) 一种终端控制方法和移动终端
CN107886969B (zh) 一种音频播放方法及音频播放装置
US20220239269A1 (en) Electronic device controlled based on sound data and method for controlling electronic device based on sound data
CN103873798A (zh) 智能电视的声音播放方法和装置
CN108564943A (zh) 语音交互方法及系统
CN105514726B (zh) 耳机插座组件和移动终端
CN109067965B (zh) 翻译方法、翻译装置、可穿戴装置及存储介质
CN107396275B (zh) 一种振幅检测装置、方法及移动终端
CN108574778A (zh) 投屏亮度调节方法以及相关产品
WO2018082227A1 (zh) 终端和宠物姿态检测方法和装置
CN108563551A (zh) 一种告警方法、柔性屏终端及计算机可读存储介质
CN112150778A (zh) 环境音处理方法及相关装置
CN111010608A (zh) 视频播放的方法及电子设备
US20210373596A1 (en) Voice-enabled external smart processing system with display
CN108430004B (zh) 一种扬声器振幅调节装置、调节方法及移动终端
TWI707249B (zh) 產生標籤資料的系統及方法
CN107734153A (zh) 一种通话控制方法、终端及计算机可读存储介质
CN207531028U (zh) 一种蓝牙耳机