TW201724084A - 一種基於環境的嬰語解讀方法與系統 - Google Patents

一種基於環境的嬰語解讀方法與系統 Download PDF

Info

Publication number
TW201724084A
TW201724084A TW105102069A TW105102069A TW201724084A TW 201724084 A TW201724084 A TW 201724084A TW 105102069 A TW105102069 A TW 105102069A TW 105102069 A TW105102069 A TW 105102069A TW 201724084 A TW201724084 A TW 201724084A
Authority
TW
Taiwan
Prior art keywords
baby
information
language
environment
environmental
Prior art date
Application number
TW105102069A
Other languages
English (en)
Inventor
張玉
Original Assignee
鴻海精密工業股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 鴻海精密工業股份有限公司 filed Critical 鴻海精密工業股份有限公司
Publication of TW201724084A publication Critical patent/TW201724084A/zh

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/55—Rule-based translation
    • G06F40/56—Natural language generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
    • G06V30/274—Syntactic or semantic context, e.g. balancing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Machine Translation (AREA)

Abstract

本發明涉及一種基於環境的嬰語解讀方法與系統。該方法包括步驟：接收嬰兒所發出的嬰語資訊；採集嬰兒發出該嬰語時嬰兒周邊環境的環境資訊；識別所接收到的嬰語資訊並用一嬰語關鍵字標記該採集到的嬰語資訊；識別所採集到的環境資訊並用一環境關鍵字標記與該採集到的環境資訊；比對上述所得到的嬰語資訊、環境資訊與一預設的關係表中所記錄的資訊；根據比對結果將所收集到的嬰語資訊轉換為一用成人語言表達的語義資訊；及將所得到的用成人語言表達的語義資訊呈現給使用者。

Description

一種基於環境的嬰語解讀方法與系統
本發明涉及語音辨識技術領域，具體涉及一種基於環境的嬰語解讀方法與系統。
說話前的嬰兒都是通過聲音或啼哭來傳遞他們的感情及需要。但初為父母的年輕人由於缺乏經驗，往往不能準確“聽懂”嬰兒的嬰語，不能瞭解嬰兒的需要。如此，易造成對嬰兒的護理或照料不周，甚至造成誤解，不利於嬰兒的健康成長。
因此，有必要對嬰兒的嬰語進行解讀，以便能幫助父母或看護人尤其是年輕的媽媽對嬰兒的嬰語進行正確的解讀。
本發明的目的在於提供一種基於環境的嬰語解讀方法與系統，以幫助父母或看護人判斷嬰兒的需要，更好地護理及照顧嬰兒。
為達到上述目的，本發明所提供的基於環境的嬰語解讀方法，包括步驟：接收嬰兒所發出的嬰語資訊；採集嬰兒發出該嬰語時嬰兒周邊環境的環境資訊；識別所接收到的嬰語資訊並用一嬰語關鍵字標記該採集到的嬰語資訊；識別所採集到的環境資訊並用一環境關鍵字標記與該採集到的環境資訊；比對上述所得到的嬰語資訊、環境資訊與一預設的關係表中所記錄的資訊，其中，該關係表所記錄的資訊包括嬰語資訊、嬰兒所在環境資訊及用成人語言表達的語義資訊，該關係表定義了嬰語資訊、嬰兒發出該嬰語時所在的一環境資訊及用成人語言表達的語義資訊之間的對應關係；根據比對結果將所收集到的嬰語資訊轉換為一用成人語言表達的語義資訊；及將所得到的用成人語言表達的語義資訊呈現給使用者。
本發明所提供的基於環境的嬰語解讀系統，適用於一電子裝置，該電子裝置包括一語音接收單元及一環境採集單元；所述語音接收單元，用於接收嬰兒所發出的嬰語資訊；所述環境採集單元，用於採集嬰兒發出該嬰語時嬰兒周邊環境的環境資訊。該系統包括：聲音識別模組，用於識別所接收到的嬰語資訊並用一嬰語關鍵字標記該採集到的嬰語資訊；環境識別模組，用於識別所採集到的環境資訊並用一環境關鍵字標記與該採集到的環境資訊；解讀模組，用於比對上述所得到的嬰語資訊、環境資訊與一預設的關係表中所記錄的資訊，及根據比對結果將所收集到的嬰語資訊轉換為一用成人語言表達的語義資訊，其中，該關係表所記錄的資訊包括嬰語資訊、嬰兒所在環境資訊及用成人語言表達的語義資訊，該關係表定義了嬰語資訊、嬰兒發出該嬰語時所在的一環境資訊及用成人語言表達的語義資訊之間的對應關係；及顯示模組，用於將所得到的用成人語言表達的語義資訊呈現給使用者。
相對於現有技術，本發明所提供的基於環境的嬰語解讀方法、系統與裝置，可根據嬰兒所處的環境及發出的嬰語，將該嬰語解讀為父母或看護人能明白的語言，以使得嬰兒的需要能及時地得到滿足。
圖1為本發明一實施方式中的基於環境的嬰語解讀系統所運行的硬體環境的示意圖。
圖2為圖1中基於環境的嬰語解讀系統的功能模組示意圖。
圖3為本發明一實施方式中基於環境的嬰語解讀方法的步驟流程圖。
圖4為本發明一實施方式中所存儲的關係表的示意圖。
圖5為本發明另一實施方式中所存儲的關係表的示意圖。
如圖1所示，其示出了本發明一實施方式中的基於環境的嬰語解讀系統10所運行的硬體環境的示意圖。在本實施方式中，該基於環境的嬰語解讀系統10安裝並運行於一電子設備20中。該電子設備20可以是手機，平板電腦、筆記型電腦、電腦或伺服器等。所述電子設備20還包括，但不限於，輸入輸出單元21、記憶體22、控制器23、聲音接收單元24、圖像採集單元25及一環境採集單元26。
所述聲音接收單元24接收嬰兒所發出的語音資訊（以下簡稱嬰語）。所述聲音接收單元24還接收來自嬰兒發出該嬰語時所處環境的聲音資訊。其中，該聲音接收單元24為一錄音麥克風。
圖像採集單元25採集嬰兒發出該嬰語時嬰兒周邊環境的圖像。在本實施方式中，該周邊是指以嬰兒所在的位置為中心且以到該中心的距離為一預設值如2m的地方為邊界的一個區域。該圖像採集單元25還採集嬰兒的圖像。該嬰兒圖像包括嬰兒的面部表情圖像如嬰兒皺眉時的圖像，或嬰兒的肢體動作圖像如嬰兒翻身時的圖像等。在下文中，為了便於描述，將嬰兒面部表情的圖像與嬰兒肢體動作的圖像所表達的資訊統一稱為“嬰兒身體語言資訊”。該圖像採集單元25為一攝像頭。
輸入輸出單元21回應使用者（嬰兒的看護人或父母等）的輸入操作而生成相應的輸入命令，或向使用者顯示圖像或內容資訊。例如，回應使用者的一輸入操作生成採集語音資訊或圖像的命令，或向使用者播放聲音接收單元24所採集到的嬰兒的嬰語資訊，或顯示圖像採集單元25所獲取的嬰兒的圖像，及播放嬰兒所發出的嬰語被解讀後所得到的用成人語言進行表達的語義資訊。在本實施方式中，所述輸入輸出單元21為一具有輸入輸出功能的觸控式螢幕。在另一實施方式中，所述輸入輸出單元21包括鍵盤、觸控板等輸入單元及顯示幕等輸出單元。
所述記憶體22可以是電子設備20本身的記憶體，也可以是安全數位卡、智慧媒體卡、快閃記憶體卡等外部存放裝置，用於存儲所述基於環境的嬰語解讀系統10的程式碼及其他資料。
所述基於環境的嬰語解讀系統10通過利用聲音接收單元24接收嬰兒所發出的嬰語資訊及利用圖像採集單元25採集嬰兒發出該嬰語時周邊環境的圖像，並對聲音接收單元24所接收到的嬰語資訊進行識別並用一嬰語關鍵字標記該採集到的嬰語資訊，及對圖像採集單元25所採集到的環境圖像進行識別並用一環境關鍵字標記與該採集到的環境圖像相對應的環境。該基於環境的嬰語解讀系統10還將該識別到的嬰語關鍵字、環境關鍵字與一預設的關係表中所記錄的資訊進行對比；並根據比對結果將所收集到的嬰語資訊轉換為一用成人語言表達的語義資訊；及將所得到的用成人語言表達的語義資訊呈現給使用者。如此，基於環境的嬰語解讀系統10可根據嬰兒所處的環境及發出的嬰語，將該嬰語解讀為父母或看護人能明白的語言，以使得嬰兒的需要能及時地得到滿足。
請參見圖2，其示出了本發明一實施方式中的基於環境的嬰語解讀系統10的功能模組示意圖。該基於環境的嬰語解讀系統10包括創建模組11、命令識別模組12、聲音識別模組13、圖像識別模組14、解讀模組15及顯示模組16。本發明所稱的模組是指一種能夠被電子設備20的控制器23所執行並且能夠完成特定功能的一系列程式命令段或固化於控制器23中的固件。關於各模組的功能將在圖3所示的流程圖中具體描述。
如圖3所示，是本發明一實施方式中的基於環境的嬰語解讀方法的步驟流程圖。根據具體的情況，該流程圖步驟的順序可以改變，某些步驟可以省略。
步驟301：創建模組11回應使用者的操作而創建一解讀嬰語用的關係表並將所創建的關係表存儲在記憶體22內。
具體請參見圖4，在本實施方式中，該關係表所記錄的資訊包括嬰語資訊、嬰兒所在環境資訊及用成人語言表達的語義資訊。該關係表定義了嬰語資訊、嬰兒發出該嬰語時所在的一環境資訊及用成人語言表達的語義資訊之間的對應關係。該基於環境的嬰語解讀系統10將聲音頻率及響度小於一預設值的聲音認定為嬰兒語音，且從嬰兒語音中識別出嬰語資訊。每一嬰語資訊用於一嬰語關鍵字進行表示，如啊、哦、哼唧哼唧、哭、大叫、尖叫等；嬰兒所在環境資訊包括環境的圖像資訊及環境的聲音資訊。基於環境的嬰語解讀系統10通過感知光線的強弱來判斷當前的環境是白天還是夜晚，通過圖像識別來識別出嬰兒周圍的人或物體等，從中識別出圖像資訊。該每一環境的圖像資訊用一圖像關鍵字進行表示，例如白天、黑夜、玩具、人、動物等；該基於環境的嬰語解讀系統10通過將環境聲音的分貝值小於一預設值時的環境認定為安靜，大於一預設值時的環境認定為嘈雜，且從中識別出聲音資訊。該每一環境的聲音資訊用一環境聲音關鍵字進行表示，如嘈雜、安靜、東西跌落的聲音等；用成人語言表達的語義資訊包括，但不限於，如，請和我說話交流、我要睡覺、我要吃東西、我要人陪伴、我喜歡這個、我不喜歡這個等。該對應關係為：例如當嬰兒有節奏地發出“啊……”的聲音，且當時的環境是安靜的時，此時，該嬰兒的“啊……”所表達的意思是“請和我說話”。當嬰兒突然尖叫，且周邊環境比較操作時，此時，該嬰兒的尖叫聲所表達的意思是“這太吵了”。
請參見表5，在另一實施方式中，該關係表所記錄的資訊還包括有嬰兒身體語言資訊，該關係表還定義了嬰語資訊、嬰兒身體語言資訊、嬰兒發出該嬰語時所在的一環境資訊及用成人語言表達的語義資訊之間的對應關係。該嬰兒身體語言資訊用一身體語言關鍵字進行表示，如抓，坐，翻身，丟、拍手等。該關係可為：例如當嬰兒發出有節奏的“啊……”聲時，且嬰兒的手在不停的動來動去，周邊的環境是有玩具在，此時嬰兒的“啊……”聲所表達的意思是“我要玩玩具”。當嬰兒發出有節奏的“哦……”聲時，且嬰兒的手在不停的抓，嬰兒周邊又有狗，此時，嬰兒的“哦……”聲所表達的意思是“我要抓這個狗”。
在其他實施方式中，使用者所創建的關係表所包含的資訊內容可根據使用者的需要進行設置。且各資訊可通過資料庫進行存儲，如構建一嬰語資料庫、一身體語言資料庫、一環境資料庫、一用成人語言表達的語義資訊資料庫、及一關聯式資料庫。該關聯式資料庫建立上述嬰語資料庫、身體語言資料庫、環境資料庫及一用成人語言表達的語義資訊資料庫之間的關聯關係。
步驟302：命令識別模組12是否識別到使用者通過輸入輸出單元21輸入了採集嬰兒語音資訊及嬰兒周邊環境的環境資訊的命令；若是，則進入步驟303；若否，則重複步驟302。
在本實施方式中，使用者可通過觸摸觸控式螢幕上的所顯示的一圖示或按鈕來觸發採集嬰兒的語音資訊及嬰兒所在環境的環境資訊的命令。在另一實施方式中，使用者可通過觸摸觸控式螢幕上的所顯示的一圖示或按鈕來觸發採集嬰兒的語音資訊，觸摸另一圖示或按鈕來觸發採集嬰兒所在環境的環境資訊的命令。
步驟303: 聲音接收單元24接收嬰兒所發出的嬰語資訊，聲音識別模組13識別聲音接收單元24所接收到的嬰語資訊並用一嬰語關鍵字標記該採集到的嬰語資訊。
在另一實施方式中，所述聲音接收單元24還接收來自嬰兒發出該嬰語資訊時周邊環境的聲音資訊。聲音識別模組13識別聲音接收單元24所接收到的環境聲音資訊並用一環境關鍵字標記該採集到的環境的聲音資訊，如安靜、嘈雜或東西跌落時“砰地一聲”等。其中，該安靜是指環境的噪音分貝低於一預設的分貝值，嘈雜為環境的噪音分貝高於一預設的分貝值。
步驟304：環境採集單元26採集嬰兒發出該嬰語時嬰兒周邊環境的環境資訊，環境識別模組17識別環境資訊採集單元26所採集到的環境資訊並用一環境關鍵字標記與該採集到的環境資訊。
在本實施方式中，該環境資訊包括該環境的圖像所表達的資訊及環境的聲音所表達的資訊。即，該環境採集單元26包括圖像採集單元25與聲音接收單元24。環境識別模組17包括圖像識別模組14與聲音識別模組13。
具體的，圖像採集單元25採集嬰兒發出該嬰語時所處環境的圖像，圖像識別模組14識別圖像採集單元25所採集到的環境圖像並用一環境關鍵字標記與該採集到的環境圖像所表達的環境資訊。聲音接收單元24接收嬰兒嬰兒發出該嬰語時所處環境的聲音資訊，聲音識別模組13識別所接收到的環境聲音資訊並用一環境關鍵字標記該採集到環境聲音所表達的環境資訊。
在另一實施方式中，圖像採集單元25不僅採集上述環境圖像，還採集嬰兒發出該嬰語資訊時的圖像，圖像識別模組14識別圖像採集單元25所採集到的嬰兒的圖像，並用一嬰兒身體語言關鍵字標記該與嬰兒圖像相對應的嬰兒身體語言資訊。例如，在該圖像中，嬰兒的眼睛上有淚水，圖像識別模組14用關鍵字“哭”來標記該嬰兒此時的身體語言。
步驟305：解讀模組15比對聲音識別模組13所得到的嬰語資訊、環境識別模組17所得到的環境資訊與所述關係表中所記錄的資訊，並根據該比對結果將聲音接收單元24所收集到的嬰語資訊轉換為一用成人語言表達的語義資訊。
具體的，解讀模組15是通過比較聲音識別模組13所得到的嬰語關鍵字、圖像識別模組14所得到的環境關鍵字與所述關係表中所記錄的嬰語關鍵字及環境關鍵字來確定該嬰語資訊所對應的用成人語言表達的語義資訊。
在另一實施方式中，解讀模組15不僅比對上述嬰語資訊、環境資訊，還比對圖像識別模組14所得到的嬰兒身體語言資訊與關係表中所記錄的嬰兒身體語言資訊，並根據該身體語言資訊的比對結果將聲音接收單元24所收集到的嬰語資訊轉換為一用成人語言表達的語義資訊。
步驟306，顯示模組16控制將解讀模組15所得到的用成人語言表達的語義資訊呈現給使用者。
在一實施方式中，顯示模組16將所述成人語言的語義資訊以語音資訊的方式呈現給使用者。在另一實施方式中，顯示模組16將所述成人語言的語義資訊以文字資訊的方式呈現給使用者。
本發明所提供的基於環境的嬰語解讀方法，通過利用聲音接收設備來採集嬰兒所發出的聲音及其周圍環境的聲音，再利用圖像獲取單元來獲取嬰兒的圖像及其周圍環境的圖示，然後對所收集到的聲音及圖形分別進行識別處理，並將所識別出的聲音資訊、圖像資訊與預設的資料庫中的資訊進行比較，及根據該比較結果找到與上述資訊相對應的該嬰兒的成人用語；最後，再把該成人用語通過語音或文字的方式顯示給使用者。如此，以方便用戶能更好的理解嬰兒發出該嬰語時的需要，並給嬰兒提供更好的照顧與看護。
本技術領域的普通技術人員應當認識到，以上的實施方式僅是用來說明本發明，而並非用作為對本發明的限定，只要在本發明的實質精神範圍之內，對以上實施例所作的適當改變和變化都落在本發明要求保護的範圍之內。
10‧‧‧基於環境的嬰語解讀系統
11‧‧‧創建模組
12‧‧‧命令識別模組
13‧‧‧聲音識別模組
14‧‧‧圖像識別模組
15‧‧‧解讀模組
16‧‧‧顯示模組
17‧‧‧環境識別模組
20‧‧‧電子設備
21‧‧‧輸入輸出單元
22‧‧‧記憶體
23‧‧‧控制器
24‧‧‧聲音接收單元
25‧‧‧圖像採集單元
26‧‧‧環境採集單元
301~306‧‧‧步驟
無
301~306‧‧‧步驟

Claims (13)

  1. 一種基於環境的嬰語解讀方法，其改良在於，該方法包括步驟：
    接收嬰兒所發出的嬰語資訊；
    採集嬰兒發出該嬰語時嬰兒周邊環境的環境資訊
    識別所接收到的嬰語資訊並用一嬰語關鍵字標記該採集到的嬰語資訊；
    識別所採集到的環境資訊並用一環境關鍵字標記與該採集到的環境資訊；
    比對上述所得到的嬰語資訊、環境資訊與一預設的關係表中所記錄的資訊，其中，該關係表所記錄的資訊包括嬰語資訊、嬰兒所在環境資訊及用成人語言表達的語義資訊，該關係表定義了嬰語資訊、嬰兒發出該嬰語時所在的一環境資訊及用成人語言表達的語義資訊之間的對應關係；
    根據比對結果將所收集到的嬰語資訊轉換為一用成人語言表達的語義資訊；及
    將所得到的用成人語言表達的語義資訊呈現給使用者。
  2. 如申請專利範圍第1項所述之方法，其中，所述關係表中所記錄的資訊還包括嬰兒身體語言資訊；該關係表還定義了嬰語資訊、嬰兒身體語言資訊、嬰兒發出該嬰語時所在的一環境資訊及用成人語言表達的語義資訊之間的對應關係。
  3. 如申請專利範圍第2項所述之方法，其中，該方法還包括步驟：
    採集嬰兒發出該嬰語資訊時的嬰兒圖像；
    識別該採集到的嬰兒圖像並用一嬰兒身體語言關鍵字標記該採集到的嬰兒圖像所對應的嬰兒身體語言資訊；
    比對上述所得到的嬰兒身體語言資訊與所述關係表中所定義的對應關係；及
    根據該嬰兒身體語言資訊的比對結果將所收集到的嬰語資訊轉換為一用成人語言表達的語義資訊。
  4. 如申請專利範圍第1或2項所述之方法，其中，該方法還包括步驟：
    回應用戶的操作創建所預設的關係表。
  5. 如申請專利範圍第1-3任一項所述之方法，其中，所述環境資訊包括該環境的圖像所表達的資訊或/和環境的聲音所表達的資訊，步驟“採集嬰兒發出該嬰語時嬰兒周邊環境的環境資訊”具體為：
    採集嬰兒發出該嬰語時所處環境的圖像或/和環境的聲音。
  6. 如申請專利範圍第5項所述之方法，其中，步驟“識別所採集到的環境資訊並用一環境關鍵字標記與該採集到的環境資訊相對應的環境資訊”具體為：
    識別所採集到的環境的圖像或/和環境的聲音並用環境關鍵字標記該採集到的環境的圖像或/和環境的聲音所表達的環境資訊。
  7. 如申請專利範圍第1項所述之方法，其中，還包括步驟：
    將所述成人語言的語義資訊以語音資訊或文字資訊的方式呈現給使用者。
  8. 一種基於環境的嬰語解讀系統，運行於一電子裝置，該電子裝置包括一語音接收單元及一環境採集單元；所述語音接收單元，用於接收嬰兒所發出的嬰語資訊；所述環境採集單元，用於採集嬰兒發出該嬰語時嬰兒周邊環境的環境資訊；其改良在於，該系統包括：
    聲音識別模組，用於識別所接收到的嬰語資訊並用一嬰語關鍵字標記該採集到的嬰語資訊；
    環境識別模組，用於識別所採集到的環境資訊並用一環境關鍵字標記與該採集到的環境資訊；
    解讀模組，用於比對上述所得到的嬰語資訊、環境資訊與一預設的關係表中所記錄的資訊，及根據比對結果將所收集到的嬰語資訊轉換為一用成人語言表達的語義資訊，其中，該關係表所記錄的資訊包括嬰語資訊、嬰兒所在環境資訊及用成人語言表達的語義資訊，該關係表定義了嬰語資訊、嬰兒發出該嬰語時所在的一環境資訊及用成人語言表達的語義資訊之間的對應關係；及
    顯示模組，用於將所得到的用成人語言表達的語義資訊呈現給使用者。
  9. 如申請專利範圍第8項所述之系統，其中，所述關係表中所記錄的資訊還包括嬰兒身體語言資訊；該關係表還定義了嬰語資訊、嬰兒身體語言資訊、嬰兒發出該嬰語時所在的一環境資訊及用成人語言表達的語義資訊之間的對應關係。
  10. 如申請專利範圍第9項所述之系統，其中，所述電子裝置包括一圖像採集單元，所述系統包括一圖形識別模組；
    所述圖像採集單元，還用於採集嬰兒發出該嬰語資訊時的嬰兒圖像；
    所述圖像識別模組，還用於識別該採集到的嬰兒圖像並用一嬰兒身體語言關鍵字標記該採集到的嬰兒圖像所對應的嬰兒身體語言資訊；
    所述解讀模組，還用於比對上述所得到的嬰兒身體語言資訊與所述關係表中所定義的嬰兒身體語言資訊，及根據該身體語言資訊的比對結果將所收集到的嬰語資訊轉換為一用成人語言表達的語義資訊。
  11. 如申請專利範圍第9項所述之系統，其中，所述環境資訊包括該環境的圖像所表達的資訊或/和環境的聲音所表達的資訊。
  12. 如申請專利範圍第11項所述之系統，其中，所述環境資訊採集單元採集嬰兒發出該嬰語時所處環境的圖像或/和接收嬰兒發出該嬰語時所處環境的聲音資訊。
  13. 如申請專利範圍第12項所述之系統，其中，所述環境識別模組識別所採集到的環境圖像並用一環境關鍵字標記該採集到圖像所表達的環境資訊，或/和識別所接收到的環境聲音資訊並用一環境關鍵字標記該採集到環境聲音所表達的環境資訊。
TW105102069A 2015-11-27 2016-01-22 一種基於環境的嬰語解讀方法與系統 TW201724084A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510839891.4A CN106816150A (zh) 2015-11-27 2015-11-27 一种基于环境的婴语解读方法与系统

Publications (1)

Publication Number Publication Date
TW201724084A true TW201724084A (zh) 2017-07-01

Family

ID=58778027

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105102069A TW201724084A (zh) 2015-11-27 2016-01-22 一種基於環境的嬰語解讀方法與系統

Country Status (3)

Country Link
US (1) US20170154630A1 (zh)
CN (1) CN106816150A (zh)
TW (1) TW201724084A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107945803A (zh) * 2017-11-28 2018-04-20 上海与德科技有限公司 一种机器人的辅助学习方法和机器人
CN108806723B (zh) * 2018-05-21 2021-08-17 深圳市沃特沃德股份有限公司 婴儿语音识别方法及装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6529809B1 (en) * 1997-02-06 2003-03-04 Automotive Technologies International, Inc. Method of developing a system for identifying the presence and orientation of an object in a vehicle
US8244542B2 (en) * 2004-07-01 2012-08-14 Emc Corporation Video surveillance
US8938390B2 (en) * 2007-01-23 2015-01-20 Lena Foundation System and method for expressive language and developmental disorder assessment
US9355651B2 (en) * 2004-09-16 2016-05-31 Lena Foundation System and method for expressive language, developmental disorder, and emotion assessment
US7697891B2 (en) * 2005-03-28 2010-04-13 Graco Children's Products Inc. Baby monitor system
WO2007118180A2 (en) * 2006-04-05 2007-10-18 Graco Children's Products Inc. Video baby monitor system
KR100699050B1 (ko) * 2006-06-30 2007-03-28 삼성전자주식회사 문자정보를 음성정보로 출력하는 이동통신 단말기 및 그방법
EP2126901B1 (en) * 2007-01-23 2015-07-01 Infoture, Inc. System for analysis of speech
US9934427B2 (en) * 2010-09-23 2018-04-03 Stryker Corporation Video monitoring system
US8818626B2 (en) * 2012-06-21 2014-08-26 Visteon Global Technologies, Inc. Mobile device wireless camera integration with a vehicle
KR102108893B1 (ko) * 2013-07-11 2020-05-11 엘지전자 주식회사 이동 단말기
US9530080B2 (en) * 2014-04-08 2016-12-27 Joan And Irwin Jacobs Technion-Cornell Institute Systems and methods for configuring baby monitor cameras to provide uniform data sets for analysis and to provide an advantageous view point of babies
SG10201403766QA (en) * 2014-07-01 2016-02-26 Mastercard Asia Pacific Pte Ltd A Method For Conducting A Transaction
US10079012B2 (en) * 2015-04-21 2018-09-18 Google Llc Customizing speech-recognition dictionaries in a smart-home environment
WO2016205246A1 (en) * 2015-06-15 2016-12-22 Knit Health, Inc. Remote biometric monitoring system

Also Published As

Publication number Publication date
CN106816150A (zh) 2017-06-09
US20170154630A1 (en) 2017-06-01

Similar Documents

Publication Publication Date Title
US10964336B2 (en) Systems for and methods of intelligent acoustic monitoring
JP6888096B2 (ja) ロボット、サーバおよびヒューマン・マシン・インタラクション方法
US11148296B2 (en) Engaging in human-based social interaction for performing tasks using a persistent companion device
US10957325B2 (en) Method and apparatus for speech interaction with children
CN106716468A (zh) 基于用户活动数据提供通知
KR20160034243A (ko) 지속적인 동반 디바이스를 제공하기 위한 장치 및 방법들
JP2023015054A (ja) 自動化アシスタントを呼び出すための動的および／またはコンテキスト固有のホットワード
JP6759445B2 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
TW201911127A (zh) 智慧型機器人及人機交互方法
CN109756626B (zh) 一种提醒方法和移动终端
US11393352B2 (en) Reading and contingent response educational and entertainment method and apparatus
Alam et al. IoT based smart baby monitoring system with emotion recognition using machine learning
JP2015133608A (ja) 起床通知システム、起床通知プログラム、起床通知方法および起床通知装置
TW201724084A (zh) 一種基於環境的嬰語解讀方法與系統
WO2016206646A1 (zh) 使机器装置产生动作的方法及系统
TW201826167A (zh) 一種表情反饋方法及智慧機器人
US10847007B1 (en) Interactive monitoring system
US20200177537A1 (en) Control system and control method for social network
JP6347347B2 (ja) 通知システム、通知プログラム、通知方法および通知装置
JP7070546B2 (ja) 情報処理装置および情報処理方法
US20200349825A1 (en) Information processing apparatus and information processing method
JP6861398B2 (ja) 情報処理方法、及び、情報処理装置
KR20220111574A (ko) 전자 장치 및 그 제어 방법
US11430429B2 (en) Information processing apparatus and information processing method
WO2019190817A1 (en) Method and apparatus for speech interaction with children