TWI447660B - Robot autonomous emotion expression device and the method of expressing the robot's own emotion - Google Patents

Robot autonomous emotion expression device and the method of expressing the robot's own emotion Download PDF

Info

Publication number
TWI447660B
TWI447660B TW098143100A TW98143100A TWI447660B TW I447660 B TWI447660 B TW I447660B TW 098143100 A TW098143100 A TW 098143100A TW 98143100 A TW98143100 A TW 98143100A TW I447660 B TWI447660 B TW I447660B
Authority
TW
Taiwan
Prior art keywords
robot
emotional
user
behavior
emotion
Prior art date
Application number
TW098143100A
Other languages
English (en)
Other versions
TW201123036A (en
Inventor
Kai Tai Song
Meng Ju Han
Chia How Lin
Original Assignee
Univ Nat Chiao Tung
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Nat Chiao Tung filed Critical Univ Nat Chiao Tung
Priority to TW098143100A priority Critical patent/TWI447660B/zh
Priority to US12/779,304 priority patent/US20110144804A1/en
Publication of TW201123036A publication Critical patent/TW201123036A/zh
Application granted granted Critical
Publication of TWI447660B publication Critical patent/TWI447660B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/0015—Face robots, animated artificial faces for imitating human expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour

Description

機器人自主情感表現裝置以及表現機器人自主情感之方法
本發明係關於一種機器人自主情感表現裝置以及其表現方法，特別地，係關於一種可根據所處周圍感測器所感測之資訊，依據所需要之擬人化人格特性作設定，使機器人擁有如同人類不同性格(如樂觀或悲觀等)之裝置以及其表現方法。
傳統所設計之機器人與人互動方式多屬於一對一模式，亦即藉由判斷單一感測器之輸入資訊而來決定對應之互動行為，缺少機器人本身擬人化之性格特性、互動者之情緒強度變化影響與融合情緒變化之輸出等特性，使得互動過程中流於公式、不夠自然。
先前技術如2009年6月21日公告之台灣專利第I311067號(此後稱為專利文獻1)所揭露之一種情緒感知互動娛樂方法與裝置，其以了解使用者即時之生理訊號以及動作的狀況，藉以判斷使用者之情緒狀態，然後回饋至遊戲平台以產生與使用者互動之娛樂效果。惟專利文獻1所揭露之技術為直接將每一個輸入者情緒訊號轉換成對應之輸出娛樂效果，並未有融合情緒變化效果之輸出，因此其並不具有擬人化之性格特性與類似人類之複雜情緒輸出變化。
此外，2008年10月01日所公告之台灣專利第I301575號(此後稱為專利文獻2)係揭露一種靈感模型裝置、自發情感 模型裝置、靈感之模擬方法、自發情感之模擬方法以及記錄有程式之電腦可讀取之媒體。專利文獻2是以接近人類的構思行為來從知識資料庫中搜尋知識資料，預先將人類的情感模型化作為資料，藉此來模擬人類受到感性的影響之靈感源。惟專利文獻2是靠情感模型資料庫來達成對人之反應，並未考慮到使用者之情緒強度變化影響，且由於其資料庫建立複雜，造成不易變換不同之擬人化人格性格。
再者，2009年4月7日所公告之美國專利第7515992B2號(此後稱為專利文獻3)係揭露一種機器人設備以及其情緒表示方法，其在經由攝影機與麥克風感測資訊後，藉由此資訊計算出機器人本身之情緒狀態，接著去對照移動資料庫中之各種基本姿態行為，來達成表達情感之目的。惟專利文獻3所建立出之機器人情緒狀態並未考慮到使用者之情緒強度變化且缺乏類人之性格表現，降低機器人與人互動之有趣和自然性。
此外，2006年6月20日所公告之美國專利第7065490B1號係提出利用攝影機、麥克風與觸碰感測器來獲得環境資訊，並以此來建立機器狗之情緒狀態。在不同情緒狀態下，機器狗會發出不同聲音與動作來表現其娛樂效果。惟此發明所建立出之機器狗的情緒狀態並不具有融合本身情緒變化作為輸出，且無法展現類人性格之複雜情緒輸出變化。
在非專利文獻中，T.Hashimoto等人所發表之論文(T.Hashimoto，S.Hiramatsu，T.Tsuji and H.Kobayashi， “Development of the Face Robot SAYA for Rich Facial Expressions，”in Proc.of International Joint Conference on SICE-ICASE，Busan，Korea，2006，pp.5423-5428.)係揭露一種仿人之機器人臉，其藉由六種臉部表情變化與發出聲音等方式，達成類人表情變化之目的。惟此機器人臉對於使用者之情緒強度並未考慮，其表情變化係靠數組固定之控制點距離變化來設定六種臉部表情變化，且並未考慮機器人本身之情緒變化融合輸出，使之不具有類似人類之細微表情變化。此外，D.W.Lee等人所發表之論文(D.W.Lee，T.G.Lee，B.So，M.Choi，E.C.Shin，K.W.Yang，M.H.Back，H.S.Kim and H.G.Lee，“Development of an Android for Emotional Expression and Human Interaction，”in Proc.Of International Federation of Automatic Control，Seoul，Korea，2008，pp.4336-4337.)係揭露一種具有機器人臉之歌唱機器人，其能擷取影像與聲音’藉由表情變化、聲音與嘴唇之同步進行來達成與人互動之目的。不過此文獻中並未揭露該機器人具有能依據使用者之情緒強度來決定機器人本身之情緒狀態，而是單以機器人臉輸出擬人之表情變化。
基於上述習知技術缺失，本發明在此提供一種機器人自我情感產生技術，使得機器人可依據互動者之情緒強度變化與情緒變化之融合輸出，搭配所需要之擬人化人格特性以及周圍感測器之感測資訊來建立自我情緒狀態。
本發明之主要目的之一係提供一種機器人自我情感產生技術，使該機器人得以根據周圍感測器之資訊來建立自我情緒狀態而具有如同人類般之感情與性格特性(如樂觀、悲觀等)，並且同時融合情緒變化之效果，使機器人具有如同人類之複雜情緒輸出表現(表情)，使其與人類在互動時能更為自然親切。
本發明之另一目的係提供一種機器人自主情感表現裝置，包含：一感測單元；一使用者情緒辨識單元，在取得該感測單元之感測資訊後，辨識使用者目前情緒狀態，以及依照該使用者目前情緒狀態計算使用者之情緒強度值；一機器人情緒產生單元，依照該使用者之情緒強度值產生該機器人本身之情緒狀態；一行為融合單元，依照該使用者之情緒強度值與一規則表，藉由一類神經模糊網路來計算複數輸出行為權重；以及一機器人反應單元，依照該等輸出行為權重與該機器人之情緒狀態’來展現該機器人之情緒行為。
本發明之再一目的係提供一種表現機器人自主情感之方法，包含：藉由一感測器取得一感測資訊；藉由一情緒辨識單元，依照該感測資訊辨識使用者目前情緒狀態，並依照該使用者目前情緒狀態計算使用者之情緒強度值；依照該使用者之情緒強度值產生該機器人本身之情緒狀態；依照該使用者之情緒強度值與一規則表，藉由一類神經模 糊網路來計算複數輸出行為權重；以及依照該等輸出行為權重與該機器人之情緒狀態，藉由一反應機構來展現該機器人之情緒行為。
如上述裝置及方法，其中該類神經模糊網路為一種非監督式學習之神經網路。
如上述裝置及方法，其中該類神經模糊網路為一具有至少三層架構且不同層之神經元間的鍵結為完全連接之模糊柯荷能(Kohonen)群集網路(FKCN)。
如上述裝置及方法，其中該類神經模糊網路包含：一輸入層，由此輸入待辨識圖案；一距離層，用以計算輸入圖樣與典型圖樣之間的相異程度；以及一歸屬層，用以計算該輸入圖樣相對於該典型圖樣之歸屬度，其中該歸屬度介於0到1之間的值。
如上述裝置及方法，其中該感測資訊包含由攝影機、麥克風、超音波裝置、雷射掃瞄儀、觸磁感測器、互補式金屬氧化半導體(CMOS)影像感測器、溫度感測器及壓力感測器之至少一者或其部分組合所取得之資訊。
如上述裝置及方法，其中該規則表包含至少一組使用者之情緒強度值以及至少一組對應於該使用者之情緒強度值之機器人行為權重。
如上述裝置及方法，其中該機器人反應單元包含一機器人臉表情模擬器，用以展現該機器人之情緒行為。
如上述裝置及方法，其中該機器人反應單元包含一輸 出圖形化之人臉，該輸出圖形化之人臉可表現類似人臉之情緒。
如上述裝置及方法，其中該輸出圖形化之人臉可應用於玩具、個人數位助理(PDA)、智慧型手機、電腦及機器人裝置之任何一者上。
本發明具有下列技術特點及功效：
1.可依據使用者之人格特性來設定機器人之性格，使得該機器人可擁有如同人類之不同性格(如樂觀或悲觀等)，同時具有複雜之表情行為輸出(諸如，高與、生氣、驚訝、悲傷、無聊以及中性表情之任一者或其組合)，故可增添與人互動時之情感內涵與趣味性。
2.解決傳統技術中所設計之機器人與人之一對一互動方式，亦即，解決習知技術僅藉由判斷單一感測器之輸入資訊所決定對應之互動行為，避免與人之互動過程流於公式或不夠自然。此外，本發明可使機器人之反應隨著輸入感測器資訊做出融合判斷’讓機器人之互動行為有不同程度之變化，使其與人之互動效果更為親切。
3.本發明對於機器人之人格特徵的建立係使用調整模糊類神經網路中之參數權重來達成。
4.本發明係使用一種非監督式學習之模糊柯荷能(Kohonen)群集網路(FKCN)作為計算機器人行為融合所需之權重。 因此，本發明之機器人性格可藉由使用者所訂定之規則來量身訂作。
為使本發明之上述和其他目的、特徵及優點能更明顯易懂，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下。
本發明之應用不侷限於下列敘述、圖式或所舉例說明之構造和配置等細節所作之說明。本發明更具有其他實施例，且可以各種不同的方式予以實施或進行。此外，本發明所使用之措辭及術語均僅用來說明本發明之目的，而不應視為本發明之限制。
在下列實施例中，假設有二種不同性格特性(樂觀與悲觀)分別被實現於電腦模擬之機器人上，並假設使用者會有中性、高興、傷心與生氣等四種不同層度之情緒變化，而機器人則被設計有無聊、高興、傷心與驚訝等四種表情行為輸出。經由電腦模擬，本發明之情緒反應方法會計算出四種不同表情行為輸出之權重，藉由融合此四種表情行為使機器人臉能反應出類似人性之機器人臉表情。
參照第1圖，其為本發明之機器人自主情感表現裝置之架構圖，其中該機器人自主情感表現裝置主要包含：一感測單元1，用以獲得若干感測資訊；一使用者情緒辨識單元2，依照該等感測資訊辨識出使用者之目前情緒狀態；一機器人情緒產生單元3，依照該使用者之目前情緒狀態計算出機器人對應之情緒狀態；一行為融合單元4，依照機器人本身之情緒成分來計算出其不同行為比重；以及一機器人反 應單元5，用以展現出機器人之不同情緒行為。
為了進一步說明上述本發明之技術，在此以第2圖之例示實施例架構圖來說明，惟本發明並不侷限於此。
參照第2圖，當一情緒狀態辨識器22從一CMOS影像感測器21(諸如，攝影機)獲得使用者之影像時，在經由影像辨識器221來辨識該影像後，便將所計算出之使用者情緒強度值(在此範例為四種情緒強度值E 1 ~E 4 )送至一行為融合單元中之類神模糊網路(Fuzzy-neuro network)226去計算出對應不同之輸出行為權重(FW i ,i =1~k )。接著再將該機器人之每個輸出行為乘上其對應的權重，藉由一機器人反應單元27來展現機器人之不同情緒行為。
本發明在上述行為融合過程中，係使用一種模糊柯荷能(Kohonen)群集網路(FKCN)之類神經模糊網路作為計算機器人行為融合所需之權重，其中該FKCN為一種非監督式學習之神經網路。
如第3圖所示，其為該模糊柯荷能(Kohonen)群集網路(FKCN)之例示架構圖，其中不同層之神經元(neuron)之間的鍵結(linker)是完全連接的(fully connected)。該FKCN包含三層，其中第一層為輸入層，用以接收待辨識之輸入圖樣(E 1 ~E i )；第二層為距離層，用以計算該等輸入圖樣與典型圖樣(W 0 ~W c -1 )之間的距離，亦即計算相異程度(d 0 ~d i (c -1) )；第三層為歸屬層，用以計算該等輸入圖樣相對於該等典型圖樣之歸屬度u ij ，其中該歸屬度以介於0到1之間的值來表 示。因此藉由所獲得之歸屬度以及一用來決定機器人本身性格之規則表1即可計算機器人行為融合所需之權重FW 1 ~FW 3 。
接著參照第4圖，其為本發明之例示實施例之機器人反應單元中的機器人臉表情模擬器之模擬畫面。其中左邊為機器人臉，右上方代表使用者表情經由情緒狀態辨識單元辨識後所得之四種情緒強度值，其中包括中性的值為11、高興的值為100、生氣的值為13、以及悲傷的值為0。另外，右下方則代表經由行為融合單元所計算出之三種輸出行為之融合權重，其中包括無聊的權重佔0.04、高興的權重佔0.94、以及悲傷的權重佔0.02。
在本例示實施例中，如第5圖所示，設定機器人臉上有18個控制點，其分別可控制左右邊眉毛(4個控制點)、左右邊上下眼瞼(8個控制點)、左右邊眼球(2個控制點)以及嘴巴(4個控制點)等上下左右之位置移動。因此，藉由控制該等控制點即可讓該機器人臉呈現不同的輸出行為，惟本發明並不侷限於此，亦即機器人之表情的細膩度會隨著該等控制點設定於該機器人臉上之數量及控制位置而改變。
如第6(a)~6(i)圖中所示，其係本發明之機器人反應單元中機器人臉表情於不同高興與悲傷之輸出行為權重下之變化情形。在本發明中，經由設定不同規則表可決定機器人本身之性格。例如，首先，先為機器人賦予樂觀性格，下列規則表1為具樂觀性格之機器人臉規則表。因此，當沒 有人出現在機器人面前時，即設定其輸出行為完全是由無聊(Boring)行為所支配，此時可將無聊行為之權重設定為1，如規則表1中數字欄位之第一列所示。由於對樂觀性格而言，其基本上之情緒狀態是偏向開心的，因此當設定使用者之情緒狀態為中性(Neutral)時，其對應之輸出行為有70%的無聊，30%的高興，如規則表1中數字欄位之第二列所示。當使用者具有超過50%的高興情緒反應時，機器人由於是屬於樂觀者，因此便設定機器人之情緒為100%的高興行為輸出，如規則表1中數字欄位之第三列所示。同樣地，在本實施例中，依照樂觀的性格設計出當使用者情緒為生氣時，機器人雖然覺得有些傷心，但還是覺得沒那麼嚴重，因此輸出行為設為50%的傷心與50%的高興，如規則表1中數字欄位之第四列所示。此外，當使用者感到很難過時，原本機器人也應該是感到難過的，不過由於樂觀的性格，使得機器人在70%的難過中帶有30%的無聊行為輸出，如規則表1中數字欄位之第五列所示。
如同上述規則表1中之對應關係，下列規則表2為考慮機器人具有悲觀性格時之機器人臉規則表。同樣地，這裡所舉的性格規則可依照每個人之主觀而有所不同。然而須注意的是，本例示實施例之目的主要在於說明機器人之性格可藉由所訂定之規則來量身訂作。
在本發明之例示實施例中，當使用者同時有高興與生氣之表情強度作為輸入時，可藉由該人臉表情模擬器來觀察機器人臉之表情變化，如第7(a)至7(d)圖中所示。
第7(a)圖為當使用者輸入20%強度為高興，80%強度為生氣時之表情，其輸出行為權重為47%的高興、40%的悲傷與12%的中性表情，此時機器人臉表現出難過想哭之表情。
第7(b)圖為當使用者輸入40%強度為高興，60%強度為生氣時之表情，其輸出行為權重為49%的高興、22%的悲傷與28%的中性表情，此時機器人臉表現出相較於第7(a)圖較不難過之表情。
第7(c)圖為當使用者輸入60%強度為高興，40%強度為生氣時之表情，其輸出行為權重為64%的高興、11%的悲傷與25%的中性表情，此時機器人臉表現出有些開心之表情。
第7(d)圖為當使用者輸入80%強度為高興，20%強度為生氣時之表情，其輸出行為權重為74%的高興、7%的悲傷與19%的中性表情，此時機器人臉表現出很高興之表情。
需特別說明的是，第7(a)至7(d)圖之上述數值是進一步經過比例正規化(normalize)後之權重值，其與第4圖中所顯示之單純數值的型態有所不同，但二者都是用於呈現使用者情緒強度。
經由上述實施例可觀察到，本發明所提之技術可使機器人本身具有如同人類般之感情與性格特性，使其與人在互動時能具有複雜之表情行為輸出，讓使用者與機器人之間的互動過程更為自然親切。
以上所述者僅為本發明之較佳實施例，惟本發明之實施範圍並非侷限於此，例如：該機器人之感情與性格特性輸出不侷限於表情之呈現，其更可為各種不同之行為；再者，本發明不僅可應用於機器人上，其亦能應用於各種互動玩具、電腦、手機、個人數位助理(PDA)之人機介面上，使這些裝置上可以產生擬人化之情緒表現之人臉圖形，而這些圖形之情緒反應即是由本發明之內容產生與建立。因此在不脫離本發明之原理及精神下，所屬技術領域中具有通常知識者依據本發明申請專利範圍及發明說明書內容所 作之修飾與變化，皆應屬於本發明專利所涵蓋之範圍。
1‧‧‧感測單元
2‧‧‧使用者情緒辨識單元
3‧‧‧機器人情緒產生單元
4‧‧‧行為融合單元
5‧‧‧機器人反應單元
21‧‧‧CMOS影像感測器
22‧‧‧情緒狀態辨識器
23~26‧‧‧機器人之情緒狀態
31‧‧‧規則表
221‧‧‧影像辨識器
222~225‧‧‧情緒強度值
226‧‧‧類神經模糊網路
FW 1 ~FW k ‧‧‧輸出行為權重
第1圖為本發明之機器人自主情感表現裝置之架構圖。
第2圖為本發明之例示實施例之架構圖。
第3圖為於本發明中所使用之模糊柯荷能(Kohonen)群集網路之例示架構圖。
第4圖為本發明之例示實施例之機器人反應單元中的機器人臉表情模擬器之模擬畫面。
第5圖為本發明之機器人反應單元中機器人臉上之控制點。
第6(a)~6(i)圖係本發明之機器人反應單元中機器人臉表情於不同高興與悲傷輸出行為權重下之變化，其中第6(a)圖為20%高興行為權重；第6(b)圖為60%高興行為權重；第6(c)圖為100%高興行為權重；第6(d)圖為20%悲傷行為權重；第6(e)圖為60%悲傷行為權重；第6(f)圖為100%悲傷行為權重；第6(g)圖為20%驚訝行為權重；第6(h)圖為60%驚訝行為權重；以及第6(i)圖為100%驚訝行為權重。
第7圖為本發明之機器人反應單元中機器人臉表情在使用者於不同高興與生氣情緒強度值下之變化，其中第7(a)圖為20%強度值為高興，80%強度值為生氣；第7(b)圖為40%強度值為高興，60%強度值為生氣；第7(c)圖為60%強度值為高興，40%強度值為生氣；以及第7(d)圖為80%強度值為高興，20%強度值為生氣。
1‧‧‧感測單元
2‧‧‧使用者情緒辨識單元
3‧‧‧機器人情緒產生單元
4‧‧‧行為融合單元
5‧‧‧機器人反應單元

Claims (16)

  1. 一種機器人自主情感表現裝置，包含：一感測單元；一使用者情緒辨識單元，在取得該感測單元之感測資訊後，辨識使用者目前情緒狀態，以及依照該使用者目前情緒狀態計算使用者之情緒強度值；一機器人情緒產生單元，依照該使用者之情緒強度值產生該機器人本身之情緒狀態；一行為融合單元，依照該使用者之情緒強度值與一規則表，藉由一類神經模糊網路來計算複數輸出行為權重；以及一機器人反應單元，依照該等輸出行為權重與該機器人之情緒狀態，來展現該機器人之情緒行為。
  2. 如申請專利範圍第1項之裝置，其中該類神經模糊網路為一種非監督式學習之神經網路。
  3. 如申請專利範圍第1項之裝置，其中該類神經模糊網路為一具有至少三層架構且不同層之神經元間的鍵結為完全連接之模糊柯荷能(Kohonen)群集網路(FKCN)。
  4. 如申請專利範圍第3項之裝置，其中該類神經模糊網路包含：一輸入層，由此輸入待辨識圖案；一距離層，用以計算輸入圖樣與典型圖樣之間的相異程度；以及一歸屬層，用以計算該輸入圖樣相對於該典型圖樣之歸屬度，其中該歸屬度介於0到1之間的值。
  5. 如申請專利範圍第1項之裝置，其中該感測資訊包含由攝 影機、麥克風、超音波裝置、雷射掃瞄儀、觸磁感測器、互補式金屬氧化半導體(CMOS)影像感測器、溫度感測器及壓力感測器之至少一者或其部分組合所取得之資訊。
  6. 如申請專利範圍第1項之裝置，其中該規則表包含至少一組該使用者之情緒強度值以及至少一組對應於該使用者之情緒強度值之機器人行為權重。
  7. 如申請專利範圍第1項之裝置，其中該機器人反應單元包含一機器人臉表情模擬器，用以展現該機器人之情緒行為。
  8. 如申請專利範圍第7項之裝置，其中該機器人反應單元包含一輸出圖形化之人臉，其中該輸出圖形化之人臉可表現類似人臉之情緒。
  9. 如申請專利範圍第8項之裝置，其中該輸出圖形化之人臉可應用於玩具、個人數位助理(PDA)、智慧型手機、電腦及機器人裝置之任何一者上。
  10. 一種表現機器人自主情感之方法，包含：藉由一感測器取得一感測資訊；藉由一情緒辨識單元，依照該感測資訊辨識使用者目前情緒狀態，並依照該使用者目前情緒狀態計算使用者之情緒強度值；依照該使用者之情緒強度值產生該機器人本身之情緒狀態；依照該使用者之情緒強度值與一規則表，藉由一類神經模糊網路來計算複數輸出行為權重；以及 依照該等輸出行為權重與該機器人之情緒狀態，藉由一反應機構來展現該機器人之情緒行為。
  11. 如申請專利範圍第10項之方法，其中該感測資訊包含由攝影機、麥克風、超音波裝置、雷射掃瞄儀、觸磁感測器、互補式金屬氧化半導體(CMOS)影像感測器、溫度感測器及壓力感測器之至少一者或其部分組合所取得之資訊。
  12. 如申請專利範圍第10項之方法，其中該類神經模糊網路為一具有至少三層架構且不同層之神經元間的鍵結為完全連接之模糊柯荷能(Kohonen)群集網路(FKCN)。
  13. 如申請專利範圍第12項之方法，其中該類神經模糊網路包含：一輸入層，由此輸入待辨識圖案；一距離層，用以計算輸入圖樣與典型圖樣之間的相異程度；以及一歸屬層，用以計算該輸入圖樣相對於該典型圖樣之歸屬度，其中該歸屬度介於0到1之間的值。
  14. 如申請專利範圍第10項之方法，其中該類神經模糊網路為一種非監督式學習之神經網路。
  15. 如申請專利範圍第10項之方法，其中該規則表包含至少一組該使用者之情緒強度值以及至少一組對應於該使用者情緒強度值之機器人行為權重。
  16. 如申請專利範圍第10項之方法，其中該反應機構包含一機器人臉表情模擬器，用以展現該機器人之情緒行為。
TW098143100A 2009-12-16 2009-12-16 Robot autonomous emotion expression device and the method of expressing the robot's own emotion TWI447660B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW098143100A TWI447660B (zh) 2009-12-16 2009-12-16 Robot autonomous emotion expression device and the method of expressing the robot's own emotion
US12/779,304 US20110144804A1 (en) 2009-12-16 2010-05-13 Device and method for expressing robot autonomous emotions

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW098143100A TWI447660B (zh) 2009-12-16 2009-12-16 Robot autonomous emotion expression device and the method of expressing the robot's own emotion

Publications (2)

Publication Number Publication Date
TW201123036A TW201123036A (en) 2011-07-01
TWI447660B true TWI447660B (zh) 2014-08-01

Family

ID=44143811

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098143100A TWI447660B (zh) 2009-12-16 2009-12-16 Robot autonomous emotion expression device and the method of expressing the robot's own emotion

Country Status (2)

Country Link
US (1) US20110144804A1 (zh)
TW (1) TWI447660B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI661363B (zh) * 2017-08-05 2019-06-01 鴻海精密工業股份有限公司 智慧型機器人及人機交互方法

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9155961B2 (en) * 2009-05-28 2015-10-13 Anki, Inc. Mobile agents for manipulating, moving, and/or reorienting components
US20120059781A1 (en) * 2010-07-11 2012-03-08 Nam Kim Systems and Methods for Creating or Simulating Self-Awareness in a Machine
US10157342B1 (en) * 2010-07-11 2018-12-18 Nam Kim Systems and methods for transforming sensory input into actions by a machine having self-awareness
US9079313B2 (en) * 2011-03-15 2015-07-14 Microsoft Technology Licensing, Llc Natural human to robot remote control
US9092021B2 (en) * 2012-01-06 2015-07-28 J. T. Labs Limited Interactive apparatus
US9796095B1 (en) 2012-08-15 2017-10-24 Hanson Robokind And Intelligent Bots, Llc System and method for controlling intelligent animated characters
US20140288704A1 (en) * 2013-03-14 2014-09-25 Hanson Robokind And Intelligent Bots, Llc System and Method for Controlling Behavior of a Robotic Character
US9810975B2 (en) 2015-02-11 2017-11-07 University Of Denver Rear-projected life-like robotic head
JP6255368B2 (ja) * 2015-06-17 2017-12-27 Ｃｏｃｏｒｏ Ｓｂ株式会社 感情制御システム、システム及びプログラム
CN105345822B (zh) * 2015-12-17 2017-05-10 成都英博格科技有限公司 智能机器人控制方法及装置
CN105988591B (zh) * 2016-04-26 2019-01-22 北京光年无限科技有限公司 一种面向智能机器人的动作控制方法及装置
CN109313935B (zh) * 2016-06-27 2023-10-20 索尼公司 信息处理系统、存储介质和信息处理方法
DE102016216407A1 (de) 2016-08-31 2018-03-01 BSH Hausgeräte GmbH Individuelle Kommunikationsunterstützung
US11157941B2 (en) * 2016-09-08 2021-10-26 International Business Machines Corporation Adaptive coupon rendering based on shaking of emotion-expressing mobile device
CN107016224A (zh) * 2016-10-03 2017-08-04 朴植 用于老年保健陪伴的Nounou智能监护装置
CN107918792B (zh) * 2016-10-10 2022-06-17 九阳股份有限公司 一种机器人的初始化交互方法
JP6761598B2 (ja) * 2016-10-24 2020-09-30 富士ゼロックス株式会社 感情推定システム、感情推定モデル生成システム
CN106378784A (zh) * 2016-11-24 2017-02-08 深圳市旗瀚云技术有限公司 一种具有多种性格的机器人
JP2018089730A (ja) * 2016-12-01 2018-06-14 株式会社Ｇ−グロボット コミュニケーションロボット
US10250532B2 (en) 2017-04-28 2019-04-02 Microsoft Technology Licensing, Llc Systems and methods for a personality consistent chat bot
US20180336412A1 (en) * 2017-05-17 2018-11-22 Sphero, Inc. Computer vision robot control
US20190111565A1 (en) * 2017-10-17 2019-04-18 True Systems, LLC Robot trainer
TWI680408B (zh) * 2018-05-26 2019-12-21 南開科技大學 可偵測銀髮族情緒之遊戲機結構
CN108568806B (zh) * 2018-06-14 2024-02-13 深圳埃米电子科技有限公司 一种机器人的头部结构
USD885453S1 (en) * 2018-07-06 2020-05-26 Furhat Robotics Ab Industrial robot
US11279041B2 (en) * 2018-10-12 2022-03-22 Dream Face Technologies, Inc. Socially assistive robot
WO2021001791A1 (en) 2019-07-03 2021-01-07 Soul Machines Architecture, system, and method for simulating dynamics between emotional states or behavior for a mammal model and artificial nervous system
CN111443603B (zh) * 2020-03-31 2021-07-06 东华大学 基于自适应模糊神经网络系统的机器人共享控制方法
US11257471B2 (en) * 2020-05-11 2022-02-22 Samsung Electronics Company, Ltd. Learning progression for intelligence based music generation and creation
CN112836718B (zh) * 2020-12-08 2022-12-23 上海大学 一种基于模糊知识神经网络的图像情感识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7076334B2 (en) * 2000-12-06 2006-07-11 Sony Corporation Robot apparatus and method and system for controlling the action of the robot apparatus
US20080077277A1 (en) * 2006-09-26 2008-03-27 Park Cheon Shu Apparatus and method for expressing emotions in intelligent robot by using state information
TW200841255A (en) * 2007-04-13 2008-10-16 Univ Nat Taiwan Science Tech Robotic system and method for controlling the same
TWM346856U (en) * 2008-08-14 2008-12-11 Darfon Electronics Corp Simulating apparatus of facial expression and computer peripheral

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10289006A (ja) * 1997-04-11 1998-10-27 Yamaha Motor Co Ltd 疑似感情を用いた制御対象の制御方法
EP1059147A4 (en) * 1998-09-10 2008-01-16 Sony Corp ROBOT, ROBOT CONTROL, AND DISPLAY SYSTEM AND METHOD
KR20010053322A (ko) * 1999-04-30 2001-06-25 이데이 노부유끼 전자 페트 시스템, 네트워크 시스템, 로봇, 및 기억 매체
JP2001154681A (ja) * 1999-11-30 2001-06-08 Sony Corp 音声処理装置および音声処理方法、並びに記録媒体
KR100624403B1 (ko) * 2001-10-06 2006-09-15 삼성전자주식회사 인체의 신경계 기반 정서 합성 장치 및 방법
US7113848B2 (en) * 2003-06-09 2006-09-26 Hanson David F Human emulation robot system
JP2005193331A (ja) * 2004-01-06 2005-07-21 Sony Corp ロボット装置及びその情動表出方法
JP4552490B2 (ja) * 2004-04-08 2010-09-29 ソニー株式会社 ロボット装置及びその情動制御方法
KR20060080317A (ko) * 2005-01-05 2006-07-10 현대자동차주식회사 감성기반을 갖는 자동차용 소프트웨어 로봇
TWI293571B (en) * 2006-08-25 2008-02-21 Benq Corp Device for animating facial expression
KR101399199B1 (ko) * 2007-07-16 2014-05-27 삼성전자주식회사 소프트웨어 로봇의 유전자 코드 구성 방법
US8103382B2 (en) * 2008-04-24 2012-01-24 North End Technologies Method and system for sharing information through a mobile multimedia platform

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7076334B2 (en) * 2000-12-06 2006-07-11 Sony Corporation Robot apparatus and method and system for controlling the action of the robot apparatus
US20080077277A1 (en) * 2006-09-26 2008-03-27 Park Cheon Shu Apparatus and method for expressing emotions in intelligent robot by using state information
TW200841255A (en) * 2007-04-13 2008-10-16 Univ Nat Taiwan Science Tech Robotic system and method for controlling the same
TWM346856U (en) * 2008-08-14 2008-12-11 Darfon Electronics Corp Simulating apparatus of facial expression and computer peripheral

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Kim, D.S., Huntsberger, T.L.: Self-organizing Neural Networks for Unsupervised Pattern Recognition. In: Proceedings of Tenth Annual International Phoenix Conference on Computers and Communications, March 27-30, pp. 39–45 (1991) 1991/03/30 *
T. Fukuda, M. J. Jung, M. Nakashima, F. Arai, and Y. Hasegawa, "Facial expressive robotic head system for human-,robot communication and its application in home environment, special issue on human interactive robots for psychological enrichment", Proc. IEEE, vol. 92, pp.1851 -1865 2004 2004/11/31 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI661363B (zh) * 2017-08-05 2019-06-01 鴻海精密工業股份有限公司 智慧型機器人及人機交互方法
US10482886B2 (en) 2017-08-05 2019-11-19 Fu Tai Hua Industry (Shenzhen) Co., Ltd. Interactive robot and human-robot interaction method

Also Published As

Publication number Publication date
US20110144804A1 (en) 2011-06-16
TW201123036A (en) 2011-07-01

Similar Documents

Publication Publication Date Title
TWI447660B (zh) Robot autonomous emotion expression device and the method of expressing the robot's own emotion
Joo et al. Towards social artificial intelligence: Nonverbal social signal prediction in a triadic interaction
Durupinar et al. Perform: Perceptual approach for adding ocean personality to human motion using laban movement analysis
JP4579904B2 (ja) オブジェクトで行動を生成するための装置及び方法
Beck et al. Interpretation of emotional body language displayed by robots
Hoffman et al. Designing robots with movement in mind
Sim et al. Extensive assessment and evaluation methodologies on assistive social robots for modelling human–robot interaction–A review
Lee et al. A linear affect–expression space model and control points for mascot-type facial robots
Li et al. Facial feedback for reinforcement learning: a case study and offline analysis using the tamer framework
Pelachaud et al. Multimodal behavior modeling for socially interactive agents
Park et al. Generation of realistic robot facial expressions for human robot interaction
Fabri et al. The virtual student: User embodiment in virtual learning environments
Magnenat-Thalmann et al. Context aware human-robot and human-agent interaction
Mohd Tuah et al. The characteristics and application of anthropomorphic interface: A design spectrum
Nishimura et al. Design support system for emotional expression of robot partners using interactive evolutionary computation
Lee et al. Semi-autonomous robot avatar as a medium for family communication and education
Ståhl et al. Reflecting on the design process of the Affective Diary
Zhao Live Emoji: Semantic Emotional Expressiveness of 2D Live Animation
Gillies et al. Non-verbal communication for correlational characters
Vélez et al. ROBSNA: Social robot for interaction and learning therapies
Ahn Designing of a personality based emotional decision model for generating various emotional behavior of social robots
Naeem et al. An AI based Voice Controlled Humanoid Robot
Castellano et al. Analysis of emotional gestures for the generation of expressive copying behaviour in an embodied agent
Foster Natural face-to-face conversation with socially intelligent robots
Han et al. A design for smooth transition of robotic emotional states

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees