TW201738057A - 姿勢控制系統及電腦可讀取的記錄媒體 - Google Patents

姿勢控制系統及電腦可讀取的記錄媒體 Download PDF

Info

Publication number
TW201738057A
TW201738057A TW106113822A TW106113822A TW201738057A TW 201738057 A TW201738057 A TW 201738057A TW 106113822 A TW106113822 A TW 106113822A TW 106113822 A TW106113822 A TW 106113822A TW 201738057 A TW201738057 A TW 201738057A
Authority
TW
Taiwan
Prior art keywords
posture
data
sound
unit
threshold
Prior art date
Application number
TW106113822A
Other languages
English (en)
Inventor
Tatsunori Abe
Ren NAONO
Original Assignee
Softbank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Softbank Corp filed Critical Softbank Corp
Publication of TW201738057A publication Critical patent/TW201738057A/zh

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/42Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)

Abstract

[課題]本發明提供一種可控制機器人等之動作轉換姿勢數據的技術。 [解決手段]本發明提供一種記錄媒體,儲存有使電腦執行擔任做為姿勢數據取得部、姿勢値轉換部及控制數據作成部之機能的程式;其中姿勢數據取得部用以取得包含有分別表示對象物之連續複數個姿勢値的姿勢數據;姿勢値轉換部用以在姿勢數據中包含有比在第1閾値和第2閾値之間連續的預定之第1數大的姿勢値下,將比連續的預定之第1數大的姿勢値轉換成在第1閾値和第2閾値間預定的姿勢値;及控制數據作成部基於經轉換的姿勢値作成控制對象物之連續的複數個姿勢之控制數據。

Description

姿勢控制系統及電腦可讀取的記錄媒體
本發明係關於一種姿勢控制系統及一種電腦可讀取的記錄媒體。
在現行技術中,已有一種為了使得機器人可取得連續的複數個姿勢,而將各關節部的角度數據輸入來做為姿勢數據之裝置(例如,參照專利文獻1)。 [先前技術文獻]  [專利文獻]  [專利文獻1]特開2010-253640号公報
[發明所欲解決之課題]
本發明期望能夠提供一種可以適當控制機器人等之對象物的動作之轉換姿勢數據的技術。
[用以解決課題之手段]
根據本發明之第1態樣,提供一種用以使電腦執行擔任做為姿勢數據取得部、姿勢値轉換部及控制數據作成部之機能的程式;其中,該姿勢數據取得部係用以取包含有分別表示對象物之連續的複數個姿勢之複數個姿勢値的姿勢數據;姿勢値轉換部係在姿勢數據中包含有於第1閾値和第2閾値之間比連續的預定之第1數還大的姿勢値之情況下,將比連續的預定之第1數還大的姿勢値轉換成在第1閾値和第2閾値間之預定的姿勢値;以及控制數據作成部係基於經姿勢値轉換部所轉換的姿勢値,來作成用以控制對象物之連續的複數個姿勢用之控制數據。
上述姿勢値轉換部係可以在上述第1閾値和上述第2閾値之間連續的姿勢値之數值為小於上述第1數的情況下,從上述姿勢數據中刪除該連續的姿勢値。上述姿勢値轉換部係在上述第1閾値和上述第2閾値之間連續的姿勢値之數值為比上述第1數還大、且比基於上述第1數所被決定的上述第1數還大但小於第2數之情況下,可以將該連續的姿勢値轉換成1個上述預定之姿勢値;在該連續的姿勢値的數值為比上述第2數還大的情況下,可以將該連續的姿勢値成轉換2個以上的上述預定之姿勢値。上述程式可以進一步具有使上述電腦執行擔任做為姿勢値刪除部的機能,該姿勢値刪除部係用以將在上述姿勢數據中所包含的一個姿勢値、與上述一個姿勢値之後的上述一個姿勢値間之差為比預定之値還大的最初姿勢値間之姿勢値,從上述姿勢數據予以刪除。上述姿勢數據取得部可以取得藉由對於被攝像裝置所攝像的被拍攝體之動作進行解析而導出得到的上述姿勢數據。
上述程式可以進一步使上述電腦執行擔任做為用以取得聲音資訊與時間戳記的聲音資訊取得部之機能;其中,該聲音資訊係表示上述攝像裝置對上述被拍攝體進行攝像並錄音得到的上述被拍攝體之聲音内容、與顯示上述聲音的時間之時間戳記;上述控制數據作成部可以作成一種基於上述時間戳記,用以使上述對象物之連續的複數個姿勢同步,並使上述對象物發出上述聲音資訊所表示内容的聲音之上述控制數據。上述聲音資訊取得部可以進一步地取得上述被拍攝體之聲音的高度資訊及速度資訊;上述控制數據作成部可以進一步地基於上述高度資訊及速度資訊,來決定使上述對象物發出上述聲音資訊所表示的内容之聲音的高度及速度。
上述聲音資訊取得部係可以取得做為上述聲音資訊之表示上述被拍攝體的聲音之内容的文字數據;上述程式係可以使上述電腦進一步執行擔任做為發聲控制部、錄音數據取得部與聲音鑑別部之機能;該發聲控制部係用以使用複數個聲音參數,使上述對象物將上述文字數據所表示的内容發出複數次聲音;該錄音數據取得部係用以取得經由對上述對象物所發出的複數個聲音進行錄音得到之複數個錄音數據;該聲音鑑別部係用以在上述錄音數據取得部所取得的上述複數個錄音數據之聲音中,鑑別出與上述被拍攝體的聲音之類似度最高的聲音;上述控制數據作成部可以作成用以使上述對象物發出經上述聲音鑑別部所鑑別的聲音之上述控制數據。上述被拍攝體可以是人類;上述對象物可以是機器人之關節;上述姿勢數據取得部可以對於上述機器人之複數個關節分別取得上述姿勢數據;於上述姿勢數據中包含有在上述第1閾値和上述第2閾値之間比連續的上述第1數還大的姿勢値之情況下,上述姿勢値轉換部可以對於上述複數個關節分別將上述第1數還大的姿勢値轉換成上述預定之姿勢値。也可以將上述複數個關節之各個設定成分別不同的値來做為上述第1閾値、上述第2閾値及上述預定之姿勢値。上述控制數據作成部係基於用以控制上述機器人的右側及左側之一者的關節之連續的複數個姿勢用之控制數據,來作成用以控制上述機器人的右側及左側之另外的關節之連續的複數個姿勢用之控制數據。
根據本發明之第2態樣,提供一種姿勢控制系統,其係具備攝像部、姿勢數據取得部、姿勢値轉換部、控制數據作成部、以及姿勢控制部;其中,該攝像部係用以對於被拍攝體進行攝像;該姿勢數據取得部係藉由對於由攝像部所攝像的被拍攝體之動作進行解析來取得包含有分別表示對象物之連續的複數個姿勢之複數個姿勢値的姿勢數據;該姿勢値轉換部係在姿勢數據包含有第1閾値和第2閾値之間比連續的預定之第1數還大的姿勢値的情況下,將比連續的預定之第1數還大的姿勢値轉換成第1閾値和第2閾値間之預定的姿勢値;該控制數據作成部係,基於經姿勢値轉換部所轉換的姿勢値,來作成用以控制對象物之連續的複數個姿勢用之控制數據;該姿勢控制部係基於由控制數據作成部所作成的控制數據來控制對象物的姿勢。
另外,上述之發明概要並未列舉本發明之全部必要的特徴。又,此等特徴群的次組合(sub-combination)也可以算是本發明。
[用以實施發明之形態]
以下,經由發明之實施形態來說明本發明,然而以下之實施形態當然不是用來限定專利請求範圍之發明。又,實施形態之中所説明的特徴之組合未必全部皆為發明之必要解決手段。
圖1係概略地顯示姿勢控制系統10的一例子。本實施形態相關的姿勢控制系統10係藉由解析被拍攝體30的動作來取得包含分別顯示機器人20之連續的複數個姿勢之複數個姿勢値的姿勢數據(也有記載為機器人20的姿勢數據之情況。),適切地轉換成該姿勢數據所包含的複數個姿勢値,基於轉換後的姿勢値,作成用以控制機器人20之連續的複數個姿勢用之控制數據,進而將所作成的控制數據傳送至機器人20。被拍攝體30為例如是人。
姿勢控制系統10係具備姿勢控制裝置100及攝像裝置200。攝像裝置200係具有照相機210及麥克風220。照相機210為用以攝取被拍攝體30的動畫影像。麥克風220係進行錄音藉以收錄被拍攝體30的聲音。攝像裝置200可以一邊拍攝被拍攝體30的影像並同時收錄被拍攝體30的聲音。
攝像裝置200係可以藉由對攝取到的被拍攝體30之動作影像進行解析而導出機器人20的姿勢數據。例如,攝像裝置200可以藉由實行所謂的骨架追蹤(skeleton tracking)來取得被拍攝體30之各關節的姿勢資訊,藉由將該姿勢資訊轉換成機器人20的各關節之歐拉角(Euler angle)的角度値來導出機器人20的姿勢數據。攝像裝置200係例如Microsoft公司之Kinect。攝像裝置200係能夠導出機器人20的姿勢數據,也可以使用其他的手段方法,又,也可以是Kinect以外的裝置。
攝像裝置200將所導出之機器人20的姿勢數據傳送至姿勢控制裝置100。另外,機器人20的姿勢數據之導出也可以是由姿勢控制裝置100來執行。亦即,姿勢控制裝置100係從攝像裝置200接收到被拍攝體30之各關節的姿勢資訊,可以使用所接收到的姿勢資訊來導出機器人20的姿勢數據。
又,攝像裝置200將一邊拍攝被拍攝體30並同時錄音到之被拍攝體30的聲音傳送到姿勢控制裝置100。攝像裝置200除了可以傳送一邊拍攝被拍攝體30攝像並錄音到之被拍攝體30的聲音,也可以將顯示該聲音的時間之時間戳記傳送至姿勢控制裝置100。顯示聲音的時間之時間戳記係用以顯示被拍攝體30的拍攝影像有關之聲音的時間。
姿勢控制裝置100係可以透過網路40聲音,將從攝像裝置200所接收到的聲音及時間戳記傳送到識別伺服器50。網路40可以是包括網際網路。聲音識別伺服器50係藉由對接收到的聲音進行聲音識別來產生表示聲音内容的文字數據,對於該文字數據附記對應的時間戳記而傳送到姿勢控制裝置100。姿勢控制裝置100係儲存從聲音識別伺服器50所接收到的文字數據及時間戳記。姿勢控制裝置100係可以自行對於從攝像裝置200所接收到的聲音進行聲音識別,產生表示聲音之内容的文字數據,對於該文字數據附記對應的時間戳記並儲存。
另外,姿勢控制裝置100係可以從攝像裝置200,接收表示一邊拍攝被拍攝體30並同時錄音之聲音的内容之文字數據及時間戳記。在此種情況下,攝像裝置200係藉由對於一邊拍攝被拍攝體30並同時錄音之被拍攝體30的聲音進行聲音識別,來生成表示聲音的内容之文字數據,對於文字數據附記對應的時間戳記並傳送至姿勢控制裝置100。
姿勢控制裝置100係對在對於機器人20的姿勢數據實施轉換處理之後,再使用機器人20的姿勢數據、文字數據及時間戳記來控制機器人20之連續的複數個姿勢,用以作成使該連續的複數個姿勢同步並使發出文字數據所表示的内容之聲音用的控制數據,進而傳送到機器人20。經由以上的流程,能夠使機器人20來執行與被拍攝體30的動作及聲音相對應之動作及聲音。
圖2係概略地顯示姿勢控制裝置100的姿勢數據之轉換例。姿勢數據例302係例示針對機器人20的一個關節之轉換前的姿勢數據的一例子;姿勢數據例304係例示轉換後的姿勢數據的一例子。在此處,雖然例示了姿勢値為角度値的情況,然而姿勢値不限定於此,也可以是其他的値。
轉換前的姿勢數據也會有包含每時框的角度値之情況。在姿勢數據為包含每時框的角度値之情況下,使用該姿勢數據來驅動機器人20、以及實驗性地証明機器人20的動作也會有不順暢的情況。又,在姿勢數據為包含每時框的角度値之情況下,機器人20所具備的馬達等之驅動部的負荷難免變成過高的情況。相對於此,本實施形態相關的姿勢控制裝置100係使機器人20的動作變平順,並為了降低機器人20所具備的驅動部之負荷而轉換姿勢數據。
姿勢控制裝置100係預先將複數個閾値、取得相鄰的閾値間之値的設定値予以登錄,並依此來轉換姿勢數據。例如,姿勢控制裝置100係在相鄰的閾値之間包含有比連續的預定之第1數還大的姿勢値之情況下,將該姿勢値轉換成用以取得該相鄰的閾値間之値的設定値。圖2係例示第1數值為4的情況。在圖2中,於姿勢數據例302中,從在閾値314和閾値316之間包含有比連續的4還大之數的姿勢値來看,該姿勢値為被轉換成閾値314和閾値316間之設定値325。
又,例如,姿勢控制裝置100係在相鄰的閾値之間連續的姿勢値的數值為大於第1數、且比基於第1數所所決定的第1數還大但小於第2數的情況下,將該連續的姿勢値轉換成該相鄰的閾値間之設定値的1個設定値;在該連續的姿勢値的數值為大於第2數的情況下,將該連續的姿勢値轉換成該相鄰的閾値間之設定値的2個以上的設定値。圖2係例示第1數乘2加算1得到的値9而成為第2數之情況。在圖2中,因為閾値312和閾値314之間連續的姿勢値的數值為大於9,所以該姿勢値被轉換成閾値312和閾値314間之2個設定値323。因此,可以使機器人20的動作暫時地以設定値323所表示的角度停止,進而能夠使機器人20成為意圖的姿態(pose)。另外,在此處,雖然列舉了藉由對於第1數乘2並加算1來決定第2數的例子來進行説明,然而第2數的決定法並未限於此而已,只要與第1數相比之下第2數值為大的決定法皆可,也可以使用其他的決定法。
圖3係概略地顯示姿勢控制裝置100之姿勢數據的轉換例。姿勢數據例402係例示機器人20的一關節之在轉換前的姿勢數據之一例子;姿勢數據例404係例示轉換後之姿勢數據的一例子。
姿勢控制裝置100係在相鄰的閾値之間連續的姿勢値的數值為比上述之第1數還小的情況下,從姿勢數據刪除該連續的姿勢値。圖3係例示第1數值為4的情況。在圖3中,因為在區域422內,閾値416和閾値418之間連續的姿勢値的數值小於4;在區域424內,於閾値412和閾値414之間連續的姿勢値的數值小於4;在區域426內,於閾値412和閾値414之間、於閾値414和閾値416之間、於閾値416和閾値418之間連續的姿勢値的數值分別小於4,所以刪除各姿勢値。
圖4係概略地顯示於姿勢數據之轉換所適用的設定例500。設定例500包括閾値區域510、設定値區域520、及無效的時框數區域530。閾値區域510包含有複數個輸入欄512。設定値區域520包含有複數個輸入欄522。無效的時框數區域530包含有複數個輸入欄532。對於輸入欄512、輸入欄522、及輸入欄532之輸入,例如,可藉由姿勢控制裝置100的使用者來進行。
在圖4所例示的例子中,在閾値區域510中,於下限-120度、上限120度之間設定有-70度、-55度、-30度、-15度、5度、15度、35度、70度、及90度。在此處,雖然例示了設定有9個閾値的情況,然而閾値之數不限於此。又,在設定値區域520中,於相鄰的閾値的各個之間設定有-60度、-40度、-20度、0度、10度、25度、50度、及80度。又,在無效的時框數區域530中,於相鄰的閾値的各個之間設定為4。在圖4所例示的例子中,雖然在全部之輸入欄532中皆同樣地設定為4,然而也可以設定成不同的値。無效的時框數為第1數的一例子。
如上述,能夠藉由不以均等的間隔而以任意間隔來設定複數個閾値,例如,藉由對於一個角度範圍設定大於其他的角度範圍之閾値,能夠使機器人20於該一個角度範圍進行精密的動作。又,如上述,相鄰的閾値間之設定値不是設定成相鄰的閾値之中央値而是任意地設定,例如,能夠對於對象的機器人20設定適當且適合的角度。
閾値、設定値、及無效的時框數可以是能夠對於每個姿勢數據設定不同的値。亦即,閾値、設定値、及無效的時框數可以是能夠對於機器人20的複數個關節之各個設定不同的値。
圖5係概略地顯示姿勢控制裝置100之姿勢數據的轉換例。姿勢數據例602為例示針對機器人20的一個關節之轉換前的姿勢數據的一例子;姿勢數據例604為例示轉換後的姿勢數據的一例子。姿勢控制裝置100可以從姿勢數據刪除包含於姿勢數據中之一個姿勢値、與該一個姿勢値以後的該一個姿勢値之差為大於預定之値的最初姿勢値間之姿勢値。圖5係例示預定之値為5度之情況。姿勢數據例604係例示在姿勢數據例602中,反復進行刪除與一個姿勢値之差係達到5度以上為止之間的姿勢値之處理的結果。
圖6係概略地例示姿勢控制裝置100之姿勢數據的轉換例。姿勢數據例602係例示針對機器人20的一個關節之轉換前的姿勢數據的一例子;姿勢數據例606係例示轉換後的姿勢數據之一例子。圖6係例示預定之値為15度的情況。姿勢數據例606係例示反復進行刪除在姿勢數據例602中,與一個姿勢値之差達到15度以上為止之間之姿勢値的處理之結果。預定之値可以是對於每個姿勢數據設定不同的値。亦即,預定之値係能夠對於機器人20之複數個關節的各個設定不同的値。
圖7係概略地顯示姿勢控制裝置100之機能構成的一例子。姿勢控制裝置100係具備姿勢數據取得部102、姿勢數據儲存部104、姿勢値轉換部106、姿勢値刪除部110、控制數據作成部114、聲音資訊取得部116、控制數據送信部118、發聲控制部120、錄音數據取得部122、聲音鑑別部124、設定部126、及控制數據取得部128。另外,姿勢控制裝置100並未必須限定於具備此等之全部的構成。
姿勢數據取得部102係用以取得機器人20的姿勢數據。姿勢數據取得部102係可以從攝像裝置200接收機器人20的姿勢數據。又,姿勢數據取得部102係從攝像裝置200接收包含有分別顯示被拍攝體30之連續的複數個姿勢的複數個姿勢値的姿勢資訊,進而從該姿勢資訊導出機器人20的姿勢數據。姿勢數據儲存部104係用以儲存姿勢數據取得部102所取得的姿勢數據。
姿勢値轉換部106係對於被儲存在姿勢數據儲存部104的姿勢數據中所包含之複數個姿勢値實施轉換處理。姿勢値轉換部106係在姿勢數據中包含有比第1閾値和第2閾値之間連續的預定之第1數還大的姿勢値之情況下,將該姿勢値轉換成在第1閾値和第2閾値間之預定的姿勢値。第1閾値和第2閾値間之預定的姿勢値可以是第1閾値和第2閾値間之設定値。姿勢値轉換部106係在第1閾値和第2閾値之間連續的姿勢値的數值為小於第1數的情況下,從姿勢數據刪除該連續的姿勢値。所謂從姿勢數據刪除姿勢値可以是指從記憶姿勢値的記憶媒體除去姿勢値。又,所謂從姿勢數據刪除姿勢値也可以是指不從記憶姿勢値的記憶媒體消除姿勢値,而是從姿勢數據排除姿勢値。
姿勢値轉換部106係在第1閾値和第2閾値之間連續的姿勢値之數值為大於第1數、且比基於第1數所決定的第1數還大但小於第2數情況下,可以將該連續的姿勢値轉換成1個預定之姿勢値。又,姿勢値轉換部106係在第1閾値和第2閾値之間連續的姿勢値之數值為大於第2數的情況下,可以將該連續的姿勢値轉換成2個以上之預定的姿勢値。
姿勢値刪除部110係將被儲存於姿勢數據儲存部104的姿勢數據內所包含的複數個姿勢値之中,刪除相當於預定的條件之姿勢値。姿勢値刪除部110係可以從姿勢數據刪除:一個姿勢値、與該一個姿勢値以後的該一個姿勢値間之差為比預定的値還大的最初姿勢値間之姿勢値。
控制數據作成部114係基於被儲存於姿勢數據儲存部104的姿勢數據中所包含的複數個姿勢値,來作成用以控制機器人20之連續的複數個姿勢用的控制數據。控制數據作成部114也可以是對於複數個姿勢値藉由實行平順(smoothing)處理來作成控制數據。
控制數據作成部114可以是基於用以控制機器人20的右側及左側中之一者的關節之連續的複數個姿勢用之控制數據,來作成用以控制機器人20的右側及左側之另外的關節之連續的複數個姿勢用之控制數據。在使機器人20進行左右對稱的動作之情況下,被拍攝體30成為在攝像裝置200的前方進行左右對稱的動作,有時會有人類難以進行左右對稱的動作之情況。相對於此,在本實施形態相關的姿勢控制裝置100中,可以從例如基於被拍攝體30的右手之動作所作成的機器人20之右手用的控制數據,來作成與該右手用的控制數據相對應的左手用之控制數據,能夠容易地實現機器人20之左右對稱的動作。
聲音資訊取得部116係用以取得表示由攝像裝置200一邊拍攝被拍攝體30並同時錄音之被拍攝體30的聲音之内容的聲音資訊、表示該聲音的時間之時間戳記。聲音資訊可以是表示聲音的内容之文字數據。
聲音資訊取得部116,例如,首先將從攝像裝置200所接收到的聲音及時間戳記傳送到聲音識別伺服器50。接著,聲音資訊取得部116從聲音識別伺服器50接收與由聲音識別伺服器50所產生的時間戳記對應地附記之文字數據。
又,聲音資訊取得部116係可以自我對於從攝像裝置200所接收到的聲音進行聲音識別,進而產生表示聲音的内容之文字數據,於該文字數據中對應地附記時間戳記並儲存。又,聲音資訊取得部116可以從攝像裝置200接收與時間戳記對應地附記之文字數據。
控制數據作成部114可以基於由聲音資訊取得部116所取得的時間戳記,來作成使機器人20之連續的複數個姿勢同步,並使機器人20發出由聲音資訊取得部116取得的聲音資訊所表示的内容之聲音的控制數據。
聲音資訊取得部116可以進一步地取得被拍攝體30的聲音之高度資訊及速度資訊。聲音資訊取得部116在從聲音識別伺服器50接收文字數據的情況下,可以從聲音識別伺服器50將高度資訊及速度資訊一起接收。聲音識別伺服器50在對於從姿勢控制裝置100所接收到的聲音進行聲音識別之時,可以一起產生該聲音的高度資訊及速度資訊,並傳送至姿勢控制裝置100。
聲音資訊取得部116在從攝像裝置200接收文字數據的情況下,也可以從攝像裝置200一起接收高度資訊及速度資訊。攝像裝置200在對於一邊拍攝被拍攝體30並同時錄音之聲音進行聲音識別之時,可以一起產生該聲音的高度資訊及速度資訊,並傳送至姿勢控制裝置100。
聲音資訊取得部116在對於從攝像裝置200所接收到的聲音進行自我聲音識別的情況下,對於該聲音進行聲音識別之時,可以一起產生該聲音的高度資訊及速度資訊。
控制數據作成部114可以基於聲音資訊取得部116所取得的高度資訊及速度資訊,來決定使機器人20發出聲音資訊所表示的内容之聲音的高度及速度。
控制數據送信部118係用以將經由控制數據作成部114所作成的控制數據傳送至機器人20。
發聲控制部120係使用複數個聲音參數,使機器人20將由聲音資訊取得部116取得的聲音資訊所表示的内容發出聲音複數次。發聲控制部120係使用例如說話速度、聲調高度、聲音粗細、聲音大小、語調(intonation)、腔調(accent)、情感種類、及情感程度等之値中至少一種為不相同的複數個聲音參數,使機器人20發出複數次聲音。
錄音數據取得部122係用以取得對於經由機器人20按照發聲控制部120之控制所發出的複數個聲音進行錄音而得到之錄音數據。錄音數據取得部122係用以取得藉由例如姿勢控制裝置100具備的未圖示之麥克風所錄音的錄音數據。錄音數據取得部122也可以從該裝置接收藉由姿勢控制裝置100以外的裝置具備之麥克風所錄音的錄音數據。
聲音鑑別部124係對於由錄音數據取得部122取得的複數個錄音數據、與由聲音資訊取得部116取得的被拍攝體30之聲音進行比較,來鑑別出與被拍攝體30的聲音之類似度最高的聲音。控制數據作成部114也可以作成用來使機器人20發出經由聲音鑑別部124所鑑別出的聲音之控制數據。機器人20之發聲,有時也有試著發聲時卻不知如何發聲的情況,但根據本實施形態相關的姿勢控制裝置100,由於藉由複數個聲音參數使機器人20發聲複數次,能夠採用與被拍攝體30的聲音最類似的聲音,所以能夠使機器人20忠實地重現被拍攝體30的發聲内容。
設定部126係用以執行與姿勢數據之變更有關的各種設定。例如,設定部126為用以執行閾値區域510的閾値之設定、設定値區域520的設定値之設定、及無效的時框數區域530的時框數之設定。又,設定部126為用以執行關於姿勢數據之變更是否要執行的設定。設定部126也可以接收姿勢控制裝置100之使用者的設定輸入。
控制數據取得部128係用以取得控制數據。控制數據取得部128也可以取得經由任意的裝置所作成的控制數據。控制數據取得部128係取得由例如其他的姿勢控制裝置100所作成的控制數據。控制數據取得部128係從例如可搬運型的記憶媒體取得控制數據。又,控制數據取得部128係用以接收透過網路40控制數據。控制數據作成部114也可以經由編集由控制數據取得部128所取得的控制數據來作成控制數據。又,控制數據作成部114也可以不對於控制數據取得部128所接收到的控制數據進行編集,而傳送至控制數據送信部118。
在上述實施形態中,雖然列舉姿勢控制裝置100和攝像裝置200為分別個體的情況為例子來説明,然而姿勢控制裝置100和攝像裝置200也可以是一體的。亦即,姿勢控制裝置100也可以具備有攝像裝置200的機能。
又,在上述實施形態中,雖然列舉以機器人20做為對象物的一例子,然而並未限定於此而已。對象物可以是機器人20以外的實體物的物體(object)。又,對象物也可以是假想的物體。例如,對象物也可以是遊戲内之人物(character)等之假想的3維物體。
圖8係概略地顯示具有做為姿勢控制裝置100的機能之電腦1000之一例子。本實施形態相關的電腦1000係具備:具有藉由主控制器1092相互地連接的中央處理器 (CPU) 1010、隨機存取記憶體 (RAM) 1030、圖形控制器1085、及聲音控制器1087之CPU周邊部;具有藉由輸入輸出控制器1094而連接於主控制器1092的通訊介面 (I/F) 1040、硬碟驅動器1050、光碟 (DVD) 驅動器1070及照相機1096之輸入輸出部;具有與輸入輸出控制器1094連接的唯讀記憶體 (ROM) 1020、軟碟 (FD) 驅動器1060、及輸入輸出晶片1080的傳統 (legacy) 輸入輸出部。
CPU 1010係基於儲存在ROM 1020及RAM 1030中之程式來動作,執行各部之控制。圖形控制器1085係用以取得由CPU 1010等產生在設於RAM 1030内的時框・緩衝器上之畫像數據,使之顯示於顯示裝置1086上。取而代之,圖形控制器1085之内部也可以包含用以儲存由CPU 1010等所產生的畫像數據之時框・緩衝器。聲音控制器1087係透過麥克風1088來取得聲音。
通訊I/F 1040係經由有線或無線通過網路而與其他的裝置進行通訊。又,通訊I/F 1040係擔任做為進行通訊的硬體之機能。照相機1096係用以拍攝動畫影像。照相機1096也可以是與通訊I/F1040外部連接。硬碟驅動器1050係用以儲存CPU 1010所使用的程式及數據。DVD驅動器1070係從DVD-ROM 1072讀取程式或數據,通過RAM 1030而提供至硬碟驅動器1050。
ROM 1020係用以儲存在電腦1000起動時執行的啟動程式 (boot program)、及依附於電腦1000之硬體的程式等。FD驅動器1060係從撓性碟片1062讀取程式或數據,通過RAM 1030而提供至硬碟驅動器1050。輸入輸出晶片1080係將FD驅動器1060與輸入輸出控制器1094相連接,並且通過例如並列埠、序列埠、鍵盤埠、滑鼠埠等而將各種的輸入輸出裝置與輸入輸出控制器1094相連接。
通過RAM 1030而提供至硬碟驅動器1050的程式係儲存於撓性碟片1062、DVD-ROM 1072、或晶片卡 (IC卡) 等之記錄媒體,為利用者所提供。程式係從記錄媒體被讀出,通過RAM 1030而安裝於硬碟驅動器1050,並在CPU 1010中執行。
安裝於電腦1000,使電腦1000擔任執行姿勢控制裝置100之機能的程式係可以在CPU 1010等運作,可以使電腦1000執行擔任做為姿勢控制裝置100之各部的個別機能。此等之程式中所記述的資訊處理係藉由被電腦1000所讀取,而擔任做為軟體和上述之各種的硬體資源一同遲作之具體手段的姿勢數據取得部102、姿勢數據儲存部104、姿勢値轉換部106、姿勢値刪除部110、控制數據作成部114、聲音資訊取得部116、控制數據送信部118、發聲控制部120、錄音數據取得部122、聲音鑑別部124、設定部126、及控制數據取得部128之機能。接著,藉由此等之具體手段來執行因應本實施形態中之電腦1000的使用目的而設的資訊演算或加工,藉此以建構成因應使用目的而設之特有的姿勢控制裝置100。
以上,使用實施形態來説明本發明,然而本發明之技術的範圍並未限定於上述實施形態所記載之範圍。熟習此項技術者當明白:對於上述實施形態能夠施加多樣的變更或改良。施加此類的變更或改良之形態也是包含在本發明之技術範圍,此點由申請專利範圍之記載即可明白。
申請專利範圍、說明書、及圖面中所示的裝置、系統、程式、及方法中之動作、順序、步驟、及階段等之各處理的執行順序,應留章的是:除非特別明示「在之前」、「事先」等,又,只要不是將前處理的輸出使用在後處理,即可以任意的順序來實現。關於申請專利範圍、說明書、及圖面中之動作流程,即使是為了方便而地使用「首先」、「其次」等來説明,亦不意味著必須按照此順序來實施。
10‧‧‧姿勢控制系統
20‧‧‧機器人
30‧‧‧被拍攝體
50‧‧‧聲音識別伺服器
100‧‧‧姿勢控制裝置
102‧‧‧姿勢數據取得部
104‧‧‧姿勢數據儲存部
106‧‧‧姿勢値轉換部
110‧‧‧姿勢値刪除部
114‧‧‧控制數據作成部
116‧‧‧聲音資訊取得部
118‧‧‧控制數據送信部
120‧‧‧發聲控制部
122‧‧‧錄音數據取得部
124‧‧‧聲音鑑別部
126‧‧‧設定部
128‧‧‧控制數據取得部
200‧‧‧攝像裝置
210、1096‧‧‧照相機
220、1088‧‧‧麥克風
302、304、402、404、602、604、606‧‧‧姿勢數據例
312、314、316、412、414、416、418‧‧‧閾値
323、325‧‧‧設定値
422、424、426‧‧‧區域
500‧‧‧設定例
510‧‧‧閾値區域
512、522、532‧‧‧輸入欄
520‧‧‧設定値區域
530‧‧‧無效時框數區域
1000‧‧‧電腦
1010‧‧‧CPU
1020‧‧‧ROM
1030‧‧‧RAM
1040‧‧‧通訊I/F
1050‧‧‧硬碟驅動器
1060‧‧‧FD驅動器
1062‧‧‧撓性碟片
1070‧‧‧DVD驅動器
1072‧‧‧DVD-ROM
1080‧‧‧輸入輸出晶片
1085‧‧‧圖形控制器
1086‧‧‧顯示裝置
1087‧‧‧聲音控制器
1092‧‧‧主控制器
1094‧‧‧輸入輸出控制器
圖1係概略地顯示姿勢控制系統10的一例子。 圖2係概略地顯示姿勢控制裝置100的姿勢數據之轉換例。 圖3係概略地顯示姿勢控制裝置100的姿勢數據之轉換例。 圖4係概略地顯示設定例500。 圖5係概略地顯示姿勢控制裝置100的姿勢數據之轉換例。 圖6係概略地顯示姿勢控制裝置100的姿勢數據之轉換例。 圖7係概略地顯示姿勢控制裝置100之機能構成的一例子。 圖8係概略地顯示做為姿勢控制裝置100的機能之電腦1000的一例子。
302、304‧‧‧姿勢數據例
312、314、316‧‧‧閾值
323、325‧‧‧設定值

Claims (12)

  1. 一種記錄媒體,其係儲存有使電腦執行擔任姿勢數據取得部、姿勢値轉換部、與控制數據作成部之機能用的程式之電腦可讀取的記錄媒體,其中: 該姿勢數據取得部為用以取得包含有分別表示對象物之連續的複數個姿勢之複數個姿勢値的姿勢數據; 該姿勢値轉換部為用以在前述姿勢數據包含有在第1閾値和第2閾値之間比連續的預定之第1數還大的姿勢値之情況下,將比前述連續的預定之第1數還大的姿勢値轉換成前述第1閾値和前述第2閾値間之預定的姿勢値;以及 該控制數據作成部為用以作成基於經由前述姿勢値轉換部所轉換的姿勢値來控制前述對象物之連續的複數個姿勢用之控制數據。
  2. 如請求項1所記載之記錄媒體,其中在前述第1閾値和前述第2閾値間之連續的姿勢値之數值為小於前述第1數的情況下,前述姿勢値轉換部將該連續的姿勢値從前述姿勢數據中予以刪除。
  3. 如請求項1所記載之記錄媒體,其中在前述第1閾値和前述第2閾値間之連續的姿勢値之數值為大於前述第1數、並且比基於前述第1數所決定的前述第1數還大但小於第2數的情況下,前述姿勢値轉換部係將該連續的姿勢値轉換成1個前述預定之姿勢値;在該連續的姿勢値之數值為大於前述第2數的情況,前述姿勢値轉換部係將該連續的姿勢値轉換成2個以上的前述預定之姿勢値。
  4. 如請求項1所記載之記錄媒體,其中前述程式係進一步使前述電腦執行擔任姿勢値刪除部之機能; 該姿勢値刪除部係用以將前述姿勢數據中所包含的一個姿勢値、與前述一個姿勢値之後的前述一個姿勢値間之差為大於預定値之最初姿勢値間的姿勢値,從前述姿勢數據中予以刪除。
  5. 如請求項1所記載之記錄媒體,其中前述姿勢數據取得部係用以取得經由解析被攝像裝置攝像的被拍攝體之動作所導出的前述姿勢數據。
  6. 如請求項5所記載之記錄媒體,其中前述程式係用以使前述電腦執行擔任用以取得聲音資訊、與顯示前述聲音的時間之時間戳記(time stamp)的聲音資訊取得部之機能; 該聲音資訊係顯示由前述攝像裝置對於前述被拍攝體進行攝像並錄音得到之前述被拍攝體的聲音内容; 前述控制數據作成部係用來作成:基於前述時間戳記,使前述對象物之連續的複數個姿勢同步,並使前述對象物發出前述聲音資訊所表示内容的聲音之前述控制數據。
  7. 如請求項6所記載之記錄媒體,其中前述聲音資訊取得部係進一步取得前述被拍攝體的聲音之高度資訊及速度資訊; 前述控制數據作成部係用於使前述對象物基於前述高度資訊及速度資訊,來決定發出前述聲音資訊所表示的内容之聲音的高度及速度。
  8. 如請求項6或7所記載之記錄媒體,其中前述聲音資訊取得部係用以取得表示前述被拍攝體的聲音内容之文字數據(text data) 以做為前述聲音資訊; 前述程式係使前述電腦更進一步執行擔任做為錄音數據取得部、及聲音鑑別部之機能; 發聲控制部係使用複數個聲音參數,使前述對象物將前述文字數據所表示的内容發出聲音複數次; 對於經由前述對象物發聲之複數個聲音進行錄音來取得複數個錄音數據之錄音數據取得部; 該聲音鑑別部係用以在前述錄音數據取得部所取得的前述複數個錄音數據之聲音中,鑑別出前述被拍攝體的聲音間之類似度最高的聲音; 前述控制數據作成部係用以作成使前述對象物發出經由前述聲音鑑別部所鑑別出的聲音之前述控制數據。
  9. 如請求項5所記載之記錄媒體,其中前述被拍攝體為人類; 前述對象物為機器人的關節; 前述姿勢數據取得部係對於前述機器人的複數個關節分別取得前述姿勢數據; 前述姿勢値轉換部係對於前述複數個關節,在前述姿勢數據中包含於前述第1閾値和前述第2閾値之間比連續的前述第1數還大的姿勢値之情況下,分別地將比前述第1數還大的姿勢値轉換成前述預定之姿勢値。
  10. 如請求項9所記載之記錄媒體,其係能夠將前述複數個關節的個各設定成分別不同的值,以做為前述第1閾値、前述第2閾値、及前述預定之姿勢値。
  11. 如請求項9或10所記載之記錄媒體,其中前述控制數據作成部係基於用來控制前述機器人的右側及左側之一者的關節之連續的複數個姿勢用之控制數據,來作成用來控制前述機器人的右側及左側之另外的關節之連續的複數個姿勢用之控制數據。
  12. 一種姿勢控制系統,其係具備: 攝像部,其係用於對被拍攝體進行攝像; 姿勢數據取得部,其係藉由解析前述攝像部所攝像的前述被拍攝體之動作,來取得包含有分別表示對象物之連續的複數個姿勢之複數個姿勢値的姿勢數據; 姿勢値轉換部,其係於前述姿勢數據中包含有在第1閾値和第2閾値之間比連續的預定之第1數還大的姿勢値之情況下,將比前述連續的預定之第1數還大的姿勢値,轉換成在前述第1閾値和前述第2閾値間之預定的姿勢値;以及 控制數據作成部,其係基於經前述姿勢値轉換部所轉換的姿勢値,來作成用以控制前述對象物之連續的複數個姿勢之控制數據。
TW106113822A 2016-04-27 2017-04-25 姿勢控制系統及電腦可讀取的記錄媒體 TW201738057A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016089632A JP6378716B2 (ja) 2016-04-27 2016-04-27 姿勢制御システム及びプログラム

Publications (1)

Publication Number Publication Date
TW201738057A true TW201738057A (zh) 2017-11-01

Family

ID=60161534

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106113822A TW201738057A (zh) 2016-04-27 2017-04-25 姿勢控制系統及電腦可讀取的記錄媒體

Country Status (3)

Country Link
JP (1) JP6378716B2 (zh)
TW (1) TW201738057A (zh)
WO (1) WO2017188014A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI664550B (zh) * 2018-07-26 2019-07-01 華夏學校財團法人華夏科技大學 高爾夫球運動員揮桿姿勢檢測系統

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2607619B2 (ja) * 1988-04-28 1997-05-07 三菱重工業株式会社 ロボットの教示データの記録・再生方法
JPH0320805A (ja) * 1989-06-19 1991-01-29 Mitsubishi Heavy Ind Ltd ロボットの教示方法
JPH0944228A (ja) * 1995-08-02 1997-02-14 Meidensha Corp ロボットデータ削減方法
JP2007125645A (ja) * 2005-11-04 2007-05-24 Hitachi Ltd ロボット動作編集システム
SG182033A1 (en) * 2011-01-03 2012-07-30 Katotec Pte Ltd Singapore Robot controllers and content files therefor
JP5932612B2 (ja) * 2012-11-16 2016-06-08 株式会社スクウェア・エニックス 情報処理装置、制御方法、プログラム、及び記録媒体
JP2014102664A (ja) * 2012-11-20 2014-06-05 Talkie System Co Ltd コンテンツ作成・記録・再生システム
JP6718169B2 (ja) * 2015-07-07 2020-07-08 学校法人幾徳学園 情報提示システム、情報提示装置及びプログラム
JP5892531B1 (ja) * 2015-11-16 2016-03-23 プレンプロジェクト・ホールディングス有限会社 リンク列マッピング装置、リンク列マッピング方法、及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI664550B (zh) * 2018-07-26 2019-07-01 華夏學校財團法人華夏科技大學 高爾夫球運動員揮桿姿勢檢測系統

Also Published As

Publication number Publication date
JP6378716B2 (ja) 2018-08-22
JP2017196699A (ja) 2017-11-02
WO2017188014A1 (ja) 2017-11-02

Similar Documents

Publication Publication Date Title
US10552666B2 (en) Identification using depth-based head-detection data
JP6680841B2 (ja) 反応型映像生成方法及び生成プログラム
CN107251096B (zh) 图像捕获装置和方法
US10559062B2 (en) Method for automatic facial impression transformation, recording medium and device for performing the method
JP6339489B2 (ja) 画像分割方法および画像分割装置
CN107004287B (zh) 化身视频装置和方法
KR102488530B1 (ko) 동영상을 생성하기 위한 방법 및 장치
TWI255141B (en) Method and system for real-time interactive video
US10713471B2 (en) System and method for simulating facial expression of virtual facial model
JP7373589B2 (ja) ポーズ類似度判別モデル生成方法及びポーズ類似度判別モデル生成装置
JP2018530017A (ja) 感情拡張アバターアニメーション
KR102045575B1 (ko) 스마트 미러 디스플레이 장치
CN107066081B (zh) 一种虚拟现实系统的交互控制方法和装置及虚拟现实设备
WO2020114157A1 (zh) 交互控制方法和装置、存储介质及电子装置
CN110573992B (zh) 使用增强现实和虚拟现实编辑增强现实体验
JP2007257088A (ja) ロボット装置及びそのコミュニケーション方法
RU2721180C1 (ru) Способ генерации анимационной модели головы по речевому сигналу и электронное вычислительное устройство, реализующее его
Kowalski et al. Holoface: Augmenting human-to-human interactions on hololens
TW201738057A (zh) 姿勢控制系統及電腦可讀取的記錄媒體
US20180126561A1 (en) Generation device, control method, robot device, call system, and computer-readable recording medium
KR102126370B1 (ko) 동작 인식 장치 및 방법
JP2017531226A (ja) 動作認識方法及び動作認識装置
JP6886663B2 (ja) 動作指示生成システム、方法およびプログラム
US11042274B2 (en) Extracting demonstrations from in-situ video content
KR102116673B1 (ko) 마커리스 이미지를 이용한 블랜드쉐입 웨이트 결정 시스템 및 방법, 및 컴퓨터 판독 가능한 저장매체