TWI695281B - 翻譯系統、翻譯方法、以及翻譯裝置 - Google Patents
翻譯系統、翻譯方法、以及翻譯裝置 Download PDFInfo
- Publication number
- TWI695281B TWI695281B TW108102574A TW108102574A TWI695281B TW I695281 B TWI695281 B TW I695281B TW 108102574 A TW108102574 A TW 108102574A TW 108102574 A TW108102574 A TW 108102574A TW I695281 B TWI695281 B TW I695281B
- Authority
- TW
- Taiwan
- Prior art keywords
- language
- translation
- user
- data
- user terminal
- Prior art date
Links
- 238000013519 translation Methods 0.000 title claims abstract description 322
- 238000000034 method Methods 0.000 title claims abstract description 16
- 238000006243 chemical reaction Methods 0.000 claims description 79
- 239000000463 material Substances 0.000 claims description 76
- 230000005540 biological transmission Effects 0.000 claims description 33
- 210000000988 bone and bone Anatomy 0.000 claims description 31
- 238000004891 communication Methods 0.000 description 63
- 230000005236 sound signal Effects 0.000 description 53
- 238000012545 processing Methods 0.000 description 42
- 238000010586 diagram Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 18
- 230000000694 effects Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 244000205754 Colocasia esculenta Species 0.000 description 3
- 235000006481 Colocasia esculenta Nutrition 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 210000005069 ears Anatomy 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000008451 emotion Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Machine Translation (AREA)
Abstract
本發明提供一種翻譯方法,具有:翻譯裝置3確定第1用戶所使用的第1語言及第2用戶所使用的第2語言的步驟;第1用戶所使用的第1用戶終端U1接受第1語言的聲音的輸入的步驟;第1用戶終端將第1語言的聲音轉換為正文資料,並將轉換後的正文資料發送至翻譯裝置3的步驟;翻譯裝置3將正文資料轉換為第2語言的翻譯資料的步驟;翻譯裝置3對第2用戶所使用的第2用戶終端發送翻譯資料的步驟;以及第2用戶終端輸出對翻譯資料進行轉換而得的第2語言的聲音的步驟。
Description
本發明是有關於一種用以翻譯所輸入的聲音的翻譯系統、翻譯方法、翻譯裝置以及聲音輸出入裝置。
先前,已知有對輸入的聲音進行翻譯的技術。
在日本公開專利公報的特開2013-201505號公報中揭示了如下技術:對輸入的聲音進行翻譯並生成字符碼串,將字符碼串發送至通訊對方側的裝置,在通訊對方側的裝置中以字幕的形式顯示字符碼串。
[發明所欲解決之課題]
在先前的技術中,是將翻譯後所製作的字符碼串以字幕的形式來顯示,因此,進行交流的人們必須目視確認顯示器中所顯示的字幕。在此情況下,存在無法一面觀察對方的表情一面進行會話這一問題。
因此,本發明鑒於該些方面而成,目的在於提供一種可提高與使用不同的語言的對方間的交流的品質的翻譯系統、翻譯方法、翻譯裝置以及聲音輸出入裝置。 [解決課題之手段]
本發明的第1形態的翻譯系統包括第1用戶所使用的第1用戶終端及能夠與所述第1用戶終端通訊的翻譯裝置。所述第1用戶終端具有:聲音輸入部,接受第1語言的聲音的輸入;終端發送部,將對所述聲音輸入部所接受到的所述第1語言的聲音進行轉換而得的第1語言正文資料(text data)發送至所述翻譯裝置;終端接收部,自所述翻譯裝置接收將第2用戶所使用的第2用戶終端中所輸入的第2語言的語言資訊翻譯成所述第1語言而得的第1語言翻譯資料;以及聲音輸出部,輸出對所述終端接收部所接收到的所述第1語言翻譯資料進行轉換而得的所述第1語言的聲音。
所述翻譯裝置具有:確定部,確定所述第1用戶所使用的第1語言及所述第2用戶所使用的第2語言;裝置接收部,自所述第1用戶終端接收所述第1語言正文資料;語言轉換部,將所述裝置接收部所接收到的所述第1語言正文資料轉換為第2語言翻譯資料;以及裝置發送部,對所述第2用戶終端發送所述第2語言翻譯資料。
亦可為:所述語言轉換部將所述第2語言翻譯資料轉換為所述第1語言而生成再翻譯資料,所述裝置發送部將所述再翻譯資料發送至所述第1用戶終端,所述聲音輸出部在所述聲音輸入部接受所述第1語言的聲音的輸入期間,輸出所述再翻譯資料。
亦可為:所述裝置發送部在所述語言轉換部已將所述第2用戶終端中所輸入的所述第2語言的語言資訊轉換為所述第1語言翻譯資料的情況下,中止所述再翻譯資料的發送而發送所述第1語言翻譯資料。
亦可為:當在將所述再翻譯資料發送至所述第1用戶終端之後,所述裝置接收部接收到了包含規定的單詞的所述第1語言正文資料時,所述裝置發送部中止向所述第2用戶終端發送所述第2語言翻譯資料。
亦可為:所述裝置接收部自所述第2用戶終端接收對第2語言的聲音進行轉換而得的第2語言正文資料,所述語言轉換部將所述裝置接收部所接收到的所述第2語言的所述第2語言正文資料轉換為第1語言翻譯資料,當在發送所述第1語言翻譯資料期間,所述語言轉換部結束了新的所述第1語言翻譯資料的生成時,所述裝置發送部中止發送過程中的所述第1語言翻譯資料的發送,而開始新的所述第1語言翻譯資料的發送。
亦可為:所述聲音輸出部具有骨導揚聲器,在所述聲音輸入部接受所述第1語言的聲音的輸入期間,自所述骨導揚聲器輸出所述第1語言的聲音。
亦可為:所述聲音輸入部具有用以獲取聲音的多個主麥克風及用以獲取周圍聲音的副麥克風,所述終端發送部將與自所述多個主麥克風所獲取到的聲音去除所述副麥克風所獲取到的周圍聲音後的聲音對應的正文資料作為與所述第1語言的聲音對應的所述第1語言正文資料而予以發送。
亦可為:在由用戶穿戴著所述第1用戶終端的狀態下,所述副麥克風與所述第1用戶的嘴之間的距離大於所述多個主麥克風與所述第1用戶的嘴之間的距離。
亦可為:所述第1用戶終端進而具有:提取部,基於對輸入至所述多個主麥克風各者的聲音與輸入至所述副麥克風的聲音進行比較的結果,自所述多個主麥克風的至少任一者中所輸入的聲音提取所述第1語言的聲音;以及正文轉換部,將所述提取部所提取到的所述第1語言的聲音轉換為所述第1語言正文資料。
亦可為:所述提取部基於對輸入至所述多個主麥克風各者的聲音進行比較的結果,確定被推定為所述第1語言的聲音的聲音,並基於對所確定出的聲音與所述副麥克風中所輸入的聲音進行比較的結果而提取所述第1語言的聲音。
亦可為:所述終端發送部將用以確定所述第2用戶的用戶確定資訊,與所述第1語言正文資料相關聯地發送至所述翻譯裝置,所述確定部藉由參照以與多個用戶相關聯的方式對所述多個用戶各自所使用的語言進行記憶的記憶部,而確定與所述終端發送部所發送的所述用戶確定資訊所表示的所述第2用戶相關聯地記憶於所述記憶部的所述第2語言。
亦可為:所述終端發送部在開始所述第1語言正文資料的發送之前,將用以確定所述第2用戶的語言的語言資訊發送至所述翻譯裝置,所述確定部基於所述終端發送部所發送的所述語言資訊來確定所述第2語言。
亦可為:所述確定部基於所述第1語言正文資料中所含的單詞來確定所述第2語言。
本發明的第2形態的翻譯方法具有:翻譯裝置確定第1用戶所使用的第1語言及第2用戶所使用的第2語言的步驟;第1用戶所使用的第1用戶終端接受第1語言的聲音的輸入的步驟;所述第1用戶終端將所述第1語言的聲音轉換為正文資料,並將轉換後的所述正文資料發送至所述翻譯裝置的步驟;所述翻譯裝置將所述正文資料轉換為所述第2語言的翻譯資料的步驟;所述翻譯裝置對所述第2用戶所使用的第2用戶終端發送所述翻譯資料的步驟;以及所述第2用戶終端輸出對所述翻譯資料進行轉換而得的所述第2語言的聲音的步驟。
本發明的第3形態的翻譯裝置具有:確定部,確定第1用戶所使用的第1語言及第2用戶所使用的第2語言;裝置接收部,自所述第1用戶所使用的第1用戶終端接收對所述第1語言的聲音進行轉換而得的第1語言正文資料;語言轉換部,將所述裝置接收部所接收到的所述第1語言正文資料轉換為第2語言翻譯資料;以及裝置發送部,對所述第2用戶所使用的第2用戶終端發送所述第2語言翻譯資料。
本發明的第4形態的聲音輸出入裝置具有:聲音輸入部,接受第1語言的聲音的輸入;終端發送部,將對所述聲音輸入部所接受到的所述第1語言的聲音進行轉換而得的正文資料發送至將所述第1語言翻譯為第2語言的翻譯裝置;終端接收部,自所述翻譯裝置接收將第2用戶所使用的第2用戶終端中所輸入的所述第2語言的語言資訊翻譯成所述第1語言而得的第1語言翻譯資料;以及聲音輸出部,在對所述聲音輸入部輸入聲音期間,輸出對所述終端接收部所接收到的所述第1語言翻譯資料進行轉換而得的所述第1語言的聲音。 [發明的效果]
根據本發明,起到可提高與使用不同語言的對方間的交流的品質這一效果。
[翻譯系統S1的概要] 圖1是表示本實施方式的翻譯系統S1的構成的圖。翻譯系統S1具有頭戴設備1(1a、1b、1c)及資訊終端2(2a、2b、2c),以及作為翻譯裝置而發揮功能的翻譯裝置3。頭戴設備1及資訊終端2藉由聯動地進行動作而作為聲音輸出入裝置即用戶終端而發揮功能。
在圖1中,示出了講第1語言(例如日語)的用戶U1、講第2語言(例如英語)的用戶U2、講第3語言(例如漢語)的用戶U3。翻譯系統S1為了使分別講不同的語言的多個用戶能夠彼此理解其他用戶所講的話語,而將各用戶所講的話語翻譯為其他用戶所講的語言的話語,並將翻譯後的話語以聲音的形式輸出。在以下的說明中,假設用戶U1為在旅遊景點對遊客進行引導的導遊(guide),用戶U2及用戶U3為接受用戶U1的說明的遊客來進行說明。
在圖1所示的示例中,用戶U1、用戶U2及用戶U3分別穿戴有頭戴設備1a、頭戴設備1b、頭戴設備1c。而且,用戶U1、用戶U2及用戶U3分別保持有資訊終端2a、資訊終端2b、資訊終端2c。資訊終端2a、資訊終端2b、資訊終端2c例如為智慧型手機。頭戴設備1a、頭戴設備1b、頭戴設備1c可分別經由無線信道(channel)B1、無線信道B2、無線信道B3而與資訊終端2a、資訊終端2b、資訊終端2c之間收發資料。無線信道例如為藍牙(Bluetooth)(註冊商標)。
頭戴設備1a、頭戴設備1b、頭戴設備1c具有相同的構成,在以下的說明中,無需區分各者的情況下,有時稱為頭戴設備1。同樣地,資訊終端2a、資訊終端2b、資訊終端2c具有相同的構成,在以下的說明中,無需區分各種的情況下,有時稱為資訊終端2。
頭戴設備1構成為可由用戶穿戴於頭部,接受用戶所講的聲音的輸入,並將輸入的聲音轉換為數位聲音訊號。頭戴設備1經由無線信道B1對預先關聯的資訊終端2發送數位聲音訊號。
資訊終端2對自頭戴設備1接收到的數位聲音訊號中所含的聲音進行識別,並轉換為正文資料。當在頭戴設備1中輸入有第1語言的聲音時,資訊終端2製作第1語言的正文資料。例如當在頭戴設備1中輸入有日語的聲音時,資訊終端2製作日語的正文資料。
資訊終端2將所製作的第1語言的正文資料發送至翻譯裝置3。在圖1所示的示例中,資訊終端2經由無線通訊線路W、存取點(access point)4及網路N而將第1語言的正文資料發送至翻譯裝置3。無線通訊線路W例如為Wi-Fi(註冊商標)的線路,亦可為使用其他無線通訊方式的線路。
翻譯裝置3在接收到第1語言的正文資料後,將所接收到的第1語言的正文資料轉換為預先確定出的第2語言的正文資料。翻譯裝置3例如在自講日語的用戶U1所使用的資訊終端2a接收到日語的正文資料後,製作經翻譯成被選擇為用戶U1進行會話的對方的用戶U2所能夠理解的英語的正文資料。在本說明書中,將由翻譯裝置3進行翻譯而生成的正文資料稱為翻譯資料。翻譯裝置3將所製作的第2語言的翻譯資料發送至資訊終端2b。
資訊終端2b將所接收到的第2語言的正文資料轉換為數位聲音訊號,並將轉換後的數位聲音訊號經由無線信道B2而發送至頭戴設備1b。頭戴設備1b將所接收到的數位聲音訊號轉換為類比聲音訊號,並以用戶U2能夠識別的方式輸出。
翻譯裝置3在製作第2語言的正文資料之後,將第2語言的正文資料轉換為第1語言的正文資料,而製作第1語言的再翻譯資料。翻譯裝置3將所製作的再翻譯資料發送至資訊終端2a。資訊終端2a將所接收到的第1語言的再翻譯資料轉換為數位聲音訊號,並經由無線信道B1將數位聲音訊號發送至頭戴設備1a。頭戴設備1a將所接收到的數位聲音訊號轉換為類比聲音訊號,並以用戶U1能夠識別的方式輸出。
頭戴設備1a例如在自將基於由用戶U1在規定的期間輸入的聲音的正文資料發送至翻譯裝置3起,經過翻譯裝置3生成再翻譯資料所需的時間後,輸出基於與規定的期間對應的再翻譯資料的聲音。規定的期間例如是藉由用戶U1操作資訊終端2a而設定的、輸入成為進行翻譯的對象的話語的期間。關於用戶U1設定規定的期間的操作的細節,將後述。
藉由由翻譯裝置3製作再翻譯資料,並由頭戴設備1輸出基於再翻譯資料的聲音,用戶U1可對自己發出的話語與基於再翻譯資料的聲音所表示的話語進行比較,來確認自己發出的話語是否得到了正確地翻譯。因此,用戶U1在確認到未得到正確地翻譯的情況下,可對作為正在會話的對方的用戶U2及用戶U3做出進行訂正的手勢(gesture)或換作其他話語。
如上所述,翻譯系統S1將對頭戴設備1中所輸入的聲音進行翻譯而得的正文資料自頭戴設備1以聲音的形式輸出,所以穿戴著頭戴設備1的用戶可一面看著使用與自己不同的語言的對方的臉一面進行講話,來理解對方所講的內容。因此,翻譯系統S1可提高與使用不同語言的對方間的交流的品質。
細節將後述,頭戴設備1具有骨導揚聲器。因此,用戶可一面用耳朵聽取進行會話的對方的原始聲音,一面經由骨導揚聲器聽取對對方所發出的聲音進行翻譯而得的內容及對自己所發出的聲音進行再翻譯而得的內容。藉由頭戴設備1具有所述構成,用戶可一面用耳朵聽取對方的原始聲音,一面藉由骨導聽取翻譯後的聲音,所以能夠把握對方的感情來理解對方所講的內容。結果,可進一步提高與使用不同語言的對方間的交流的品質。 以下,對頭戴設備1、資訊終端2及翻譯裝置3的細節進行說明。
[頭戴設備1的外觀] 圖2是表示頭戴設備1的外觀的圖。如圖2所示,頭戴設備1具有第1主麥克風11、第2主麥克風12、副麥克風13、骨導揚聲器14、控制單元15、纜線16、麥克風收容部17、連接構件18及主體部19。
第1主麥克風11、第2主麥克風12及副麥克風13作為聲音輸入部而發揮功能。第1主麥克風11及第2主麥克風12是用以獲取用戶U所發出的聲音的主麥克風,副麥克風13是用以獲取周圍聲音的副麥克風。在由用戶U穿戴著頭戴設備1的狀態下,副麥克風13與用戶U的嘴之間的距離大於作為多個主麥克風的第1主麥克風11及第2主麥克風12與用戶U的嘴之間的距離。
第1主麥克風11與第2主麥克風12並列設於經由可撓性的連接構件18而連接於主體部19的麥克風收容部17。另一方面,副麥克風13設於以與用戶的耳朵的下部附近接觸的方式穿戴的骨導揚聲器14的附近。用戶在使麥克風收容部17的位置靠近嘴邊的狀態下進行使用,所以第1主麥克風11及第2主麥克風12與副麥克風13相比,在靠近用戶U的嘴的位置獲取用戶U所發出的聲音。
副麥克風13設於與連接有連接構件18側的骨導揚聲器14R為相反側的骨導揚聲器14L的外側(即,不與用戶U接觸的一側)。如此,副麥克風13設於與骨導揚聲器14R相比,電性遠離第1主麥克風11及第2主麥克風12側的骨導揚聲器14L,因此,輸入至第1主麥克風11及第2主麥克風12的聲音訊號與輸入至副麥克風13的聲音訊號不易彼此干擾,所以可提升後述的雜訊去除性能。
骨導揚聲器14是藉由利用音壓使骨振動而可將聲音傳遞給用戶U的揚聲器。骨導揚聲器14R例如以接觸用戶的右側的耳朵的下部的髁狀突起的方式穿戴,骨導揚聲器14L以接觸用戶的左側的耳朵的下部的髁狀突起的方式穿戴,骨導揚聲器14R及骨導揚聲器14L的穿戴位置是任意的。骨導揚聲器14在第1主麥克風11及第2主麥克風12接受用戶所使用的語言(例如第1語言)的聲音的輸入期間,輸出第1語言的聲音。骨導揚聲器14所輸出的第1語言的聲音是基於對發出第2語言的其他用戶的聲音進行翻譯而得的資料的聲音,或基於再翻譯資料的聲音。
頭戴設備1具有骨導揚聲器14,藉此用戶可一面用耳朵聽取對方的原始聲音,一面藉由骨導聽取翻譯後的聲音,所以能夠把握對方的感情來理解對方所講的內容。
控制單元15收容有經由纜線16而與第1主麥克風11、第2主麥克風12、副麥克風13、骨導揚聲器14R、骨導揚聲器14L電性連接的各種電氣電路。電氣電路例如包括:作為自由第1主麥克風11、第2主麥克風12及副麥克風13所輸入的聲音去除雜訊,提取由用戶輸入的聲音的提取部而發揮功能的電路、將類比聲音訊號轉換為數位聲音訊號的編解碼器(Codec)電路,及用以與資訊終端2之間收發數位聲音訊號的通訊電路等。
[頭戴設備1及資訊終端2的內部構成] 圖3是表示頭戴設備1及資訊終端2的內部構成的圖。控制單元15具有聲音處理部151、通訊部152及控制部153。在以下的與頭戴設備1的構成相關的4說明中,以頭戴設備1為講第1語言的用戶U1所使用的頭戴設備1a來進行說明。
聲音處理部151作為藉由基於自第1主麥克風11、第2主麥克風12及副麥克風13輸入的聲音訊號來去除用戶U1所發出的聲音以外的周圍聲音,而提取用戶U1所發出的聲音的提取部來發揮功能。聲音處理部151藉由對所提取到的聲音例如進行脈衝碼調變(Pulse Code Modulation,PCM)編碼,而生成數位聲音訊號。聲音處理部151將所生成的數位聲音訊號輸入至通訊部152。
而且,聲音處理部151藉由對自通訊部152輸入的數位聲音訊號進行解碼而生成類比聲音訊號。聲音處理部151將所生成的類比聲音訊號經由骨導揚聲器14而予以輸出。
進而,聲音處理部151具有自由第1主麥克風11及第2主麥克風12輸入的聲音訊號去除周圍聲音等雜訊的功能。為了去除雜訊,聲音處理部151首先基於對輸入至第1主麥克風11及第2主麥克風12各者的聲音進行比較的結果確定被推定為第1語言的聲音的聲音。
聲音處理部151例如自輸入至第1主麥克風11的類比聲音訊號提取與輸入至第2主麥克風12的類比聲音訊號的相位之差為規定的範圍內的訊號,並去除振幅之差為規定的範圍外的訊號,藉此生成對被推定為第1語言的聲音的聲音進行提取而得的推定聲音訊號。規定的範圍例如為在作為用戶U穿戴著頭戴設備1的狀態下自用戶U的嘴起至第1主麥克風11為止的距離與自用戶U的嘴起至第2主麥克風12為止的距離之差而可設想的最大值下可設想的振幅之差以下的範圍。
繼而,聲音處理部151基於對基於輸入至第1主麥克風11的類比聲音訊號跟輸入至第2主麥克風12的類比聲音訊號的比較的結果而確定出的聲音、與輸入至副麥克風13的聲音進行比較的結果,提取自第1聲音訊號去除周圍聲音的成分後的第1語言的聲音。具體來說,聲音處理部151自所生成的推定聲音訊號去除輸入至副麥克風13的周圍聲音訊號的至少一部分的成分。
聲音處理部151在自推定聲音訊號去除周圍聲音訊號之前,以推定聲音訊號中明確為用戶U的聲音的水平(level)以上的訊號的衰減量成為規定的範圍以內的方式,使輸入至副麥克風13的周圍聲音訊號衰減。藉由如此操作,聲音處理部151可一面盡可能地殘留用戶所發出的聲音的成分,一面最大限度地去除周圍聲音的成分。
通訊部152包括用以將聲音處理部151所生成的數位聲音訊號發送至資訊終端2,且自資訊終端2接收數位聲音訊號的無線通訊模組。通訊部152作為將對第1主麥克風11及第2主麥克風12所接受到的第1語言的聲音進行轉換而得的第1語言正文資料發送至翻譯裝置3的終端發送部而發揮功能。而且,通訊部152作為自翻譯裝置3接收將用戶U2所使用的頭戴設備1b中所輸入的第2語言的語言資訊翻譯為第1語言而得的第1語言翻譯資料的終端接收部而發揮功能。進而,通訊部152接收再翻譯資料,所述再翻譯資料是將對通訊部152發送至翻譯裝置3的第1語言正文資料進行翻譯而得的第2語言翻譯資料翻譯成第1語言而得。
控制部153例如為內置中央處理單元(Central Processing Unit,CPU)、唯讀記憶體(Read Only Memory,ROM)及隨機存取記憶體(Random Access Memory,RAM)的單晶片微電腦(one-chip microcomputer)。控制部153藉由由CPU執行ROM中所記憶的程式,將程式中所記述的資料值寫入至聲音處理部151及通訊部152的暫存器(register),而對聲音處理部151及通訊部152進行控制。
繼而,對資訊終端2的構成進行說明。資訊終端2具有第1通訊部21、第2通訊部22、顯示部23、操作部24、記憶部25及控制部26。控制部26具有正文轉換部261及用戶界面(User Interface,UI)處理部262。
第1通訊部21包括用以經由無線信道B而自頭戴設備1接收數位聲音訊號,且將自聲音處理部151輸出的數位聲音訊號發送至頭戴設備1的無線通訊模組。 第2通訊部22包括用以經由無線通訊線路W而與存取點4之間收發正文資料的無線通訊模組。第2通訊部22例如將與自輸入至第1主麥克風11及第2主麥克風12的聲音去除了輸入至副麥克風13的周圍聲音之後的聲音對應的正文資料作為與第1語言的聲音對應的第1語言正文資料來發送。
顯示部23為顯示各種資訊的顯示器。顯示部23藉由UI處理部262的控制而顯示例如由正文轉換部261基於自頭戴設備1發送的數位聲音訊號而生成的第1語言正文資料,及第2通訊部22自翻譯裝置3接收的第1語言翻譯資料。關於顯示部23所顯示的資料的示例,將後述。
操作部24是用以受理用戶的操作的器件(device),例如為重疊設於顯示部23的觸控面板。操作部24將根據用戶的操作而產生的電氣訊號輸入至UI處理部262。
記憶部25為ROM或RAM等記憶媒體。記憶部25對控制部26所執行的程式進行記憶。而且,記憶部25對經由操作部24而輸入的使用資訊終端2的用戶所能夠講的語言名進行記憶。進而,記憶有正文轉換部261用以將數位聲音訊號轉換為正文資料的聲音識別詞典及用以將正文資料轉換為數位聲音訊號的聲音合成詞典。記憶部25以與多個語言名相關聯的方式記憶有多個聲音識別詞典及多個聲音合成詞典。
控制部26例如為CPU,藉由執行記憶部25中所記憶的程式而作為正文轉換部261及UI處理部262來發揮功能。
正文轉換部261將作為提取部而發揮功能的聲音處理部151所提取到的第1語言的聲音轉換為第1語言正文資料。具體而言,首先,正文轉換部261對自第1通訊部21輸入的數位聲音訊號進行解析來確定音素。然後,正文轉換部261藉由參照記憶部25,利用與使用資訊終端2的用戶所能夠講的語言名對應的聲音識別詞典,來確定數位聲音訊號中所含的單詞,藉此將數位聲音訊號轉換為第1語言正文資料。
正文轉換部261以與所生成的第1語言正文資料相關聯的方式將作為用以確定用戶的用戶確定資訊的帳戶名以及作為會話對方的用戶U2及用戶U3的帳戶名經由第2通訊部22發送至翻譯裝置3。正文轉換部261例如相應於自UI處理部262接受到開始翻譯所輸入的聲音的指示這一情況而在發送第1語言正文資料的同時發送用戶U2及用戶U3的帳戶名。另外,正文轉換部261在經由UI處理部262獲取到用戶U2能夠使用的第2語言名的情況下,亦可在開始發送第1語言正文資料之前,將用以確定用戶U2能夠使用的語言的語言資訊發送至翻譯裝置3。
而且,正文轉換部261藉由參照記憶部25中所記憶的聲音合成詞典,而將經由第2通訊部22自翻譯裝置3接收到的第1語言正文資料轉換為數位聲音訊號。正文轉換部261將所生成的數位聲音訊號經由第1通訊部21發送至頭戴設備1。
UI處理部262使自正文轉換部261所獲取到的正文資料顯示於顯示部23。而且,UI處理部262對自操作部24輸入的電氣訊號所表示的操作內容進行確定,並將確定出的操作內容通知給正文轉換部261。例如,UI處理部262將用戶所設定的用戶U1的帳戶名,及用戶U2及用戶U3的帳戶名通知給正文轉換部261,並使記憶部25予以記憶。
[翻譯裝置3的構成] 圖4是表示翻譯裝置3的構成的圖。翻譯裝置3具有通訊部31、記憶部32及控制部33。
通訊部31包括用以經由網路N與資訊終端2之間收發正文資料的通訊接口。通訊部31例如包括區域網路(Local Area Network,LAN)控制器。
記憶部32包括ROM、RAM及硬碟等記憶媒體。記憶部32記憶有控制部33所執行的程式。而且,記憶部32記憶有語言轉換部332用以將第1語言的正文資料轉換為其他語言的正文資料的詞典。進而,記憶部32記憶有將可利用翻譯系統S1的多個用戶的帳戶名與各用戶能夠使用的語言名相關聯的使用語言表。
控制部33例如為CPU,藉由執行記憶部32中所記憶的程式而作為翻譯控制部331及語言轉換部332而發揮功能。
翻譯控制部331以將自通訊部31接收到的第1語言正文資料轉換為第2語言翻譯資料的方式對語言轉換部332進行控制。而且,翻譯控制部331以將經由通訊部31而自資訊終端2b接收到的第2語言正文資料轉換為第1語言翻譯資料的方式對語言轉換部332進行控制。翻譯控制部331將由語言轉換部332進行轉換而生成的第2語言翻譯資料經由通訊部31而發送至資訊終端2b,並將由語言轉換部332進行轉換而生成的第1語言翻譯資料經由通訊部31而發送至資訊終端2a。
而且,翻譯控制部331在自語言轉換部332獲取到基於第1語言正文資料而生成的第2語言翻譯資料後,控制語言轉換部332將獲取到的第2語言翻譯資料翻譯為第1語言的正文資料而生成再翻譯資料。翻譯控制部331將語言轉換部332所生成的再翻譯資料經由通訊部31而發送至資訊終端2a。
進而,翻譯控制部331作為對用戶U1所使用的第1語言及用戶U2所使用的第2語言進行確定的確定部而發揮功能。翻譯控制部31參照記憶部32中所記憶的使用語言表,確定與經由第1通訊部21以與第1語言正文資料相關聯的方式自第2通訊部22發送的用戶U1的帳戶名對應的第1語言名,及與以與第1語言正文資料相關聯的方式接收到的用戶U2的帳戶名對應的第2語言名。翻譯控制部331將確定出的結果通知給語言轉換部332。
翻譯控制部331亦可基於自資訊終端2a發送的語言資訊來確定用戶U2能夠使用的第2語言。翻譯控制部331例如基於使用資訊終端2a的用戶U1進行了登入(log in)處理時所輸入的資訊來確定用戶U1能夠使用的第1語言及用戶U2能夠使用的第2語言。在此情況下,翻譯控制部331在至用戶U1登出(log off)為止的期間,使語言轉換部332基於確定出的第1語言及第2語言進行翻譯。
翻譯控制部331亦可藉由對接收到的第1語言正文資料進行解析,來確定用戶U1所使用的語言為第1語言。而且,翻譯控制部331亦可基於第1語言正文資料中所含的單詞來確定第2語言。翻譯控制部331例如基於所接收到的第1語言正文資料中所含的帳戶名來確定用戶U2所使用的語言為第2語言。具體而言,翻譯控制部331在第1語言正文資料的內容為「湯姆,初次見面」的情況下,檢測出「湯姆」為使用語言表中所含的帳戶名,並確定「湯姆」所能夠使用的語言為英語,藉此確定為第2語言為英語。
語言轉換部332基於自翻譯控制部331通知的語言類別,而將第1通訊部21自資訊終端2a接收到的第1語言正文資料轉換為第2語言翻譯資料。語言轉換部332在自翻譯控制部331接受到第1語言正文資料的輸入後,藉由對輸入的第1語言正文資料進行翻譯而生成第2語言翻譯資料,並將所生成的第2語言翻譯資料通知給翻譯控制部331。而且,語言轉換部332將第1通訊部21自資訊終端2b接收到的第2語言正文資料轉換為第1語言翻譯資料。語言轉換部332在自翻譯控制部331接受到第2語言正文資料的輸入後,藉由對輸入的第2語言正文資料進行翻譯而生成第1語言翻譯資料,並將所生成的第1語言翻譯資料通知給翻譯控制部331。
進而,語言轉換部332基於來自翻譯控制部331的指示,將基於第1語言正文資料而生成的第2語言翻譯資料翻譯為第1語言,以生成再翻譯資料。語言轉換部332將再翻譯資料通知給翻譯控制部331。
[資訊終端2的操作畫面] 繼而,對用戶U1開始與用戶U2及用戶U3的會話時的操作進行說明。圖5(a)、圖5(b)是表示用戶U1開始利用資訊終端2a時顯示於顯示部23的利用者選擇畫面的圖。在本實施方式中,假設資訊終端2a並非用戶U1自己的終端,而是租借的終端。因此,用戶U1首先需要設定用戶U1能夠使用的語言。
如圖5(a)所示,在利用者選擇畫面中,關聯地顯示能夠利用翻譯裝置3的翻譯服務的用戶的帳戶名與語言名。如圖5(b)所示,用戶U1藉由觸碰自己的帳戶名「太郎」的左側的核取方塊(check box)而能夠利用使用有資訊終端2a的翻譯服務。UI處理部262在「太郎」的左側的無線電鈕(radio button)被觸碰後,使記憶部25記憶用戶U1的帳戶名為「太郎」,所使用的語言為日語。
圖6(a)、圖6(b)是表示在選擇進行會話的對方時顯示於顯示部23的對方選擇畫面的圖。在圖6(a)中,與圖5(a)同樣地,關聯地顯示有能夠利用翻譯裝置3的翻譯服務的用戶的帳戶名與語言名。如圖6(b)所示,在用戶U1觸碰「湯姆」的左側的核取方塊及「周」的左側的核取方塊後,UI處理部262使記憶部25記憶用戶U2為「湯姆」、用戶U3為「周」。
圖7(a)、圖7(b)是表示在進行會話時顯示於顯示部23的會話用畫面的圖。如圖7(a)所示,會話用畫面中包括:第1區域R1,顯示對自己所發出的聲音進行轉換而得的第1語言正文資料;第2區域R2,顯示再翻譯資料;以及第3區域R3,顯示將對方所發出的聲音進行翻譯而得的第1語言翻譯資料。
而且,會話用畫面中包括用戶在輸入聲音期間所操作的「講話」圖標。正文轉換部261在手指觸碰著「講話」圖標期間,將頭戴設備1中所輸入的聲音轉換為第1語言正文資料,並在手指自「講話」圖標離開的時間點結束向第1語言正文資料的轉換處理。然後,正文轉換部261將與在自手指觸碰「講話」圖標起至手指離開為止的期間輸入的聲音對應的第1語言正文資料發送至翻譯裝置3。藉由如此操作,僅用戶指定的期間成為翻譯對象,因此可防止誤對在用戶未輸入聲音期間輸入至頭戴設備1中的周圍的聲音進行翻譯。
如圖7(b)所示,當用戶U1在觸碰著「講話」圖標的狀態下發出聲音時,在第1區域R1顯示表示用戶U1所發出的聲音的內容的第1語言正文資料。用戶U1可藉由對所表示的第1語言正文資料進行目視確認,而確認聲音得到了正確的識別。
資訊終端2a在用戶U1所目視確認的第1語言正文資料中存在錯誤的情況下,亦能夠以藉由用戶U1發出規定的單詞來取消所輸入的聲音的方式進行動作。正文轉換部261例如在頭戴設備1a中所輸入的聲音中檢測出「重發」這一單詞的情況下,將自觸碰「講話」圖標起至檢測出「重發」這一單詞為止的期間所生成的第1語言正文資料削除。正文轉換部261指示UI處理部262,亦將顯示於顯示部23的第1語言正文資料消去。藉由如此操作,正文轉換部261可防止在未能將用戶U1所發出的聲音轉換為正確的第1語言正文資料的情況下,將錯誤的第1語言正文資料發送至翻譯裝置3。
圖8(a)、圖8(b)是表示用戶U1自「講話」圖標鬆開手指後的資訊終端2a的畫面與資訊終端2b的畫面的圖。在圖8(a)所示的資訊終端2a的畫面的第2區域R2中,顯示有再翻譯資料。圖8(b)表示資訊終端2b的畫面,在資訊終端2b的第3區域R3中,顯示有將用戶U1所發出的「初次見面」這一日文進行翻譯而得的英文。
用戶U1可藉由對資訊終端2a中所顯示的再翻譯資料進行目視確認,而確認是否得到了正確地翻譯。當在顯示有再翻譯資料期間檢測出了用戶所發出的「重發」這一單詞時,正文轉換部261亦可將在第2語言翻譯資料中存在錯誤這一情況通知給翻譯裝置3。亦可由翻譯裝置3在識別到翻譯中存在錯誤這一情況後,將翻譯中存在錯誤這一情況通知給資訊終端2b,並由資訊終端2b消去第3區域R3中所表示的英文,而顯示表示被取消這一情況的單詞(例如,被取消(canceled))。藉由如此操作,翻譯裝置3可防止在未能將用戶U1所發出的聲音轉換為正確的第1語言正文資料的情況下,繼續在資訊終端2b顯示錯誤的第2語言翻譯資料。
翻譯控制部331亦可在自將再翻譯資料發送至資訊終端2a起,僅待機用戶U1用以確認再翻譯資料的內容而所需的時間後,將第2語言翻譯資料發送至資訊終端2b。在此情況下,翻譯控制部331亦可在將再翻譯資料發送至資訊終端2a後,通訊部31接收到了包含規定的單詞(例如「重發」)的第1語言正文資料的情況下,中止向用戶U2發送第2語言翻譯資料。藉由如此操作,翻譯裝置3可防止在未能將用戶U1所發出的聲音轉換為正確的第1語言正文資料的情況下,將錯誤的第2語言翻譯資料發送至資訊終端2b。
圖9(a)、圖9(b)是緊接著圖8(a)、圖8(b)的狀態來表示用戶U2發出第2語言的聲音後的資訊終端2a的畫面及資訊終端2b的畫面的圖。在圖9(b)所示的資訊終端2b的第1區域R1中,顯示有與用戶U2所發出的聲音對應的第2語言正文資料,在圖9(a)所示的資訊終端2a的第1區域R1中顯示有對第2語言正文資料進行翻譯而生成的第1語言翻譯資料。而且,在圖9(b)所示的資訊終端2b的第2區域R2中顯示有對第1語言翻譯資料進行翻譯而得的再翻譯資料。
自頭戴設備1a輸出與圖9(a)的第2區域R2中所示的再翻譯資料對應的第1語言的聲音以及與第3區域R3中所示的第1語言翻譯資料對應的第1語言的聲音。此時,若在自頭戴設備1a輸出第1語言的聲音的過程中,用戶U2發出第2語言的聲音並發送到了翻譯裝置3,則翻譯控制部331在語言轉換部332將頭戴設備1b中所輸入的第2語言的語言資訊轉換成了第1語言翻譯資料的情況下,中止再翻譯資料的發送並將第1語言翻譯資料發送至資訊終端2a。藉由如此操作,用戶U1能夠優先對用戶U2所發出的聲音的內容進行把握而非再翻譯資料的內容。
同樣地,當在將基於用戶U2所發出的第2語言的聲音的第1語言翻譯資料向資訊終端2a發送期間,由語言轉換部332新翻譯了用戶U2所發出的第2語言的聲音,結束了新的第1語言翻譯資料的生成的時,翻譯控制部331亦可中止發送過程中的第1語言翻譯資料的發送,而開始發送新的第1語言翻譯資料。藉由如此操作,用戶U2藉由在發出了包含錯誤內容的聲音的情況下迅速地發出正確的內容的聲音,而對用戶U1傳達正確的內容。
當在將基於用戶U2所發出的第2語言的聲音的第1語言翻譯資料向資訊終端2a發送期間,由語言轉換部332新翻譯了用戶U3所發出的第3語言的聲音,結束了新的第1語言翻譯資料的生成時,翻譯控制部331亦可中止發送過程中的第1語言翻譯資料的發送,而開始發送基於用戶U3所發出的第3語言的聲音的第1語言翻譯資料。在此情況下,亦可由翻譯控制部331通知資訊終端2b基於用戶U2所發出的聲音的第1語言翻譯資料的發送已中斷,並由資訊終端2b顯示第1語言翻譯資料的發送已中斷。藉由如此操作,用戶U2可識別到自己所講的內容未傳達給用戶U1,從而採取再次發言等適當的應對。
[翻譯系統S1中的處理順序] 圖10是表示翻譯系統S1中的處理順序的圖。圖10是自用戶U1在頭戴設備1a中開始輸入第1語言的聲音的時間點開始(步驟S11)。頭戴設備1a在被輸入第1語言的聲音後,將與第1語言的聲音對應的數位聲音資料發送至資訊終端2。
資訊終端2a將所接收到的數位聲音資料轉換為第1語言正文資料(步驟S12)。在此期間,資訊終端2a的UI處理部262對是否已結束了聲音輸入進行監視(步驟S13),正文轉換部261在至聲音輸入結束為止的期間,繼續生成第1語言正文資料。正文轉換部261在UI處理部262判定為已結束聲音輸入的情況下(步驟S13中為是(YES)),經由第2通訊部22而將所生成的第1語言正文資料發送至翻譯裝置3。
繼而,語言轉換部332將經由通訊部31而接收到的第1語言正文資料轉換為第2語言正文資料,而生成第2語言翻譯資料(步驟S14)。翻譯控制部331經由通訊部31而將語言轉換部332所生成的第2語言翻譯資料發送至資訊終端2b。
資訊終端2b的正文轉換部261在接收到第2語言翻譯資料後,將所接收到的第2語言翻譯資料轉換為第2語言的數位聲音訊號(步驟S15)。資訊終端2b的正文轉換部261將第2語言的數位聲音訊號經由第1通訊部21而發送至頭戴設備1b。頭戴設備1b的聲音處理部151將自資訊終端2b接收到的數位聲音訊號轉換為類比聲音訊號,並將第2語言的聲音自骨導揚聲器14輸出(步驟S16)。
在步驟S14中生成第2語言翻譯資料之後,翻譯控制部331使語言轉換部332將第2語言翻譯資料翻譯為第1語言來製作再翻譯資料(步驟S17),並將再翻譯資料發送至資訊終端2a。資訊終端2a的正文轉換部261在接收到再翻譯資料後,將所接收到的再翻譯資料轉換為第1語言的數位聲音訊號(步驟S18)。資訊終端2a的正文轉換部261將第1語言的數位聲音訊號經由第1通訊部21而發送至頭戴設備1a。頭戴設備1a的聲音處理部151將自資訊終端2a接收到的數位聲音訊號轉換為類比聲音訊號,並將第1語言的聲音自骨導揚聲器14輸出(步驟S19)。
另外,如上所述,正文轉換部261亦可在步驟S14之後將第2語言翻譯資料發送至資訊終端2b之前,將再翻譯資料發送至資訊終端2a,之後,在經過用戶U1用以確認再翻譯資料而所需的時間後將第2語言翻譯資料發送至資訊終端2b。
圖11是表示本實施方式的變形例的翻譯系統S2的構成的圖。在翻譯系統S2中,與翻譯系統S1的不同點在於:用戶U1使用具有資訊終端2a的一部分功能的頭戴設備10來替頭戴設備1a。而且,與翻譯系統S1的不同點在於:用戶U2及用戶U3不使用頭戴設備1b及頭戴設備1c,並使用資訊終端20b及資訊終端20c來代替資訊終端2b及資訊終端2c。
頭戴設備10除了圖3所示的頭戴設備1所具有的功能以外,亦具有正文轉換部261的功能。而且,具有第2通訊部22的功能代替頭戴設備1中的通訊部152。藉由如此,用戶U1不使用資訊終端2a而僅使用頭戴設備10便可與使用第2語言的用戶U2及使用第3語言的用戶U3進行會話。
另外,頭戴設備10亦可構成為:獲取經由無線信道而連接的資訊終端2中的操作內容,以便用戶U1能夠使用資訊終端2來設定開始翻譯的時間點。而且,頭戴設備10亦可使經由存取點4a而自翻譯裝置3接收到的再翻譯資料及第1語言翻譯資料顯示於經由無線信道而連接的資訊終端2,以便用戶U1能夠目視確認。
資訊終端20除了資訊終端2以外,亦具有輸入聲音的麥克風及輸出聲音的揚聲器。用戶U2及用戶U3藉由使用資訊終端20b及資訊終端20c而可在不穿戴頭戴設備1b及頭戴設備1c的情況下與用戶U1進行會話。
[翻譯系統S1及翻譯系統S2的效果] 如以上所說明般,本實施方式的翻譯系統S1及翻譯系統S2中,翻譯裝置3在將頭戴設備1a中所輸入的第1語言的聲音翻譯為第2語言的聲音之後發送至頭戴設備1b,頭戴設備1b輸出被翻譯為第2語言的聲音。而且,翻譯裝置3在將頭戴設備1b中所輸入的第2語言的聲音翻譯為第1語言的聲音之後發送至頭戴設備1a,頭戴設備1a輸出被翻譯為第1語言的聲音。藉由如此操作,穿戴有頭戴設備1a及頭戴設備1b的用戶可一面看著使用與自己不同的語言的對方的臉一面進行講話,來理解對方所講的內容,所以可提高與使用不同語言的對方間的交流的品質。
而且,頭戴設備1具有骨導揚聲器14。因此,用戶可一面用耳朵聽取對方的原始聲音,一面藉由骨導聽取翻譯後的聲音,所以能夠把握對方的感情來理解對方所講的內容。結果,可進一步提高與使用不同語言的對方間的交流的品質。
另外,在以上的說明中,對翻譯裝置3具有語言轉換部332的情況進行了例示,但翻譯裝置3亦可將具有翻譯功能的雲伺服器(cloud server)等外部的伺服器用作語言轉換部332。圖12是表示藉由與翻譯裝置3不同的語言轉換伺服器5來實現語言轉換部332的功能時的翻譯裝置3的構成的圖。如此,翻譯控制部331亦可藉由與以跟語言轉換部332同樣的方式進行動作的外部的語言轉換伺服器5經由通訊部31進行聯動,而執行翻譯處理。
以上,使用實施方式對本發明進行了說明,但本發明的技術性範圍並不限定於所述實施方式所記載的範圍,而能夠在其主旨的範圍內進行各種變形及變更。例如,裝置的分散·整合的具體的實施方式並不限於以上的實施方式,關於其全部或一部分,能夠以任意的單位進行功能性或物理性的分散·整合來構成。而且,藉由多個實施方式的任意的組合而產生的新的實施方式亦包括在本發明的實施方式中。藉由組合而產生的新的實施方式的效果兼具原本的實施方式的效果。
在以上的說明中,假設了資訊終端2為租借給用戶U的終端的情況,但資訊終端2亦可為用戶U與行動電話從業者簽約的終端。在此情況下,資訊終端2亦可預先記憶用戶U所使用的語言資訊,而不顯示圖5所示的利用者選擇畫面。
1、1a、1b、1c‧‧‧頭戴設備2、2a、2b、2c‧‧‧資訊終端3‧‧‧翻譯裝置4、4a、4b‧‧‧存取點5‧‧‧語言轉換伺服器10‧‧‧頭戴設備11‧‧‧第1主麥克風12‧‧‧第2主麥克風13‧‧‧副麥克風14、14L、14R‧‧‧骨導揚聲器15‧‧‧控制單元16‧‧‧纜線17‧‧‧麥克風收容部18‧‧‧連接構件19‧‧‧主體部20、20b、20c‧‧‧資訊終端21‧‧‧第1通訊部22‧‧‧第2通訊部23‧‧‧顯示部24‧‧‧操作部25‧‧‧記憶部26‧‧‧控制部31‧‧‧通訊部32‧‧‧記憶部33‧‧‧控制部151‧‧‧聲音處理部152‧‧‧通訊部153‧‧‧控制部261‧‧‧正文轉換部262‧‧‧處理部331‧‧‧翻譯控制部332‧‧‧語言轉換部B、B1、B2、B3‧‧‧無線信道N‧‧‧網路U1、U2、U3‧‧‧用戶R1‧‧‧第1區域R2‧‧‧第2區域R3‧‧‧第3區域S1、S2‧‧‧翻譯系統S11~S19‧‧‧步驟W、W1、W2、W3‧‧‧無線通訊線路
圖1是表示本實施方式的翻譯系統的構成的圖。 圖2是表示頭戴設備(headset)的外觀的圖。 圖3是表示頭戴設備及資訊終端的內部構成的圖。 圖4是表示翻譯裝置的構成的圖。 圖5(a)、圖5(b)是表示用戶開始利用資訊終端時顯示於顯示部的利用者選擇畫面的圖。 圖6(a)、圖6(b)是表示選擇進行會話的對方時顯示於顯示部的對方選擇畫面的圖。 圖7(a)、圖7(b)是表示進行會話時顯示於顯示部的會話用畫面的圖。 圖8(a)、圖8(b)是表示用戶自「講話」圖標(icon)鬆開手指後的資訊終端的畫面的圖。 圖9(a)、圖9(b)是緊接著圖8(a)、圖8(b)的狀態來表示用戶發出第2語言的聲音後的資訊終端的畫面的圖。 圖10是表示翻譯系統中的處理順序的圖。 圖11是表示本實施方式的變形例的翻譯系統的構成的圖。 圖12是表示藉由語言轉換伺服器來實現語言轉換部的功能時的翻譯裝置的構成的圖。
1a、1b、1c‧‧‧頭戴設備
2a、2b、2c‧‧‧資訊終端
3‧‧‧翻譯裝置
4a、4b‧‧‧存取點
B1、B2、B3‧‧‧無線信道
N‧‧‧網路
U1、U2、U3‧‧‧用戶
S1‧‧‧翻譯系統
W1、W2、W3‧‧‧無線通訊線路
Claims (13)
- 一種翻譯系統,包括:第1用戶所使用的第1用戶終端及能夠與所述第1用戶終端通訊的翻譯裝置,所述第1用戶終端具有:聲音輸入部,接受第1語言的聲音的輸入;終端發送部,將對所述聲音輸入部所接受到的所述第1語言的聲音進行轉換而得的第1語言正文資料發送至所述翻譯裝置;終端接收部,自所述翻譯裝置接收將第2用戶所使用的第2用戶終端中所輸入的第2語言的語言資訊翻譯成所述第1語言而得的第1語言翻譯資料;以及聲音輸出部,輸出對所述終端接收部所接收到的所述第1語言翻譯資料進行轉換而得的所述第1語言的聲音,所述翻譯裝置具有:確定部,確定所述第1用戶所使用的第1語言及所述第2用戶所使用的第2語言;裝置接收部,自所述第1用戶終端接收所述第1語言正文資料;語言轉換部,將所述裝置接收部所接收到的所述第1語言正文資料轉換為第2語言翻譯資料,且將所述第2語言翻譯資料轉換為所述第1語言而生成再翻譯資料;以及 裝置發送部,在對所述第2用戶終端發送所述第2語言翻譯資料的同時,將所述再翻譯資料發送至所述第1用戶終端,在所述語言轉換部已將所述第2用戶終端中所輸入的所述第2語言的語言資訊轉換為所述第1語言翻譯資料的情況下,中止所述再翻譯資料的發送而發送所述第1語言翻譯資料,所述聲音輸出部在所述聲音輸入部接受所述第1語言的聲音的輸入期間,輸出所述裝置發送部發送的再翻譯資料。
- 一種翻譯系統,包括:第1用戶所使用的第1用戶終端及能夠與所述第1用戶終端通訊的翻譯裝置,所述第1用戶終端具有:聲音輸入部,接受第1語言的聲音的輸入;終端發送部,將對所述聲音輸入部所接受到的所述第1語言的聲音進行轉換而得的第1語言正文資料發送至所述翻譯裝置;終端接收部,自所述翻譯裝置接收將第2用戶所使用的第2用戶終端中所輸入的第2語言的語言資訊翻譯成所述第1語言而得的第1語言翻譯資料;以及聲音輸出部,輸出對所述終端接收部所接收到的所述第1語言翻譯資料進行轉換而得的所述第1語言的聲音,所述翻譯裝置具有:確定部,確定所述第1用戶所使用的第1語言及所述第 2用戶所使用的第2語言;裝置接收部,自所述第1用戶終端接收所述第1語言正文資料;語言轉換部,將所述裝置接收部所接收到的所述第1語言正文資料轉換為第2語言翻譯資料,且將所述第2語言翻譯資料轉換為所述第1語言而生成再翻譯資料;以及裝置發送部,在對所述第2用戶終端發送所述第2語言翻譯資料的同時,將所述再翻譯資料發送至所述第1用戶終端,當在將所述再翻譯資料發送至所述第1用戶終端之後,所述裝置接收部接收到了包含中止所述第2語言翻譯資料的發送的指示的單詞的所述第1語言正文資料時,中止向所述第2用戶終端發送所述第2語言翻譯資料,所述聲音輸出部在所述聲音輸入部接受所述第1語言的聲音的輸入期間,輸出所述裝置發送部發送的再翻譯資料。
- 一種翻譯系統,包括:第1用戶所使用的第1用戶終端及能夠與所述第1用戶終端通訊的翻譯裝置,所述第1用戶終端具有:聲音輸入部,接受第1語言的聲音的輸入;終端發送部,將對所述聲音輸入部所接受到的所述第1語言的聲音進行轉換而得的第1語言正文資料,以及用以確定與所述第1用戶不同的第2用戶的用戶確定資訊,與所述第1語言 正文資料相關聯地發送至所述翻譯裝置;終端接收部,自所述翻譯裝置接收將所述第2用戶所使用的第2用戶終端中所輸入的第2語言的語言資訊翻譯成所述第1語言而得的第1語言翻譯資料;以及聲音輸出部,輸出對所述終端接收部所接收到的所述第1語言翻譯資料進行轉換而得的所述第1語言的聲音,所述翻譯裝置具有:確定部,確定所述第1用戶所使用的第1語言,且確定所述第2用戶所使用的第2語言,所述第2語言藉由參照以與多個用戶相關聯的方式對所述多個用戶各自所使用的語言進行記憶的記憶部,而與所述終端發送部所發送的所述用戶確定資訊所表示的所述第2用戶相關聯地記憶於所述記憶部;裝置接收部,自所述第1用戶終端接收所述第1語言正文資料;語言轉換部,將所述裝置接收部所接收到的所述第1語言正文資料轉換為第2語言翻譯資料;以及裝置發送部,對所述第2用戶終端發送所述第2語言翻譯資料。
- 一種翻譯系統,包括:第1用戶所使用的第1用戶終端及能夠與所述第1用戶終端通訊的翻譯裝置,所述第1用戶終端具有:聲音輸入部,接受第1語言的聲音的輸入; 終端發送部,將對所述聲音輸入部所接受到的所述第1語言的聲音進行轉換而得的第1語言正文資料發送至所述翻譯裝置;終端接收部,自所述翻譯裝置接收將第2用戶所使用的第2用戶終端中所輸入的第2語言的語言資訊翻譯成所述第1語言而得的第1語言翻譯資料;以及聲音輸出部,輸出對所述終端接收部所接收到的所述第1語言翻譯資料進行轉換而得的所述第1語言的聲音,所述翻譯裝置具有:確定部,確定所述第1用戶所使用的第1語言,且基於所述第1語言正文資料中所含的單詞來確定所述第2用戶所使用的第2語言;裝置接收部,自所述第1用戶終端接收所述第1語言正文資料;語言轉換部,將所述裝置接收部所接收到的所述第1語言正文資料轉換為第2語言翻譯資料;以及裝置發送部,對所述第2用戶終端發送所述第2語言翻譯資料。
- 如申請專利範圍第1項至第4項中任一項所述的翻譯系統,其中,所述聲音輸出部具有骨導揚聲器,在所述聲音輸入部接受所述第1語言的聲音的輸入期間,自所述骨導揚聲器輸出所述第1 語言的聲音。
- 一種翻譯方法,具有:翻譯裝置確定第1用戶所使用的第1語言及第2用戶所使用的第2語言的步驟;第1用戶所使用的第1用戶終端接受第1語言的聲音的輸入的步驟;所述第1用戶終端將所述第1語言的聲音轉換為第1語言正文資料,並將轉換後的所述第1語言正文資料發送至所述翻譯裝置的步驟;所述翻譯裝置將所述第1語言正文資料轉換為第2語言翻譯資料的步驟;所述翻譯裝置將所述第2語言翻譯資料轉換為所述第1語言而生成再翻譯資料的步驟;所述翻譯裝置在對所述第2用戶所使用的第2用戶終端發送所述第2語言翻譯資料的同時將所述再翻譯資料發送至所述第1用戶終端的步驟;所述第2用戶終端輸出對所述第2語言翻譯資料進行轉換而得的所述第2語言的聲音的步驟;所述第1用戶終端在接受所述第1語言的聲音的輸入期間,輸出所述再翻譯資料的步驟;以及所述翻譯裝置在發送所述再翻譯資料至第1用戶終端的步驟中,將所述第2用戶終端中所輸入的所述第2語言的語言資訊轉 換成所述第1語言翻譯資料的情況下,中止所述再翻譯資料的發送而發送所述第1語言翻譯資料的步驟。
- 一種翻譯方法,具有:翻譯裝置確定第1用戶所使用的第1語言及第2用戶所使用的第2語言的步驟;第1用戶所使用的第1用戶終端接受第1語言的聲音的輸入的步驟;所述第1用戶終端將所述第1語言的聲音轉換為第1語言正文資料,並將轉換後的所述第1語言正文資料發送至所述翻譯裝置的步驟;所述翻譯裝置將所述第1語言正文資料轉換為第2語言翻譯資料的步驟;所述翻譯裝置將所述第2語言翻譯資料轉換為所述第1語言而生成再翻譯資料的步驟;所述翻譯裝置在對所述第2用戶所使用的第2用戶終端發送所述第2語言翻譯資料的同時將所述再翻譯資料發送至所述第1用戶終端的步驟;所述第2用戶終端輸出對所述第2語言翻譯資料進行轉換而得的所述第2語言的聲音的步驟;所述第1用戶終端在接受所述第1語言的聲音的輸入期間,輸出所述再翻譯資料的步驟;以及所述翻譯裝置在發送所述再翻譯資料至第1用戶終端的步驟 中,當在將所述再翻譯資料發送至所述第1用戶終端之後,接收到了包含中止所述第2語言翻譯資料的發送的指示的單詞的所述第1語言正文資料時,中止向所述第2用戶終端發送所述第2語言翻譯資料的步驟。
- 一種翻譯方法,具有:翻譯裝置確定第1用戶所使用的第1語言及第2用戶所使用的第2語言的步驟;第1用戶所使用的第1用戶終端接受第1語言的聲音的輸入的步驟;所述第1用戶終端將所述第1語言的聲音轉換為第1語言正文資料,並將轉換後的所述第1語言正文資料發送至所述翻譯裝置的步驟;所述第1用戶終端將用以確定所述第2用戶的用戶確定資訊,與所述第1語言正文資料相關聯地發送的步驟;所述翻譯裝置將所述第1語言正文資料轉換為第2語言翻譯資料的步驟;所述翻譯裝置對所述第2用戶所使用的第2用戶終端發送所述第2語言翻譯資料的步驟;所述第2用戶終端輸出對所述第2語言翻譯資料進行轉換而得的所述第2語言的聲音的步驟,所述翻譯裝置在確定第2語言的步驟中,確定所述第2用戶所使用的第2語言,所述第2語言藉由參照以與多個用戶相關聯 的方式對所述多個用戶各自所使用的語言進行記憶的記憶部,而與所述第1用戶終端所發送的所述用戶確定資訊所表示的所述第2用戶相關聯地記憶於所述記憶部。
- 一種翻譯方法,具有:翻譯裝置確定第1用戶所使用的第1語言及第2用戶所使用的第2語言的步驟;第1用戶所使用的第1用戶終端接受第1語言的聲音的輸入的步驟;所述第1用戶終端將所述第1語言的聲音轉換為第1語言正文資料,並將轉換後的所述第1語言正文資料發送至所述翻譯裝置的步驟;所述翻譯裝置將所述第1語言正文資料轉換為第2語言翻譯資料的步驟;所述翻譯裝置對所述第2用戶所使用的第2用戶終端發送所述第2語言翻譯資料的步驟;所述第2用戶終端輸出對所述第2語言翻譯資料進行轉換而得的所述第2語言的聲音的步驟,所述翻譯裝置在確定第2語言的步驟中,基於所述第1語言正文資料中所含的單詞來確定所述第2用戶所使用的第2語言。
- 一種翻譯裝置,具有:確定部,確定第1用戶所使用的第1語言及第2用戶所使用的第2語言; 裝置接收部,自所述第1用戶使用的第1用戶終端接收對所述第1語言的聲音進行轉換而得的第1語言正文資料;語言轉換部,將所述裝置接收部所接收到的所述第1語言正文資料轉換為第2語言翻譯資料,且將所述第2語言翻譯資料轉換為所述第1語言而生成再翻譯資料;以及裝置發送部,在對所述第2用戶使用的第2用戶終端發送所述第2語言翻譯資料的同時,將所述再翻譯資料發送至所述第1用戶終端,在所述語言轉換部已將所述第2用戶終端中所輸入的所述第2語言的語言資訊轉換為所述第1語言翻譯資料的情況下,中止所述再翻譯資料的發送而發送所述第1語言翻譯資料。
- 一種翻譯裝置,具有:確定部,確定第1用戶所使用的第1語言及第2用戶所使用的第2語言;裝置接收部,自所述第1用戶使用的第1用戶終端接收對所述第1語言的聲音進行轉換而得的第1語言正文資料;語言轉換部,將所述裝置接收部所接收到的所述第1語言正文資料轉換為第2語言翻譯資料,且將所述第2語言翻譯資料轉換為所述第1語言而生成再翻譯資料;以及裝置發送部,在對所述第2用戶使用的第2用戶終端發送所述第2語言翻譯資料的同時,將所述再翻譯資料發送至所述第1用戶終端,當在將所述再翻譯資料發送至所述第1用戶終端之後,所述裝置接收部接收到了包含中止所述第2語言翻譯資料 的發送的指示的單詞的所述第1語言正文資料時,中止向所述第2用戶終端發送所述第2語言翻譯資料。
- 一種翻譯裝置,具有:確定部,確定第1用戶所使用的第1語言及第2用戶所使用的第2語言;裝置接收部,自所述第1用戶所使用的第1用戶終端接收對所述第1語言的聲音進行轉換而得的第1語言正文資料;語言轉換部,將所述裝置接收部所接收到的所述第1語言正文資料轉換為第2語言翻譯資料;以及裝置發送部,對所述第2用戶所使用的第2用戶終端發送所述第2語言翻譯資料,所述確定部確定所述第2用戶所使用的第2語言,所述第2語言藉由參照以與多個用戶相關聯的方式對所述多個用戶各自所使用的語言進行記憶的記憶部,而與自所述第1用戶使用的第1用戶終端所接收到的用戶確定資訊所表示的所述第2用戶相關聯地記憶於所述記憶部。
- 一種翻譯裝置,具有:確定部,確定第1用戶所使用的第1語言及第2用戶所使用的第2語言;裝置接收部,自所述第1用戶所使用的第1用戶終端接收對所述第1語言的聲音進行轉換而得的第1語言正文資料;語言轉換部,將所述裝置接收部所接收到的所述第1語言正 文資料轉換為第2語言翻譯資料;以及裝置發送部,對所述第2用戶所使用的第2用戶終端發送所述第2語言翻譯資料,所述確定部基於所述第1語言正文資料中所含的單詞來確定所述第2用戶所使用的第2語言。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
??PCT/JP2018/012098 | 2018-03-26 | ||
PCT/JP2018/012098 WO2019186639A1 (ja) | 2018-03-26 | 2018-03-26 | 翻訳システム、翻訳方法、翻訳装置、及び音声入出力装置 |
WOPCT/JP2018/012098 | 2018-03-26 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201941084A TW201941084A (zh) | 2019-10-16 |
TWI695281B true TWI695281B (zh) | 2020-06-01 |
Family
ID=65270550
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW108102574A TWI695281B (zh) | 2018-03-26 | 2019-01-23 | 翻譯系統、翻譯方法、以及翻譯裝置 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP6457706B1 (zh) |
TW (1) | TWI695281B (zh) |
WO (1) | WO2019186639A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110457716B (zh) * | 2019-07-22 | 2023-06-06 | 维沃移动通信有限公司 | 一种语音输出方法及移动终端 |
CN111476040A (zh) * | 2020-03-27 | 2020-07-31 | 深圳光启超材料技术有限公司 | 语言输出方法、头戴设备、存储介质及电子设备 |
CN111696552B (zh) * | 2020-06-05 | 2023-09-22 | 北京搜狗科技发展有限公司 | 一种翻译方法、装置和耳机 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101154221A (zh) * | 2006-09-28 | 2008-04-02 | 株式会社东芝 | 执行输入语音翻译处理的装置 |
CN101154220A (zh) * | 2006-09-25 | 2008-04-02 | 株式会社东芝 | 机器翻译装置和方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015060332A (ja) * | 2013-09-18 | 2015-03-30 | 株式会社東芝 | 音声翻訳装置、音声翻訳方法およびプログラム |
JP6094845B2 (ja) * | 2015-03-16 | 2017-03-15 | 株式会社eRCC | 耳装着型装置 |
JP6473066B2 (ja) * | 2015-10-26 | 2019-02-20 | 日本電信電話株式会社 | 雑音抑圧装置、その方法及びプログラム |
JP6697270B2 (ja) * | 2016-01-15 | 2020-05-20 | シャープ株式会社 | コミュニケーション支援システム、コミュニケーション支援方法、およびプログラム |
WO2018008227A1 (ja) * | 2016-07-08 | 2018-01-11 | パナソニックIpマネジメント株式会社 | 翻訳装置および翻訳方法 |
-
2018
- 2018-03-26 WO PCT/JP2018/012098 patent/WO2019186639A1/ja active Application Filing
- 2018-03-26 JP JP2018545518A patent/JP6457706B1/ja active Active
-
2019
- 2019-01-23 TW TW108102574A patent/TWI695281B/zh active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101154220A (zh) * | 2006-09-25 | 2008-04-02 | 株式会社东芝 | 机器翻译装置和方法 |
CN101154221A (zh) * | 2006-09-28 | 2008-04-02 | 株式会社东芝 | 执行输入语音翻译处理的装置 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2019186639A1 (ja) | 2020-04-30 |
TW201941084A (zh) | 2019-10-16 |
WO2019186639A1 (ja) | 2019-10-03 |
JP6457706B1 (ja) | 2019-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2019175426A (ja) | 翻訳システム、翻訳方法、翻訳装置、及び音声入出力装置 | |
US9484017B2 (en) | Speech translation apparatus, speech translation method, and non-transitory computer readable medium thereof | |
US9280539B2 (en) | System and method for translating speech, and non-transitory computer readable medium thereof | |
KR102108500B1 (ko) | 번역 기반 통신 서비스 지원 방법 및 시스템과, 이를 지원하는 단말기 | |
TWI695281B (zh) | 翻譯系統、翻譯方法、以及翻譯裝置 | |
JP2023022150A (ja) | 双方向音声翻訳システム、双方向音声翻訳方法及びプログラム | |
JP2005513619A (ja) | リアルタイム翻訳機および多数の口語言語のリアルタイム翻訳を行う方法 | |
KR101517975B1 (ko) | 동시 통/번역 기능을 가지는 이어폰 장치 | |
TW200304638A (en) | Network-accessible speaker-dependent voice models of multiple persons | |
CN111783481A (zh) | 耳机控制方法、翻译方法、耳机和云端服务器 | |
KR20160080711A (ko) | 통신 기반 통역 장치, 방법 및 시스템 | |
JP6832503B2 (ja) | 情報提示方法、情報提示プログラム及び情報提示システム | |
JP2014186713A (ja) | 会話システムおよびその会話処理方法 | |
JP5163682B2 (ja) | 通訳通話システム | |
TWM532593U (zh) | 語音翻譯系統 | |
WO2021080362A1 (ko) | 이어셋을 이용한 언어 처리 시스템 | |
JP2020113150A (ja) | 音声翻訳対話システム | |
KR102181583B1 (ko) | 음성인식 교감형 로봇, 교감형 로봇 음성인식 시스템 및 그 방법 | |
WO2006001204A1 (ja) | 自動翻訳装置及び自動翻訳方法 | |
KR102000282B1 (ko) | 청각 기능 보조용 대화 지원 장치 | |
WO2022113189A1 (ja) | 音声翻訳処理装置 | |
JP2018173910A (ja) | 音声翻訳システム及び音声翻訳プログラム | |
WO2016006354A1 (ja) | 情報処理装置及び翻訳データ提供方法 | |
KR20240074329A (ko) | 청각 장애인을 위한 작업장 음성 지원 장치 | |
GB2342202A (en) | Simultaneous translation |