JP2023506469A - 使用者端末、及びその制御方法 - Google Patents
使用者端末、及びその制御方法 Download PDFInfo
- Publication number
- JP2023506469A JP2023506469A JP2022535548A JP2022535548A JP2023506469A JP 2023506469 A JP2023506469 A JP 2023506469A JP 2022535548 A JP2022535548 A JP 2022535548A JP 2022535548 A JP2022535548 A JP 2022535548A JP 2023506469 A JP2023506469 A JP 2023506469A
- Authority
- JP
- Japan
- Prior art keywords
- information
- user terminal
- translation
- original
- language information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000013519 translation Methods 0.000 claims abstract description 75
- 238000000605 extraction Methods 0.000 claims abstract description 19
- 238000004891 communication Methods 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 abstract description 10
- 239000000284 extract Substances 0.000 description 9
- 230000006870 function Effects 0.000 description 3
- 208000032041 Hearing impaired Diseases 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/233—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440236—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4884—Data services, e.g. news ticker for displaying subtitles
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Machine Translation (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
使用者端末100には、通信網を介して、外部機器と各種データをやりとりする通信部140が設けられてもよい。
図2を参照すると、使用者端末100には、抽出部150が設けられてもよい。
また他の例として、制御部170は、テキスト原語情報から検出された人物名を人物情報として設定してもよいなど、人物情報設定方法には、制限がない。
図2を参照すると、使用者端末100には、使用者端末100の全般的な動作を制御する制御部170が設けられてもよい。
以下、動画に対する翻訳サービスを支援する使用者端末の動作について、簡単に説明する。
図7は、一実施形態による使用者端末の動作フローチャートを概略的に示す図である。
使用者端末は、映像ファイル及び音声ファイルのうち少なくとも一つを用いて、原語情報を抽出することができる710。
使用者端末は、原語情報を用いて翻訳情報を生成することができる720。
110 入力部
120 ディスプレイ
Claims (10)
- 動画ファイルから分離して生成した映像ファイル及び音声ファイルのうち少なくとも一つに基づき、登場人物のそれぞれに関する原語情報を抽出する抽出部と、
前記原語情報を、選択された言語により翻訳した翻訳情報を生成する翻訳部と、
前記原語情報及び翻訳情報のうち少なくとも一つを提供する制御部と、を含む
ことを特徴とする使用者端末。 - 前記原語情報は、音声原語情報及びテキスト原語情報のうち少なくとも一つを含み、
前記翻訳情報は、音声翻訳情報及びテキスト翻訳情報のうち少なくとも一つを含む
請求項1に記載の使用者端末。 - 前記抽出部は、
前記音声ファイルに対して周波数帯域分析プロセスを適用して、登場人物のそれぞれに関する音声原語情報を抽出し、
前記抽出した音声原語情報に対して音声認識プロセスを適用してテキスト原語情報を生成する
請求項1に記載の使用者端末。 - 前記抽出部は、
前記映像ファイルに対して映像処理プロセスを適用して手話パターンを検出し、前記検出した手話パターンに基づき、テキスト原語情報を抽出する
請求項1に記載の使用者端末。 - 前記抽出部は、
周波数帯域分析プロセスにより、前記音声ファイルに登場する登場人物の年齢及び性別のうち少なくとも一つを判断し、判断の結果に基づいて設定した人物情報を、前記原語情報にマッピングして保存する
請求項1に記載の使用者端末。 - 動画ファイルから分離して生成した映像ファイル及び音声ファイルのうち少なくとも一つに基づき、登場人物のそれぞれに関する原語情報を抽出するステップと、
前記原語情報を、選択された言語により翻訳した翻訳情報を生成するステップと、
前記原語情報及び翻訳情報のうち少なくとも一つを提供するステップと、を含む
ことを特徴とする使用者端末の制御方法。 - 前記抽出するステップは、
前記動画ファイル内に含まれた意思疎通手段により、映像ファイル及び音声ファイルのうち少なくとも一つに基づき、登場人物のそれぞれに関する原語情報を抽出するステップを含む
請求項6に記載の使用者端末の制御方法。 - 前記抽出するステップは、
前記音声ファイルに対して周波数帯域分析プロセスを適用して、通話者のそれぞれに関する音声原語情報を抽出するステップと、
前記抽出した音声原語情報に対して音声認識プロセスを適用してテキスト原語情報を生成するステップと、を含む
請求項6に記載の使用者端末の制御方法。 - 前記抽出するステップは、
前記映像ファイルに対して映像処理プロセスを適用して手話パターンを検出し、前記検出した手話パターンに基づき、テキスト原語情報を抽出するステップを含む
請求項6に記載の使用者端末の制御方法。 - 前記抽出するステップは、
周波数帯域分析プロセスにより、前記音声ファイルに登場する登場人物の年齢及び性別のうち少なくとも一つを判断し、判断の結果に基づいて設定した人物情報を、前記原語情報にマッピングして保存するステップをさらに含む
請求項6に記載の使用者端末の制御方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190162504A KR102178175B1 (ko) | 2019-12-09 | 2019-12-09 | 사용자 단말 및 그 제어방법 |
KR10-2019-0162504 | 2019-12-09 | ||
PCT/KR2020/017742 WO2021118184A1 (ko) | 2019-12-09 | 2020-12-07 | 사용자 단말 및 그 제어방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023506469A true JP2023506469A (ja) | 2023-02-16 |
Family
ID=73398585
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022535548A Pending JP2023506469A (ja) | 2019-12-09 | 2020-12-07 | 使用者端末、及びその制御方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230015797A1 (ja) |
JP (1) | JP2023506469A (ja) |
KR (1) | KR102178175B1 (ja) |
CN (1) | CN115066908A (ja) |
WO (1) | WO2021118184A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102178175B1 (ko) * | 2019-12-09 | 2020-11-12 | 김경철 | 사용자 단말 및 그 제어방법 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008160232A (ja) * | 2006-12-21 | 2008-07-10 | Funai Electric Co Ltd | 映像音声再生装置 |
KR20100026701A (ko) * | 2008-09-01 | 2010-03-10 | 한국산업기술대학교산학협력단 | 수화 번역기 및 그 방법 |
JP2012059121A (ja) * | 2010-09-10 | 2012-03-22 | Softbank Mobile Corp | 眼鏡型表示装置 |
JP2016091057A (ja) * | 2014-10-29 | 2016-05-23 | 京セラ株式会社 | 電子機器 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4100243B2 (ja) * | 2003-05-06 | 2008-06-11 | 日本電気株式会社 | 映像情報を用いた音声認識装置及び方法 |
KR101015234B1 (ko) * | 2008-10-23 | 2011-02-18 | 엔에이치엔(주) | 웹 상의 멀티미디어 컨텐츠에 포함되는 특정 언어를 다른 언어로 번역하여 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체 |
US20110246172A1 (en) * | 2010-03-30 | 2011-10-06 | Polycom, Inc. | Method and System for Adding Translation in a Videoconference |
CN102984496B (zh) * | 2012-12-21 | 2015-08-19 | 华为技术有限公司 | 视频会议中的视音频信息的处理方法、装置及系统 |
KR20150057591A (ko) * | 2013-11-20 | 2015-05-28 | 주식회사 디오텍 | 동영상파일에 대한 자막데이터 생성방법 및 장치 |
WO2017112813A1 (en) * | 2015-12-22 | 2017-06-29 | Sri International | Multi-lingual virtual personal assistant |
CN106657865B (zh) * | 2016-12-16 | 2020-08-25 | 联想(北京)有限公司 | 会议纪要的生成方法、装置及视频会议系统 |
KR102143755B1 (ko) * | 2017-10-11 | 2020-08-12 | 주식회사 산타 | 클라우드 서비스를 이용한 영상 콘텐츠의 음성 추출 및 기계번역 연동 서비스 제공 시스템 및 방법 |
CN109658919A (zh) * | 2018-12-17 | 2019-04-19 | 深圳市沃特沃德股份有限公司 | 多媒体文件的翻译方法、装置及翻译播放设备 |
CN109960813A (zh) * | 2019-03-18 | 2019-07-02 | 维沃移动通信有限公司 | 一种翻译方法、移动终端及计算机可读存储介质 |
CN110532912B (zh) * | 2019-08-19 | 2022-09-27 | 合肥学院 | 一种手语翻译实现方法及装置 |
KR102178175B1 (ko) * | 2019-12-09 | 2020-11-12 | 김경철 | 사용자 단말 및 그 제어방법 |
-
2019
- 2019-12-09 KR KR1020190162504A patent/KR102178175B1/ko active IP Right Grant
-
2020
- 2020-12-07 JP JP2022535548A patent/JP2023506469A/ja active Pending
- 2020-12-07 WO PCT/KR2020/017742 patent/WO2021118184A1/ko active Application Filing
- 2020-12-07 US US17/784,034 patent/US20230015797A1/en active Pending
- 2020-12-07 CN CN202080096097.4A patent/CN115066908A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008160232A (ja) * | 2006-12-21 | 2008-07-10 | Funai Electric Co Ltd | 映像音声再生装置 |
KR20100026701A (ko) * | 2008-09-01 | 2010-03-10 | 한국산업기술대학교산학협력단 | 수화 번역기 및 그 방법 |
JP2012059121A (ja) * | 2010-09-10 | 2012-03-22 | Softbank Mobile Corp | 眼鏡型表示装置 |
JP2016091057A (ja) * | 2014-10-29 | 2016-05-23 | 京セラ株式会社 | 電子機器 |
Also Published As
Publication number | Publication date |
---|---|
US20230015797A1 (en) | 2023-01-19 |
KR102178175B1 (ko) | 2020-11-12 |
WO2021118184A1 (ko) | 2021-06-17 |
CN115066908A (zh) | 2022-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11114091B2 (en) | Method and system for processing audio communications over a network | |
JP7467635B2 (ja) | 使用者端末、ビデオ通話装置、ビデオ通話システム、及びその制御方法 | |
CN107832036B (zh) | 语音控制方法、装置及计算机可读存储介质 | |
KR102193029B1 (ko) | 디스플레이 장치 및 그의 화상 통화 수행 방법 | |
US10741172B2 (en) | Conference system, conference system control method, and program | |
CN110933330A (zh) | 视频配音方法、装置、计算机设备及计算机可读存储介质 | |
KR20150115385A (ko) | 레코딩 지원 전자장치 및 방법 | |
KR20150135055A (ko) | 협업 서비스를 제공하는 서버 및 방법, 그리고 협업 서비스를 제공받는 사용자 단말 | |
JP2018195276A (ja) | 両面表示の同時通訳装置、方法、デバイス及び電子装置 | |
WO2020249038A1 (zh) | 音频流的处理方法、装置、移动终端及存储介质 | |
US20200106884A1 (en) | Information processing apparatus, information processing method, and program | |
WO2018186416A1 (ja) | 翻訳処理方法、翻訳処理プログラム、及び、記録媒体 | |
US20180288110A1 (en) | Conference support system, conference support method, program for conference support device, and program for terminal | |
CN108304434B (zh) | 信息反馈方法和终端设备 | |
US20220351425A1 (en) | Integrating overlaid digital content into data via processing circuitry using an audio buffer | |
JP2023506469A (ja) | 使用者端末、及びその制御方法 | |
US20190026266A1 (en) | Translation device and translation system | |
JP6832503B2 (ja) | 情報提示方法、情報提示プログラム及び情報提示システム | |
JP7467636B2 (ja) | 使用者端末、放送装置、それを含む放送システム、及びその制御方法 | |
CN107591153A (zh) | 一种利用语音控制设备的方法 | |
KR20230102753A (ko) | 아바타를 통해 영상의 음성을 수어로 통역하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램 | |
CN111091807B (zh) | 语音合成方法、装置、计算机设备及存储介质 | |
CN116257159A (zh) | 多媒体内容的分享方法、装置、设备、介质及程序产品 | |
KR101628930B1 (ko) | 디스플레이 장치 및 그 제어 방법 | |
CN112700783A (zh) | 通讯的变声方法、终端设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220624 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230613 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230913 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240305 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240307 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240507 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20240606 |