KR20190071405A - 스마트 글라스를 이용한 발화자 선택 장치 및 방법 - Google Patents

스마트 글라스를 이용한 발화자 선택 장치 및 방법 Download PDF

Info

Publication number
KR20190071405A
KR20190071405A KR1020170172442A KR20170172442A KR20190071405A KR 20190071405 A KR20190071405 A KR 20190071405A KR 1020170172442 A KR1020170172442 A KR 1020170172442A KR 20170172442 A KR20170172442 A KR 20170172442A KR 20190071405 A KR20190071405 A KR 20190071405A
Authority
KR
South Korea
Prior art keywords
interpretation
guest
terminal
interpreter
smart glass
Prior art date
Application number
KR1020170172442A
Other languages
English (en)
Other versions
KR102441407B1 (ko
Inventor
김동현
이영직
김상훈
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020170172442A priority Critical patent/KR102441407B1/ko
Priority to US16/114,388 priority patent/US10796106B2/en
Publication of KR20190071405A publication Critical patent/KR20190071405A/ko
Application granted granted Critical
Publication of KR102441407B1 publication Critical patent/KR102441407B1/ko

Links

Images

Classifications

    • G06F17/28—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06046—Constructional details
    • G06K19/0614—Constructional details the marking being selective to wavelength, e.g. color barcode or barcodes only visible under UV or IR
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Radio Transmission System (AREA)
  • Details Of Aerials (AREA)
  • Push-Button Switches (AREA)

Abstract

본 발명은 스마트 글라스를 이용한 발화자 선택 장치에 관한 것으로, 착용자의 정면각 영상을 촬영하고, 영상 속 게스트 통역 대화자를 추적하는 카메라; 카메라를 통해 추적한 게스트 통역 대화자들을 표시할 수 있도록, 가상의 공간지도가 생성된 영상정보를 표시하는 스마트 글라스; 전방 영상에 표시된 게스트 통역 대화자를 선택할 수 있도록, 사용자의 시선을 추적하여 통역 대상자를 선정하는 시선 추적용 카메라: 및 시선 추적용 카메라를 통해 선정된 대상자와의 통역 서비스를 제공하는 통역 대상 처리기;를 포함한다.

Description

스마트 글라스를 이용한 발화자 선택 장치 및 방법{Apparatus and method for selecting talker using smart glass}
본 발명은 스마트 글라스를 이용한 발화자 선택 장치 및 방법에 관한 것으로, 더욱 상세하게는 회의 상황과 같이 여러 사람이 함께 서로 다른 언어로 대화 통역하는 경우, 자연스런 인터페이스를 이용하여 자동통역을 수행할 수 있는 스마트 글라스를 이용한 발화자 선택 장치 및 방법에 관한 것이다.
종래의 기술에는 두 사람간에만 모바일 디바이스를 이용하여 대화를 통역하는 방법들이 제안되었다.
특히 전화망을 이용하여 전화통화 중인 두 사람간의 대화를 통역하는 방법이 상용화되고 있다.
또한 기 출원된(출원번호: 14914390, 150064380) 핸즈프리를 이용한 모바일 디바이스 자동 통역 방법에서 근거리 무선 통신을 이용하여 자연스럽게 마주보는 상대방을 연결하는 방법을 제안하였다.
그런데 이때 연결되어 사용하는 사람이 세 명 이상을 허용하지만, 발성자 전환 방법이나 발성자 순서에 대한 명시가 없어서 동시에 발성될 우려가 있다.
또한, 대화에 참가된 사람들의 언어를 인지하여 모든 방향으로 통역을 해야 하는 N to N 연결이 되기 때문에 시스템적으로 과도한 비용이 소요된다.
그리고 근거리 네트워크의 세기 측정을 통해 다중 사용자간 연결을 시도하기 때문에 유사한 근거리 통신을 사용하는 사람들이 많을 경우 혼선으로 인해 대화자 연결 정확성이 떨어질 우려도 함께 있다.
본 발명의 종래 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 여러 사람이 함께 대화 통역을 할 때, 자연스런 인터페이스를 사용하면서, 대화자와 정확하게 연결하고, 통역 시스템 자원도 줄이는 스마트 글라스를 이용한 발화자 선택 장치 및 방법을 제공하고자 하는 것이다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 스마트 글라스를 이용한 발화자 선택 장치는 착용자의 정면각 영상을 촬영하고, 영상 속 게스트 통역 대화자를 추적하는 카메라; 상기 카메라를 통해 추적한 게스트 통역 대화자들을 표시할 수 있도록, 가상의 공간지도가 생성된 영상정보를 표시하는 스마트 글라스; 전방 영상에 표시된 게스트 통역 대화자를 선택할 수 있도록, 사용자의 시선을 추적하여 통역 대상자를 선정하는 시선 추적용 카메라: 및 상기 시선 추적용 카메라를 통해 선정된 대상자와의 통역 서비스를 제공하는 통역 대상 처리기;를 포함한다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 스마트 글라스를 이용한 발화자 선택 방법은 카메라가 사용자의 정면각 영상을 촬영하고, 영상 속 게스트 통역 대화자를 추적하는 단계; 스마트 글라스가 상기 추적된 대화자의 게스트 통역 단말과의 통역 대화를 위한 가상의 대화 공간을 생성하는 단계; 시선 추적용 카메라가 사용자의 눈 속의 검은 눈동자 움직임을 추적하여, 사용자의 시선 방향을 추정하고 통역 대상 단말을 선택하는 단계; 및 통역 대상 처리기가 상기 시선 추적용 카메라를 통해 선택된 게스트 통역 단말과 통역을 수행하는 단계를 포함한다.
본 발명의 일 실시예에 따르면, 스마트 글라스를 통해 표시되는 컬러 바코드를 제공함으로써, 카메라를 통해 식별이 가능한 거리 만큰 떨어져 있어도 서로 바라보는 동작만으로 통역 대화를 위한 연결을 수행할 수 있는 장점이 있다. 이로 인해, 강연장의 강사와 방청객의 경우에서와 같이 조금 떨어진 거리에서도 통역 대화를 수행할 수 있게 된다.
또한, 본 발명의 일 실시예에 따르면, 호스트 통역 대화자가 동일한 스마트 글라스를 이용하는 게스트 통역 대화자를 주시하는 것만으로도, 발화자에 대한 통역을 가능하게 함으로써, 용이하게 발화자를 선정하고 해당 발화자의 통역 서비스를 제공해 줄 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 스마트 글라스를 이용한 발화자 선택 장치를 설명하기 위한 기능블럭도.
도 2는 본 발명의 일 실시예에 따른 스마트 글라스를 나타낸 사시도.
도 3은 본 발명의 일 실시예에 따른 스마트 글라스를 이용한 발화자 선택 장치의 사용상태도.
도 4는 본 발명의 일 실시예에 따른 스마트 글라스를 이용한 발화자 선택 장치를 이용하여 시선을 이용한 게스트 통역 대화자 선택 과정을 설명하기 위한 사용상태도.
도 5는 본 발명의 일 실시예에서 호스트 통역 단말과 게스트 통역 단말들간의 연결 구성를 설명하기 위한 기능블럭도.
도 6a 및 도 6b은 본 발명의 일 실시예에서 호스트 통역 단말과 게스트 통역 단말들간의 연결 구조를 설명하기 위한 도면.
도 7은 본 발명의 일 실시예에 따른 스마트 글라스를 이용한 발화자 선택 장치에 컬러 바코드가 표시된 상태를 나타낸 참고도.
도 8은 본 발명의 일 실시예에 따른 스마트 글라스를 이용한 발화자 선택 방법을 설명하기 위한 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이하, 본 발명의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 상세히 설명하기로 한다. 도 1은 본 발명의 일 실시예에 따른 스마트 글라스를 이용한 발화자 선택 장치를 설명하기 위한 기능블럭도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 스마트 글라스를 이용한 발화자 선택 장치는 카메라(110), 스마트 글라스(120), 시선 추적용 카메라(130) 및 통역 대상 처리기(140)를 포함하며, 도 2에 도시된 바와 같이, 본 발명의 일 실시예에 채용된 스마트 글라스는 지지대(101)를 포함한다.
카메라(110)는 착용자의 정면각 영상을 촬영하고, 영상 속 게스트 통역 대화자를 추적하는 역할을 한다. 이러한 카메라(110)는 착용자의 전면각을 촬영할 수 있도록, 스마트 글라스(120) 사이에 위치하는 것이 바람직하다.
그리고 스마트 글라스(120)는 상기 카메라(110)를 통해 추적한 게스트 통역 대화자들을 표시할 수 있도록, 가상의 공간지도(VP)가 생성된 영상정보를 표시하는 역할을 한다. 즉, 스마트 글라스(120)는 도 3에 도시된 바와 같이, 가상의 공간지도(VP) 내에 추적한 게스트 통역 대화자(200-1 내지 200-n)를 표시한다.
또한 시선 추적용 카메라(130)는 전방 영상에 표시된 게스트 통역 대화자를 선택할 수 있도록, 사용자의 시선을 추적하여 통역 대상자를 선정하는 역할을 한다. 이러한 시선 추적용 카메라(130)는 스마트 글라스(120)의 일측에 설치되어 착용자의 눈동자 움직임을 추적하여 착용자의 시선 각도를 계산하기 위한 정보를 제공한다.
여기서, 도 7에 도시된 바와 같이, 시선 추적용 카메라(130)는 착용자의 시선 각도를 토대로 정면각의 어느 부분을 바라보는지 추적하고, 이를 이용하여 시선이 가는 곳의 게스트 통역 대화자를 선택하게 된다.
그리고 통역 대상 처리기(140)는 상기 시선 추적용 카메라(130)를 통해 선정된 대상자와의 통역 서비스를 제공하는 역할을 한다. 또한, 통역 대상 처리기(140)는 스마트 글라스(120)의 가상의 공간지도(VP) 내에 표시된 게스트 통역 대화자들의 정보를 통역 서버(300)로 제공하는 것이 바람직하다.
본 발명의 일 실시예에 따른 스마트 글라스를 이용한 발화자 선택 장치에서 발성모드 및 통역모드 설정을 설명하기로 한다.
먼저, 호스트 통역 단말(100)과 선택된 게스트 통역 단말(200)은 자신의 모국어로 발성할 수 있는 발성모드와, 상대가 발성하는 동안 대기하면서 상대의 모국어로 통역된 정보를 수신하는 통역모드 중 하나로 설정되며, 기본적으로는 사회자 권한을 갖고 있는 호스트 통역 단말(100)이 발성 모드가 되고, 게스트 통역 단말(200)들은 통역모드로 설정되는 것이 바람직하다.
여기서, 사용자를 호스트와 게스트로 나누는 것은 여러 사람이 명확하고 순서있게 대화를 나누기 위한 방법으로, 대화 전환시에 누가 발성하게 할 것인지에 대해 사회자 권한을 호스트 통역 단말(100)에게 줘서, 동시 발성으로 인한 통역의 어려움을 극복한다.
그리고 도 5에 도시된 바와 같이, 호스트 통역 단말(100)의 언어를 기준으로 통역하게 하여, 참가자수 N이 모두 각각 연결되는 N-대-N 통역을 할 수 있고, 이에 통역 서버(300)의 과부하를 없애고, 일-대-일 통역과 일-대-N 통역이 되게 하는 효과도 있다.
도 5는 본 발명의 일 실시예에서 호스트 통역 단말과 게스트 통역 단말들간의 연결 구성를 설명하기 위한 기능블럭도이다.
도 5에 도시된 바와 같이, 호스트 통역 단말(100)의 언어를 기준으로 통역이 되기 때문에, 게스트 통역 단말(200-1)이 발성한 언어는 호스트 통역 단말(100)의 언어로 통역되어 호스트 통역 단말(100)에게 전달되고, 이것은 또 다시 게스트 통역 단말(200-2)의 언어로 통역되어 게스트 통역 단말(200-2)에게 전달된다. 즉, 일-대-일로 연속 통역이 되는 것이다.
그리고 호스트 통역 단말(100)의 언어는 게스트 통역 단말(200-1)과 게스트 통역 단말(200-2)의 언어로 동시에 통역되어 전달된다. 즉, 일-대-N 통역이 된다.
이때 각각의 사용자 디바이스는 통역 서버(300)와 온라인으로 연결되어 있기 때문에, 가상 대화 공간지도(VP) 구성과 같이 자신의 발성한 음성을 통역 서버(300)에 전달하고, 통역된 합성음과 텍스트를 전달 받을 수 있게 한다.
세 사람처럼 참가자가 적을 때는 N-대-N 통역도 가능하지만, 참가자가 많아지면 구성해야 하는 언어 쌍이 급격히 많아져서 시스템에 부담이 된다.
또한 사용자들은 자신의 모국어로 발성할 수 있는 발성모드와 상대가 발성하는 동안 기다리면서 상대의 발성을 통역을 통해 전달받는 통역모드를 가지고 있다.
모든 사용자는 기본적으로 발성모드가 아닐때는 통역모드로 대기한다. 호스트 통역 단말(100)은 자신이 원할 때 발성모드로 바꿀 수 있고, 게스트 통역 단말(200)이 발성모드가 되게하는 권한을 가지고 있다. 게스트 통역 단말(200)은 호스트 통역 단말(100)이 권할을 줄 때 발성모드가 되고, 발성이 끝나면 통역모드로 바뀐다.
도 6a 및 도 6b는 본 발명의 일 실시예에서 호스트 통역 단말과 게스트 통역 단말들간의 연결 구조를 설명하기 위한 도면이다.
사용자 연결은 도 6a에 도시된 바와 같이, 하나의 호스트 통역 단말(100)에 여러 게스트 통역 단말(200-1 내지 200-3))들로 연결될 수 있고, 도 6b에 도시된 바와 같이, 두개의 호스트 통역 단말(100-1, 100-2))에 여러 게스트 통역 단말(200-1 및 200-2)들이 연결되는 구성도 가능하다.
도 6b에 도시된 바와 같이, 복수의 호스트 통역 단말(100-1 및 100-2)로 이루어진 구성은 호스트 통역 단말(100-1)이 대화 공간을 만들면, 또 다른 호스트로 설정된 호스트 통역 단말(100-2)가 참가하여 호스트 권한을 나눠갖는다.
이것은 두 그룹간 회의에서 대등하게 권한을 부여하는 호스트 통역 단말(100)이 각 그룹에 있는 방법으로, 호스트 통역 단말(100)은 언제든지 발성모드가 될 수 있지만, 게스트 통역 단말(200)은 두 호스트 통역 단말(100)이 동의 할 때 발성모드가 된다.
네 사용자가 모두 다른 언어를 사용하는 경우, 호스트 통역 단말(100-1)과 호스트 통역 단말(100-2)의 발성은 나머지 통역 단말(100-1, 200-1, 200-2)에게 동시에 세가지 언어로 통역되어 각각 전달한다.
게스트 통역 단말(200-1 및 200-2)인 경우에는 대화 공간에 참석할 때 자신이 선택한 호스트 통역 단말(100-1 또는 100-2)를 기준으로 나머지 사람들에게 통역하여 전달한다. 즉, 게스트 통역 단말(200-1)이 대화에 참가할 때, 호스트 통역 단말(100-2)와 연결하여 참석했으면, 호스트 통역 단말(100-2)에게 발성을 통역하여 전달하고, 이렇게 통역된 텍스트를 호스트 통역 단말(100-2)가 나머지 사용자에게 각각의 언어로 통역하여 전달한다.
실제 작업은 통역 서버(300)에서 이뤄지며, 생성된 가상 대화 공간지도(VP)의 구성과 같이 통역할 언어쌍을 통역 서버(300)에 생성하여 해당 사용자 디바이스로 통역된 합성음과 텍스트를 전달한다.
본 발명의 일 실시예에 따르면, 카메라(110)를 통해 영상 속 게스트 통역 대화자를 추적하고, 가상 대화 공간지도(VP)에 그 영상 속 게스트 통역 대화자들을 연결하며, 시선 추적용 카메라(130)를 통해 가상 대화 공간지도(VP) 속 게시트를 통역 발성자로 할당함으로써, 복수의 사람들이 명확하게 호스트 통역 대화자에 의해 대화 전환 방법을 제공해줄 수 있는 효과가 있다.
또한, 본 발명의 일 실시예에 따르면, 호스트 통역 대화자가 자신의 시선을 감시하여 통역 발화자를 선택함으로써, 참가자 수 N이 모두 각각 연결되는 N-대-N 통역으로 인한 통역 서버(300)의 과부하를 없애고, 일-대-일 통역과 일-대-N 통역이 되게 하는 장점이 있다.
한편, 통역 서버(300)는 호스트 통역 단말로부터 호스트 통역 단말의 사용자 ID 정보와 가상의 대화 공간지도(VP)에 표시되는 게스트 통역 단말의 사용자 ID 정보를 제공받아 매칭하여 관리한다.
따라서, 통역 서버(300)는 가상의 대화 공간지도(VP)에 표시된 게스트 통역 대화자 중 호스트 통역 단말의 시선 추적용 카메라(130)를 통해 선택된 게스트 통역 단말(200)을 통해 발화되는 음성을 통역하여 호스트 통역 단말(100)에 제공하게 된다. 나머지 게스트 통역 단말(200)을 통해 발화되는 음성은 통역되지 않고 대기하게 된다.
만약, 호스트 통역 단말(100)이 다른 게스트 통역 대화자를 시선으로 선택하면, 통역 서버(300)는 다른 게스트 통역 대화자에게 발언 기회를 제공하게 된다.
도 7은 본 발명의 일 실시예에 채용된 스마트 글라스에 구비된 컬러 바코드를 설명하기 위한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 일 실시예에 채용된 스마트 글라스(120)는 도 7에 도시된 바와 같이, 대화자의 언어 정보가 포함된 호스트 ID를 나타내는 컬러 바코드(150)(color bar code)를 표시하는 것이 바람직하다.
이와 같이, 통역 대화자들이 스마트 글라스(120)에 컬러 바코드를 표시함으로써, 호스트 통역 대화자가 카메라(110)를 통해 게스트 통역 대화자를 선정할 수 있게 된다.
따라서, 호스트 통역 대화자는 손을 이용하지 않고 호스트 통역 단말(100)을 통해 게스트 통역 단말(200)을 선택할 수 있는 장점이 있다.
한편, 이러한, 스마트 글라스(120)는 도 7에 도시된 바와 같이, 컬러 바코드를 전면부에 출력하는 것이 바람직하다.
그리고 상기 카메라(110)는 상기 컬러 바코드 인식 시, 통역 대화 대상자의 사용자 ID 정보를 획득하고, 통역 대화 대상 단말기와 연결하는 것이 바람직하다.
한편, 상기 통역 대상 처리기(140)는, 호스트 상태에서 상기 스마트 글라스(120)에 표시된 게스트 통역 대화자 중 시선 추적용 카메라(130)를 통해 선택된 게스트 통역 대화자에게 발언 기회를 설정하는 것이 바람직하다.
또한, 상기 스마트 글라스(120)는, 통역되는 텍스트를 실시간으로 표시할 수 있다. 이러한, 스마트 글라스(120)는 통역되는 텍스트를 후면부에 출력하는 것이 바람직하다.
도 8은 본 발명의 일 실시예에 따른 스마트 글라스를 이용한 발화자 선택 방법을 설명하기 위한 순서도이다.
도 8에 도시된 바와 같이, 본 발명의 일 실시예에 따른 스마트 글라스를 이용한 발화자 선택 방법은 호스트 단말의 게스트 통역 단말(200) 연결 방법에 대하여 설명하기로 한다.
먼저, 카메라(110)가 사용자의 정면각 영상을 촬영하고, 영상 속 게스트 통역 대화자를 추적한다(S110). 이를 위해, 게스트 통역 대화자는 게스트 통역 단말(200)을 착용하는 것이 바람직하다.
이어서, 스마트 글라스(120)가 상기 추적된 대화자의 게스트 통역 단말(200)과의 통역 대화를 위한 가상의 대화 공간지도(VP)을 생성한다(S120). 이와 같이, 스마트 글라스(120)에 게스트 통역 단말(200)을 착용한 게스트 통역 대화자가 가상의 대화 공간지도(VP)을 생성함으로써, 호스트 통역 대화자는 시선 추적을 통해 통역을 수행하고자 하는 게스트 통역 대화자를 선정할 수 있다.
이후, 시선 추적용 카메라(130)가 사용자의 눈 속의 검은 눈동자 움직임을 추적하여, 사용자의 시선 방향을 추정하고 통역 대상 단말을 선택한다(S130). 즉, 시선 추적용 카메라(130)는 호스트 통역 대화자가 가상의 대화 공간지도(VP)에 생성된 게스트 통역 대화자를 기설정된 시간동안 주시하고 있는 것만으로, 통역 대상 단말을 선택할 수 있게 된다.
이어서, 통역 대상 처리기(140)가 시선 추적용 카메라(130)를 통해 선택된 게스트 통역 단말과 통역을 수행한다(S140). 즉, 통역 대상 처리기(140)는 상기 시건 추적용 카메라(110)를 통해 통역하고자 하는 게스트 통역 대화자를 선택하게 된다.
이로 인해, 호스트 통역 단말(100)과 선택된 게스트 통역 단말(200)은 자신의 모국어로 발성할 수 있는 발성모드와, 상대가 발성하는 동안 대기하면서 상대의 모국어로 통역된 정보를 수신하는 통역모드가 된다.
이에, 호스트 통역 단말(100)은 호스트 통역 대화자로부터 발화되는 내용이 통역 서버(300)를 통해 통역될 수 있도록, 호스트 통역 대화자의 발화 내용을 통역 서버(300)로 제공한다.
그러면, 통역 서버(300)는 호스트 통역 단말(100)을 통해 제공된 원문에 대하여 통역을 수행한 후 게스트 통역 단말(200)로 제공한다. 이때 호스트 통역 단말(100)이 통역 서버(300)에 제공하는 정보는 발화 대상으로 선택된 게스트 통역 단말(200)의 정보인 것이 바람직하다.
한편, 게스트 통역 단말(200)은 호스트 통역 단말(100)에 의해, 가상의 대화 공간지도(VP)에 표시된 상태에서, 호스트 통역 단말(100)의 서선 추적용 카메라(110)를 통해 선택됨으로써, 게스트 통역 단말(200)을 통해 발화되는 게스트 통역 대화자의 음성을 통역하여 호스트 통역 단말(100)에 제공할 수 있게 된다.
그리고 호스트 통역 단말(100)로부터 통역되지 않을 경우, 게스트 통역 단말(200)을 통해 게스트 통역 대화자가 발화하더라도, 통역 서버(300)를 통해 통역되지 않는다.
여기서, 상기 가상의 대화 공간지도(VP)을 생성하는 단계(S120)는, 가상의 공간지도(VP) 안에 게스트 통역 대화자의 위치에 해당하는 블록을 지정하고, 게스트 통역 대화자의 ID를 연결하는 것이 바람직하다.
한편, 상기 영상 속 게스트 통역 대화자를 추적하는 단계(S110)는 상기 카메라(110)가, 상기 컬러 바코드 인식 시, 통역 대화 대상자의 사용자 ID 정보를 획득하고, 통역 대화 대상 단말기와 연결하는 것이 바람직하다.
한편, 상기 통역을 수행하는 단계(S140)는, 상기 통역 대상 처리기(140)가, 호스트 상태에서 상기 스마트 글라스(120)에 표시된 게스트 통역 대화자 중 시선 추적용 카메라(130)를 통해 선택된 대화자에게 발언 기회를 설정하는 것이 바람직하다.
그리고 상기 통역을 수행하는 단계(S140)는, 상기 통역 대상 처리기(140)가 게스트 통역 단말과의 통역 시 호스트의 언어로 통역을 수행하는 것이 바람직하다.
또한 상기 통역을 수행하는 단계(S140)는, 상기 스마트 글라스(120)가 통역되는 텍스트를 실시간으로 표시하고, 스마트 글라스(120)가 통역되는 텍스트를 후면부에 출력하는 것이 바람직하다.
한편, 상기 통역을 수행하는 단계(S140)는, 통역 대상 처리기(140)가 선택된 대화자의 게스트 통역 단말(200)마다 다른 음성을 적용하는 것이 바람직하다. 이와 같이, 상기 통역을 수행하는 단계는 게스트 통역 단말(200)마다 다른 음성을 통해 통역 서비스를 제공해줌으로써, 각 게스트 통역 대화자의 구분을 명확하게 해줄 수 있는 장점이 있다.
이상, 본 발명의 구성에 대하여 첨부 도면을 참조하여 상세히 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명이 속하는 기술분야에 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 변형과 변경이 가능함은 물론이다. 따라서 본 발명의 보호 범위는 전술한 실시예에 국한되어서는 아니되며 이하의 특허청구범위의 기재에 의하여 정해져야 할 것이다.
100 : 호스트 통역 단말 110 : 카메라
120 : 스마트 글라스 130 : 시선 추적용 카메라
140 : 통역 대상 처리기 200 : 게스트 통역 단말
300 : 통역 서버

Claims (15)

  1. 착용자의 정면각 영상을 촬영하고, 영상 속 게스트 통역 대화자를 추적하는 카메라;
    상기 카메라를 통해 추적한 게스트 통역 대화자들을 표시할 수 있도록, 가상의 공간지도가 생성된 영상정보를 표시하는 스마트 글라스;
    전방 영상에 표시된 게스트 통역 대화자를 선택할 수 있도록, 사용자의 시선을 추적하여 통역 대상자를 선정하는 시선 추적용 카메라: 및
    상기 시선 추적용 카메라를 통해 선정된 대상자와의 통역 서비스를 제공하는 통역 대상 처리기;를 포함하는 스마트 글라스를 이용한 발화자 선택 장치.
  2. 제 1항에 있어서,
    제 1항에 있어서,
    상기 스마트 글라스는,
    대화자의 언어 정보가 포함된 호스트 ID를 나타내는 컬러 바코드(color bar code)를 표시하는 것인 스마트 글라스를 이용한 발화자 선택 장치.
  3. 제 2항에 있어서,
    상기 스마트 글라스는,
    상기 컬러 바코드를 전면부에 출력하는 것인 스마트 글라스를 이용한 발화자 선택 장치.
  4. 제 2항에 있어서,
    상기 카메라가,
    상기 컬러 바코드 인식 시, 통역 대화 대상자의 사용자 ID 정보를 획득하고, 통역 대화 대상 단말기와 연결하는 것인 스마트 글라스를 이용한 발화자 선택 장치.
  5. 제 1항에 있어서,
    상기 통역 대상 처리기는,
    호스트 상태에서 상기 스마트 글라스에 표시된 게스트 통역 대화자 중 시선 추적용 카메라를 통해 선택된 대화자에게 발언 기회를 설정하는 것인 스마트 글라스를 이용한 발화자 선택 장치.
  6. 제 1항에 있어서,
    상기 스마트 글라스는,
    통역되는 텍스트를 실시간으로 표시하는 것인 스마트 글라스를 이용한 발화자 선택 장치.
  7. 제 6항에 있어서,
    상기 스마트 글라스는,
    통역되는 텍스트를 후면부에 출력하는 것인 스마트 글라스를 이용한 발화자 선택 장치.
  8. 호스트 단말의 통역 단말 연결 방법에 있어서,
    카메라가 사용자의 정면각 영상을 촬영하고, 영상 속 게스트 통역 대화자를 추적하는 단계;
    스마트 글라스가 상기 추적된 대화자의 게스트 통역 단말과의 통역 대화를 위한 가상의 대화 공간을 생성하는 단계;
    시선 추적용 카메라가 사용자의 눈 속의 검은 눈동자 움직임을 추적하여, 사용자의 시선 방향을 추정하고 통역 대상 단말을 선택하는 단계; 및
    통역 대상 처리기가 상기 시선 추적용 카메라를 통해 선택된 게스트 통역 단말과 통역을 수행하는 단계를 포함하는 스마트 글라스를 이용한 발화자 선택 방법.
  9. 제 8항에 있어서,
    상기 가상의 대화 공간을 생성하는 단계는,
    가상의 공간 지도 안에 게스트 통역 대화자의 위치에 해당하는 블록을 지정하고, 게스트 통역 대화자의 ID를 연결하는 것인 스마트 글라스를 이용한 발화자 선택 방법.
  10. 제 9항에 있어서,
    상기 영상 속 게스트 통역 대화자를 추적하는 단계는
    상기 카메라가, 상기 컬러 바코드 인식 시, 통역 대화 대상자의 사용자 ID 정보를 획득하고, 통역 대화 대상 단말기와 연결하는 것인 스마트 글라스를 이용한 발화자 선택 방법.
  11. 제 8항에 있어서,
    상기 통역을 수행하는 단계는,
    상기 통역 대상 처리기가, 호스트 상태에서 상기 스마트 글라스에 표시된 게스트 통역 대화자 중 시선 추적용 카메라를 통해 선택된 대화자에게 발언 기회를 설정하는 것인 스마트 글라스를 이용한 발화자 선택 방법.
  12. 제 8항에 있어서,
    상기 게스트 통역 단말과 통역을 수행하는 단계는,
    상기 통역 대상 처리기가 게스트 통역 단말과의 통역 시 호스트의 언어로 통역을 수행하는 것인 스마트 글라스를 이용한 발화자 선택 방법.
  13. 제 12항에 있어서,
    상기 통역을 수행하는 단계는,
    상기 스마트 글라스가 통역되는 텍스트를 실시간으로 표시하는 것인 스마트 글라스를 이용한 발화자 선택 방법.
  14. 제 13항에 있어서,
    상기 통역을 수행하는 단계는,
    상기 스마트 글라스가 통역되는 텍스트를 후면부에 출력하는 것인 스마트 글라스를 이용한 발화자 선택 방법.
  15. 제 12항에 있어서,
    상기 통역을 수행하는 단계는,
    통역 대상 처리기가 선택된 대화자의 게스트 통역 단말마다 다른 음성을 적용하여 통역하는 것인 스마트 글라스를 이용한 발화자 선택 방법.








KR1020170172442A 2017-12-14 2017-12-14 스마트 글라스를 이용한 발화자 선택 장치 및 방법 KR102441407B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170172442A KR102441407B1 (ko) 2017-12-14 2017-12-14 스마트 글라스를 이용한 발화자 선택 장치 및 방법
US16/114,388 US10796106B2 (en) 2017-12-14 2018-08-28 Apparatus and method for selecting speaker by using smart glasses

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170172442A KR102441407B1 (ko) 2017-12-14 2017-12-14 스마트 글라스를 이용한 발화자 선택 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190071405A true KR20190071405A (ko) 2019-06-24
KR102441407B1 KR102441407B1 (ko) 2022-09-07

Family

ID=66816022

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170172442A KR102441407B1 (ko) 2017-12-14 2017-12-14 스마트 글라스를 이용한 발화자 선택 장치 및 방법

Country Status (2)

Country Link
US (1) US10796106B2 (ko)
KR (1) KR102441407B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024039002A1 (ko) * 2022-08-17 2024-02-22 삼성전자 주식회사 아바타를 이용한 대화 기능을 제공하는 전자 장치 및 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114627878B (zh) * 2022-05-12 2022-08-02 深圳市一恒科电子科技有限公司 基于数据处理的语音交互方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160016216A (ko) * 2014-08-04 2016-02-15 넥시스 주식회사 글라스형 웨어러블 디바이스를 이용한 실시간 전방주시시스템 및 전방주시방법
KR20160025150A (ko) * 2014-08-26 2016-03-08 넥시스 주식회사 글라스형 웨어러블 디바이스를 이용한 소셜데이팅 서비스 시스템 및 방법

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7026616B1 (en) * 2002-12-02 2006-04-11 Radiation Detection Company Radiation detection device, method and system
JP2006350664A (ja) * 2005-06-15 2006-12-28 Fuji Xerox Co Ltd 文書処理装置
JP5666219B2 (ja) 2010-09-10 2015-02-12 ソフトバンクモバイル株式会社 眼鏡型表示装置及び翻訳システム
US8918719B2 (en) * 2011-02-14 2014-12-23 Universal Electronics Inc. Graphical user interface and data transfer methods in a controlling device
WO2013151193A1 (en) * 2012-04-03 2013-10-10 Lg Electronics Inc. Electronic device and method of controlling the same
GB2515142B (en) * 2013-06-14 2020-12-16 Sita Information Networking Computing Ireland Ltd Portable user control system and method therefor
KR101834546B1 (ko) 2013-08-28 2018-04-13 한국전자통신연구원 핸즈프리 자동 통역 서비스를 위한 단말 장치 및 핸즈프리 장치와, 핸즈프리 자동 통역 서비스 방법
US9977572B2 (en) * 2014-04-01 2018-05-22 Hallmark Cards, Incorporated Augmented reality appearance enhancement
US9672336B1 (en) * 2014-08-29 2017-06-06 ProfileCorrect LLC Security system for verification of user credentials
KR102279674B1 (ko) * 2014-09-02 2021-07-20 삼성전자주식회사 전자 장치의 멀티미디어 데이터 처리 방법 및 그 전자 장치
US20170242480A1 (en) * 2014-10-06 2017-08-24 Koninklijke Philips N.V. Docking system
EP3220373A4 (en) * 2014-11-12 2018-07-18 Fujitsu Limited Wearable device, display control method, and display control program
US10367817B2 (en) * 2014-12-22 2019-07-30 University Of South Florida Systems and methods for challengeless coauthentication
US10489515B2 (en) 2015-05-08 2019-11-26 Electronics And Telecommunications Research Institute Method and apparatus for providing automatic speech translation service in face-to-face situation
CN104880835A (zh) * 2015-05-13 2015-09-02 浙江吉利控股集团有限公司 智能眼镜
US9819673B1 (en) * 2015-06-24 2017-11-14 Amazon Technologies, Inc. Authentication and authorization of a privilege-constrained application
US9946874B2 (en) * 2015-08-06 2018-04-17 International Business Machines Corporation Authenticating application legitimacy
US10482458B2 (en) * 2015-09-08 2019-11-19 Sk Planet Co., Ltd. User equipment, service providing device, payment system comprising the same, control method thereof and non-transitory computer-readable storage medium storing computer program recorded thereon
WO2017096509A1 (zh) * 2015-12-07 2017-06-15 华为技术有限公司 一种显示、处理的方法及相关装置
US20170264608A1 (en) * 2016-03-09 2017-09-14 Qualcomm Incorporated Visual biometric authentication supplemented with a time-based secondary authentication factor

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160016216A (ko) * 2014-08-04 2016-02-15 넥시스 주식회사 글라스형 웨어러블 디바이스를 이용한 실시간 전방주시시스템 및 전방주시방법
KR20160025150A (ko) * 2014-08-26 2016-03-08 넥시스 주식회사 글라스형 웨어러블 디바이스를 이용한 소셜데이팅 서비스 시스템 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Takumi Toyama et al, 'A Mixed Reality Head-Mounted Text Translation SystemUsing Eye Gaze Input', IUI 2014, 2014.02. *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024039002A1 (ko) * 2022-08-17 2024-02-22 삼성전자 주식회사 아바타를 이용한 대화 기능을 제공하는 전자 장치 및 방법

Also Published As

Publication number Publication date
US20190188265A1 (en) 2019-06-20
US10796106B2 (en) 2020-10-06
KR102441407B1 (ko) 2022-09-07

Similar Documents

Publication Publication Date Title
EP3120259B1 (en) In-call translation
WO2020203999A1 (ja) コミュニケーション支援システム、コミュニケーション支援方法、および画像制御プログラム
KR102227171B1 (ko) 가상 현실 통신에서의 대상 인식 방법 및 장치, 가상 현실 기기
US9843678B2 (en) Visual assistance systems and related methods
US20150347399A1 (en) In-Call Translation
CN100358358C (zh) 视频电话手语翻译辅助装置及应用其的手语翻译系统
CN110413108B (zh) 虚拟画面的处理方法、装置、系统、电子设备及存储介质
KR20190071405A (ko) 스마트 글라스를 이용한 발화자 선택 장치 및 방법
CN115380526A (zh) 用户终端、视频通话装置、视频通话系统及其控制方法
WO2018158852A1 (ja) 通話システム及びコミュニケーションシステム
US20200372902A1 (en) Language presentation device, language presentation method, and language presentation program
JP4845183B2 (ja) 遠隔対話方法及び装置
KR20140121516A (ko) 실시간 통역 자막 제공 시스템 및 방법
KR101427853B1 (ko) 화상통화장치 및 화상통화 보조장치
CN112951236A (zh) 一种语音翻译设备及方法
CN108509430A (zh) 智能眼镜及其翻译方法
JP7467636B2 (ja) 使用者端末、放送装置、それを含む放送システム、及びその制御方法
CN112764549B (zh) 翻译方法、装置、介质和近眼显示设备
CN115086594A (zh) 虚拟会议处理方法、装置、设备和存储介质
JP2019086858A (ja) 顧客応対システム及び顧客応対方法
KR102170902B1 (ko) 실시간 다자 통역 무선 이어셋 및 이를 이용한 송수신 방법
KR20200083905A (ko) 발화정보를 해석하여 중개하는 시스템 및 그 방법
KR20150113795A (ko) 눈맞춤 기능 제어 장치 및 방법
KR20010017865A (ko) 아바타 기반 음성 언어 번역 시스템에서의 화상 통신 방법
JPH09327006A (ja) 双方向対話型システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant