KR102564560B1 - 투명 디스플레이를 이용한 양방향 통역 장치 - Google Patents

투명 디스플레이를 이용한 양방향 통역 장치 Download PDF

Info

Publication number
KR102564560B1
KR102564560B1 KR1020220120455A KR20220120455A KR102564560B1 KR 102564560 B1 KR102564560 B1 KR 102564560B1 KR 1020220120455 A KR1020220120455 A KR 1020220120455A KR 20220120455 A KR20220120455 A KR 20220120455A KR 102564560 B1 KR102564560 B1 KR 102564560B1
Authority
KR
South Korea
Prior art keywords
user
information
language
text
text information
Prior art date
Application number
KR1020220120455A
Other languages
English (en)
Inventor
배상태
Original Assignee
미디어젠(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미디어젠(주) filed Critical 미디어젠(주)
Priority to KR1020220120455A priority Critical patent/KR102564560B1/ko
Priority to PCT/KR2023/002283 priority patent/WO2024063226A1/ko
Application granted granted Critical
Publication of KR102564560B1 publication Critical patent/KR102564560B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S715/00—Data processing: presentation processing of document, operator interface processing, and screen saver display processing
    • Y10S715/978—Audio interaction as part of an operator interface

Abstract

본 발명은 은행, 병원, 호텔, 관공서 등과 같은 다중 이용시설의 민원 창구를 통해 창구 직원인 내국인과 민원인인 외국인이 민원 업무 처리 시, 창구 직원인 내국인과 민원인인 외국인이 상호 비대면 접촉 방식으로 업무 처리를 할 수 있도록 하여 호흡기 감염병 전파를 예방하는 효과와 창구 직원인 내국인과 민원인인 외국인이 서로 다른 언어로 업무 처리를 위한 의사소통을 할 수 있도록 하여 외국인에 대한 민원 업무 처리 효율성을 높이는 효과를 제공하는 발명으로, 양방향 투명 디스플레이(100), 사용자 인터페이스 모듈(200), 번역 및 음성합성 모듈(300)을 포함하여 구성되는 것을 특징으로 한다.

Description

투명 디스플레이를 이용한 양방향 통역 장치{A two-way interpreter device that is using a transparent display}
본 발명은 투명 디스플레이를 이용한 양방향 통역 장치에 관한 것으로, 상세하게는 은행, 병원, 호텔, 관공서 등과 같은 다중 이용시설의 민원 창구를 통해 창구 직원인 내국인과 민원인인 외국인이 민원 업무 처리 시, 창구 직원인 내국인과 민원인인 외국인이 상호 비대면 접촉 방식으로 업무 처리를 할 수 있도록 하여 호흡기 감염병 전파를 예방하고, 창구 직원인 내국인과 민원인인 외국인이 서로 다른 언어로 업무 처리를 위한 의사소통을 할 수 있도록 하는 양방향 언어 통역 기능과 비대면 접촉 가림막 기능이 구비 된 투명 디스플레이를 이용한 양방향 통역 장치에 관한 것이다.
현대사회는 국제화 시대로 국가들의 물적/인적 교류가 활발해짐에 따라 많은 외국인이 우리나라를 방문하고 있다.
우리나라를 방문한 외국인들은 개인적 또는 사업적 목적으로 은행, 병원, 호텔, 관공서 등과 같은 다중 이용시설의 민원 창구를 통해 민원 업무를 처리하게 되는데, 외국인의 다중 이용시설 이용 시, 언어적 문제로 민원 창구 직원인 내국인과 민원인인 외국인은 민원 업무 처리에 많은 불편함을 느끼고 있다.
이러한 문제를 해결하기 위해, 외국어에 능통한 직원을 민원 창구에 배치하여 외국인의 민원 업무에 응대하고 있으나, 외국인이 사용하는 언어는 다양해 민원 창구마다 다국어에 능통한 직원을 배치해야 하는데, 다국어에 능통한 직원을 민원 창구마다 배치하는 것은 한계가 있다.
한편, 코로나-19(Corona virus 19)와 같은 호흡기 감염병이 유행하는 경우, 호흡기 감염병 전파를 예방하기 위해, 민원 창구 직원인 내국인과 민원인인 외국인이 상호 비대면 접촉 방식으로 업무 처리를 할 수 있도록 할 필요성이 있다.
따라서 상기와 같은 문제와 필요성을 해결하도록, 본 발명은 은행, 병원, 호텔, 관공서 등과 같은 다중 이용시설의 민원 창구를 통해 창구 직원인 내국인과 민원인인 외국인이 민원 업무 처리 시, 창구 직원인 내국인과 민원인인 외국인이 상호 비대면 접촉 방식으로 업무 처리를 할 수 있도록 하여 호흡기 감염병 전파를 예방하고, 창구 직원인 내국인과 민원인인 외국인이 서로 다른 언어로 업무 처리를 위한 의사소통을 할 수 있도록 하는 양방향 언어 통역 기능과 비대면 접촉 가림막 기능이 구비 된 투명 디스플레이를 이용한 양방향 통역 장치에 관한 기술을 제안하고자 한다. 다음은 이와 관련한 종래의 선행기술 들이다.
1. 대한민국 공개특허공보 제10-2013-0015472호 디스플레이장치, 그 제어방법 및 서버 2. 대한민국 등록특허공보 제10-1994044호 스마트 회의 통합 시스템 3. 대한민국 공개특허공보 제10-2021-0124050호 자동 통역 서버 및 그 방법
본 발명은 은행, 병원, 호텔, 관공서 등과 같은 다중 이용시설의 민원 창구를 통해 창구 직원인 내국인과 민원인인 외국인이 민원 업무 처리 시, 창구 직원인 내국인과 민원인인 외국인이 상호 비대면 접촉 방식으로 업무 처리를 할 수 있도록 하는 것을 목적으로 한다.
또한, 본 발명은 창구 직원인 내국인과 민원인인 외국인이 서로 다른 언어로 업무 처리를 위한 의사소통을 할 수 있도록 하는 것을 목적으로 한다.
상기와 같은 목적을 달성하기 위해 본 발명인 투명 디스플레이를 이용한 양방향 통역 장치는,
제1 사용자와 제2 사용자의 비대면 접촉을 위한 가림막 기능을 하고, 제1 사용자와 제2 사용자가 상호 소통할 수 있도록, 제1 사용자와 제2 사용자의 발화 음성 정보가 사용자 언어 문자로 변환된 발화 텍스트 정보와 제1 사용자와 제2 사용자의 발화 음성 정보가 상대방 사용자 언어로 번역되어 문자화된 번역 텍스트 정보가 양방향으로 표시되는 양방향 투명 디스플레이(100)와;
제1 사용자와 제2 사용자의 상호 소통을 위해, 제1 사용자와 제2 사용자가 자신의 발화 음성 정보를 입력할 수 있도록 하고, 제1 사용자와 제2 사용자의 발화 음성 정보가 상대방 사용자 언어로 번역되고 음성합성된 번역 음성 정보가 출력되도록 하는 사용자 인터페이스 모듈(200)과;
제1 사용자와 제2 사용자의 발화 음성 정보를 사용자 언어 문자로 변환시킨 발화 텍스트 정보를 생성해 양방향 투명 디스플레이(100)에 표시되도록 하고, 제1 사용자와 제2 사용자의 발화 음성 정보를 상대방 사용자 언어로 번역하여 문자화시킨 번역 텍스트 정보를 생성해 양방향 투명 디스플레이(100)에 표시되도록 하고, 제1 사용자와 제2 사용자의 발화 음성 정보를 상대방 사용자 언어로 번역하고 음성합성시킨 번역 음성 정보를 생성해 사용자 인터페이스 모듈(200)을 통해 출력되도록 하는 번역 및 음성합성 모듈(300)을 포함하는 것을 특징으로 한다.
본 발명은 은행, 병원, 호텔, 관공서 등과 같은 다중 이용시설의 민원 창구를 통해 민원 창구 직원인 내국인과 민원인인 외국인이 민원 업무 처리 시, 창구 직원인 내국인과 민원인인 외국인이 상호 비대면 접촉 방식으로 업무 처리를 할 수 있도록 하여 호흡기 감염병 전파를 예방하는 효과를 제공한다.
또한, 본 발명은 민원 창구 직원인 내국인과 민원인인 외국인이 민원 업무 처리 시, 창구 직원인 내국인과 민원인인 외국인이 서로 다른 언어로 업무 처리를 위한 의사소통을 할 수 있도록 하여 외국인에 대한 민원 업무 처리 효율성을 높이는 효과를 제공한다.
도 1은 본 발명의 전체 구성도
도 2는 본 발명의 사용 언어 선택 예시도
도 3은 본 발명의 발화 텍스트 정보와 번역 텍스트 정보의 표시 예시도 1
도 4는 본 발명의 발화 텍스트 정보와 번역 텍스트 정보의 표시 예시도 2
도 5는 본 발명의 사용자 인터페이스 모듈의 세부 구성도
도 6은 본 발명의 번역 및 음성합성 모듈의 세부 구성 및 기능 블록도
도 7은 본 발명의 번역 및 음성합성 모듈의 전자 서류 표시 예시도
본 발명의 실시예를 첨부된 도면을 참조하여 상세히 설명한다.
본 발명의 투명 디스플레이를 이용한 양방향 통역 장치(10, 이하 본 발명)는 은행, 병원, 호텔, 관공서 등과 같은 다중 이용시설의 민원 창구를 통해 창구 직원인 내국인과 민원인인 외국인이 민원 업무 처리 시, 창구 직원인 내국인과 민원인인 외국인이 상호 비대면 접촉 방식으로 업무 처리를 할 수 있도록 하여 호흡기 감염병 전파를 예방하는 효과와 창구 직원인 내국인과 민원인인 외국인이 서로 다른 언어로 업무 처리를 위한 의사소통을 할 수 있도록 하여 외국인에 대한 민원 업무 처리 효율성을 높이는 효과를 제공하는 발명으로, 도 1에 도시된 바와 같이, 양방향 투명 디스플레이(100), 사용자 인터페이스 모듈(200), 번역 및 음성합성 모듈(300)을 포함하여 구성되는 것을 특징으로 한다.
구체적으로, 본 발명인 투명 디스플레이를 이용한 양방향 통역 장치는, 도 1에 도시된 바와 같이,
제1 사용자와 제2 사용자의 비대면 접촉을 위한 가림막 기능을 하고, 제1 사용자와 제2 사용자가 상호 소통할 수 있도록, 제1 사용자와 제2 사용자의 발화 음성 정보가 사용자 언어 문자로 변환된 발화 텍스트 정보와 제1 사용자와 제2 사용자의 발화 음성 정보가 상대방 사용자 언어로 번역되어 문자화된 번역 텍스트 정보가 양방향으로 표시되는 양방향 투명 디스플레이(100)와;
제1 사용자와 제2 사용자의 상호 소통을 위해, 제1 사용자와 제2 사용자가 자신의 발화 음성 정보를 입력할 수 있도록 하고, 제1 사용자와 제2 사용자의 발화 음성 정보가 상대방 사용자 언어로 번역되고 음성합성된 번역 음성 정보가 출력되도록 하는 사용자 인터페이스 모듈(200)과;
제1 사용자와 제2 사용자의 발화 음성 정보를 사용자 언어 문자로 변환시킨 발화 텍스트 정보를 생성해 양방향 투명 디스플레이(100)에 표시되도록 하고, 제1 사용자와 제2 사용자의 발화 음성 정보를 상대방 사용자 언어로 번역하여 문자화시킨 번역 텍스트 정보를 생성해 양방향 투명 디스플레이(100)에 표시되도록 하고, 제1 사용자와 제2 사용자의 발화 음성 정보를 상대방 사용자 언어로 번역하고 음성합성시킨 번역 음성 정보를 생성해 사용자 인터페이스 모듈(200)을 통해 출력되도록 하는 번역 및 음성합성 모듈(300)을 포함하는 것을 특징으로 한다.
상기 양방향 투명 디스플레이(100)와 사용자 인터페이스 모듈(200)과 번역 및 음성합성 모듈(300)은 일체형으로 형성되는 것을 특징으로 한다.
즉, 양방향 투명 디스플레이(100) 하측에 사용자 인터페이스 모듈(200)이 연결 형성되고, 사용자 인터페이스 모듈(200) 내부에 번역 및 음성합성 모듈(300)이 설치되어 양방향 투명 디스플레이(100)와 사용자 인터페이스 모듈(200)과 번역 및 음성합성 모듈(300)이 일체형으로 형성된다.
양방향 투명 디스플레이(100)와 사용자 인터페이스 모듈(200)과 번역 및 음성합성 모듈(300)을 일체형으로 형성하는 이유는, 본 발명인 투명 디스플레이를 이용한 양방향 통역 장치에 받침대를 연결하여 은행, 병원, 호텔, 관공서 등과 같은 다중 이용시설의 민원 창구 데스크에 설치할 수 있도록 하거나 민원 창구에 대형 투명 아크릴 가림막이 이미 설치된 경우, 투명 아크릴 가림막 내측 일부 면적을 절단하여 설치 구멍을 형성한 후, 설치 구멍에 본 발명인 투명 디스플레이를 이용한 양방향 통역 장치를 삽입 설치될 수 있도록 하기 위함이다.
상기와 같이 본 발명인 투명 디스플레이를 이용한 양방향 통역 장치가 민원 창구에 설치되면, 창구 직원인 내국인과 민원인인 외국인이 민원 업무 처리 시, 상호 비대면 접촉 방식으로 업무 처리를 할 수 있게 되어 호흡기 감염병 전파를 예방할 수 있고, 서로 다른 언어로 업무 처리를 위한 의사소통을 할 수 있게 되어 외국인에 대한 민원 업무 처리 효율성을 높일 수 있다.
상기 양방향 투명 디스플레이(100)는 제1 사용자와 제2 사용자의 비대면 접촉을 위한 가림막 기능을 하고, 제1 사용자와 제2 사용자가 상호 소통할 수 있도록, 제1 사용자와 제2 사용자의 발화 음성 정보가 사용자 언어 문자로 변환된 발화 텍스트 정보와 제1 사용자와 제2 사용자의 발화 음성 정보가 상대방 사용자 언어로 번역되어 문자화된 번역 텍스트 정보가 양방향으로 표시되는 구성이다.
양방향 투명 디스플레이(100)는 양방향으로 정보가 표시되는 투명 OLED(Organic Light Emitting Diode)인 것이 바람직하다.
상기 제1 사용자는 은행, 병원, 호텔, 관공서 등과 같은 다중 이용시설의 민원 창구에서 민원인을 상대로 민원 업무를 수행하는 직원인 내국인을 의미하고, 상기 제2 사용자는 민원 창구를 통해 민원 서비스를 받는 민원인인 외국인을 의미한다.
양방향으로 정보가 표시되는 상기 양방향 투명 디스플레이(100)는 제1 사용자와 제2 사용자가 업무 처리 시, 비대면 접촉 방식으로 업무 처리를 할 수 있도록 가림막 기능을 한다.
코로나-19(Corona virus 19)와 같은 호흡기 감염병이 유행하는 경우, 민원 업무 처리를 위해 대면 접촉하는 제1 사용자와 제2 사용자의 호흡기 감염병 전파를 예방하기 위한 기본적 방법은 제1 사용자와 제2 사용자가 상호 비대면 접촉 방식으로 업무 처리를 할 수 있도록 하는 것이며, 상기 양방향 투명 디스플레이(100)는 제1 사용자와 제2 사용자가 업무 처리 시, 비대면 접촉 방식으로 업무 처리를 할 수 있도록 가림막 기능을 한다.
각기 다른 언어를 사용하는 제1 사용자와 제2 사용자는 민원 업무 처리를 위해, 대화 시작 전, 양방향 투명 디스플레이(100)에 표시되는 언어 선택 메뉴를 통해 사용할 언어를 선택한다.
도 2에 도시된 바와 같이, 상기 양방향 투명 디스플레이(100)의 제1 면과 제2 면에는 제1 사용자와 제2 사용자가 각각 사용할 제1 사용자 언어와 제2 사용자 언어를 선택하도록 하는 언어 선택 메뉴가 초기에 표시된다.
양방향 투명 디스플레이(100)의 제1 면은 제1 사용자 측 정보표시 면이고, 제2 면은 제2 사용자 측 정보표시 면이다.
상기 제1 사용자는 은행, 병원, 호텔, 관공서 등과 같은 다중 이용시설의 민원 창구에서 민원인을 상대로 민원 업무를 수행하는 직원인 내국인으로, 제1 면에 표시된 언어 선택 메뉴를 통해 자신이 사용할 제1 사용자 언어(예: 한국어)를 선택하고, 제2 사용자는 민원 창구를 통해 민원 업무를 처리하는 민원인인 외국인으로, 제2 면에 표시된 언어 선택 메뉴를 통해 자신이 사용할 제2 사용자 언어(예: 영어)를 선택한다.
제1 사용자와 제2 사용자가 각각 자신들이 사용할 언어(제1 사용자 언어, 제2 사용자 언어)를 선택한 후, 민원 업무를 위해, 자신들의 사용 언어로 음성을 발화하여 대화를 시작하게 되면, 발화한 음성이 상대방 언어로 번역된 번역 텍스트 정보가 양방향 투명 디스플레이(100)에 표시되어 민원 업무 처리를 위한 의사소통이 가능하게 된다.
구체적으로, 제1 사용자와 제2 사용자의 발화 음성 정보가 자신들의 사용자 언어 문자로 변환된 발화 텍스트 정보와 제1 사용자와 제2 사용자의 발화 음성 정보가 상대방 사용자 언어로 번역되어 문자화된 번역 텍스트 정보가 양방향 투명 디스플레이(100)에 표시되어, 민원 업무 처리를 위한 의사소통이 가능하게 되며, 발화 텍스트 정보와 번역 텍스트 정보의 표시 방식은 제1 표시 방식과 제2 표식 방식으로 구분된다.
먼저, 발화 텍스트 정보와 번역 텍스트 정보의 제1 표시 방식을 설명한다.
제1 사용자와 제2 사용자의 대화가 시작되면, 도 3에 도시된 바와 같이, 양방향 투명 디스플레이(100)의 제1 면과 제2 면에는 제1 사용자의 발화 음성 정보가 제1 사용자 언어로 문자 변환된 제1 발화 텍스트 정보와 제1 사용자의 발화 음성 정보가 제2 사용자 언어로 번역되어 문자화된 제1 번역 텍스트 정보가 세트로 표시되고, 제2 사용자의 발화 음성 정보가 제2 사용자 언어로 문자 변환된 제2 발화 텍스트 정보와 제2 사용자의 발화 음성 정보가 제1 사용자 언어로 번역되어 문자화된 제2 번역 텍스트 정보가 세트로 표시되는 것이, 발화 순서대로 표시되는 것을 특징으로 한다.
제1 사용자 언어로 한국어를 선택한 제1 사용자(한국인)와 제2 사용자 언어로 영어를 선택한 제2 사용자(미국인)가 은행에서 통장 개설에 대한 민원 업무를 위한 대화를 하는 경우가 예시된 도 3을 예를 들면, 양방향 투명 디스플레이(100)의 제1 면과 제2 면에는 “ 안녕하세요 Hello → 무엇을 도와 드릴까요? May I help you? → I want to open an account 통장을 개설하고 싶어요. ” 와 같이 제1 사용자와 제2 사용자의 발화 음성에 대한 발화 텍스트 정보와 번역 텍스트 정보의 세트가 발화 순서대로 표시될 수 있다.
도 3에 있어서, “ 안녕하세요 Hello / 무엇을 도와 드릴까요? May I help you? ” 는 제1 사용자(한국인)의 발화 음성 정보가 제1 사용자 언어(한국어)로 문자 변환된 제1 발화 텍스트 정보(예: 안녕하세요, 무엇을 도와 드릴까요?)와 제1 사용자(한국어)의 발화 음성 정보가 제2 사용자 언어(영어)로 번역되어 문자화된 제1 번역 텍스트 정보(예: Hello, May I help you?)가 세트로 표시된 예이고, “I want to open an account 통장을 개설하고 싶어요. ” 는 제2 사용자의 발화 음성 정보가 제2 사용자 언어(예: 영어)로 문자 변환된 제2 발화 텍스트 정보(예: I want to open an account)와 제2 사용자의 발화 음성 정보가 제1 사용자 언어(예: 한국어)로 번역되어 문자화된 제2 번역 텍스트 정보(통장을 개설하고 싶어요)가 세트로 표시된 예이다.
제1 사용자와 제2 사용자의 발화 음성에 대한 발화 텍스트 정보와 번역 텍스트 정보를 세트로 표시하는 이유는, 제1 사용자와 제2 사용자가 자신들의 발화 음성이 번역되어 텍스트로 표시되고 있는지를 확인할 수 있도록 하기 위함이다.
예를 들어, 제1 사용자의 발화 음성에 대한 발화 텍스트 정보(예: 무엇을 도와 드릴까요?)는 표시되고 있으나 제1 사용자의 발화 음성에 대한 번역 텍스트 정보(예: May I help you?)가 세트로 표시되지 않는다면, 제1 사용자는 자신의 발화 음성이 번역되어 텍스트로 표시되어 상대방인 제2 사용자에게 전달되고 있는지를 확인할 수 없을 뿐만 아니라 제2 사용자는 제1 사용자가 무슨 말을 하고 있는지 알 수 없게 되어 의사소통에 문제가 발생하게 된다.
따라서 제1 사용자와 제2 사용자의 발화 음성에 대한 발화 텍스트 정보와 번역 텍스트 정보를 세트로 표시하여, 제1 사용자와 제2 사용자가 자신들의 발화 음성이 번역되어 텍스트로 표시되어 상대방에게 전달되고 있는지를 각각 확인할 수 있도록 하는 것이다.
또한, 상기 양방향 투명 디스플레이(100)의 제1 면과 제2 면에 각각 표시되는 제1 발화 텍스트 정보와 제1 번역 텍스트 정보는 제1 색으로 표시되고, 상기 양방향 투명 디스플레이(100)의 제1 면과 제2 면에 각각 표시되는 제2 발화 텍스트 정보와 제2 번역 텍스트 정보는 제2 색으로 표시되는 것을 특징으로 한다.
도 3을 예를 들면, 제1 사용자(예: 한국인)의 발화 음성 정보가 제1 사용자 언어(예: 한국어)로 문자 변환된 제1 발화 텍스트 정보(예: 안녕하세요, 무엇을 도와 드릴까요?)와 제1 사용자(예: 한국인)의 발화 음성 정보가 제2 사용자 언어(예: 영어)로 번역되어 문자화된 제1 번역 텍스트 정보(예: Hello, May I help you?)는 제1 색(예: 흑색)으로 표시하고, 제2 사용자(예: 미국인)의 발화 음성 정보가 제2 사용자 언어(예: 영어)로 문자 변환된 제2 발화 텍스트 정보(예: I want to open an account)와 제2 사용자(예: 미국인)의 발화 음성 정보가 제1 사용자 언어(예: 한국어)로 번역되어 문자화된 제2 번역 텍스트 정보(통장을 개설하고 싶어요)는 제2 색(예: 붉은색)으로 표시한다. 이를 통해, 제1 사용자와 제2 사용자가 자신들의 발화 음성에 대한 발화 텍스트 정보와 번역 텍스트 정보를 시각적으로 구분할 수 있도록 한다.
다음으로, 발화 텍스트 정보와 번역 텍스트 정보의 제2 표시 방식을 설명한다.
제1 사용자와 제2 사용자의 대화가 시작되면, 도 4에 도시된 바와 같이, 상기 양방향 투명 디스플레이(100)의 제1 면에는 제1 사용자의 발화 음성 정보가 제1 사용자 언어로 문자 변환된 제1 발화 텍스트 정보와 제2 사용자의 발화 음성 정보가 제1 사용자 언어로 번역되어 문자화된 제2 번역 텍스트 정보가 발화 순서대로 표시되고, 상기 양방향 투명 디스플레이(100)의 제2 면에는 제1 사용자의 발화 음성 정보가 제2 사용자 언어로 번역되어 문자화된 제1 번역 텍스트 정보와 제2 사용자의 발화 음성 정보가 제2 사용자 언어로 문자 변환된 제2 발화 텍스트 정보가 발화 순서대로 표시되는 것을 특징으로 한다.
제1 사용자 언어로 한국어를 선택한 제1 사용자(한국인)와 제2 사용자 언어로 영어를 선택한 제2 사용자(미국인)가 은행에서 통장 개설에 대한 민원 업무를 위한 대화를 하는 경우가 예시된 도 4를 예를 들면, 양방향 투명 디스플레이(100)의 제1 면에는 제1 사용자의 발화 음성에 대한 발화 텍스트 정보와 제2 사용자의 발화 음성에 대한 번역 텍스트 정보가 발화 순서대로 표시되고, 제2 면에는 제1 사용자의 발화 음성에 대한 번역 텍스트 정보와 제2 사용자의 발화 음성에 대한 발화 텍스트 정보가 발화 순서대로 표시된다.
도 4의 A에 예시된 바와 같이, 양방향 투명 디스플레이(100)의 제1 면에는 “ 안녕하세요 → 관광객들은 여기서 은행 계좌를 개설할 수 있을까요? → 네 여권은 갖고 계신가요? ” 와 같이 제1 사용자의 발화 음성에 대한 발화 텍스트 정보와 제2 사용자의 발화 음성에 대한 번역 텍스트 정보가 발화 순서대로 표시될 수 있다.
도 4의 A에 있어서, 양방향 투명 디스플레이(100)의 제1 면에 표시되는 텍스트 정보 중, “ 안녕하세요 / 네 여권은 갖고 계신가요? ”는 제1 사용자(예: 한국인)의 발화 음성 정보가 제1 사용자 언어(예: 한국어)로 문자 변환된 제1 발화 텍스트 정보의 예이고, “관광객들은 여기서 은행 계좌를 개설할 수 있을까요?”는 제2 사용자(예: 미국인)의 발화 음성 정보가 제1 사용자 언어(예: 한국어)로 번역되어 문자화된 제2 번역 텍스트 정보의 예이다.
또한, 도 4의 B에 예시된 바와 같이, 양방향 투명 디스플레이(100)의 제2 면에는 “ Hello → Is it possible for tourists to open a bank account? → Yes, It is. Do you have a passport? ” 와 같이 제1 사용자의 발화 음성에 대한 번역 텍스트 정보와 제2 사용자의 발화 음성에 대한 발화 텍스트 정보가 발화 순서대로 표시될 수 있다.
도 4의 B에 있어서, 양방향 투명 디스플레이(100)의 제2 면에 표시되는 텍스트 정보 중, “ Hello / Yes, It is. Do you have a passport? ”는 제1 사용자(예: 한국인)의 발화 음성 정보가 제2 사용자 언어(예: 영어)로 번역되어 문자화된 제1 번역 텍스트 정보의 예이고, “Is it possible for tourists to open a bank account?”는 제2 사용자(예: 미국인)의 발화 음성 정보가 제2 사용자 언어(예: 영어)로 문자 변환된 제2 발화 텍스트 정보의 예이다.
또한, 양방향 투명 디스플레이(100)의 제1 면에 표시되는 제1 발화 텍스트 정보의 표시 위치와 양방향 투명 디스플레이(100)의 제2 면에 표시되는 제1 번역 텍스트 정보의 표시 위치는, 제1 발화 텍스트 정보와 제1 번역 텍스트 정보가 상호 번역 관계에 있음을 사용자들이 인지할 수 있도록, 서로 인접된 위치이고, 양방향 투명 디스플레이(100)의 제2 면에 표시되는 제2 발화 텍스트 정보의 표시 위치와 양방향 투명 디스플레이(100)의 제1 면에 표시되는 제2 번역 텍스트 정보의 표시 위치는, 제2 발화 텍스트 정보와 제2 번역 텍스트 정보가 상호 번역 관계에 있음을 사용자들이 인지할 수 있도록, 서로 인접된 위치인 것을 특징으로 한다.
양방향 투명 디스플레이(100)의 제1 면에 표시되는 제1 발화 텍스트 정보의 표시 위치와 양방향 투명 디스플레이(100)의 제2 면에 표시되는 제1 번역 텍스트 정보의 표시 위치를 서로 인접시키거나 양방향 투명 디스플레이(100)의 제2 면에 표시되는 제2 발화 텍스트 정보의 표시 위치와 양방향 투명 디스플레이(100)의 제1 면에 표시되는 제2 번역 텍스트 정보의 표시 위치를 서로 인접시키는 이유는, 제1 사용자와 제2 사용자가 자신들의 발화 음성이 번역되어 텍스트로 표시되고 있는지를 확인할 수 있도록 하기 위함이다.
예를 들어, 제1 사용자의 발화 음성을 제1 사용자 언어로 문자 변환시킨 제1 발화 텍스트 정보(예: 무엇을 도와 드릴까요?)가 양방향 투명 디스플레이(100)의 제1 면에 표시되고 있으나 제1 사용자의 발화 음성을 제2 사용자 언어로 번역하여 문자화시킨 제1 번역 텍스트 정보(예: May I help you?)가 양방향 투명 디스플레이(100)의 제2 면의 대응 위치에 표시되지 않는다면, 제1 사용자는 자신의 발화 음성이 번역되어 텍스트로 표시되어 상대방인 제2 사용자에게 전달되고 있는지를 확인할 수 없을 뿐만 아니라 제2 사용자는 제1 사용자가 무슨 말을 하고 있는지 알 수 없게 되어 의사소통에 문제가 발생하게 된다.
따라서 양방향 투명 디스플레이(100)의 제1 면에 표시되는 제1 발화 텍스트 정보의 표시 위치와 양방향 투명 디스플레이(100)의 제2 면에 표시되는 제1 번역 텍스트 정보의 표시 위치를 서로 인접시키거나 양방향 투명 디스플레이(100)의 제2 면에 표시되는 제2 발화 텍스트 정보의 표시 위치와 양방향 투명 디스플레이(100)의 제1 면에 표시되는 제2 번역 텍스트 정보의 표시 위치를 서로 인접시켜, 제1 사용자와 제2 사용자가 자신들의 발화 음성이 번역되어 텍스트로 표시되고 있는지를 확인할 수 있도록 하는 것이다.
제1 사용자(예: 한국인)와 제2 사용자(예: 미국인)가 은행에서 통장 개설에 대한 민원 업무를 위한 대화를 하는 예시인 도 4의 A를 예를 들면, 양방향 투명 디스플레이(100)의 제1 면에는 제1 사용자(예: 한국인)의 한국어 발화 음성 정보가 제1 사용자 언어(예: 한국어)로 문자 변환된 제1 발화 텍스트 정보인 “ 안녕하세요. ”가 표시되고, 제1 발화 텍스트 정보인 “ 안녕하세요. ”가 표시되는 제1 면의 위치에 인접한 위치인 양방향 투명 디스플레이(100)의 제2 면의 위치에는 제1 사용자(예: 한국인)의 한국어 발화 음성 정보가 제2 사용자 언어(영어)로 번역되어 문자화된 제1 번역 텍스트 정보인 “Hello.”가 표시된다.
이때, 제1 사용자는 자신의 발화 음성 정보가 제2 사용자 언어(예: 영어)로 번역되어 문자화된 제1 번역 텍스트 정보인 “Hello.”가 도 4의 A에 도시된 바와 같이, 제1 발화 텍스트 정보인 “ 안녕하세요. ”가 표시되는 제1 면의 위치에 인접한 위치인 양방향 투명 디스플레이(100)의 제2 면에 표시되고 있는 것을 확인하게 된다.
즉, 양방향 투명 디스플레이(100)의 투명 특징 때문에, 제1 사용자는 제1 번역 텍스트 정보인 “Hello.”가 제1 발화 텍스트 정보인 “ 안녕하세요. ”가 표시되는 제1 면의 위치에 인접한 위치인 양방향 투명 디스플레이(100)의 제2 면에 표시되고 있는 것을 확인할 수 있게 되는 것이다.
또한, 도 4의 B와 같이, 양방향 투명 디스플레이(100)의 제2 면에는 제2 사용자(예: 미국인)의 영어 발화 음성 정보가 제2 사용자 언어(예: 영어)로 문자 변환된 제2 발화 텍스트 정보인 “Is it possible for tourists to open a bank account?”가 표시되고, 제2 발화 텍스트 정보인 “Is it possible for tourists to open a bank account?”가 표시되는 제2 면의 위치에 인접한 위치인 양방향 투명 디스플레이(100)의 제1 면의 위치에는 제2 사용자(미국인)의 영어 발화 음성 정보가 제1 사용자 언어(예: 한국어)로 번역되어 문자화된 제2 번역 텍스트 정보인 “관광객들은 여기서 은행 계좌를 개설할 수 있을까요?”가 표시된다.
이때, 제2 사용자(예: 미국인)는 자신의 발화 음성 정보가 제1 사용자 언어(예: 한국어)로 번역되어 문자화된 제2 번역 텍스트 정보인 “관광객들은 여기서 은행 계좌를 개설할 수 있을까요?”가 도 4의 B에 도시된 바와 같이, 제2 발화 텍스트 정보인 “ Is it possible for tourists to open a bank account? ”가 표시되는 제2 면의 위치에 인접한 위치인 양방향 투명 디스플레이(100)의 제1 면에 표시되고 있는 것을 확인하게 된다.
즉, 양방향 투명 디스플레이(100)의 투명 특징 때문에, 제2 사용자는 제2 번역 텍스트 정보인 “관광객들은 여기서 은행 계좌를 개설할 수 있을까요?”가 제2 발화 텍스트 정보인 “ Is it possible for tourists to open a bank account? ”가 표시되는 제2 면의 위치에 인접한 위치인 양방향 투명 디스플레이(100)의 제1 면에 표시되고 있는 것을 확인할 수 있게 되는 것이다.
상기와 같이, 발화 텍스트 정보와 해당 발화 텍스트 정보를 번역한 번역 텍스트 정보를 각각 양방향 투명 디스플레이(100)의 제1 면과 제2면의 대응 위치에 인접시키게 되면, 제1 사용자와 제2 사용자는 자신들의 발화 음성이 번역되어 텍스트로 표시되고 있는지를 각각 확인할 수 있게 된다.
상기 사용자 인터페이스 모듈(200)은 제1 사용자와 제2 사용자의 상호 소통을 위해, 제1 사용자와 제2 사용자가 자신의 발화 음성 정보를 입력할 수 있도록 하고, 제1 사용자와 제2 사용자의 발화 음성 정보가 상대방 사용자 언어로 번역되고 음성합성된 번역 음성 정보가 출력되도록 하는 구성으로, 도 1에 도시된 바와 같이, 상기 양방향 투명 디스플레이(100) 하단에 일체형으로 연결된다.
구체적으로, 상기 사용자 인터페이스 모듈(200)은, 도 5에 도시된 바와 같이,
번역 및 음성합성 모듈(300)과 마이크와 스피커가 설치될 수 있도록, 양방향 투명 디스플레이(100) 하단에 인접 형성되는 설치 패널(210)과,
제1 사용자가 발화 음성을 입력할 수 있도록, 설치 패널(210)의 제1 면에 형성되는 제1 마이크(220)와,
제2 사용자가 발화 음성을 입력할 수 있도록, 설치 패널(210)의 제2 면에 형성되는 제2 마이크(230)와,
제2 사용자의 발화 음성 정보가 제1 사용자 언어로 번역되고 음성 합성된 제2 번역 음성 정보가 출력되도록, 설치 패널(210)의 제1 면에 형성되는 제1 스피커(240)와,
제1 사용자의 발화 음성 정보가 제2 사용자 언어로 번역되고 음성 합성된 제1 번역 음성 정보가 출력되도록, 설치 패널(210)의 제2 면에 형성되는 제2 스피커(250)를 포함하는 것을 특징으로 한다.
상기 설치 패널(210)은 내부 공간에 번역 및 음성합성 모듈(300)이 설치되고, 외부 면에 마이크와 스피커가 설치될 수 있도록, 양방향 투명 디스플레이(100) 하단에 인접 형성되는 구성으로, 도 1에 도시된 바와 같이, 양방향 투명 디스플레이(100) 하단에 일체형으로 연결 형성되며, 내부 공간과 제1 면과 제2 면을 갖도록 형성된다.
상기 제1 마이크(220)는 제1 사용자가 발화 음성을 입력할 수 있도록, 설치 패널(210)의 제1 면에 형성되는 구성이고, 상기 제2 마이크(230)는 제2 사용자가 발화 음성을 입력할 수 있도록, 설치 패널(210)의 제2 면에 형성되는 구성이다.
상기 제1 스피커(240)는 제2 사용자의 발화 음성 정보가 제1 사용자 언어로 번역되고 음성 합성된 제2 번역 음성 정보가 출력되도록, 설치 패널(210)의 제1 면에 형성되는 구성으로, 예를 들어, 제1 사용자가 한국인이고 제2 사용자가 미국인인 경우, 제2 사용자의 영어 발화 음성 정보인 “Hello.”가 제1 사용자 언어인 한국어로 번역되고 음성 합성된 제2 번역 음성 정보인 “안녕하세요”가 출력된다.
상기 제2 스피커(250)는 제1 사용자의 발화 음성 정보가 제2 사용자 언어로 번역되고 음성 합성된 제1 번역 음성 정보가 출력되도록, 설치 패널(210)의 제2 면에 형성되는 구성으로, 예를 들어, 제1 사용자가 한국인이고 제2 사용자가 미국인인 경우, 제1 사용자의 한국어 발화 음성 정보인 “안녕하세요”가 제2 사용자 언어인 영어로 번역되고 음성 합성된 제2 번역 음성 정보인 “Hello.”가 출력된다.
한편, 민원 업무 처리 시, 민원 업무에 필요한 물건이나 서류(예: 도장, 신분증, 현금 증명서 등)의 수납이나 교환이 필요한 상황이 발생하게 되는데, 이를 위해, 제1 사용자와 제2 사용자 간, 물건이나 서류의 수납, 교환이 가능하도록, 도 5에 도시된 바와 같이, 사용자 인터페이스 모듈(200)은 설치 패널(210) 일측에 형성되는 수납 홀(260)을 더 포함하는 것을 특징으로 한다.
제1 사용자와 제2 사용자는 수납 홀(260)을 통해, 민원 업무에 필요한 물건이나 서류(예: 도장, 신분증, 현금 증명서 등)의 수납이나 교환을 할 수 있게 된다.
한편, 민원 업무 처리 시, 제1 사용자 또는 제2 사용자의 발화 음성이 상대방 측 마이크로 오입력되어 발화 테스트나 번역 텍스트 생성에 문제를 일으킬 가능성이 있다. 이를 방지하기 위해, 도 5에 도시된 바와 같이, 사용자 인터페이스 모듈(200)은 외부 마이크를 연결할 수 있도록, 설치 패널(210)의 제1 면과 제2 면에 각각 형성되는 외부 마이크 연결 단자(270)를 더 포함하는 것을 특징으로 한다.
예를 들어, 외부 마이크가 제1 사용자와 제2 사용자가 각각 사용하는 제1 사용자 헤드셋 마이크와 제2 사용자 헤드셋 마이크인 경우, 제1 사용자와 제2 사용자의 발화 음성은 해당 사용자가 사용하는 헤드셋 마이크로만 입력되어 제1 사용자 또는 제2 사용자의 발화 음성이 상대방 측 마이크로 오입력되는 문제를 해결할 수 있다.
한편, 제1 사용자와 제2 사용자 중 어느 하나가 발화 장애(언어 장애)가 있는 사용자일 수 있다. 이 경우, 발화 장애(언어 장애)를 갖는 사용자는 마이크를 통해 발화 음성을 입력할 수 없다.
이 경우, 텍스트를 입력할 수 있는 단말기를 준비하여 발화 장애(언어 장애)를 갖는 사용자가 발화 음성 대신 텍스트를 입력할 수 있도록 해야 하며, 이를 위해, 도 5에 도시된 바와 같이, 사용자 인터페이스 모듈(200)은 외부 단말기를 연결할 수 있도록, 설치 패널(210)의 제1 면과 제2 면에 각각 형성되는 단말기 연결 단자(280)를 더 포함하는 것을 특징으로 한다.
예를 들어, 제2 사용자가 발화 장애(언어 장애)를 갖는 사용자인 경우, 제2 사용자는 설치 패널(210)의 제2 면에 형성된 단말기 연결 단자(280)에 연결된 외부 단말기를 통해 발화 음성 대신 텍스트를 입력할 수 있게 된다.
상기 번역 및 음성합성 모듈(300)은 제1 사용자와 제2 사용자의 발화 음성 정보를 사용자 언어로 문자 변환시킨 발화 텍스트 정보를 생성해 양방향 투명 디스플레이(100)에 표시되도록 하고, 제1 사용자와 제2 사용자의 발화 음성 정보를 상대방 사용자 언어로 번역하여 문자화시킨 번역 텍스트 정보를 생성해 양방향 투명 디스플레이(100)에 표시되도록 하고, 제1 사용자와 제2 사용자의 발화 음성 정보를 상대방 사용자 언어로 번역하고 음성 합성시킨 번역 음성 정보를 생성해 사용자 인터페이스 모듈(200)을 통해 출력되도록 하는 구성으로, 도 1에 도시된 바와 같이, 상기 사용자 인터페이스 모듈(200)의 설치 패널(210) 내부에 설치된다.
구체적으로, 상기 번역 및 음성합성 모듈(300)은, 도 6에 도시된 바와 같이,
사용자 인터페이스 모듈(200)을 통해 전달되는 정보가 입력되는 정보 입력부(310)와,
양방향 투명 디스플레이(100)의 제1 면과 제2 면에 언어 선택 메뉴가 표시되도록 하고, 제1 사용자와 제2 사용자의 언어 선택 메뉴를 통한 언어 선택에 따라 제1 사용자가 사용할 제1 사용자 언어 정보와 제2 사용자가 사용할 제2 사용자 언어 정보를 포함하는 사용 언어 정보를 텍스트 변환 엔진(330)과 번역 엔진(340)과 음성합성 엔진(350)으로 제공하는 사용 언어 정보 제공부(320)와,
정보 입력부(310)를 통해 입력된 발화 음성 정보를 사용자 언어로 문자 변환시켜 발화 텍스트 정보를 생성하는 텍스트 변환 엔진(330)과,
사용 언어 정보 제공부(320)가 제공한 사용 언어 정보를 이용해, 텍스트 변환 엔진(330)을 통해 생성된 발화 텍스트 정보나 정보 입력부(310)를 통해 입력된 텍스트 정보를 번역하여 번역 텍스트 정보를 생성하는 번역 엔진(340)과,
번역 엔진(340)이 생성한 번역 텍스트 정보를 음성합성하여 번역 음성 정보를 생성하는 음성합성 엔진(350)과,
텍스트 변환 엔진(330)이 생성한 발화 텍스트 정보와 번역 엔진(340)이 생성한 번역 텍스트 정보가 양방향 투명 디스플레이(100)에 표시되도록 하는 제1 표시 제어 또는 제2 표시 제어를 하고, 음성합성 엔진(350)이 생성한 번역 음성 정보가 사용자 인터페이스 모듈(200)을 통해 출력되도록 하는 표시 제어부(360)를 포함하는 것을 특징으로 한다.
상기 정보 입력부(310)는 사용자 인터페이스 모듈(200)을 통해 전달되는 정보가 입력되는 구성으로, 도 6에 도시된 바와 같이, 사용자 인터페이스 모듈(200)의 제1 마이크(220)와 제2 마이크(230)를 통해 입력되는 사용자들의 발화 음성 정보, 사용자 인터페이스 모듈(200)의 외부 마이크 연결 단자(270)에 연결된 외부 마이크(예: 헤드셋 마이크)를 통해 입력되는 사용자들의 발화 음성 정보, 사용자 인터페이스 모듈(200)의 단말기 연결 단자(280)에 연결된 외부 단말기를 통해 입력되는 사용자들의 텍스트 정보나 전자 서류 정보를 입력받는다.
상기 사용 언어 정보 제공부(320)는 양방향 투명 디스플레이(100)의 제1 면과 제2 면에 언어 선택 메뉴가 표시되도록 하고, 제1 사용자와 제2 사용자의 언어 선택 메뉴를 통한 언어 선택에 따라 제1 사용자가 사용할 제1 사용자 언어 정보와 제2 사용자가 사용할 제2 사용자 언어 정보를 포함하는 사용 언어 정보를 텍스트 변환 엔진(330)과 번역 엔진(340)과 음성합성 엔진(350)으로 제공하는 구성이다.
도 2에 도시된 바와 같이, 양방향 투명 디스플레이(100)의 제1 면과 제2 면에는 사용 언어 정보 제공부(320)에 의해 언어 선택 메뉴가 표시되는데, 제1 사용자와 제2 사용자는 언어 선택 메뉴를 통해 각각 자신이 사용할 사용 언어를 선택하게 되고, 제1 사용자와 제2 사용자의 언어 선택 메뉴를 통한 언어 선택이 이루어지면, 사용 언어 정보 제공부(320)는 제1 사용자가 사용할 제1 사용자 언어 정보와 제2 사용자가 사용할 제2 사용자 언어 정보를 포함하는 사용 언어 정보를, 도 6에 도시된 바와 같이, 텍스트 변환 엔진(330)과 번역 엔진(340)과 음성합성 엔진(350)으로 제공한다.
예를 들어, 제1 사용자가 언어 선택 메뉴를 통해 한국어를 사용 언어로 선택하고, 제2 사용자가 언어 선택 메뉴를 통해 영어를 사용 언어로 선택하면, 사용 언어 정보 제공부(320)는 제1 사용자 언어는 한국어, 제2 사용자 언어는 영어를 포함하는 사용 언어 정보를 텍스트 변환 엔진(330)과 번역 엔진(340)과 음성합성 엔진(350)으로 제공한다.
상기 텍스트 변환 엔진(330)은 정보 입력부(310)를 통해 입력된 발화 음성 정보를 사용자 언어로 문자 변환시켜 발화 텍스트 정보를 생성하는 구성이다.
구체적으로, 상기 텍스트 변환 엔진(330)은 정보 입력부(310)를 통해 입력된 발화 음성 정보가 제1 사용자 언어로 된 음성 정보이면, 발화 음성 정보를 제1 사용자 언어로 문자 변환시켜 제1 사용자 언어로 문자화된 제1 발화 텍스트 정보를 생성하고, 정보 입력부(310)를 통해 입력된 발화 음성 정보가 제2 사용자 언어로 된 음성 정보이면, 발화 음성 정보를 제2 사용자 언어로 문자 변환시켜 제2 사용자 언어로 문자화된 제2 발화 텍스트 정보를 생성하는 것을 특징으로 한다.
이때, 사용 언어 정보 제공부(320)에 의해 텍스트 변환 엔진(330)으로 제1 사용자가 사용할 제1 사용자 언어 정보와 제2 사용자가 사용할 제2 사용자 언어 정보를 포함하는 사용 언어 정보가 제공되기 때문에, 텍스트 변환 엔진(330)은 정보 입력부(310)를 통해 입력된 발화 음성 정보가 제1 사용자 언어로 된 발화 음성 정보인지 제2 사용자 언어로 된 발화 음성 정보인지만을 판단하면 된다.
예를 들어, 정보 입력부(310)를 통해 입력된 발화 음성 정보가 제1 사용자 언어인 한국어인 “안녕하세요”란 음성 정보로 판단되면, 발화 음성 정보를 제1 사용자 언어인 한국어로 문자 변환시켜 제1 사용자 언어인 한국어로 된 문자인 “안녕하세요”란 제1 발화 텍스트 정보를 생성하고, 정보 입력부(310)를 통해 입력된 발화 음성 정보가 제2 사용자 언어인 영어인 “Hello.”란 음성 정보로 판단되면, 발화 음성 정보를 제2 사용자 언어인 영어로 문자 변환시켜 제2 사용자 언어인 영어로 된 문자인 “Hello.”란 제2 발화 텍스트 정보를 생성한다.
텍스트 변환 엔진(330)이 생성한 제1, 2 발화 텍스트 정보는 후술할 표시 제어부(360)에 의해 양방향 투명 디스플레이(100)에 표시되어, 제1 사용자와 제2 사용자는 자신의 발화 음성이 텍스트로 변환되어 표시되는 것을 확인하게 된다.
상기 번역 엔진(340)은 사용 언어 정보 제공부(320)가 제공한 사용 언어 정보를 이용해, 텍스트 변환 엔진(330)을 통해 생성된 발화 텍스트 정보나 정보 입력부(310)를 통해 입력된 텍스트 정보를 번역하여 번역 텍스트 정보를 생성하는 구성이다.
구체적으로, 상기 번역 엔진(340)은 사용 언어 정보 제공부(320)가 제공한 사용 언어 정보를 이용해 번역에 이용할 제1 사용자 언어와 제2 사용자 언어를 파악한다.
예를 들어, 제1 사용자 언어는 한국어, 제2 사용자 언어는 영어란 사용 언어 정보가 사용 언어 정보 제공부(320)로부터 제공되면, 번역에 이용할 제1 사용자 언어는 한국어, 제2 사용자 언어는 영어인 것으로 파악한다.
이후, 번역 엔진(340)은 텍스트 변환 엔진(330)을 통해 생성된 발화 텍스트 정보나 정보 입력부(310)를 통해 입력된 텍스트 정보가 제1 사용자 언어로 된 텍스트 정보이면, 텍스트 정보를 제2 사용자 언어로 번역하여 제2 사용자 언어로 된 제1 번역 텍스트 정보를 생성하고, 텍스트 변환 엔진(330)을 통해 생성된 발화 텍스트 정보나 정보 입력부(310)를 통해 입력된 텍스트 정보가 제2 사용자 언어로 된 텍스트 정보이면, 텍스트 정보를 제1 사용자 언어로 번역하여 제1 사용자 언어로 된 제2 번역 텍스트 정보를 생성하는 것을 특징으로 한다.
예를 들어, 제1 사용자 언어는 한국어, 제2 사용자 언어는 영어로 파악된 상태에서, 텍스트 변환 엔진(330)을 통해 생성된 발화 텍스트 정보가 제1 사용자 언어인 한국어로 된 문자인 “무엇을 도와 드릴까요?”란 제1 발화 텍스트 정보이면, 번역 엔진(340)은 “무엇을 도와 드릴까요?”란 제1 발화 텍스트 정보를 제2 사용자 언어인 영어로 번역하여 제2 사용자 언어인 영어로 된 “May I help you?”란 제1 번역 텍스트 정보를 생성한다.
또한, 제1 사용자가 발화 장애(언어 장애)를 갖는 사용자인 경우, 외부 단말기가 연결된 단말기 연결 단자(280)를 통해 정보 입력부(310)로 발화 음성 정보를 대신하는 텍스트 정보가 입력될 수 있다. 이 경우, 번역 엔진(340)은 정보 입력부(310)를 통해 입력된 텍스트 정보가 제1 사용자 언어인 한국어로 된 문자인 “안녕하세요”란 텍스트 정보이면, 번역 엔진(340)은 “안녕하세요”란 텍스트 정보를 제2 사용자 언어인 영어로 번역하여 제2 사용자 언어인 영어로 된 “Hello.”란 제1 번역 텍스트 정보를 생성한다.
또 다른 예로, 제1 사용자 언어는 한국어, 제2 사용자 언어는 영어로 파악된 상태에서, 텍스트 변환 엔진(330)을 통해 생성된 발화 텍스트 정보가 제2 사용자 언어인 영어로 된 문자인 “May I help you?”란 제2 발화 텍스트 정보이면, 번역 엔진(340)은 “May I help you?”란 제2 발화 텍스트 정보를 제1 사용자 언어인 한국어로 번역하여 제1 사용자 언어인 한국어로 된 “무엇을 도와 드릴까요?”란 제2 번역 텍스트 정보를 생성한다.
또한, 제2 사용자가 발화 장애(언어 장애)를 갖는 사용자인 경우, 외부 단말기가 연결된 단말기 연결 단자(280)를 통해 정보 입력부(310)로 발화 음성 정보를 대신하는 텍스트 정보가 입력될 수 있다. 이 경우, 번역 엔진(340)은 정보 입력부(310)를 통해 입력된 텍스트 정보가 제2 사용자 언어인 영어로 된 문자인 “Hello.”란 텍스트 정보이면, 번역 엔진(340)은 “Hello.”란 텍스트 정보를 제1 사용자 언어인 한국어로 번역하여 제1 사용자 언어인 한국어로 된 “안녕하세요”란 제2 번역 텍스트 정보를 생성한다.
번역 엔진(340)이 생성한 제1, 2 번역 텍스트 정보는 후술할 표시 제어부(360)에 의해 양방향 투명 디스플레이(100)에 표시되어, 제1 사용자와 제2 사용자는 자신의 발화 음성이 상대방 언어로 번역되어 문자화된 텍스트로 표시되는 것을 확인하게 된다.
상기 음성합성 엔진(350)은 번역 엔진(340)이 생성한 번역 텍스트 정보를 음성 합성하여 번역 음성 정보를 생성하는 구성이다.
구체적으로, 상기 음성합성 엔진(350)은 사용 언어 정보 제공부(320)가 제공한 사용 언어 정보를 이용해 음성합성에 이용할 제1 사용자 언어와 제2 사용자 언어를 파악한다.
예를 들어, 제1 사용자 언어는 한국어, 제2 사용자 언어는 영어란 사용 언어 정보가 사용 언어 정보 제공부(320)로부터 제공되면, 음성합성에 이용할 제1 사용자 언어는 한국어, 제2 사용자 언어는 영어인 것으로 파악한다.
이후, 음성합성 엔진(350)은 번역 엔진(340)이 생성한 번역 텍스트 정보가 제1 사용자 언어로 된 제2 번역 텍스트 정보이면, 제2 번역 텍스트 정보를 제1 사용자 언어로 음성 합성하여, 제1 사용자 언어 음성으로 된 제2 번역 음성 정보를 생성하고, 번역 엔진(340)이 생성한 번역 텍스트 정보가 제2 사용자 언어로 된 제1 번역 텍스트 정보이면, 제1 번역 텍스트 정보를 제2 사용자 언어로 음성 합성하여, 제2 사용자 언어 음성으로 된 제1 번역 음성 정보를 생성하는 것을 특징으로 한다.
예를 들어, 제1 사용자 언어는 한국어, 제2 사용자 언어는 영어로 파악된 상태에서, 번역 엔진(340)이 생성한 번역 텍스트 정보가 제1 사용자 언어인 한국어로 된 문자인 “여기서 은행 계좌를 개설할 수 있을까요?”란 제2 번역 텍스트 정보이면, 음성합성 엔진(350)은 “여기서 은행 계좌를 개설할 수 있을까요?”란 제2 번역 텍스트 정보를 제1 사용자 언어인 한국어로 음성합성 하여 제1 사용자 언어인 한국어 음성으로 된 “여기서 은행 계좌를 개설할 수 있을까요?”란 제2 번역 음성 정보를 생성한다.
또 다른 예로, 제1 사용자 언어는 한국어, 제2 사용자 언어는 영어로 파악된 상태에서, 번역 엔진(340)이 생성한 번역 텍스트 정보가 제2 사용자 언어인 영어로 된 문자인 “May I help you?”란 제1 번역 텍스트 정보이면, 음성합성 엔진(350)은 “May I help you?”란 제1 번역 텍스트 정보를 제2 사용자 언어인 영어로 음성합성 하여 제2 사용자 언어인 영어 음성으로 된 “May I help you?”란 제1 번역 음성 정보를 생성한다.
음성합성 엔진(350)이 생성한 제1, 2 번역 음성 정보는 후술할 표시 제어부(360)에 의해 사용자 인터페이스 모듈(200)의 제1 스피커(240), 제2 스피커(250)로 출력되어, 제1 사용자와 제2 사용자는 자신의 발화 음성이 상대방 언어로 번역되고 음성 합성된 번역 음성이 출력되는 것을 확인하게 된다.
상기 표시 제어부(360)는 텍스트 변환 엔진(330)이 생성한 발화 텍스트 정보와 번역 엔진(340)이 생성한 번역 텍스트 정보가 양방향 투명 디스플레이(100)에 표시되도록 하는 제1 표시 제어 또는 제2 표시 제어를 하고, 음성합성 엔진(350)이 생성한 번역 음성 정보가 사용자 인터페이스 모듈(200)를 통해 출력되도록 하는 구성이다.
이하에서는 상기 표시 제어부(360)의 제1 표시 제어에 대해 설명한다.
구체적으로, 상기 표시 제어부(360)는 양방향 투명 디스플레이(100)의 제1 면과 제2 면에, 제1 사용자의 발화 음성 정보가 제1 사용자 언어로 문자 변환된 제1 발화 텍스트 정보와 제1 사용자의 발화 음성 정보가 제2 사용자 언어로 번역되어 문자화된 제1 번역 텍스트 정보가 세트로 표시되도록 하고, 제2 사용자의 발화 음성 정보가 제2 사용자 언어로 문자 변환된 제2 발화 텍스트 정보와 제2 사용자의 발화 음성 정보가 제1 사용자 언어로 번역되어 문자화된 제2 번역 텍스트 정보가 세트로 표시되도록 하되, 발화 순서대로 표시되도록 하는 것을 특징으로 한다.
제1 사용자 언어로 한국어를 선택한 제1 사용자(한국인)와 제2 사용자 언어로 영어를 선택한 제2 사용자(미국인)가 은행에서 통장 개설에 대한 민원 업무를 위한 대화를 하는 예시인 도 3을 예를 들면, 표시 제어부(360)는 양방향 투명 디스플레이(100)의 제1 면과 제2 면에 “ 안녕하세요 Hello → 무엇을 도와 드릴까요? May I help you? → I want to open an account 통장을 개설하고 싶어요. ” 와 같이 제1 사용자와 제2 사용자의 발화 음성에 대한 발화 텍스트 정보와 번역 텍스트 정보의 세트가 발화 순서대로 표시되도록 한다.
표시 제어부(360)가 양방향 투명 디스플레이(100)의 제1 면과 제2 면에 제1 사용자와 제2 사용자의 발화 음성에 대한 발화 텍스트 정보와 번역 텍스트 정보가 세트로 표시되도록 하는 이유는, 제1 사용자와 제2 사용자가 자신들의 발화 음성이 번역되어 텍스트로 상대방에게 전달되고 확인할 수 있도록 하기 위함이다.
예를 들어, 제1 사용자의 발화 음성에 대한 발화 텍스트 정보(예: 무엇을 도와 드릴까요?)는 표시되고 있으나 제1 사용자의 발화 음성에 대한 번역 텍스트 정보(예: May I help you?)가 세트로 표시되지 않는다면, 제1 사용자는 자신의 발화 음성이 번역되어 텍스트로 제2 사용자에게 전달되고 있는지 확인할 수 없을 뿐만 아니라 제2 사용자는 제1 사용자가 무슨 말을 하고 있는지 알 수 없게 되어 의사소통에 문제가 발생하게 된다.
따라서 제1 사용자와 제2 사용자의 발화 음성에 대한 발화 텍스트 정보와 번역 텍스트 정보가 세트로 표시되도록 하여 제1 사용자와 제2 사용자가 자신들의 발화 음성이 번역되어 텍스트로 표시되고 있는지를 각각 확인할 수 있도록 하는 것이다.
또한, 상기 표시 제어부(360)는 상기 양방향 투명 디스플레이(100)의 제1 면과 제2 면에 각각 표시되는 제1 발화 텍스트 정보와 제1 번역 텍스트 정보는 제1 색으로 표시되도록 하고, 상기 양방향 투명 디스플레이(100)의 제1 면과 제2 면에 각각 표시되는 제2 발화 텍스트 정보와 제2 번역 텍스트 정보는 제2 색으로 표시되도록 하는 것을 특징으로 한다.
예를 들어, 도 3에 도시된 바와 같이, 표시 제어부(360)는 제1 사용자(예: 한국인)의 발화 음성 정보가 제1 사용자 언어(예: 한국어)로 문자 변환된 제1 발화 텍스트 정보(예: 안녕하세요, 무엇을 도와 드릴까요?)와 제1 사용자(한국어)의 발화 음성 정보가 제2 사용자 언어(예: 영어)로 번역되어 문자화된 제1 번역 텍스트 정보(예: Hello, May I help you?)는 제1 색(예: 흑색)으로 표시되도록 하고, 제2 사용자의 발화 음성 정보가 제2 사용자 언어(예: 영어)로 문자 변환된 제2 발화 텍스트 정보(예: I want to open an account)와 제2 사용자의 발화 음성 정보가 제1 사용자 언어(예: 한국어)로 번역되어 문자화된 제2 번역 텍스트 정보(통장을 개설하고 싶어요)는 제2 색(예: 붉은색)으로 표시되도록 한다.
상기와 같이, 제1 사용자의 발화 음성에 대한 제1 발화 텍스트 정보와 제1 번역 텍스트 정보가 제1 색으로 표시되고, 제2 사용자의 발화 음성에 대한 제2 발화 텍스트 정보와 제2 번역 텍스트 정보가 제2 색으로 표시되면, 제1 사용자와 제2 사용자는 양방향 투명 디스플레이(100)에 표시되는 발화 텍스트 정보와 번역 텍스트 정보가 누구에 대한 것인지를 시각적으로 구분할 수 있게 된다.
이하에서는 상기 표시 제어부(360)의 제2 표시 제어에 대해 설명한다.
상기 표시 제어부(360)는 양방향 투명 디스플레이(100)의 제1 면에는 제1 사용자의 발화 음성 정보가 제1 사용자 언어로 문자 변환된 제1 발화 텍스트 정보와 제2 사용자의 발화 음성 정보가 제1 사용자 언어로 번역되어 문자화된 제2 번역 텍스트 정보가 발화 순서대로 표시되도록 하고, 양방향 투명 디스플레이(100)의 제2 면에는 제1 사용자의 발화 음성 정보가 제2 사용자 언어로 번역되어 문자화된 제1 번역 텍스트 정보와 제2 사용자의 발화 음성 정보가 제2 사용자 언어로 문자 변환된 제2 발화 텍스트 정보가 발화 순서대로 표시되도록 하는 것을 특징으로 한다.
제1 사용자 언어로 한국어를 선택한 제1 사용자(한국인)와 제2 사용자 언어로 영어를 선택한 제2 사용자(미국인)가 은행에서 통장 개설에 대한 민원 업무를 위한 대화를 하는 예시인 도 4의 A를 예를 들면, 표시 제어부(360)는 양방향 투명 디스플레이(100)의 제1 면에는 “ 안녕하세요 → 관광객들은 여기서 은행 계좌를 개설할 수 있을까요? → 네 여권은 갖고 계신가요? ” 와 같이 제1 사용자의 발화 음성에 대한 발화 텍스트 정보(안녕하세요, 네 여권은 갖고 계신가요?)와 제2 사용자의 발화 음성에 대한 번역 텍스트 정보(관광객들은 여기서 은행 계좌를 개설할 수 있을까요?)가 발화 순서대로 표시되도록 한다.
또한, 도 4의 B에 예시된 바와 같이, 표시 제어부(360)는 양방향 투명 디스플레이(100)의 제2 면에는 “ Hello → Is it possible for tourists to open a bank account? → Yes, It is. Do you have a passport? ” 와 같이 제1 사용자의 발화 음성에 대한 번역 텍스트 정보(Hello, Yes, It is. Do you have a passport? )와 제2 사용자의 발화 음성에 대한 발화 텍스트 정보(Is it possible for tourists to open a bank account? )가 발화 순서대로 표시되도록 한다.
또한, 상기 표시 제어부(360)는 제1 발화 텍스트 정보와 제1 번역 텍스트 정보가 상호 번역 관계에 있음을 사용자들이 인지할 수 있도록, 양방향 투명 디스플레이(100)의 제1 면에 표시되는 제1 발화 텍스트 정보의 표시 위치와 양방향 투명 디스플레이(100)의 제2 면에 표시되는 제1 번역 텍스트 정보의 표시 위치가 서로 인접되도록 제1 발화 텍스트 정보와 제1 번역 텍스트 정보를 표시하고, 제2 발화 텍스트 정보와 제2 번역 텍스트 정보가 상호 번역 관계에 있음을 사용자들이 인지할 수 있도록, 양방향 투명 디스플레이(100)의 제2 면에 표시되는 제2 발화 텍스트 정보의 표시 위치와 양방향 투명 디스플레이(100)의 제1 면에 표시되는 제2 번역 텍스트 정보의 표시 위치가 서로 인접되도록 제2 발화 텍스트 정보와 제2 번역 텍스트 정보를 표시하는 것을 특징으로 한다.
예를 들어, 도 4의 A와 같이, 표시 제어부(360)는 양방향 투명 디스플레이(100)의 제1 면에는 제1 사용자(한국인)의 한국어 발화 음성 정보가 제1 사용자 언어(한국어)로 문자 변환된 제1 발화 텍스트 정보인 “ 안녕하세요. ”가 표시되고, 제1 발화 텍스트 정보인 “ 안녕하세요. ”가 표시되는 제1 면의 위치에 인접한 위치인 양방향 투명 디스플레이(100)의 제2 면의 위치에는 제1 사용자(한국인)의 한국어 발화 음성 정보가 제2 사용자 언어(영어)로 번역되어 문자화된 제1 번역 텍스트 정보인 “Hello.”가 표시되도록 한다.
또 다른 예로, 도 4의 B와 같이, 표시 제어부(360)는 양방향 투명 디스플레이(100)의 제2 면에는 제2 사용자(미국인)의 영어 발화 음성 정보가 제2 사용자 언어(영어)로 문자 변환된 제2 발화 텍스트 정보인 “Is it possible for tourists to open a bank account?”가 표시되고, 제2 발화 텍스트 정보인 “Is it possible for tourists to open a bank account?”가 표시되는 제2 면의 위치에 인접한 위치인 양방향 투명 디스플레이(100)의 제1 면의 위치에는 제2 사용자(미국인)의 영어 발화 음성 정보가 제1 사용자 언어(한국어)로 번역되어 문자화된 제2 번역 텍스트 정보인 “관광객들은 여기서 은행 계좌를 개설할 수 있을까요?”가 표시되도록 한다.
표시 제어부(360)가 양방향 투명 디스플레이(100)의 제1 면에 표시되는 제1 발화 텍스트 정보의 표시 위치와 양방향 투명 디스플레이(100)의 제2 면에 표시되는 제1 번역 텍스트 정보의 표시 위치가 서로 인접되도록 제1 발화 텍스트 정보와 제1 번역 텍스트 정보를 표시하고, 양방향 투명 디스플레이(100)의 제2 면에 표시되는 제2 발화 텍스트 정보의 표시 위치와 양방향 투명 디스플레이(100)의 제1 면에 표시되는 제2 번역 텍스트 정보의 표시 위치가 서로 인접되도록 제2 발화 텍스트 정보와 제2 번역 텍스트 정보를 표시하는 이유는, 제1 사용자와 제2 사용자가 자신들의 발화 음성이 번역되어 텍스트로 상대방에게 전달되고 있는지를 확인할 수 있도록 하기 위함이다.
예를 들어, 제1 사용자의 발화 음성에 대한 발화 텍스트 정보(예: 무엇을 도와 드릴까요?)는 양방향 투명 디스플레이(100)의 제1 면에 표시되고 있으나 제1 사용자의 발화 음성에 대한 번역 텍스트 정보(예: May I help you?)가 양방향 투명 디스플레이(100)의 제2 면에 표시되지 않는다면, 제1 사용자는 자신의 발화 음성이 번역되어 텍스트로 제2 사용자에게 전달되고 있는지 확인할 수 없을 뿐만 아니라 제2 사용자는 제1 사용자가 무슨 말을 하고 있는지 알 수 없게 되어 의사소통에 문제가 발생하게 된다.
양방향 투명 디스플레이(100)의 투명 특징으로 인해, 제1 사용자는 자신의 발화 음성에 대한 발화 텍스트가 표시되는 양방향 투명 디스플레이(100)의 제1 면 위치에 인접한 양방향 투명 디스플레이(100)의 제2 면 위치에 자신의 발화 음성에 대한 번역 텍스트가 표시되는 것을 확인할 수 있고, 제2 사용자는 자신의 발화 음성에 대한 발화 텍스트가 표시되는 양방향 투명 디스플레이(100)의 제2 면 위치에 인접한 양방향 투명 디스플레이(100)의 제1 면 위치에 자신의 발화 음성에 대한 번역 텍스트가 표시되는 것을 확인할 수 있게 되어, 제1 사용자와 제2 사용자가 자신들의 발화 음성이 번역되어 텍스트로 상대방에게 전달되고 있는지를 확인할 수 있게 된다.
또한, 상기 표시 제어부(360)는 제2 사용자의 발화 음성 정보가 제1 사용자 언어로 번역되고 음성 합성된 제2 번역 음성 정보가 설치 패널(210)의 제1 면에 형성되는 제1 스피커(240)를 통해 출력되도록 하고, 제1 사용자의 발화 음성 정보가 제2 사용자 언어로 번역되고 음성 합성된 제1 번역 음성 정보가 설치 패널(210)의 제2 면에 형성되는 제2 스피커(250)를 통해 출력되도록 하는 것을 특징으로 한다.
예를 들어, 미국인인 제2 사용자가 “ I want to open an account. Is it possible for tourists to open a bank account?”라고 발화하는 경우, 해당 발화 음성 정보가 한국인인 제1 사용자 언어인 한국어로 번역되고 음성 합성되어 “ 통장을 개설하고 싶어요. 관광객들은 여기서 은행 계좌를 개설할 수 있을까요?”란 제2 번역 음성 정보가 생성되는데, 표시 제어부(360)는 설치 패널(210)의 제1 면에 형성되는 제1 스피커(240)를 통해 제2 번역 음성 정보가 출력되도록 한다.
또 다른 예로, 한국인인 제1 사용자가 “ 무엇을 도와 드릴까요? ”라고 발화하는 경우, 해당 발화 음성 정보가 미국인인 제2 사용자 언어인 영어로 번역되고 음성 합성되어 “ May I help you?”란 제1 번역 음성 정보가 생성되는데, 표시 제어부(360)는 설치 패널(210)의 제2 면에 형성되는 제2 스피커(250)를 통해 제1 번역 음성 정보가 출력되도록 한다.
한편, 제1 사용자와 제2 사용자의 민원 업무 처리 시, 제1 사용자는 제2 사용자에게 주의 사항 안내 서류나 서명이 필요한 서류(예: 개인정보 수집 및 활용동의서 등)를 제공할 상황이 발생하게 되는데, 이 경우, 제1 사용자는 외부 단말기를 통해 주의 사항 안내 서류나 서명이 필요한 서류를 전자화시킨 전자 서류를 양방향 투명 디스플레이(100)에 표시시켜 주의 사항을 안내하거나 제2 사용자의 서명을 받을 수 있다.
구체적으로, 상기 표시 제어부(360)는 제2 사용자에게 제공될 전자 서류 정보가 사용자 인터페이스 모듈(200)을 통해 정보 입력부(310)에 입력되면, 양방향 투명 디스플레이(100)의 제2 면에 전자 서류 정보를 표시하는 것을 특징으로 한다.
예를 들어, 제2 사용자에게 주의 사항 안내 서류나 서명이 필요한 서류를 제공할 필요가 있는 경우, 제1 사용자는 인터페이스 모듈(200)의 설치 패널(210)에 형성된 수납 홀(260)을 통해 제2 사용자에게 주의 사항 안내용 종이 서류나 서명이 필요한 종이 서류를 제공하여 주의 사항을 안내하거나 서명을 받을 수도 있지만, 도 7에 도시된 바와 같이, 양방향 투명 디스플레이(100)에 주의 사항 안내 서류나 서명이 필요한 서류를 전자화시킨 전자 서류 정보를 표시시켜 주의 사항을 안내하거나 서명을 받을 수도 있다.
양방향 투명 디스플레이(100)에 주의 사항 안내 서류나 서명이 필요한 서류를 전자화시킨 전자 서류 정보를 표시하는 경우, 제1 사용자는 설치 패널(210)의 제1 면에 형성된 단말기 연결 단자(280)에 연결된 외부 단말기를 통해 주의 사항 안내 서류나 서명이 필요한 서류를 전자화시킨 전자 서류 정보를 불러오거나 입력시킨다.
주의 사항 안내 서류나 서명이 필요한 서류를 전자화시킨 전자 서류 정보가 사용자 인터페이스 모듈(200)을 통해 정보 입력부(310)에 입력되면, 상기 표시 제어부(360)는 도 7에 도시된 바와 같이, 양방향 투명 디스플레이(100)의 제2 면에 전자 서류 정보를 표시하여 제2 사용자에게 주의 사항 안내나 제2 사용자가 터치를 통한 서명이 이루어질 수 있도록 한다.
이상에서 본 발명의 기술 사상을 첨부 도면과 함께 서술하였지만, 이는 본 발명의 바람직한 실시예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니며, 본 발명의 권리 범위는 실시예에 국한되지 않고, 이 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술 사상 범주 내에서 변형한 것까지 포함함은 자명하다 할 것이다.
10 : 투명 디스플레이를 이용한 양방향 통역 장치
100 : 양방향 투명 디스플레이
200 : 사용자 인터페이스 모듈
300 : 번역 및 음성합성 모듈

Claims (16)

  1. 투명 디스플레이를 이용한 양방향 통역 장치에 있어서,
    제1 사용자와 제2 사용자의 비대면 접촉을 위한 가림막 기능을 하고, 제1 사용자와 제2 사용자가 상호 소통할 수 있도록, 제1 사용자와 제2 사용자의 발화 음성 정보가 사용자 언어 문자로 변환된 발화 텍스트 정보와 제1 사용자와 제2 사용자의 발화 음성 정보가 상대방 사용자 언어로 번역되어 문자화된 번역 텍스트 정보가 양방향으로 표시되는 양방향 투명 디스플레이(100)와;
    제1 사용자와 제2 사용자의 상호 소통을 위해, 제1 사용자와 제2 사용자가 자신의 발화 음성 정보를 입력할 수 있도록 하고, 제1 사용자와 제2 사용자의 발화 음성 정보가 상대방 사용자 언어로 번역되고 음성합성된 번역 음성 정보가 출력되도록 하는 사용자 인터페이스 모듈(200)과;
    제1 사용자와 제2 사용자의 발화 음성 정보를 사용자 언어 문자로 변환시킨 발화 텍스트 정보를 생성해 양방향 투명 디스플레이(100)에 표시되도록 하고, 제1 사용자와 제2 사용자의 발화 음성 정보를 상대방 사용자 언어로 번역하여 문자화시킨 번역 텍스트 정보를 생성해 양방향 투명 디스플레이(100)에 표시되도록 하고, 제1 사용자와 제2 사용자의 발화 음성 정보를 상대방 사용자 언어로 번역하고 음성합성시킨 번역 음성 정보를 생성해 사용자 인터페이스 모듈(200)을 통해 출력되도록 하는 번역 및 음성합성 모듈(300)을 포함하고,

    상기 번역 및 음성합성 모듈(300)은,
    사용자 인터페이스 모듈(200)의 설치 패널(210) 내부에 설치되고,
    사용자 인터페이스 모듈(200)을 통해 전달되는 정보가 입력되는 정보 입력부(310)와,
    양방향 투명 디스플레이(100)의 제1 면과 제2 면에 언어 선택 메뉴가 표시되도록 하고, 제1 사용자와 제2 사용자의 언어 선택 메뉴를 통한 언어 선택에 따라 제1 사용자가 사용할 제1 사용자 언어 정보와 제2 사용자가 사용할 제2 사용자 언어 정보를 포함하는 사용 언어 정보를 텍스트 변환 엔진(330)과 번역 엔진(340)과 음성합성 엔진(350)으로 제공하는 사용 언어 정보 제공부(320)와,
    정보 입력부(310)를 통해 입력된 발화 음성 정보를 사용자 언어로 문자 변환시켜 발화 텍스트 정보를 생성하는 텍스트 변환 엔진(330)과,
    사용 언어 정보 제공부(320)가 제공한 사용 언어 정보를 이용해, 텍스트 변환 엔진(330)을 통해 생성된 발화 텍스트 정보나 정보 입력부(310)를 통해 입력된 텍스트 정보를 번역하여 번역 텍스트 정보를 생성하는 번역 엔진(340)과,
    번역 엔진(340)이 생성한 번역 텍스트 정보를 음성합성하여 번역 음성 정보를 생성하는 음성합성 엔진(350)과,
    텍스트 변환 엔진(330)이 생성한 발화 텍스트 정보와 번역 엔진(340)이 생성한 번역 텍스트 정보가 양방향 투명 디스플레이(100)에 표시되도록 하는 제1 표시 제어 또는 제2 표시 제어를 하고, 음성합성 엔진(350)이 생성한 번역 음성 정보가 사용자 인터페이스 모듈(200)을 통해 출력되도록 하는 표시 제어부(360)를 포함하고,

    상기 표시 제어부(360)의 제1 표시 제어는,
    양방향 투명 디스플레이(100)의 제1 면과 제2 면에, 제1 사용자의 발화 음성 정보가 제1 사용자 언어로 문자 변환된 제1 발화 텍스트 정보와 제1 사용자의 발화 음성 정보가 제2 사용자 언어로 번역되어 문자화된 제1 번역 텍스트 정보가 세트로 표시되도록 하고, 제2 사용자의 발화 음성 정보가 제2 사용자 언어로 문자 변환된 제2 발화 텍스트 정보와 제2 사용자의 발화 음성 정보가 제1 사용자 언어로 번역되어 문자화된 제2 번역 텍스트 정보가 세트로 표시되도록 하되, 발화 순서대로 표시되도록 하고,
    상기 양방향 투명 디스플레이(100)의 제1 면과 제2 면에 각각 표시되는 제1 발화 텍스트 정보와 제1 번역 텍스트 정보는 제1 색으로 표시되도록 하고,
    상기 양방향 투명 디스플레이(100)의 제1 면과 제2 면에 각각 표시되는 제2 발화 텍스트 정보와 제2 번역 텍스트 정보는 제2 색으로 표시되도록 하는 제어이고,

    상기 표시 제어부(360)의 제2 표시 제어는,
    상기 양방향 투명 디스플레이(100)의 제1 면에는 제1 사용자의 발화 음성 정보가 제1 사용자 언어로 문자 변환된 제1 발화 텍스트 정보와 제2 사용자의 발화 음성 정보가 제1 사용자 언어로 번역되어 문자화된 제2 번역 텍스트 정보가 발화 순서대로 표시되도록 하고,
    상기 양방향 투명 디스플레이(100)의 제2 면에는 제1 사용자의 발화 음성 정보가 제2 사용자 언어로 번역되어 문자화된 제1 번역 텍스트 정보와 제2 사용자의 발화 음성 정보가 제2 사용자 언어로 문자 변환된 제2 발화 텍스트 정보가 발화 순서대로 표시되도록 하고,
    제1 발화 텍스트 정보와 제1 번역 텍스트 정보가 상호 번역 관계에 있음을 사용자들이 인지할 수 있도록, 양방향 투명 디스플레이(100)의 제1 면에 표시되는 제1 발화 텍스트 정보의 표시 위치와 양방향 투명 디스플레이(100)의 제2 면에 표시되는 제1 번역 텍스트 정보의 표시 위치가 서로 인접되도록 제1 발화 텍스트 정보와 제1 번역 텍스트 정보가 표시되도록 하고,
    제2 발화 텍스트 정보와 제2 번역 텍스트 정보가 상호 번역 관계에 있음을 사용자들이 인지할 수 있도록, 양방향 투명 디스플레이(100)의 제2 면에 표시되는 제2 발화 텍스트 정보의 표시 위치와 양방향 투명 디스플레이(100)의 제1 면에 표시되는 제2 번역 텍스트 정보의 표시 위치가 서로 인접되도록 제2 발화 텍스트 정보와 제2 번역 텍스트 정보가 표시되도록 하는 제어인 것을 특징으로 하는 투명 디스플레이를 이용한 양방향 통역 장치.
  2. 청구항 1에 있어서,
    상기 양방향 투명 디스플레이(100)와 사용자 인터페이스 모듈(200)과 번역 및 음성합성 모듈(300)은 일체형으로 형성되는 것을 특징으로 하는 투명 디스플레이를 이용한 양방향 통역 장치.
  3. 청구항 1에 있어서,
    상기 사용자 인터페이스 모듈(200)은,
    번역 및 음성합성 모듈(300)과 마이크와 스피커가 설치될 수 있도록, 양방향 투명 디스플레이(100) 하단에 인접 형성되는 설치 패널(210)과,
    제1 사용자가 발화 음성을 입력할 수 있도록, 설치 패널(210)의 제1 면에 형성되는 제1 마이크(220)와,
    제2 사용자가 발화 음성을 입력할 수 있도록, 설치 패널(210)의 제2 면에 형성되는 제2 마이크(230)와,
    제2 사용자의 발화 음성 정보가 제1 사용자 언어로 번역되고 음성합성된 제2 번역 음성 정보가 출력되도록, 설치 패널(210)의 제1 면에 형성되는 제1 스피커(240)와,
    제1 사용자의 발화 음성 정보가 제2 사용자 언어로 번역되고 음성합성된 제1 번역 음성 정보가 출력되도록, 설치 패널(210)의 제2 면에 형성되는 제2 스피커(250)를 포함하는 것을 특징으로 하는 투명 디스플레이를 이용한 양방향 통역 장치.
  4. 청구항 3에 있어서,
    상기 사용자 인터페이스 모듈(200)은,
    제1 사용자와 제2 사용자 간, 물건이나 서류의 수납, 교환이 가능하도록, 설치 패널(210) 일측에 형성되는 수납 홀(260)을 더 포함하는 것을 특징으로 하는 투명 디스플레이를 이용한 양방향 통역 장치.
  5. 청구항 3에 있어서,
    상기 사용자 인터페이스 모듈(200)은,
    외부 마이크를 연결할 수 있도록, 설치 패널(210)의 제1 면과 제2 면에 각각 형성되는 외부 마이크 연결 단자(270)를 더 포함하는 것을 특징으로 하는 투명 디스플레이를 이용한 양방향 통역 장치.
  6. 청구항 3에 있어서,
    상기 사용자 인터페이스 모듈(200)은,
    외부 단말기를 연결할 수 있도록, 설치 패널(210)의 제1 면과 제2 면에 각각 형성되는 단말기 연결 단자(280)를 더 포함하는 것을 특징으로 하는 투명 디스플레이를 이용한 양방향 통역 장치.
  7. 삭제
  8. 청구항 1에 있어서,
    상기 텍스트 변환 엔진(330)은,
    정보 입력부(310)를 통해 입력된 발화 음성 정보가 제1 사용자 언어로 된 음성 정보이면, 발화 음성 정보를 제1 사용자 언어로 문자 변환시켜 제1 사용자 언어로 문자화된 제1 발화 텍스트 정보를 생성하고,
    정보 입력부(310)를 통해 입력된 발화 음성 정보가 제2 사용자 언어로 된 음성 정보이면, 발화 음성 정보를 제2 사용자 언어로 문자 변환시켜 제2 사용자 언어로 문자화된 제2 발화 텍스트 정보를 생성하는 것을 특징으로 하는 투명 디스플레이를 이용한 양방향 통역 장치.
  9. 청구항 1에 있어서,
    상기 번역 엔진(340)은,
    사용 언어 정보 제공부(320)가 제공한 사용 언어 정보를 이용해 번역에 이용할 제1 사용자 언어와 제2 사용자 언어를 파악하고,
    텍스트 변환 엔진(330)을 통해 생성된 발화 텍스트 정보나 정보 입력부(310)를 통해 입력된 텍스트 정보가 제1 사용자 언어로 된 텍스트 정보이면, 텍스트 정보를 제2 사용자 언어로 번역하여 제2 사용자 언어로 된 제1 번역 텍스트 정보를 생성하고,
    텍스트 변환 엔진(330)을 통해 생성된 발화 텍스트 정보나 정보 입력부(310)를 통해 입력된 텍스트 정보가 제2 사용자 언어로 된 텍스트 정보이면, 텍스트 정보를 제1 사용자 언어로 번역하여 제1 사용자 언어로 된 제2 번역 텍스트 정보를 생성하는 것을 특징으로 하는 투명 디스플레이를 이용한 양방향 통역 장치.
  10. 청구항 1에 있어서,
    상기 음성합성 엔진(350)은,
    번역 엔진(340)이 생성한 번역 텍스트 정보가 제1 사용자 언어로 된 제2 번역 텍스트 정보이면, 제2 번역 텍스트 정보를 제1 사용자 언어로 음성합성하여, 제1 사용자 언어 음성으로 된 제2 번역 음성 정보를 생성하고,
    번역 엔진(340)이 생성한 번역 텍스트 정보가 제2 사용자 언어로 된 제1 번역 텍스트 정보이면, 제1 번역 텍스트 정보를 제2 사용자 언어로 음성합성하여, 제2 사용자 언어 음성으로 된 제1 번역 음성 정보를 생성하는 것을 특징으로 하는 투명 디스플레이를 이용한 양방향 통역 장치.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 청구항 1에 있어서,
    상기 표시 제어부(360)는,
    제2 사용자의 발화 음성 정보가 제1 사용자 언어로 번역되고 음성합성된 제2 번역 음성 정보가 설치 패널(210)의 제1 면에 형성된 제1 스피커(240)를 통해 출력되도록 하고,
    제1 사용자의 발화 음성 정보가 제2 사용자 언어로 번역되고 음성합성된 제1 번역 음성 정보가 설치 패널(210)의 제2 면에 형성된 제2 스피커(250)를 통해 출력되도록 하는 것을 특징으로 하는 투명 디스플레이를 이용한 양방향 통역 장치.
  16. 청구항 1에 있어서,
    상기 표시 제어부(360)는,
    제2 사용자에게 제공될 전자 서류 정보가 사용자 인터페이스 모듈(200)을 통해 정보 입력부(310)에 입력되면, 양방향 투명 디스플레이(100)의 제2 면에 전자 서류 정보를 표시하는 것을 특징으로 하는 투명 디스플레이를 이용한 양방향 통역 장치.
KR1020220120455A 2022-09-23 2022-09-23 투명 디스플레이를 이용한 양방향 통역 장치 KR102564560B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220120455A KR102564560B1 (ko) 2022-09-23 2022-09-23 투명 디스플레이를 이용한 양방향 통역 장치
PCT/KR2023/002283 WO2024063226A1 (ko) 2022-09-23 2023-02-16 투명 디스플레이를 이용한 양방향 통역 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220120455A KR102564560B1 (ko) 2022-09-23 2022-09-23 투명 디스플레이를 이용한 양방향 통역 장치

Publications (1)

Publication Number Publication Date
KR102564560B1 true KR102564560B1 (ko) 2023-08-09

Family

ID=87566990

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220120455A KR102564560B1 (ko) 2022-09-23 2022-09-23 투명 디스플레이를 이용한 양방향 통역 장치

Country Status (2)

Country Link
KR (1) KR102564560B1 (ko)
WO (1) WO2024063226A1 (ko)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08278972A (ja) * 1995-04-06 1996-10-22 Sony Corp 音声入力翻訳装置
KR20130015472A (ko) 2011-08-03 2013-02-14 삼성전자주식회사 디스플레이장치, 그 제어방법 및 서버
KR20170112713A (ko) * 2016-04-01 2017-10-12 삼성전자주식회사 음성 번역을 위한 장치 및 방법
KR20180127136A (ko) * 2017-05-18 2018-11-28 선전 투 몽키스 테크놀로지 컴퍼니., 리미티드 양면으로 표시되는 동기 번역 설비, 방법 장치 및 전자설비
US20190129944A1 (en) * 2016-05-02 2019-05-02 Sony Corporation Control device, control method, and computer program
KR101994044B1 (ko) 2018-09-03 2019-06-27 강병진 스마트 회의 통합 시스템
KR20210124050A (ko) 2020-04-03 2021-10-14 한국전자통신연구원 자동 통역 서버 및 그 방법
KR102412823B1 (ko) * 2021-12-01 2022-06-24 (주)에이트원 번역 기능을 제공하는 실시간 양방향 온라인 회의 시스템

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08278972A (ja) * 1995-04-06 1996-10-22 Sony Corp 音声入力翻訳装置
KR20130015472A (ko) 2011-08-03 2013-02-14 삼성전자주식회사 디스플레이장치, 그 제어방법 및 서버
KR20170112713A (ko) * 2016-04-01 2017-10-12 삼성전자주식회사 음성 번역을 위한 장치 및 방법
US20190129944A1 (en) * 2016-05-02 2019-05-02 Sony Corporation Control device, control method, and computer program
KR20180127136A (ko) * 2017-05-18 2018-11-28 선전 투 몽키스 테크놀로지 컴퍼니., 리미티드 양면으로 표시되는 동기 번역 설비, 방법 장치 및 전자설비
KR101994044B1 (ko) 2018-09-03 2019-06-27 강병진 스마트 회의 통합 시스템
KR20210124050A (ko) 2020-04-03 2021-10-14 한국전자통신연구원 자동 통역 서버 및 그 방법
KR102412823B1 (ko) * 2021-12-01 2022-06-24 (주)에이트원 번역 기능을 제공하는 실시간 양방향 온라인 회의 시스템

Also Published As

Publication number Publication date
WO2024063226A1 (ko) 2024-03-28

Similar Documents

Publication Publication Date Title
JP4089148B2 (ja) 通訳サービス方法および通訳サービス装置
US9111545B2 (en) Hand-held communication aid for individuals with auditory, speech and visual impairments
JP4135307B2 (ja) 音声通訳サービス方法および音声通訳サーバ
US5995590A (en) Method and apparatus for a communication device for use by a hearing impaired/mute or deaf person or in silent environments
US20030125959A1 (en) Translation device with planar microphone array
KR20060081076A (ko) 음성인식으로 층수를 지정하는 엘리베이터
US20050192811A1 (en) Portable translation device
KR102178176B1 (ko) 사용자 단말, 화상 통화 장치, 화상 통화 시스템 및 그 제어방법
WO2013077110A1 (ja) 翻訳装置、翻訳システム、翻訳方法およびプログラム
JP2019175426A (ja) 翻訳システム、翻訳方法、翻訳装置、及び音声入出力装置
US20200413009A1 (en) Bidirectional video communication system and kiosk terminal
KR102564560B1 (ko) 투명 디스플레이를 이용한 양방향 통역 장치
US20030055649A1 (en) Methods for accessing information on personal computers using voice through landline or wireless phones
JP6457706B1 (ja) 翻訳システム、翻訳方法、及び翻訳装置
JPH08278972A (ja) 音声入力翻訳装置
Pathan et al. V-Mail (Voice Based E-Mail Application)
KR20200049404A (ko) 장애인을 위한 동시통역 서비스 제공 시스템 및 그 방법
Latha et al. Voice based email with security for visually challenged
KR20150060348A (ko) 장애인 사이의 의사소통 장치 및 방법
CN105930322B (zh) 一种远程高效转换无稿同声传译装置系统
JP6710818B1 (ja) 翻訳装置、翻訳方法、プログラム
Aucella et al. Voice: technology searching for communication needs
Condado et al. EasyVoice: Integrating voice synthesis with Skype
JP3136038B2 (ja) 通訳装置
KR20220038969A (ko) 수어 통역시스템 및 서비스 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant