KR20140117771A - Motion sensor-based portable automatic interpretation apparatus and controlling method thereof - Google Patents

Motion sensor-based portable automatic interpretation apparatus and controlling method thereof Download PDF

Info

Publication number
KR20140117771A
KR20140117771A KR20130032339A KR20130032339A KR20140117771A KR 20140117771 A KR20140117771 A KR 20140117771A KR 20130032339 A KR20130032339 A KR 20130032339A KR 20130032339 A KR20130032339 A KR 20130032339A KR 20140117771 A KR20140117771 A KR 20140117771A
Authority
KR
South Korea
Prior art keywords
portable automatic
automatic interpretation
axis
motion
detecting
Prior art date
Application number
KR20130032339A
Other languages
Korean (ko)
Inventor
신종훈
김영길
김창현
서영애
양성일
황금하
나승훈
권오욱
이기영
노윤형
최승권
정상근
김운
박은진
박상규
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR20130032339A priority Critical patent/KR20140117771A/en
Priority to US14/065,579 priority patent/US20140297257A1/en
Publication of KR20140117771A publication Critical patent/KR20140117771A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Acoustics & Sound (AREA)
  • Machine Translation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Disclosed are a motion sensor-based portable automatic interpretation apparatus which can certainly detect a starting point and an ending point of a speech of a user in the portable automatic interpretation apparatus to improve quality of an automatic interpretation system, and a method for controlling the same. The disclosed apparatus comprises a motion sensing unit sensing the motion of the portable automatic interpretation apparatus; a speech starting point detecting unit detecting a speech starting point based on an output signal from the motion sensing unit; and a speech ending point detecting unit detecting a speech ending point based on an output signal from the motion sensing unit after completing the detection of the speech starting point.

Description

움직임 센서 기반의 휴대용 자동 통역 장치 및 그의 제어방법{Motion sensor-based portable automatic interpretation apparatus and controlling method thereof}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a portable automatic interpretation apparatus based on a motion sensor and a control method thereof,

본 발명은 움직임 센서 기반의 휴대용 자동 통역 장치 및 그의 제어방법에 관한 것으로, 보다 상세하게는 움직임 센서에 의한 사용자 동작 추적에 의해 자동 통역에 도움을 주도록 하는 움직임 센서 기반의 휴대용 자동 통역 장치 및 그의 제어방법에 관한 것이다.The present invention relates to a portable automatic interpretation apparatus based on a motion sensor and a control method thereof, and more particularly to a portable automatic interpretation apparatus based on a motion sensor and a control method therefor, ≪ / RTI >

종래의 휴대용 기기내 자동 통역 시스템은, 주로 사용자가 화면에 손가락을 접촉하여 터치(touch)하는 행위와, 마이크(microphone)에 대고 발화를 실시하여 음성 데이터를 전달하는 행위를 활용하여 상호작용을 수행하였다. Conventionally, an automatic interpretation system in a portable device mainly performs an interaction by touching a finger by touching the screen with a user, and by performing voice communication with a microphone to transmit voice data. Respectively.

터치 기반의 휴대기기를 활용하는 종래 기술에 의하면, 자동 통역을 수행할 때는 통상적으로 다음의 절차를 거쳐서 자동 통역을 실시한다. 첫째, 사용자는 기본적으로 어떤 언어(원시 언어)를 어떤 언어(대역 언어)로 통역할 것인지를 결정하는 언어 선택을 수행한다. 둘째, 사용자는 발화를 시작하기 전에 음성 인식을 수행하도록 "음성 입력"버튼을 화면에서 터치하게 된다. 셋째, 자동 통역 시스템이 음성 녹음을 수행한다는 것을 소리나 화면상의 변화를 통해 사용자에게 알리고, 음성 입력을 받게 된다. 넷째, 사용자가 발화를 중단하여 일정 데시벨(decibel) 이상의 입력이 유지되지 않아서 음성 인식 모듈이 발화가 끝난 것으로 인지하여 음성 데이터를 텍스트로 변환하거나, 또는 사용자가 직접 화면에 "인식 완료"와 같은 버튼을 터치하여 사용자의 발화가 끝났음을 시스템에다 명시적으로 전달하여 음성 인식 모듈이 음성 데이터를 텍스트로 변환하는 과정을 수행하게 한다. 다섯째, 음성 인식 모듈이 수행을 완료하면 이를 화면에 표시하고, 자동 번역 모듈을 사용하여 대역 언어 결과를 얻는다. 여섯째, 자동 번역 모듈로 얻어낸 대역 언어 텍스트를 TTS(Text-to-Speech) 모듈을 통해 음성을 합성하여 사용자에게 다시 알려주게 된다. 일곱째, 사용자는 언어 쌍을 뒤집거나(예컨대, "영->한"을 "한->영"으로 바꾸거나 또는 그 반대로 바꾸는 것) 아니면 다시 음성 인식을 시작하는 버튼을 누르게 되는 상태로 되돌아가게 된다.According to the conventional technology utilizing a touch-based portable device, when an automatic interpretation is performed, an automatic interpretation is usually performed through the following procedure. First, the user basically selects a language that determines which language (native language) is interpreted as which language (band language). Second, the user touches the "voice input" button on the screen to perform speech recognition before starting speech. Third, the automatic interpretation system notifies the user through voice or screen changes that the voice recording is performed, and receives voice input. Fourth, when the user stops the utterance and the input over a certain decibel is not maintained, the voice recognition module recognizes that the utterance has ended and converts the voice data into text, or the user directly presses a button To explicitly inform the system that the utterance of the user is finished, so that the voice recognition module performs the process of converting the voice data into text. Fifth, when the speech recognition module completes its execution, it displays it on the screen and obtains the band language result using the automatic translation module. Sixth, the band language text obtained by the automatic translation module is synthesized through TTS (Text-to-Speech) module and informed to the user again. Seventh, the user goes back to a state where the user reverses the language pair (e.g., changing "zero-one" to "one-to-zero" or vice versa) or presses a button to start voice recognition again .

여기서, 음성 발화의 시작점(Start point)과 음성 발화의 끝점(End Point)을 얼마나 확실하게 얻어낼 수 있느냐에 따라, 음성 인식 결과의 품질은 큰 차이를 보일 수 있다. 특히, 음성 발화의 끝점을 자동으로 인식하는 기존의 끝점 검출(EPD; End-point detection) 방법으로는 음성 발화의 정확한 경계를 알기 어려운 경우가 생긴다. 예를 들어, "에', '음"과 같이 발화를 일시 중지하거나 머뭇거렸을 때 역시 마이크에 추가적인 입력 신호가 들어오지 않기 때문에 음성 발화가 끝나는 것으로 인식하게 되는 예를 들 수 있다. Here, the quality of the speech recognition result may show a large difference depending on how surely the start point of the speech utterance and the end point of the speech utterance can be obtained. In particular, existing end-point detection (EPD) methods that automatically recognize the end point of a speech utterance have difficulty in knowing the exact boundaries of speech utterance. For example, when an utterance is paused or hesitated, such as "e "," sound ", it is recognized that the speech is terminated because no additional input signal is input to the microphone.

그래서, 종래 기술에서는 화면에 발화 시작/끝을 알리는 버튼을 만들어, 사용자가 화면을 직접 터치하여 명시적으로 발화의 시작점과 끝점을 기기에 알려주는 행동을 취하게 하였다. 이와 같이 화면 터치를 활용할 경우, 버튼을 잘못 누르거나 터치 인식 오류 등으로 인해 잘못된 발화 시작/끝이 일어나게 되고, 음성 인식 결과를 나쁘게 하여 결과적으로 나쁜 통역 품질이 나타나는 현상이 발생할 수 있다.Thus, in the conventional art, a button for notifying the start / end of the utterance is created on the screen, and the user directly touches the screen to explicitly inform the utterer of the starting point and the end point of utterance. When the screen touch is utilized, erroneous speech start / end occurs due to a wrong button press or a touch recognition error. As a result, a poor speech recognition result may result in a poor quality of interpretation.

한편, 대한민국등록특허 10-0981200호(움직임 센서를 장착한 이동 단말기 및 제어 방법)에는 움직임 센서를 이용하여 이동 단말기를 제어할 수 있는 기술이 개시되었다. 대한민국등록특허 10-0981200호에 개시된 사용자 인터페이스 제어방법은 복수의 서로 다른 동작 모드를 갖는 이동 단말기의 사용자 인터페이스 및 상기 각 동작 모드에 대해 지정된 적어도 하나의 기능을 제어하는 방법으로서, 사용자의 제스쳐에 의해 인가된 상기 이동 단말기의 움직임을 검출하는 단계; 상기 복수의 동작 모드 중 상기 이동 단말기의 현재 동작 모드를 판단하는 단계; 및 상기 검출된 이동 단말기의 움직임에 따라 상기 판단된 현재 동작 모드에 대해 지정된 적어도 하나의 기능을 수행하는 단계를 포함한다.On the other hand, Korean Patent No. 10-0981200 (a mobile terminal equipped with a motion sensor and a control method) discloses a technique for controlling a mobile terminal using a motion sensor. A user interface control method disclosed in Korean Patent Registration No. 10-0981200 includes a user interface of a mobile terminal having a plurality of different operation modes and a method of controlling at least one function designated for each operation mode, Detecting movement of the mobile terminal; Determining a current operation mode of the mobile terminal among the plurality of operation modes; And performing at least one function designated for the determined current operation mode according to the detected movement of the mobile terminal.

상술한 대한민국등록특허 10-0981200호에 개시된 기술은 움직임 센서를 채용하였으나, 일반적인 스마트 단말기 또는 MP3 재생 장치의 조작에 대해 주안점을 두었을 뿐이다.Although the technology disclosed in the aforementioned Korean Patent No. 10-0981200 employs a motion sensor, it focuses on the operation of a general smart terminal or an MP3 playback device.

본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 휴대용 자동 통역 시스템에서 사용자의 발화 시작 시점과 종료 시점을 확실하게 검출하여 자동 통역 시스템의 품질을 향상시킬 수 있도록 하는 움직임 센서 기반의 휴대용 자동 통역 장치 및 그의 제어방법을 제공함에 그 목적이 있다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a portable automatic interpretation system capable of reliably detecting the start and end points of a user's utterance in order to improve the quality of an automatic interpretation system, An automatic interpretation apparatus and a control method thereof.

또한, 본 발명은 휴대용 자동 통역 시스템에서 사용자의 언어쌍 전환 명령을 확실하게 검출하여 자동 통역 시스템의 품질을 향상시킬 수 있도록 하는 목적이 있고, 이에 의해 스마트폰과 같이 움직임 센서를 탑재한 휴대용 기기에서 운용되는 통역 시스템에서 사용자가 통역 시스템을 더욱 쉽게 사용할 수 있는 인터페이스를 제공하고자 하는 목적이 있다.It is another object of the present invention to improve the quality of an automatic interpretation system by reliably detecting a user's language pair switching command in a portable automatic interpretation system. Accordingly, in a mobile device such as a smart phone, It is an object of the present invention to provide an interface in which the user can easily use the interpretation system in the interpretation system in operation.

상기와 같은 목적을 달성하기 위하여 본 발명의 바람직한 실시양태에 따른 움직임 센서 기반의 휴대용 자동 통역 장치는, 휴대용 자동 통역 장치의 움직임을 감지하여 X,Y,Z축의 센서 결과값을 출력하는 움직임 감지부; 상기 움직임 감지부로부터의 출력신호를 근거로 발화시작시점을 검출하는 발화시작시점 검출부; 및 상기 발화시작시점의 검출이 이루어진 이후에 상기 움직임 감지부로부터의 출력신호를 근거로 발화종료시점을 검출하는 발화종료시점 검출부;를 포함한다.According to another aspect of the present invention, there is provided a portable automatic interpretation apparatus based on a motion sensor, comprising: a motion sensing unit for sensing movement of a portable automatic interpretation apparatus and outputting sensor result values of X, Y, ; A firing start point detecting unit for detecting a firing start point based on an output signal from the motion detecting unit; And a firing end point detector for detecting a firing end point based on an output signal from the motion detector after the firing start point is detected.

바람직하게, 상기 발화시작시점 검출부는 상기 휴대용 자동 통역 장치가 Y축을 기준으로 수평 상태가 되는 움직임에 해당하는 상기 움직임 감지부의 출력신호를 입력받는 시점을 상기 발화시작시점으로 검출할 수 있다.Preferably, the ignition start time detection unit may detect a time point at which the output signal of the motion sensing unit corresponding to the horizontal movement of the portable automatic interpretation apparatus with respect to the Y axis is input as the ignition start time.

바람직하게, 상기 발화종료시점 검출부는 상기 발화시작시점의 검출이 이루어진 이후에 상기 휴대용 자동 통역 장치가 Y축을 기준으로 수평 상태에서 수직 방향으로 이동한 움직임에 해당하는 상기 움직임 감지부의 출력신호를 입력받는 시점을 상기 발화종료시점으로 검출할 수 있다.Preferably, the ignition end time detection unit receives the output signal of the motion sensing unit corresponding to the movement of the portable automatic translating apparatus in the vertical direction with respect to the Y-axis with respect to the horizontal axis after the ignition start time is detected The point of time can be detected as the above-described ignition end point.

바람직하게, 상기 움직임 감지부의 출력신호에서 X축 센서 결과값과 Y축 센서 결과값의 반전이 있게 되면 언어쌍 전환 명령으로 인식하는 언어쌍 전환 검출부를 추가로 포함하여도 된다. 이 경우, 상기 언어쌍 전환 검출부는 한번의 원시 언어와 대역 언어 간 자동 통역이 이루어진 이후에 상기 언어쌍 전환 명령을 인식하는 동작을 수행함이 바람직하다.Preferably, the apparatus further includes a language pair switching detection unit for recognizing, when the X-axis sensor result and the Y-axis sensor result are inverted in the output signal of the motion sensing unit, as a language pair switching command. In this case, it is preferable that the language pair change detection unit performs the operation of recognizing the language pair change command after the automatic interpretation is performed between one native language and the band language.

바람직하게, 상기 움직임 감지부는 가속도 센서 및 자이로 센서중에서 하나 이상을 포함할 수 있다.Preferably, the motion sensing unit may include at least one of an acceleration sensor and a gyro sensor.

바람직하게, 상기 X축은 상기 휴대용 자동 통역 장치의 폭 방향에 대응되고, 상기 Y축은 상기 휴대용 자동 통역 장치의 길이 방향에 대응되고, 상기 Z축은 상기 휴대용 자동 통역 장치의 높이 방향에 대응되는 것으로 할 수 있다.Preferably, the X-axis corresponds to the width direction of the portable automatic interpretation apparatus, the Y-axis corresponds to the longitudinal direction of the portable automatic interpretation apparatus, and the Z-axis corresponds to the height direction of the portable automatic interpretation apparatus have.

한편, 본 발명의 바람직한 실시양태에 따른 움직임 센서 기반의 휴대용 자동 통역 제어방법은, 움직임 감지부가, 휴대용 자동 통역 장치의 움직임을 감지하여 X,Y,Z축의 센서 결과값을 출력하는 단계; 발화시작시점 검출부가, 상기 X,Y,Z축의 센서 결과값을 출력하는 단계에 의한 출력신호를 근거로 발화시작시점을 검출하는 단계; 및 상기 발화시작시점의 검출이 이루어진 이후에 발화종료시점 검출부가, 상기 X,Y,Z축의 센서 결과값을 출력하는 단계에 의한 출력신호를 근거로 발화종료시점을 검출하는 단계;를 포함한다.According to a preferred embodiment of the present invention, there is provided a portable automatic interpretation control method based on a motion sensor, comprising the steps of: detecting movement of a motion sensing unit and a portable automatic interpretation apparatus and outputting sensor result values of X, Y and Z axes; Detecting an ignition start timing based on an output signal of the ignition start timing detecting unit outputting sensor result values of the X, Y, and Z axes; And detecting a firing end point on the basis of an output signal of the firing end point detection unit outputting sensor result values of the X, Y, and Z axes after the detection of the firing start point.

바람직하게, 상기 발화시작시점을 검출하는 단계는, 상기 휴대용 자동 통역 장치가 Y축을 기준으로 수평 상태가 되는 시점을 상기 발화시작시점으로 검출할 수 있다.Preferably, the step of detecting the starting point of the ignition may detect a point in time when the portable automatic interpretation apparatus is in a horizontal state with respect to the Y-axis as the starting point of the ignition.

바람직하게, 상기 발화종료시점을 검출하는 단계는, 상기 발화시작시점의 검출이 이루어진 이후에 상기 휴대용 자동 통역 장치가 Y축을 기준으로 수평 상태에서 수직 방향으로 이동한 시점을 상기 발화종료시점으로 검출할 수 있다.Preferably, the detecting of the ignition end time may include detecting a time point at which the portable automatic translating apparatus moves in the vertical direction in the horizontal direction on the basis of the Y axis after the detection of the ignition start time is detected as the ignition end time .

바람직하게, 언어쌍 전환 검출부가, 상기 X,Y,Z축의 센서 결과값을 출력하는 단계에 의한 출력신호에서 X축 센서 결과값과 Y축 센서 결과값의 반전이 있게 되면 언어쌍 전환 명령으로 인식하는 단계;를 추가로 포함하여도 된다. 이 경우, 상기 언어쌍 전환 명령으로 인식하는 단계는 한번의 원시 언어와 대역 언어간 자동 통역이 이루어진 이후에 행해지는 것이 바람직하다.Preferably, when the language pair change detection unit inverts the X-axis sensor result value and the Y-axis sensor result value in the output signal by outputting the sensor result values in the X, Y, and Z axes, The method comprising the steps of: In this case, the step of recognizing by the language pair switching command is preferably performed after automatic interpretation is performed between one native language and the band language.

이러한 구성의 본 발명에 따르면, 휴대용 자동 통역 장치에서 통역을 위한 음성 인식 시점과 종료 시점을 사용자의 기기 움직임에 의해 자동으로 검출함에 따라, 사용자의 편의성이 증대될 수 있다. According to the present invention having such a configuration, the convenience of the user can be increased by automatically detecting the voice recognition time point and the ending time point for interpretation in the portable automatic interpretation device by the user's device motion.

또한, 휴대용 자동 통역 장치의 인식 시작/종료 시점을 더욱 확실하게 검출할 수 있어 휴대용 통역 장치의 통역 품질을 향상시킬 수 있다. Further, it is possible to more reliably detect the start / end time of recognition of the portable automatic interpretation apparatus, and it is possible to improve the interpretation quality of the portable interpretation apparatus.

또한, 2인 이상의 다자간 통역에 있어 휴대용 자동 통역 장치를 건네주는 행위만으로 언어 쌍의 전환을 이루어내어 통역해야 할 원시 언어를 확실하게 알 수 있게 하며, 또한 화면의 조작 횟수를 줄일 수 있는 이점이 있다.In addition, in the case of a multi-party interpreter of two or more persons, it is advantageous to switch the language pair only by handing over a portable automatic interpretation device so that the native language to be interpreted can be reliably recognized, and the number of operations of the screen can be reduced .

도 1은 본 발명의 실시예에 따른 움직임 센서 기반의 휴대용 자동 통역 장치의 블럭 구성도이다.
도 2 및 도 3은 본 발명의 실시예에 채용되는 X, Y, Z축의 기준을 설명하는 도면이다.
도 4는 본 발명의 실시예에 따른 움직임 센서 기반의 휴대용 자동 통역 제어방법을 설명하는 플로우차트이다.
도 5 및 도 6은 휴대용 자동 통역 장치의 초기 상태를 예시한 도면들이다.
도 7은 발화시작시점이 검출되는 휴대용 자동 통역 장치의 최종 상태를 예시한 도면이다.
도 8은 발화종료시점이 검출되는 휴대용 자동 통역 장치의 이동 상태를 예시한 도면이다.
도 9는 본 발명의 실시예에서 언어쌍 전환 명령을 검출하는 과정을 설명하기 위한 플로우차트이다.1 is a block diagram of a portable automatic interpretation apparatus based on a motion sensor according to an embodiment of the present invention.
FIGS. 2 and 3 are views for explaining the reference of the X, Y, and Z axes employed in the embodiment of the present invention.
4 is a flowchart illustrating a portable automatic interpretation control method based on a motion sensor according to an embodiment of the present invention.
5 and 6 are views illustrating an initial state of the portable automatic interpretation apparatus.
7 is a diagram illustrating a final state of a portable automatic interpretation apparatus in which a firing start time is detected.
8 is a diagram illustrating a moving state of a portable automatic interpretation apparatus in which a speaking end point is detected.
9 is a flowchart for explaining a process of detecting a language pair change command in an embodiment of the present invention.

본 발명에서는 휴대 기기에서의 자동 통역 시스템을 활용하는 사용자가 자주 보이는 행동 양식을 움직임으로 파악하여, 이를 자동 통역 시스템에서 음성의 시작점과 끝점, 및 다른 모국어를 사용하는 타인과 대화할 때 이를 자동으로 검출할 수 있는 장치 및 방법을 기술하고자 한다.In the present invention, a behavioral style frequently seen by a user who utilizes an automatic interpretation system in a mobile device is recognized as a motion, and when the user interacts with the start and end points of a voice and others using a mother tongue in an automatic interpretation system, An apparatus and a method capable of detecting an object to be detected are described.

이하, 첨부된 도면을 참조하여 본 발명의 실시예에 따른 움직임 센서 기반의 휴대용 자동 통역 장치 및 그의 제어방법에 대하여 설명하면 다음과 같다. 본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니된다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.Hereinafter, a portable automatic interpretation apparatus based on a motion sensor and a control method thereof according to an embodiment of the present invention will be described with reference to the accompanying drawings. Prior to the detailed description of the present invention, terms and words used in the present specification and claims should not be construed as limited to ordinary or dictionary terms. Therefore, the embodiments described in this specification and the configurations shown in the drawings are merely the most preferred embodiments of the present invention and do not represent all the technical ideas of the present invention. Therefore, It is to be understood that equivalents and modifications are possible.

도 1은 본 발명의 실시예에 따른 움직임 센서 기반의 휴대용 자동 통역 장치의 블럭 구성도이고, 도 2 및 도 3은 본 발명의 실시예에 채용되는 X, Y, Z축의 기준을 설명하는 도면이다.FIG. 1 is a block diagram of a portable automatic interpretation apparatus based on a motion sensor according to an embodiment of the present invention, and FIGS. 2 and 3 are diagrams for explaining the X, Y, and Z axes used in the embodiment of the present invention .

본 발명의 실시예에 따른 움직임 센서 기반의 휴대용 자동 통역 장치는 움직임 감지부(10), 발화시작시점 검출부(12), 발화종료시점 검출부(14), 언어쌍 전환 검출부(16), 마이크(18), 음성 인식부(20), 번역부(22), TTS부(24), 및 스피커(26)를 포함한다.A portable automatic interpretation apparatus based on a motion sensor according to an embodiment of the present invention includes a motion sensing unit 10, an utterance start point detection unit 12, a utterance end point detection unit 14, a language pair switching detection unit 16, a microphone 18 A voice recognition unit 20, a translation unit 22, a TTS unit 24, and a speaker 26. The voice recognition unit 20,

움직임 감지부(10)는 휴대용 자동 통역 장치의 움직임을 감지하는데, 사용자가 휴대용 자동 통역 장치를 잡고 움직임에 따라 발생되는 X,Y,Z축의 센서 결과값(예컨대, 중력 가속도값)을 출력한다. 바람직하게, 움직임 감지부(10)는 가속도 센서 및 자이로(gyroscope) 센서중에서 하나 이상을 포함한다. 예를 들어, 3축 가속도 센서를 사용하여도 되고, 2축 가속도 센서와 1축의 자이로 센서를 혼합하여 사용할 수도 있다. 물론, 가속도 센서 및 자이로 센서 이외로 휴대용 자동 통역 장치의 움직임을 감지할 수 있는 센서라면 어느 것이라도 채용가능하다. 이들 센서로부터 출력되는 X, Y, Z축의 센서 결과값을 통해 휴대용 자동 통역 장치가 어떠한 움직임을 수행하였는지 알 수 있게 된다. The motion sensing unit 10 senses the motion of the portable automatic interpretation apparatus, and the user holds the portable automatic interpretation apparatus and outputs sensor result values (for example, gravity acceleration values) of the X, Y, and Z axes generated by the motion. Preferably, the motion sensing unit 10 includes at least one of an acceleration sensor and a gyroscope sensor. For example, a three-axis acceleration sensor may be used, or a two-axis acceleration sensor and a single-axis gyro sensor may be used in combination. Of course, any sensor that can detect movement of the portable automatic interpretation device other than the acceleration sensor and the gyro sensor can be employed. It is possible to know what kind of movement the portable automatic interpretation device has performed through the sensor result values of the X, Y, and Z axes output from these sensors.

한편, 휴대용 자동 통역 장치는 예를 들어 안드로이드폰 및 아이폰(iPhone)과 같은 스마트폰이 될 수 있다. 그러한 스마트폰에는 자동 통역 시스템이 내장된다. 결국, 자동 통역 시스템이 내장된 스마트폰을 휴대용 자동 통역 장치라고 할 수도 있고, 스마트폰내의 자동 통역 시스템을 휴대용 자동 통역 장치라고 할 수도 있다.On the other hand, the portable automatic interpretation device may be a smartphone such as an Android phone and an iPhone. Such smart phones have built-in automatic interpretation systems. As a result, a smartphone with an automatic interpretation system may be called a portable automatic interpretation device, or an automatic interpretation system within a smart phone may be called a portable automatic interpretation device.

본 발명의 실시예에서의 X, Y, Z축의 기준에 대해 설명하면 다음과 같다. 도 2 및 도 3에서, 휴대용 자동 통역 장치(50)를 정면(즉, 터치스크린(28)이 보이는 면)에서 바라보았을 때, 가로는 X축에 해당하고, 세로는 Y축에 해당한다. 휴대용 자동 통역 장치(50)를 측면으로 살펴볼 경우, 휴대용 자동 통역 장치(50)의 후면에서 정면 방향으로 가는 방향 축이 Z축에 해당한다. 다시 말해서, X축은 휴대용 자동 통역 장치(50)의 폭 방향에 대응되고, Y축은 휴대용 자동 통역 장치(50)의 길이 방향에 대응되고, Z축은 휴대용 자동 통역 장치(50)의 높이 방향에 대응된다고 볼 수 있다.The reference of the X, Y, and Z axes in the embodiment of the present invention will be described as follows. 2 and 3, when the portable automatic interpretation apparatus 50 is viewed from the front (i.e., the surface where the touch screen 28 is visible), the width corresponds to the X-axis and the length corresponds to the Y-axis. When the portable automatic translation apparatus 50 is viewed from the side, a directional axis extending from the rear surface to the front side of the portable automatic translation apparatus 50 corresponds to the Z axis. In other words, the X-axis corresponds to the width direction of the portable automatic interpretation apparatus 50, the Y-axis corresponds to the longitudinal direction of the portable automatic interpretation apparatus 50, and the Z-axis corresponds to the height direction of the portable automatic interpretation apparatus 50 can see.

도 1에서, 발화시작시점 검출부(12)는 움직임 감지부(10)로부터의 출력신호를 근거로 발화시작시점을 검출한다. 발화시작시점 검출부(12)에 의해 발화시작시점을 검출하게 되면 음성 인식부(20)에서 음성 인식을 위한 마이크 입력을 받아들이게 된다. 발화시작시점 검출부(12)는 휴대용 자동 통역 장치가 Y축을 기준으로 수평 상태가 되는 움직임에 해당하는 움직임 감지부(10)의 출력신호를 입력받는 시점을 발화시작시점으로 검출한다. 보다 구체적으로는, 발화시작시점 검출부(12)는 움직임 감지부(10)로부터의 출력신호가, 휴대용 자동 통역 장치의 Y축이 수평 방향으로 이동하고 Z축이 수직 방향으로 이동된 후 해당 휴대용 자동 통역 장치의 이동 편차가 급속도로 감소하는 시점에 해당하는 신호이면 발화시작을 알리는 명령으로 받아들이게 된다.1, the ignition start time detection unit 12 detects the start time of the ignition based on the output signal from the motion detection unit 10. [ When the utterance start point detection unit 12 detects the utterance start point, the voice recognition unit 20 receives a microphone input for voice recognition. The ignition start time detection unit 12 detects the time when the portable automatic interpretation apparatus receives the output signal of the motion sensing unit 10 corresponding to the horizontal movement with reference to the Y axis as the ignition start time. More specifically, when the output signal from the motion sensing unit 10 is a signal that the Y-axis of the portable automatic interpretation apparatus is moved in the horizontal direction and the Z-axis is moved in the vertical direction, If the signal corresponding to the point in time at which the translation deviation of the interpreter device rapidly decreases is accepted as an instruction to notify the start of speech.

발화시작시점 검출부(12)는 X, Y, Z축의 센서 결과값이 조합되고 조합된 X, Y, Z축의 센서 결과값별로 의미하는 내용이 기록된 테이블을 미리 저장하고 있다고 하여도 무방하다. 그에 따라, 발화시작시점 검출부(12)는 테이블의 정보를 근거로 움직임 감지부(10)의 출력신호가 의미하는 바를 해독하여 발화시작시점을 검출할 수도 있다.The ignition start timing detecting unit 12 may store the table in which the sensor result values of the X, Y, and Z axes are combined and the contents of the sensor result values of the combined X, Y, and Z axes are recorded in advance. Accordingly, the ignition start time detection unit 12 may detect the start point of the speech by deciphering the meaning of the output signal of the motion detection unit 10 based on the information of the table.

발화종료시점 검출부(14)는 발화시작시점 검출부(12)에 의해 발화시작시점의 검출이 이루어져서 사용자의 음성이 마이크(18)를 통해 음성 인식부(20)에 전달되고 있는 상태에서, 움직임 감지부(10)로부터의 출력신호를 근거로 발화종료시점을 검출한다. 바람직하게, 발화종료시점 검출부(14)는 발화시작시점 검출부(12)에 의해 발화시작시점의 검출이 이루어져서 사용자의 음성이 마이크(18)를 통해 음성 인식부(20)에 전달되고 있는 상태에서, 휴대용 자동 통역 장치가 Y축을 기준으로 수평 상태에서 수직 방향으로 이동한 후에 이동 편차가 적은 시점에 해당하는 움직임 감지부(10)의 출력신호를 입력받는 시점을 발화종료시점으로 검출한다.The ignition end timing detector 14 detects the timing of the start of speech by the utterance start timing detector 12 and transmits the voice of the user to the voice recognizer 20 via the microphone 18, Based on the output signal from the microcomputer 10. Preferably, the ignition end time detection unit 14 detects the start time of the speech by the speech start time detection unit 12, and when the voice of the user is transmitted to the voice recognition unit 20 via the microphone 18, The point of time when the output signal of the motion sensing unit 10 corresponding to the point where the movement deviation is small after the portable automatic interpretation apparatus moves from the horizontal direction to the vertical direction with reference to the Y axis is detected as the ignition end point.

발화종료시점 검출부(14)는 X, Y, Z축의 센서 결과값이 조합되고 조합된 X, Y, Z축의 센서 결과값별로 의미하는 내용이 기록된 테이블을 미리 저장하고 있다고 하여도 무방하다. 그에 따라, 발화종료시점 검출부(14)는 테이블의 정보를 근거로 움직임 감지부(10)의 출력신호가 의미하는 바를 해독하여 발화종료시점을 검출할 수도 있다.The ignition end time detection unit 14 may previously store the table in which the sensor result values of the X, Y, and Z axes are combined and the contents of the sensor result values of the combined X, Y, and Z axes are recorded. Accordingly, the ignition end timing detection unit 14 may detect the end timing of the speech by deciphering the meaning of the output signal of the motion sensing unit 10 based on the information of the table.

언어쌍 전환 검출부(16)는 움직임 감지부(10)의 출력신호에서 X축 센서 결과값과 Y축 센서 결과값의 반전이 크게 일어난 후 휴대용 자동 통역 장치의 이동 편차가 줄어든 시점에 해당하는 출력신호가 있게 되면 언어쌍 전환 명령으로 인식한다. 이와 같이 언어쌍 전환 검출부(16)가 언어쌍 전환 명령을 인식하고 그에 상응하는 신호를 음성 인식부(20)에게로 보내면 음성 인식부(20)는 원시 언어와 대역 언어를 서로 바꾼 후에 음성 인식을 수행한다. 원시 언어와 대역 언어 쌍을 서로 바꾼다는 것을 예를 들어 설명하면 다음과 같다. 첫 번째 사용자가 한국어를 원시 언어로 설정하고 영어를 대역 언어로 설정한 경우, 첫 번째 사용자는 한국어를 발화하여 휴대용 자동 통역 장치에 전달하고, 휴대용 자동 통역 장치는 영어로 된 대역 언어를 스피커(26)를 통해 음성으로 출력하게 된다. 두 번째 사용자의 모국어가 영어이고 대역 언어가 한국어가 되어야 할 경우 언어 쌍 전환 명령을 인식하게 되면 휴대용 자동 통역 장치는 원시 언어를 영어로, 그리고 대역 언어를 한국어로 바꾼다. 그에 따라, 두 번째 사용자가 영어로 발화를 하여 휴대용 통역 장치에 음성 데이터를 전달할 경우, 휴대용 자동 통역 장치는 이를 한국어로 출력하게 된다.The language pair switching detection unit 16 detects an output signal corresponding to a time point at which the movement deviation of the portable automatic interpretation apparatus is reduced after the inversion of the X axis sensor result value and the Y axis sensor result value becomes large in the output signal of the motion sensing unit 10, Language pair switching command. When the language pair change detection unit 16 recognizes the language pair change instruction and sends a corresponding signal to the speech recognition unit 20, the speech recognition unit 20 changes the source language and the band language, . Here is an example that replaces a pair of primitive and band languages. When the first user sets Korean as the native language and English as the band language, the first user speaks Korean and transmits it to the portable automatic interpretation device, and the portable automatic interpretation device converts the band language in English into the speaker 26 ). When the second user's native language is English and the band language is Korean, if the language pair switching command is recognized, the portable automatic translation device changes the native language to English and the band language to Korean. Accordingly, when the second user speaks in English and transmits the voice data to the portable interpretation device, the portable automatic interpretation device outputs it in Korean.

언어쌍 전환 검출부(16)는 X, Y, Z축의 센서 결과값이 조합되고 조합된 X, Y, Z축의 센서 결과값별로 의미하는 내용이 기록된 테이블을 미리 저장하고 있다고 하여도 무방하다. 그에 따라, 언어쌍 전환 검출부(16)는 테이블의 정보를 근거로 움직임 감지부(10)의 출력신호가 의미하는 바를 해독하여 언어쌍 전환 명령을 검출(인식)할 수도 있다.The language pair switching detection unit 16 may store a table in which the sensor result values of the X, Y, and Z axes are combined and the contents of the sensor result values of the combined X, Y, and Z axes are recorded in advance. Accordingly, the language pair switching detection unit 16 may detect (recognize) the language pair switching command by deciphering the meaning of the output signal of the motion sensing unit 10 based on the information of the table.

마이크(18)는 휴대용 자동 통역 장치에 설치되어 사용자의 음성 발화를 수집한다.The microphone 18 is installed in a portable automatic interpretation device and collects voice utterances of the user.

음성 인식부(20)는 발화시작시점 검출부(12)로부터의 발화시작시점 검출신호 및 발화종료시점 검출부(14)로부터의 발화종료시점 검출신호를 근거로 마이크(18)를 통해 입력된 음성 데이터를 텍스트로 변환한다. 즉, 음성 인식부(20)는 발화시작이면 사용자의 음성 발화를 마이크(18)를 통해 입력받아 저장하고 있다가 발화종료가 되면 저장된 음성 데이터를 텍스트로 변환한다. 음성 인식부(20)는 음성 인식 프로그램을 통해 음성 인식을 수행한다고 볼 수 있다. 음성 인식에 관한 보다 세부적인 내용은 당업자라면 주지의 기술로 충분히 파악할 수 있으리라 본다.The speech recognition unit 20 receives the speech data input via the microphone 18 based on the speech start timing detection signal from the speech start timing detection unit 12 and the speech end timing detection signal from the speech end timing detection unit 14 Converts to text. That is, when the speech recognition unit 20 starts the speech, the user's speech utterance is inputted through the microphone 18 and stored. When the speech is terminated, the stored speech data is converted into text. The speech recognition unit 20 may perform speech recognition through a speech recognition program. Further details regarding speech recognition will be appreciated by those skilled in the art.

번역부(22)는 음성 인식부(20)에서 출력되는 텍스트(즉, 원시 언어의 텍스트)를 대역 언어로 번역한 결과(즉, 텍스트)를 출력한다. 번역부(22)에서의 번역 과정에 대한 보다 세부적인 내용은 당업자라면 주지의 기술로 충분히 파악할 수 있으리라 본다.The translation unit 22 outputs a result (that is, text) obtained by translating the text output from the speech recognition unit 20 (that is, the text of the native language) into a band language. More detailed contents of the translation process in the translation unit 22 can be understood by a person skilled in the art.

TTS(Text-to-Speech)부(24)는 번역부(22)에서의 텍스트를 음성으로 변환하여 스피커(26)를 통해 외부로 출력한다.The TTS (Text-to-Speech) unit 24 converts the text in the translation unit 22 into speech and outputs it to the outside through the speaker 26.

이번에는, 본 발명의 실시예에 따른 움직임 센서 기반의 휴대용 자동 통역 제어방법에 대해 도 4의 플로우차트를 참조하여 설명한다. Hereinafter, a portable automatic interpretation control method based on a motion sensor according to an embodiment of the present invention will be described with reference to the flowchart of FIG.

S10에서, 움직임 감지부(10)는 휴대용 자동 통역 장치의 움직임을 감지한다. In S10, the motion sensing unit 10 senses the motion of the portable automatic interpretation apparatus.

S12에서, 발화시작시점 검출부(12)는 움직임 감지부(10)에서 출력되는 X, Y, Z축의 센서 결과값을 근거로 발화시작시점을 검출하게 된다. In S12, the ignition start time detection unit 12 detects the ignition start time based on the sensor result values of the X, Y, and Z axes output from the motion sensing unit 10.

종래에는 발화시작시점을 자동으로 검출할 수 없기 때문에, 휴대용 자동 통역 장치의 화면 내에 존재하는 특정한 버튼을 터치하여 발화를 시작한다는 명령을 장치에 전달하였으나, 본 발명에서는 사용자가 정확한 음성을 기기에 전달하기 위해 마이크(18)를 사용자의 얼굴, 그 중에서도 입으로 가져가는 행동에 초점을 두었다.A command to start speech by touching a specific button existing in the screen of the portable automatic interpretation apparatus has been transmitted to the apparatus. However, in the present invention, the user transmits an accurate voice to the apparatus , Focusing on the action of bringing the microphone 18 to the user's face, especially the mouth.

본 발명에서의 발화시작시점 검출부(12)는 움직임 감지부(10)가 가리키는 값이 기기의 정면(즉, 터치 스크린이 보이는 면)이 지면을 향하거나 또는 그 반대인 경우의 움직임이 검출될 때를 발화시작시점으로 인지한다. 도 5 및 도 6은 휴대용 자동 통역 장치(50)의 초기 상태, 즉 발화 시작 명령을 기다리는 상태에 있는 휴대용 자동 통역 장치(50)의 기울기 및 이동 상태를 나타낸다. 사용자는 휴대용 자동 통역 장치(50)의 후면을 손으로 잡고 있는 상태이거나 또는 특정한 물체에 기대어 져 있을 수 있다. 그와 같은 초기 상태에서, 사용자가 발화를 시작하기 위해 마이크(18)가 있는 부분을 사용자의 얼굴(구체적으로는 입)에 가까이 대기 위해 화살표 A의 방향으로 휴대용 자동 통역 장치(50)를 기울이고 움직이게 된다. 이와 같이 하여 마이크(18)가 자신의 입에 근접하게 되면 도 7에 예시된 상태와 같이 된다. 즉, 마이크(18)의 위치에 따라 전면(즉, 터치 스크린(28)이 보이는 면)과 후면이 뒤집힐 수는 있으나, 발화시작시점 검출부(12)는 휴대용 자동 통역 장치가 Z축을 기준으로 수직, Y축을 기준으로 수평에 근접한 상태가 되게 하는 움직임을 발화시작을 알리는 명령으로 받아들이게 된다. 다시 말해서, 발화시작시점 검출부(12)는 휴대용 자동 통역 장치(50)의 Z축이 수직 방향으로, Y축이 수평 방향으로 이동된 후 해당 휴대용 자동 통역 장치(50)의 이동 편차가 급속도로 감소하는 시점이 검출되면 이를 발화시작시점으로 검출하게 된다.The ignition start time point detection unit 12 of the present invention detects the motion when the value indicated by the motion detection unit 10 is directed to the front side of the apparatus (i.e., the side where the touch screen is visible) Is recognized as the starting point of the utterance. 5 and 6 show the tilt and movement state of the portable automatic translation device 50 in the initial state of the portable automatic translation device 50, that is, in the state waiting for the firing start command. The user may be holding the back of the portable automatic interpretation device 50 by hand or leaning against a specific object. In such an initial state, the portable automatic interpretation device 50 is tilted and moved in the direction of the arrow A to bring the portion of the microphone 18 to the user's face (specifically the mouth) do. When the microphone 18 comes close to the mouth of the user, the state shown in FIG. 7 is obtained. That is, although the front surface (i.e., the surface where the touch screen 28 is visible) and the rear surface may be reversed depending on the position of the microphone 18, the ignition start point detection unit 12 may detect that the portable automatic interpretation apparatus is vertical, A motion to make the state close to the horizontal with respect to the Y axis is accepted as a command to notify the start of the utterance. In other words, when the Z-axis of the portable automatic interpretation apparatus 50 is moved in the vertical direction and the Y-axis is moved in the horizontal direction, the firing start time point detection unit 12 detects that the movement deviation of the portable automatic translation apparatus 50 is rapidly reduced The detection of the start point of the fire is detected.

이와 같이 발화시작시점 검출부(12)에 의해 발화시작시점이 검출되면, 발화시작시점 검출부(12)는 그에 상응하는 신호를 음성 인식부(20)에게로 보낸다.When the utterance start point is detected by the utterance start point detection unit 12 as described above, the utterance start point detection unit 12 sends the corresponding signal to the voice recognition unit 20.

S14에서, 음성 인식부(20)는 마이크(18)를 통해 입력되는 음성 데이터를 받아들여서 일시 저장한다.In S14, the voice recognition unit 20 receives the voice data input via the microphone 18 and temporarily stores the voice data.

S16에서, 발화종료시점 검출부(14)는 발화종료시점을 검출한다. 발화시작시점이 검출되어 사용자의 음성이 마이크(18)를 음성 인식부(20)에 전달 및 저장되고 있는 상태에서, 움직임 감지부(10)의 Y축 센서 결과값이, 휴대용 자동 통역 장치(50)가 수직으로 움직인 후 이동 편차가 적은 시점으로 검출되면 발화종료시점 검출부(14)는 이를 발화종료시점으로 인식한다. 이동된 휴대용 자동 통역 장치의 최종 위치는 도 8과 유사한 형태가 된다. 즉, 도 7의 상태에서 마이크(18)가 있는 부위가 화살표 B의 방향으로 이동하고 마이크(18)가 있는 부위와는 반대편이 되는 부위가 화살표 C의 방향으로 이동한다.In S16, the ignition end point detection unit 14 detects the end point of the ignition. The Y-axis sensor result of the motion sensing unit 10 is transmitted to the portable automatic interpretation apparatus 50 (step S50) while the speech start point is detected and the voice of the user is transmitted to and stored in the voice recognition unit 20, Is detected as a point having a small movement deviation after moving vertically, the ignition end point detection unit 14 recognizes it as the end point of the ignition. The final position of the moved portable automatic interpretation device is similar to that of Fig. 7, the portion where the microphone 18 is located moves in the direction of the arrow B, and the portion opposite to the portion where the microphone 18 is located moves in the direction of the arrow C.

이와 같이 발화종료시점 검출부(14)에 의해 발화종료시점이 검출되면, 발화종료시점 검출부(14)는 그에 상응하는 신호를 음성 인식부(20)에게로 보낸다.When the utterance end point is detected by the utterance end point detection unit 14, the utterance end point detection unit 14 sends a corresponding signal to the voice recognition unit 20.

S18에서, 음성 인식부(20)는 마이크 입력을 중단한다. 필요에 따라서는 S18의 과정은 생략하여도 무방하다.In S18, the voice recognition section 20 stops the microphone input. The process of S18 may be omitted if necessary.

S20에서, 음성 인식부(20)는 발화시작시점과 발화종료시점까지의 저장하는 음성 데이터를 텍스트로 변환하고, 번역부(22)는 그 변환된 텍스트를 대역 언어의 텍스트로 번역한다.In S20, the speech recognition unit 20 converts the speech data stored until the speech start point and the speech end point into text, and the translation unit 22 translates the converted text into a text in the band language.

S22에서, TTS부(24)는 번역부(22)에서 출력되는 대역 언어의 텍스트를 음성으로 변환한다.In S22, the TTS unit 24 converts the text of the band language output from the translation unit 22 into speech.

S24에서, TTS부(24)는 변환한 결과(즉, 대역 언어로 된 음성)를 스피커(26)를 통해 외부로 출력한다.In step S24, the TTS unit 24 outputs the result of the conversion (that is, the voice in the band language) to the outside through the speaker 26. [

이번에는, 본 발명의 실시예에서 언어쌍 전환 명령을 검출하는 과정을 도 9의 플로우차트를 참조하여 설명한다. Next, a process of detecting the language pair switching command in the embodiment of the present invention will be described with reference to the flowchart of FIG.

언어쌍 전환 검출부(16)에서 언어 쌍 전환 명령을 검출하기 위해서는 선결 조건이 필요하다. 즉, 반드시 한번의 원시 언어와 대역 언어 간의 자동 통역이 이루어져 있어야 한다. 그렇지 않을 경우, 휴대용 자동 통역 장치의 이동에 민감하게 반응하여 사용자가 의도하지 않는 언어 쌍 전환이 이루어지기 때문이다.The language pair change detection unit 16 needs a prerequisite for detecting the language pair change command. In other words, automatic interpretation between one source language and one band language must be done. Otherwise, the user is sensitive to movement of the portable automatic interpretation device, and the user does not intend to switch the language pair.

S30에서, 상기와 같이 적어도 한번의 원시 언어와 대역 언어 간의 자동 통역이 이루어진 후에, 움직임 감지부(10)는 계속해서 휴대용 자동 통역 장치의 움직임을 감지한다.In S30, after the automatic interpretation is performed between at least one native language and the band language as described above, the motion sensing unit 10 continuously detects the motion of the portable automatic interpretation apparatus.

S32에서, 언어쌍 전환 검출부(16)는 움직임 감지부(10)의 출력신호를 근거로 언어쌍 전환 명령을 검출한다. 여기서, 언어 쌍 전환 명령 검출에 필요한 휴대용 자동 통역 장치의 이동은, 먼저 Y축 방향으로 휴대용 자동 통역 장치의 움직임이 있어야 한다. 휴대용 자동 통역 장치(예컨대, 스마트폰)을 상대방에게 건네주는 것을 고려하고, 상대방은 그 휴대용 자동 통역 장치를 받아 다시 올바르게 파지하게 되는 것이다. 상대방이 휴대용 자동 통역 장치를 올바르게 파지하기 위해서는 휴대용 자동 통역 장치의 X축/Y축 값의 반전이 크게 일어나게 된다. 언어쌍 전환 검출부(16)는 휴대용 자동 통역 장치가 원래 기기 사용자로부터 멀어지고, 다시 X축 및 Y축의 이동이 크게 일어난 후 해당 휴대용 자동 통역 장치의 이동 편차가 줄어든 시점을 언어쌍 전환 명령으로 인지한다.In step S32, the language pair switching detection unit 16 detects a language pair switching command based on the output signal of the motion sensing unit 10. [ Here, the movement of the portable automatic interpretation device necessary for the detection of the language pair switching command requires that the portable automatic interpretation device moves in the Y-axis direction first. Considering handing over a portable automatic interpretation device (for example, a smart phone) to the other party, the other party receives the portable automatic interpretation device again and grasps correctly. In order for the opponent to correctly grasp the portable automatic interpretation device, the inversion of the X-axis / Y-axis value of the portable automatic interpretation device becomes large. The language pair switching detection unit 16 recognizes the point at which the movement deviation of the portable automatic translation apparatus decreases after the portable automatic interpretation apparatus moves away from the original user of the apparatus and the X axis and the Y axis move again, .

이와 같이 언어쌍 전환 검출부(16)는 언어쌍 전환 명령을 인지하게 되면 그에 상응하는 신호를 음성 인식부(20)에게로 보낸다.When the language pair change detection unit 16 recognizes the language pair change command, it sends a corresponding signal to the voice recognition unit 20.

S34에서, 음성 인식부(20)는 이전에 설정된 원시 언어와 대역 언어를 서로 바꾼다.In S34, the speech recognition unit 20 exchanges the previously set source language with the band language.

S36에서, 도 4에서의 음성 인식, 번역, TTS 과정을 순차적으로 수행하여 대역 언어의 음성을 스피커(26)를 통해 출력한다.In step S36, the voice recognition, translation, and TTS processes in FIG. 4 are sequentially performed to output the voice in the band language through the speaker 26. FIG.

한편, 본 발명은 상술한 실시예로만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위내에서 수정 및 변형하여 실시할 수 있고, 그러한 수정 및 변형이 가해진 기술사상 역시 이하의 특허청구범위에 속하는 것으로 보아야 한다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims. You must see.

10 : 움직임 감지부 12 : 발화시작시점 검출부
14 : 발화종료시점 검출부 16 : 언어쌍 전환 검출부
18 : 마이크 20 : 음성 인식부
22 : 번역부 24 : TTS부
26 : 스피커10: motion detection unit 12: ignition start time detection unit
14: ignition end point detection unit 16: language pair switching detection unit
18: microphone 20: voice recognition unit
22: translation part 24: TTS part
26: Speaker

Claims (13)

휴대용 자동 통역 장치의 움직임을 감지하는 움직임 감지부;
상기 움직임 감지부로부터의 출력신호를 근거로 발화시작시점을 검출하는 발화시작시점 검출부; 및
상기 발화시작시점의 검출이 이루어진 이후에 상기 움직임 감지부로부터의 출력신호를 근거로 발화종료시점을 검출하는 발화종료시점 검출부;를 포함하는 것을 특징으로 하는 움직임 센서 기반의 휴대용 자동 통역 장치.A movement detecting unit for detecting movement of the portable automatic interpretation apparatus;
A firing start point detecting unit for detecting a firing start point based on an output signal from the motion detecting unit; And
And a firing end point detector for detecting a firing end point based on an output signal from the motion sensor after the firing start point is detected. 청구항 1에 있어서,
상기 발화시작시점 검출부는 상기 휴대용 자동 통역 장치가 Y축을 기준으로 수평 상태가 되는 움직임에 해당하는 상기 움직임 감지부의 출력신호를 입력받는 시점을 상기 발화시작시점으로 검출하는 것을 특징으로 하는 움직임 센서 기반의 휴대용 자동 통역 장치.The method according to claim 1,
Wherein the ignition start time detection unit detects a time point at which the portable automatic interpretation apparatus receives the output signal of the motion sensing unit corresponding to a horizontal movement with respect to the Y axis as the start point of the speech recognition. Portable automatic interpretation device. 청구항 1에 있어서,
상기 발화종료시점 검출부는 상기 발화시작시점의 검출이 이루어진 이후에 상기 휴대용 자동 통역 장치가 Y축을 기준으로 수평 상태에서 수직 방향으로 이동한 움직임에 해당하는 상기 움직임 감지부의 출력신호를 입력받는 시점을 상기 발화종료시점으로 검출하는 것을 특징으로 하는 움직임 센서 기반의 휴대용 자동 통역 장치.The method according to claim 1,
Wherein the ignition end time detection unit detects a time point at which the portable automatic translating apparatus receives the output signal of the motion sensing unit corresponding to the movement in the vertical direction in the horizontal direction with respect to the Y axis, And detects the end of the ignition as the end point of the ignition. 청구항 1에 있어서,
상기 움직임 감지부의 출력신호에서 X축 센서 결과값과 Y축 센서 결과값의 반전이 있게 되면 언어쌍 전환 명령으로 인식하는 언어쌍 전환 검출부를 추가로 포함하는 것을 특징으로 하는 움직임 센서 기반의 휴대용 자동 통역 장치.The method according to claim 1,
Further comprising a language pair switching detection unit for recognizing, as a language pair switching command, an inversion of the X axis sensor result value and the Y axis sensor result value in the output signal of the motion sensing unit, Device. 청구항 4에 있어서,
상기 언어쌍 전환 검출부는 한번의 원시 언어와 대역 언어 간 자동 통역이 이루어진 이후에 상기 언어쌍 전환 명령을 인식하는 동작을 수행하는 것을 특징으로 하는 움직임 센서 기반의 휴대용 자동 통역 장치.The method of claim 4,
Wherein the language pair change detection unit performs an operation of recognizing the language pair change command after automatic interpretation is performed between one native language and a band language. 청구항 1에 있어서,
상기 움직임 감지부는 가속도 센서 및 자이로 센서중에서 하나 이상을 포함하는 것을 특징으로 하는 움직임 센서 기반의 휴대용 자동 통역 장치.The method according to claim 1,
Wherein the motion sensing unit includes at least one of an acceleration sensor and a gyro sensor. 청구항 1에 있어서,
상기 움직임 감지부는 상기 휴대용 자동 통역 장치의 X축, Y축, 및 Z축 방향으로의 움직임을 감지한 센서 결과값을 상기 출력신호로서 출력하는 것을 특징으로 하는 움직임 센서 기반의 휴대용 자동 통역 장치.The method according to claim 1,
Wherein the motion detection unit outputs a sensor result value obtained by sensing movement in the X-axis, Y-axis, and Z-axis directions of the portable automatic translation apparatus as the output signal. 움직임 감지부가, 휴대용 자동 통역 장치의 움직임을 감지하는 단계;
발화시작시점 검출부가, 상기 휴대용 자동 통역 장치의 움직임을 감지하는 단계에 의한 출력신호를 근거로 발화시작시점을 검출하는 단계; 및
상기 발화시작시점의 검출이 이루어진 이후에 발화종료시점 검출부가, 상기 휴대용 자동 통역 장치의 움직임을 감지하는 단계에 의한 출력신호를 근거로 발화종료시점을 검출하는 단계;를 포함하는 것을 특징으로 하는 움직임 센서 기반의 휴대용 자동 통역 제어방법.Detecting a movement of the portable automatic interpretation apparatus;
Detecting a start point of speech based on an output signal of a firing start point detection unit detecting a motion of the portable automatic interpretation apparatus; And
And detecting a firing end point based on an output signal from the firing end point detection unit after detecting the firing start point, wherein the firing end point detection unit detects a motion of the portable automatic interpretation apparatus Sensor based portable automatic interpretation control method. 청구항 8에 있어서,
상기 발화시작시점을 검출하는 단계는, 상기 휴대용 자동 통역 장치가 Y축을 기준으로 수평 상태가 되는 시점을 상기 발화시작시점으로 검출하는 것을 특징으로 하는 움직임 센서 기반의 휴대용 자동 통역 제어방법.The method of claim 8,
Wherein the detecting of the ignition start time detects a time point at which the portable automatic interpretation apparatus becomes horizontal based on the Y axis as the ignition start time. 청구항 8에 있어서,
상기 발화종료시점을 검출하는 단계는, 상기 발화시작시점의 검출이 이루어진 이후에 상기 휴대용 자동 통역 장치가 Y축을 기준으로 수평 상태에서 수직 방향으로 이동한 시점을 상기 발화종료시점으로 검출하는 것을 특징으로 하는 움직임 센서 기반의 휴대용 자동 통역 제어방법.The method of claim 8,
Wherein the step of detecting the ignition end point detects a point in time when the portable automatic translating apparatus moves from the horizontal direction to the vertical direction with respect to the Y axis as the speaking end point after the detection of the speaking start point A portable automatic interpretation control method based on a motion sensor. 청구항 8에 있어서,
언어쌍 전환 검출부가, 상기 휴대용 자동 통역 장치의 움직임을 감지하는 단계에 의한 출력신호에서 X축 센서 결과값과 Y축 센서 결과값의 반전이 있게 되면 언어쌍 전환 명령으로 인식하는 단계;를 추가로 포함하는 것을 특징으로 하는 움직임 센서 기반의 휴대용 자동 통역 제어방법.The method of claim 8,
The language pair switching detection unit recognizing the output of the XY-axis sensor and the Y-axis sensor as the language pair switching command when there is an inversion of the X-axis sensor result value and the Y-axis sensor result value in the output signal of the step of sensing the motion of the portable automatic translation apparatus Wherein the motion-sensor-based portable automatic interpretation control method comprises: 청구항 11에 있어서,
상기 언어쌍 전환 명령으로 인식하는 단계는 한번의 원시 언어와 대역 언어간 자동 통역이 이루어진 이후에 행해지는 것을 특징으로 하는 움직임 센서 기반의 휴대용 자동 통역 제어방법.The method of claim 11,
Wherein the step of recognizing the language pair switching command is performed after automatic interpretation is performed between one native language and a band language. 청구항 8에 있어서,
상기 휴대용 자동 통역 장치의 움직임을 감지하는 단계는, 상기 휴대용 자동 통역 장치의 X축, Y축, 및 Z축 방향으로의 움직임을 감지한 센서 결과값을 상기 출력신호로서 출력하는 것을 특징으로 하는 움직임 센서 기반의 휴대용 자동 통역 제어방법.
The method of claim 8,
Wherein the step of sensing the movement of the portable automatic translation apparatus outputs a sensor result value obtained by sensing movement in the X-axis, Y-axis, and Z-axis directions of the portable automatic translation apparatus as the output signal. Sensor based portable automatic interpretation control method.
KR20130032339A 2013-03-26 2013-03-26 Motion sensor-based portable automatic interpretation apparatus and controlling method thereof KR20140117771A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR20130032339A KR20140117771A (en) 2013-03-26 2013-03-26 Motion sensor-based portable automatic interpretation apparatus and controlling method thereof
US14/065,579 US20140297257A1 (en) 2013-03-26 2013-10-29 Motion sensor-based portable automatic interpretation apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130032339A KR20140117771A (en) 2013-03-26 2013-03-26 Motion sensor-based portable automatic interpretation apparatus and controlling method thereof

Publications (1)

Publication Number Publication Date
KR20140117771A true KR20140117771A (en) 2014-10-08

Family

ID=51621682

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130032339A KR20140117771A (en) 2013-03-26 2013-03-26 Motion sensor-based portable automatic interpretation apparatus and controlling method thereof

Country Status (2)

Country Link
US (1) US20140297257A1 (en)
KR (1) KR20140117771A (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9524293B2 (en) * 2014-08-15 2016-12-20 Google Inc. Techniques for automatically swapping languages and/or content for machine translation
KR102188268B1 (en) * 2014-10-08 2020-12-08 엘지전자 주식회사 Mobile terminal and method for controlling the same
JP6592940B2 (en) * 2015-04-07 2019-10-23 ソニー株式会社 Information processing apparatus, information processing method, and program
IL252071A0 (en) * 2017-05-03 2017-07-31 Google Inc Contextual language translation

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101565768B1 (en) * 2008-12-23 2015-11-06 삼성전자주식회사 Apparatus and method for unlocking a locking mode of portable terminal
KR101581883B1 (en) * 2009-04-30 2016-01-11 삼성전자주식회사 Appratus for detecting voice using motion information and method thereof
US8996059B2 (en) * 2012-07-19 2015-03-31 Kirusa, Inc. Adaptive communication mode for recording a media message

Also Published As

Publication number Publication date
US20140297257A1 (en) 2014-10-02

Similar Documents

Publication Publication Date Title
KR102069237B1 (en) Terminal and handsfree device for servicing handsfree automatic interpretation, and method thereof
JP7334120B2 (en) Hands-free navigation with touch control system
KR101992676B1 (en) Method and apparatus for voice recognition using video recognition
WO2016103988A1 (en) Information processing device, information processing method, and program
JP2018074366A (en) Electronic apparatus, control method, and program
US20120253803A1 (en) Voice recognition device and voice recognition method
US9570076B2 (en) Method and system for voice recognition employing multiple voice-recognition techniques
EP3540565A1 (en) Control method for translation device, translation device, and program
KR20140143034A (en) Method for providing service based on a multimodal input and an electronic device thereof
JPWO2016098228A1 (en) Speech recognition apparatus and speech recognition method
JP2006154926A (en) Electronic equipment operation system using character display and electronic apparatuses
KR20150112337A (en) display apparatus and user interaction method thereof
US20140194102A1 (en) Intelligent muting of a mobile device
KR20060088275A (en) Apparatus and method for setting up and generating an audio based on motion
JP6016134B2 (en) Voice input device, voice input method and program
JP6514475B2 (en) Dialogue device and dialogue method
KR20140117771A (en) Motion sensor-based portable automatic interpretation apparatus and controlling method thereof
WO2016152200A1 (en) Information processing system and information processing method
US9640199B2 (en) Location tracking from natural speech
KR101579292B1 (en) Apparatus and method for universal control using speech recognition
KR20120127773A (en) Vocal recognition information retrieval system and method the same
JP2015059811A (en) Navigation device and method
JP2020160431A (en) Speech recognition device, speech recognition method, and program therefor
JP2017204231A (en) Information processor, information processing method, and information processing program
KR20200056754A (en) Apparatus and method for generating personalization lip reading model

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid