KR20160054869A

KR20160054869A - 사용자 제스처 기반의 번역 서비스 제공 방법

Info

Publication number: KR20160054869A
Application number: KR1020140154437A
Authority: KR
Inventors: 신종훈
Original assignee: 한국전자통신연구원
Priority date: 2014-11-07
Filing date: 2014-11-07
Publication date: 2016-05-17

Abstract

본 발명의 실시 예들은, 번역 서비스 제공 방법에 관한 것으로, 본 발명의 일 실시 예에 따른 사용자 제스처 기반의 번역 서비스 제공 방법은, 사용자 제스처를 인식하는 단계; 번역 서비스 제공에 이용되는 기능과 사용자 제스처가 맵핑된 테이블을 참조하여, 상기 감지된 사용자 제스처에 대응하는 기능을 확인하는 단계; 및 상기 확인된 기능을 실행하는 단계를 포함한다. 본 발명의 실시 예들에 따르면, 번역 서비스 제공에 이용되는 각종 기능을 실행하기 위한 사용자 입력을 감소시킬 수 있다.

Description

사용자 제스처 기반의 번역 서비스 제공 방법{Translation service providing method based on user gesture}

본 발명의 실시 예들은, 번역 서비스 제공을 위한 사용자 인터페이스에 관한 것이다.

스마트폰 등의 사용자 디바이스의 수요가 증가함에 따라, 사용자 디바이스를 이용하는 사용자의 다양한 욕구가 증가하고 있다. 이에 따라, 사용자의 다양한 욕구를 충족시키기 위한 어플리케이션의 보급이 확대되고 있다. 그 중에서, 사용자가 입력한 음성 또는 문장을 번역하거나, 번역된 결과를 이용하여 통역을 수행하는 어플리케이션의 이용이 증가하고 있다.

번역 서비스에는, 예를 들어 음성 입력 시작, 음성 입력 종료, 번역 시작 및 언어 전환 등의 각종 기능들이 이용된다. 종래 이러한 기능을 실행하기 위하여, 사용자는 터치 등의 동작을 반복하여 수행하여야 하는 불편함이 있다.

본 발명의 실시 예들은, 사용자 제스처를 기반으로 간편하게 번역 서비스를 제공할 수 있도록 한다.

본 발명의 일 실시 예에 따른 사용자 제스처 기반의 번역 서비스 제공 방법은, 사용자 제스처를 인식하는 단계; 번역 서비스 제공에 이용되는 기능과 사용자 제스처가 맵핑된 테이블을 참조하여, 상기 감지된 사용자 제스처에 대응하는 기능을 확인하는 단계; 및 상기 확인된 기능을 실행하는 단계를 포함한다.

본 발명의 실시 예들에 따르면, 번역 서비스 제공에 이용되는 각종 기능을 실행하기 위한 사용자 입력을 감소시킬 수 있다.

도 1 내지 도 3은 본 발명의 실시 예들에 따른 사용자 제스처와 해당 사용자 제스처에 기반하여 번역 서비스 제공에 이용되는 각종 기능을 수행하는 방법을 설명하기 위한 예시도,
도 4 내지 도 6은 본 발명의 일 실시 예에 따라 사용자 제스처와 이에 대응하는 기능을 맵핑하는 방법을 설명하기 위한 예시도,
도 7은 본 발명의 일 실시 예에 따른 사용자 디바이스를 설명하기 위한 블록도.

이하에서, 본 발명의 실시 예들을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.

본 발명의 실시 예들에서는, 사용자 디바이스가 사용자 제스처를 기반으로 하여 번역 서비스 제공에 이용되는 각종 기능을 실행하는 방안을 제공한다.

사용자 제스처 인식을 위하여, 본 발명의 실시 예들에 따른 사용자 디바이스에는, 움직임을 감지하는 움직임 센서가 탑재된 것으로 가정한다. 움직임 센서는, 예를 들어, 자이로 센서, 가속도 센서, 지자기 센서 및 압력 센서 중 어느 하나이거나, 이들이 결합된 형태일 수 있다.

상기 사용자 디바이스는, 예를 들어, 휴대 전화, 스마트폰(smart phone), 스마트와치(smart watch), 개인 휴대용 정보 단말기(Personal Digital Assistant; PDA), 휴대용 멀티미디어 플레이어(Portable Multimedia Player; PMP), 태블릿(tablet) 및 기타 통신 단말 중 어느 하나일 수 있다.

이하, 첨부되는 도면을 참조하여 본 발명의 실시 예들을 설명한다.

먼저, 도 1 내지 도 3을 참조하여 본 발명의 실시 예들에 따른 사용자 제스처와 해당 사용자 제스처에 기반하여 번역 서비스 제공에 이용되는 각종 기능을 수행하는 방법을 설명한다.

전술한 바와 같이, 사용자 디바이스(100)는, 움직임을 감지할 수 있는 움직임 센서를 탑재하며, 움직임 센서에서 측정되는 센서 정보를 기반으로 사용자 제스처를 인식할 수 있다.

사용자 제스처는, 예를 들어, 사용자 디바이스(100)를 피칭(pitching), 롤링(rolling) 및 요잉(yawing)하는 동작 중 어느 하나이거나, 이들이 조합된 형태의 동작일 수 있다.

피칭, 롤링 및 요잉이란, 사용자 디바이스(100)가 서로 직교하는 3축(X-Y-Z)을 기준으로 회전하는 것을 의미한다. 이하, 각 제스처와 해당 제스처에 따라 실행되는 기능을 설명한다.

도 1에는, 사용자가 사용자 디바이스(100)를 X 축을 기준으로 회전시키는 제스처를 수행한 예를 도시하였다. 즉, 도 1에는, 사용자 디바이스(100)가 피칭되는 예를 도시하였다.

사용자 디바이스(100)는, 사용자 제스처에 따른 움직임을 감지하고, 감지된 결과에 기반하여 현재 어떠한 사용자 제스처가 이루어지고 있는지 인식할 수 있다.

그리고, 사용자 디바이스(100)는, 인식된 사용자 제스처에 따라 번역 서비스 제공에 이용되는 기능을 실행할 수 있다. 예를 들어, 사용자 디바이스(100)는, 설정된 맵핑 정보를 참조하여 현재 인식된 사용자 제스처에 대응하는 기능을 실행할 수 있다.

맵핑 정보는, 피칭, 롤링 및 요잉 제스처 각각에 대응하는 기능에 대한 정보를 포함한다. 예를 들어, 피칭 제스처에 대응하는 기능으로서 음성 입력과 관련된 기능이 맵핑되고, 롤링 제스처에 대응하는 기능으로서 음성 인식 취소와 관련된 기능이 맵핑되고, 요잉 제스처에는 언어 전환과 관련된 기능이 맵핑되어 있을 수 있다. 맵핑 정보는, 사용자 디바이스 제조 시점 또는 어플리케이션 다운로드 시점에 미리 정하여진 것을 이용할 수도 있고, 사용자에 의하여 설정된 것을 이용할 수도 있다.

일 실시 예에서, 각각의 제스처가 이루어지는 방향에 대하여 서로 다른 기능이 맵핑될 수 있다. 예를 들어, 사용자 디바이스(100)의 하단부가 +Y축 방향으로 움직이는 피칭 제스처에 대하여 음성 입력을 시작하는 기능이 맵핑되고, 사용자 디바이스(100)의 하단부가 -Y축 방향으로 움직이는 피칭 제스처에 대하여 음성 입력을 종료하는 기능이 맵핑될 수 있다.

마이크(140a)가 사용자 디바이스(100)의 하단에 위치한다고 가정할 때, 정확한 음성 입력을 위하여 사용자는 사용자 디바이스(100)의 하단을 들어올려 입 근처에 가져다 댄 뒤 발화를 시작하고, 발화가 종료되는 경우 번역 결과를 확인하기 위하여 사용자 디바이스를 바라보는 동작을 수행하는 것이 일반적이다.

따라서, X축을 기준으로 하는 피칭 제스처를 음성 입력 시작 및 음성 입력 종료 기능에 매핑하는 경우, 사용자 편의성을 향상시킬 수 있다.

그 이외의 번역 서비스를 위한 각종 기능들이, 롤링 제스처 및 요잉 제스처 중 어느 하나에 매핑될 수 있다. 예를 들어, 도 2에 도시된 바와 같이, 사용자 디바이스(100)의 우측이 -Z축 방향으로 움직이는 롤링 제스처에는, 언어 전환을 위한 기능이 맵핑될 수 있다. 언어 전환은, 예를 들어, 번역의 대상이 되는 언어와 번역의 결과로서 출력되는 언어 간의 전환을 의미한다.

또한, 예를 들어, 도 3에 도시된 바와 같이, 사용자 디바이스(100)의 상단부가 +X 축 방향으로 움직이는 요잉 제스처에는, 통역 기능이 맵핑될 수 있다.

실시 예에 따라, 번역 서비스 제공에 이용되는 기능들은, 연속된 사용자 제스처의 조합에 맵핑될 수도 있다.

예를 들어, X 축을 기준으로 하는 연속된 피칭 제스처에 음성 입력 시작을 위한 기능이 맵핑될 수 있다. X 축을 기준으로 하는 연속된 피칭 제스처는, 예를 들어, X 축을 기준으로 하여 사용자 디바이스의 하단부가 {(+Y축 방향) - (-Y축 방향) - (+Y축 방향) - (-Y축 방향)}으로 연속하여 피칭되는 경우일 수 있다.

또한, Y 축을 기준으로 하는 연속된 롤링 제스처에 음성 입력 종료를 위한 기능이 맵핑될 수 있다. Y 축을 기준으로 하는 연속된 롤링 제스처는, 예를 들어, Y 축을 기준으로 하여 사용자 디바이스의 우측이 {(+Z 축 방향) - (-Z 축 방향) - (+Z 축 방향) - (-Z 축 방향)}으로 연속하여 롤링되는 경우일 수 있다.

또한, Z 축을 기준으로 하는 연속된 요잉 제스처에 번역 시작을 위한 기능이 맵핑될 수 있다. Z 축을 기준으로 하는 연속된 요잉 제스처는, 예를 들어, Z 축을 기준으로 하여 사용자 디바이스의 상단부가 {(+X 축 방향) - (-X 축 방향) - (+ X축 방향) - (-X 축 방향)}으로 연속하여 요잉되는 경우일 수 있다.

한편, 전술한 바와 같이, 사용자 제스처와 이에 대응하는 기능들의 맵핑 정보는 사용자에 의하여 설정될 수 있다. 이를 도 4 내지 도 6을 참조하여 설명한다.

도 4 내지 도 6은 본 발명의 일 실시 예에 따라 사용자 제스처와 이에 대응하는 기능을 맵핑하는 방법을 설명하기 위한 예시도이다.

사용자는, 사용자 디바이스(100)에서 제공하는 특정 메뉴를 선택하거나, 특정 키 입력을 수행함으로써, 사용자 제스처에 대응하는 기능을 설정하기 위한 메뉴 화면으로 진입할 수 있다. 메뉴 화면의 일 예를, 도 4에 도시하였다.

사용자는, 메뉴 화면에서 사용자 제스처를 설정(수정을 포함하는 의미로 사용한다)하고자 하는 기능을 선택할 수 있다. 도 5에는, 일 예로서, 음성 입력 시작을 위한 기능이 선택된 예를 도시하였다. 이후, 사용자는, 사용자 디바이스(100)의 안내에 따라 해당 기능에 맵핑할 사용자 제스처를 입력할 수 있다. 즉, 사용자는, 사용자 디바이스(100)를 피칭, 롤링 및 요잉하는 제스처 중 적어도 하나의 제스처를 수행할 수 있다. 사용자 제스처의 입력이 완료되면, 사용자 디바이스(100)는, 인식된 사용자 제스처를 사용자에게 안내하는 화면을 출력할 수 있다. 안내 화면의 예를 도 6에 도시하였다.

도 7은 본 발명의 일 실시 예에 따른 사용자 디바이스를 설명하기 위한 블록도이다.

도 7을 참조하면, 본 발명의 일 실시 예에 따른 사용자 디바이스는, 제어부(110), 센서부(120), 입력부(140), 출력부(150) 및 통신부(160)를 포함한다. 실시 예에 따라, 전술한 구성 요소 중 적어도 하나는 생략될 수 있다.

제어부(110)는, 센서부(120)로부터 수신되는 센서 정보에 기반하여 사용자 제스처를 인식할 수 있다. 사용자 제스처가 인식되면, 제어부(110)는, 설정된 맵핑 정보를 참조하여 해당 사용자 제스처에 대응하는 기능을 확인하고, 확인된 기능을 실행하기 위한 각종 제어를 수행할 수 있다. 상기 기능들은, 번역 서비스 제공을 위한 기능일 수 있다.

예를 들어, 인식된 사용자 제스처가 음성 입력 시작을 위한 제스처인 경우, 제어부(110)는, 음성 입력을 수행할 것을 사용자에게 안내할 수 있다. 그리고, 제어부(110)는, 입력부(140)를 제어하여 음성 입력을 위한 마이크를 온 시킬 수 있다.

예를 들어, 인식된 사용자 제스처가 음성 입력 종료를 위한 제스처인 경우, 제어부(110)는, 입력부(140)를 제어하여 음성 입력을 위한 마이크를 오프 시킬 수 있다. 그리고, 제어부(110)는, 입력된 음성을 기반으로 번역 서비스를 제공하기 위한 동작을 수행할 수 있다. 예를 들어, 제어부(110)는, 입력된 음성을 음성 인식 서버로 전송하고, 음성 인식 서버로부터 음성 인식 결과를 수신할 수 있다. 그리고, 제어부(110)는, 수신된 음성 인식 결과를 번역 서비스를 위한 변역 서버로 전송하고, 번역 서버로부터 번역 결과를 수신할 수 있다.

만약, 통역 기능에 대응하는 사용자 제스처가 인식되는 경우, 제어부(110)는, 번역 서버로부터 수신된 텍스트 형태의 번역 결과를 음성으로 전환하여 출력할 수 있다. 만약, 번역 서버로부터 수신된 변역 결과가 음성 형태인 경우, 제어부(110)는, 수신된 음성 형태의 변역 결과를 그대로 출력할 수 있다.

한편, 사용자로부터 사용자 제스처 설정을 위한 요청이 있는 경우, 제어부(110)는, 사용자 제스처 설정을 안내하기 위한 동작을 수행하고, 사용자에 의하여 입력된 제스처와 해당 제스처에 대한 기능을 맵핑하여 저장할 수 있다.

한편, 사용자 제스처의 유효성을 판단하기 위하여 임계 값이 설정될 수 있으며, 제어부(110)는, 사용자에 의하여 입력된 제스처가 설정된 임계 값 이상인 경우에 유효한 것으로 판단할 수 있다.

센서부(120)는, 움직임 센서를 포함할 수 있다. 움직임 센서는, 사용자 제스처에 따른 움직임을 감지(예를 들어, 기울기의 변화를 감지)하고, 감지된 움직임을 제어부(110)로 전달한다.

메모리부(130)는, 사용자 제스처와 해당 사용자 제스처에 대응하는 기능이 맵핑된 맵핑 정보를 저장한다.

입력부(140)는, 음성 입력을 위한 마이크를 포함한다. 실시 예에 따라, 입력부(140)는, 사용자 제스처 설정에 이용되는 키를 더 포함할 수 있다. 상기 키는 디스플레이 상에 표시되는 소프트 키일 수 있다.

출력부(150)는, 스피커 및 디스플레이 중 적어도 하나를 포함한다.

통신부(160)는, 각종 통신 방식을 이용하여 외부 기기와 통신을 수행한다. 예를 들어, 통신부(160)는, 음성 인식 서버 및 번역 서버 등과 통신을 수행할 수 있다.

이상에서 설명된 본 발명의 실시 예들은 임의의 다양한 방법으로 구현될 수 있다. 예를 들어, 본 발명의 실시 예들은 하드웨어, 소프트웨어 또는 그 조합을 이용하여 구현될 수 있다. 소프트웨어로 구현되는 경우에, 다양한 운영 체제 또는 플랫폼을 이용하는 하나 이상의 프로세서 상에서 실행되는 소프트웨어로서 구현될 수 있다. 추가적으로, 그러한 소프트웨어는 다수의 적합한 프로그래밍 언어들 중에서 임의의 것을 사용하여 작성될 수 있고, 또한 프레임워크 또는 가상 머신에서 실행 가능한 기계어 코드 또는 중간 코드로 컴파일 될 수 있다.

또한, 본 발명의 실시 예들이 하나 이상의 프로세서 상에서 실행되는 경우 이상에서 논의된 본 발명의 다양한 실시 예들을 구현하는 방법을 수행하기 위한 하나 이상의 프로그램이 기록된 프로세서 판독 가능 매체(예를 들어, 메모리, 플로피 디스크, 하드 디스크, 콤팩트 디스크, 광학 디스크 또는 자기 테이프 등)로 구현될 수 있다.

Claims

사용자 제스처를 인식하는 단계;
번역 서비스 제공에 이용되는 기능과 사용자 제스처가 맵핑된 테이블을 참조하여, 상기 감지된 사용자 제스처에 대응하는 기능을 확인하는 단계; 및
상기 확인된 기능을 실행하는 단계
를 포함하는 사용자 제스처 기반의 번역 서비스 제공 방법.