KR102045281B1

KR102045281B1 - 데이터 처리 방법 및 그 전자 장치

Info

Publication number: KR102045281B1
Application number: KR1020130063883A
Authority: KR
Inventors: 최우준
Original assignee: 삼성전자주식회사
Priority date: 2013-06-04
Filing date: 2013-06-04
Publication date: 2019-11-15
Also published as: EP2811484A3; EP2811484A2; US20140358536A1; KR20140142476A; EP2811484B1

Abstract

본 개시는 전자 장치의 알림 소리를 설정함에 있어, 음성 통화 데이터 또는 멀티미디어 데이터의 구간을 효과적인 방법으로 정확하게 결정하는 방법 및 장치에 관한 것으로, 전자 장치의 동작 방법은, 음성 데이터를 변환한 텍스트 데이터로 디스플레이하는 동작과 디스플레이하는 텍스트 데이터에서 제 1 구간을 선택하는 동작과 제 1 구간에 대응하는 음성 데이터의 제 2 구간에 해당하는 부분 음성 데이터를 출력하는 동작을 수행할 수 있다.

Description

데이터 처리 방법 및 그 전자 장치{METHOD FOR PROCESSING DATA AND AN ELECTRONIS DEVICE THEREOF}

본 개시는 전자 장치에 관한 것으로, 더 상세하게는 데이터를 처리하는 방법 및 그 전자 장치에 있다.

이동통신 기술이 발전함에 따라 전자 장치는 개개인의 필수 통신 장치로 사용된다. 더욱이, 전자 장치에서 음성 통신 기능뿐만 아니라 카메라, 데이터 통신, 동영상 재생, 오디오 재생 및 메신저, 일정관리, 알람 기능 등의 다양한 부가 서비스를 제공함에 따라 그 기능을 사용할 수 있는 다양한 프로그램이 사용되고 전자 장치에 설치되는 프로그램의 수도 크게 증가하고 있다.

종래에는 전자 장치의 알림을 설정함에 있어서 전자 장치가 제공하는 알림 방법 또는 알림 소리 등을 사용하여 사용자의 개성을 나타내기에 제약이 있었고, 최근에 들어 오디오 또는 비디오와 같은 멀티미디어 데이터를 전자 장치의 알림 방법에 사용할 수 있게 되면서 다양한 방법으로 멀티 미디어 데이터를 사용할 수 있게 되었다.

전자 장치는 음성 통화 데이터 또는 멀티미디어 데이터의 주파수 파형을 터치 스크린에 표시할 수 있고 터치, 드래그, 터치 해제의 방법으로 원하는 음성 데이터 구간을 선택하여 전자 장치의 스피커로 출력하도록 할 수 있다. 이 경우에 전자 장치는 터치 스크린에 표시하고 있는 주파수 파형을 통해 원하는 음성 데이터 구간을 선택하기 위해서 여러 번의 음성 데이터 구간 선택 동작과 출력을 통한 확인 동작을 수행하는 불편함이 있다.

전자 장치는 알림 소리를 설정함에 있어서 전자 장치의 메모리에 포함하고 있는 다양한 멀티미디어 데이터를 사용하여 그 일부를 알림 소리로 사용할 수 있게 되었다.

전자 장치에 통화 내용을 녹음한 음성 통화 데이터를 포함하고 음성 통화 녹음 데이터에서 원하는 구간을 선택하거나 멀티미디어 데이터에서 원하는 구간을 선택하여 벨 소리로 사용할 수 있게 되었다. 하지만, 원하는 구간을 선택함에 있어서 데이터의 플레이 시간을 조정하여 구간을 선택하는 방법은 원하는 구간을 정확하게 선택하기 어려운 제약이 발생한다.

본 개시의 다양한 실시 예에 따르면 음성 파일 중 소망 구간에 대한 손쉬운 데이터 획득이 가능하도록 구성되는 데이터 처리 방법 및 그 전자 장치를 제공할 수 있다.

본 개시의 다양한 실시 예에 따르면 음성 파일 중 소망 구간에 대한 데이터 획득이 가능하며 획득한 데이터를 알림 수단으로 사용할 수 있도록 구성되는 데이터 처리 방법 및 그 전자 장치를 제공할 수 있다.

본 개시의 다양한 실시 예에 따르면 전자 장치의 동작 방법에 있어서 음성 데이터를 변환한 텍스트 데이터로 표시하는 동작과 표시하는 텍스트 데이터에서 제 1 구간을 선택하는 동작과 제 1 구간에 대응하는 음성 데이터의 제 2 구간에 해당하는 부분 음성 데이터를 출력하는 동작을 포함할 수 있다.

본 개시의 다양한 실시 예에 따르면 전자 장치는 스피커 및 터치 스크린과 스피커 및 터치 스크린에 연결된 프로세서를 포함할 수 있다. 프로세서는 음성 데이터를 변환한 텍스트 데이터를 표시하는 동작과 텍스트 데이터에서 제 1 구간을 선택하는 동작과 제 1 구간에 대응하는 음성 데이터의 제 2 구간 음성 데이터를 출력하는 동작과 제 2 구간 음성 데이터를 전자 장치의 소리 데이터로 설정하는 동작을 제어할 수 있다.

본 개시의 다양한 실시 예에 따르면 전자 장치는 하나 또는 그 이상의 프로세서와 메모리 및 메모리에 저장되며 하나 또는 그 이상의 프로세서에 의해 실행되는 하나 또는 그 이상의 프로그램과 프로세서와 연결된 하나 또는 그 이상의 터치스크린 및 프로세서와 연결된 하나 또는 그 이상의 스피커를 포함할 수 있다. 상기 프로그램은 음성 데이터를 변환한 텍스트 데이터를 표시하도록 처리하고 텍스트 데이터에서 제 1 구간을 선택하도록 처리하고 제 1 구간에 대응하는 음성 데이터의 제 2 구간 음성 데이터를 출력하도록 처리하고 제 2 데이터를 표시하도록 처리하는 명령어를 포함할 수 있다.

본 개시의 다양할 실시 예에 따르면 전자 장치는 음성 파일 중 소망 구간의 데이터를 손쉽게 획득하여 알림 수단으로 적용할 수 있기 때문에 전자 장치의 사용 편의성이 향상될 수 있다.

도 1은 본 개시의 다양한 실시 예에 따른 전자 장치의 블록 구성도;
도 2는 도 1의 한 실시 예에 따른 음성 통화 중 음성 데이터를 획득하는 상태를 도시한 도면;
도 3은 도 1의 한 실시 예에 따른 전자 장치에 저장된 음성 데이터를 선택하는 상태를 도시한 도면;
도 4a 내지 4c는 도 1의 한 실시 예에 따른 전자 장치에 저장된 음성 데이터에서 획득한 텍스트 데이터를 획득하고 표시하는 상태를 도시한 도면;
도 5는 도 1의 한 실시 예에 따른 전자 장치에서 선택한 텍스트 데이터와 일치하는 구간의 음성 데이터를 결정하는 방법을 도시한 도면;
도 6은 도 1의 한 실시 예에 따른 전자 장치에서 선택한 텍스트 데이터와 일치하는 구간의 음성 데이터를 제어하는 상태를 도시한 도면;
도 7은 도 1의 한 실시 예에 따른 전자 장치에서 선택한 텍스트 데이터와 일치하는 구간의 음성 데이터를 벨 소리로 출력하는 상태를 도시한 도면;
도 8은 본 개시의 한 실시 예에 따른 전자 장치에서 동작의 흐름도; 및
도 9는 본 개시의 한 실시 예에 따른 전자 장치에서 동작의 흐름도.

이하 본 개시의 다양한 실시 예를 첨부된 도면을 참고하여 설명한다. 본 개시를 설명함에 있어서 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략할 것이다. 후술하는 용어들은 본 개시에서의 기능을 고려하여 정의된 용어들로서 이는 사용자 또는 운용자의 의도나 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

본 개시의 다양한 실시 예를 설명함에 있어서 전자 장치는 입력 장치를 통한 입력 과정과 표시부를 통한 표시 과정을 물리적인 한 화면에서 수행할 수 있는 터치 스크린(Touch Screen)을 기준으로 설명할 수 있다. 따라서 본 개시의 장치 구성에서 표시부와 입력 장치는 따로 도시되어 있을지라도 표시부를 표현하는 경우 입력 장치를 포함하고 있거나 입력장치를 표시부로 나타낼 수도 있다.

본 개시는 터치 스크린을 포함하는 전자 장치에만 국한되지 않고 표시부와 입력 장치가 물리적으로 구분되어 있거나 표시부와 입력 장치 중에서 하나만을 포함하는 다양한 전자 장치에 적용될 수 있을 것이다. 이하 다양한 실시 예에서 터치 스크린으로 표시되는 장치는 터치 입력 장치와 표시부를 포함하는 터치 스크린, 터치 입력 장치를 포함하지 않는 표시부 또는 입력 장치를 포함하는 표시부와 같은 표시부를 포함하는 전자 장치를 나타낼 수 있다.

이하 설명에서 전자 장치(100)는 이동통신단말기, PDA(Personal Digital Assistant), PC(Personal Computer), 랩탑(Laptop), 스마트폰(Smart Phone), 스마트 TV(Smart TV), 넷북(Netbook), 휴대 인터넷 장치(MID: Mobile Internet Device), 울트라 모바일 PC(UMPC: Ultra Mobile PC), 태블릿 PC(Tablet PC), 이동 패드(mobile pad), 미디어 플레이어(media player), 핸드헬드 컴퓨터(handheld computer), 내비게이션(Navigation), 스마트 와치(smart watch), HMD(Head mount display) 및 MPEG-1 Audio Layer-3 Player(MP3P) 등을 포함한다.

이하 본 개시에 대한 상세한 설명을 함에 있어서 어떤 구성요소가 다른 구성요소에 연결되어 있다거나 접속되어 있다고 언급된 때에는 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만 중간에 다른 요소가 존재할 수도 있다고 이해되어야 할 것이며, 어떤 구성요소가 다른 구성요소에 직접 연결되어 있다거나 직접 접속되어 있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

도 1은 본 개시의 다양한 실시 예에 따른 전자 장치의 블록 구성을 도시한다.

도 1에 도시된 바와 같이 전자 장치(100)는 메모리(110), 프로세서 유닛(Processor Unit)(120)을 포함하고 주변 장치로는 입출력 처리부(130), 표시부(131) 및 입력 장치(132)를 포함하는 터치 스크린(133), 오디오 처리부(140), 통신 시스템(150) 및 다른 주변 장치들을 포함할 수 있다.

각 구성 요소를 설명하면 다음과 같다.

메모리(110)는 전자 장치(100)의 동작을 제어하기 위한 프로그램을 저장하는 프로그램 저장부(111) 및 프로그램 수행 중에 발생 되는 데이터를 저장하는 데이터 저장부(112)를 포함하고 프로세서(122)의 동작으로 프로그램에서 생성된 데이터를 저장할 수 있다.

데이터 저장부(112)에는 전자 장치(100)가 프로그램의 데이터를 처리함에 있어서 프로그램의 기능, 프로그램의 목적, 키워드, Identification(ID) Code, 프로그램이 사용할 수 있는 전자 장치(100)의 주변 장치들의 정보들을 저장할 수 있다.

예컨대, 전자 장치(100)는 멀티미디어 데이터의 음성을 텍스트로 변환하는 경우 변환한 텍스트 데이터를 저장할 수 있고 텍스트의 구간을 선택하여 선택한 텍스트 구간에 대응하는 부분 음성 데이터를 결정하는 경우 부분 음성 데이터를 저장할 수 있다.

프로그램 저장부(111)는 소리 제어 프로그램(114), 서비스 상태 확인 프로그램(115), 사용자 인터페이스 프로그램(116), 통신 제어 프로그램(117) 및 적어도 하나의 응용 프로그램을 포함할 수 있다. 프로그램 저장부(111)에 포함되는 프로그램들은 명령어들의 집합으로 구성되어 명령어 세트(Instruction Set)로 표현될 수도 있다.

소리 제어 프로그램(114)은 음성 통화 데이터, 오디오, 비디오를 포함하는 멀티미디어 데이터가 포함하는 음성 정보를 텍스트로 변환(또는 추출)하여 텍스트 데이터를 획득할 수 있는 Speech to Text(STT) 변환 소프트웨어와 연동하거나 포함할 수 있고 STT 변환 하드웨어와 연결하여 동작을 수행할 수 있다.

소리 제어 프로그램(114)은 STT 변환 소프트웨어 또는 STT 변환 하드웨어를 통해 선택한 음성 데이터에서 텍스트 데이터를 획득할 수 있고 음성 데이터가 포함하는 음성 정보의 시간 스탬프와 텍스트 데이터의 시간 스탬프를 동기화 할 수 있다.

소리 제어 프로그램(114)은 음성 데이터가 포함하는 음성 정보의 시간 스탬프에 따른 주파수 파형 및/또는 음성 정보에 대응하는 텍스트 데이터를 전자 장치(100)의 입출력 장치(133)에 표시할 수 있고 텍스트 데이터에서 일정 구간을 선택할 수 있다.

소리 제어 프로그램(114)은 텍스트 데이터의 선택한 구간에 대응하는 음성 정보를 음성 데이터에서 결정할 수 있고 전자 장치(100)의 스피커를 통해 음성 데이터가 포함하는 음성 정보를 출력할 수 있다.

소리 제어 프로그램(114)은 선택한 음성 데이터를 전자 장치(100)의 벨 소리, 텍스트 메세지 알림 소리, SNS 알림 소리와 같이 전자 장치(100)에서 사용하는 소리 데이터로 설정할 수 있다.

서비스 상태 확인 프로그램(115)은 전자 장치(100)의 프로그램 또는 구성 장치들이 제공하는 서비스의 상태를 확인하기 위한 적어도 하나의 소프트웨어 구성 요소를 포함할 수 있다.

사용자 인터페이스(User Interface, UI) 프로그램(116)은 전자 장치(100)에서 사용자 인터페이스(UI)를 제공하기 위한 적어도 하나의 명령어 또는 소프트웨어 구성요소를 포함한다.

예컨대, 사용자 인터페이스 프로그램(116)은 전자 장치(100)에서 사용하는 표준 문자 인코딩 또는 문자 집합과 같은 코드에 대응하는 문자 또는 소리로 전자 장치(100)의 입출력 장치(133) 또는 스피커(141)로 출력할 수 있다.

통신 제어 프로그램(117)은 통신 시스템(150)을 이용하여 적어도 하나의 상대 전자 장치와의 통신을 제어하기 위한 적어도 하나의 소프트웨어 구성요소를 포함할 수 있다.

예컨대, 통신 제어 프로그램(117)은 통신을 연결하기 위한 상대 전자 장치를 검색할 수 있다. 통신 연결을 위한 상대 전자 장치가 검색된 경우에 통신 제어 프로그램(117)은 상대 전자 장치와 통신을 위한 연결을 설정할 수 있다. 통신 제어 프로그램(117)은 연결된 제 2 전자 장치와의 성능 검색및 세션 성립절차를 수행하여 통신 시스템(150)을 통해 상대 전자 장치와 데이터를 송수신하도록 제어할 수 있다.

응용 프로그램(118)은 전자 장치(100)의 메모리(110)에 설치된 적어도 하나의 응용프로그램에 대한 소프트웨어 구성 요소를 포함할 수 있다.

전자 장치(100)에 포함되는 메모리(110)는 하나 또는 그 이상으로 구성될 수 있다. 한 실시 예에 따르면 메모리(110)는 용도에 따라서 프로그램 저장부(111)만의 기능을 할 수도 있고 데이터 저장부(112)만의 기능을 할 수도 있으며, 두 가지 모두의 기능을 할 수도 있다. 메모리(110)는 전자 장치의 특성상 메모리(110) 내부의 물리적 영역 구분이 명확하게 구성되어 있지 않을 수 있다.

프로세서 유닛(120)은 메모리 인터페이스(121), 적어도 하나의 프로세서(processor)(122) 및 주변 장치 인터페이스(123)를 포함한다. 여기서, 프로세서 유닛(120)에 포함되는 메모리 인터페이스(121), 적어도 하나의 프로세서(122) 및 주변 장치 인터페이스(123)는 적어도 하나의 회로로 집적화되거나 별개의 구성 요소로 구현할 수도 있다.

메모리 인터페이스(121)는 프로세서(122) 또는 주변 장치 인터페이스(123)와 같은 구성요소의 메모리(110)로의 접근을 제어할 수 있다.

주변 장치 인터페이스(123)는 전자 장치(100)의 입출력 주변 장치와 프로세서(122) 및 메모리 인터페이스(121)의 연결을 제어할 수 있다.

프로세서(122)는 적어도 하나의 소프트웨어 프로그램을 사용하여 전자 장치(100)가 다양한 멀티미디어 서비스를 제공하도록 제어하고 입출력 처리부(130)을 통해 표시부(131)로 전자 장치의 UI 동작을 확인할 수 있도록 표시하고 입력 장치(132)가 전자 장치(100) 외부로부터의 명령을 입력받는 서비스를 제공하도록 제어할 수 있다. 프로세서(122)는 메모리(110)에 저장되어 있는 적어도 하나의 프로그램을 실행하여 해당 프로그램에 대응하는 서비스를 제공하도록 제어할 수 있다.

오디오 처리부(140)는 스피커(141) 및 마이크로폰(142)을 통해 사용자와 전자 장치(100) 사이의 오디오 인터페이스를 제공할 수 있다.

통신 시스템(150)은 통신 기능을 수행한다. 통신 시스템(150)은 기지국을 통하는 이동 통신, IrDA 적외선 통신(IrDA: Infrared Data Association), 블루투스(Bluetooth), 블루투스 저 에너지(Bluetooth Low Energy, BLE), 와이파이(Wireless Fidelity, Wi-Fi, WiFi), NFC 무선 통신(NFC: Near Field Communication), 지그비(Zigbee)와 같은 근거리 무선 통신, 무선랜 통신 및 유선 통신 중 적어도 어느 하나를 이용하여 상대 전자 장치와의 통신을 수행할 수 있다.

입출력 처리부(130)는 표시부(131) 및 입력 장치(132)와 같은 입출력 장치(133)와 주변 장치 인터페이스(123) 사이에 인터페이스를 제공할 수 있다.

입력 장치(132)는 사용자의 선택에 의해 발생하는 입력 데이터를 입출력 처리부(130)를 통해 프로세서 유닛(120)으로 제공할 수 있다.

예컨대, 입력 장치(132)는 전자 장치(100)의 외부로부터 제어를 위한 데이터를 제공받기 위해서 제어 버튼만으로 구성되거나 키패드로 구성될 수도 있다.

더하여, 입력 장치(132)는 입출력이 동시에 발생할 수 있는 터치 스크린(Touch Screen)과 같이 표시부(132)에 함께 포함되어 제공될 수 있다. 이러한 경우 터치 스크린에 사용되는 입력 장치(132)는 정전용량 방식, 저항막(압력 감지) 방식, 적외선 방식, 전자 유도 방식, 초음파 방식 중 하나 또는 그 이상의 방식을 사용할 수 있다.

더하여, 터치 스크린의 입력 장치(132) 입력 방식은 상기 직접 터치 스크린(133)을 직접 터치하여 입력하는 방식 외에도 입력하는 객체가 터치 스크린(133)으로부터 일정 거리 내에 위치하게 되면 명령을 입력하는 방식일 수 있고 호버링(Hovering) 또는 플로팅 터치(Floating Touch) 간접 터치, 근접 터치, 비접촉 입력의 용어를 사용할 수 있다.

표시부(131)는 전자 장치(100)의 상태 정보, 외부에서 입력하는 문자, 동화상(Moving Image) 또는 정화상(Still Image) 을 프로세서 유닛(120)으로부터 제공받아 UI 동작을 구성하여 입출력 제어부(131)를 통해서 표시할 수 있다.

입출력 장치(133)는 물리적으로 표시부(131) 상에 입력 장치(132)를 결합한 장치로서 전자 장치(100)의 동작에 있어서 표시부(131)에 표시하고 있는 화면 구성을 터치(Touch)하여 명령을 입력할 수 있는 터치 스크린 일수 있다..

따라서, 터치 스크린은 전자 장치(100)의 UI 동작을 표시하는 표시부(131)와 외부의 명령을 전자 장치(100)에 입력하는 입력 장치(132)의 역할을 모두 수행할 수 있으므로 이하 설명에서 표시부(131) 및 입력 장치(132)를 포함하여 터치 스크린(133)으로 구성할 수 있다.

본 개시의 실시 예를 설명함에 있어서 전자 장치(100)에 표시 또는 전자 장치(100)에 출력은 전자 장치(100)의 터치 스크린(133)에 동화상, 정화상 또는 GUI 동작을 표시하거나 스피커(141)로 신호음 또는 음성의 오디오를 출력하는 방법을 나타내는 용어일 수 있다. 이하의 설명에서도 마찬가지의 의미로 표시 또는 출력의 용어를 사용할 수 있고 구분할 필요가 있을 때에는 따로 설명할 수 있다.

도 2는 도 1의 한 실시 예에 따른 음성 통화 중 음성 데이터를 획득하는 상태를 도시한다.

도 2를 참조하면 전자 장치(100)는 무선 또는 유선 통신을 통해 아날로그 또는 디지털 음성 정보를 송수신할 수 있다. 전자 장치(100)는 제 2 전자 장치(미도시)와 음성 정보를 송수신하는 경우, 회선 교환(Circuit Switching, CS) 방식 또는 패킷 교환(Packet Switching, PS) 방식의 방법으로 음성 정보를 포함하는 데이터를 송수신할 수 있다.

회선 교환 방식을 통해 데이터를 송수신하는 경우에 전자 장치(100)는 송신지와 수신지 간에 통신 회선을 설정하여 데이터를 교환할 수 있다. 전자 장치(100)는 통신을 원하는 제 2 전자 장치(미도시) 사이에 전용할 수 있는 통신 경로를 제공할 수 있고 전용 통신 경로는 각 노드를 연속적으로 연결한 링크로 구성할 수 있다. 각 링크는 하나의 채널로 연결되어 있어 음성과 같은 비교적 연속적인 흐름을 내포하는 데이터를 송수신하는 경우 용이하게 사용할 수 있다. 데이터 송수신 중에는 설정된 통신 회선을 통하여 전송하는 방식으로서 정보량이 많을 때와 파일 전송과 같이 긴 메시지 전송에 적합할 수 있다. 시분할 회선 교환기는 디지털 교환 기술과 디지털 통신 회선에 펄스 코드 변조 방식의 다중화 기술이 사용될 수 있고 고품질의 고속 데이터 전송에 매우 효율적일 수 있다.

패킷 교환 방식을 통해 데이터를 송수신하는 경우 전자 장치(100)는 패킷 형태로 만들어진 일정 길이의 전송 단위 데이터를 송신지의 패킷 교환기에 기억시켰다가 수신지(제 2 전자 장치) 주소에 따라 적당한 통신 경로를 선택하여 수신지 패킷 교환기에 전송할 수 있다. 패킷 교환 방식에서 전자 장치(100)가 송수신하는 데이터는 패킷(Packet)이라고 부르는 짧은 길이의 데이터 블록 단위일 수 있다. 일반적으로 패킷의 길이는 1024바이트 정도로 제한할 수 있다. 각 패킷은 사용자 데이터를 나타내는 부분과 패킷의 제어 정보를 나타내는 부분으로 구성할 수 있다. 패킷의 제어 정보는 패킷이 제 2 전자 장치까지 도달할 수 있도록 네트워크 내에서 패킷의 경로를 설정하는 데 필요한 정보를 포함할 수 있다. 전송 경로를 따라 각 노드에서 패킷을 수신하면 일단 저장한 후, 다시 다음 노드로 전송할 수 있다. 패킷이 제 2 전자 장치에 도달할 때까지 이와 같은 저장과 다음 노드로의 전송 과정을 반복할 수 있다.

전자 장치(100)는 회선 교환 방식 또는 패킷 교환 방식을 통해 제 2 전자 장치와 음성 데이터 및/또는 영상 데이터를 송수신할 수 있다. Long Term Evolution(LTE) 상에서 음성 통화를 제공할 수 있는 Voice over LTE(VoLTE)처럼 패킷 교환 방식을 통해 송수신하는 오디오 데이터는 음성 구간에 대해서 시간 변화에 따른 기준 시간을 표시할 수 있는 시간 스탬프(Time Stamp)를 포함할 수 있고 시간 스탬프의 정보는 패킷의 데이터 헤더에 저장할 수 있다. 전자 장치(100)는 제 2 전자 장치와 송수신하는 음성 데이터 및/또는 영상 데이터(음성 통화 데이터 또는 영상 통화 데이터일 수 있다)를 메모리(110)에 저장할 수 있다. 전자 장치는 데이터가 포함하는 음성 데이터를 시간 스탬프에 대응하는 텍스트로 변환할 수 있는 Speech to Text(STT) 변환 프로그램을 통해 음성 데이터의 시간 스탬프에 대응하는 텍스트로 변환할 수 있다.

전자 장치(100)는 패킷 교환 방식을 통해 송수신한 통화 데이터뿐만 아니라 통상적으로 사용하고 있는 MPEG-1 Audio Layer-3(MP3), Oracle Golden Gate(OGG), Waveform audio(WAV), Windows Media Audio(WMA), Free Lossless Audio Codec(FLAC), Apple Lossless Encoder(ALE) 또는 Apple Lossless Audio Codec(ALAC) 코덱(Codec) 또는 포멧(Format)의 멀티미디어 데이터에 포함하고 있는 음성을, 대응하는 텍스트로 변환할 수 있다.

도 3은 도 1의 한 실시 예에 따른 전자 장치에 저장된 음성 데이터를 선택하는 상태를 도시한다.

도 3을 참조하면 전자 장치(100)는 메모리(110)에 저장하고 있는 제 2 전자 장치 사이의 음성 통화 데이터 또는 오디오 데이터의 부분을 선택할 수 있고 선택한 부분을 전자 장치(100)의 벨 소리, 텍스트 메세지 알림 소리, Social Networking Service(SNS) 알림 소리와 같이 전자 장치(100)에서 출력할 수 있는 소리로 설정할 수 있다. 또한, 전자 장치(100)의 소리를 선택함에 있어 STT 변환 프로그램을 통해 변환한 텍스트 데이터를 사용할 수 있다.

전자 장치(100)는 소리 제어 프로그램(114)을 통해 메모리(110)에 저장하고 있는 제 2 전자 장치(미도시) 사이의 음성 통화 데이터, 음성 녹음(Recording) 데이터와 같은 오디오 데이터의 일부를 선택할 수 있고 전자 장치(100)에서 선택한 일부를 스피커(141)를 통해 출력할 수 있다.

예컨대, 전자 장치(100)는 소리 제어 프로그램(114)의 UI 동작을 표시하고 있는 표시부(터치 스크린)(133)에 선택할 수 있는 오디오 데이터를 311과 같이 표시할 수 있다. 전자 장치(100)는 제 2 전자 장치 사이의 음성 통화 데이터뿐만 아니라 메모리(110)에 저장하고 있는 음악 데이터(305)를 표시할 수 있고 전자 장치(100)의 메모리(110)에 포함하고 있지만 터치 스크린(133)에 표시하고 있지 않은 오디오 데이터를 추가할 수 있는 메뉴(307)를 제공할 수 있다. 또한, 터치 스크린(133)에 표시하고 있는 오디오 데이터를 표시 해제할 수 있는 메뉴(313)를 제공할 수도 있다. 더하여, 전자 장치(100)는 메모리(110)에 저장하고 있는 오디오 데이터의 일부를 선택하여 벨 소리로 결정할 수 있고 텍스트 메세지의 알림 소리 또는 SNS 알림 소리로 결정할 수 있는 메뉴(309)를 제공할 수도 있다.

전자 장치는 벨 소리, 텍스트 메세지의 알림 소리 또는 SNS 알림 소리로 설정하기 원하는 음성 통화 데이터 또는 멀티미디어 데이터를 선택하고 내용을 출력할 수 있는 아이콘을 통해 음성 통화 데이터 또는 멀티미디어 데이터의 플레이, 앞으로 감기, 뒤로 감기 기능을(317)을 제공할 수 있다.

전자 장치(100)는 원하는 데이터를 선택하고 확인(315) 미리 정한 제스처(아이콘 터치) 또는 미리 정한 모션을 통해 선택한 데이터에서 텍스트 데이터를 획득할 수 있다.

도 4a 내지 4c는 도 1의 한 실시 예에 따른 전자 장치에 저장된 음성 데이터에서 획득한 텍스트 데이터를 획득하고 표시하는 상태를 도시한다.

전자 장치(100)는 오디오 데이터에서 STT 변환 소프트웨어 또는 STT 변환 하드웨어를 통해 음성 데이터를 변환 또는 추출의 방법을 통해 획득한 텍스트 데이터를 전자 장치(100)의 터치 스크린(133)에 표시할 수 있고 텍스트 데이터의 일부를 선택함으로써 선택한 부분 텍스트 데이터에 대응하는 음성 데이터의 부분 음성 데이터를 결정할 수 있다.

도 4a를 참조하면 전자 장치(100)는 소리제어 프로그램(114)을 통해 음성 통화 데이터의 주파수 파형(401) 또는/및 음성 통화 데이터의 음성 데이터에서 획득한 텍스트 데이터(403)를 터치 스크린(133)에 표시함으로써 부분을 선택하도록 제공할 수 있다.

예컨대, 전자 장치(100)는 STT 변환 소프트웨어 또는 STT 변환 하드웨어를 통해 음성 통화 데이터 또는 멀티미디어 데이터가 포함하는 음성 데이터를 시간 스탬프에 대응하는 텍스트 데이터로 변환 또는 추출의 방법으로 획득할 수 있고 획득한 텍스트 데이터를 전자 장치(100)의 터치 스크린(133)에 표시할 수 있다. 전자 장치(100)는 표시하고 있는 텍스트 데이터(403)에서 부분 텍스트 데이터를 선택할 수 있고 재생 아이콘(405), 미리 정한 제스처 또는 미리 정한 모션을 통해 부분 음성 데이터를 전자 장치(100)의 스피커(141)를 통해 출력할 수 있고 확인 아이콘(407), 미리 정한 제스처 또는 미리 정한 모션을 통해 음성 데이터에서 선택한 부분 텍스트 데이터에 대응하는 부분 음성 데이터를 결정할 수 있다.

도 4b를 참조하면 전자 장치(100)에 표시하고 있는 음성 통화 데이터의 주파수 파형(401) 또는/및 음성 통화 데이터의 음성 데이터에서 획득한 텍스트 데이터(703)를 표시하고 있는 터치 스크린(133)에서 터치, 드래그, 터치 해제의 방법으로 부분 텍스트 데이터(409)를 선택할 수 있다.

예컨대, 전자 장치(100)는 텍스트 데이터(403)를 표시하고 있는 터치 스크린(133)을 터치하여 선택 시작 위치를 결정할 수 있다. 터치를 유지하면서 드래그하는 경우 종료 위치를 움직일 수 있고 선택하고자 하는 범위를 정할 수 있다. 종료 위치를 움직여 도 7b의 '흐규흐규'(409)와 같이 부분 텍스트 데이터를 선택할 수 있고 종료점에 터치하고 있는 객체(411)를 터치 해제함으로써 선택한 부분 텍스트 데이터를 결정할 수 있다. 더하여, 전자 장치(100)의 터치 스크린(133)에서 터치, 드래그, 터치 해제로 선택하는 방법 외에도, 기준 시간 동안 복수 횟수의 터치를 수행하는 멀티 터치, 음성 입력, 미리 정한 제스처 또는 모션을 통해 부분 텍스트 데이터를 선택할 수 있다.

전자 장치(100)는 선택한 부분 텍스트 데이터의 범위의 시간 스탬프와 음성 통화 데이터의 시간 스탬프를 통해 선택한 부분 텍스트 데이터에 대응하는 음성 데이터의 부분 음성 데이터를 결정할 수 있다.

전자 장치는 결정한 부분 음성 데이터를 출력할 수 있는 메뉴(405)를 제공할 수 있다. 전자 장치(100)는 터치 스크린에 표시하고 있는 재생 아이콘(405)을 터치하는 동작으로 결정한 부분 음성 데이터를 스피커(141)를 통해 출력할 수 있다.

전자 장치(100)는 결정한 부분 음성 데이터를 저장할 수 있다. 도시하고 있지는 않지만 확인 아이콘(407)을 터치하는 경우 전자 장치(100)는 상기 결정한 부분 음성 데이터를 저장하기 위해 데이터 이름을 결정할 수 있는 텍스트 입력 영역을 제공할 수 있고 입력한 텍스트 정보에 따라서 상기 결정한 부분 음성 데이터를 저장할 수 있다. 더하여, 전자 장치(100)는 상기 결정한 부분 음성 데이터를 저장하기 위해 데이터 이름을 결정할 수 있는 텍스트 입력 영역을 제공하는 방법 외에 음성을 통해 입력할 수도 있다.

전자 장치(100)는 저장한 부분 음성 데이터를 전자 장치(100)의 벨 소리, 텍스트 메세지 알림 소리 또는 SNS 알림 소리로 정할 수 있다.

도 4c를 참조하면 전자 장치(100)는 텍스트 데이터에서 텍스트 구간을 선택하는 경우 텍스트 데이터에 대응하는 음성 데이터의 주파수 파형을 표시할 수 있고 선택한 부분 텍스트 데이터에 대응하는 부분 음성 데이터의 주파수 파형 및 음성 정보를 강조할 수 있고 터치 스크린(133)에 표시할 수 있다.

예컨대, 전자 장치(100)는 도 4c와 같이 텍스트 데이터에 대응하는 음성 데이터의 주파수 파형을 표시하지 않을 수 있다. 따라서, 전자 장치(100)는 터치 스크린(133)을 통해 텍스트 데이터의 텍스트 구간을 선택(409)하는 경우 음성 데이터의 주파수 파형을 팝업(pop up)의 방법으로 터치 스크린(133)의 일정 영역에 표시(415)할 수 있고 선택한 텍스트 데이터에 대응하는 음성 정보 구간을 상기 주파수 파형 상에 표시(417)할 수 있다.

전자 장치(100)는 음성 데이터의 주파수 파형을 표시함에 있어서 선택한 텍스트 구간에 대응하는 음성 정보 구간을 자세하게 표시할 수 있고 상기 음성 정보 구간에 대응하는 시간 스탬프를 추가로 표시할 수 있다.

도 5는 도 1의 한 실시 예에 따른 전자 장치에서 선택한 텍스트 데이터와 일치하는 구간의 음성 데이터를 결정하는 방법을 도시한다.

전자 장치(100)는 음성 통화 데이터의 선택한 범위에 대응하는 텍스트 데이터를 획득할 수 있다. 전자 장치(100)는 STT 변환 소프트웨어 또는 STT 변환 하드웨어를 통해 음성 데이터의 주파수 파형에 대응하는 텍스트를 획득하고 음성 데이터의 시간 스탬프를 음성 데이터를 기반으로 획득한 텍스트 데이터에 포함할 수 있다.

음성 데이터는 음성 정보를 도 5와 같이 주파수 측과 시간 정보 축으로 나타낼 수 있다. 음성 정보는 시간의 경과에 따른 주파수의 변화로 표시할 수 있고 시간의 기준 단위를 시간 스탬프로 나타낼 수 있다.

도 5을 참조하면 전자 장치(100)는 음성 데이터의 주파수 파형(511)에 대응하는 텍스트 데이터 '출근해야 된다규 흐규흐규 얌마 째'를 획득할 수 있다. 음성 데이터의 주파수 파형은 모든 구간에 시간 스탬프를 포함할 수 있고 전자 장치(100)는 음성 데이터의 주파수 파형에 대응하는 텍스트 데이터를 획득하는 경우 주파수 파형의 부분 주파수 위치에 대응하는 텍스트 데이터의 텍스트에 시간 스탬프를 동기화(Synchronizing) 하도록 제어할 수 있다. 주파수 파형의 T1-T2에 대응하는 텍스트 데이터는 '출근해야'(501)일 수 있고 전자 장치는 '출근해야'의 시작 시간 스탬프로 T1, 종료 시간 스탬프로 T2를 정하여 텍스트 데이터에 시간 스탬프 정보로 저장할 수 있다. 마찬가지로 전자 장치(100)는 T3-T4에 대응하는 '된다규'(503), T5-T6에 대응하는 '흐규흐규'(505), T7-T8에 대응하는 '얌마'(507) 또는 T9-T10에 대응하는 '째'(509)의 시작 시간 스탬프 또는/및 종료 시간 스탬프를 텍스트 데이터에 시간 스탬프 정보로 저장할 수 있다.

더하여, 전자 장치(100)는 도 5에 표시하고 있는 실시 예와 같이 각각의 단어들의 시작과 끝을 시간 스탬프 정보로 저장하는 방법 외에 각각의 글자 또한 시간 스탬프 정보를 정해 텍스트 데이터에 저장할 수 있다.

예컨대, 도 6의 '출근해야'(501)를 참조하면 각각의 글자 '출', '근', '해' 또는 '야' 데이터 또한 각각 시작 시간 스탬프 및/또는 종료 시간 스탬프를 포함할 수 있고 각각의 글자 시작 시간 스탬프와 종료 시간 스탬프 사이에도 음성 데이터가 포함하는 복수 개의 시간 스탬프를 포함할 수 있다. 따라서, 전자 장치(100)는 음성 데이터가 포함하는 시간 스탬프를 주파수 파형에 대응하는 텍스트 데이터에 동기화(synchronizing) 시켜 저장할 수 있다.

전자 장치(100)는 STT 변환 프로그램 또는 STT변환 모듈을 통해 음성 데이터에서 대응하는 텍스트 데이터를 획득하고 음성 데이터의 시간 스탬프를 변환한 텍스트 데이터에 저장하는 방법은 통상적으로 음성 데이터의 시간 스탬프를 대응하는 텍스트 데이터의 시간 스탬프와 일치시키는 방법을 사용할 수 있다.

더하여, 전자 장치(100)는 데이터를 패킷 단위로 처리할 수 있고 데이터의 패킷은 상기 음성 데이터를 분할하여 포함할 수 있다. 음성 정보는 시간 변화에 대응하는 주파수 변화로 나타낼 수 있고 시간 정보에 대응하는 시간 스탬프를 음성 정보에 표시할 수 있다. 시간 스탬프 및 시간 스탬프에 대응하는 음성 정보 데이터는 패킷의 헤더에 포함할 수 있다.

전자 장치(100)는 선택한 부분 텍스트 데이터에 대응하는 부분 음성 데이터를 획득할 수 있다.

도 5을 참조하면 전자 장치(100)는 터치 스크린(133)에 표시하고 있는 텍스트 데이터에서 '흐규흐규'(505)를 선택할 수 있다. 전자 장치(100)는 선택한 부분 텍스트 데이터 '흐규흐규'(505)의 시간 스탬프(505의 T5-T6)를 확인할 수 있다. 전자 장치(100)는 시간 스탬프 T5-T6로 음성 데이터의 시간 스탬프 T5-T6를 확인할 수 있고 시간 구간 T5-T6에 해당하는 음성 정보 '흐규흐규'를 포함하는 부분 음성 데이터를 획득할 수 있다.

상기화 같은 방법으로 도 4b 또는 도 4c를 참조하면 전자 장치(100)는 터치 스크린(133)에 표시하고 있는 재생 아이콘(도 4b 또는 도 4c의 405), 전자 장치(100)에 미리 정한 제스처 또는 미리 정한 모션을 통해 선택한 부분 텍스트 데이터로 획득한 부분 음성 데이터를 재생할 수 있고 스피커(141)를 통해 부분 음성 데이터가 포함하는 음성 정보 '흐규흐규'를 출력할 수 있다.

전자 장치(100)는 획득한 부분 음성 데이터를 전자 장치(100)의 메모리(110)에 저장할 수 있고 전자 장치(100)의 벨 소리, 텍스트 메세지 알림 소리, SNS 알림 소리 등으로 설정할 수 있다.

도 6은 도 1의 한 실시 예에 따른 전자 장치에서 선택한 텍스트 데이터와 일치하는 구간의 음성 데이터를 제어하는 상태를 도시한다.

도 6을 참조하면 전자 장치(100)는 획득한 부분 음성 데이터에 다양한 음향 효과를 적용할 수 있다.

예컨대, 전자 장치(100)는 획득한 부분 음성 데이터를 전자 장치(100)의 벨 소리, 텍스트 메세지 알림 소리, SNS 알림 소리 등으로 설정하고 상기 소리를 출력하는 경우 상기 부분 음성 데이터의 출력을 반복하는 횟수를 결정할 수 있다. 601을 참조하면 전자 장치(100)는 부분 음성 데이터 출력의 반복 여부를 결정할 수 있고 반복하는 횟수를 선택 또는 입력할 수 있는 메뉴를 제공할 수 있다.

다른 예로, 전자 장치(100)는 상술한 전자 장치(100)의 소리로 부분 음성 데이터를 출력하는 경우 603을 참조하면, 전자 장치(100)의 진동을 수행할지 여부를 결정할 수 있고 진동을 수행하는 경우 전자 장치(100)를 진동시키는 박자와 같은 다양한 효과를 선택할 수 있는 메뉴(603의 Active 모드)을 제공할 수 있다.

또 다른 예로, 전자 장치(100)는 상술한 전자 장치(100)의 소리로 부분 음성 데이터를 출력하는 경우 605를 참조하면, 전자 장치(100)는 출력하는 부분 음성 데이터를 페이드인 할 것인지 또는 페이드아웃 할 것인지를 선택하는 메뉴를 제공할 수 있다.

또 다른 예로, 전자 장치(100)는 스피커(141)로 출력할 수 있는 부분 음성 데이터의 전, 후에 공백 구간을 설정할 수 있다. 607과 같이 전, 후 공백 구간을 전: 1초, 후: 0초로 정하는 경우 전자 장치(100)는 부분 텍스트 데이터 '흐규흐규'(도 4c의 409)에 대응하는 부분 음성 데이터('흐규흐규'의 음성 데이터, 417)의 시간 스탬프를 통해 부분 음성 데이터 '흐규흐규'의 시작 시간 스탬프 전으로 1초, 종료 시간 스탬프 이후로 0초의 공백을 추가로 설정할 수 있다. 따라서 효과를 적용한 부분 음성 데이터 '흐규흐규'를 스피커(141)를 통해 출력하는 경우 1초의 시간 경과 후에 부분 음성 데이터 '흐규흐규'를 출력할 수 있고 '흐규흐규'의 출력 후 음성 데이터 출력을 종료할 수 있다. 부분 음성 데이터 '흐규흐규'를 복수 횟수 출력하는 경우 전자 장치(100)는 출력을 시작하고 1초의 시간 경과 후에 부분 음성 데이터 '흐규흐규'를 출력할 수 있고 1초의 시간 경과 후 다시 부분 음성 데이터 '흐규흐규'를 출력할 수 있다.

또 다른 예로, 전자 장치(100)는 부분 음성 데이터에 음성 변환 효과를 추가할 수 있다.

609와 같이 음성 변환을 개구쟁이로 선택하는 경우 부분 음성 데이터 '흐규흐규'의 주파수 또는 진동수를 변화할 수 있고 변화된 부분 음성 데이터 '흐규흐규'를 스피커(141)로 출력할 수 있다.

또 다른 예로, 전자 장치(100)는 부분 음성 데이터의 출력 속도 변화 효과를 추가할 수 있다.

611과 같이 부분 음성 데이터 '흐규흐규'의 재생 속도를 7로 선택하는 경우 전자 장치(100)의 스피커(141)를 통해 부분 음성 데이터 '흐규흐규'를 출력함에 있어서 7의 속도에 대응하는 빠르기로 출력할 수 있다.

전자 장치(100)는 결정한 부분 음성 데이터를 출력함에 있어서 도 7c에서 설명한 효과들 외에도 통상적으로 음성 데이터에 변화를 줄 수 있는 다양한 효과들을 적용할 수 있는 메뉴를 제공할 수 있다.

도 7은 도 1의 한 실시 예에 따른 전자 장치에서 선택한 텍스트 데이터와 일치하는 구간의 음성 데이터를 벨 소리로 출력하는 상태를 도시한다.

전자 장치(100)는 음성 통화 데이터 또는 멀티미디어 데이터를 통해 결정한 부분 음성 데이터를 스피커(141)를 통해 출력할 수 있고 전자 장치(100)의 벨 소리, 텍스트 메세지 알림 소리, SNS 알림 소리로 설정할 수 있다.

예컨대, 전자 장치(100)는 김철수와의 음성 통화 내용을 녹음한 음성 통화 데이터를 생성할 수 있다. 전자 장치(100)는 도 4a 내지 도 4c와 같이 터치 스크린(133)에 표시하고 있는 텍스트 데이터의 부분 텍스트 데이터를 선택할 수 있고 선택한 부분 텍스트 데이터의 시간 스탬프를 통해 음성 데이터에서 선택한 부분 텍스트 데이터의 범위에 대응하는 부분 음성 데이터를 결정할 수 있다. 전자 장치(100)는 도 6과 같이 부분 음성 통화 데이터에 다양한 효과를 추가로 적용할 수 있고 전자 장치(100)의 벨 소리, 텍스트 메세지 알림 소리 또는 SNS알림 소리로 설정할 수 있다.

도 7을 참고하면 전자 장치(100)는 부분 음성 데이터를 김철수의 제 2 전자 장치가 전자 장치(100)로부터 통화 연결을 수신하는 경우의 벨 소리로 설정할 수 있고 김철수의 제 2 전자 장치가 전자 장치(100)에 통화 연결을 시도하는 경우 상기 설정한 부분 음성 데이터 '흐규흐규'를 스피커(141)를 통해 출력할 수 있다.

도 8은 본 개시의 다양한 실시 예에 따른 전자 장치에서 동작의 구체적인 흐름을 도시한다.

전자 장치(100)는 메모리(110)에서 음성 데이터를 포함하는 음성 통화 데이터 또는 멀티미디어 데이터를 선택할 수 있고 음성 통화 데이터 또는 멀티미디어 데이터의 주파수 파형을 표시하는 터치 스크린(133)에서 텍스트로 변환할 음성 데이터 구간을 선택할 수 있고 변환할 구간의 선택에 따라서 선택 구간 또는 모든 구간에 대해서 대응하는 텍스트 데이터를 획득할 수 있고 텍스트 데이터에서 원하는 부분 텍스트 데이터를 선택할 수 있고 선택한 부분 텍스트 데이터에 대응하는 부분 음성 데이터를 결정할 수 있고 부분 음성 데이터를 출력할 수 있다. 전자 장치(100)는 결정한 부분 음성 데이터를 전자 장치(100)의 소리 데이터로 사용할 수 있다.

도 8을 참조하여 전자 장치의 동작들을 상세하게 설명할 수 있다.

801 동작에서 전자 장치(100)는 메모리(110)에서 음성 통화 데이터 또는 멀티미디어 데이터를 선택할 수 있다. 전자 장치(100)는 선택한 음성 통화 데이터 또는 멀티미디어 데이터에서 음성 데이터를 확인할 수 있고 STT 변환 소프트웨어 또는 STT 변환 하드웨어를 통해 음성 데이터에서 텍스트 데이터를 획득할 수 있다. 따라서, 선택하는 음성 통화 데이터 또는 멀티미디어 데이터는 음성 데이터를 포함하는 데이터일 수 있다.

도 3을 참조하면 전자 장치(100) 또는 전자 장치(100)가 포함하는 소리 제어 프로그램(114)에서 음성 통화 데이터 또는 멀티미디어 데이터의 음성 데이터를 문자 데이터로 변환(또는 추출)하기 위해서 메모리(110)에 포함하고 있는 음성 통화 데이터 또는 멀티미디어 데이터 목록을 터치 스크린(133)에 표시할 수 있다. 전자 장치(100)는 원하는 데이터를 선택하여 데이터가 포함할 수 있는 음성 데이터에서 텍스트 데이터를 획득하는 동작을 수행할 수 있다.

803 동작에서 전자 장치(100)는 음성 데이터에서 텍스트 데이터를 획득하고자 하는 구간(또는 범위)를 선택할 수 있다. 전자 장치(100)는 선택한 음성 통화 데이터 또는 멀티미디어 데이터의 주파수 파형을 전자 장치(100)의 터치 스크린(133)에 표시할 수 있다. 표시하고 있는 음성 통화 데이터 또는 멀티미디어 데이터의 주파수 파형은 음성 데이터의 주파수 파형을 포함할 수 있고 전자 장치(100)에서 미리 정한 방법에 따라서 터치 스크린(133)에 표시하고 있는 주파수 파형에서 텍스트 데이터를 획득하고자 하는 구간을 선택할 수 있다. 구간을 선택하는 방법은 전자 장치(100)의 터치 스크린을 터치 함으로써 구간의 시작 위치를 결정할 수 있다. 전자 장치(100)는 터치로 구간의 시작 위치를 결정한 후에 터치를 유지하면서 드래그하여 선택하고자 하는 구간을 결정할 수 있다. 전자 장치(100)는 선택하고자 하는 구간을 결정한 후에 터치를 해제하면서 구간의 종료 위치를 결정할 수 있다.

도시하고 있지 않지만, 전자 장치(100)는 음성 통화 데이터 또는 멀티미디어 데이터의 주파수 파형을 터치 스크린(133)에 표시할 수 있고 주파수 파형을 통해서 텍스트 데이터를 획득하기를 원하는 음성 데이터의 범위를 선택할 수 있다.

예컨대, 전자 장치(100)는 터치 스크린(133)에 표시하고 있는 주파수 파형의 원하는 부분을 터치하여 구간 선택 시작 위치를 결정할 수 있다. 전자 장치(100)는 터치 스크린(133) 상의 터치를 유지한 채로 드래그하여 시작 위치로부터 음성 데이터의 선택 구간을 결정할 수 있다. 전자 장치(100)는 텍스트 데이터를 획득하고자 하는 음성 데이터의 구간을 결정하고 터치 해제 동작을 수행하여 종료 위치를 결정한다. 전자 장치(100)는 터치 해제 동작을 수행함으로써 텍스트 데이터를 획득하고자 하는 음성 데이터의 구간을 결정할 수 있다.

상기와 같은 방법으로 전자 장치(100)는 터치 스크린(133)에 표시하는 음성 데이터 주파수 파형을 통해 텍스트 데이터를 획득하기를 원하는 음성 데이터 구간을 선택할 수 있다.

전자 장치(100)는 음성 통화 데이터 또는 멀티미디어 데이터의 주파수 파형을 표시하고 있는 터치 스크린(133)에서 부분 음성 데이터 구간을 선택하는 경우 805 동작을 수행할 수 있고 구간의 선택이 없이 음성 통화 데이터 또는 멀티미디어 데이터를 선택하는 경우 807 동작을 수행할 수 있다.

805 동작에서 전자 장치(100)는 선택한 음성 데이터 구간에 대응하는 텍스트 데이터를 STT 변환 프로그램 또는 STT 모듈을 통해 획득할 수 있다. 전자 장치(100)는 힉득한 텍스트 데이터 상에 부분 음성 데이터가 포함하는 시간 스탬프에 대응하는 텍스트 데이터의 시간 스탬프 위치를 확인하여 일치시킬 수 있다.

807 동작에서 전자 장치(100)는 전자 장치(100)는 음성 데이터의 모든 구간에 대응하는 텍스트 데이터를 STT 변환 프로그램 또는 STT 모듈을 통해 획득할 수 있다. 전자 장치(100)는 획득한 텍스트 데이터 상에 부분 음성 데이터가 포함하는 시간 스탬프에 대응하는 텍스트 데이터의 시간 스탬프 위치를 확인하여 일치시킬 수 있다.

805 동작 및 807 동작에 있어서 전자 장치(100)는 음성 데이터의 시간 스탬프와 대응하는 텍스트 데이터의 시간 스탬프를 일치시키는 방법에 있어서 STT 변환 소프트웨어 또는 STT 변환 하드웨어에서 음성 데이터와 텍스트 데이터의 시간 스탬프를 일치시키는데 통상적으로 사용하는 다양한 방법 중 하나 또는 그 이상을 적용할 수 있다.

809 동작에서 전자 장치(100)는 획득한 텍스트 데이터를 터치 스크린(133)에 표시할 수 있고 텍스트 데이터의 원하는 부분을 선택할 수 있다. 전자 장치(100)는 음성 데이터에서 획득한 텍스트 데이터를 통해 원하는 부분 텍스트 데이터를 손쉽게 선택할 수 있다. 도 4b를 참조하면 전자 장치(100)는 음성 통화 데이터에서 획득한 텍스트 데이터를 터치 스크린(133)에 표시할 수 있고 음성 통화 데이터의 주파수 파형을 추가로 표시할 수 있다. 전자 장치(100)는 텍스트 데이터에서 선택하려는 위치를 터치하여 시작 위치를 결정할 수 있고 터치를 유지한 채로 드래그하여 구간을 선택할 수 있고 터치를 해제하여 구간의 종료 위치를 결정할 수 있고 시작 위치와 종료 위치 사이의 드래그를 통해 결정한 구간을 부분 텍스트 데이터로 결정할 수 있다.

811 동작에서 전자 장치(100)는 선택한 부분 텍스트 데이터에 대응하는 부분 음성 데이터를 결정할 수 있다. 전자 장치(100)는 선택한 부분 텍스트 구간에 대응하는 부분 음성 데이터를 시간 스탬프를 매칭(Matching)하는 방법을 통해 결정할 수 있다.

813 동작에서 전자 장치(100)는 결정한 부분 음성 데이터를 전자 장치(100)의 벨 소리, 텍스트 메세지 알림 소리. SNS 알림 소리와 같이 전자 장치에서 사용하는 소리로 설정할 수 있다.

더하여, 전자 장치(100)는 결정한 부분 음성 데이터 구간을 표시함에 있어서 도 4b와 같이 전자 장치(100)의 터치 스크린(133)에서 음성 통화 데이터에서 획득한 텍스트 데이터 및 음성 통화 데이터의 주파수 파형을 터치 스크린(133)의 동일 화면에 표시하는 경우 음성 데이터의 주파수 파형 상에 선택한 부분 텍스트 데이터에 대응하는 부분 음성 데이터의 시간 스탬프 구간을 표시할 수 있다.

다른 예로, 도 4c와 같이 전자 장치(133)의 터치 스크린에 음성 통화 데이터에서 획득한 텍스트 데이터만을 표시하는 경우 음성 데이터의 주파수 파형 상에 선택한 부분 텍스트 데이터에 대응하는 부분 음성 데이터의 시간 스탬프 구간을 표시하는 화면을 팝업(Pop Up, 도 4c의 417)으로 표시할 수 있다.

더하여, 선택한 부분 텍스트 데이터에 대응하는 부분 음성 데이터를 스피커(141)를 통해 출력할 수 있다.

도 9는 본 개시의 한 실시 예에 따른 전자 장치에서 동작의 흐름을 도시한다.

전자 장치(100)는 음성 통화 데이터 또는 멀티미디어 데이터로 텍스트 데이터를 획득하여 표시할 수 있고 텍스트 데이터에서 원하는 부분 텍스트 데이터를 선택할 수 있고 선택한 부분 텍스트 데이터에 대응하는 부분 음성 데이터를 획득할 수 있고 획득한 부분 음성 데이터를 출력할 수 있다.

도 9를 참조하여 전자 장치의 동작들을 설명할 수 있다.

921 동작에서 전자 장치(100)는 음성 데이터를 시간 스탬프에 대응하는 텍스트로 변환할 수 있고 전자 장치(100)에 표시할 수 있다.

예컨대, 전자 장치(100)는 음성 정보를 포함하고 있는 음성 통화 데이터 또는 멀티미디어 데이터를 음성 정보의 시간 스탬프에 대응하는 텍스트 데이터로 변환(또는 추출)할 수 있다. 변환(또는 추출)하는 방법은 전자 장치(100)가 포함하는 STT 변환 소프트웨어, STT 변환 하드웨어 또는 전자 장치(100)와 연결 가능한 STT 변환 하드웨어를 통해 상기 음성 정보에 대응하는 텍스트 데이터를 획득하는 통상적인 방법일 수 있다.

도 3을 참조하여, 전자 장치(100)의 메모리(110)에 포함하고 있는 301과 같은 음성 통화 데이터 또는 멀티미디어 데이터 중에서 음성 통화 데이터(311)을 선택하는 경우 전자 장치(100)는 STT 변환 소프트웨어, STT 변환 하드웨어 또는 전자 장치(100)와 연결 가능한 STT 변환 하드웨어를 통해 도 5에서 설명한 방법 또는 통상적으로 음성 데이터에서 텍스트 데이터를 획득하는 방법에 따라 텍스트 데이터를 획득할 수 있다.

더하여, 전자 장치(100)는 음성 데이터가 포함하는 음성 정보의 시간 스탬프에 따라서 획득하는 텍스트 데이터의 시간 위치에 대응하는 시간 스탬프를 기록할 수 있다.

도 5을 참조하면 전자 장치(100)는 주파수 파형(511)에서 음성 정보 '흐규흐규'의 주파수 파형이 시간 위치(음성 데이터의 시간 스탬프일 수 있다) T5에서 시작하고 T6에서 종료하는 경우 획득한 텍스트 데이터가 포함하는 '흐규흐규'(505)의 글자 첫 글자 '흐'의 시간 정보(획득한 텍스트 데이터의 시간 스탬프일 수 있다)에 T5, 마지막 글자 '규'의 시간 정보에 T6를 동기화할 수 있다.

더하여, 전자 장치(100)는 주파수 파형(511)에서 음성 정보 '흐규흐규'의 주파수 파형에서 첫 글자 '흐'의 주파수 파형이 T5에서 시작하고 T5-1에서 종료하는 경우 획득한 텍스트 데이터가 포함하는 '흐규흐규'(505)의 첫 글자 '흐'의 시작 시간 정보에 T5, 종료 시간 정보에 T5-1을 동기화할 수 있다. 상기와 같은 방법을 수행하여 텍스트 데이터가 포함하는 단어 또는/및 글자 등은 대응하는 음성 데이터의 음성 정보와 일치하는 시간 스탬프를 나타낼 수 있다.

전자 장치(100)는 획득한 텍스트 데이터를 전자 장치(100)의 터치 스크린(133)에 표시할 수 있다.

도 4b를 참조하면 전자 장치(100)는 음성 데이터의 사간에 따른 주파수 파형 및 상기 음성 데이터가 포함하는 음성 정보에 대응하는 텍스트 데이터(403)를 동일한 화면에 표시할 수 있다

도 4c를 참조하면 상기 음성 데이터가 포함하는 음성 정보에 대응하는 텍스트 데이터만을 표시할 수 있다.

923 동작에서 전자 장치(100)는 921 동작에서 획득한 텍스트에서 원하는 구간을 선택할 수 있다.

전자 장치(100)는 터치를 통해 구간을 선택하는 통상적인 방법인 터치, 드래그, 터치 해제와 같은 방법을 통해 표시하고 있는 텍스트 데이터에서 원하는 구간을 선택할 수 있다. 다른 방법으로 전자 장치(100) 마이크(142)의 소리를 입력할 수 있는 입력 장치에 음성으로 명령을 입력하여 구간을 선택할 수 있다.

도 4b의 설명을 참고하면 전자 장치(100)는 음성 데이터에서 획득한 텍스트 데이터를 전자 장치(100)의 터치 스크린(133)에 표시할 수 있고 선택하는 방법으로 터치, 드래그, 터치 해제의 통상적인 방법을 통해 '흐규흐규'를 선택하는 방법으로 구간을 선택할 수 있다.

선택하는 방법으로 전자 장치(100)에 원하는 부분을 일정 시간 내에 두 번 터치하는 경우 터치한 영역에 위치하는 단어를 선택할 수 있고 일정 시간 내에 세 번 터치하는 경우 터치한 영역에 위치하는 단어를 포함하여 일정 영역의 복수의 단어들을 선택할 수 있는 방법으로 구간을 선택할 수 있도록 미리 정할 수 있고 상기의 두 번 터치 또는 세 번 터치와 같은 제스처를 수행하여 구간을 선택할 수 있다.

선택하는 방법으로 전자 장치(100)는 텍스트 데이터(도 4b의 403)의 '흐규흐규'(도 4b의 409)를 선택하는 경우 마이크(142)에 음성 명령으로 읽는 동작을 수행함으로써 413와 같이 대응하는 구간을 선택할 수 있다. 텍스트 데이터에 복수 개의 '흐규흐규'를 포함하는 경우 전자 장치(100)는 복수 개의 '흐규흐규' 구간을 선택할 수 있고 음성 명령을 반복 수행하거나 미리 정한 제스처, 모션 동작을 수행하여 하나를 선택할 수 있다.

925 동작에서 전자 장치(100)는 선택한 텍스트 구간에 대응하는 부분 음성 데이터를 획득할 수 있다.

음성 데이터의 음성 정보 및 음성 데이터에서 획득한 텍스트 데이터는 시간 진행에 있어 시간 스탬프가 동기화되어(Synchronized) 있을 수 있다. 따라서 텍스트 데이터에서 단어 또는 글자 등을 포함하는 구간을 선택하는 경우 일치하는 시간 스탬프의 음성 정보를 포함하는 음성 데이터를 획득할 수 있다.

도 4b를 참고하면 전자 장치(100)의 터치 스크린(133)에 표시하는 텍스트 데이터(403)에서 '흐규흐규'(409)를 선택(411)하는 경우 전자 장치는 '흐규흐규'(409)의 시간 스탬프와 일치하는 음성 정보를 음성 데이터에서 확인할 수 있고 터치 스크린(133)에 표시하고 있는 음성 데이터의 주파수 파형(401)에 음성 정보의 주파수 파형 구간을 마킹(Marking)(413)하여 표시할 수 있다. 전자 장치(100)는 마킹한 주파수 파형의 구간에 해당하는 부분 음성 데이터를 획득할 수 있다.

도 4c를 참조하면 전자 장치(100)는 텍스트 데이터를 출력하는 터치 스크린(133)에서 '흐규흐규'(409)를 선택하는 경우 대응하는 음성 데이터의 시간에 따른 주파수 파형을 터치 스크린(133)에 팝업(Pop Up)(415)의 방법을 통해 표시할 수 있다. 또한, 표시하는 주파수 파형에서 선택한 부분 텍스트 데이터 '흐규흐규'의 시간 스탬프에 해당하는 음성 정보 '흐규흐규'의 시간 스탬프 구간을 나타내는 주파수 파형은 417와 같이 자세하게 표시할 수 있다.

927 동작에서 전자 장치(100)는 획득한 부분 음성 데이터 '흐규흐규'를 스피커(141)를 통해 출력할 수 있다. 더하여, 전자 장치(100)는 부분 음성 데이터를 전자 장치(100)의 벨 소리, 텍스트 메세지 알림 소리, SNS 알림 소리와 같이 전자 장치(100)에서 사용하는 소리로 설정할 수 있다.

도 7을 참조하면 전자 장치(100)는 획득한 부분 음성 데이터를 전자 장치(100)의 벨 소리로 설정할 수 있다. 전자 장치(100)가 제 2 전자 장치로부터 통화 연결을 요청 받게 되면 벨 소리로 설정한 부분 음성 데이터 '흐규흐규'를 출력할 수 있다. 더하여, 벨 소리 '흐규흐규'를 설정함에 있어서 도 6과 같이 다양한 음향 효과를 추가로 설정할 수 있고 전자 장치(100)가 제 2 전자 장치로부터 통화 연결을 요청 받게 되면 추가로 설정한 음향 효과를 적용하여 출력할 수 있다.

본 개시의 청구항 또는 명세서에 기재된 다양한 실시 예들에 따른 방법들은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합의 형태로 구현될 수 있다.

소프트웨어로 구현하는 경우 하나 이상의 프로그램(소프트웨어 모듈)을 저장하는 컴퓨터 판독 가능 저장 매체가 제공될 수 있다. 컴퓨터 판독 가능 저장 매체에 저장되는 하나 이상의 프로그램은 전자 장치(100) 내의 하나 이상의 프로세서에 의해 실행 가능하도록 구성된다. 하나 이상의 프로그램은 전자 장치(100)로 하여금, 본 개시의 청구항 또는 명세서에 기재된 다양한 실시 예들에 따른 방법들을 실행하게 하는 명령어를 포함할 수 있다.

이러한 프로그램(소프트웨어 모듈, 소프트웨어)은 랜덤 액세스 메모리 (random access memory), 플래시(flash) 메모리를 포함하는 불휘발성(non-volatile) 메모리, 롬(ROM, Read Only Memory), 전기적 삭제가능 프로그램가능 롬(EEPROM, Electrically Erasable Programmable Read Only Memory), 자기 디스크 저장 장치(magnetic disc storage device), 컴팩트 디스크 롬(CD-ROM, Compact Disc-ROM), 디지털 다목적 디스크(DVDs, Digital Versatile Discs) 또는 다른 형태의 광학 저장 장치, 마그네틱 카세트(magnetic cassette)에 저장될 수 있다. 또는, 이들의 일부 또는 전부의 조합으로 구성된 메모리에 저장될 수 있다. 또한, 각각의 구성 메모리는 다수 개 포함될 수도 있다.

또한, 전자 장치(100)에 인터넷(Internet), 인트라넷(Intranet), LAN(Local Area Network), WLAN(Wide LAN) 또는 SAN(Storage Area Network)과 같은 통신 네트워크 또는 이들의 조합으로 구성된 통신 네트워크를 통하여 접근할 수 있는 부착 가능한 저장 장치에 저장될 수 있다. 이러한 저장 장치는 외부 포트를 통하여 전자 장치(100)에 접속할 수 있다.

또한, 통신 네트워크상의 별도의 저장장치가 휴대용 전자 장치(100)에 접속할 수도 있다.

한편, 본 개시의 상세한 설명에서 구체적인 실시 예에 관해 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능하다. 그러므로 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims

전자 장치의 동작 방법에 있어서,
음성 데이터를 변환한 텍스트 데이터를 디스플레이하는 동작과,
상기 텍스트 데이터에 대한 입력에 기초하여, 상기 텍스트 데이터의 일부 구간인 선택 구간을 선택하는 동작과,
상기 선택 구간에 대응하는 상기 음성 데이터의 구간인 대응 구간을 출력하는 동작을 포함하는 방법.
제 1 항에 있어서,
상기 선택 구간의 선택에 대응하여 상기 대응 구간을 디스플레이하는 방법.
제 2 항에 있어서,
상기 대응 구간을 디스플레이하는 것은,
상기 음성 데이터의 주파수 파형에 마킹(Marking)하는 방법.
제 2 항에 있어서,
상기 대응 구간을 디스플레이하는 것은,
상기 변환한 텍스트 데이터를 디스플레이하는 화면에 팝업(Pop Up) 창으로 디스플레이하는 방법.
제 1 항에 있어서,
상기 디스플레이하는 동작은,
상기 음성 데이터의 주파수 파형을 출력하는 동작;
상기 출력된 주파수 파형의 범위를 지정하는 입력이 감지되는지 판단하는 동작;
상기 입력을 감지하는 것에 대응하여, 상기 입력에 의해 지정된 범위에 대응하는 음성 데이터를 텍스트 데이터로 변환하는 동작; 및
상기 입력이 감지되지 않는 것에 대응하여, 상기 출력된 주파수 파형에 대응하는 음성 데이터를 텍스트 데이터로 변환하는 동작을 포함하는 방법.
제 3항에 있어서,
상기 선택 구간의 선택에 대응하여, 상기 대응 구간을 상기 음성 데이터의 주파수 파형에 마킹하는 방법.
제 1 항에 있어서,
상기 선택 구간을 선택하는 동작은,
터치 제스처로 시작 위치를 결정하는 동작과,
드래그 제스처로 구간을 결정하는 동작과,
터치 해제 제스처로 종료 위치를 결정하는 동작을 포함하는 방법.
제 1 항에 있어서,
상기 선택 구간을 선택하는 동작은,
상기 선택된 선택 구간의 텍스트 데이터를 오디오 데이터로 출력하는 동작을 포함하는 방법.
제 1 항에 있어서,
상기 대응 구간에 해당하는 음성 데이터의 구간을 상기 전자 장치의 벨 소리, 텍스트 메세지 알림 소리, SNS 알림 소리, 상기 전자 장치의 알림 소리 중에서 하나 또는 그 이상으로 사용하는 방법.
제 1 항에 있어서,
상기 음성 데이터 및/또는 상기 변환한 텍스트 데이터는,
상기 음성 데이터, 상기 변환한 텍스트 데이터 사이에 연결 가능한 시간 스탬프를 포함하는 방법.
제 1 항에 있어서,
상기 변환한 텍스트 데이터는,
상기 전자 장치가 포함하는 Speech to Text(STT) 소프트웨어 또는 상기 전자 장치와 연결되어 있는 STT 하드웨어를 통해 상기 음성 데이터를 변환 하는 방법.
전자 장치에 있어서,
스피커 및 터치 스크린과
상기 스피커 및 상기 터치 스크린에 연결된 프로세서를 포함하고,
상기 프로세서는,
음성 데이터를 변환한 텍스트 데이터를 디스플레이하고,
상기 텍스트 데이터에 대한 입력에 기초하여, 상기 텍스트 데이터의 일부 구간인 선택 구간을 선택하고,
상기 선택 구간에 대응하는 상기 음성 데이터의 구간인 대응 구간을 출력하고,
상기 대응 구간에 해당하는 음성 데이터의 구간을 상기 전자 장치의 소리 데이터로 설정하는 동작을 제어하는 장치.
제 12 항에 있어서,
상기 선택 구간의 선택에 대응하여 상기 대응 구간을 상기 음성 데이터의 주파수 파형에 마킹하여 디스플레이하도록 제어하는 장치.
제 13항에 있어서,
상기 프로세서는,
상기 변환한 텍스트 데이터를 디스플레이하는 화면에 팝업(Pop Up) 창으로 상기 대응 구간을 디스플레이하도록 제어하는 장치.
제 12 항에 있어서,
상기 프로세서는,
터치 제스처로 시작 위치를 결정하는 동작과 드래그 제스처로 구간을 결정하는 동작과 터치 해제 제스처로 종료 위치를 결정하는 동작 또는 구간을 음성으로 읽는 동작으로 상기 선택 구간을 선택하도록 제어하는 장치.
제 12항에 있어서,
상기 프로세서는,
상기 선택 구간의 시간 스탬프에 기초하여, 상기 음성 데이터로부터 상기 대응 구간을 획득하도록 제어하는 장치.
전자 장치에 있어서,
하나 또는 그 이상의 프로세서와,
메모리 및
상기 메모리에 저장되며, 상기 하나 또는 그 이상의 프로세서에 의해 실행되는 하나 또는 그 이상의 프로그램과,
상기 프로세서와 연결된 하나 또는 그 이상의 터치스크린 및
상기 프로세서와 연결된 하나 또는 그 이상의 스피커를 포함하며,
상기 프로그램은,
음성 데이터를 변환한 텍스트 데이터를 디스플레이하도록 처리하고,
상기 텍스트 데이터에 대한 입력에 기초하여, 상기 텍스트 데이터의 일부 구간인 선택 구간을 선택하도록 처리하고,
상기 선택 구간에 대응하는 상기 음성 데이터의 구간인 대응 구간을 출력하도록 처리하고,
상기 음성 데이터의 대응 구간을 디스플레이하도록 처리하는 명령어를 포함하는 장치.
제 17항에 있어서,
상기 프로그램은,
상기 변환한 텍스트 데이터 및 상기 음성 데이터의 주파수 파형을 하나의 화면에 디스플레이하도록 처리하고,
여기에서,
상기 대응 구간은 상기 음성 데이터의 주파수 파형에 마킹하도록 처리하는 명령어를 포함하는 장치.
제 17항에 있어서,
상기 프로그램은,
상기 대응 구간에 해당하는 음성 데이터의 일부를 상기 전자 장치의 벨 소리, 텍스트 메세지 알림 소리, SNS 알림 소리, 상기 전자 장치의 알림 소리 중에서 하나 또는 그 이상으로 설정하도록 처리하는 명령어를 포함하는 장치.
전자 장치의 동작 방법에 있어서,
음성 데이터를 변환한 텍스트 데이터를 디스플레이하는 동작과,
상기 텍스트 데이터에 대한 입력에 기초하여, 상기 텍스트 데이터의 일부 구간인 선택 구간을 선택하는 동작과,
상기 선택 구간에 대응하는 상기 음성 데이터의 일부 구간인 대응 구간을 상기 음성 데이터의 주파수 파형에 마킹하여 디스플레이하는 동작과,
상기 음성 데이터의 대응 구간을 상기 전자 장치의 벨 소리로 결정하는 동작을 포함하고,
여기에서,
상기 선택 구간은,
미리 정한 제스처로 선택하는 방법.