KR20180128653A - 대화 검색 방법, 대화 검색이 가능한 휴대형 단말 및 대화 관리 서버 - Google Patents

Abstract

본 발명의 일 양상에 따른 대화 검색 방법은 휴대형 단말에 디스플레이된 이미지 아이콘의 대화 콘텐츠에 대응하는 음성 데이터를 텍스트 데이터로 변환하는 단계, 변환된 텍스트 데이터를 저장하는 단계 및 입력된 검색 텍스트를 변환된 텍스트 데이터를 포함하는 대화 콘텐츠에서 검색하는 단계를 포함하는 것을 특징으로 한다.

Description

대화 검색 방법, 대화 검색이 가능한 휴대형 단말 및 대화 관리 서버{DIALOGUE SEARCHING METHOD, PORTABLE DEVICE ABLE TO SEARCH DIALOGUE AND DIALOGUE MANAGING SERVER}

본 발명은 대화 검색 방법, 대화 검색이 가능한 휴대형 단말 및 대화 관리 서버에 관한 것으로서, 구체적으로는 대화자 사이에 이루어진 각종 음성 대화와 대화자 사이에 이루어진 각종 비음성 대화를 대상으로 통합 검색이 이루어질 수 있도록 하는, 대화 검색 방법, 대화 검색이 가능한 휴대형 단말 및 대화 관리 서버에 관한 것이다.

스마트폰을 이용하는 사용자는 다양한 채널을 통해 특정 다른 사용자와 대화를 할 수 있다. 예를 들어 사용자는 음성전화, 문자, 메일, 메신저 등을 이용하여 특정 사용자와 대화를 진행할 수 있다.

스마트폰 사용자는 특정 사용자와 다양한 대화 채널을 통해 다양한 대화를 수신하고 송신할 수 있는 데, 예를 들어 스마트폰 사용자는 음성전화를 통해 상대방과 음성 대화를 할 수 있고, 문자, 메일, 메신저 등을 통해 각종 대화를 송수신할 수 있다.

송수신되는 메시지 등의 내용, 오디오, 동영상 등은 각 대화 채널에 대응하는 프로그램을 통해 저장될 수도 있다. 예를 들어, 스마트폰의 음성전화 프로그램은 통화 내역과 나아가 음성 녹음을 파일 형태로 저장하고 각종 문자, 메일, 메신저 프로그램은 해당 대화 채널을 통해 송수신된 각종 대화를 시각(년, 월, 일, 시각)별로 저장한다. 이와 같이, 스마트폰 사용자는 특정 사용자와 다양한 대화 채널을 통해 다양한 대화를 송수신하고 해당 대화를 각 대화 채널의 프로그램을 통해 저장할 수 있다.

스마트폰 사용자는 산재 되어 있는 각종 대화를 검색할 필요가 존재한다. 예를 들어, 다른 사용자와의 대화 내용을 확인하고자 하는 경우에 사용자가 녹음된 음성 파일에서 이를 찾기는 용이치 않다. 또한, 사용자는 찾고자 하는 대화를 여러 대화 채널 중 어떤 대화 채널을 통해 검색해야 하는지 확인하는 것조차도 쉽지 않을 때가 있다. 예를 들어, 특정 사안이 대화 상대방과의 문자 메시지를 통한 것이었는지 음성 대화를 통한 것이었는지 조차 기억나지 않을 때가 있다.

살펴본 바와 같이, 특정 사용자 사이에 전달되는 각종 대화를 검색함에 있어 야기되는 여러 문제점을 해소할 수 있는 대화 검색 방법, 대화 검색이 가능한 휴대형 단말 및 대화 관리 서버가 필요하다.

10-2008-0014188(A), 2008년02월14일

본 발명은, 상술한 문제점을 해결하기 위해서 안출한 것으로서, 사용자 사이의 대화를 녹음한 음성 파일을 텍스트로 변환하여 변환된 텍스트 파일을 대상으로 내용 검색을 할 수 있도록 하는, 대화 검색 방법, 대화 검색이 가능한 휴대형 단말 및 대화 관리 서버를 제공하는 데 그 목적이 있다.

또한, 본 발명은 음성 파일과 변환된 텍스트 파일을 블록 단위별로 맵핑하여 음성 파일을 대상으로 한 빠른 검색과 대응하는 음성의 확인이 가능토록 하는 대화 검색 방법, 대화 검색이 가능한 휴대형 단말 및 대화 관리 서버를 제공하는 데 그 목적이 있다.

또한, 본 발명은 대화 상대자와의 다양한 대화 채널을 통해 송수신되는 대화들을 대상으로 통합 검색이 가능토록 하는 대화 검색 방법, 대화 검색이 가능한 휴대형 단말 및 대화 관리 서버를 제공하는 데 그 목적이 있다.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 양상에 따른 대화 검색 방법은 휴대형 단말 또는 대화 관리 서버가 상기 휴대형 단말에 디스플레이된 이미지 아이콘의 대화 콘텐츠에 대응하는 음성 데이터를 텍스트 데이터로 변환하는 단계; 휴대형 단말이 변환된 텍스트 데이터를 저장하는 단계; 및 상기 휴대형 단말 또는 대화 관리 서버가 입력된 검색 텍스트를 변환된 텍스트 데이터를 포함하는 대화 콘텐츠에서 검색하는 단계;를 포함한다.

상기한 대화 검색 방법에 있어서, 상기 음성 데이터의 텍스트 데이터로의 변환 이전에, 복수의 프로그램을 통해 지정된 단일 대화 상대자를 대상으로 송수신되는 대화 콘텐츠들과 대응하는 이미지 아이콘들을 송수신 시각에 따라 휴대형 단말이 디스플레이하는 단계;를 더 포함하고, 상기 이미지 아이콘들 각각은 대응하는 대화 콘텐츠를 생성한 프로그램의 타입과 송수신 타입에 따라 서로 다른 이미지로 각 대화 콘텐츠의 송수신 시각 순으로 디스플레이된다.

상기한 대화 검색 방법에 있어서, 상기 복수의 프로그램은 음성전화 프로그램, 메일 프로그램, 문자 메시지 프로그램 및 문자 메신저 프로그램 중 둘 이상을 포함한다.

상기한 대화 검색 방법에 있어서, 상기 이미지 아이콘들을 디스플레이하기 이전에, 상기 휴대형 단말은 상기 휴대형 단말에 저장되어 있는 통합 스토리 관리 프로그램을 통해 상기 복수의 프로그램으로부터 지정된 단일 대화 상대자로부터 송수신되는 대화 콘텐츠를 결정하고 대화 콘텐츠들 및 대응 이미지 아이콘들을 송수신 시각에 맵핑하여 순서 리스트를 구성하는 단계;를 더 포함한다.

상기한 대화 검색 방법에 있어서, 상기 검색 단계는, 지정된 단일 대화 상대자와 송수신되는 대화 콘텐츠들을 대상으로 텍스트 검색을 하기 위해, 변환된 텍스트 데이터와 텍스트로 구성되고 복수의 프로그램에 의해 구성된 상기 대화 콘텐츠들을 대상으로 입력된 검색 텍스트를 검색하며, 상기 대화 검색 방법은 휴대형 단말이 검색 텍스트가 발견된 대화 콘텐츠 또는 이미지 아이콘을 강조하여 디스플레이하는 단계;를 더 포함한다.

상기한 대화 검색 방법에 있어서, 상기 구성 단계에서, 상기 통합 스토리 관리 프로그램은 상기 프로그램의 로딩시에 상기 지정된 단일 대화 상대자의 이동전화번호에 대응하는 대화 콘텐츠를 복수의 프로그램 각각으로부터 송수신 타입 및 송수신 시각과 함께 수신하고, 대화 콘텐츠를 전달한 프로그램의 타입과 송수신 타입에 따라 이미지 아이콘을 결정하고 결정된 이미지 아이콘을 대화 콘텐츠에 맵핑하여 복수의 프로그램에 의해 전달받은 대화 콘텐츠들과 대응 이미지 아이콘들을 송수신 시각 순으로 순서 리스트를 구성하여 지정된 단일 대화 상대자를 위한 통합 대화 스토리를 구성한다.

상기한 대화 검색 방법에 있어서, 검색 단계 이후에, 휴대형 단말이 변환된 텍스트 데이터를 디스플레이하는 단계; 및 휴대형 단말이 디스플레이된 변환 텍스트 데이터에 대한 사용자 입력에 따라 대응하는 음성 데이터를 이용하여 사용자 입력에 대응하는 단위 블록부터 음성을 재생하는 단계;를 더 포함한다.

본 발명의 일 양상에 따른 대화 검색이 가능한 휴대형 단말은 이미지 아이콘 및 대화 콘텐츠를 저장하는 저장부; 상기 이미지 아이콘 및 대화 콘텐츠를 디스플레이하는 디스플레이부; 사용자 입력을 수신하는 입력부; 및 상기 사용자 입력에 따라 디스플레이된 상기 이미지 아이콘에 대응하는 대화 콘텐츠의 음성 데이터를 텍스트 데이터로 변환하고 변환된 텍스트 데이터를 상기 대화 콘텐츠에 맵핑하여 상기 저장부에 저장하는 제어부;를 포함하며, 상기 제어부는 상기 입력부를 통해 입력된 검색 텍스트를 변환된 텍스트 데이터를 포함하는 대화 콘텐츠에서 검색한다.

상기한 휴대형 단말에 있어서, 상기 제어부는, 상기 음성 데이터의 텍스트 데이터로의 변환 이전에, 복수의 프로그램을 통해 지정된 단일 대화 상대자를 대상으로 송수신되는 대화 콘텐츠들과 대응하는 이미지 아이콘들을 송수신 시각에 따라 디스플레이부로 출력하고, 상기 이미지 아이콘들 각각은 대응하는 대화 콘텐츠를 생성한 프로그램의 타입과 송수신 타입에 따라 서로 다른 이미지로 각 대화 콘텐츠의 송수신 시각 순으로 디스플레이된다.

상기한 휴대형 단말에 있어서, 상기 저장부는 통합 스토리 관리 프로그램 및 대화 콘텐츠를 생성할 수 있는 복수의 프로그램을 더 저장하고, 상기 제어부는 상기 통합 스토리 관리 프로그램을 통해 상기 복수의 프로그램으로부터 지정된 이동전화번호에 의해 식별되는 단일 대화 상대자로부터 송수신되는 대화 콘텐츠를 결정하고 대화 콘텐츠들 및 대응 이미지 아이콘들을 송수신 시각에 따라 맵핑하여 순서 리스트를 구성한다.

상기한 휴대형 단말에 있어서, 상기 제어부는, 검색 이후에, 변환된 텍스트 데이터를 디스플레이부로 출력하고 입력부를 통한 변환 텍스트 데이터에 대한 사용자 입력에 따라 변환된 텍스트 데이터에 대응하는 음성 데이터를 이용하여 사용자 입력에 대응하는 단위 블록부터 음성을 재생한다.

본 발명의 일 양상에 따른 대화 관리 서버는 데이터를 송수신하는 통신 유닛; 휴대형 단말에서 구동되는 복수의 프로그램을 이용하여 구성되는 지정 대화 상대자별 통합 대화 스토리를 저장하는 저장 유닛; 및 상기 통신 유닛을 통한 휴대형 단말로부터의 지정된 대화 상대자의 통합 대화 스토리에 대한 처리 요청을 수신하고 처리 결과를 상기 통신 유닛을 통해 상기 휴대형 단말로 전송하는 제어 유닛;을 포함하며, 상기 제어 유닛은 휴대형 단말로부터의 대화 콘텐츠에 대응하는 음성 데이터의 변환 요청에 따라 상기 대화 콘텐츠의 음성 데이터를 텍스트 데이터로 변환하고 변환된 텍스트 데이터를 상기 통합 대화 스토리 내의 상기 대화 콘텐츠에 맵핑하여 상기 저장 유닛에 저장하고 처리 결과로서 변환된 텍스트 데이터를 상기 휴대형 단말로 전송하며, 상기 제어부는 상기 휴대형 단말로부터 검색 텍스트를 포함하는 검색 요청에 따라 상기 통합 대화 스토리 내의 변환된 텍스트를 포함하는 대화 콘텐츠들에서 상기 검색 텍스트를 검색하고 검색 결과를 상기 휴대형 단말로 전송한다.

상기한 대화 관리 서버에 있어서, 상기 제어 유닛은 통신 유닛을 통해 휴대형 단말로부터 수신되는 대화 콘텐츠, 상기 대화 콘텐츠를 생성한 프로그램의 타입, 송수신 타입, 송수신 시각을 포함하는 통합 대화 스토리 갱신 요청에 따라 상기 저장 유닛의 통합 대화 스토리에 신규 대화 아이템을 생성하여 추가한다.

상기와 같은 본 발명에 따른 대화 검색 방법, 대화 검색이 가능한 휴대형 단말 및 대화 관리 서버는 사용자 사이의 대화를 녹음한 음성 파일을 텍스트로 변환하여 변환된 텍스트 파일을 대상으로 내용 검색을 할 수 있도록 하는 효과가 있다.

또한, 상기와 같은 본 발명에 따른 대화 검색 방법, 대화 검색이 가능한 휴대형 단말 및 대화 관리 서버는 음성 파일과 변환된 텍스트 파일을 블록 단위별로 맵핑하여 음성 파일을 대상으로 한 빠른 선택과 대응하는 음성의 확인이 가능토록 하는 효과가 있다.

또한, 상기와 같은 본 발명에 따른 대화 검색 방법, 대화 검색이 가능한 휴대형 단말 및 대화 관리 서버는 대화 상대자와의 다양한 대화 채널을 통해 송수신되는 대화들을 대상으로 통합 검색이 가능토록 하며, 이에 따라 대화 채널을 기억하지 못하는 경우에도 효과적으로 검색할 수 있는 효과가 있다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명에 따른 대화 검색 시스템에 구성되는 장치 간 연결구성의 예를 도시한 도면이다.
도 2는 대화 관리 서버의 예시적인 블록도를 도시한 도면이다.
도 3은 휴대형 단말의 예시적인 블록도를 도시한 도면이다.
도 4는 콘텐츠 변환을 통해 대화 검색이 이루어지는 제어 흐름의 예를 도시한 도면이다.
도 5는 휴대형 단말에 스토리가 표시되는 화면구성의 일 예를 표시한 것이다.

상술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술 되어 있는 상세한 설명을 통하여 더욱 명확해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다.

도 1은 본 발명에 따른 대화 검색 시스템에 구성되는 장치 간 연결구성의 예를 도시한 도면이다.

도 1의 예에서 알 수 있는 바와 같이, 대화 검색 시스템은 하나 이상의 휴대형 단말(100), 대화 관리 서버(200) 및 하나 이상의 대화 공유 단말(300)을 포함한다. 휴대형 단말(100), 대화 관리 서버(200) 및 대화 공유 단말(300)은 인터넷망(400)을 통해 연결되어 다른 사용자와 이루어진 각종 대화 콘텐츠를 송수신할 수 있다.

도 1의 예를 통해 대화 검색 시스템을 살펴보면, 휴대형 단말(100)은 본 발명에 따른 대화 검색 서비스를 제공받을 수 있는 단말이다. 휴대형 단말(100)은 예를 들어, 휴대폰, 스마트폰, 태블릿 PC 등일 수 있다.

휴대형 단말(100)은 이동통신망(인터넷망(400)과는 별도이거나 인터넷망(400)내에 포함될 수도 있음) 또는 인터넷망(400)을 통해 음성전화통화를 수행할 수 있고 각종 문자 메시지, 메일, 메신저 메시지 등을 송수신할 수 있도록 구성된다. 휴대형 단말(100)은 음성전화통화를 수행하기 위한 음성전화 프로그램, 문자 메시지를 송수신하기 위한 문자 메시지 프로그램, 메일을 송수신하기 위한 메일 프로그램, 메신저 메시지를 송수신하기 위한 메신저 프로그램을 구비하고 각각의 프로그램을 통해 음성전화, 문자, 메일, 메신저 메시지 등을 지정된 사용자에게 전달하고 수신할 수 있도록 구성된다.

특히, 휴대형 단말(100)은 통합 스토리 관리 프로그램(이하 간단히 '관리 프로그램'이라고도 한다)을 구비하여 음성전화 프로그램, 메일 프로그램, 문자 메시지 프로그램, 문자 메신저 프로그램 등과 연동하여 동일한 특정 대화 상대자와의 통합된 대화 스토리를 구성할 수 있다.

통합 스토리 관리 프로그램을 통해 휴대형 단말(100)은 특정 지정된 사용자를 대상으로 송수신되는 각종 대화 콘텐츠(이하 간단히 '대화'라고도 한다)를 송수신 시각에 따라 일렬로 정리하여 대화 스토리 폼으로 사용자에게 출력할 수 있고 대화 스토리 내에서 각종 대화를 검색할 수 있다. 대화 스토리는 사용자 식별자에 의해서 식별되는 단일 대화 상대자를 대상으로 여러 프로그램에서 송수신되는 대화 콘텐츠(대화 아이템)를 각 대화 콘텐츠의 송수신 시각에 따라 구성되는 순서 리스트로 구성될 수 있다.

특히, 휴대형 단말(100)은 음성전화 녹음이나 오디오 파일의 수신에 따른 음성 데이터를 텍스트 데이터를 변환하여 텍스트로 변환된 대화 콘텐츠들을 대상으로 텍스트 검색이 가능하도록 구성된다. 텍스트 변환과 검색은 휴대형 단말(100)에 의해서 직접 이루어지거나 대화 관리 서버(200)에 의해서 이루어질 수 있다.

휴대형 단말(100)에 대해서는 도 3 및 도 4에서 좀 더 상세히 살펴보도록 한다.

대화 관리 서버(200)는 휴대형 단말(100)에서 지정된 대화 상대자 사이의 대화 콘텐츠를 추가하고 삭제하고 관리할 수 있는 서버이다. 대화 관리 서버(200)는 휴대형 단말(100)의 각 사용자별로 지정된 대화 상대자에 대한 대화 스토리를 저장한다. 대화 스토리는 휴대형 단말(100)과 연동하여 갱신될 수 있다.

나아가, 대화 관리 서버(200)는 대화 콘텐츠가 음성 데이터로 구성된 경우 이 음성 데이터를 휴대형 단말(100)로부터의 변환 요청에 따라 텍스트 데이터로 변환하고 이를 대화 스토리에 저장하고(거나) 휴대형 단말(100)로 전송할 수 있다. 또한, 대화 관리 서버(200)는 휴대형 단말(100)로부터의 검색 요청에 따라 검색 요청의 검색 텍스트(text)가 대화 스토리 내의 대화 콘텐츠들 내에 존재하는 지를 검색하고 그 검색 결과를 휴대형 단말(100)로 전송할 수 있다. 검색 결과는 대화 스토리 내에서 식별되는 대화 콘텐츠(대화 아이템)의 식별자 및 대화 콘텐츠 내에서의 검색 텍스트의 위치 영역(시작 위치 및/또는 종료 위치)를 포함할 수 있다.

대화 관리 서버(200)에 대해서는 도 2 및 도 4에서 좀 더 상세히 살펴보도록 한다.

대화 공유 단말(300)은 휴대형 단말(100)에 의해서 생성된 대화 콘텐츠를 공유할 수 있는 단말이다. 대화 공유 단말(300)은 예를 들어 개인용 컴퓨터이거나 노트북 등일 수 있다. 대화 공유 단말(300)은 사용자 ID와 패스워드 등을 이용하여 대화 관리 서버(200)에 접속할 수 있고 해당 사용자를 대상으로 저장되어 있는 하나 이상의 여러 지정된 대화 상대자를 대상으로 이루어진 통합 대화 스토리를 검색하고 다운로드 하여 휴대형 단말(100)이나 대화 관리 서버(200)와 대화 콘텐츠를 동기화할 수 있다.

인터넷망(400)은 IP(Internet Protocol) 통신패킷을 송수신할 수 있는 네트워크이다. 인터넷망(400)은 유선망, 무선망 및/또는 이동통신망을 포함하여 인터넷 프로토콜 기반의 통신패킷을 송수신할 수 있다.

도 2는 대화 관리 서버(200)의 예시적인 블록도를 도시한 도면이다.

도 2에 따르면, 대화 관리 서버(200)는 통신 유닛(201), 저장 유닛(203), 연결 유닛(205) 및 제어 유닛(207)을 포함한다. 도 2는 바람직하게는 기능 블록도를 나타내며 대응하는 하드웨어 블록을 각 기능 블록들은 구비한다. 도 2의 대화 관리 서버(200)는 다양한 하드웨어를 이용하여 구성될 수 있다. 예를 들어 대화 관리 서버(200)는 하나 이상의 PC, 워크스테이션 및/또는 메인 프레임 등을 이용하여 구성될 수 있다. 도 2에 도시되지 않은 다른 블록들이 설계 변형에 따라 이 블록도에 더 포함될 수도 있다.

도 2를 통해 대화 관리 서버(200)를 살펴보면, 통신 유닛(201)은 유선랜용 및/또는 와이파이용 칩셋을 구비하여 인터네망(400)을 통해 하나 이상의 휴대형 단말(100) 및/또는 대화 공유 단말(300)과 데이터를 송수신한다.

예를 들어, 통신 유닛(201)은 휴대형 단말(100) 또는 대화 공유 단말(300)로부터 각종 처리 요청을 수신하고 이를 제어 유닛(207)으로 전달한다. 또한, 통신 유닛(201)은 제어 유닛(207)에 의한 처리 결과를 전달받고 이를 휴대형 단말(100)이나 대화 공유 단말(300)로 전송할 수 있다.

저장 유닛(203)은 휘발성 메모리, 비휘발성 메모리 및 바람직하게는 하드디스크 등과 같은 대용량 저장매체를 포함하여 각종 데이터와 프로그램을 저장한다.

저장 유닛(203)은 각 사용자별로 대화 스토리를 통합적으로 관리할 수 있도록 휴대형 단말(100)의 사용자별 사용자 엔트리를 복수 개 저장한다. 복수의 사용자 엔트리는 데이터베이스로 구성될 수 있다.

각각의 사용자 엔트리는 사용자 식별자(ID)와 인증 데이터를 포함한다. 사용자 식별자는 숫자, 문자 및/또는 특수문자의 조합으로 구성되는 사용자 아이디, 사용자가 이용하는 휴대형 단말(100)의 이동전화번호 및/또는 사용자가 이용하는 메일주소를 포함한다. 특정 프로그램은 특정 유형의 사용자 식별자를 이용할 수 있고 다른 프로그램은 다른 유형의 사용자 식별자를 활용할 수 있다. 이동통신망을 통해 음성전화를 수행하는 휴대형 단말(100)은 이동전화번호를 통해 특정 사용자 엔트리를 액세스할 수 있고 메일을 처리하는 휴대형 단말(100)은 메일 주소 등을 통해 특정 사용자 엔트리를 액세스할 수 있다. 인증 데이터는 숫자, 문자 및/또는 특수문자의 조합으로 구성되는 패스워드 및/또는 홍채 데이터나 지문 데이터와 같은 생체 인증 데이터를 포함할 수 있다.

또한, 사용자 엔트리는 지정된 복수의 대화 상대자별로 통합 대화 스토리를 저장하는 통합대화 엔트리를 지정된 복수의 개수만큼 포함한다. 각각의 통합대화 엔트리는 대화 상대자의 사용자 식별자를 포함한다. 사용자 식별자는 이동전화번호를 포함하고 사용자 아이디나 메일주소 등을 더 포함할 수 있다. 메일주소는 사용자 엔트리의 검색으로 직접 결정될 수 있고 이동전화번호는 통합 대화 스토리의 신규 설정시에 사용자에 의해 입력될 수 있다.

통합대화 엔트리는 사용자에 의해서 신규로 구성될 수 있고 신규 생성 후 대화 콘텐츠가 추가되어 특정 대화 상대자와의 대화 내역을 대화의 송수신 시각에 따라 표시할 수 있도록 구성된다.

통합대화 엔트리는 해당 대화 상대자와 이루어진 각종 대화 콘텐츠를 송수신 시각에 따라 구분한 일련의 대화 아이템으로 구성된다. 하나의 대화 아이템은 대화 콘텐츠 자체의 데이터, 대화 콘텐츠를 생성할 수 있는 여러 프로그램중 특정 프로그램을 나타낼 수 있는 프로그램 타입, 대화 콘텐츠가 대화 상대자로 출력되었는지 또는 수신되었는지를 나타내는 송수신 타입, 대화 콘텐츠의 송수신 시각, 및 음성, 텍스트, 이미지 또는 동영상 등을 나타내는 대화 콘텐츠의 타입 등을 필드로 저장한다. 대화 아이템은 특정 대화 콘텐츠로부터 변환된 변환 대화 콘텐츠를 더 포함할 수 있다.

대화 콘텐츠는 예를 들어 전화시 녹음된 음성녹음파일이나 오디오 파일 등과 같은 음성 데이터로 구성되거나 문자 메시지, 메일, 메신저 등과 같은 텍스트 데이터로 구성된다. 변환 대화 콘텐츠는 원래의 대화 콘텐츠와 그 타입이 변환된 대화콘텐츠로서 예를 들어 음성 데이터에서 텍스트로 변환된 텍스트 데이터로 구성될 수 있다.

각각의 대화 아이템은 송수신 시각에 따라 순서화될 수 있고 휴대형 단말(100) 등에 표시될 수 있다.

또한, 통합대화 엔트리는 제어 유닛(207)에 의한 제어로 갱신되거나 변경될 수 있다.

이와 같이 저장 유닛(203)은 지정된 대화 상대자별 통합 대화 스토리를 저장하고 통합 대화 스토리는 휴대형 단말(100)에서 구동되는 복수의 프로그램(예를 들어, 음성전화 프로그램, 메일 프로그램, 문자 메시지 프로그램 및 문자 메신저 프로그램 등)을 이용하여 구성된다.

연결 유닛(205)은 대화 관리 서버(200) 내의 블록 간 데이터를 송수신한다. 연결 유닛(205)는 근거리 네트워크, 병렬 버스, 시리얼 버스 등을 이용하여 구성된다.

제어 유닛(207)은 하나 이상의 실행 유닛을 구비하여 저장 유닛(203)에 저장되어 있는 프로그램 등을 실행 유닛에 로딩하고 프로그램의 명령어 코드의 수행을 통해 대화 관리 서버(200)를 제어한다.

제어 유닛(207)에 이루어지는 제어 과정을 살펴보면, 휴대형 단말(100)로부터 신규 사용자 등록 요청에 따라 제어 유닛(207)은 저장 유닛(203)에 신규의 사용자 엔트리를 생성하고 사용자 식별자와 인증 데이터를 휴대형 단말(100)과 연동하여 설정한다.

또한, 제어 유닛(207)은 특정 사용자 엔트리의 휴대형 단말(100)로부터의 대화 상대자 설정 요청에 따라 해당 사용자 엔트리에 통합대화 엔트리를 생성하고 대화 상대자의 사용자 식별자를 설정한다. 사용자 식별자는 설정 요청에 포함되어 수신될 수 있고 이동전화번호, 사용자 아이디(숫자, 문자, 특수문자의 조합) 및 메일 주소 중 하나 이상으로 구성될 수 있다.

통합대화 엔트리 및 사용자 엔트리의 설정 이후에, 제어 유닛(207)은 통신 유닛(201)을 통해 지정된 대화 상대자의 대화 콘텐츠에 대한 처리 요청을 수신하고 사용자 엔트리 및 사용자 엔트리 내의 통합대화 엔트리를 이용하여 요청을 처리하고 처리 결과를 휴대형 단말(100)로 전송하도록 구성된다.

예를 들어, 제어 유닛(207)은 통신 유닛(201)을 통해 휴대형 단말(100)로부터 대화 콘텐츠에 대응하는 음성 데이터의 변환 요청을 수신한다. 변환 요청은 휴대형 단말(100)의 사용자 식별자와 대화 상대자의 사용자 식별자를 포함하거나 인식할 수 있고 변환이 이루어질 대화 콘텐츠 자체 또는 해당 대화 콘텐츠를 통합대화 엔트리에서 식별하기 위한 대화 아이템 식별자를 포함한다. 대화 아이템 식별자는 예를 들어 시리얼 번호일 수 있다.

제어 유닛(207)은 알려진 음성 인식 알고리즘이나 음성-텍스트 변환 알고리즘 등을 이용하여 대화 콘텐츠의 음성 데이터를 텍스트 데이터로 변환하고 변환된 텍스트 데이터를 변환 요청한 휴대형 단말(100)로 통신 유닛(201)을 통해 전송한다. 또한, 제어 유닛(207)은, 대화 아이템 식별자가 변환 요청에 포함된 경우, 사용자 엔트리의 통합대화 엔트리에서 대화 아이템을 식별하고 해당 대화 아이템에 변환 대화로서 변환된 텍스트 데이터를 저장한다. 이와 같이, 제어 유닛(207)은 변환 요청된 대화 콘텐츠에 변환된 텍스트 데이터를 맵핑하여 저장 유닛(203)에 저장한다.

제어 유닛(207)에 의해 변환된 텍스트 데이터와 음성 데이터는 지정된 단위 블록별로 맵핑되어 그 대응관계가 인식될 수 있도록 구성된다. 예를 들어 변환된 텍스트 데이터는 단어 단위 또는 문장 단위로 구분된다. 각각의 단위 블록들은 음성 데이터의 특정 위치에 맵핑되어 그 맵핑관계가 휴대형 단말(100)로 전달되거나 대화 아이템 내에 저장된다.

또한, 제어 유닛(207)은 통신 유닛(201)을 통해 검색 텍스트를 포함하는 검색 요청을 휴대형 단말(100)로부터 수신한다. 검색 요청은 휴대형 단말(100)의 사용자 식별자와 대화 상대자의 사용자 식별자를 포함하거나 인식할 수 있도록 구성된다. 제어 유닛(207)은 사용자 식별자 및 대화 상대자 식별자를 이용하여 사용자 엔트리 및 통합대화 엔트리를 식별한다.

제어 유닛(207)은 식별된 통합대화 엔트리 내의 대화 콘텐츠들에서 검색 텍스트를 검색하고 그 검색 결과를 휴대형 단말(100)로 전송한다. 검색 과정에서 검색 텍스트와 동일한 유형의 대화 콘텐츠가 아닌 경우에 제어 유닛(207)은 변환된 대화를 이용하여 검색을 수행하도록 구성된다. 제어 유닛(207)은 음성 데이터에 대응하는 변환된 텍스트 데이터를 대상으로 검색 텍스트를 검색할 수 있다.

검색 결과는 검색 텍스트의 존재 여부, 검색 텍스트가 존재하는 하나 이상의 대화 아이템의 식별자, 대화 아이템 내에서의 시작 위치 및 종료 위치 등을 포함할 수 있다.

또한, 제어 유닛(207)은 통합 대화 스토리 갱신 요청을 통신 유닛(201)을 통해 휴대형 단말(100)로 수신할 수 있다. 통합 대화 스토리 갱신 요청은 휴대형 단말(100)의 사용자 식별자와 대화 상대자의 사용자 식별자를 포함하거나 인식할 수 있도록 구성된다.

제어 유닛(207)은 통합 대화 스토리 갱신 요청의 사용자 식별자 및 대화 상대자의 사용자 식별자를 이용하여 통합대화 스토리(엔트리)를 식별하고 이 통합대화 스토리에 신규 대화 아이템을 생성 및 추가하고 신규 대화 아이템을 설정한다. 제어 유닛(207)은 통합 대화 스토리 갱신 요청에 포함된 대화 콘텐츠, 대화 콘텐츠를 생성한 프로그램의 타입, 송수신 타입, 송수신 시각을 통합대화 스토리 내에 신규 대화 아이템으로 설정하여 저장 유닛(203)에 저장할 수 있다. 제어 유닛(207)은 통합대화 스토리의 대화 아이템들을 송수신 시각에 따라 순서화하여 순서 리스트 형태로 저장할 수 있다.

통합 대화 스토리 갱신 요청이 대화 콘텐츠 식별자(대화 아이템 식별자)를 더 포함하는 경우 제어 유닛(207)은 대화 콘텐츠 식별자로 식별되는 기존의 대화 아이템을 수신된 대화 콘텐츠, 대화 콘텐츠를 생성한 프로그램의 타입, 송수신 타입, 송수신 시각이나 변환된 텍스트 데이터로 갱신할 수 있다.

또한, 제어 유닛(207)은 통신 유닛(201)을 통해 휴대형 단말(100)로부터 통합 대화 콘텐츠 다운로드 요청을 수신한다. 통합 대화 콘텐츠 다운로드 요청은 휴대형 단말(100)의 사용자 식별자와 대화 상대자의 사용자 식별자를 포함하거나 인식할 수 있도록 구성되고 시작 송수신 시각을 더 포함할 수 있다.

제어 유닛(207)은 통합 대화 콘텐츠 다운로드 요청의 사용자 식별자 및 대화 상대자의 사용자 식별자를 이용하여 통합대화 스토리(엔트리)를 식별하고 통합대화 스토리 전체 또는 시작 송수신 시각 이후의 대화 아이템들을 식별하고 식별된 대화 아이템들을 휴대형 단말(100)로 응답으로 전송한다.

또한, 제어 유닛(207)은 통신 유닛(201)을 통해 대화 공유 단말(300)로부터의 동기화 요청을 수신한다(여기서의 '동기화'는 사용자의 요청이 있을 때에만 수행되는 부분적이거나 전체적인 공유를 포함한다). 동기화 요청은 휴대형 단말(100)의 사용자 식별자와 인증 데이터를 포함하거나 인식할 수 있도록 구성된다.

동기화 요청에 따라, 제어 유닛(207)은 사용자 식별자로 저장 유닛(203)의 사용자 엔트리를 식별하고 인증 데이터로 사용자를 인증한다. 인증된 경우 제어 유닛(207)은 사용자 엔트리의 모든 통합대화 엔트리를 요청한 대화 공유 단말(300)로 전송하여 대화 공유 단말(300)과 대화 관리 서버(200) 사이의 대화 콘텐츠 동기화를 진행할 수 있다. 이 과정에서 제어 유닛(207)은 대화 공유 단말(300)에 존재하지 않은 대화 콘텐츠(만을)를 대화 공유 단말(300)로 전송할 수 있다.

이와 같은 제어 과정을 통해, 대화 관리 서버(200)는 각 대화 상대자별 대화 콘텐츠를 통합 관리할 수 있고 필요시 텍스트 데이터로 변환하고 여러 프로그램에 산재된 대화 콘텐츠를 하나로 통합하고 통합된 대화 콘텐츠를 대상으로 검색 등과 같은 서비스를 제공할 수 있다.

도 3은 휴대형 단말(100)의 예시적인 블록도를 도시한 도면이다.

도 3에 따르면, 휴대형 단말(100)은 통신부(101), 입력부(103), 출력부(105), 저장부(107), 디스플레이부(109), 연결부(111) 및 제어부(113)를 포함한다. 도 3은 바람직하게는 기능 블록도를 나타내며 대응하는 하드웨어 블록을 각 기능 블록들은 구비한다.

휴대형 단말(100)의 각 블록들을 살펴보면, 통신부(101)는 인터넷망(400) 및/또는 이동통신망을 통해 각종 데이터를 송수신한다. 통신부(101)는 인터넷망(400)이나 이동통신망에 무선으로 연결되기 위한 통신 칩셋을 구비하여 통신 칩셋을 통해 무선통신 패킷을 송수신할 수 있다. 통신부(101)를 통해 휴대형 단말(100)은 음성통화, 문자, 데이터, 이미지 데이터, 오디오 데이터, 동영상 데이터 등을 대화 상대자의 휴대형 단말(100)과 송수신할 수 있다.

입력부(103)는 사용자 입력을 수신한다. 입력부(103)는 버튼, 터치 패드, 터치 패널 등을 구비하여 특정 버튼 입력이나 특정 위치의 사용자 입력을 수신하고 수신된 사용자 입력을 제어부(113)로 전달한다.

출력부(105)는 제어부(113)에 의해 생성된 데이터를 출력한다. 출력부(105)는 오디오 코덱, 스피커, 이어폰 단자 등을 구비하여 제어부(113)에 의해서 생성된 오디오 데이터를 오디오 신호(진동 신호)로 출력할 수 있도록 구성된다. 출력부(105)를 통해 음성통화의 대화 상대자 음성이나 음성(오디오) 파일(데이터)의 음성(오디오) 신호가 출력될 수 있다.

저장부(107)는 비휘발성 메모리와 나아가 휘발성 메모리를 포함하여 각종 데이터와 프로그램을 저장한다. 저장부(107)는 대화 콘텐츠의 유형을 나타내기 위한 이미지 아이콘들과 대화 콘텐츠들을 저장하고 나아가 본 발명에서 이용되는 각종 프로그램들을 저장한다.

이미지 아이콘들은 복수의 프로그램 중 어떤 프로그램인지를 알 수 있도록 구성되고 해당 프로그램에서의 대화 콘텐츠가 송신인지 수신인지를 구별할 수 있도록 그 이미지가 설정된다. 대화 콘텐츠들은 각 대화 상대자별로 구분하여 저장되고 대화 콘텐츠들의 송수신 시각에 따라 순서화될 수 있다.

저장부(107)에 저장된 프로그램들은 대화 상대자별 통합 대화 스토리를 관리하기 위한 통합 스토리 관리 프로그램과 대화 콘텐츠를 생성할 수 있는 복수의 프로그램을 포함한다. 이 복수의 프로그램은 예를 들어 음성전화 프로그램, 메일 프로그램, 문자 메시지 프로그램 및 문자 메신저 프로그램을 포함하거나 둘 이상의 조합으로 구성된다.

디스플레이부(109)는 LCD 디스플레이 모듈이나 LED 디스플레이 모듈 등을 구비하여 제어부(113)에 의해서 출력되는 데이터를 디스플레이 모듈로 출력한다. 예를 들어 디스플레이부(109)는 제어부(113)에 의해서 출력되는 일련의 이미지 아이콘 및 대화 콘텐츠 페어들을 디스플레이할 수 있다.

연결부(111)는 휴대형 단말(100) 내의 블록 간에 데이터를 송수신한다. 연결부(111)는 예를 들어 병렬 버스이거나 시리얼 버스일 수 있다. 연결부(111)는 제어부(113)에 의해서 제어되어 다른 블록으로(부터)의 데이터를 송수신할 수 있다.

제어부(113)는 휴대형 단말(100)의 블록들을 제어한다. 제어부(113)는 프로그램의 명령어 코드를 수행할 수 있는 하나 이상의 실행 유닛을 포함하고 저장부(107)의 프로그램을 로딩하여 블록들을 제어할 수 있다. 이하에서는 수행 주체를 제어부(113) 또는 프로그램으로 혼용하여 표시하도록 한다.

제어부(113)에서 이루어지는 대표적인 제어 과정을 살펴보면, 대화 콘텐츠를 생성할 수 있는 복수의 프로그램 각각은 제어부(113)에 로딩되어 대화 콘텐츠를 송수신하고 송수신되는 대화 콘텐츠를 저장부(107)에 저장할 수 있다.

예를 들어, 음성전화 프로그램은 이동통신망을 통해 대화 상대자의 이동전화번호로 음성통화를 수행하고 통화시작시각, 통화종료시각, 이동전화번호, 녹음된 음성 데이터(입력부(103)를 통한 음성녹음시)를 관리 가능한 저장부(107)에 저장한다. 다른 메일 프로그램, 문자 메시지 프로그램 및 문자 메신저 프로그램 등도 대화 상대자의 사용자 식별자(메일 주소, 이동전화번호, 사용자 아이디 등)와 메일(메시지)의 전송 시각, 대화 콘텐츠(예를 들어 메일 내용, 메시지 내용 등)를 저장부(107)에 저장한다.

또한, 제어부(113)는 통합 스토리 관리 프로그램를 로딩하여 이 프로그램을 수행함으로써 대화 상대자별 통합적인 대화 콘텐츠를 관리할 수 있다. 이와 같이 제어부(113)는 프로그램을 수행함으로써 통합적인 대화 콘텐츠를 관리할 수 있고 필요시 이하에서 프로그램을 수행주체로 하여 설명하도록 한다.

예를 들어, 관리 프로그램은 제어부(113)에 로딩되어, 휴대형 단말(100)의 사용자를 설정하고 대화 상대자를 설정할 수 있다. 이러한 대화 상대자의 설정은 전화번호 등의 등록에 따라 자동적으로 수행될 수도 있다. 대화 관리 서버(200)와 연동하여 관리 프로그램은 휴대형 단말(100)의 사용자를 대화 관리 서버(200)에 신규로 등록할 수 있다. 관리 프로그램은 사용자 식별자 및 인증 데이터를 입력부(103) 등을 통해 생성하고 이를 신규 사용자 등록 요청에 포함해 통신부(101)를 통해 대화 관리 서버(200)로 전송하고 등록 요청의 응답을 수신할 수 있다. 사용자 식별자는 이동전화번호, 메일 주소 및/또는 복수의 프로그램에서 이용되는 사용자 아이디 등을 포함한다.

관리 프로그램은 사용자가 등록됨에 따라, 대화 상대자를 또한 등록한다. 입력부(103)를 통한 대화 상대자의 사용자 식별자의 입력에 따라 관리 프로그램은 대화 상대자의 사용자 식별자를 포함하는 대화 상대자 설정 요청을 구성하고 이 요청을 통신부(101)를 통해 대화 관리 서버(200)로 전송한다. 사용자 식별자는 이동전화번호, 메일 주소 및/또는 복수의 프로그램에서 이용되는 사용자 아이디 등을 포함한다.

관리 프로그램은 대화 상대자 설정 등록에 대한 응답(처리 결과)을 수신함으로써 특정 대화 상대자를 대상으로 통합적인 대화 콘텐츠의 관리가 가능하다. 관리 프로그램은 저장부(107)에 휴대형 단말(100)의 사용자 식별자와 대화 상대자의 사용자 식별자들을 저장한다.

관리 프로그램은 제어부(113)에 로딩될 때 또는 특정 대화 상대자가 선택될 때, 기존의 대화 상대자별 통합 대화 스토리를 구성한다. 예를 들어 관리 프로그램은 선택된(모든) 대화 상대자의 대화 스토리를 저장부(107)에서 식별하거나 통합 대화 콘텐츠 다운로드 요청을 구성하여 대화 관리 서버(200)로 전송하고 그 응답으로 통합대화 스토리를 구성하는 대화 아이템들을 수신한다.

또한, 관리 프로그램은 제어부(113)에 로딩 될 때마다 또는 신규 대화 상대자를 설정할 때마다, 등록된 대화 상대자 각각의 신규 대화 콘텐츠들을 복수의 프로그램들로부터 수신한다. 예를 들어 관리 프로그램은 대화 상대자의 사용자 식별자와 갱신 시작 시각을 복수의 프로그램으로 전송하고 복수의 프로그램 각각은 갱신 시작 시각 이후의 해당 사용자 식별자를 대상으로 송신되거나 수신된 대화 콘텐츠를 송수신 타입, 송수신 시각과 함께 관리 프로그램으로 전송한다.

통합 스토리 관리 프로그램은 각 대화 상대자를 대상으로 복수의 프로그램 각각으로부터 수신된 대화 콘텐츠, 송수신 타입 및 송수신 시각을 대화 아이템으로 저장부(107)에 저장한다. 저장되는 대화 아이템은 대화 콘텐츠에 맵핑되고 송수신 타입과 프로그램 타입에 따라 결정되는 이미지 아이콘과 대화 콘텐츠를 생성한 프로그램을 나타내는 프로그램 타입과 대화 콘텐츠 타입을 더 포함한다. 대화 콘텐츠 타입은 복수의 프로그램 각각으로부터 수신되거나 대화 콘텐츠를 분석하거나 프로그램의 타입에 따라 결정된다. 관리 프로그램은 대화 콘텐츠를 프로그램 타입과 송수신 타입에 따라 다른 이미지 형상을 가지는 이미지 아이콘으로 설정하여 대화 아이템에 저장한다.

관리 프로그램(제어부(113))은 신규 생성된 대화 아이템을 기존의 대화 아이템의 순서 리스트에 추가한다. 예를 들어 관리 프로그램은 통합 대화 스토리 갱신 요청을 구성하여 대화 관리 서버(200)로 전송하거나 저장부(107)에 저장되어 있는 대화 아이템의 순서 리스트에 송수신 시각에 따른 위치에 삽입할 수 있다. 이와 같은 과정을 통해 제어부(113)(관리 프로그램)는 이동전화번호 등과 같은 사용자 식별자에 의해서 식별되는 단일 대화 상대자로부터 송수신되는 대화 콘텐츠들을 복수의 프로그램을 통해 결정하고 이 대화 콘텐츠와 대응하는 이미지 아이콘들을 송수신 시각에 따라 맵핑하여 순서 리스트를 구성할 수 있다. 순서 리스트는 저장부(107)에 미리 저장되거나 대화 관리 서버(200)로부터 수신될 수 있다.

제어부(113)(관리 프로그램)는 통합 관리중인 대화 상대자 리스트를 디스플레이부(109)로 출력하고 입력부(103)를 통한 대화 상대자 선택에 따라, 특정 단일의 대화 상대자를 대상으로 송수신되었던 대화 콘텐츠들과 대응하는 이미지 아이콘들을 송수신 시각에 따라 디스플레이부(109)로 출력한다.

예를 들어, 제어부(113)는 선택된 대화 상대자를 대상으로 결정되고 대화 아이템들의 송수신 시각에 따라 순서화되어 있는 순서 리스트의 대화 아이템의 대화 콘텐츠를 나타내는 이미지 데이터와 이미지 아이콘을 디스플레이부(109)로 출력한다. 대화 콘테츠 및 대응 이미지 아이콘의 페어들은 송수신 시각 순으로 디스플레이된다. 대화 콘텐츠의 이미지 데이터는 대화의 내용(예를 들어 문자 메시지(메신저)의 내용)을 나타내거나 대화 콘텐츠를 대표하는 텍스트(예를 들어 '통화', '메일 수신' 등) 등일 수 있다.

휴대형 단말(100)의 사용자는 대화 콘텐츠를 선택하고, 관리 프로그램은 특정 시점에 송수신되었던 선택 대화 콘텐츠를 출력부(105)를 통해 음성으로 출력하거나 새로운 팝업창을 통해 디스플레이부(109)로 출력할 수 있다.

또한, 관리 프로그램(제어부(113))은 음성을 텍스트로 변환하고 변환된 텍스트를 포함하는 통합된 대화 스토리를 대상으로 통합된 검색 기능을 제공할 수 있다. 예를 들어, 관리 프로그램(제어부(113))은 디스플레이된 대화 콘텐츠에 대한 텍스트 변환 입력을 입력부(103)를 통해 수신한다. 텍스트 변환 입력은 관리 프로그램을 구성에 따라 다양한 형태로 구성될 수 있다.

텍스트 변환 입력에 따라, 관리 프로그램(제어부(113))은 순서 리스트에서 대응하는 대화 아이템을 결정하고 대화 아이템의 대화 콘텐츠의 음성 데이터를 텍스트 데이터로 변환하고 변환된 텍스트 데이터를 대화 콘텐츠에 맵핑하여 대화 아이템을 갱신 저장한다.

예를 들어, 관리 프로그램(제어부(113))은 음성 데이터를 직접 텍스트 데이터로 변환하고 음성 데이터에 대응하는 대화 아이템에 변환 대화로서 변환된 텍스트 데이터를 음성 데이터의 대화 콘텐츠에 맵핑하여 저장부(107)에 저장한다. 변환된 텍스트 데이터(를 포함하는 대화 아이템)는 통합 대화 스토리 갱신 요청에 포함되어 대화 관리 서버(200)로 전달되어 해당 대화 아이템이 갱신될 수 있다.

또는, 관리 프로그램(제어부(113))은 변환이 이루어질 음성 데이터에 대응하는 대화 아이템을 식별하기 위한 대화 아이템 식별자와 대화 상대자의 식별자를 포함하고 나아가 휴대형 단말(100)의 사용자 식별자를 인식할 수 있는 변환 요청을 구성하여 대화 관리 서버(200)로 전송하고 처리 결과로서 변환된 텍스트 데이터를 수신할 수 있다.

특정 대화 콘텐츠에 대응하는 음성 데이터는 텍스트로 변환되고 대화 아이템에 저장되며 나아가 디스플레이부(109)에 출력될 수 있다.

관리 프로그램(제어부(113))은 입력부(103)를 통한 사용자 입력에 따라 변환된 텍스트 데이터를 새로운 팝업창을 통해 디스플레이부(109)로 출력한다. 변환된 텍스트 데이터는 앞서 도 2를 통해 설명한 바와 같이 지정된 블록 단위로 음성 데이터와 맵핑되어 있다.

사용자는 입력부(103)를 통해 블록 단위로 텍스트 데이터를 선택할 수 있고(예를 들어 특정 문자 위에 커서가 위치하는 경우 해당 문자를 포함하는 블록을 하일라이트 표시함), 텍스트 데이터의 선택된 블록에 대응하는 음성 데이터를 이용하여 사용자 입력에 대응하는 단위 블록부터 시작하여 음성을 재생하고 이를 출력부(105)로 출력할 수 있다. 음성의 재생 과정은 텍스트 데이터의 변환 이후에 이루어질 수고 있고 텍스트 데이터의 변환과 검색 이후에 이루어질 수도 있다.

또한, 관리 프로그램(제어부(113))은 디스플레이부(109)에 검색을 위한 검색창을 제공하고 입력부(103)를 통한 검색 입력(검색창에 텍스트 입력 완료시)에 따라 검색 텍스트를 수신할 수 있다.

특정 통합대화 스토리가 디스플레이부(109)로 출력되고 있는 과정에서 검색 입력을 수신함에 따라, 관리 프로그램(제어부(113))은 입력된 검색 텍스트를 특정 통합대화 스토리내의 대화 콘텐츠들에서 검색한다. 바람직하게는 관리 프로그램(제어부(113))은 변환된 텍스트 데이터를 포함하는 대화 콘텐츠들에서 검색 텍스트가 존재하는 지를 검색하고 검색 텍스트의 존재 여부에 따라 디스플레이부(109)에 검색 위치를 하일라이트할 수 있다.

텍스트의 검색은 휴대형 단말(100)에 의해서 직접 이루어지거나 대화 관리 서버(200)에 의해서 이루어질 수 있다. 대화 관리 서버(200)에 의해서 이루어지는 경우, 관리 프로그램(제어부(113))은 검색 텍스트를 포함하는 검색 요청을 구성하고 이를 통신부(101)를 통해 대화 관리 서버(200)로 전송하고 검색 결과를 수신할 수 있다.

변환된 텍스트 데이터 중 검색 텍스트가 존재하는 대화 콘텐츠는 강조색 등으로 강조(하일라이트)될 수 있고 입력부(103)를 통한 사용자 선택에 따라 해당 대화 콘텐츠에 대응하는 변환된 텍스트 데이터가 별도의 파업창을 통해서 디스플레이된다.

사용자는 지정된 블록 단위로 텍스트 데이터를 선택할 수 있고 관리 프로그램(제어부(113))은 선택된 텍스트 데이터에 대응하는 음성 데이터를 대화 아이템(대화)에서 검색하여 검색된 음성 데이터를 디코딩하여 출력부(105)로 출력한다. 이에 따라 사용자는 변환된 텍스트 데이터를 확인할 수 있고 특정 검색 텍스트가 존재하는 음성 데이터를 단어나 문장 단위로 음성 신호로 확인할 수 있다.

도 4는 콘텐츠 변환을 통해 대화 검색이 이루어지는 제어 흐름의 예를 도시한 도면이다.

도 4의 제어 흐름은 휴대형 단말(100)과 대화 관리 서버(200)의 협업으로 진행되고 휴대형 단말(100)의 제어부(113)와 대화 관리 서버(200)의 제어 유닛(207)에 의해서 수행된다. 제어부(113)와 대화 관리 서버(200)는 구비된 프로그램을 통해서 해당 제어 흐름을 수행하고 제어부(113)는 통합 스토리 관리 프로그램을 통해 본 제어 흐름을 수행한다. 이미 도 1 내지 3을 통해서 상세히 살펴본 내용에 대해 이하에서는 간단하게 살펴보도록 한다.

먼저, 휴대형 단말(100)의 사용자는 대화 관리 서버(200)를 통해 신규 사용자를 등록하고 신규 사용자 등록후 대화 상대자를 설정(S10)한다. 제어부(113)는 신규 사용자 등록 요청과 대화 상대자 설정 요청을 통해 대화 관리 서버(200)와 연동하여 각종 사용자 식별자를 설정할 수 있다.

휴대형 단말(100)(의 관리 프로그램(제어부(113))은 등록된 대화 상대자를 대상으로 이루어진 대화 콘텐츠를 다른 복수의 프로그램을 통해서 결정하고 송수신 시각에 따라 대화 콘텐츠가 순서화된 순서 리스트를 구성(S20)한다.

예를 들어, 관리 프로그램(제어부(113))은 각각의 대화 상대자별로 통합 대화 콘텐츠 다운로드 요청을 통해 통합 대화 스토리를 구성하거나 저장부(107)에 저장되어 있는 각 대화 상대자별 통합 대화 스토리를 검색하여 해당 스토리를 구성할 수 있다. 통합 대화 스토리는 복수의 대화 아이템으로 구성되고 각각의 대화 아이템은 송수신 시각에 따라 순서화되어 있거나 순서화될 수 있도록 송수신 시각을 포함한다.

구성 과정(S20)은 관리 프로그램의 제어부(113) 로딩시에 또는 특정 대화 상대자의 선택시에 이루어진다. 관리 프로그램(제어부(113))은 신규의 대화 콘텐츠를 추가하여 통합 대화 스토리를 구성할 수 있다.

예를 들어, 관리 프로그램(제어부(113))은 이동전화번호로 식별되는 대화 상대자별 신규의 대화 콘텐츠를 복수의 프로그램 각각으로부터 송수신 시각, 송수신 타입 등과 함께 수신한다. 관리 프로그램(제어부(113))은 대화 콘텐츠를 전달한 프로그램의 타입과 송수신 타입에 따라 이미지 아이콘을 결정하고 결정된 이미지 아이콘과 전달받은 대화 아이콘을 맵핑하여 하나의 대화 아이템으로 구성한다. 관리 프로그램(제어부(113))은 기존 통합 대화 스토리에 신규 대화 아이템을 추가하고 이 통합 대화 스토리를 송수신 시각 순의 순서 리스트로 구성하여 단일 대화 상대자를 위한 통합 대화 스토리를 구성할 수 있다.

통합 대화 스토리의 구성은 관리 프로그램(제어부(113))에 의해서 직접 이루어지거나 대화 관리 서버(200)와 연동하여 이루어질 수 있다. 예를 들어 관리 프로그램(제어부(113))은 통합 대화 스토리 갱신 요청을 구성하여 대화 관리 서버(200)로 전송할 수 있다.

휴대형 단말(100)은 특정 대화 상대자의 선택 입력에 따라 복수의 프로그램에서 지정된 단일 대화 상대자를 대상으로 송수신된 대화 콘텐츠들과 대응 이미지 아이콘들을 송수신 시각에 따라 디스플레이(S30)한다(예를 들면 도 5와 같다).

구체적으로, 관리 프로그램(제어부(113))은 통합 대화 스토리의 대화 아이템들을 송수신 시각에 맵핑지어 순서화된 순서 리스트의 대화 콘텐츠들(대화 콘텐츠들에 접근할 수 있는 아이콘을 포함한다)과 대응 이미지 아이콘들을 송수신 시각과 함께 송수신 시각에 따라 순차적으로 표시하여 디스플레이부(109)에 출력한다. 이전 대화 콘텐츠는 먼저(디스플레이부(109)의 앞선 위치) 표시되고 이후 대화 콘텐츠는 이후(디스플레이부(109)에서 아래 위치)에 표시된다. 표시되는 대화 콘텐츠의 이미지 데이터는 대화의 내용을 나타내거나 대화 콘텐츠를 대표하는 텍스트 등일 수 있다.

대화 콘텐츠(의 이미지 데이터)와 함께 페어로 디스플레이되는 이미지 아이콘들 각각은 대화 콘텐츠를 생성한 프로그램의 타입, 송수신 타입에 따라 서로 다른 이미지 형태로 구성되어 송수신 시각 순으로 대화 콘텐츠와 함께 디스플레이된다.

휴대형 단말(100)의 사용자는 입력부(103)를 통해 특정 대화 콘텐츠를 선택하고 선택된 대화 콘텐츠의 타입을 확인하고 음성 데이터로 구성된 대화 콘텐츠인 경우 텍스트 데이터로의 변환을 요청할 수 있다.

휴대형 단말(100) 또는 대화 관리 서버(200)는, 텍스트 데이터로의 변환 요청에 따라, 디스플레이된 이미지 아이콘들에서 선택된 이미지 아이콘에 대응하는 음성 데이터를 텍스트 데이터로 변환(S40)한다. 또는 이전의 변환에 의해 이미 저장된 것을 이용할 수도 있다.

예를 들어, 휴대형 단말(100)이 직접 음성 데이터를 텍스트 데이터로 변환하거나 휴대형 단말(100)이 변환 요청을 구성하고 대화 관리 서버(200)가 변환 요청의 음성 데이터를 텍스트 데이터로 변환할 수 있다.

이후, 휴대형 단말(100)은 변환된 텍스트 데이터를 저장(S50)한다. 예를 들어 휴대형 단말(100)은 변환된 텍스트 데이터를 로컬의 저장부(107)에 저장하고 대화 관리 서버(200)에 저장한다.

텍스트 데이터의 변환 이후에, 휴대형 단말(100) 또는 대화 관리 서버(200)는 사용자에 의해 입력된 검색 텍스트를 변환된 텍스트 데이터를 포함하는 일련의 대화 콘텐츠 상에서 검색(S60)한다.

예를 들어, 휴대형 단말(100)은 사용자에 의해 지정된 단일 대화 상대자와 송수신되었던 대화 콘텐츠들을 대상으로 텍스트 검색을 할 수 있도록 검색창을 사용자에게 제공한다.

휴대형 단말(100)은 입력된 검색 텍스트와 저장부(107)에 구성된 지정 대화 상대자와의 통합 대화 스토리의 대화 콘텐츠들을 비교하여 검색 텍스트가 존재하는 지를 결정한다. 대안으로 휴대형 단말(100)은 검색 텍스트를 포함하는 검색 요청을 구성하여 대화 관리 서버(200)로 전송하고 검색 결과를 수신할 수 있다.

검색이 이루어지는 대화 콘텐츠들은 단일 대화 상대자를 대상으로 복수의 프로그램에 의해서 생성된 대화들이다. 또한, 특정 대화 콘텐츠는 텍스트 데이터로 변환되어 변환된 텍스트 데이터를 대상으로 검색이 이루어져 음성에 대해서도 통합적인 검색이 가능하다.

수신되거나 휴대형 단말(100)에 의해 결정되는 검색 결과는 통합 대화 스토리 내에서 식별되는 대화 콘텐츠(대화 아이템)의 식별자 및 대화 콘텐츠 내에서의 위치 영역(시작 위치 및/또는 종료 위치)을 포함할 수 있다.

휴대형 단말(100)은 검색 결과를 이용하여 검색 텍스트가 발견된 대화 콘텐츠 및/또는 대응하는 이미지 아이콘을 강조하여 디스플레이부(109)를 통해 디스플레이(S70)한다.

특정 대화 콘텐츠는 변환된 텍스트를 포함하는 대화일 수 있고 해당 대화 콘텐츠는 텍스트 검색을 통해 강조될 수 있다. 사용자는 사용자 입력을 통해 변환된 텍스트 데이터를 포함하는 대화 콘텐츠를 선택할 수 있고 휴대형 단말(100)은 변환된 텍스트 데이터를 팝업창을 통해 디스플레이(S80)한다.

변환된 텍스트 데이터 중 검색 텍스트 또는 검색 텍스트를 포함하는 단위 블록은 하일라이트될 수 있다.

휴대형 단말(100)의 사용자는 변환된 텍스트 데이터를 단위 블록별로 선택할 수 있고 휴대형 단말(100)은 선택된 단위 블록부터 대응하는 음성 데이터를 이용하여 사용자 선택 입력에 대응하는 음성을 재생(S90)한다.

이와 같은 제어 흐름을 통해, 대화 상대자별 통합적인 대화 콘텐츠 관리가 가능하고 나아가 통일적인 대화 검색이 가능하다.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니다.

100 : 휴대형 단말
101 : 통신부 103 : 입력부
105 : 출력부 107 : 저장부
109 : 디스플레이부 111 : 연결부
113 : 제어부
200 : 대화 관리 서버
201 : 통신 유닛 203 : 저장 유닛
205 : 연결 유닛 207 : 제어 유닛
300 : 대화 공유 단말
400 : 인터넷망

Claims (13)

1. 휴대형 단말 또는 대화 관리 서버가 상기 휴대형 단말에 디스플레이된 이미지 아이콘의 대화 콘텐츠에 대응하는 음성 데이터를 텍스트 데이터로 변환하는 단계;
   휴대형 단말이 변환된 텍스트 데이터를 저장하는 단계; 및
   상기 휴대형 단말 또는 대화 관리 서버가 입력된 검색 텍스트를 변환된 텍스트 데이터를 포함하는 대화 콘텐츠에서 검색하는 단계;를 포함하는,
   대화 검색 방법.
2. 제1항에 있어서,
   상기 음성 데이터의 텍스트 데이터로의 변환 이전에, 복수의 프로그램을 통해 지정된 단일 대화 상대자를 대상으로 송수신되는 대화 콘텐츠들과 대응하는 이미지 아이콘들을 송수신 시각에 따라 휴대형 단말이 디스플레이하는 단계;를 더 포함하고,
   상기 이미지 아이콘들 각각은 대응하는 대화 콘텐츠를 생성한 프로그램의 타입과 송수신 타입에 따라 서로 다른 이미지로 각 대화 콘텐츠의 송수신 시각 순으로 디스플레이되는,
   대화 검색 방법.
3. 제2항에 있어서,
   상기 복수의 프로그램은 음성전화 프로그램, 메일 프로그램, 문자 메시지 프로그램 및 문자 메신저 프로그램 중 둘 이상을 포함하는,
   대화 검색 방법.
4. 제2항에 있어서,
   상기 이미지 아이콘들을 디스플레이하기 이전에, 상기 휴대형 단말은 상기 휴대형 단말에 저장되어 있는 통합 스토리 관리 프로그램을 통해 상기 복수의 프로그램으로부터 지정된 단일 대화 상대자로부터 송수신되는 대화 콘텐츠를 결정하고 대화 콘텐츠들 및 대응 이미지 아이콘들을 송수신 시각에 맵핑하여 순서 리스트를 구성하는 단계;를 더 포함하는,
   대화 검색 방법.
5. 제2항에 있어서,
   상기 검색 단계는, 지정된 단일 대화 상대자와 송수신되는 대화 콘텐츠들을 대상으로 텍스트 검색을 하기 위해, 변환된 텍스트 데이터와 텍스트로 구성되고 복수의 프로그램에 의해 구성된 상기 대화 콘텐츠들을 대상으로 입력된 검색 텍스트를 검색하며,
   상기 대화 검색 방법은 휴대형 단말이 검색 텍스트가 발견된 대화 콘텐츠 또는 이미지 아이콘을 강조하여 디스플레이하는 단계;를 더 포함하는,
   대화 검색 방법.
6. 제4항에 있어서,
   상기 구성 단계에서, 상기 통합 스토리 관리 프로그램은 상기 프로그램의 로딩시에 상기 지정된 단일 대화 상대자의 이동전화번호에 대응하는 대화 콘텐츠를 복수의 프로그램 각각으로부터 송수신 타입 및 송수신 시각과 함께 수신하고, 대화 콘텐츠를 전달한 프로그램의 타입과 송수신 타입에 따라 이미지 아이콘을 결정하고 결정된 이미지 아이콘을 대화 콘텐츠에 맵핑하여 복수의 프로그램에 의해 전달받은 대화 콘텐츠들과 대응 이미지 아이콘들을 송수신 시각 순으로 순서 리스트를 구성하여 지정된 단일 대화 상대자를 위한 통합 대화 스토리를 구성하는,
   대화 검색 방법.
7. 제1항에 있어서,
   검색 단계 이후에, 휴대형 단말이 변환된 텍스트 데이터를 디스플레이하는 단계; 및
   휴대형 단말이 디스플레이된 변환 텍스트 데이터에 대한 사용자 입력에 따라 대응하는 음성 데이터를 이용하여 사용자 입력에 대응하는 단위 블록부터 음성을 재생하는 단계;를 더 포함하는,
   대화 검색 방법.
8. 대화 검색이 가능한 휴대형 단말로서,
   이미지 아이콘 및 대화 콘텐츠를 저장하는 저장부;
   상기 이미지 아이콘 및 대화 콘텐츠를 디스플레이하는 디스플레이부;
   사용자 입력을 수신하는 입력부; 및
   상기 사용자 입력에 따라 디스플레이된 상기 이미지 아이콘에 대응하는 대화 콘텐츠의 음성 데이터를 텍스트 데이터로 변환하고 변환된 텍스트 데이터를 상기 대화 콘텐츠에 맵핑하여 상기 저장부에 저장하는 제어부;를 포함하며,
   상기 제어부는 상기 입력부를 통해 입력된 검색 텍스트를 변환된 텍스트 데이터를 포함하는 대화 콘텐츠에서 검색하는,
   휴대형 단말.
9. 제8항에 있어서,
   상기 제어부는, 상기 음성 데이터의 텍스트 데이터로의 변환 이전에, 복수의 프로그램을 통해 지정된 단일 대화 상대자를 대상으로 송수신되는 대화 콘텐츠들과 대응하는 이미지 아이콘들을 송수신 시각에 따라 디스플레이부로 출력하고,
   상기 이미지 아이콘들 각각은 대응하는 대화 콘텐츠를 생성한 프로그램의 타입과 송수신 타입에 따라 서로 다른 이미지로 각 대화 콘텐츠의 송수신 시각 순으로 디스플레이되는,
   휴대형 단말.
10. 제9항에 있어서,
    상기 저장부는 통합 스토리 관리 프로그램 및 대화 콘텐츠를 생성할 수 있는 복수의 프로그램을 더 저장하고,
    상기 제어부는 상기 통합 스토리 관리 프로그램을 통해 상기 복수의 프로그램으로부터 지정된 이동전화번호에 의해 식별되는 단일 대화 상대자로부터 송수신되는 대화 콘텐츠를 결정하고 대화 콘텐츠들 및 대응 이미지 아이콘들을 송수신 시각에 따라 맵핑하여 순서 리스트를 구성하는,
    휴대형 단말.
11. 제8항에 있어서,
    상기 제어부는, 검색 이후에, 변환된 텍스트 데이터를 디스플레이부로 출력하고 입력부를 통한 변환 텍스트 데이터에 대한 사용자 입력에 따라 변환된 텍스트 데이터에 대응하는 음성 데이터를 이용하여 사용자 입력에 대응하는 단위 블록부터 음성을 재생하는,
    휴대형 단말.
12. 데이터를 송수신하는 통신 유닛;
    휴대형 단말에서 구동되는 복수의 프로그램을 이용하여 구성되는 지정 대화 상대자별 통합 대화 스토리를 저장하는 저장 유닛; 및
    상기 통신 유닛을 통한 휴대형 단말로부터의 지정된 대화 상대자의 통합 대화 스토리에 대한 처리 요청을 수신하고 처리 결과를 상기 통신 유닛을 통해 상기 휴대형 단말로 전송하는 제어 유닛;을 포함하며,
    상기 제어 유닛은 휴대형 단말로부터의 대화 콘텐츠에 대응하는 음성 데이터의 변환 요청에 따라 상기 대화 콘텐츠의 음성 데이터를 텍스트 데이터로 변환하고 변환된 텍스트 데이터를 상기 통합 대화 스토리 내의 상기 대화 콘텐츠에 맵핑하여 상기 저장 유닛에 저장하고 처리 결과로서 변환된 텍스트 데이터를 상기 휴대형 단말로 전송하며,
    상기 제어부는 상기 휴대형 단말로부터 검색 텍스트를 포함하는 검색 요청에 따라 상기 통합 대화 스토리 내의 변환된 텍스트를 포함하는 대화 콘텐츠들에서 상기 검색 텍스트를 검색하고 검색 결과를 상기 휴대형 단말로 전송하는,
    대화 관리 서버.
13. 제12항에 있어서,
    상기 제어 유닛은 통신 유닛을 통해 휴대형 단말로부터 수신되는 대화 콘텐츠, 상기 대화 콘텐츠를 생성한 프로그램의 타입, 송수신 타입, 송수신 시각을 포함하는 통합 대화 스토리 갱신 요청에 따라 상기 저장 유닛의 통합 대화 스토리에 신규 대화 아이템을 생성하여 추가하는,
    대화 관리 서버.

Images