KR20150026726A - 편집형 영상 객체를 이용한 커뮤니케이션 장치 및 그 방법 - Google Patents

편집형 영상 객체를 이용한 커뮤니케이션 장치 및 그 방법 Download PDF

Info

Publication number
KR20150026726A
KR20150026726A KR20140000328A KR20140000328A KR20150026726A KR 20150026726 A KR20150026726 A KR 20150026726A KR 20140000328 A KR20140000328 A KR 20140000328A KR 20140000328 A KR20140000328 A KR 20140000328A KR 20150026726 A KR20150026726 A KR 20150026726A
Authority
KR
South Korea
Prior art keywords
user
video object
intention
interface
unit
Prior art date
Application number
KR20140000328A
Other languages
English (en)
Inventor
주상현
정재숙
이지원
장시환
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US14/474,044 priority Critical patent/US20150067558A1/en
Priority to CN201410648859.3A priority patent/CN104426913A/zh
Publication of KR20150026726A publication Critical patent/KR20150026726A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12—Messaging; Mailboxes; Announcements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/50—Business processes related to the communications industry

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Telephonic Communication Services (AREA)

Abstract

편집형 영상 객체를 이용한 디지털 커뮤니케이션 장치에 관한 것으로, 일 실시예에 따르면, 그 장치는 인터페이스를 통하여 사용자의 의사를 입력받는 의사 입력부와, 사용자가 인터페이스를 통해 추천 영상 객체를 편집하면 편집된 영상 객체의 메타데이터를 생성하는 영상 객체 처리부 및 생성된 영상 객체의 메타데이터를 포함하는 메시지를 상대방 단말에 전송하는 메시지 관리부를 포함할 수 있다.

Description

편집형 영상 객체를 이용한 커뮤니케이션 장치 및 그 방법{COMMUNICATION APPARATUS AND METHOD USING EDITABLE VISUAL OBJECT}
편집형 영상 객체를 이용한 커뮤니케이션 장치 및 방법에 관한 것으로, 보다 상세하게는 사용자가 주어진 영상 객체를 자유로운 의사에 따라 편집하여 적용할 수 있는 디지털 커뮤니케이션 기술과 관련된다.
일반적으로 온라인에서 영상 객체를 활용한 커뮤니케이션은 이모티콘, 플래시콘 등 미리 설정된 영상 객체 풀(Pool)에서 사용자가 이를 선택하여 상대방에게 전송하는 방식으로 사용된다. 이러한 영상 객체를 활용한 커뮤니케이션은 텍스트의 한정된 커뮤니케이션 영역을 뛰어 넘어 서로 다른 언어나 문화를 가진 사람들 사이에서 커뮤니케이션이 가능하게 하는 역할을 담당하고 있다.
한국공개특허 제10-2013-0049415호는 동적 이모티콘을 이용하여 인스턴트 메시징 서비스를 제공하는 방법 및 그 방법을 실행하는 이동 단말을 개시하고 있다. 하지만, 개시된 바와 같은 일반적인 커뮤니케이션 기법에서는 이미 개발자가 정해놓은 영상 객체만을 선택할 수 있어서 사용자가 원하는 정확한 의사전달에는 그 한계가 있으며, 영상 객체의 풀(Pool)이 커짐에 따라 해당 데이터를 관리하는 데에도 어려움이 따른다. 또한 일반적인 영상 객체를 활용한 커뮤니케이션 플랫폼에서는 영상 객체의 크기나, 회전, 반전 등의 다양한 편집기능을 활용할 수 없고, 이미 저장되어 있는 영상 객체만을 사용해야 하는 한계가 있다. 특히 영상 객체의 수가 증가하게 되면 자신이 원하는 영상 객체를 조회하는 데에도 상당한 시간이 소요된다는 단점이 있고, 사용자 개개인에 따른 선호 영상 객체를 추천하는 기술 역시 사용자가 선택한 영상 객체의 선택 빈도 또는 사용 히스토리만을 단순히 보여주는데 그치는 한계가 있다.
사용자의 영상 객체 사용 패턴과 사용자의 텍스트, 음성, 영상들을 인식하여 상황에 적절한 영상 객체를 추천하고, 사용자가 자유자재로 영상 객체를 변형하여 커뮤니케이션할 수 있는 장치 및 방법이 제시된다.
일 양상에 따르면, 커뮤니케이션 장치는 인터페이스를 통하여 사용자의 의사를 입력받는 의사 입력부, 사용자의 의사와 관련된 추천 영상 객체를 인터페이스에 출력하고, 사용자가 인터페이스를 통해 상기 추천 영상 객체를 편집하면, 편집된 영상 객체의 메타데이터를 생성하는 영상 객체 처리부 및 생성된 영상 객체의 메타데이터를 포함하는 메시지를 상대방 단말에 전송하는 메시지 관리부를 포함할 수 있다.
이때, 의사 입력부는 인터페이스를 통하여 텍스트, 음성, 터치 및 영상 입력 중의 적어도 어느 하나의 사용자 의사를 입력받을 수 있다.
영상 객체 처리부는 입력된 사용자의 의사를 분석하는 의사 분석부 및 사용자의 의사 분석 결과를 기초로 영상 객체 데이터베이스에서 추천 영상 객체를 검색하여 인터페이스에 출력하는 영상 객체 추천부를 포함할 수 있다.
의사 분석부는 사용자의 의사가 음성으로 입력되면, 그 음성을 텍스트로 변환하는 텍스트 변환부 및 사용자의 의사가 텍스트로 입력되거나, 텍스트 변환부에 의해 음성이 텍스트로 변환되면, 그 텍스트를 분석하여 키워드를 추출하는 키워드 추출부를 포함할 수 있다.
의사 분석부는 추출된 키워드가 미리 정의된 언어가 아니면, 미리 정의된 언어로 변환하는 다언어 변환부를 더 포함할 수 있다.
의사 분석부는 사용자의 의사가 영상으로 입력되면, 입력된 영상을 인식하여 추천 영상 객체에 대한 정보를 추출하는 영상 인식부를 포함할 수 있다.
또한, 커뮤니케이션 장치는 사용자의 단말에 인터페이스를 출력하고, 인터페이스에서 사용자의 편집 동작이 수행되는 동안 그 편집 동작에 응답하여 인터페이스에 추천 영상 객체의 편집 과정을 출력하는 인터페이스부를 더 포함할 수 있다.
또한, 커뮤니케이션 장치는 영상 객체의 메타데이터가 생성되면 메타데이터를 영상 객체 데이터베이스에 저장하는 데이터베이스 관리부를 더 포함할 수 있다.
데이터베이스 관리부는 영상 객체 데이터베이스에 변경이 발생하면 동기화 정보를 커뮤니케이션 서버에 전송하고, 커뮤니케이션 서버로부터 편집형 영상 객체의 동기화 정보를 수신하여 영상 객체 데이터베이스에 반영할 수 있다.
일 양상에 따르면, 커뮤니케이션 방법은 인터페이스를 통하여 사용자의 의사를 입력받는 단계, 사용자의 의사와 관련된 추천 영상 객체를 인터페이스에 출력하는 단계, 사용자가 인터페이스를 통해 추천 영상 객체를 편집하면, 편집된 영상 객체의 메타데이터를 생성하는 단계 및 생성된 영상 객체의 메타데이터를 포함하는 메시지를 상대방 단말에 전송하는 단계를 포함할 수 있다.
또한, 커뮤니케이션 방법은 사용자의 의사가 입력되면, 입력된 사용자의 의사를 분석하는 단계 및 사용자의 의사 분석 결과를 기초로 영상 객체 데이터베이스에서 추천 영상 객체를 검색하는 단계를 더 포함할 수 있다.
이때, 사용자의 의사를 분석하는 단계는 입력된 사용자의 의사의 타입을 판단하는 단계, 판단 결과 사용자 의사의 타입이 음성이면, 그 음성을 텍스트로 변환하는 단계 및 판단 결과 사용자 의사의 타입이 텍스트이거나, 텍스트 변환 단계에서 음성이 텍스트로 변환되면, 그 텍스트를 분석하여 키워드를 추출하는 단계를 포함할 수 있다.
이때, 사용자의 의사를 분석하는 단계는 추출된 키워드가 미리 정의된 언어가 아니면, 미리 정의된 언어로 변환하는 단계를 더 포함할 수 있다.
사용자의 의사를 분석하는 단계는 판단 결과 사용자 의사의 타입이 영상이면, 입력된 영상을 인식하여 추천 영상 객체에 대한 정보를 추출하는 단계를 더 포함할 수 있다.
또한, 커뮤니케이션 방법은 사용자의 단말에 인터페이스를 출력하는 단계 및 인터페이스에서 사용자의 편집 동작이 수행되는 동안 그 편집 동작에 응답하여 인터페이스에 추천 영상 객체의 편집 과정을 출력하는 단계를 더 포함할 수 있다.
또한, 커뮤니케이션 방법은 영상 객체의 메타데이터가 생성되면 메타데이터를 영상 객체 데이터베이스에 저장하는 단계를 더 포함할 수 있다.
또한, 커뮤니케이션 방법은 영상 객체 데이터베이스에 변경이 발생하면 동기화 정보를 생성하는 단계, 생성된 동기화 정보를 커뮤니케이션 서버에 전송하는 단계, 커뮤니케이션 서버로부터 편집형 영상 객체의 동기화 정보를 수신하는 단계 및 수신된 동기화 정보를 영상 객체 데이터베이스에 반영하는 단계를 더 포함할 수 있다.
사용자의 영상 객체 사용 패턴과 사용자의 텍스트, 음성, 영상들을 인식하여 상황에 적절한 영상 객체를 추천해 줌으로써 사용자가 제공된 영상 객체를 자유자재로 편집하여 커뮤니케이션에 활용할 수 있어 서로 다른 언어 간에도 원만한 의사소통이 가능해진다.
도 1은 일 실시예에 따른 커뮤니케이션 시스템의 구성도이다.
도 2는 일 실시예에 따른 커뮤니케이션 장치의 블록도이다.
도 3은 도 2의 커뮤니케이션 장치 중의 영상 객체 처리부의 상세 블록도이다.
도 4는 도 3의 영상 객체 처리부 중의 의사 분석부의 상세 블록도이다.
도 5는 도 2의 커뮤니케이션 장치 중의 데이터베이스관리부의 상세 블록도이다.
도 6은 도 2의 커뮤니케이션 장치 중의 메시지 관리부의 상세 블록도이다.
도 7은 일 실시예에 따른 커뮤니케이션 서버의 블록도이다.
도 8은 일 실시예에 따른 커뮤니케이션 방법의 흐름도이다.
도 9는 도 8의 커뮤니케이션 방법 중의 의사 분석 단계의 상세 흐름도이다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다. 기재된 기술의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 편집형 영상 객체를 이용한 디지털 커뮤니케이션 장치 및 그 방법의 실시예들을 도면들을 참고하여 자세히 설명하도록 한다.
도 1은 일 실시예에 따른 커뮤니케이션 시스템의 구성도이다.
도 1을 참조하면, 커뮤니케이션 시스템은 복수의 사용자 단말(110,120)과 커뮤니케이션 서버(130)를 포함할 수 있다.
사용자 단말(110,120)은 도시된 바와 같이 커뮤니케이션 서버(130)를 경유하여 각종 메시지를 송수신할 수 있다. 이때, 사용자 단말(110,120)은 스마트폰, 스마트 패드 등의 모바일 단말, 노트북, 데스크탑 PC 등의 단말을 포함할 수 있다.
또한, 제1 단말(110) 또는 제2 단말(120)은 사용자들이 서로 비쥬얼 커뮤니케이션을 가능하게 하는 커뮤니케이션 장치를 탑재할 수 있다. 이때, 제1 단말(110) 및 제2 단말(120) 중의 어느 하나에만 본 발명의 일 실시예에 따른 커뮤니케이션 장치가 탑재되는 것이 가능하다.
이하, 설명의 편의를 위하여 제1 단말(110)에 커뮤니케이션 장치가 탑재되어 있는 것으로 가정하고 제1 단말(110)에 대해 설명한다. 하지만, 제2 단말(120)에 커뮤니케이션 장치가 탑재되는 경우 제2 단말(120) 역시 이하에서 자세히 설명하는 기능을 수행할 수 있다.
제1 단말(110)은 그 커뮤니케이션 장치를 통해 사용자가 다양한 편집형 영상 객체를 생성하고, 생성된 편집형 영상 객체를 이용하여 메시지를 생성할 수 있도록 하며, 생성된 메시지를 커뮤니케이션 서버(130)를 통해 제2 단말(120)에 전송할 수 있다.
제1 단말(110)은 사용자의 의사를 입력받고, 사용자가 편집하고자 하는 영상 객체를 추천하며, 사용자가 추천한 영상 객체를 편집하면, 편집된 영상 객체를 메시지에 포함하여 제2 단말(120)에 전송할 수 있다.
이를 위해, 제1 단말(110)은 사용자가 용이하게 의사를 입력하고, 추천 영상 객체를 편집할 수 있도록 인터페이스를 제공할 수 있다. 또한, 제1 단말(110)은 그 인터페이스를 통해 사용자가 텍스트, 음성, 영상 등의 다양한 방법으로 자신의 의사를 입력할 수 있도록 지원한다.
예를 들어, 제1 단말(110)은 인터페이스에 사용자가 텍스트로 의사를 입력할 수 있도록 텍스트 입력 박스를 출력할 수 있다. 또는, 사용자가 음성을 입력할 수 있도록 마이크 모양의 아이콘과 같은 음성 입력 객체를 출력하고, 사용자가 음성 입력 객체를 선택하면 제1 단말(110)에 탑재되거나 외부에 연동된 마이크를 제어하여 음성을 입력받을 수 있다. 또는, 사용자가 영상을 입력할 수 있도록 카메라 모양의 아이콘과 같은 영상 입력 객체를 출력하고, 사용자가 그 영상 입력 객체를 선택하면 영상 촬영 모듈을 제어하여 사용자의 얼굴 영상이나 손 등의 제스처 영상을 입력받을 수 있다.
또한, 제1 단말(110)은 사용자의 의사가 입력되면 그 의사와 관련된 편집형 영상 객체를 사용자에게 추천하고, 사용자가 그 편집형 영상 객체를 편집하면, 편집 정보를 기초로 새로운 편집형 영상 객체를 생성하여 관리하고, 이를 사용자가 상대방에게 전달하고자 하는 대화 내용과 함께 메시지로 생성하여 커뮤니케이션 서버(130)에 전송할 수 있다.
또한, 제1 단말(110)은 커뮤니케이션 서버(120)와 실시간으로 동기화하여 편집형 영상 객체를 관리하는 데이터베이스를 최신 데이터로 관리할 수 있다.
커뮤니케이션 서버(130)는 제1 단말(110)로부터 제2 단말(120)에 전송할 메시지가 전송되면 이를 수신하여 제2 단말(120)에 전송한다.
또한, 제1 단말(110)과 실시간으로 동기화하여 제1 단말(110)에서 새로 생성된 편집형 영상 객체에 대한 정보를 데이터베이스에 갱신하고, 동기화 중인 다른 단말들에게 동기화 정보를 전송하여 갱신하도록 할 수 있다.
이와 같이, 커뮤니케이션 서버(130)는 복수의 사용자들 사이의 메시지를 중개하고, 복수의 사용자들이 생성하는 편집형 영상 객체를 저장 및 관리하고, 다른 사용자들의 단말에 변경된 정보를 전송하여 각 단말에서 자체적으로 최신의 편집형 영상 객체 데이터베이스를 관리할 수 있도록 한다.
도 2는 일 실시예에 따른 커뮤니케이션 장치의 블록도이다.
도 2는 도 1의 사용자 단말(110,120)에 탑재될 수 있는 커뮤니케이션 장치(200)의 일 실시예로서, 도 2를 참조하여 좀 더 구체적으로 설명한다.
도 2에 도시된 바와 같이, 커뮤니케이션 장치(200)는 인터페이스부(210), 의사입력부(220), 영상 객체 처리부(230), 메시지 관리부(240) 및 데이터베이스 관리부(250)를 포함할 수 있다.
인터페이스부(210)는 사용자 단말에 인터페이스를 출력한다. 인터페이스는 사용자가 자신의 의사를 입력하고, 추천 편집형 영상 객체를 편집할 수 있는 다양한 기능을 지원할 수 있다.
예를 들어, 인터페이스에는 사용자가 의사를 텍스트, 음성, 영상, 터치 입력이 가능하도록 다양한 그래픽 객체들이 출력될 수 있다. 즉, 사용자가 자신의 의사를 텍스트로 입력할 수 있도록 텍스트 박스가 출력될 수 있다. 또한, 사용자가 마이크를 통한 음성 입력이 가능하도록 음성 입력을 요청받는 음성 입력 객체가 출력될 수 있으며, 카메라와 같은 영상 촬영 모듈을 통해 영상 입력이 가능하도록 영상 입력을 요청받는 영상 입력 객체가 출력될 수 있다.
또한, 인터페이스는 사용자의 의사에 따라 추천되는 편집형 영상 객체가 출력되는 편집 영역을 포함할 수 있다. 사용자는 이 편집 영역에서 미리 정의된 다양한 방법으로 편집형 영상 객체를 편집할 수 있다.
이때, 인터페이스부(210)는 사용자가 편집 영역에서 추천 편집형 영상 객체를 편집하면 그에 대응하여 추천 편집형 영상 객체가 편집되는 과정을 출력할 수 있다. 즉, 사용자가 편집형 영상 객체의 정보를 수정할 때마다 실시간으로 수정된 정보에 대응하는 편집형 영상 객체를 출력함으로써 변경되는 과정을 보여줄 수 있다.
의사입력부(220)는 사용자가 전술한 바와 같이 인터페이스에서 다양한 방법을 통해 자신의 의사를 입력하면 이를 수신하여, 영상 객체 처리부(230) 및 메시지 관리부(240)가 다음 절차를 수행할 수 있도록 한다.
영상 객체 처리부(230)는 의사입력부(220)에서 사용자의 의사를 입력받으면, 사용자의 의사와 관련된 추천 영상 객체를 인터페이스에 출력할 수 있다. 또한, 사용자가 인터페이스에 출력된 추천 영상 객체를 편집하면 그 편집 정보를 기초로 편집된 영상 객체를 생성한다. 이때, 편집된 영상 객체의 메타데이터를 생성함으로써 영상 객체를 생성할 수 있다.
메시지 관리부(240)는 사용자가 상대방에게 전송하고자 하는 대화 내용과 생성된 편집형 영상 객체의 메타데이터를 포함하여 메시지를 생성하고, 생성된 메시지를 상대방의 단말에 전송한다. 이때, 메시지 관리부(240)는 커뮤니케이션 서버에 메시지를 전송하여 상대방 단말에 전송하도록 요청할 수 있다.
데이터베이스 관리부(250)는 사용자에 의해 새로운 편집형 영상 객체가 생성되면 이를 영상 객체 데이터베이스에 저장하고, 커뮤니케이션 서버와 실시간으로 동기화하여 영상 객체 데이터베이스를 최신 상태로 유지할 수 있다.
도 3은 도 2의 커뮤니케이션 장치 중의 영상 객체 처리부의 상세 블록도이다. 도 4는 도 3의 영상 객체 처리부 중의 의사 분석부의 상세 블록도이다.
도 3 및 도 4를 참조하여, 일 실시예에 따른 영상 객체 처리부(300)를 좀 더 구체적으로 설명한다.
도 3에 도시된 바와 같이, 영상 객체 처리부(300)는 의사 분석부(310), 영상 객체 추천부(320), 및 영상 객체 편집부(330)를 포함할 수 있다.
의사 분석부(310)는 사용자의 의사가 입력되면, 사용자의 의사를 분석한다.
도 4를 참조하여, 의사 분석부(310)를 좀 더 상세하게 설명하면, 의사 분석부(310)는 키워드 추출부(311), 텍스트 변환부(312), 다언어 변환부(313) 및 영상 인식부(314)를 포함할 수 있다.
키워드 추출부(311)는 사용자의 의사가 텍스트로 입력되면, 텍스트에서 추천 영상 객체를 검색하기 위한 키워드를 추출할 수 있다.
이때, 사용자가 입력한 텍스트는 "눈", "눈물", "깜박임" 등과 같이 키워드 형식으로 입력될 수 있으나, "눈물을 흘리며 깜박이고 있는 눈"과 같이 자연어 형태로 입력되는 것도 가능하다.
키워드 추출부(311)는 먼저, 텍스트가 키워드 형식으로 입력되었는지 자연어 형태로 입력되었는지 판단할 수 있다. 이후, 사용자의 의사가 키워드 형식으로 입력되었으면 입력된 키워드를 바로 추천 영상 객체의 검색을 위한 키워드로 사용하고, 자연어 형태로 입력되었으면 이미 알려진 다양한 분석 기술을 이용해 "눈물", "깜박임", "눈"과 같은 키워드를 추출할 수 있다.
또한, 텍스트 변환부(312)는 사용자의 의사가 음성으로 입력되면, 음성을 텍스트로 변환한다. 이때, 음성을 텍스트로 변환하는 기술은 이미 알려진 모든 기술이 적용될 수 있다.
이후, 키워드 추출부(311)는 앞에서 설명한 바와 같이 사용자의 음성이 텍스트로 변환되면, 변환된 텍스트에서 키워드를 추출할 수 있다.
다언어 변환부(313)는 추출된 키워드가 미리 정의된 언어(예: 한국어)가 아니면 미리 정의된 언어로 변환할 수 있다. 이때, 다언어 변환부(313)는 다양한 언어 사이의 키워드 변환 모델을 관리할 수 있으며, 해당 변환 모델을 이용하여 미리 정의된 언어로 변환할 수 있다.
이와 같이, 본 발명의 일 실시예에 따르면, 사용자는 자신들이 사용하는 언어에 구애됨이 없이 다른 사용자들과 비쥬얼 커뮤니케이션을 수행할 수 있다.
영상 인식부(314)는 얼굴, 손 제스처 등의 영상이 입력되면, 다양한 얼굴 인식이나 제스처 인식 기법을 이용하여 미리 정의된 영상 객체 정보를 추출할 수 있다. 이때, 영상 인식부(314)는 얼굴의 입 모양, 얼굴 표정, 손 제스처 등에 따라 미리 정의된 키워드 또는 추천 영상 객체의 아이디을 영상 객체 정보로서 추출할 수 있다. 이때, 얼굴 인식이나 제스처 인식 기법은 이미 알려진 다양한 기법들이 적용될 수 있으므로, 이하 자세한 설명은 생략한다.
다시 도 3을 참조하면, 영상 객체 추천부(320)는 의사 분석부(310)에 의해 사용자의 의사가 분석되어 키워드 또는 추천 영상 객체의 아이디 등의 정보가 추출되면 그 정보를 이용하여 영상 객체 데이터베이스에서 사용자에게 추천할 영상 객체를 검색하여 사용자에게 제공할 수 있다.
영상 객체 편집부(330)는 사용자가 추천 영상 객체를 편집하면 그 편집 정보를 기초로 편집된 영상 객체의 메타데이터를 생성할 수 있다. 이때, 사용자에 의해 추천 영상 객체의 정보가 수정될 때마다 실시간으로 그에 대응하는 영상 객체를 생성할 수 있다.
도 5는 도 2의 커뮤니케이션 장치 중의 데이터베이스관리부의 상세 블록도이다.
도 5를 참조하여, 일 실시예에 따른 데이터베이스 관리부(500)를 좀 더 상세하게 설명한다.
도시된 바와 같이, 데이터베이스 관리부(500)는 영상 객체 저장부(510), 영상 객체 데이터베이스(520), 동기화부(530) 및 동기화 정보 송수신부(540)를 포함할 수 있다.
영상 객체 저장부(510)는 사용자에 의해 추천 영상 객체의 편집이 완료되어 새로운 영상 객체의 메타데이터가 생성되면, 그 영상 객체의 메타데이터를 영상 객체 데이터베이스(520)에 저장한다.
영상 객체 데이터베이스(520)는 사용자가 생성한 영상 객체들뿐만 아니라 커뮤니케이션 서버와의 동기화를 통해 다른 사용자들이나 개발자들이 생성한 다양한 편집형 영상 객체들을 저장할 수 있다.
동기화부(530)는 커뮤니케이션 서버와 실시간 동기화 신호를 송수신하여 동기화함으로써 영상 객체 데이터베이스(520)를 최신 정보로 유지할 수 있다.
예를 들어, 영상 객체 저장부(510)에 의해 새로운 영상 객체가 영상 객체 데이터베이스(520)에 저장되면 동기화부(530)는 영상 객체 데이터베이스(520)의 변경 사항을 파악하여 동기화 정보를 생성하고, 동기화 정보 송수신부(540)로 하여금 커뮤니케이션 서버에 송신하도록 할 수 있다.
또한, 동기화부(530)는 동기화 정보 송수신부(540)가 커뮤니케이션 서버로부터 동기화 정보를 수신하면, 이를 영상 객체 데이터베이스(520)에 반영한다. 즉, 다른 사용자에 의해 새로운 영상 객체들이 커뮤니케이션 서버에 전송되면, 커뮤니케이션 서버는 변경 사항을 파악하여 새로 등록된 영상 객체들의 메타데이터를 포함하는 동기화 정보를 전송하고, 동기화 정보 송수신부(540)는 이를 수신하여 동기화부(530)로 하여금 영상 객체 데이터베이스(520)에 갱신하도록 할 수 있다.
도 6은 도 2의 커뮤니케이션 장치 중의 메시지 관리부의 상세 블록도이다.
도 6을 참조하여, 일 실시예에 따른 메시지 관리부(600)를 좀 더 구체적으로 설명하면, 메시지 관리부(600)는 도시된 바와 같이, 메시지 생성부(610), 메시지 송수신부(620), 대화 데이터베이스(630) 및 메시지 출력부(640)를 포함할 수 있다.
메시지 생성부(610)는 사용자가 추천 영상 객체를 편집하여 전송하고자 하는 영상 객체를 생성하면, 생성된 영상 객체를 포함한 메시지를 생성한다. 이때, 메시지에는 사용자가 상대방에게 전송하고자 하는 영상 객체 외에 텍스트, 음성, 영상 형식의 대화 내용을 더 포함할 수 있다. 사용자는 전술한 바와 같이 인터페이스에서 제공되는 다양한 기능을 이용하여 사용자의 의사와 함께 전송할 대화 내용을 입력할 수 있다.
메시지 생성부(610)는 이와 같이 생성한 메시지를 대화 데이터베이스(630)에 저장하여 대화 내용을 관리할 수 있다. 또한, 메시지 생성부(610)는 사용자의 요청에 따라 대화 데이터베이스(630)를 참조하여 기 생성되어 있는 대화 내용을 사용자에게 추천하여 사용자가 비슷한 대화 내용을 재사용할 수 있도록 지원할 수 있다.
메시지 송수신부(620)는 메시지 생성부(610)에 의해 메시지가 생성되면 이를 커뮤니케이션 서버에 전송할 수 있다. 이와 같이 커뮤니케이션 서버에 전송된 메시지는 상대방 단말에 전송되어 출력될 수 있다.
또한, 메시지 송수신부(630)는 커뮤니케이션 서버로부터 상대방 단말의 메시지를 수신할 수 있다.
메시지 출력부(640)는 커뮤니케이션 서버로부터 상대방 단말의 메시지가 수신되면 이를 인터페이스에 출력하여 사용자에게 제공할 수 있다. 메시지 출력부(640)는 수신된 메시지를 대화 데이터베이스에 저장하여, 대하 데이터베이스에서 대화 이력을 관리하도록 할 수 있다.
도 7은 일 실시예에 따른 커뮤니케이션 서버의 블록도이다.
도 7을 참조하면, 커뮤니케이션 서버(700)는 메시지 중개부(710), 동기화 정보 송수신부(720), 동기화부(730), 사용자 객체 데이터베이스(740), DB 분석부(750) 및 전체 객체 데이터베이스(760)를 포함할 수 있다.
메시지 중개부(710)는 어느 단말로부터 메시지가 수신되면 상대방 단말에 수신된 메시지를 전송할 수 있다.
동기화 정보 송수신부(720)는 단말의 커뮤니케이션 장치와 동기화되어 단말의 커뮤니케이션 장치에서 전송되는 동기화 정보를 수신하여 동기화부(730)에 전송하고, 동기화부(730)에 의해 생성되는 동기화 정보를 단말의 커뮤니케이션 장치에 전송할 수 있다.
동기화부(730)는 동기화 정보 송수신부(720)가 단말로부터 동기화 정보를 수신하면 사용자 객체 데이터베이스(740)에서 그 단말의 사용자에 대한 영상 객체 정보를 갱신한다. 이때, 사용자 객체 데이터베이스(740)는 커뮤니케이션 서버(700)를 이용하여 메시지를 주고 받는 사용자들의 영상 객체를 저장하고 관리한다.
또한, 그 단말 사용자의 영상 객체 정보가 갱신됨으로 인해 다른 단말 사용자들에 대한 영상 객체 정보의 갱신이 필요한지 판단하고, 갱신이 필요한 단말에 전송할 동기화 정보를 생성하고 동기화 정보 송수신부(720)로 하여금 해당 단말에 전송하도록 할 수 있다.
DB 분석부(750)는 사용자별로 영상 객체를 관리하고 있는 사용자 객체 데이터베이스(740)를 분석하여, 새로운 영상 객체들이 저장되면 기본 템플릿으로 관리할 필요가 있는 영상 객체인지를 판단하고 기본 템플릿으로 관리할 필요가 있는 영상 객체로 판단되면 이를 전체 객체 데이터베이스(760)에 저장할 수 있다.
이때, 전체 객체 데이터베이스(760)는 개발자들에 의해 미리 생성된 편집형 영상 객체의 템플릿 외에도, DB 분석부(750)에 의해 기본 템플릿으로 추가한 사용자가 생성한 영상 객체를 저장한다.
이와 같이, 다양한 영상 객체의 템플릿을 관리하는 전체 객체 데이터베이스(760)는 향후에 커뮤니케이션 서비스를 이용할 새로운 사용자들에게 영상 객체로 제공되는 데 활용되거나, 그 밖의 다양한 서비스에 활용될 수 있다.
도 8은 일 실시예에 따른 커뮤니케이션 방법의 흐름도이다. 도 9는 도 8의 커뮤니케이션 방법 중의 의사 분석 단계의 상세 흐름도이다.
도 8 및 도 9는 도 2의 커뮤니케이션 장치(200)에 의해 수행되는 커뮤니케이션 방법의 일 실시예일 수 있다. 앞에서, 커뮤니케이션 장치(200)가 수행하는 커뮤니케이션 방법의 실시예들을 자세히 설명하였으므로, 이하 간단하게 설명하기로 한다.
도 8을 참조하면, 커뮤니케이션 장치(200)는 사용자 단말에 인터페이스를 출력한다(단계 810). 이때, 인터페이스는 사용자의 의사를 텍스트, 음성, 영상 등의 다양한 방법으로 입력받을 수 있도록 지원하고, 사용자가 추천 편집형 영상 객체를 용이하게 편집할 수 있도록 지원할 수 있다.
그 다음, 사용자로부터 인터페이스를 통해 사용자의 의사를 입력받는다(단계 820). 이때, 사용자의 의사는 텍스트, 음성, 영상 등으로 입력될 수 있다.
그 다음, 입력된 사용자의 의사를 분석하여 사용자의 의사로부터 키워드나 추천 영상 객체에 대한 정보를 추출할 수 있다(단계 830).
도 9를 참조하여, 사용자의 의사를 분석하는 단계(830)를 좀 더 구체적으로 설명하면, 먼저, 입력된 사용자의 의사 타입을 판단할 수 있다(단계 831).
그 다음, 단계 831에서 판단한 결과 입력된 사용자의 의사가 텍스트이면, 텍스트에서 키워드를 추출할 수 있다(단계 832). 이때, 사용자가 텍스트를 키워드 형식으로 입력한 경우에는 그 입력한 키워드를 그대로 사용하고, 만약, 자연어 형식으로 입력한 경우에는 다양한 분석 기술을 이용하여 키워드를 추출할 수 있다.
그 다음, 추출된 키워드가 미리 정의된 언어(예: 한국어)인지를 판단한다(단계 833).
그 다음, 단계 833에서 판단한 결과 추출된 키워드가 미리 정의된 언어가 아니면 정의된 언어로 변환할 수 있다(단계 834).
만약, 단계 831에서 사용자의 의사 타입을 판단한 결과, 입력된 사용자의 의사가 음성이면, 음성을 텍스트로 변환할 수 있다(단계 835).
이후, 변환된 텍스트를 이용하여 키워드를 추출하는 단계 832에서 단계 834까지를 수행한다.
만약, 단계 831에서 사용자의 의사 타입을 판단한 결과, 사용자의 의사가 영상이면, 영상 인식을 수행한다(단계 836). 이때, 입력된 영상이 얼굴 영상이면 미리 알려진 다양한 얼굴 인식 기법을 통하여 얼굴 인식을 수행하고, 입력된 영상이 손 등의 제스처 영상이면 미리 알려진 다양한 제스처 인식 기술을 이용하여 제스처 인식을 수행한다.
그 다음, 인식 결과를 기초로 추천 영상 객체에 대한 정보, 예컨대, 추천 영상 객체의 아이디, 키워드 등을 추출할 수 있다(단계 837).
다시 도 8을 참조하면, 단계 830에서 사용자의 의사를 분석하여 키워드나 추천 영상 객체의 정보가 추출되면 영상 객체 데이터베이스에서 추천 영상 객체를 검색하고(단계 840), 검색된 추천 영상 객체를 인터페이스에 출력할 수 있다(단계 850).
그 다음, 사용자가 인터페이스에서 편집을 수행하면(단계 860), 사용자의 편집에 따른 정보를 기초로 편집된 영상 객체의 메타데이터를 생성할 수 있다(단계 870).
그 다음, 편집된 영상 객체의 메타데이터가 생성되면 이를 영상 객체 데이터베이스에 저장하고 영상 객체 데이터베이스를 관리할 수 있다(단계 880).
이때, 영상 객체 데이터베이스를 관리하는 단계(880)는 영상 객체 데이터베이스의 정보가 변경되면 동기화 정보를 생성하여 커뮤니케이션 서버에 전송할 수 있으며, 커뮤니케이션 서버로부터 동기화 정보가 수신되면 이를 영상 객체 데이터베이스에 반영할 수 있다.
그 다음, 영상 객체의 메타데이터를 포함하여 메시지를 생성하고 커뮤니케이션 서버를 경유하여 상대방 단말에 전송할 수 있다(단계 890). 이때, 메시지에는 영상 객체의 메타데이터 외에도 사용자가 전송할 대화 내용을 더 포함할 수 있다.
본 실시예들이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
1: 커뮤니케이션 시스템
110, 120: 단말 130: 커뮤니케이션 서버
200: 커뮤니케이션 장치 210: 인터페이스부
220: 의사입력부 230: 영상 객체 처리부
240: 메시지 관리부 250: 데이터베이스 관리부
300: 영상 객체 처리부 310: 의사 분석부
311: 키워드 추출부 312: 텍스트 변환부
313: 다언어 변환부 314: 영상 인식부
320: 영상 객체 추천부 330: 영상 객체 편집부
500: 데이터베이스 관리부 510: 영상 객체 저장부
520: 영상 객체 데이터베이스 530: 동기화부
540: 동기화 정보 송수신부 600: 메시지 관리부
610: 메시지 생성부 620: 메시지 송수신부
630: 대화 데이터베이스 640: 메시지 출력부
700: 커뮤니케이션 서버 710: 메시지 중개부
720: 동기화 정보 송수신부 730: 동기화부
740: 사용자 객체 데이터베이스 750: DB 분석부
760: 전체 객체 데이터베이스

Claims (17)

  1. 인터페이스를 통하여 사용자의 의사를 입력받는 의사 입력부;
    상기 사용자의 의사와 관련된 추천 영상 객체를 인터페이스에 출력하고, 사용자가 인터페이스를 통해 상기 추천 영상 객체를 편집하면, 편집된 영상 객체의 메타데이터를 생성하는 영상 객체 처리부; 및
    상기 생성된 영상 객체의 메타데이터를 포함하는 메시지를 상대방 단말에 전송하는 메시지 관리부를 포함하는 커뮤니케이션 장치.
  2. 제1항에 있어서,
    상기 의사 입력부는
    상기 인터페이스를 통하여 텍스트, 음성, 터치 및 영상 입력 중의 적어도 어느 하나의 사용자 의사를 입력받는 커뮤니케이션 장치.
  3. 제1항에 있어서,
    상기 영상 객체 처리부는
    상기 입력된 사용자의 의사를 분석하는 의사 분석부; 및
    상기 사용자의 의사 분석 결과를 기초로 영상 객체 데이터베이스에서 상기 추천 영상 객체를 검색하여 인터페이스에 출력하는 영상 객체 추천부를 포함하는 커뮤니케이션 장치.
  4. 제3항에 있어서,
    상기 의사 분석부는
    상기 사용자의 의사가 음성으로 입력되면, 그 음성을 텍스트로 변환하는 텍스트 변환부; 및
    상기 사용자의 의사가 텍스트로 입력되거나, 상기 텍스트 변환부에 의해 음성이 텍스트로 변환되면, 그 텍스트를 분석하여 키워드를 추출하는 키워드 추출부를 포함하는 커뮤니케이션 장치.
  5. 제4항에 있어서,
    상기 의사 분석부는
    상기 추출된 키워드가 미리 정의된 언어가 아니면, 상기 미리 정의된 언어로 변환하는 다언어 변환부를 더 포함하는 커뮤니케이션 장치.
  6. 제3항에 있어서,
    상기 의사 분석부는
    상기 사용자의 의사가 영상으로 입력되면, 입력된 영상을 인식하여 추천 영상 객체에 대한 정보를 추출하는 영상 인식부를 포함하는 커뮤니케이션 장치.
  7. 제1항에 있어서,
    사용자의 단말에 상기 인터페이스를 출력하고, 상기 인터페이스에서 사용자의 편집 동작이 수행되는 동안 그 편집 동작에 응답하여 상기 인터페이스에 추천 영상 객체의 편집 과정을 출력하는 인터페이스부를 더 포함하는 커뮤니케이션 장치.
  8. 제1항에 있어서,
    상기 영상 객체의 메타데이터가 생성되면 상기 메타데이터를 영상 객체 데이터베이스에 저장하는 데이터베이스 관리부;를 더 포함하는 커뮤니케이션 장치.
  9. 제8항에 있어서,
    상기 데이터베이스 관리부는
    영상 객체 데이터베이스에 변경이 발생하면 동기화 정보를 커뮤니케이션 서버에 전송하고, 상기 커뮤니케이션 서버로부터 편집형 영상 객체의 동기화 정보를 수신하여 상기 영상 객체 데이터베이스에 반영하는 커뮤니케이션 장치.
  10. 인터페이스를 통하여 사용자의 의사를 입력받는 단계;
    상기 사용자의 의사와 관련된 추천 영상 객체를 인터페이스에 출력하는 단계;
    사용자가 인터페이스를 통해 상기 추천 영상 객체를 편집하면, 편집된 영상 객체의 메타데이터를 생성하는 단계; 및
    상기 생성된 영상 객체의 메타데이터를 포함하는 메시지를 상대방 단말에 전송하는 단계를 포함하는 커뮤니케이션 방법.
  11. 제10항에 있어서,
    상기 사용자의 의사가 입력되면, 입력된 사용자의 의사를 분석하는 단계; 및
    상기 사용자의 의사 분석 결과를 기초로 영상 객체 데이터베이스에서 상기 추천 영상 객체를 검색하는 단계를 더 포함하는 커뮤니케이션 방법.
  12. 제11항에 있어서,
    상기 사용자의 의사를 분석하는 단계는
    입력된 사용자의 의사의 타입을 판단하는 단계;
    상기 판단 결과 사용자 의사의 타입이 음성이면, 그 음성을 텍스트로 변환하는 단계; 및
    상기 판단 결과 사용자 의사의 타입이 텍스트이거나, 상기 텍스트 변환 단계에서 음성이 텍스트로 변환되면, 그 텍스트를 분석하여 키워드를 추출하는 단계를 포함하는 커뮤니케이션 방법.
  13. 제12항에 있어서,
    상기 사용자의 의사를 분석하는 단계는
    상기 추출된 키워드가 미리 정의된 언어가 아니면, 상기 미리 정의된 언어로 변환하는 단계를 더 포함하는 커뮤니케이션 방법.
  14. 제12항에 있어서,
    상기 사용자의 의사를 분석하는 단계는
    상기 판단 결과 사용자 의사의 타입이 영상이면, 입력된 영상을 인식하여 추천 영상 객체에 대한 정보를 추출하는 단계를 더 포함하는 커뮤니케이션 방법.
  15. 제10항에 있어서,
    사용자의 단말에 상기 인터페이스를 출력하는 단계; 및
    상기 인터페이스에서 사용자의 편집 동작이 수행되는 동안 그 편집 동작에 응답하여 상기 인터페이스에 추천 영상 객체의 편집 과정을 출력하는 단계를 더 포함하는 커뮤니케이션 방법.
  16. 제10항에 있어서,
    상기 영상 객체의 메타데이터가 생성되면 상기 메타데이터를 영상 객체 데이터베이스에 저장하는 단계;를 더 포함하는 커뮤니케이션 방법.
  17. 제16항에 있어서,
    영상 객체 데이터베이스에 변경이 발생하면 동기화 정보를 생성하는 단계;
    상기 생성된 동기화 정보를 커뮤니케이션 서버에 전송하는 단계;
    상기 커뮤니케이션 서버로부터 편집형 영상 객체의 동기화 정보를 수신하는 단계; 및
    상기 수신된 동기화 정보를 영상 객체 데이터베이스에 반영하는 단계를 더 포함하는 커뮤니케이션 방법.
KR20140000328A 2013-09-03 2014-01-02 편집형 영상 객체를 이용한 커뮤니케이션 장치 및 그 방법 KR20150026726A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/474,044 US20150067558A1 (en) 2013-09-03 2014-08-29 Communication device and method using editable visual objects
CN201410648859.3A CN104426913A (zh) 2013-09-03 2014-08-29 使用可编辑视觉对象的通信设备和方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130105330 2013-09-03
KR20130105330 2013-09-03

Publications (1)

Publication Number Publication Date
KR20150026726A true KR20150026726A (ko) 2015-03-11

Family

ID=53022595

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20140000328A KR20150026726A (ko) 2013-09-03 2014-01-02 편집형 영상 객체를 이용한 커뮤니케이션 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR20150026726A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017188711A1 (ko) * 2016-04-26 2017-11-02 (주)엠포러스 스키마 기반의 편집형 영상 객체 제공 방법 및 시스템
WO2022260188A1 (ko) * 2021-06-07 2022-12-15 엘지전자 주식회사 인공지능 기기, 인공지능 기기의 동작 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017188711A1 (ko) * 2016-04-26 2017-11-02 (주)엠포러스 스키마 기반의 편집형 영상 객체 제공 방법 및 시스템
WO2022260188A1 (ko) * 2021-06-07 2022-12-15 엘지전자 주식회사 인공지능 기기, 인공지능 기기의 동작 방법

Similar Documents

Publication Publication Date Title
JP7104683B2 (ja) 情報を生成する方法および装置
KR102108500B1 (ko) 번역 기반 통신 서비스 지원 방법 및 시스템과, 이를 지원하는 단말기
CN111261144B (zh) 一种语音识别的方法、装置、终端以及存储介质
US20240107127A1 (en) Video display method and apparatus, video processing method, apparatus, and system, device, and medium
US11024286B2 (en) Spoken dialog system, spoken dialog device, user terminal, and spoken dialog method, retrieving past dialog for new participant
CN111095892B (zh) 电子装置及其控制方法
CN109429522A (zh) 语音交互方法、装置及系统
CN114787814B (zh) 指代解析
US10008204B2 (en) Information processing system, and vehicle-mounted device
CN105446994A (zh) 业务推荐方法和具有智能助手的装置
EP2747464A1 (en) Sent message playing method, system and related device
CN106991106A (zh) 减少由切换输入模态所引起的延迟
KR20120042006A (ko) 일정 관리 방법 및 이를 수행하는 장치
US20200327893A1 (en) Information processing device and information processing method
WO2023142451A1 (zh) 工作流生成方法、装置、电子设备
CN110610720B (zh) 一种数据处理方法、装置和用于数据处理的装置
US20140129228A1 (en) Method, System, and Relevant Devices for Playing Sent Message
CN110728981A (zh) 一种交互功能的执行方法、装置、电子设备及存储介质
CN114064943A (zh) 会议管理方法、装置、存储介质及电子设备
WO2022133153A1 (en) Free-form, automatically-generated conversational graphical user interfaces
KR20110038448A (ko) 자동통역 단말기와 서버, 시스템 및 자동통역 서비스 방법
KR20150026726A (ko) 편집형 영상 객체를 이용한 커뮤니케이션 장치 및 그 방법
KR101351264B1 (ko) 음성인식 기반의 메시징 통역서비스 제공 시스템 및 그 방법
CN116415597A (zh) 语音翻译、同声传译方法
KR102462685B1 (ko) 웹툰 제작 보조 장치

Legal Events

Date Code Title Description
A201 Request for examination