KR101804679B1 - 스토리에 기초하는 멀티미디어 콘텐츠 개발 장치 및 방법 - Google Patents

Abstract

멀티미디어 콘텐츠 개발 장치가 개시된다. 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 개발 장치는 음성 정보를 텍스트 정보로 변환하는 텍스트 변환부; 상기 텍스트 정보에 기초하여 데이터베이스로부터 이미지 정보 또는 오디오 정보를 선택하는 정보 선택부; 및 상기 음성 정보, 상기 텍스트 정보, 상기 이미지 정보 및 상기 오디오 정보 중 적어도 하나를 타임라인의 소정 영역에 배치함으로써 멀티미디어 콘텐츠를 생성하는 생성부를 포함한다.

Description

스토리에 기초하는 멀티미디어 콘텐츠 개발 장치 및 방법{APPARATUS AND METHOD OF DEVELOPING MULTIMEDIA CONTENTS BASED ON STORY}

본 발명은 스토리에 기초하여 멀티미디어 콘텐츠를 생성하는 장치 및 방법에 관한 발명이다.

오늘날 PC 및 스마트폰을 비롯한 모바일 단말기의 성능이 좋아지고 SNS 사용 환경이 발전되고 있는 요즘 사용자가 스스로 제작하는 UCC(User Created Contents)의 수도 증가하고 있다.

그에 발맞추어 스스로 스토리를 만들고, 스토리에 기초하여 시각적, 청각적 미디어 콘텐츠를 결합한 멀티미디어 콘텐츠를 생성하는 시스템의 필요성도 증가하게 되었다.

관련 선행기술로는 대한민국 공개특허공보 제10-2014-0072319호(발명의 명칭: 상황정보 및 디바이스 정보를 이용한 콘텐츠 생성장치 및 콘텐츠 재생장치, 공개일자: 2014. 06. 13)가 있다.

본 발명의 일 실시예의 목적은 스토리를 기초로 하고, 스토리에 적당한 시각적, 청각적 정보를 이용하여 멀티미디어 콘텐츠를 개발하는 장치 및 방법을 제공하는 것이다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 상기 멀티미디어 콘텐츠 개발 장치는 음성 정보를 텍스트 정보로 변환하는 텍스트 변환부; 상기 텍스트 정보에 기초하여 데이터베이스로부터 이미지 정보 또는 오디오 정보를 선택하는 정보 선택부; 및 상기 음성 정보, 상기 텍스트 정보, 상기 이미지 정보 및 상기 오디오 정보 중 적어도 하나를 타임라인의 소정 영역에 배치함으로써 멀티미디어 콘텐츠를 생성하는 생성부를 포함한다.

바람직하게는, 상기 정보 선택부는 상기 이미지 정보 또는 상기 오디오 정보를 선택하는 기준이 되는 선택 키워드를 저장하고 있는 키워드 데이터베이스; 상기 텍스트 정보 및 상기 키워드 데이터베이스의 비교에 기초하여 상기 텍스트 정보에서 상기 선택 키워드와 동일한 유사 키워드 정보를 선별하는 키워드 선별부; 및 상기 유사 키워드 정보에 기초하여 상기 이미지 정보 또는 오디오 정보 중 적어도 하나를 선택한다.

바람직하게는, 상기 정보 선별부는 상기 유사 키워드 정보와 동일한 메타 데이터를 포함하는 상기 이미지 정보를 이미지 데이터베이스로부터 적어도 하나 선택하는 이미지 선택부; 상기 유사 키워드 정보와 동일한 메타 데이터를 포함하는 상기 오디오 정보를 오디오 데이터베이스로부터 적어도 하나 선택하는 오디오 선택부; 및 상기 선택된 이미지 정보 및 상기 오디오 정보 중에서 적어도 하나를 사용자 입력에 의하여 선택하는 사용자 선택부를 포함한다.

바람직하게는, 상기 이미지 선택부 및 상기 오디오 선택부는 상기 이미지 정보 및 상기 오디오 정보 각각에 대한 선호도에 기초하여 상기 이미지 정보 또는 상기 오디오 정보를 선택하고, 상기 선호도는 상기 사용자의 성별, 나이 및 거주지역 중 적어도 하나에 기초하여 결정된다.

바람직하게는, 상기 정보 선별부는 사용자 입력에 의하여 상기 이미지 데이터베이스에 이미지 정보를 저장하거나 상기 오디오 데이터베이스에 오디오 정보를 저장하고, 상기 이미지 데이터베이스에 이미지 정보를 저장하거나 상기 오디오 데이터베이스에 오디오 정보를 저장하는 사용자에게 가상화폐를 지급하는 정보 저장부를 더 포함하고, 상기 사용자 선택부는 상기 사용자 입력에 의하여 상기 이미지 정보 및 상기 오디오 정보 중 적어도 하나가 선택될 때, 상기 사용자가 보유하고 있는 소정의 상기 가상화폐를 공제하고 상기 사용자에게 선택된 상기 이미지를 제공한다.

바람직하게는, 상기 이미지 선택부는 상기 선택된 이미지 정보에 관련되는 효과를 부여하는 효과부를 더 포함하고, 상기 효과는 이미지의 이동, 회전, 크기의 변동 및 투명도의 변화 중 적어도 하나를 포함한다.

바람직하게는, 상기 오디오 정보는 효과음 또는 배경음악으로 구분될 수 있는 오디오 식별정보를 포함하고, 상기 오디오 데이터베이스는 상기 오디오 식별정보에 기초하여 상기 오디오 정보를 상기 효과음 및 상기 배경음악 중 적어도 하나로 구분하여 저장하고, 상기 오디오 선택부는 상기 오디오 정보를 상기 효과음 및 배경음악의 구분에 기초하여 선택한다.

바람직하게는, 상기 이미지 데이터베이스에는 사용자로부터 입력 받은 상기 이미지 정보로부터 추출한 오브젝트에 기초하여 생성된 상기 이미지 정보인 상기 오브젝트 이미지도 저장되어 있고, 상기 오디오 데이터베이스에는 상기 음성 정보에서 일정 구간을 선택하여 생성된 상기 오디오 정보인 샘플링 정보도 저장되어 있다.

바람직하게는, 상기 오브젝트 이미지는 사용자로부터 입력 받은 이미지 정보에서 각각의 픽셀의 알파값에 기초하여 아웃라인을 인식하고, 상기 인식된 아웃라인 중에서 미리 설정된 형태를 갖는 아웃라인을 오브젝트로서 추출하고, 상기 추출된 오브젝트를 이미지 파일로 저장하고, 상기 사용자로부터 입력 받은 상기 이미지 정보의 메타 데이터를 상기 오브젝트 이미지 파일의 메타 데이터로 저장함으로써 생성된다.

바람직하게는, 상기 이미지 선택부는 사용자로부터 입력 받은 이미지 정보와 유사한 이미지 정보를 상기 이미지 데이터베이스로부터 더 선택할 수 있고, 상기 사용자로부터 입력 받은 이미지 정보와 유사한 이미지 정보는 상기 사용자로부터 입력 받은 이미지 정보 및 상기 이미지 데이터베이스에 저장된 이미지 정보 각각에 대하여, 인접하는 소정의 픽셀을 하나의 세그먼트로 묶고, 상기 사용자로부터 입력 받은 이미지 정보를 구성하는 각 세그먼트 및 상기 이미지 데이터베이스에 저장된 이미지 정보를 구성하는 각 세그먼트의 비교에 기초하여 선택하고, 상기 각각의 세그먼트의 색조, 채도 및 명도는 상기 각각의 세그먼트를 구성하는 픽셀의 색조, 채도 및 명도 값 각각의 평균값으로 설정된다.

바람직하게는, 상기 오디오 선택부에서 선택되는 상기 오디오 정보는 미리 설정된 피치 값을 더 갖는다.

바람직하게는 상기 키워드 데이터베이스는 상기 선택 키워드를 어절과 음절로 분류하여 저장한다.

바람직하게는, 멀티미디어 콘텐츠 생성 장치는 사용자에게 UI를 제공하는 UI제공부를 더 포함하고, 상기 UI제공부가 제공하는 UI는 사용자 입력에 의하여 상기 음성 정보의 수신 여부를 결정하는 녹음버튼, 상기 이미지 정보 및 상기 오디오 정보의 선택 목록을 제공하는 추천 리스트창 및 타임라인의 배치 상황을 시각적으로 보여주는 타임라인창을 포함한다.

바람직하게는, 상기 UI에는 상기 텍스트 정보를 배치되는 텍스트 정보창을 더 포함하고, 상기 텍스트 정보를 구성하는 단어에 마우스 커서가 롤 오버 되는 경우, 상기 단어에 대응되는 상기 이미지 정보가 나타나는 이미지 추천 리스트창을 더 포함한다.

바람직하게는, 멀티미디어 콘텐츠 생성 장치는 상기 생성된 콘텐츠를 사용자가 미리 지정한 저장장치, 특정 웹페이지 및 SNS 중 적어도 한군데에 퍼블리싱하는 퍼블리싱부를 더 포함한다.

바람직하게는, 상기 텍스트 정보를 상기 음성 정보로 변환하는 음성 변환부를 더 포함하고, 상기 음성 변환부는 사용자 입력에 의하여 남성/여성의 음성 중 하나가 선택되고, 낭독 속도가 결정되고, 이를 기초로 상기 음성 정보로 변환된다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 상기 멀티미디어 콘텐츠 생성 방법은 음성 정보를 텍스트 정보로 변환하거나 상기 텍스트 정보를 상기 음성 정보로 변환하는 단계; 상기 텍스트 정보에 기초하여 이미지 데이터베이스로부터 이미지 정보 또는 오디오 정보 중 적어도 하나를 선택하는 단계; 및 상기 음성 정보, 상기 텍스트 정보, 상기 이미지 정보 및 상기 오디오 정보 중 적어도 하나를 타임라인의 소정 영역에 배치함으로써 멀티미디어 콘텐츠를 생성하는 단계를 포함한다.

본 발명의 일 실시예에 따르면 음성정보로 된 스토리를 텍스트 정보로 변환하고, 스토리에 기초한 멀티미디어 정보를 선택할 수 있다.

선택한 멀티미디어 정보를 타임라인에 배치함으로써 멀티미디어 콘텐츠를 생성할 수 있다.

도 1(a)은 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 생성 장치를 설명하기 위하여 도시한 블록도이고, 도 1(b)는 음성 정보를 텍스트 정보로 변환하는 텍스트 변환부의 예시를 설명하기 위하여 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 정보 선택부를 설명하기 위하여 도시한 블록도이다.
도 3(a)는 본 발명의 일 실시예에 따른 정보 선별부를 설명하기 위하여 도시한 블록도이다.
도 3(b)는 본 발명의 다른 실시예에 따라 이미지 유사도에 기초하여 유사 이미지를 선택하는 방법을 설명하기 위하여 도시한 도면이고, 도 3(c)는 본 발명의 또 다른 실시예에 따라 이미지의 소실점에 기초하여 유사 이미지를 선택하는 방법을 설명하기 위하여 도시한 도면이다.
도 3(d)는 본 발명의 다른 실시예에 따른 정보 선별부를 설명하기 위하여 도시한 블록도이다.
도 3(e) 및 도 3(f)는 선호되는 정보를 추천하는 다양한 실시예를 설명하기 위하여 도시한 도면이다.
도 3(g)는 오브젝트에 효과 즉 속성을 부여하는 속성창을 포함하는 UI의 예시를 도시하고 있고, 도 3(h)는 이미지 정보로부터 오브젝트를 추출하는 실시예를 설명하기 위하여 도시한 도면이다.
도 4(a)는 본 발명의 다른 실시예에 따른 멀티미디어 콘텐츠 생성장치를 설명하기 위하여 도시한 블록도이고, 도 4(b)는 제공되는 UI의 예시를 나타낸 도면이다.
도 5는 본 발명의 또 다른 실시예에 따른 멀티미디어 콘텐츠 생성장치를 설명하기 위하여 도시한 블록도이다.
도 6(a)는 본 발명의 또 다른 실시예에 따른 멀티미디어 콘텐츠 생성장치를 설명하기 위하여 도시한 블록도이고, 도 6(b)는 텍스트 정보가 음성정보로 변환되는 예시를 설명하기 위하여 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 생성 방법을 설명하기 위하여 도시한 흐름도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수개의 관련된 기재된 항목들의 조합 또는 복수개의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수개의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1(a)는 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 생성 장치를 설명하기 위하여 도시한 블록도이다.

도 1(a)를 참조하면 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 생성 장치(100)는 텍스트 변환부(110), 정보 선택부(120) 및 생성부(130)를 포함한다.

텍스트 변환부(110)는 음성 정보를 텍스트 정보로 변환한다.

여기서 음성 정보는 사람의 목소리 정보를 나타낸다. 본 발명에 있어서 더 구체적으로, 음성 정보는 사람의 스토리 낭독 정보일 수 있다.

즉, 사용자가 스토리를 낭독하면, 낭독하는 스토리를 텍스트로 변환하는 것이 한가지 실시예일 수 있다.

도 1(b)는 음성 정보를 텍스트 정보로 변환하는 텍스트 변환부의 예시를 설명하기 위하여 도시한 도면이다.

도 1(b)는 사람의 목소리를 소켓 통신(마이크)을 이용해 녹음한 스트리밍 데이터 형태로 전달하면 서버 즉, 멀티미디어 콘텐츠 생성 장치(100)에서 인식해 텍스트로 리턴해주는 시스템을 도시한 도면으로서, 자체 스트리밍 프로토콜을 구현한 Open API 인식 기술을 사용할 수 있다.

또한, 녹음된 음성파일은 승인 시 자동으로 타임라인에 적용되며, 텍스트는 스트리밍 데이터와 링크되어 같이 타임라인에 적용되도록 할 수 있다.

정보 선택부(120)는 텍스트 정보에 기초하여 데이터베이스로부터 이미지 정보 또는 오디오 정보를 선택한다.

여기서 데이터베이스는 후술하는 이미지 데이터베이스 및 오디오 데이터베이스를 의미하는데, 멀티미디어 콘텐츠를 생성할 때 사용할 이미지 정보와 오디오 정보를 각각 미리 저장하고 있는 데이터베이스이다.

또한, 오디오 정보는 음성 정보를 포함하는 모든 소리 정보를 나타낸다.

정보 선택부(120)의 구체적인 구조에 대해서는 도 2를 참조하여 구체적으로 후술한다.

생성부(130)는 음성 정보, 텍스트 정보, 이미지 정보 및 오디오 정보 중 적어도 하나를 타임라인의 소정 영역에 배치함으로써 멀티미디어 콘텐츠를 생성한다.

멀티미디어가 재생되는 일련의 과정에서 각각의 정보들이 나타나고 변화하고 사라지는 이벤트를 타임라인에 배치함으로써 멀티미디어 콘텐츠를 생성할 수 있다.

따라서 타임라인에 배치한다고 함은 특정의 음성 정보, 텍스트 정보, 이미지 정보 및 오디오 정보가 나타나는 시간 및 사라지는 시간을 타임라인에 설정하는 것을 포함한다.

예를 들어, 우주선 모양의 이미지 정보가 멀티미디어 재생 후 2분 30초 후에 화면에 나타났다가 5초 후 사라지도록 타임라인에 배치할 수 있다.

도 2는 본 발명의 일 실시예에 따른 정보 선택부를 설명하기 위하여 도시한 블록도이다.

도 2를 참조하면 본 발명의 일 실시예에 따른 정보 선택부(120)는 키워드 데이터베이스(122), 키워드 선별부(124) 및 정보 선별부(126)를 포함한다.

키워드 데이터베이스(122)는 이미지 정보 또는 오디오 정보를 선택하는 기준이 되는 선택 키워드를 저장한다.

여기서 키워드 데이터베이스(122)는 선택 키워드를 어절과 음절로 분류하여 저장할 수 있다.

키워드 선별부(124)는 텍스트 정보 및 키워드 데이터베이스의 비교에 기초하여 텍스트 정보에서 선택 키워드와 동일한 유사 키워드 정보를 선별한다.

즉 키워드 선별부(124)는 음성정보에서 변환된 텍스트 정보를 구성하는 단어중에서, 의미가 있는 단어로 미리 설정된 단어가 있는지를 찾아서 선별하는 기능을 수행한다.

정보 선별부(126)는 유사 키워드 정보에 기초하여 이미지 정보 또는 오디오 정보 중 적어도 하나를 선택한다.

즉, 정보 선별부(126)는 선별된 키워드와 관련되는 이미지 정보 또는 오디오 정보를 선택하는 기능을 수행한다.

정보 선별부(126)의 구체적인 구조에 대해서는 도 3(a)를 참조하여 구체적으로 설명한다.

도 3(a)는 본 발명의 일 실시예에 따른 정보 선별부를 설명하기 위하여 도시한 블록도이다.

도 3(a)를 참조하면 본 발명의 일 실시예에 따른 정보 선별부(126)는 이미지 선택부(126a), 오디오 선택부(126b) 및 사용자 선택부(126c)를 포함한다.

이미지 선택부(126a)는 유사 키워드 정보와 동일한 메타 데이터를 포함하는 이미지 정보를 이미지 데이터베이스로부터 적어도 하나 선택한다.

예를 들어, '비행기'라는 유사 키워드 정보를 선별하고, 이미지 데이터베이스로부터 '비행기'라는 메타 데이터를 포함하고 있는 여객기, 수송기, 전투기 등의 이미지 정보를 선택할 수 있다.

이미지 선택부(126a)가 이미지를 선택하는 다른 실시예로서, 메타 데이터를 기초로 하는 것이 아닌, 사용자로부터 입력 받은 이미지 정보와 유사한 이미지 정보를 선택할 수 있다.

도 3(b)는 본 발명의 다른 실시예에 따라 이미지 유사도에 기초하여 유사 이미지를 선택하는 방법을 설명하기 위하여 도시한 도면이다.

도 3(b)를 참조하면, 색상 이미지 유사도를 검색(Image Color Similarity search)하는 방법으로서, 사용자로부터 입력 받은 이미지 정보 및 이미지 데이터베이스에 저장된 이미지 정보 각각에 대하여, 인접하는 소정의 픽셀을 하나의 세그먼트로 묶고, 사용자로부터 입력 받은 이미지 정보를 구성하는 각 세그먼트 및 이미지 데이터베이스에 저장된 이미지 정보를 구성하는 각 세그먼트의 비교에 기초하여 선택할 수 있다. 여기서 각각의 세그먼트의 색조, 채도 및 명도는 각각의 세그먼트를 구성하는 픽셀의 색조, 채도 및 명도 값 각각의 평균값으로 설정할 수 있다.

도 (b)에서, A-1은 사용자로부터 입력 받은 이미지, A-2는 A-1에서 인접하는 픽셀을 세그먼트로 묶어 색조, 채도 및 명도를 구성하는 픽셀의 평균값으로 설정한 도면이고, B-1은 이미지 데이터베이스에 저장된 임의의 이미지 정보이고, B-2는 B-1을 A-2와 같이 변경한 도면이다.

더 구체적으로, HSV 색상 모델의 색조(hue), 채도(saturation), 명도(value)로 구성된 각 픽셀을 화면을 그룹화하여 X, Y축을 15% 미만으로 세그먼트를 나누어 픽셀 그룹을 모자이크화하여 역보간법 (inverse interpolation)으로 렌더링한 이미지를 분석 추출하여 색상 구조를 패턴화하고 구성된 HSV 색상 모델을 유사화한 데이터로 구조화하여 이미지들을 추출하는 방법으로 실시할 수 있다.

도 3(c)는 본 발명의 또 다른 실시예에 따라 이미지의 소실점에 기초하여 유사 이미지를 선택하는 방법을 설명하기 위하여 도시한 도면이다.

또 다른 실시예로서 도 3(c)를 참조하면, 소실점을 검색(vanishing point search)하는 방법으로서 화면의 이미지를 X축과 Y축을 기준으로 화면의 중심피봇(pivot)을 이미지 맵핑으로 찾아서 수평선 (horizontal line)을 기준으로 Z축의 기준점을 잡아 1점투시 와 2점투시, 3점 투시를 분석하여 소실점을 기준으로 이미지를 검색하는 방법으로 실시할 수 있다.

다시 도 3(a)를 참조하면, 오디오 선택부(126b)는 유사 키워드 정보와 동일한 메타 데이터를 포함하는 오디오 정보를 오디오 데이터베이스로부터 적어도 하나 선택한다.

예를 들어, '비행기'의 유사 키워드 정보에 대하여, '비행기'라는 메타 데이터를 포함하는 '비행기 엔진 소리' 또는 '바람을 가르는 소리'와 같은 오디오 정보를 선택할 수 있다.

여기서 오디오 정보는 효과음 또는 배경음악으로 구분할 수 있는 오디오 식별정보를 메타 데이터로서 포함하고, 오디오 데이터베이스는 오디오 식별정보에 기초하여 오디오 정보를 효과음 및 배경음악 중 적어도 하나로 구분하여 저장하고, 오디오 선택부는 오디오 정보를 효과음 및 배경음악의 구분에 기초하여 선택할 수 있다. 즉, 사용자가 효과음 카테고리와 배경음악 카테고리 별로 따로 오디오 정보를 선택할 수 있다.

본 발명의 또 다른 실시예에 따른 오디오 선택부(126b)는 미리 설정된 피치 값을 갖는 오디오 정보를 선택할 수 있다.

즉, 미리 설정된 값 이상의 피치값을 갖는 오디오 정보만을 선택할 수 있다.

사용자 선택부(126c)는 선택된 이미지 정보 및 오디오 정보중에서 적어도 하나를 사용자 선택 입력에 의하여 선택한다.

해당 키워드에 적용될 수 있는 복수의 이미지 정보 또는 오디오 정보가 있는 경우, 사용자가 임의로 선택할 수 있다.

도 3(d)는 본 발명의 다른 실시예에 따른 정보 선별부를 설명하기 위하여 도시한 블록도이다.

도 3(d)를 참조하면, 본 발명의 다른 실시예에 따른 정보 선별부(126)는 정보 저장부(126d), 이미지 선택부(126a), 오디오 선택부(126b) 및 사용자 선택부(126c)를 포함한다.

정보 저장부(126d)는 사용자 입력에 의하여 이미지 데이터베이스에 이미지 정보를 저장하거나 상기 오디오 데이터베이스에 오디오 정보를 저장하고, 이미지 데이터베이스에 이미지 정보를 저장하거나 상기 오디오 데이터베이스에 오디오 정보를 저장하는 사용자에게 가상화폐를 지급한다.

여기서 사용자 선택부(126c)는 사용자 입력에 의하여 이미지 정보 및 오디오 정보 중 적어도 하나가 선택될 때, 사용자가 보유하고 있는 소정의 가상화폐를 공제하고 사용자에게 선택된 이미지 정보 또는 오디오 정보를 제공할 수 있다.

도 3(d)의 실시예는 이미지 이미지 데이터베이스에 이미지 정보를 저장하거나 오디오 데이터베이스에 오디오 정보를 저장하는 사용자에게 가상화폐 또는 가상화폐와 동등한 인센티브를 지급하고, 소정의 사용자의 가상화폐 또는 인센티브를 공제하고 사용자에게 이미지 정보 또는 오디오 정보를 제공하는 실시예를 나타내고 있다.

이러한 실시예는 가상화폐를 이용하는 쇼핑몰과 연계되어 운영될 수도 있다.

정보 선별부(126)의 또 다른 실시예로서, 이미지 선택부(126a) 및 오디오 선택부(126b)는 이미지 정보 및 오디오 정보에 대한 선호도에 기초하여 이미지 정보 또는 오디오 정보를 선택하고, 선호도는 사용자의 성별, 나이 및 거주지역 중 적어도 하나에 기초하여 결정될 수 있다.

즉, 사용자들이 많이 선택하는 이미지 정보 또는 오디오 정보를 사용자에게 제공하되, 성별, 나이 및 거주지역 중 적어도 하나에 기초하여 사용자에게 제공할 수 있다.

예를 들어, 미취학 아동이 일반적으로 좋아하는 이미지 정보와 초등학교 저학년 아동이 좋아하는 이미지 정보는 다를 수 있기에, 연령에 따라 산출된 선호도에 기초하여 사용자에게 이미지 정보를 제공할 수 있다.

그리고 선호도를 산출하는 실시예는, 사용자 선택부에서 선택되는 이미지 정보 또는 오디오 정보에 대하여, 선택하는 사용자의 성별, 나이 및 거주지역에 따라 선택되는 빈도를 측정함으로써 산출될 수 있고, 산출되는 선호도를 별도의 데이터베이스에 저장할 수 있다.

도 3(e) 및 도 3(f)는 선호되는 정보를 추천하는 다양한 실시예를 설명하기 위하여 도시한 도면이다.

도 3(e)는 회원의 성별과 나이, 취미, 성향, 거주 지역, 직업군 등을 파악하고, 데이터화하여 카테고리 분석, 성향 및 선택한 이미지와 음향 등 선택했던 패턴을 히스토리화하여 입체적인 분석으로 자동으로 콘텐츠(이미지, 음악)등을 추천하는 '프리퍼런스(취향) 링크 자동추천 시스템 (preference link auto recommend system)'을 도시하고 있다.

도 3(f)는 콘텐츠를 검색하거나 추천 시스템을 사용하는 인기 있는 콘텐츠와 많은 추천이 있는 콘텐츠, 최신의 콘텐츠를 분석하여 사용자에게 많은 링크가 연결된 콘텐츠와 인기 콘텐츠를 멀티 링크하여 추천하는 '인기 콘텐츠 멀티링크 추천 시스템 (Multi link Trending contents recommend system)'을 도시하고 있다.

다시 도 3(d)를 참조하면, 이미지 선택부(126a)는 선택된 이미지 정보에 관련되는 효과를 부여하는 효과부(미도시)를 포함할 수 있고, 여기서 효과는 이미지의 이동, 회전, 크기의 변동 및 투명도의 변화 중 적어도 하나를 포함한다.

예를 들어 '비행기'의 이미지 정보가 화면의 왼쪽에서 나타난 후 오른쪽으로 이동하도록 하되 그 크기가 점점 작아지도록 하여 멀어지는 효과가 나타나도록 할 수 있다.

또한 이미지 정보에 대한 효과를 효율적으로 주기 위하여 이미지 선택부(126a)에서 선택된 이미지 정보는 마스크가 적용되었거나 알파값이 적용된 이미지 정보로 하는 것이 바람직하다.

도 3(g)는 오브젝트에 효과 즉 속성을 부여하는 속성창을 포함하는 UI의 예시를 도시하고 있다.

도 3(g)를 참조하면, 콘텐츠 라이브러리에서 적용된 모든 오브젝트는 속성창을 지니고 있는데 속성창에는 중심축, 이동을 제어하는 속성, 크기를 조절하는 속성, 회전을 조절하는 속성, 투명도를 조절하는 속성창에 옵션들이 있으며, 각 속성들에는 기본적인 애니메이션 템플릿이 포함이 되어있어서 샘플 애니메이션을 적용할 수 있다.

사용자 선택부(126c)의 다른 실시예에 의하면 사용자로부터 수신한 이미지 정보로부터 추출한 오브젝트에 기초하여 생성된 이미지 정보인 오브젝트 이미지를 이미지 데이터베이스에서 적어도 하나를 선택하거나, 음성 정보에서 일정 구간을 선택하여 생성된 오디오 정보인 샘플링 정보를 선택할 수 있다.

즉, 이미지 데이터베이스에 저장된 이미지 정보에는 오브젝트 이미지도 저장되어 있고, 오디오 데이터베이스에는 샘플링 정보도 저장되어 있다.

여기서 사용자로부터 수신한 이미지정보로부터 추출한 오브젝트에 기초하여 생성된 이미지 정보라고 함은, 사용자 본인 또는 다른 사용자가 직접 그린 그림 중 일부를 추출하여 이미지 정보로 사용하는 것이다.

예를 들어 도 3(g)에서 그린 그림에서 우주선 그림만을 추출하여 다른 멀티미디어 콘텐츠 생성시 이미지 정보로서 사용하는 것이 해당될 수 있다.

도 3(h)은 이미지 정보로부터 오브젝트를 추출하는 실시예를 설명하기 위하여 도시한 도면이다.

도 3(h)를 참조하면, 오브젝트의 아웃라인을 검색 (object outline search)하는 방법으로서, 이미지의 아웃라인이 추출된 이미지나 알파값(channel)을 보유한 이미지들의 아웃라인을 인식하고, 미리 설정된 형태 즉, 오브젝트의 기본적인 형태인 선형, 사각형, 원형, 원뿔형, 직사각형, 삼각형, 반원형, 도너츠형 등의 형태를 아웃라인으로 인식하여 오브젝트를 추출하여 이미지 파일로 저장하고, 원래 이미지인 사용자로부터 입력 받은 이미지 정보의 메타 데이터를 오브젝트 이미지의 메타 데이터로 저장하는 방법으로 실시하는 방법을 도시하고 있다.

도 4(a)는 본 발명의 다른 실시예에 따른 멀티미디어 콘텐츠 생성장치를 설명하기 위하여 도시한 블록도이다.

도 4(a)를 참조하면 본 발명의 다른 실시예에 따른 멀티미디어 콘텐츠 생성 장치(100)는 텍스트 변환부(110), 정보 선택부(120), 생성부(130) 및 UI제공부(140)를 포함한다.

본 실시예의 멀티미디어 콘텐츠 생성 장치(100)는 UI제공부(140)를 제외한 나머지 구성요소(110,120,130)가 도 1(a)의 멀티미디어 콘텐츠 생성 장치(100)와 동일하다. 따라서 본 실시예에서는 UI제공부(140)에 대해서만 자세히 설명하고, 다른 나머지 구성요소(110,120,130)에 대한 설명은 생략한다.

UI제공부(140)는 사용자에게 UI를 제공하고, UI제공부(140)가 제공하는 UI는 사용자 입력에 의하여 음성 정보의 수신 여부를 결정하는 녹음버튼, 이미지 정보 및 오디오 정보의 선택 목록을 제공하는 추천 리스트창 및 타임라인의 배치 상황을 시각적으로 보여주는 타임라인창을 포함할 수 있다.

즉, UI제공부(140)가 제공하는 UI를 이용하여 멀티미디어 콘텐츠 생성 장치(100)를 운영할 수 있다.

도 4(b)는 제공되는 UI의 예시를 나타낸 도면이다.

특히 도 4(c)는 텍스트 정보를 구성하는 단어에 마우스 커서가 롤 오버 되는 경우, 단어에 대응되는 이미지 정보가 나타나는 이미지 추천 리스트창에 대한 예시를 나타내는 도면이다.

여기서 단어에 대응되는 이미지 정보라 함은 이미지 데이터베이스에 포함된 이미지 정보 중에서 롤 오버된 단어와 동일한 메타 데이터를 포함하는 이미지 정보를 나타낸다.

도 4(c)를 참조하면 Text timeline에서 추출된 텍스트 (01. 텍스트 검색 : 우주)를 자동으로 검색하여 관련 이미지들(이미지 추천 리스트)를 추천하고, 이미지 추천 리스트에서 사용자가 선택(선택 02)를 하고, 마우스 오른쪽을 클릭하여 승인 명령을 내리거나 화면으로 이미지를 드래그하면, 자동으로 컴포지션 패널에 이미지가 적용(03.적용)되고, 화면에 구성된다. 타임라인은 사용자가 원하는 만큼 레이어 개수를 추가할 수 있다.

도 5는 본 발명의 또 다른 실시예에 따른 멀티미디어 콘텐츠 생성장치를 설명하기 위하여 도시한 블록도이다.

도 5를 참조하면 본 발명의 또 다른 실시예에 따른 멀티미디어 콘텐츠 생성 장치(100)는 텍스트 변환부(110), 정보 선택부(120), 생성부(130) 및 퍼블리싱부(150)를 포함한다.

본 실시예에서는 앞에서 설명한 구성요소는 제외하고 퍼블리싱부(150)에 대해서만 설명한다.

퍼블리싱부(150)는 생성된 콘텐츠를 사용자가 미리 지정한 저장장치, 특정 웹페이지 및 SNS 중 적어도 한군데에 퍼블리싱할 수 있다.

예를 들어, 멀티미디어 콘텐츠를 생성하고 제공된 UI에서'업로드'버튼을 누르게 되면 특정 사이트의 '콘텐츠 게시판'에 게시되도록 할 수 있다.

도 6(a)는 본 발명의 또 다른 실시예에 따른 멀티미디어 콘텐츠 생성장치를 설명하기 위하여 도시한 블록도이다.

도 6(a)는 음성 정보를 텍스트 정보로 변환할 뿐만 아니라, 텍스트 정보를 음성 정보로 변환함으로써, 사용자가 생성한 이야기를 성우의 목소리로 변환하여 스토리 낭독을 생성되는 멀티미디어에 부가하는 실시예를 도시하고 있다.

도 6(a)를 참조하면 또 다른 실시예에 따른 멀티미디어 콘텐츠 생성 장치(100)는 텍스트 변환부(110), 음성 변환부(610), 정보 선택부(120) 및 생성부(130)를 포함한다.

음성 변환부(610)는 텍스트 정보를 음성 정보로 변환한다. 여기서 음성을 변환할 때 사용자 입력에 의하여 남성/여성의 음성 중 하나가 선택되고, 낭독 속도가 결정되고, 이를 기초로 상기 음성 정보로 변환될 수 있다.

즉, 사용자가 남자 목소리로 낭독 하게 할 것인지 여자 목소리로 낭독하게 할 것인지 선택하고, 낭독 속도를 선택하여 낭독되도록 할 수 있다.

도 6(b)는 텍스트 정보가 음성정보로 변환되는 예시를 설명하기 위하여 도시한 도면이다.

도 6(b)는 텍스트(UTF-8)를 오디오 타임라인에 작성을 하여 서버 즉, 멀티미디어 콘텐츠 생성 장치(100)로 송신하면서, 음성합성 할 목소리(voice)를 선택(남녀)하고, 목소리의 속도(SPEED)를 결정하여 요청하면, 출력 결과물로 mp3 파일을 전송하여 타임라인에 적용하여 사용하는 REST API 시스템을 나타내고 있다. 이러한 방식으로 오디오 타임라인에서 작성을 하면 바로 음성합성 시스템으로 연동되어 타임라인에 Insert되는 기능을 추가할 수 있다.

도 7은 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 생성 방법을 설명하기 위하여 도시한 흐름도이다.

도 7 및 도 1(a)을 참조하면, 단계 710에서는, 멀티미디어 콘텐츠 생성 장치(100)가 음성 정보를 텍스트 정보로 변환하거나 텍스트 정보를 음성정보로 변환한다.

다음으로, 단계 720에서는, 멀티미디어 콘텐츠 생성 장치(100)가 텍스트 정보에 기초하여 이미지 데이터베이스로부터 이미지 정보 또는 오디오 정보 중 적어도 하나를 선택한다.

다음으로, 단계 730에서는, 멀티미디어 콘텐츠 생성 장치(100)가 음성 정보, 텍스트 정보, 이미지 정보 및 오디오 정보 중 적어도 하나를 타임라인의 소정 영역에 배치함으로써 콘텐츠를 생성한다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (17)

1. 음성 정보를 텍스트 정보로 변환하는 텍스트 변환부;
   상기 텍스트 정보에 기초하여 데이터베이스로부터 이미지 정보 또는 오디오 정보를 선택하는 정보 선택부; 및
   상기 음성 정보, 상기 텍스트 정보, 상기 선택된 이미지 정보 및 상기 선택된 오디오 정보 중 적어도 하나를 타임라인의 소정 영역에 배치함으로써 멀티미디어 콘텐츠를 생성하는 생성부를 포함하고,
   상기 정보 선택부는
   상기 이미지 정보 또는 상기 오디오 정보를 선택하는 기준이 되는 선택 키워드를 저장하는 키워드 데이터베이스;
   상기 텍스트 정보 및 상기 키워드 데이터베이스의 비교에 기초하여 상기 텍스트 정보에서 상기 선택 키워드와 동일한 유사 키워드 정보를 선별하는 키워드 선별부; 및
   상기 유사 키워드 정보에 기초하여 상기 이미지 정보 또는 오디오 정보 중 적어도 하나를 선택하는 정보 선별부를 포함하고,
   상기 정보 선별부는
   상기 유사 키워드 정보와 동일한 메타 데이터를 포함하는 상기 이미지 정보를 이미지 데이터베이스로부터 적어도 하나 선택하는 이미지 선택부;
   상기 유사 키워드 정보와 동일한 메타 데이터를 포함하는 상기 오디오 정보를 오디오 데이터베이스로부터 적어도 하나 선택하는 오디오 선택부; 및
   상기 선택된 이미지 정보 및 상기 오디오 정보 중에서 적어도 하나를 사용자 입력에 의하여 선택하는 사용자 선택부를 포함하되,
   상기 이미지 선택부는
   이미지의 중심(pivot)을 찾아, 상기 이미지의 중심에 대한 소실점을 분석한 후 분석된 상기 소실점에 더 기초하여 유사한 이미지 정보를 선택하거나,
   사용자로부터 입력 받은 이미지 정보와 유사한 이미지 정보를 상기 이미지 데이터베이스로부터 더 선택할 수 있고, 상기 사용자로부터 입력 받은 이미지 정보와 유사한 이미지 정보는 상기 사용자로부터 입력 받은 이미지 정보 및 상기 이미지 데이터베이스에 저장된 이미지 정보 각각에 대하여, 인접하는 소정의 픽셀을 하나의 세그먼트로 묶고, 상기 사용자로부터 입력 받은 이미지 정보를 구성하는 각 세그먼트 및 상기 이미지 데이터베이스에 저장된 이미지 정보를 구성하는 각 세그먼트의 비교에 더 기초하여 선택하되, 상기 각각의 세그먼트의 색조, 채도 및 명도는 상기 각각의 세그먼트를 구성하는 픽셀의 색조, 채도 및 명도 값 각각의 평균값으로 설정되고,
   상기 오디오 선택부는
   미리 설정된 피치 값에 더 기초하여 상기 오디오 정보를 선택하는 멀티미디어 콘텐츠 개발 장치.
   
2. 삭제
3. 삭제
4. 제1항에 있어서
   상기 이미지 선택부 및 상기 오디오 선택부는
   상기 이미지 정보 및 상기 오디오 정보 각각에 대한 선호도에 기초하여 상기 이미지 정보 또는 상기 오디오 정보를 선택하고,
   상기 선호도는
   상기 사용자의 성별, 나이 및 거주지역 중 적어도 하나에 기초하여 결정되는 멀티미디어 콘텐츠 개발 장치.
   
5. 제1항에 있어서
   상기 정보 선별부는
   사용자 입력에 의하여 상기 이미지 데이터베이스에 이미지 정보를 저장하거나 상기 오디오 데이터베이스에 오디오 정보를 저장하고, 상기 이미지 데이터베이스에 이미지 정보를 저장하거나 상기 오디오 데이터베이스에 오디오 정보를 저장하는 사용자에게 가상화폐를 지급하는 정보 저장부를 더 포함하고,
   상기 사용자 선택부는
   상기 사용자 입력에 의하여 상기 이미지 정보 및 상기 오디오 정보 중 적어도 하나가 선택될 때, 상기 사용자가 보유하고 있는 소정의 상기 가상화폐를 공제하는 멀티미디어 콘텐츠 개발 장치.
   
6. 제1항에 있어서,
   상기 이미지 선택부는
   상기 선택된 이미지 정보에 관련되는 효과를 부여하는 효과부를 더 포함하고,
   상기 효과는
   이미지의 이동, 회전, 크기의 변동 및 투명도의 변화 중 적어도 하나를 포함하는 멀티미디어 콘텐츠 개발 장치.
   
7. 제1항에 있어서,
   상기 오디오 정보는
   효과음 및 배경음악 중 하나로 구분될 수 있는 오디오 식별정보를 포함하고,
   상기 오디오 데이터베이스는
   상기 오디오 식별정보에 기초하여 상기 오디오 정보를 상기 효과음 및 상기 배경음악 중 적어도 하나로 구분하여 저장하고,
   상기 오디오 선택부는
   상기 오디오 정보를 상기 효과음 및 배경음악의 구분에 기초하여 선택하는 멀티미디어 콘텐츠 개발 장치.
   
8. 제1항에 있어서,
   상기 이미지 데이터베이스에는
   사용자로부터 입력 받은 상기 이미지 정보로부터 추출한 오브젝트에 기초하여 생성된 이미지 정보인 오브젝트 이미지도 저장되어 있고,
   상기 오디오 데이터베이스에는
   상기 음성 정보에서 일정 구간을 선택하여 생성된 상기 오디오 정보인 샘플링 정보도 저장되어 있는 멀티미디어 콘텐츠 개발 장치.
   
9. 제8항에 있어서,
   상기 오브젝트 이미지는
   사용자로부터 입력 받은 이미지 정보에서 각각의 픽셀의 알파값에 기초하여 아웃라인을 인식하고, 상기 인식된 아웃라인 중에서 미리 설정된 형태를 갖는 아웃라인을 오브젝트로서 추출하고,
   상기 추출된 오브젝트를 이미지 파일로 저장하고, 상기 사용자로부터 입력 받은 상기 이미지 정보의 메타 데이터를 상기 오브젝트 이미지 파일의 메타 데이터로 저장함으로써 생성되는 멀티미디어 콘텐츠 개발 장치.
10. 삭제
11. 삭제
12. 제1항에 있어서,
    상기 키워드 데이터베이스는
    상기 선택 키워드를 어절과 음절로 분류하여 저장하는 멀티미디어 콘텐츠 개발 장치.
    
13. 제1항에 있어서,
    사용자에게 UI를 제공하는 UI제공부를 더 포함하고,
    상기 UI제공부가 제공하는 UI는
    사용자 입력에 의하여 상기 음성 정보의 수신 여부를 결정하는 녹음버튼, 상기 이미지 정보 및 상기 오디오 정보의 선택 목록을 제공하는 추천 리스트창 및 타임라인의 배치 상황을 시각적으로 보여주는 타임라인창을 포함하는 멀티미디어 콘텐츠 개발 장치.
14. 제13항에 있어서,
    상기 UI에는
    상기 텍스트 정보가 배치되는 텍스트 정보창을 더 포함하고,
    상기 텍스트 정보를 구성하는 단어에 마우스 커서가 롤 오버 되는 경우, 상기 단어와 동일한 메타 데이터를 포함하는 상기 이미지 정보가 나타나는 이미지 추천 리스트창을 더 포함하는 멀티미디어 콘텐츠 개발 장치.
15. 제1항에 있어서,
    상기 생성된 콘텐츠를 사용자가 미리 지정한 저장장치, 특정 웹페이지 및 SNS 중 적어도 한군데에 퍼블리싱하는 퍼블리싱부를 더 포함하는 멀티미디어 콘텐츠 개발 장치.
16. 제1항에 있어서,
    상기 텍스트 정보를 상기 음성 정보로 변환하는 음성 변환부를 더 포함하고,
    상기 음성 변환부는
    사용자 입력에 의하여 남성/여성의 음성 중 하나가 선택되고, 낭독 속도가 결정되고, 사용자의 선택에 의한 남성/여성의 음성 및 낭독 속도에 기초하여 상기 음성 정보로 변환되는 멀티미디어 콘텐츠 개발 장치.
17. 삭제

Images