KR101616672B1 - 멀티미디어 콘텐츠 정합 방법 - Google Patents

멀티미디어 콘텐츠 정합 방법 Download PDF

Info

Publication number
KR101616672B1
KR101616672B1 KR1020150020061A KR20150020061A KR101616672B1 KR 101616672 B1 KR101616672 B1 KR 101616672B1 KR 1020150020061 A KR1020150020061 A KR 1020150020061A KR 20150020061 A KR20150020061 A KR 20150020061A KR 101616672 B1 KR101616672 B1 KR 101616672B1
Authority
KR
South Korea
Prior art keywords
information
image
extracting
color
matching
Prior art date
Application number
KR1020150020061A
Other languages
English (en)
Inventor
이기정
문민수
정태호
박경제
최한설
Original Assignee
그림소프트 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 그림소프트 주식회사 filed Critical 그림소프트 주식회사
Priority to KR1020150020061A priority Critical patent/KR101616672B1/ko
Application granted granted Critical
Publication of KR101616672B1 publication Critical patent/KR101616672B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8545—Content authoring for generating interactive applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 멀티미디어 콘텐츠 정합 시스템 및 방법에 관한 것이다.
본 발명에 따른 멀티미디어 콘텐츠 정합 시스템은 멀티미디어 콘텐츠로부터 객체 영상의 크기와 위치를 포함하는 객체정보를 추출하는 객체정보 획득부와; 사용자 멀티미디어 콘텐츠의 분석정보를 상기 객체정보 획득부에 의해 획득된 객체정보에 반영하여 객체 영상의 크기 및 위치를 재추출하는 영상 분석부와; 상기 사용자 멀티미디어 콘텐츠로부터 광원정보, 색감정보 및 조명정보를 포함하는 정합정보를 추출하고, 추출된 정합정보를 객체 영상에 적용하여 상기 멀티미디어 콘텐츠와 상기 사용자 멀티미디어 콘텐츠의 정합시 발생하는 색감 이질감 및 조명 이질감을 감소시키는 이질감 감소부; 및 상기 영상 분석부에 의해 크기와 위치가 재추출되고, 상기 이질감 감소부에 의해 조명 및 색감이 조절된 객체 영상을 상기 사용자 멀티미디어 콘텐츠에 정합시키는 영상 정합부를 포함하는 것을 특징으로 한다.

Description

멀티미디어 콘텐츠 정합 방법{METHOD FOR MULTIMEDIA CONTENTS MATCHING}
본 발명은 멀티미디어 콘텐츠 정합기술에 관한 것으로, 특히 영화나 드라마 등의 멀티미디어 콘텐츠로부터 추출된 객체 영상과 사용자의 멀티미디어 콘텐츠의 정합시 발생하는 이질감을 최소화할 수 있는 멀티미디어 콘텐츠 정합 시스템 및 방법에 관한 것이다.
일반적으로, 멀티미디어 콘텐츠 정합은 영상이 포함된 복수의 콘텐츠를 정합하여 하나의 콘텐츠로 구현하는 기술이다. 최근 멀티미디어 콘텐츠 정합기술이 발전함에 따라 사진과 같은 정지영상뿐만 아니라 영화, 드라마와 같은 복수의 동영상이 정합되는 기술이 개발되고 있다.
종래의 멀티미디어 콘텐츠 정합 기술은 영화나 드라마 등의 멀티미디어 콘텐츠로부터 추출한 객체 영상을 사용자 멀티미디어 콘텐츠와 단순하게 병합시킨다. 이 경우, 두 멀티미디어 콘텐츠는 촬영 당시의 계절, 날씨, 조명, 카메라의 촬영 위치나 각도, 촬영 장소의 색감 등 촬영조건이 상이할 수 있다.
이에 따라, 객체 영상의 위치나 크기가 정합할 사용자 멀티미디어 콘텐츠와 맞지 않을 수 있으며, 또한, 객체 영상과 사용자 멀티미디어 콘텐츠는 색감, 날씨, 조명 등에서도 차이가 있을 수 있다. 따라서, 객체 영상과 사용자 멀티미디어 콘텐츠가 자연스럽게 정합되지 못하고 이질감이 있어 제작된 멀티미디어 콘텐츠가 부자연스러워지는 문제점을 야기한다.
대한민국 공개특허공보 2011-0089473호(2011.08.09)
따라서, 본 발명은 상기와 같은 종래기술의 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 일반적인 목적은 종래 기술에서의 한계와 단점에 의해 발생되는 다양한 문제점을 실질적으로 보완할 수 있는 멀티미디어 콘텐츠 정합 시스템 및 방법을 제공하는 것이다.
본 발명의 보다 구체적인 다른 목적은, 복수의 멀티미디어 콘텐츠 정합시 발생할 수 있는 정합 이질감을 최소화할 수 있는 멀티미디어 콘텐츠 정합 시스템 및 방법을 제공하는 것이다.
본 발명의 보다 구체적인 다른 목적은, 복수의 멀티미디어 콘텐츠 정합시 발생할 수 있는 조명 이질감을 최소화할 수 있는 멀티미디어 콘텐츠 정합 시스템 및 방법을 제공하는 것이다.
본 발명의 보다 구체적인 다른 목적은, 복수의 멀티미디어 콘텐츠 정합시 발생할 수 있는 색감 이질감을 최소화할 수 있는 멀티미디어 콘텐츠 정합 시스템 및 방법을 제공하는 것이다.
이를 위해 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 정합 시스템은 멀티미디어 콘텐츠로부터 객체 영상의 크기와 위치를 포함하는 객체정보를 추출하는 객체정보 획득부와; 사용자 멀티미디어 콘텐츠의 분석정보를 상기 객체정보 획득부에 의해 획득된 객체정보에 반영하여 객체 영상의 크기 및 위치를 재추출하는 영상 분석부와; 상기 사용자 멀티미디어 콘텐츠로부터 광원정보, 색감정보 및 조명정보를 포함하는 정합정보를 추출하고, 추출된 정합정보를 객체 영상에 적용하여 상기 멀티미디어 콘텐츠와 상기 사용자 멀티미디어 콘텐츠의 정합시 발생하는 색감 이질감 및 조명 이질감을 감소시키는 이질감 감소부; 및 상기 영상 분석부에 의해 크기와 위치가 재추출되고, 상기 이질감 감소부에 의해 조명 및 색감이 조절된 객체 영상을 상기 사용자 멀티미디어 콘텐츠에 정합시키는 영상 정합부를 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 정합 시스템에서, 상기 이질감 감소부는 상기 사용자 멀티미디어 콘텐츠로부터 날짜, 시각 및 위경도 정보를 추출하고 이들 정보로부터 광원의 종류 및 위치정보를 추출하는 광원정보추출모듈과; 상기 사용자 멀티미디어 콘텐츠로부터 색감정보를 추출하고, 추출한 색감정보를 객체 영상에 적용하는 색감처리모듈과; 상기 사용자 멀티미디어 콘텐츠로부터 추출한 광원의 위치정보를 객체 영상에 적용하는 조명처리모듈을 포함할 수 있다.
본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 정합 시스템에서, 상기 광원정보추출모듈은 상기 사용자 멀티미디어 콘텐츠에 저장된 콘텐츠 촬영일시 또는 저작일시를 이용하여 날짜 및 시각정보를 추출하고, 상기 사용자 멀티미디어 콘텐츠가 촬영된 위치에서의 GPS좌표로부터 위경도 정보를 추출하도록 구성될 수 있다.
또한, 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 정합 방법은 멀티미디어 콘텐츠로부터 객체 영상의 크기와 위치를 포함하는 객체정보를 추출하는 과정과; 사용자 멀티미디어 콘텐츠의 분석정보를 추출하고, 추출된 분석정보를 상기 객체정보에 반영하여 객체 영상의 크기 및 위치를 재추출하는 과정과; 상기 사용자 멀티미디어 콘텐츠로부터 광원정보, 색감정보 및 조명정보를 포함하는 정합정보를 추출하고, 추출된 정합정보를 객체 영상에 적용하여 상기 멀티미디어 콘텐츠와 상기 사용자 멀티미디어 콘텐츠의 정합시 발생하는 색감 이질감 및 조명 이질감을 감소시키는 과정과; 크기와 위치가 재추출되고, 조명 및 색감이 조절된 객체 영상을 상기 사용자 멀티미디어 콘텐츠에 정합시키는 과정을 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 정합 방법에서, 상기 사용자 멀티미디어 콘텐츠로부터 광원정보를 추출하는 과정은 상기 사용자 멀티미디어 콘텐츠의 영상을 입력으로 받아 영상을 그래이(Gray) 영상으로 변환한 다음 윤곽선을 추출하는 단계와; 윤곽선 추출된 영상을 영상 바이너리(binary) 변환 후 바이너리 이미지를 통해 마커를 생성하는 단계와; 생성된 마커를 이용하여 각 영상의 영역을 분할하는 단계와; 기설정된 색상 판넬의 색상값 특징을 이용하여 분할된 영역의 색상값을 비교하여 그림자 영역을 추출하는 단계와; 추출된 그림자 영역을 통해 광원의 위치를 추정하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 정합 방법에서, 상기 윤곽선을 추출하는 단계에서 윤곽선 추출은 소벨 에지 검출기(Sobel Edge Detector)를 이용하여 추출될 수 있다.
본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 정합 방법에서, 상기 마커를 이용하여 각 영상의 영역을 분할하는 단계에서 영역 분할은 워터쉐드 알고리즘을 적용하여 수행될 수 있다.
본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 정합 방법에서, 상기 색감정보를 추출하여 적용하는 과정은 상기 사용자 멀티미디어 콘텐츠의 영상을 입력으로 받아 기설정된 색상 판넬의 판넬 영역 각각의 값을 추출하는 단계와; 상기 판넬 영역의 값을 분석하여 색감특징을 추출하는 단계와; 추출된 색감특징을 광원정보에 적용하는 단계와; 상기 색감특징이 적용된 광원정보를 객체 영상에 적용하는 단계를 포함할 수 있다.
본 발명에 따른 멀티미디어 콘텐츠 정합 시스템 및 방법에 의하면, 복수의 멀티미디어 콘텐츠 정합시 발생할 수 있는 조명 이질감 및 색감 이질감을 최소화하여 자연스러운 영상 콘텐츠를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 정합 시스템의 구성을 개략적으로 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 이질감 감소부의 구성을 개략적으로 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 정합 방법을 설명하기 위한 흐름도이다.
도 4 는 본 발명의 일 실시예에 따른 사용자 멀티미디어로부터 광원정보를 추출하는 방법을 설명하기 위한 흐름도이다.
도 5는 도 4의 방법에 따라 사용자 멀티미디어로부터 광원정보를 추출하는 각 단계별 예시도면이다.
도 6은 본 발명의 일 실시예에 따른 사용자 멀티미디어로부터 색감정보를 추출하여 적용하는 방법을 설명하기 위한 흐름도이다.
도 7은 도 6의 방법에 따라 사용자 멀티미디어로부터 색감정보를 추출하여 적용하는 예시도면이다.
도 8은 본 발명의 일 실시예에 따른 그림자 생성방법을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따라 사용자 멀티미디어 콘텐츠에 객체 영상을 정합한 후의 도면이다.
이하, 첨부 도면을 참조하여 본 발명의 실시 예를 상세히 설명하면 다음과 같다.
본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 판례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하에서, 멀티미디어 콘텐츠는 영화, 드라마 등 영상을 기반으로 기존에 제작된 멀티미디어 콘텐츠를 의미하며, 객체 영상은 상기 멀티미디어 콘텐츠에서 특정(주인공) 객체를 별도를 저장한 이미지를 의미한다. 또한, 사용자 멀티미디어 콘텐츠는 사용자로부터 입력받거나 사용자가 카메라를 통해 촬영한 영상을 기반으로 하는 멀티미디어 콘텐츠를 의미한다.
도 1은 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 정합 시스템의 구성을 개략적으로 나타낸 블록도이다.
도 1을 참조하면, 본 실시예에 따른 멀티미디어 콘텐츠 정합 시스템은 객체정보 획득부(100), 영상 분석부(200), 이질감 감소부(300) 및 영상 정합부(400)를 포함한다.
상기 객체정보 획득부(100)는 멀티미디어 콘텐츠로부터 객체 영상의 크기와 위치를 추출하기 위한 것으로, 객체 영상의 초기위치설정, 객체 영상의 위치편집, 객체 영상의 크기 및 위치추출 등의 기능을 수행할 수 있다.
객체 영상의 초기위치설정 기능은 멀티미디어 콘텐츠에서 객체 영상의 초기위치를 설정하는 기능으로, 객체 영상의 초기위치는 객체 영상의 위치를 추출하기 위해 필요한 정보이다.
객체 영상의 위치편집 기능은 사용자가 객체 영상의 위치를 편집하여 사용자가 원하는 위치에 객체 영상을 위치시키는 기능이다.
객체 영상의 크기 및 위치추출 기능은 객체 영상의 초기위치를 기준으로 마커와 멀티미디어 콘텐츠의 분석정보를 이용하여 객체 영상의 크기와 위치를 추출하는 기능이다.
상기 영상 분석부(200)는 사용자가 촬영한 사용자 멀티미디어 콘텐츠를 분석하여 카메라의 회전각, 화각, 거리 등의 정보를 추출하고, 상기 객체정보 획득부(100)에 의해 획득된 객체정보에 반영하여 객체 영상의 크기 및 위치 정보를 재추출한다.
상기 이질감 감소부(300)는 멀티미디어 콘텐츠와 사용자 멀티미디어 콘텐츠 정합시 발생하는 이질감을 최소화하기 위한 것으로, 사용자 멀티미디어 콘텐츠로부터 광원정보, 색감정보, 조명정보를 포함하는 정합정보를 추출하여 객체 영상에 적용하는 기능을 수행한다.
도 2는 본 발명의 일 실시예에 따른 이질감 감소부의 구성을 나타낸 블록도로, 상기 이질감 감소부(300)는 광원정보추출모듈(310), 색감처리모듈(320), 조명처리모듈(330)을 포함한다.
상기 광원정보추출모듈(310)은 사용자 멀티미디어 콘텐츠로부터 광원(태양 또는 여타의 조명)의 종류 및 위치정보를 추출하기 위한 것으로, 사용자 멀티미디어 콘텐츠로부터 날짜, 시각, 위경도 정보를 추출하고 이들 정보로부터 광원의 종류 및 위치정보를 추출할 수 있다.
여기서, 날짜 및 시각 정보는 사용자 멀티미디어 콘텐츠에 저장된 콘텐츠 촬영일시 또는 저작일시를 이용하여 날짜 및 시각정보를 추출할 수 있다. 또한, 위경도 정보는 사용자 멀티미디어 콘텐츠가 촬영된 위치에서의 GPS좌표로부터 추출할 수 있다.
한편, 여기서 광원은 태양만을 의미하는 것은 아니며 촬영용 조명, 가로등 등 임의의 광원이 될 수 있다. 광원이 태양인 경우, 광원의 위치정보는 태양의 고도각과 방위각 정보가 될 수 있다.
상기 색감처리모듈(320)은 사용자 멀티미디어 콘텐츠로부터 색감정보를 추출하여(321) 추출한 색감정보를 객체 영상에 적용하는 기능(323)을 수행한다.
상기 조명처리모듈(330)은 사용자 멀티미디어 콘텐츠로부터 추출한 조명위치정보를 객체 영상에 적용하는 기능을 수행한다.
다시 도 1을 참조하면, 상기 영상 정합부(400)는 사용자 멀티미디어 콘텐츠에 객체 영상을 정합시키기 위한 것으로, 영상 분석부에 의해 크기와 위치가 재추출되고, 이질감 감소부에 의해 조명 및 색감이 조절된 객체 영상을 사용자 멀티미디어 콘텐츠에 정합시킨다.
도 3은 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 정합 방법을 설명하기 위한 흐름도이다.
도 3을 참조하면, 먼저, 객체정보 획득부에서 객체정보를 획득한다(S310). 여기서, 객체정보는 객체 영상의 크기, 위치 정보 등이 될 수 있다.
구체적으로, 멀티미디어 콘텐츠에서 객체 영상의 초기위치를 설정하며, 객체 영상의 초기위치는 객체 영상의 위치를 추출하기 위해 필요한 정보이다. 객체 영상의 초기위치가 설정되면, 사용자가 객체 영상의 위치를 편집하여 사용자가 원하는 위치로 객체 영상을 수정할 수 있다.
또한, 객체 영상의 초기위치를 기준으로 멀티미디어 콘텐츠의 분석정보를 이용하여 객체 영상의 크기와 위치를 추출한다. 이때, 멀티미디어 콘텐츠의 분석정보는 멀티미디어 콘텐츠를 촬영한 카메라의 회전각, 화각, 객체의 회전각, 카메라와 객체 사이의 거리 등을 포함할 수 있고, 객체 영상의 크기와 위치를 멀티미디어 콘텐츠의 회전, 거리 변화에 맞게 조절할 수 있다.
다음으로, 영상분석부에서 사용자가 촬영한 사용자 멀티미디어 콘텐츠를 분석하고 이를 S310 과정에서 추출한 객체정보에 반영하여 객체 영상의 크기와 위치 정보를 재추출한다(S320).
구체적으로, 사용자 멀티미디어 콘텐츠로부터 카메라(사용자 멀티미디어 콘텐츠를 촬영한 카메라)의 회전각, 화각 정보를 추출하고, 객체와 카메라 사이의 거리 정보를 추출하고, 이들 정보를 이용하여 객체 영상의 크기와 위치를 재추출한다.
다음으로, 광원정보추출모듈에서 광원정보를 추출한다(S330). 본 과정은 사용자 멀티미디어 콘텐츠로부터 광원(태양 또는 여타의 조명)의 종류 및 위치정보를 추출하기 위한 것으로, 사용자 멀티미디어 콘텐츠로부터 날짜, 시각, 위경도 정보를 추출하고 이들 정보로부터 광원의 종류 및 위치정보를 추출할 수 있다.
도 4 및 도 5는 사용자 멀티미디어로부터 광원정보를 추출하는 방법을 설명하기 위한 도면으로, 도 4는 흐름도이고, 도 5는 각 단계별 예시도면이다.
도 4 및 도 5를 참조하면, 먼저, 사용자 멀티미디어 콘텐츠의 영상을 입력으로 받아(501) 영상을 그래이(Gray) 변환한 다음(502) 윤곽선을 추출한다(503)(S410). 윤곽선 추출은 예를 들면, 소벨 에지 검출기(Sobel Edge Detector)를 이용하여 추출할 수 있다.
이어서, 영상 바이너리(binary) 변환 후 바이너리 이미지를 통해 마커를 생성한다(S420).
이어서, 생성된 마커를 이용하여 각 영상의 영역을 분할한다(504)(S430). 영역 분할은 워터쉐드 알고리즘을 적용하여 수행된다.
이어서, 5가지 색상 판넬의 색상값 특징을 이용하여 분할된 영역의 색상값을 비교하여(S440)(505) 그림자 영역을 추출한다(S450)(506).
이어서, S450 과정에서 추출된 그림자 영역을 통해 광원의 위치를 추정한다(S460).
다시 도 3을 참조하면, 광원정보 추출 후 색감처리과정을 수행하며(S340), 본 과정은 색감 이질감을 최소화하기 위해 사용자 멀티미디어 콘텐츠로부터 색감정보를 추출하여 추출한 색감정보를 객체 영상에 적용하는 과정이다.
도 6은 사용자 멀티미디어로부터 색감정보를 추출하여 적용하는 방법을 설명하기 위한 흐름도이고, 도 7은 예시도면이다.
도 6 및 도 7을 참조하면, 먼저, 사용자 멀티미디어 콘텐츠의 영상을 입력으로 받아 5가지 판넬 영역 예를 들면, R(레드), G(그린), B(블루), B(블랙), W(화이트) 각각의 값을 추출한다(S610). 본 실시예에서는 R, G, B, B, W의 5가지 색상 판넬을 예로 들었으나 여기에 한정되지 않고 다양한 종류의 색상 판넬이 적용 가능함은 물론이다.
이어서, S610 단계에서 추출된 5가지 판넬 영역의 값을 분석하여 색감특징을 추출한다(S620).
이어서, S620 단계에서 추출된 색감특징을 광원정보에 적용한다(S630).
이어서, 색감특징이 적용된 광원정보를 이용하여 객체 영상에 색감을 적용한다(S640).
전술한 과정을 통해 객체 영상이 사용자 멀티미디어 콘텐츠에 삽입될 영역과 동일한 색감을 가질 수 있도록 한다.
다시 도 3을 참조하면, 색감처리 후 조명처리과정을 수행하며(S350), 본 과정은 조명 이질감을 최소화하기 위해 사용자 멀티미디어 콘텐츠로부터 조명의 위치정보를 추출하여 추출한 정보를 객체 영상에 적용하는 과정이다.
사용자 멀티미디어 콘텐츠와 객체 영상은 촬영 시점(계절, 시간)이 다를 수 있고 조명도 다를 수 있기 때문에 그림자의 이질감이 발생할 수 있으며, 이러한 이질감을 최소화하기 위해 멀티미디어 콘텐츠에서 분석 및 추출한 판넬의 색상특징 정보와 광원정보를 적용하여 조명 이질감을 최소화한다.
구체적으로, 광원의 정보를 구하면 3차원 공간상에서 광원, 객체, 카메라 위치를 계산하여 그림자를 렌더링할 수 있다. 즉, 광원의 위치, 카메라의 위치, 객체의 위치와 크기, 그림자 투영 평면을 알고 있으면 도 8과 같이 그림자를 렌더링 할 수 있다.
도 8은 본 발명의 일 실시예에 따른 그림자 생성방법을 설명하기 위한 도면으로, 광원의 위치는 전술한 도 4에 도시한 과정을 통해 추출한다. 객체의 위치와 크기, 그림자 투영 평면은 고정값을 사용하고, 카메라의 위치는 고정으로 사용하나 화각은 전술한 과정에서 추출한 값을 이용한다. 적용된 그림자는 원본 영상의 그림자와의 길이의 차이가 30 픽셀(pixel) 이내, 그림자의 방향이 2도 이하 달성이 점검기준이다.
여기서, 그림자는 다음의 [수학식 1]에 의해서 계산할 수 있다.
Figure 112015013983914-pat00001
수학식 1에서, Ax+By+Cz+D=0은 그림자 투영 평면이고, P는 객체의 좌표이며, P'는 그림자의 렌더링 좌표이다.
다시 도 3을 참조하면, 색감처리 및 조명처리된 객체 영상을 사용자 멀티미디어 콘텐츠와 정합한다.
도 9는 정합 후 도면으로, 객체 영상이 사용자 멀티미디어 콘텐츠에 조명이나 색감 차이로 인한 이질감 없이 자연스럽게 정합되었음을 확인할 수 있다.
전술한 바와 같이 본 발명에 따르면, 복수의 멀티미디어 콘텐츠 정합시 발생할 수 있는 조명 이질감 및 색감 이질감을 최소화하여 자연스러운 영상 콘텐츠를 제공할 수 있다.
전술한 본 발명의 실시예는 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
한편, 본 발명의 상세한 설명 및 첨부도면에서는 구체적인 실시예에 관해 설명하였으나, 본 발명은 개시된 실시예에 한정되지 않고 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다. 따라서, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들을 포함하는 것으로 해석되어야 할 것이다.
100 : 객체정보 획득부 200 : 영상 분석부
300 : 이질감 감소부 310 : 광원정보추출모듈
320 : 색감처리모듈 330 : 조명처리모듈
400 : 영상 정합부

Claims (8)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 멀티미디어 콘텐츠로부터 객체 영상의 크기와 위치를 포함하는 객체정보를 추출하는 과정과;
    사용자 멀티미디어 콘텐츠의 분석정보를 추출하고, 추출된 분석정보를 상기 객체정보에 반영하여 객체 영상의 크기 및 위치를 재추출하는 과정과;
    상기 사용자 멀티미디어 콘텐츠로부터 광원정보, 색감정보 및 조명정보를 포함하는 정합정보를 추출하고, 추출된 정합정보를 객체 영상에 적용하여 상기 멀티미디어 콘텐츠와 상기 사용자 멀티미디어 콘텐츠의 정합시 발생하는 색감 이질감 및 조명 이질감을 감소시키는 과정과;
    크기와 위치가 재추출되고, 조명 및 색감이 조절된 객체 영상을 상기 사용자 멀티미디어 콘텐츠에 정합시키는 과정을 포함하며,
    상기 사용자 멀티미디어 콘텐츠로부터 광원정보를 추출하는 과정은
    상기 사용자 멀티미디어 콘텐츠의 영상을 입력으로 받아 영상을 그래이(Gray) 영상으로 변환한 다음 윤곽선을 추출하는 단계와;
    윤곽선 추출된 영상을 영상 바이너리(binary) 변환 후 바이너리 이미지를 통해 마커를 생성하는 단계와;
    생성된 마커를 이용하여 각 영상의 영역을 분할하는 단계와;
    기설정된 색상 판넬의 색상값 특징을 이용하여 분할된 영역의 색상값을 비교하여 그림자 영역을 추출하는 단계와;
    추출된 그림자 영역을 통해 광원의 위치를 추정하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 콘텐츠 정합 방법.
  6. 제 5 항에 있어서, 상기 윤곽선을 추출하는 단계에서 윤곽선 추출은
    소벨 에지 검출기(Sobel Edge Detector)를 이용하여 추출되는 것을 특징으로 하는 멀티미디어 콘텐츠 정합 방법.
  7. 제 5 항에 있어서, 상기 마커를 이용하여 각 영상의 영역을 분할하는 단계에서 영역 분할은 워터쉐드 알고리즘을 적용하여 수행되는 것을 특징으로 하는 멀티미디어 콘텐츠 정합 방법.
  8. 멀티미디어 콘텐츠로부터 객체 영상의 크기와 위치를 포함하는 객체정보를 추출하는 과정과;
    사용자 멀티미디어 콘텐츠의 분석정보를 추출하고, 추출된 분석정보를 상기 객체정보에 반영하여 객체 영상의 크기 및 위치를 재추출하는 과정과;
    상기 사용자 멀티미디어 콘텐츠로부터 광원정보, 색감정보 및 조명정보를 포함하는 정합정보를 추출하고, 추출된 정합정보를 객체 영상에 적용하여 상기 멀티미디어 콘텐츠와 상기 사용자 멀티미디어 콘텐츠의 정합시 발생하는 색감 이질감 및 조명 이질감을 감소시키는 과정과;
    크기와 위치가 재추출되고, 조명 및 색감이 조절된 객체 영상을 상기 사용자 멀티미디어 콘텐츠에 정합시키는 과정을 포함하며,
    상기 색감정보를 추출하여 적용하는 과정은
    상기 사용자 멀티미디어 콘텐츠의 영상을 입력으로 받아 기설정된 색상 판넬의 판넬 영역 각각의 값을 추출하는 단계와;
    상기 판넬 영역의 값을 분석하여 색감특징을 추출하는 단계와;
    추출된 색감특징을 광원정보에 적용하는 단계와;
    상기 색감특징이 적용된 광원정보를 객체 영상에 적용하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 콘텐츠 정합 방법.
KR1020150020061A 2015-02-10 2015-02-10 멀티미디어 콘텐츠 정합 방법 KR101616672B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150020061A KR101616672B1 (ko) 2015-02-10 2015-02-10 멀티미디어 콘텐츠 정합 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150020061A KR101616672B1 (ko) 2015-02-10 2015-02-10 멀티미디어 콘텐츠 정합 방법

Publications (1)

Publication Number Publication Date
KR101616672B1 true KR101616672B1 (ko) 2016-04-28

Family

ID=55915358

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150020061A KR101616672B1 (ko) 2015-02-10 2015-02-10 멀티미디어 콘텐츠 정합 방법

Country Status (1)

Country Link
KR (1) KR101616672B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110089473A (ko) 2010-02-01 2011-08-09 석윤찬 콘텐츠와 광고물 간 매칭 시스템 및 방법
KR20110104686A (ko) * 2010-03-17 2011-09-23 에스케이텔레콤 주식회사 마커 크기 기반 인터렉션 방법 및 이를 구현하기 위한 증강 현실 시스템
KR20120093991A (ko) * 2010-03-25 2012-08-23 주식회사 비즈모델라인 증강 현실 시스템
KR101462583B1 (ko) * 2014-07-01 2014-11-17 주식회사 엠투브 위치 기반 멀티미디어 콘텐츠 제공 장치 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110089473A (ko) 2010-02-01 2011-08-09 석윤찬 콘텐츠와 광고물 간 매칭 시스템 및 방법
KR20110104686A (ko) * 2010-03-17 2011-09-23 에스케이텔레콤 주식회사 마커 크기 기반 인터렉션 방법 및 이를 구현하기 위한 증강 현실 시스템
KR20120093991A (ko) * 2010-03-25 2012-08-23 주식회사 비즈모델라인 증강 현실 시스템
KR101462583B1 (ko) * 2014-07-01 2014-11-17 주식회사 엠투브 위치 기반 멀티미디어 콘텐츠 제공 장치 및 그 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
이근호, 사용자 참여형 멀티미이어 융합 콘텐츠 제공 기술 개발, 전주대학교, 2014 2월 20일, pp. 1-20.* *

Similar Documents

Publication Publication Date Title
US10540806B2 (en) Systems and methods for depth-assisted perspective distortion correction
KR102185179B1 (ko) 멀티-뷰 장면 분할 및 전파
US11457138B2 (en) Method and device for image processing, method for training object detection model
US8494297B2 (en) Automatic detection and mapping of symmetries in an image
Gao et al. Ancient Chinese architecture 3D preservation by merging ground and aerial point clouds
US20170161592A1 (en) System and method for object detection dataset application for deep-learning algorithm training
US20130258138A1 (en) Apparatus for generating an image with defocused background and method thereof
US9542735B2 (en) Method and device to compose an image by eliminating one or more moving objects
US20080226171A1 (en) Correcting device and method for perspective transformed document images
MX2010014049A (es) Registro de imagenes de nivel de calle para modelos de construccion tridimensional (3d).
US20160140744A1 (en) Aligning Panoramic Imagery and Aerial Imagery
US9639943B1 (en) Scanning of a handheld object for 3-dimensional reconstruction
Fredembach et al. Simple shadow remova
JPWO2004095374A1 (ja) 映像オブジェクト認識装置および認識方法、映像アノテーション付与装置および付与方法ならびにプログラム
JP2017041228A (ja) レーン検出
KR20090028789A (ko) 이미지의 텍스트 인식
US11620730B2 (en) Method for merging multiple images and post-processing of panorama
JP2012038318A (ja) ターゲット検出方法及び装置
US20170018106A1 (en) Method and device for processing a picture
KR20110131949A (ko) 영상 처리 장치 및 방법
RU2673015C1 (ru) Способы и системы оптического распознавания символов серии изображений
Recky et al. Façade segmentation in a multi-view scenario
CN111382647A (zh) 一种图片处理方法、装置、设备及存储介质
EP2423850B1 (en) Object recognition system and method
Nicolas et al. Joint moving cast shadows segmentation and light source detection in video sequences

Legal Events

Date Code Title Description
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee