KR102271521B1 - 주변 영상 생성 방법 및 이를 수행하는 서버 - Google Patents

주변 영상 생성 방법 및 이를 수행하는 서버 Download PDF

Info

Publication number
KR102271521B1
KR102271521B1 KR1020190179938A KR20190179938A KR102271521B1 KR 102271521 B1 KR102271521 B1 KR 102271521B1 KR 1020190179938 A KR1020190179938 A KR 1020190179938A KR 20190179938 A KR20190179938 A KR 20190179938A KR 102271521 B1 KR102271521 B1 KR 102271521B1
Authority
KR
South Korea
Prior art keywords
image
surrounding
generating
main
source
Prior art date
Application number
KR1020190179938A
Other languages
English (en)
Inventor
고해정
이두희
장경윤
박기수
Original Assignee
씨제이포디플렉스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 씨제이포디플렉스 주식회사 filed Critical 씨제이포디플렉스 주식회사
Priority to KR1020190179938A priority Critical patent/KR102271521B1/ko
Application granted granted Critical
Publication of KR102271521B1 publication Critical patent/KR102271521B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/787—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G06K9/00711—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 일 실시 예에 따른 주변 영상 생성 방법은 주변 영상 생성 서버가 주변 영상을 생성하는 방법으로서, 외부 서버로부터 상영관 등 재생 공간의 중앙 재생 영역에 재생되는 메인 영상을 입력 받는 단계, 입력 받은 메인 영상을 분석하는 단계, 분석 결과를 이용하여 상기 주변 영상을 생성하기 위한 소스를 검색하는 단계 및 검색된 소스를 편집하여, 주변 영상을 생성하는 단계를 포함한다.
본 발명에 따르면, 메인 영상을 유지한 상태에서 메인 영상 내 소스 검색을 통해 메인 영상과 자연스럽게 어우러지는 주변 영상을 생성할 수 있다.

Description

주변 영상 생성 방법 및 이를 수행하는 서버{METHOD OF GENERATING SURROUNGING IMAGE AND SERVER PERFORMING THE SAME}
본 발명은 주변 영상을 생성하는 방법 및 서버에 관한 것이다. 보다 자세하게는 메인 영상으로부터 메인 영상과 자연스럽게 연결되는 주변 영상을 자동으로 생성할 수 있는 주변 영상 생성 방법 및 이를 수행하는 주변 영상 생성 서버에 관한 것이다.
일반적으로 상영관은 관객의 정면에 배치된 투사면, 디스플레이 장치로 하나의 메인 영상을 재생한다. 여기서, 메인 영상은 상영관의 평균 크기에 맞는 해상도, 비율로 제작되어 있는 반면, 상영관은 그 크기가 다양하기 때문에, 규모가 큰 상영관에서 이에 맞지 않는 비율의 메인 영상을 출력할 시에 화질이 떨어지는 문제점이 있다.
또한, 최근 들어 정면 외에 좌우측면, 천장, 바닥면 등 영상 재생 영역이 확장된 다면 상영관의 수가 증가하고 있지만, 다면 상영관의 증가 추세에 비해 다면 상영관에 적합한 영상은 턱없이 부족한 실정이다. 이러한 상황은 최근 크게 발전하고 있는 360도 시야각을 갖는 VR 영상에 있어서도 마찬가지이다.
그에 따라, 하나의 메인 영상에서 상하 좌우로 연결되는 주변 영상을 별도로 생성해야 하며, 이를 위해 이미지 스티칭(Image Stiching) 기술을 활용할 수 있다. 이미지 스티칭이란 다수의 카메라를 통해 찍은 이미지들을 합성하여, 넓은 화각을 가지는 파노라마 이미지 또는 고해상도의 이미지를 만들어내는 작업으로서, 이미지들의 특징점을 추출하는 이미지 분석단계, 픽셀 데이터를 보정하는 교정(Calibration) 단계 및 교정된 이미지들을 투영하는 혼합(Blending)의 단계로 이루어진다.
그러나 이미지 스티칭은 다수의 카메라를 통해 찍은 이미지들이 존재한다는 전제하에 수행되는 것으로서, 영상 생성을 위한 각종 소스(예. 이미지, 오디오, 3D 모델링)가 부족한 상황에서 이질감 없는 주변 영상을 생성하기 위한 기술은 아직까지 개발된 바 없다.
이에 본 발명은 영상을 제작하기 위한 소스가 부족한 상황에서도 메인 영상만을 이용하여 이와 자연스럽게 어우러질 수 있는 주변 영상을 생성할 수 있는 방법 및 이를 수행하는 서버를 제안한다.
한국등록특허공보 제10-1807979호(2017.12.05.) 한국등록특허공보 제10-1451041호(2014.10.07.)
본 발명이 해결하고자 하는 기술적 과제는 메인 영상을 분석하여 주변 영상을 생성하기 위한 소스를 획득하고, 메인 영상을 수정하지 않고도 이와 자연스럽게 이어지는 주변 영상을 생성하는 방법 및 이를 수행하는 서버를 제공하는 것이다.
본 발명이 해결하고자 하는 다른 기술적 과제는 메인 영상과 이어지는 주변 영상을 재생 공간의 특징에 맞게 보정(예. 와핑(Warping))하여, 전체적인 영상의 왜곡을 최소화할 수 있는 방법 및 이를 수행하는 서버를 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는 메인 영상과 주변 영상을 동시에 확인하고 편집할 수 있는 UI를 제공할 수 있는 방법 및 이를 수행하는 서버를 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시 예에 따른 주변 영상 생성 방법은, 서버가 주변 영상을 생성하는 방법으로서, 외부 서버로부터 상영관의 중앙 재생 영역에 재생되는 메인 영상을 입력 받는 단계, 입력 받은 메인 영상을 분석하는 단계, 분석 결과를 이용하여 상기 주변 영상을 생성하기 위한 소스를 검색하는 단계 및 검색된 소스를 편집하여, 주변 영상을 생성하는 단계를 포함한다.
일 실시 예에 따르면, 상기 주변 영상은, 상기 메인 영상의 상하 또는 좌우에서 배경 또는 객체가 연장되는 영상이거나 상기 메인 영상의 상하 또는 좌우에서 배경 또는 객체에 대한 색상, 크기 및 비율 중 적어도 하나의 항목에 대한 유사도가 기 설정된 값 이상인 영상일 수 있다.
일 실시 예에 따르면, 상기 메인 영상을 분석하는 단계는, 기 설정된 기준에 따라 상기 메인 영상을 복수 개의 구간으로 분할하는 단계 및 상기 복수 개의 구간 내 객체 또는 장소를 인식하는 단계를 포함할 수 있다.
일 실시 예에 따르면, 상기 기 설정된 기준은, 상기 메인 영상의 프레임 내 색상, 밝기, 장소, 객체, 자막 및 촬영 설정 중 적어도 하나의 항목에 대한 조합으로 선정될 수 있다.
일 실시 예에 따르면, 상기 소스를 검색하는 단계는, 인식된 객체 또는 장소를 이용하여, 상기 메인 영상 또는 데이터베이스 내 소스를 검색하는 단계일 수 있다.
일 실시 예에 따르면, 상기 소스는, 소정 재생 시간을 가지는 영상, 오디오, 2D 이미지 및 3D 모델링 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 상기 주변 영상을 생성하는 단계 이전에, 상기 메인 영상의 프레임 별로 객체와 배경을 분리하는 단계를 포함하고, 상기 주변 영상을 생성하는 단계는, 상기 소스가 분리된 객체 또는 배경의 가장자리를 따라 연장될 수 있도록 편집할 수 있다.
일 실시 예에 따르면, 상기 주변 영상을 생성하는 단계는, 상기 메인 영상을 유지한 상태에서 소스의 형태, 색상, 밝기, 재질 및 움직임 중 적어도 하나의 속성을 편집할 수 있다.
일 실시 예에 따르면, 상기 소스를 검색하는 단계와 상기 주변 영상을 생성하는 단계 사이에서, 검색된 소스가 복수 개인 경우, 복수 개의 소스를 하나의 소스로 재생성하는 단계를 더 포함할 수 있다.
일 실시 예에 따르면, 상기 주변 영상을 생성하는 단계 이후에, 상기 메인 영상과 상기 주변 영상을 프레임 별로 모니터링하고, 상기 메인 영상과 상기 주변 영상의 배경 또는 객체에 대한 색상, 크기 및 비율 중 적어도 하나의 항목에 대한 유사도가 기 설정된 값 이하인지 판단하는 단계 및 판단 결과, 상기 유사도가 기 설정된 값 이하인 경우, 주변 영상을 자동으로 재생성하는 단계를 더 포함할 수 있다.
일 실시 예에 따르면, 상기 주변 영상을 생성하는 단계 이후에, 상기 메인 영상 및 상기 주변 영상이 재생될 공간의 파라미터를 수신하는 단계 및 상기 파라미터를 기초로 상기 주변 영상을 보정하는 단계를 더 포함할 수 있다.
일 실시 예에 따르면, 상기 메인 영상을 입력 받는 단계는, 상기 메인 영상과 연장될 수 있는 주변 영상의 제작 항목을 입력 받는 단계를 더 포함하고, 상기 주변 영상을 생성하는 단계는, 상기 주변 영상의 제작 항목을 기초로 주변 영상을 생성할 수 있다.
본 발명의 다른 실시 예에 따른 주변 영상 생성 서버는, 상영관 등 재생 공간의 메인 재생 영역에 재생되는 메인 영상을 입력 받는 입력부, 입력 받은 메인 영상을 분석하는 영상 분석부, 분석 결과를 이용하여 주변 영상을 생성하기 위한 소스를 검색하는 소스 검색부 및 검색된 소스를 편집하여, 주변 영상을 생성하는 주변 영상 생성부를 포함한다.
일 실시 예에 따르면, 상기 주변 영상은, 상기 메인 영상의 상하 또는 좌우에서 배경 또는 객체가 연장되는 영상이거나, 상기 메인 영상의 상하 또는 좌우에서 배경 또는 객체에 대한 색상, 크기 및 비율 중 적어도 하나의 항목에 대한 유사도가 기 설정된 값 이상인 영상일 수 있다.
일 실시 예에 따르면, 상기 영상 분석부는, 기 설정된 기준에 따라 상기 메인 영상을 복수 개의 구간으로 분할하고, 상기 복수 개의 구간으로 분할하기 전 또는 후에 메인 영상에서 또는 분할된 구간 별로 객체 또는 장소를 인식할 수 있다.
일 실시 예에 따르면, 상기 기 설정된 기준은, 상기 메인 영상의 프레임 내 색상, 밝기, 장소, 객체, 자막 및 촬영 설정 중 적어도 하나의 항목에 대한 조합으로 선정될 수 있다.
일 실시 예에 따르면, 상기 소스 검색부는, 인식된 객체 또는 장소를 이용하여, 상기 메인 영상 또는 데이터베이스 내 소스를 검색할 수 있다.
일 실시 예에 따르면, 상기 소스는, 소정 재생 시간을 가지는 영상, 오디오, 2D 이미지 및 3D 모델링 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 상기 주변 영상 생성부는, 상기 주변 영상을 생성하기 전, 상기 메인 영상의 프레임 별로 객체와 배경을 분리하고, 상기 소스가 분리된 객체 또는 배경의 가장자리를 따라 연장될 수 있도록 편집할 수 있다.
일 실시 예에 따르면, 상기 주변 영상 생성부는, 상기 메인 영상을 유지한 상태에서 소스의 형태, 색상, 밝기, 재질 및 움직임 중 적어도 하나의 속성을 편집할 수 있다.
일 실시 예에 따르면, 상기 소스 검색부는, 검색된 소스가 복수 개인 경우, 복수 개의 소스를 하나의 소스로 재생성할 수 있다.
일 실시 예에 따르면, 상기 메인 영상과 상기 주변 영상을 프레임 별로 모니터링하고, 상기 메인 영상과 상기 주변 영상의 배경 또는 객체에 대한 색상, 크기 및 비율 중 적어도 하나의 항목에 대한 유사도가 기 설정된 값 이하인지 판단하며, 판단 결과, 상기 유사도가 기 설정된 값 이하인 경우, 서버 UI 또는 설정된 단말에 표시할 보정 알림을 생성하거나 상기 주변 영상을 자동으로 재생성하기 위한 신호를 생성하는 주변 영상 모니터링부를 더 포함할 수 있다.
일 실시 예에 따르면, 상기 입력부는, 상기 메인 영상 및 상기 주변 영상이 재생될 공간의 파라미터를 수신하고, 상기 주변 영상 생성부는, 상기 파라미터를 기초로 상기 주변 영상을 보정할 수 있다.
일 실시 예에 따르면, 상기 상영관 등의 재생 공간에 재생되는 메인 영상 또는 주변 영상을 보정하기 위한 사용자 인터페이스(User Interface, UI)를 제공하는 UI 제공부를 더 포함할 수 있다.
일 실시 예에 따르면, 상기 입력부는, 상기 메인 영상과 연장될 수 있는 주변 영상의 제작 항목을 입력 받고, 상기 주변 영상 생성부는, 상기 주변 영상의 제작 항목을 기초로 주변 영상을 생성할 수 있다.
본 발명에 의하면, 메인 영상 내 객체/장소가 나타나는 프레임을 구분하고, 이를 기반으로 소스를 검색하여, 메인 영상을 편집하지 않고도 이와 자연스럽게 이어지는 주변 영상을 생성할 수 있다. 뿐만 아니라, 메인 영상 외에도 외부 사이트를 통한 소스 검색을 하여, 주변 영상을 생성하기 위한 소스를 충분하게 확보할 수 있다.
또한, 검색된 소스가 여러 개인 경우, 이를 하나의 소스로 합치는 과정을 수행하여, 주변 영상을 생성하기 위한 방법을 간소화시킬 수 있다.
또한, 주변 영상을 획득하기 위한 소스를 메인 영상에서 획득하는 바, 주변 영상 내 형태, 색상, 재질, 움직임 등을 자연스럽게 메인 영상과 연결할 수 있으며, 주변 영상을 메인 영상과 대등한 수준의 해상도로 높여 주변 영상에 대한 이질감을 최소화할 수 있다.
또한, 메인 영상이 아닌 주변 영상은 규정되지 않은 다양한 공간에서 재생 가능한 바, 공간의 형태에 따라 주변 영상을 보정하여 영상의 왜곡을 최소화할 수 있다.
또한, 메인 영상과 주변 영상을 동시에 확인하고 편집할 수 있는 UI를 제공하여, 사용자는 서버에 의해 제작된 주변 영상의 문제점, 오류를 쉽게 교정할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 주변 영상 생성을 위한 상영관 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시 예에 따른 주변 영상 생성 서버의 구성을 나타낸 도면이다.
도 3은 본 발명의 일 실시 예에 따른 주변 영상 생성부가 주변 영상을 생성하는 방식을 설명하기 위한 도면이다.
도 4는 본 발명의 다른 실시 예에 따른 주변 영상 생성부가 주변 영상을 생성하는 방식을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 주변 영상 모니터링부가 주변 영상을 모니터링하는 방식을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 주변 영상 생성 방법을 나타낸 흐름도이다.
도 7은 도 6의 S140 단계 이후, 주변 영상을 보정 여부를 판단하는 방법을 나타낸 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
본 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계 및/또는 동작은 하나 이상의 다른 구성요소, 단계 및/또는 동작의 존재 또는 추가를 배제하지 않는다.
도 1은 본 발명의 일 실시 예에 따른 주변 영상 생성을 위한 상영관 시스템(1000)의 구성을 나타낸 도면이다.
도 1을 참조하면, 상영관 시스템(1000)은 외부 서버(100), 주변 영상 생성 서버(200), 배포 서버(300), 내/외부 데이터베이스(400) 및 여러 장소의 상영관들의 상영 서버들(500)을 포함할 수 있다.
외부 서버(100)는 각 상영관에 상영될 원 영상을 제공하는 서버로서, 여기서 설명하는 원 영상은 상영관 또는 각종 재생 공간의 중앙에 재생되는 메인 영상일 수 있다. 외부 서버(100)는 메인 영상 이외에도 메인 영상과 연결되거나 어울리는 주변 영상을 생성하기 위한 각종 정보를 주변 영상 생성 서버(200)로 송신할 수 있다. 예를 들어, 각종 정보는 메인 영상의 장르, 시나리오, 등장 인물, 러닝 타임, 메인 영상에 사용된 촬영 설정(카메라 렌즈, 카메라 기종) 등 소스 검색에 참고할 수 있는 정보를 포함할 수 있다.
아울러, 외부 서버(100)는 주변 영상 생성 서버(200)로 영상 파일 전체를 한 번에 송신하거나, 스트리밍 데이터(Streaming Data) 형태로 실시간 송신할 수 있다.
한편, 외부 서버(100)는 상영 서버(500)에서 상영할 영상이 다면 영상인 경우, 주변 영상 생성 서버(200)로 메인 영상과 함께 주변 영상을 송신할 수 있다. 예를 들어, 다면 영상은 1)메인 영상의 전체 러닝 타임 동안 주변 영상이 존재하는 유형과 2)메인 영상의 전체 러닝 타임 중 일부 시간 동안에서만 주변 영상이 존재하는 유형으로 구분될 수 있다.
주변 영상 생성 서버(200)는 상영관 등 재생 공간의 정면에 배치된 메인 재생 영역에서 재생되는 메인 영상을 분석하고, 해당 재생 공간의 특성에 맞게 메인 영상과 상하 또는 좌우 방향으로 이어지는 서브 재생 영역에서 재생되는 주변 영상을 편집/생성할 수 있다.
구체적으로, 메인 영상이 재생되는 공간의 특성에 따라 메인 영상이 하나의 메인 재생 영역에 꽉 차지 않아 일부 영역이 공백으로 보이거나, 서브 재생 영역을 활용하지 못할 수 있다. 그에 따라, 주변 영상 생성 서버(200)는 메인 영상과 상하 또는 좌우로 이어지는 주변 영상을 생성할 수 있다. 여기서, 주변 영상 생성 서버(200)가 생성하는 주변 영상은 메인 영상의 배경 또는 객체가 연장되는 영상이거나, 메인 영상의 배경 또는 객체가 연장되지 않지만 메인 영상과 유사도가 높아 메인 영상과 어울리는 영상일 수 있다.
한편, 주변 영상 생성 서버(200)는 영상이 재생되는 다양한 공간 내 구성 요소들을 제어할 수 있다. 예를 들어, 영상이 재생되는 공간은 상영관 뿐만이 아닌 전시회, 공연 무대, 집 등일 수도 있다. 즉, 주변 영상 생성 서버(200)는 메인 영상이 재생될 메인 재생 영역 외에 상하 좌우로 주변 영상이 재생될 서브 재생 영역을 포함하는 다양한 공간에서 재생되는 영상을 분석하고, 해당 공간의 특성에 맞게 영상을 편집/생성할 수 있다. 다만, 본 발명에서는 설명의 편의를 위해 메인 영상 및 주변 영상이 생성되는 공간을 예시적으로"다면 상영관"으로 하고, 이를 편집하고 생성하는 서버를 "주변 영상 생성 서버(200)"로 정의한다.
배포 서버(300)는 주변 영상 생성 서버(200)가 생성한 주변 영상을 전달 받아 복수 개의 상영관에 배포할 수 있다.
데이터베이스(400)는 영상 생성을 위한 각종 소스를 저장할 수 있다. 상기 데이터베이스(400)는 주변 영상 생성 서버(200) 내에 포함되어 구현되거나, 별도의 외부 서버로 구현되는 데이터베이스이거나, 별도의 서비스 제공자가 운영하는 검색 사이트의 데이터베이스일 수 있다.
한편, 주변 영상 생성 서버(200)가 찾고자 하는 소스란 영상, 오디오, 이미지(예. 그래픽), 3D 모델링, 애니메이션, 파티클 효과 등을 포함할 수 있으며, 주변 영상 생성 서버(200)는 내/외부 데이터베이스(400)에서 주변 영상을 생성하기 위해 필요한 소스를 검색할 수 있다.
복수개의 상영 서버들(500)은 메인 영상과 주변 영상을 제공 받아 각 상영관에서 실제 영상을 상영하기 위한 서버들이다.
지금까지 본 발명의 일 실시 예에 따른 상영관 시스템(1000)에 대하여 설명하였으며, 이하에서는 메인 영상에서 상하 또는 좌우로 이어지는 주변 영상을 생성할 수 있는 주변 영상 생성 서버(200)의 구성에 대하여 구체적으로 설명한다.
도 2는 본 발명의 일 실시 예에 따른 주변 영상 생성 서버(200)의 구성을 나타낸 도면이다.
도 2를 참조하면, 주변 영상 생성 서버(200)는 입력부(210), 영상 분석부(220), 소스 검색부(230), 주변 영상 생성부(240), 주변 영상 모니터링부(250) 및 UI 제공부(260)를 포함할 수 있다.
입력부(210)는 외부 서버(100)로부터 상영관 등 재생 공간의 정면에 배치된 메인 재생 영역에 재생되는 메인 영상을 입력 받을 수 있다. 구체적으로, 입력부(210)는 외부 서버(100)로부터 영상 파일 전체를 한 번에 수신하거나, 스트리밍 데이터 형태로 실시간 수신할 수 있다. 또한, 외부 서버를 통하지 않고, 로컬(하드디스크 등)로 직접 입력 받을 수도 있음은 물론이다.
또한, 입력부(210)는 외부 서버(100)로부터 메인 영상 이외에도 메인 영상과 연결되거나, 어울리는 주변 영상을 생성하기 위한 각종 정보를 수신할 수 있다. 예를 들어, 각종 정보는 메인 영상의 장르, 시나리오, 등장 인물, 러닝 타임, 메인 영상에 사용된 촬영 설정(카메라 렌즈, 카메라 기종) 등 소스 검색에 참고할 수 있는 정보를 포함할 수 있다. 뿐만 아니라, 입력부(210)는 제작자로부터 메인 영상과 연결될 수 있는 주변 영상의 색상, 윤곽선(형태), 재질 등의 제작 항목을 입력 받을 수도 있다.
한편, 본 발명에서 설명하는 주변 영상은, 메인 영상의 상하 또는 좌우에서 배경 또는 객체가 연장되는 영상이거나, 메인 영상의 상하 또는 좌우에서 배경 또는 객체가 연장되지 않지만, 메인 영상과 유사도가 높아 메인 영상과 어울리는 영상일 수 있다.
입력부(210)는 외부 서버(100)로부터 메인 재생 영역에서만 재생되는 단일 영상이 아닌, 다면 영상을 수신할 수 있다. 여기서, 다면 영상은 크게 2가지로 유형으로 분류될 수 있는데, 메인 영상의 전체 러닝 타임 동안 주변 영상이 존재하는 유형과 메인 영상의 전체 러닝 타임 중 일부 시간 동안에서만 주변 영상이 존재하는 유형일 수 있다.
한편, 입력부(210)는 외부(상영 서버 등 별도의 서버)로부터 메인 영상 및 주변 영상이 재생될 공간의 파라미터를 수신할 수 있으며, 수신한 파라미터는 메인 영상 및 주변 영상이 다면 상영관의 환경에 맞게 보정되기 위한 자료로 활용될 수 있다. 다만, 이러한 보정은 주변 영상 생성 서버가 아닌 상영 서버에서 직접 수행할 수도 있다.
영상 분석부(220)는 입력 받은 메인 영상을 분석하여, 주변 영상을 생성하기 위해 어떠한 소스를 필요로 하는지, 또는 필요한 소스를 검색해야 하는지 등을 확인할 수 있다. 구체적으로, 영상 분석부(220)는 메인 영상의 이미지와 오디오를 분석할 수 있으며, 복수의 프레임으로 이루어진 메인 영상을 적어도 둘 이상의 구간으로 분할하고, 분할된 구간에서 객체 또는 장소를 인식할 수 있다. 상기 객체 또는 장소의 인식은 메인 영상의 분할 전에 메인 영상 전체에 대해서도 할 수 있다.
영상 분석부(220)는 기 설정된 기준에 따라 메인 영상을 적어도 둘 이상의 구간으로 분할할 수 있다. 여기서, 기 설정된 기준은, 메인 영상의 프레임 내 색상, 밝기, 장소, 객체, 자막 및 촬영 설정 중 적어도 하나의 항목에 대한 조합으로 선정될 수 있다. 영상 분석부(220)는 프레임과 프레임 간의 특징(상술한 항목)이 유사할 경우 두 개의 프레임을 하나의 구간으로 설정하고, 유사하지 않을 경우 두 개의 프레임을 두 개의 구간으로 분할할 수 있다.
예를 들어, 영상 분석부(220)는 제1 프레임과 제2 프레임 간 색상이 유사할 경우, 제1, 제2 프레임을 하나의 구간에 포함시키고, 프레임과 프레임 간 색상이 유사하지 않을 경우, 제1, 제2 프레임을 서로 다른 구간으로 분할할 수 있다. 이와 같이, 영상 분석부(220)는 서로 이어지는 프레임을 비교하여 메인 영상을 적어도 두 개의 구간으로 분할할 수 있다. 색상 값으로는 예를 들어 평균 값을 사용할 수 있다.
다른 예를 들어, 영상 분석부(220)는 각 프레임의 이미지 분석을 통해 메인 영상에 등장하는 장소 또는 객체를 인지할 수 있으며, 제1 프레임과 제2 프레임에 동일한 장소 또는 객체가 존재하는 것으로 인지할 경우, 제1, 제2 프레임을 하나의 구간에 포함시킬 수 있다.
또 다른 예를 들어, 영상 분석부(220)는 영상 프레임의 자막을 활용할 수도 있다. 다큐멘터리나 예능의 경우 보통 좌측상단에 소제목을 자막으로 표기하는데, 이를 인식하여 구간을 분할 할 수도 있다.
또 다른 예를 들어, 영상 분석부(220)는 메인 영상과 함께 수신한 전체 러닝 타임에 따른 촬영 설정을 확인하여 구간을 분할할 수도 있다.
아울러, 기 설정된 기준에는 가중치가 설정될 수 있다. 만약, 영상 분석부(220)가 메인 영상을 분할하기 위한 기준이 두 가지이고, 프레임과 프레임에서 두 가지 항목에 대한 비교 결과가 서로 다를 경우, 기 설정된 기준의 가중치에 따라 프레임과 프레임을 하나의 구간으로 설정하거나 두 개의 구간으로 분할할 수 있다.
또한, 기 설정된 기준에 대한 가중치는 메인 영상의 장르에 따라 서로 다르게 설정될 수 있다. 예를 들어, 장르에 대한 소제목(예능, 다큐멘터리 등)이 있는 경우, 이 소제목을 기준으로 한 가중치가 설정될 수 있다. 나아가, 소제목보다 더 세부적인 기준을 적용할 수도 있다. 예를 들어, 장르가 다큐멘터리인 경우, 기 설정된 기준에 대한 가중치는 객체>장소>색상>밝기 순서일 수 있으며, 장르가 공포 영화인 경우, 기 설정된 기준에 대한 가중치는 밝기>객체>장소>색상 등일 수 있다. 이러한 가중치는 관리자에 의해 결정될 수 있지만, 인공지능의 딥러닝을 통해 산출될 수도 있다.
영상 분석부(220)는 객체 또는 장소를 인식할 수 있다. 구체적으로, 영상 분석부(220)는 분할 전의 전체 영상에 대해, 또는 분할된 구간 별로 딥러닝 모델을 활용하여 객체 또는 장소를 인식하거나, 유형 별로 정해진 규칙에 따라 객체 또는 장소를 인식할 수 있으며(예. 분할된 구간의 색상=A, 객체 형태=B인 경우, 객체 유형=토끼), 상술한 두 가지의 방식으로 객체 또는 장소를 인식하지 못할 경우, 관리자에 의해 객체 또는 장소를 입력 받을 수 있다.
또한, 영상 분석부(220)는 분할된 구간에서 오디오를 분석하여, 객체를 인식할 수 있다. 예를 들어, 영상 분석부(220)는 분할된 구간 내 소리가 N주파수 대역의 X 특징(주파수 변화 패턴)을 가질 경우, 분할된 구간 내 객체를 성인 남성으로 인식할 수 있다.
즉, 영상 분석부(220)는 분할된 구간 내에서 객체 또는 장소의 유무에서부터 객체 또는 장소의 유형(예. 사람(노인, 아기, 여자, 남자), 개, 운동장, 수영장)을 인식할 수 있으며, 객체의 경우, 프레임 내 위치(픽셀로 표현된 좌표)까지 인식할 수 있고, 유사 객체끼리 분류하여 인식할 수 있다.
또한, 영상 분석부(220)는 인식한 객체 또는 장소 정보를 분할된 구간 별로 또는 각 프레임에 태그할 수 있다. 예를 들어, 영상 분석부(220)는 인식한 객체 또는 장소 정보를 자연어로 표현하여 태그하거나, 유사한 객체끼리 분류하여 넘버링(Numbering)한 후, 태그할 수 있다.
소스 검색부(230)는 분석 결과를 이용하여 주변 영상을 생성하기 위한 소스를 검색할 수 있다. 구체적으로, 소스 검색부(230)는 영상 분석부(220)가 인식한 객체 또는 장소를 이용하여 메인 영상 또는 내/외부 데이터베이스(400) 내에서 소스를 검색할 수 있다. 아울러, 소스는 소정의 재생 시간을 가지는 영상, 오디오, 2D 이미지 및 3D 모델링을 포함할 수 있다.
예를 들어, 소스 검색부(230)는 메인 영상에서 동일한 객체 또는 장소가 나오는 프레임을 검색할 수 있으며, 그에 따라, 소스 검색부(230)는 메인 영상에서 소정의 재생 시간을 가지는 영상(예1. 토끼 출연 프레임: 1~30 프레임, 40~55프레임,예2. 토끼가 등장한 샷: 1번 샷, 3번 샷)와 같은 소스를 검색할 수 있다. 이 때, 샷(Shot)이란, 연속된 복수의 프레임을 하나로 묶는 단어로서, 어떠한 객체가 출연한 1~30프레임, 40~55 프레임을 각각"1번 샷", "2번 샷"으로 정의할 수 있다.
다른 예를 들어, 소스 검색부(230)는 영상 분석부(220)가 인식한 객체 또는 장소를 기초로 내/외부 데이터베이스(400)에서 메인 영상과 관련 있는 소스를 검색할 수 있다. 이 때, 소스 검색부(230)는 인식한 객체 또는 장소(이미지) 대비 색상, 명도, 채도 등 이미지 특성 범주가 더 넓은 객체 또는 장소(이미지 소스)를 검색할 수 있다. 또한, 소스 검색부(230)는 인식한 객체 또는 장소를 어느 하나의 키워드로 설정하고, 내/외부 데이터베이스(400)에서 해당 키워드에 대응되는 소스를 검색할 수있으며, 이는 3D 모델링 소스 검색에서도 동일하게 수행될 수 있다. 여기서, 3D 모델링 소스 검색의 경우, 썸네일(Thumbnail) 이미지를 이용한 검색을 통해, 정면, 상면, 측면, 하면 등 360도 각도에서 바라본 3D 모델링 소스를 검색하는 것보다, 효율적으로 3D 모델링 소스를 검색할 수 있다.
주변 영상 생성부(240)는 검색된 소스를 편집하여, 주변 영상을 생성할 수 있다. 구체적으로, 주변 영상 생성부(240)는 소스 검색부(230)가 검색한 소스를 활용하여 메인 영상의 배경, 객체와 자연스럽게 연결되거나 메인 영상의 배경, 객체와 이미지 톤(Tone, 명도+채도) 또는 색상이 어울리는 주변 영상을 생성할 수 있으며, 이 과정에서 메인 영상은 편집하지 않고 원본을 그대로 유지시킬 수 있다.
주변 영상 생성부(240)는 주변 영상을 생성하기 전, 메인 영상의 프레임 별로 객체와 배경을 분리하고, 분리된 객체 또는 배경의 가장자리를 따라 연장될 수 있도록 소스를 편집할 수 있다. 예를 들어, 주변 영상 생성부(240)는 메인 영상의 프레임을 픽셀 단위로 분석하고, 객체와 배경을 픽셀 단위로 분할(Image Segmentation)할 수 있다.
객체와 배경을 분리한 후, 주변 영상 생성부(240)는 메인 영상을 그대로 유지한 상태에서 소스의 형태, 색상, 밝기, 재질 및 움직임 중 적어도 하나의 속성을 편집할 수 있다.
다만, 여기서 소스 검색부(230)에 의해 검색된 소스가 복수 개일 경우, 소스 검색부(230)는 복수 개의 소스를 하나의 소스로 합칠 수 있으며, 그에 따라, 소스 검색부(230)는 2차원 또는 3차원의 소스를 재생성할 수 있다.
예를 들어, 이미지 소스가 여러 개인 경우(2D 이미지 소스, 렌더링한 3D 이미지 소스), 주변 영상 생성부(240)는 이미지 소스 간의 상대적인 좌표(호모그래피, Homography)를 파악하고, 이미지 소스가 하나로 이어지도록 스티칭(Stiching)할 수 있다. 즉, 거리나 각도가 다르지만 동일한 객체 또는 장소를 포함하는 이미지 소스들을 스티칭하여 하나의 이미지 소스로 만들 수 있다.
다른 예를 들어, 이미지 소스가 여러 개인 경우(다각도에서 촬영 또는 렌더링한 동일한 객체 또는 배경), 주변 영상 생성부(240)는 이미지 소스, 3D 모델링 소스 간의 상대적인 좌표(호모그래피)를 파악하고, 좌표 간 대응 관계를 기반으로 위치 정보를 복원하여 3차원의 소스로 만들 수 있다.
이와 같이, 주변 영상 생성을 위한 소스를 하나로 통합시킨 후, 주변 영상 생성부(240)는 메인 영상은 편집하지 않고 유지한 상태에서 메인 영상의 형태, 색상, 재질, 움직임 등이 이어지도록 소스를 편집할 수 있다.
이하에서는 설명의 편의를 위해 주변 영상 생성부(240)가 편집하는 소스를 항목 별로 나누어 설명한다.
1. 형태
주변 영상 생성부(240)는 메인 영상과 주변 영상 생성에 사용될 소스 간의 상대적인 좌표(호모그래피)를 계산할 수 있으며, 동일한 시각에서 메인 영상과 주변 영상의 프레임이 하나로 이어지도록 스티칭할 수 있다.
2. 색상
주변 영상 생성부(240)는 메인 영상 각 프레임 또는 구간 별로 색상, 명도, 채도를 확인하고, 주변 영상 생성에 사용될 소스의 색상, 명도, 채도를 이와 동일하게 조정할 수 있다. 여기서, 주변 영상 생성부(240)는 객체와 배경을 분리하고, 각각의 색상, 명도, 채도를 확인할 수 있다.
3. 형태&재질
주변 영상 생성부(240)는 메인 영상을 제작한 제작자가 그린 그림을 이용하여 주변 영상을 생성할 수 있다. 구체적으로, 주변 영상 생성부(240)는 제작자가 그린 그림을 영역 별로 구분한 후, 구분된 영역에 색상, 형태, 재질 등의 속성을 설정할 수 있다. 주변 영상 생성부(240)는 구분된 영역의 속성 참고하여 주변 영상의 색상, 형태, 재질을 설정할 수 있다.
예를 들어, 메인 영상이 해변 영상일 경우, 제작자는 미리 메인 영상의 해변과 이어질 수 있도록 주변 영상의 모래와 바다의 형태를 개략적으로 그려 둘 수 있으며, 이에 대한 색상, 형태, 재질을 설정해 둘 수 있다.
도 3은 본 발명의 일 실시 예에 따른 주변 영상 생성부(240)가 주변 영상을 생성하는 방식을 설명하기 위한 도면이다.
도 3을 참조하면, 주변 영상 생성부(240)는 (a)와 같은 메인 영상과 함께 제작자로부터 (b)와 같은 주변 영상의 제작 항목을 확인하고, (c)와 같은 주변 영상을 생성할 수 있다. 구체적으로, (b)를 보면, 주변 영상의 제작 항목은 메인 영상에 포함된 ①숲, ②절벽, ③바다 를 기준으로 제작자가 미리 그려둔 각 요소의 연장된 윤곽선(형태), 제작자가 미리 지정한 각 요소의 색상 및 재질을 포함할 수 있다.
즉, 주변 영상 생성부(240)는 제작자가 미리 그려둔 그림 및 미리 설정된 색상, 형태, 재질의 속성을 기초로 주변 영상을 생성할 수 있다.
4. 움직임
주변 영상 생성부(240)는 메인 영상에 등장한 객체의 움직임을 분석하여, 해당 객체의 움직임이 주변 영상에서 이어질 수 있도록 소스를 편집할 수 있다. 구체적으로, 주변 영상 생성부(240)는 메인 영상에 등장한 객체의 속성(소스 검색부(230)가 인식한 객체 정보), 속도, 가속도, 회전 방향/회전 각도, 회전 속도 등 움직임을 표현 가능한 요소들을 분석할 수 있다. 그에 따라, 주변 영상 생성부(240)는 분석한 정보들을 토대로 주변 영상에서 해당 객체가 프레임 내 어느 방향으로 이동해야 하는지 또는 어느 위치에 배치되어야 하는지 확인하고, 그에 맞게 소스를 편집할 수 있다.
도 4는 본 발명의 다른 실시 예에 따른 주변 영상 생성부(240)가 주변 영상을 생성하는 방식을 설명하기 위한 도면이다.
도 4를 참조하면, 주변 영상 생성부(240)는 메인 영상을 이용하여, ①메인 재생 영역에 존재하는 화살(A)이 라인(L)을 따라 좌측의 ②서브 재생 영역으로 이동할 것으로 분석할 수 있다. 즉, 주변 영상 생성부(240)는 제1 프레임 이후에, 제2, 제3 프레임에서 화살(B)(C)이 이동할 라인(L)을 연장 생성하고, 제2, 제3 프레임에서 화살(B)(C)이 라인(L)을 따라 이동할 수 있도록 소스를 편집할 수 있다.
다시 말해서, 주변 영상 생성부(240)는 메인 재생 영역에서 움직이는 적어도 하나의 객체를 추론하여, 메인 영상에서 해당 객체가 사라진 후에도 서브 재생 영역에서 해당 객체가 끊김 없이 이동할 수 있도록 주변 영상을 생성할 수 있다.한편, 상기 주변 영상 생성부(240)는 주변 영상을 생성하기 위해 입력받은 소스(메인 영상이나 DB에서 얻은 이미지/영상 등)를 저화질로 변환하여 주변 영상을 생성하고, 주변 영상을 생성한 뒤 다시 고화질로 변환할 수 있다. 주변 영상 제작 과정에서 편집->확인->편집 과정을 여러 번 반복하게 되는데, 제작 중인 주변 영상을 확인하기 위해서는 렌더링이 필요하므로, 고화질일수록 렌더링 시간이 오래 걸리고 컴퓨터 연산량이 많아서 편집 작업 시간도 오래 걸리게 된다. 이를 해결하기 위해 소스 영상을 저화질로 변환하여 작업하고, 작업이 끝난 후 다시 고화질로 변환하는 것이다. 저화질을 고화질로 변환함에는 초고해상도(Super Resolution) 기술이 적용될 수 있다. 초고해상도 기술은 딥러닝 기반 합성곱 신경망(Convolutional Neural Network)을 활용해 학습된 데이터를 기반으로 사진이나 영상의 화질을 실시간으로 선명하게 향상시킬 수 있다. 낮은 해상도의 영상이나 이미지를 화면 규격에 맞추어 몇 배로 업스캐일링(upscaling)해서 UHD와 같은 고화질 영상으로 변환할 수 있다.또는 위 경우와는 반대로, 소스가 저화질이어서 주변 영상을 생성하기 어려운 경우(예를 들어, 메인 영상의 일부분(전체 중 10% 영역)을 발췌하여 주변 영상에 가득차도록 제작해야 할 경우 등) 소스를 상대적 고화질로 변환한 후 주변 영상을 제작할 수도 있다.
다시 도 2를 참조하여 설명한다.
주변 영상 생성부(240)는 주변 영상을 프레임 단위로 제작할 수 있는데, 이 과정에서 순서대로 이어지는 프레임들이 매끄럽게 이어지지 않는 상황이 발생할 수 있다. 그에 따라, 주변 영상 생성부(240)는 주변 영상을 생성하기 전에, 영상 분석부(220)가 분할한 구간을 참고하여 주변 영상을 생성할 수 있다. 예를 들어, 주변 영상 생성부(240)는 분할된 구간에서는 동일한 소스를 이용하여 주변 영상을 생성할 수 있다.
또한, 주변 영상이 생성된 후, 주변 영상을 프리뷰(Preview)하여 메인 영상과 주변 영상, 주변 영상과 주변 영상이 자연스럽게 이어지는지 확인할 수 있으며, 이에 대한 구체적인 설명은 주변 영상 모니터링부(250)에서 하도록 한다.
한편, 주변 영상 생성부(240)는 다면 상영관 등 재생 공간의 특성에 따라 메인 영상 및 주변 영상을 보정하여, 영상 왜곡을 방지할 수 있다. 구체적으로, 주변 영상 생성부(240)는 미리 저장되어 있거나 수신된 다면 상영관의 파라미터를 기초로 주변 영상을 보정할 수 있다. 여기서, 다면 상영관의 파라미터는 상영관의 메인 재생 영역, 좌우 서브 재생 영역, 상하 재생 영역의 가로, 세로 길이, 비율, 정면에서 관객석까지의 길이, 관객석의 높이 등 영상이 재생되는 영역과 관련된 각종 파라미터를 의미한다.
주변 영상 생성부(240) 자체 데이터베이스에 기 저장된 파리미터를 확인하거나, 외부로부터 메인 영상 및 주변 영상이 재생될 공간의 파라미터를 수신하고, 그에 맞게 영상을 보정할 수 있다. 이와 같은 보정을 통해 다면 상영관에 착석한 모든 관객은 착석 위치에 관계 없이, 메인 영상과 주변 영상을 왜곡 없이 시청할 수 있다.
주변 영상 모니터링부(250)는 메인 영상과 주변 영상을 프레임 별로 모니터링하고, 오류를 검출할 수 있다.
이와 관련하여, 도 5는 본 발명의 일 실시 예에 따른 주변 영상 모니터링부(250)가 주변 영상을 모니터링하는 방식을 설명하기 위한 도면이다.
도 5를 참조하면, 주변 영상 모니터링부(250)는 ①메인 재생 영역과 ②서브 재생 영역에 재생되는 메인 영상 및 주변 영상을 프레임 별로 확인할 수 있다. 구체적으로, 주변 영상 모니터링부(250)는 메인 영상과 주변 영상의 제1 내지 제3프레임에서 산(B)을 배경으로 객체인 해(A)가 오른쪽으로 이동하는 것을 확인할 수 있으며, 주변 영상의 제4 프레임에서 해(A)가 사라진 것을 확인할 수 있다. 그에 따라, 주변 영상 모니터링부(250)는 주변 영상 재생성 알림을 하거나, 해당 프레임에서의 재생성 알림을 할 수 있다.
한편, 본 발명에서 설명하는 주변 영상이란 메인 영상의 상하 또는 좌우에서 배경 또는 객체가 연장되는 영상이거나, 메인 영상의 상하 또는 좌우에서 배경 또는 객체가 연장되지 않지만, 배경 또는 객체에 대한 색상, 크기 및 비율 중 적어도 하나의 항목에 대한 유사도가 기 설정된 값 이상으로, 메인 영상과 어울리는 영상으로 정의될 수 있다. 이에, 주변 영상 모니터링부(250)는 주변 영상 생성부(240)가 생성한 주변 영상이 메인 영상과 어울리는 영상인지 판단할 수 있다.
구체적으로, 판단의 척도가 되는 기 설정된 값은 메인 영상과 주변 영상의 각 프레임에서 색상, 크기, 비율에 대한 유사도를 백분율로 나타낸 값이며, 관리자에 의해 결정될 수도 있고, 인공지능의 딥러닝에 의해 결정될 수도 있다. 예를 들어, 주변 영상 모니터링부(250)는 각 프레임 내 색상을 비교하여 색상 항목에 대한 유사도를 계산할 수 있으며, 각 프레임 내 픽셀을 이용하여 크기, 비율 항목에 대한 유사도를 계산할 수 있다. 만약, 유사도가 기 설정된 값 이하인 경우, 주변 영상 모니터링부(250)는 서버 UI나 설정된 외부 단말기에 표시할 보정 알림을 생성하거나, 주변 영상을 자동으로 재생성하기 위한 신호를 생성할 수 있다.
UI 제공부(260)는 상영관 등의 재생 공간에 재생되는 메인 영상 또는 주변 영상을 보정하기 위한 사용자 인터페이스(User Interface, UI)를 제공할 수 있다. 예를 들어, UI 제공부(260)는 메인 재생 영역과 서브 재생 영역에 재생되는 메인 영상 및 주변 영상을 프리뷰하는 UI, 메인 영상 및 주변 영상을 편집하는UI를 제공할 수 있다. 그에 따라, UI 제공부(260)는 입력부(210)가 관리자로부터 입력 받은 메인 영상 또는 주변 영상의 편집 정보를 입력 신호(Input Signal)로 간주하고, 편집 정보 확인 및 처리할 수 있다.
또한, UI 제공부(260)는 다면 상영관을 관리하는 관리자가 소지한 단말(미도시)로 메인 영상 또는 주변 영상을 보정하기 위한 사용자 인터페이스를 제공할 수 있으며, 관리자는 단말을 이용하여 UI 제공부(260)가 제공한 UI를 통해 메인 영상과 주변 영상을 편집할 수 있다. 여기서, 관리자에 의해 편집된 영상 정보는 주변 영상 생성 서버(200)로 송신될 수 있다.
아울러, 주변 영상 생성 서버(200), 구체적으로는 주변 영상 생성 서버(200)의 주변 영상 생성부(240)는 주변 영상 생성이 완료되면 편집 사항을 데이터베이스에 저장하고, 이후 저장된 편집 사항을 활용하여 또 다른 주변 영상을 생성할 수 있다.
즉, 주변 영상 생성 서버(200)는 사용자의 편집 사항을 학습하여, 이 후 해당 메인 영상과 유사한 메인 영상에 대한 주변 영상 생성 시, 편집 사항을 최소화할 수 있다. 또한, 사용자가 메인 영상 및 주변 영상을 편집하기 위해 소모되는 시간을 절약하여, 다면 상영 시스템을 보다 효율적으로 운영할 수 있다.
지금까지 본 발명의 일 실시 예에 따른 주변 영상 생성 서버(200)에 대하여 설명하였다. 본 발명에 따르면, 주변 영상 생성 서버(200)는 메인 영상 내 객체/장소가 나타나는 프레임을 구분하고, 이를 기반으로 소스를 검색하여, 메인 영상을 편집하지 않고도 이와 자연스럽게 이어지는 주변 영상을 생성할 수 있다.
이하에서는 상술한 주변 영상 생성 서버(200)가 메인 영상과 자연스럽게 어울리는 주변 영상을 생성하는 방법에 대하여 설명하도록 한다.
도 6은 본 발명의 일 실시 예에 따른 주변 영상 생성 방법을 나타낸 흐름도이다.
이는 본 발명의 목적을 달성하기 위한 바람직한 실시 예일 뿐이며, 필요에 따라 일부 단계가 삭제 또는 추가되거나, 어느 한 단계가 다른 단계에 포함되어 수행될 수 있음은 물론이다.
도 6을 참조하면, 주변 영상 생성 서버(200)는 외부 서버(100)로부터 상영관 등 재생 공간의 메인 재생 영역에 재생되는 메인 영상을 입력 받는다(S110). 구체적으로, 주변 영상 생성 서버(200)는 외부 서버(100)로부터 영상 파일 전체를 한 번에 수신하거나, 스트리밍 데이터 형태로 실시간 수신할 수 있다. 또한, 하드디스크 등을 통하여 직접 입력받을 수도 있다.
아울러, 주변 영상 생성 서버(200)는 외부 서버(100)로부터 메인 영상 이외에도 메인 영상과 연결되거나, 어울리는 주변 영상을 생성하기 위한 각종 정보를 수신할 수 있다. 예를 들어, 각종 정보는 메인 영상의 장르, 시나리오, 등장 인물, 러닝 타임, 메인 영상에 사용된 촬영 설정(카메라 렌즈, 카메라 기종) 등 소스 검색에 참고할 수 있는 정보를 포함할 수 있다.
S110 단계 이후, 주변 영상 생성 서버(200)는 입력 받은 메인 영상을 분석한다(S120). 구체적으로, 주변 영상 생성 서버(200)는 메인 영상에서, 주변 영상을 생성하기 위해 어떠한 소스를 필요로 하는지 또는 검색해야 하는지 확인할 수 있다. 이를 위해, 주변 영상 생성 서버(200)는 복수의 프레임으로 이루어진 메인 영상을 적어도 둘 이상의 구간으로 분할하고, 분할된 구간에서 객체 또는 장소를 인식할 수 있다. 상기 객체 또는 장소의 인식은 메인 영상을 분할하기 전에 전체 메인 영상에 대해서도 할 수 있고, 이 경우에는 인식된 객체 또는 장소 정보를 메인 영상의 분할에 활용할 수 있다.
주변 영상 생성 서버(200)는 기 설정된 기준에 따라 메인 영상을 적어도 둘 이상의 구간으로 분할할 수 있다. 여기서, 기 설정된 기준은, 메인 영상의 프레임 내 평균 색상, 밝기, 장소, 객체, 자막 및 촬영 설정 중 적어도 하나의 항목에 대한 조합으로 선정될 수 있다. 주변 영상 생성 서버(200)는 프레임과 프레임 간의 특징(상술한 항목)이 유사할 경우 두 개의 프레임을 하나의 구간으로 설정하고, 유사하지 않을 경우 두 개의 프레임을 두 개의 구간으로 분할할 수 있다.
예를 들어, 주변 영상 생성 서버(200)는 제1 프레임과 제2 프레임 간 색상이 유사할 경우, 제1, 제2 프레임을 하나의 구간에 포함시키고, 프레임과 프레임 간 색상이 유사하지 않을 경우, 제1, 제2 프레임을 서로 다른 구간으로 분할할 수 있다. 이와 같이, 주변 영상 생성 서버(200)는 서로 이어지는 프레임을 비교하여 메인 영상을 적어도 두 개의 구간으로 분할할 수 있다.
다른 예를 들어, 주변 영상 생성 서버(200)는 각 프레임의 이미지 분석을 통해 메인 영상에 등장하는 장소 또는 객체를 인지할 수 있으며, 제1 프레임과 제2 프레임에 동일한 장소 또는 객체가 존재하는 것으로 인지할 경우, 제1, 제2 프레임을 하나의 구간에 포함시킬 수 있다.
또 다른 예를 들어, 주변 영상 생성 서버(200)는 메인 영상과 함께 수신한 전체 러닝 타임에 따른 촬영 설정을 확인하고, 프레임과 프레임을 구분할 수 있다.
아울러, 기 설정된 기준에는 가중치가 설정될 수 있다. 만약, 주변 영상 생성 서버(200)가 메인 영상을 분할하기 위한 기준이 두 가지이고, 프레임과 프레임에서 두 가지 항목에 대한 비교 결과가 서로 다를 경우, 기 설정된 기준의 가중치에 따라 프레임과 프레임을 하나의 구간으로 설정하거나 두 개의 구간으로 분할할 수 있다.
또한, 기 설정된 기준에 대한 가중치는 메인 영상의 장르에 따라 서로 다르게 설정될 수 있다. 예를 들어, 장르에 대한 소제목(예능, 다큐멘터리 등)이 있는 경우, 이 소제목을 기준으로 한 가중치가 설정될 수 있다. 나아가, 소제목보다 더 세부적인 기준을 적용할 수도 있다. 예를 들어, 장르가 SF 영화인 경우, 기 설정된 기준에 대한 가중치는 객체>장소>색상>밝기 순서일 수 있으며, 장르가 로맨스 영화인 경우, 기 설정된 기준에 대한 가중치는 객체>색상>밝기>장소 등일 수 있다. 이러한 가중치는 관리자에 의해 결정될 수 있지만, 인공지능의 딥러닝을 통해 산출될 수도 있다.
이와 같이, 메인 영상의 프레임을 분할한 후에, 주변 영상 생성 서버(200)는 분할된 구간에서 객체 또는 장소를 인식할 수 있다. 구체적으로, 주변 영상 생성 서버(200)는 분할된 구간 별로 딥러닝 모델을 활용하여 객체 또는 장소를 인식하거나, 유형 별로 정해진 규칙에 따라 객체 또는 장소를 인식할 수 있으며(예. 분할된 구간의 색상=C+D, 복수의 객체=R인 경우, 배경 유형= 노을 지는 저녁 하늘), 상술한 두 가지의 방식으로 객체 또는 장소를 인식하지 못할 경우, 관리자에 의해 분할된 구간 내 객체 또는 장소를 입력 받을 수 있다.
또한, 주변 영상 생성 서버(200)는 분할된 구간에서 오디오를 분석하여, 객체를 인식할 수 있다. 예를 들어, 주변 영상 생성 서버(200)는 분할된 구간 내 소리가 N주파수 대역의 X 특징(주파수 변화 패턴)을 가질 경우, 분할된 구간 내 객체를 갓난 아기로 인식할 수 있다.
즉, 주변 영상 생성 서버(200)는 분할된 구간 내에서 객체 또는 장소의 유무에서부터 객체 또는 장소의 유형(예. 사람(노인, 아기, 여자, 남자), 개, 운동장, 수영장)을 인식할 수 있으며, 객체의 경우, 프레임 내 위치(픽셀로 표현된 좌표)까지 인식할 수 있고, 유사 객체끼리 분류하여 인식할 수 있다.
또한, 주변 영상 생성 서버(200)는 인식한 객체 또는 장소 정보를 분할된 구간 별로 또는 각 프레임에 태그할 수 있다. 예를 들어, 주변 영상 생성 서버(200)는 인식한 객체 또는 장소 정보를 자연어로 표현하여 태그하거나, 유사한 객체끼리 분류하여 넘버링(Numbering)한 후, 태그할 수 있다.
S120 단계 이후, 주변 영상 생성 서버(200)는 분석 결과를 이용하여, 주변 영상을 생성하기 위한 소스를 검색한다(S130). 구체적으로, 주변 영상 생성 서버(200)는 S120 단계에서 인식한 객체 또는 장소를 이용하여 메인 영상 또는 내/외부 데이터베이스(400) 내에서 소스를 검색할 수 있다. 아울러, 소스는 소정의 재생 시간을 가지는 영상, 오디오, 2D 이미지 및 3D 모델링을 포함할 수 있다.
예를 들어, 주변 영상 생성 서버(200)는 메인 영상에서 동일한 객체 또는 장소가 나오는 프레임을 검색할 수 있으며, 그에 따라, 주변 영상 생성 서버(200)는 메인 영상에서 소정의 재생 시간을 가지는 영상(예1. 얼룩말 출연 프레임: 1~30 프레임, 40~55프레임, 예2. 얼룩말 등장한 샷: 12번 샷, 34번 샷)와 같은 소스를 검색할 수 있다.
다른 예를 들어, 주변 영상 생성 서버(200)는 S120 단계에서 인식한 객체 또는 장소를 기초로 내/외부 데이터베이스(400)에서 메인 영상과 관련 있는 소스를 검색할 수 있다. 이 때, 주변 영상 생성 서버(200)는 인식한 객체 또는 장소(이미지) 대비 색상, 명도, 채도 등 이미지 특성 범주가 더 넓은 객체 또는 장소(이미지 소스)를 검색할 수 있다. 또한, 주변 영상 생성 서버(200)는 인식한 객체 또는 장소를 어느 하나의 키워드로 설정하고, 내/외부 데이터베이스(400)에서 해당 키워드에 대응되는 소스를 검색할 수있으며, 이는 3D 모델링 소스 검색에서도 동일하게 수행될 수 있다. 여기서, 3D 모델링 소스 검색의 경우, 썸네일(Thumbnail) 이미지를 이용한 검색을 통해, 정면, 상면, 측면, 하면 등 360도 각도에서 바라본 3D 모델링 소스를 검색하는 것보다, 효율적으로 3D 모델링 소스를 검색할 수 있다.
S130 단계 이후, 주변 영상 생성 서버(200)는 검색된 소스를 편집하여, 주변 영상을 생성한다(S140). 구체적으로, 주변 영상 생성 서버(200)는 S130 단계에서 검색한 소스를 활용하여 메인 영상의 배경, 객체와 자연스럽게 연결되거나 메인 영상의 배경, 객체와 이미지 톤(Tone, 명도+채도) 또는 색상이 어울리는 주변 영상을 생성할 수 있으며, 이 과정에서 메인 영상은 편집하지 않고 원본을 그대로 유지시킬 수 있다.
주변 영상 생성 서버(200)는 주변 영상을 생성하기 전, 메인 영상의 프레임 별로 객체와 배경을 분리하고, 분리된 객체 또는 배경의 가장자리를 따라 연장될 수 있도록 소스를 편집할 수 있다. 예를 들어, 주변 영상 생성 서버(200)는 메인 영상의 프레임을 픽셀 단위로 분석하고, 객체와 배경을 픽셀 단위로 분할(Image Segmentation)할 수 있다.
객체와 배경을 분리한 후, 주변 영상 생성 서버(200)는 메인 영상을 그대로 유지한 상태에서 소스의 형태, 색상, 밝기, 재질 및 움직임 중 적어도 하나의 속성을 편집할 수 있다.
다만, 여기서 주변 영상 생성 서버(200)에 의해 검색된 소스가 복수 개일 경우, 주변 영상 생성 서버(200)는 복수 개의 소스를 하나의 소스로 합칠 수 있으며, 그에 따라, 2차원 또는 3차원의 소스를 재생성할 수 있다.
예를 들어, 이미지 소스가 여러 개인 경우(2D 이미지 소스, 렌더링한 3D 이미지 소스), 주변 영상 생성부(240)는 이미지 소스 간의 상대적인 좌표(호모그래피, Homography)를 파악하고, 이미지 소스가 하나로 이어지도록 스티칭(Stiching)할 수 있다. 즉, 거리나 각도가 다르지만 동일한 객체 또는 장소를 포함하는 이미지 소스들을 스티칭하여 하나의 이미지 소스로 만들 수 있다.
다른 예를 들어, 이미지 소스가 여러 개인 경우(다각도에서 촬영 또는 렌더링한 동일한 객체 또는 배경), 주변 영상 생성 서버(200)는 이미지 소스, 3D 모델링 소스 간의 상대적인 좌표(호모그래피)를 파악하고, 좌표 간 대응 관계를 기반으로 위치 정보를 복원하여 3차원의 소스로 만들 수 있다.
이와 같이, 주변 영상 생성을 위한 소스를 하나로 통합시킨 후, 주변 영상 생성 서버(200)는 메인 영상은 편집하지 않고 유지한 상태에서 메인 영상의 형태, 색상, 재질, 움직임 등이 이어지도록 소스를 편집할 수 있다.
주변 영상 생성 서버(200)가 편집하는 소스의 항목에 대해서는 앞서 설명한 바와 동일하므로 생략한다.
주변 영상 생성 서버(200)는 주변 영상을 프레임 단위로 제작할 수 있는데, 이 과정에서 순서대로 이어지는 프레임들이 매끄럽게 이어지지 않는 상황이 발생할 수 있다. 그에 따라, 주변 영상 생성 서버(200)는 주변 영상을 생성하기 전에, S120 단계에서 분할한 구간을 참고하여 주변 영상을 생성할 수 있다. 예를 들어, 주변 영상 생성 서버(200)는 분할된 구간에서는 동일한 소스를 이용하여 주변 영상을 생성할 수 있다.
한편, 주변 영상 생성 서버(200)는 다면 상영관의 특성에 따라 메인 영상 및 주변 영상을 보정하여, 영상 왜곡을 방지할 수 있다. 구체적으로, 주변 영상 생성 서버(200)는 미리 저장되어 있거나 외부로부터 수신한 다면 상영관의 파라미터를 기초로 주변 영상을 보정할 수 있다. 여기서, 다면 상영관의 파라미터는 상영관의 메인 재생 영역, 좌우 서브 재생 영역, 상하 재생 영역의 가로, 세로 길이, 비율, 정면에서 관객석까지의 길이, 관객석의 높이 등 영상이 재생되는 영역과 관련된 각종 파라미터를 의미한다.
주변 영상 생성 서버(200)는 자체 데이터베이스에 기 저장된 파리미터를 확인하거나, 외부로부터 메인 영상 및 주변 영상이 재생될 공간의 파라미터를 수신하고, 그에 맞게 영상을 보정할 수 있다. 이와 같은 보정을 통해 다면 상영관에 착석한 모든 관객은 착석 위치에 관계 없이, 메인 영상과 주변 영상을 왜곡 없이 시청할 수 있다.
지금까지 본 발명의 일 실시 예에 따른 주변 영상 생성 방법에 대하여 설명하였으며, 이하에서는 생성된 주변 영상을 다면 상영관에 재생하기 위해서 최종 보정을 수행하는 방법에 대하여 설명한다.
도 7은 도 6의 S140 단계 이후, 주변 영상을 보정 여부를 판단하는 방법을 나타낸 흐름도이다.
도 7을 참조하면, 주변 영상이 생성된 후(S140), 주변 영상 생성 서버(200)는 메인 영상과 주변 영상의 배경 또는 객체에 대한 색상, 크기 및 비율 중 적어도 하나의 항목에 대한 유사도가 기 설정된 값 이하인지 판단한다(S150). 구체적으로, 주변 영상 생성 서버(200)는 메인 영상과 주변 영상을 프레임 별로 모니터링하고, 각 프레임에서 메인 영상과 주변 영상 간의 유사도를 판단할 수 있다. 여기서, 판단의 척도가 되는 기 설정된 값은 메인 영상과 주변 영상의 각 프레임에서 색상, 크기, 비율에 대한 유사도를 백분율로 나타낸 값이며, 관리자에 의해 결정될 수도 있고, 인공지능의 딥러닝에 의해 결정될 수도 있다.
예를 들어, 주변 영상 생성 서버(200)는 각 프레임 내 색상을 비교하여 색상 항목에 대한 유사도를 계산할 수 있으며, 각 프레임 내 픽셀을 이용하여 크기, 비율 항목에 대한 유사도를 계산할 수 있다.
S150 단계에서의 판단 결과, 유사도가 기 설정된 값 이하인 경우, 주변 영상 생성 서버(200)는 서버 UI나 설정된 외부 단말에 표시할 보정 알림을 생성하거나, 주변 영상을 자동으로 재생성하기 위한 신호를 생성할 수 있다(S160, YES). 이 때, 주변 영상은 전부를 재생성하거나, S120 단계에서 분할된 구간 기준 또는 프레임 기준으로 일부만을 재생성할 수 있다.
반대로, S150 단계에서의 판단 결과, 유사도가 기 설정된 값 초과인 경우, 주변 영상 생성 서버(200)는 서버 UI나 설정된 외부 단말기에 최종 보정 확인 알림을 송신할 수 있다(S170, NO). 이와 같이, 주변 영상 생성 서버(200)는 메인 영상과 주변 영상 간의 유사도 판단을 통해 사용자의 편집을 최소화할 수 있는 주변 영상을 생성할 수 있다.
한편, 본 발명은 또한 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 마그네틱 저장매체, 광학적 판독 매체 등 모든 저장매체를 포함한다. 또한, 본 발명에서 사용되는 메시지의 데이터 포맷을 기록 매체에 기록하는 것이 가능하다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 설명하였지만, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
1000: 상영관 시스템
100: 외부 서버
200: 주변 영상 생성 서버
210: 입력부
220: 영상 분석부
230: 소스 검색부
240: 주변 영상 생성부
250: 주변 영상 모니터링부
260: UI 제공부
300: 배포 서버
400: 데이터베이스

Claims (26)

  1. 주변 영상 생성 서버가 주변 영상을 생성하는 방법으로서,
    외부 서버로부터 상영관 등 재생 공간의 중앙 재생 영역에 재생되는 메인 영상을 입력 받는 단계;
    입력 받은 메인 영상을 분석하는 단계;
    분석 결과를 이용하여 주변 영상을 생성하기 위한 소스를 검색하는 단계; 및
    검색된 소스를 편집하여, 주변 영상을 생성하는 단계;
    를 포함하고,
    상기 주변 영상은,
    상기 메인 영상의 상하 또는 좌우에서 배경 또는 객체가 연장되는 것인, 주변 영상 생성 방법.
  2. 제1항에 있어서,
    상기 주변 영상은,
    상기 메인 영상의 상하 또는 좌우에서 배경 또는 객체에 대한 색상, 크기 및 비율 중 적어도 하나의 항목에 대한 유사도가 기 설정된 값 이상의 영상인 것을 특징으로 하는, 주변 영상 생성 방법.
  3. 제1항에 있어서,
    상기 메인 영상을 분석하는 단계는,
    기 설정된 기준에 따라 상기 메인 영상을 복수 개의 구간으로 분할하는 단계를 포함하고,
    상기 복수 개의 구간으로 분할하는 단계 전 또는 후에 객체 또는 장소를 인식하는 단계를 더 포함하는 주변 영상 생성 방법.
  4. 제3항에 있어서,
    상기 기 설정된 기준은,
    상기 메인 영상의 프레임 내 색상, 밝기, 장소, 객체, 자막 및 촬영 설정 중 적어도 하나의 항목에 대한 조합으로 선정되는,
    주변 영상 생성 방법.
  5. 제3항에 있어서,
    상기 소스를 검색하는 단계는,
    인식된 객체 또는 장소를 이용하여, 상기 메인 영상 또는 데이터베이스 내 소스를 검색하는 단계인,
    주변 영상 생성 방법.
  6. 제1항에 있어서,
    상기 소스는,
    소정 재생 시간을 가지는 영상, 오디오, 2D 이미지 및 3D 모델링 중 적어도 하나를 포함하는,
    주변 영상 생성 방법.
  7. 제1항에 있어서,
    상기 주변 영상을 생성하는 단계 이전에,
    상기 메인 영상의 프레임 별로 객체와 배경을 분리하는 단계; 를 포함하고,
    상기 주변 영상을 생성하는 단계는,
    상기 소스가 분리된 객체 또는 배경의 가장자리를 따라 연장될 수 있도록 편집하는,
    주변 영상 생성 방법.
  8. 제7항에 있어서,
    상기 주변 영상을 생성하는 단계는,
    상기 메인 영상을 유지한 상태에서 소스의 형태, 색상, 밝기, 재질 및 움직임 중 적어도 하나의 속성을 편집하는,
    주변 영상 생성 방법.
  9. 제7항에 있어서,
    상기 소스를 검색하는 단계와 상기 주변 영상을 생성하는 단계 사이에서,
    검색된 소스가 복수 개인 경우, 복수 개의 소스를 하나의 소스로 재생성하는 단계;
    를 더 포함하는 주변 영상 생성 방법.
  10. 제1항에 있어서,
    상기 주변 영상을 생성하는 단계 이후에,
    상기 메인 영상과 상기 주변 영상을 프레임 별로 모니터링하고,
    상기 메인 영상과 상기 주변 영상의 배경 또는 객체에 대한 색상, 크기 및 비율 중 적어도 하나의 항목에 대한 유사도가 기 설정된 값 이하인지 판단하는 단계; 및
    판단 결과, 상기 유사도가 기 설정된 값 이하인 경우, 주변 영상을 재생성하는 단계;
    를 더 포함하는 주변 영상 생성 방법.
  11. 제1항에 있어서,
    상기 주변 영상을 생성하는 단계 이후에,
    상기 메인 영상 및 상기 주변 영상이 재생될 공간의 파라미터를 수신하는 단계; 및
    상기 파라미터를 기초로 상기 주변 영상을 보정하는 단계;
    를 더 포함하는 주변 영상 생성 방법.
  12. 제1항에 있어서,
    상기 메인 영상을 입력 받는 단계는,
    상기 메인 영상과 연장될 수 있는 주변 영상의 제작 항목을 입력 받는 단계; 를 더 포함하고,
    상기 주변 영상을 생성하는 단계는,
    상기 주변 영상의 제작 항목을 기초로 주변 영상을 생성하는,
    주변 영상 생성 방법.
  13. 외부 서버로부터 상영관 등 재생 공간의 메인 재생 영역에 재생되는 메인 영상을 입력 받는 입력부;
    입력 받은 메인 영상을 분석하는 영상 분석부;
    분석 결과를 이용하여 주변 영상을 생성하기 위한 소스를 검색하는 소스 검색부; 및
    검색된 소스를 편집하여, 주변 영상을 생성하는 주변 영상 생성부;
    를 포함하고,
    상기 주변 영상은,
    상기 메인 영상의 상하 또는 좌우에서 배경 또는 객체가 연장되는 것인, 주변 영상을 생성하는 주변 영상 생성 서버.
  14. 제13항에 있어서,
    상기 주변 영상은,
    상기 메인 영상의 상하 또는 좌우에서 배경 또는 객체에 대한 색상, 크기 및 비율 중 적어도 하나의 항목에 대한 유사도가 기 설정된 값 이상의 영상인 것을 특징으로 하는, 주변 영상을 생성하는 주변 영상 생성 서버.
  15. 제13항에 있어서,
    상기 영상 분석부는,
    기 설정된 기준에 따라 상기 메인 영상을 복수 개의 구간으로 분할하고, 상기 복수 개의 구간으로 분할하기 전 또는 후에 객체 또는 장소를 인식하는,
    주변 영상을 생성하는 주변 영상 생성 서버.
  16. 제15항에 있어서,
    상기 기 설정된 기준은,
    상기 메인 영상의 프레임 내 색상, 밝기, 장소, 객체, 자막 및 촬영 설정 중 적어도 하나의 항목에 대한 조합으로 선정되는,
    주변 영상을 생성하는 주변 영상 생성 서버.
  17. 제15항에 있어서,
    상기 소스 검색부는,
    인식된 객체 또는 장소를 이용하여, 상기 메인 영상 또는 데이터베이스 내 소스를 검색하는,
    주변 영상을 생성하는 주변 영상 생성 서버.
  18. 제13항에 있어서,
    상기 소스는,
    소정 재생 시간을 가지는 영상, 오디오, 2D 이미지 및 3D 모델링 중 적어도 하나를 포함하는,
    주변 영상을 생성하는 주변 영상 생성 서버.
  19. 제13항에 있어서,
    상기 주변 영상 생성부는,
    상기 주변 영상을 생성하기 전, 상기 메인 영상의 프레임 별로 객체와 배경을 분리하고, 상기 소스가 분리된 객체 또는 배경의 가장자리를 따라 연장될 수 있도록 편집하는,
    주변 영상을 생성하는 주변 영상 생성 서버.
  20. 제19항에 있어서,
    상기 주변 영상 생성부는,
    상기 메인 영상을 유지한 상태에서 소스의 형태, 색상, 밝기, 재질 및 움직임 중 적어도 하나의 속성을 편집하는,
    주변 영상을 생성하는 주변 영상 생성 서버.
  21. 제19항에 있어서,
    상기 소스 검색부는,
    검색된 소스가 복수 개인 경우, 복수 개의 소스를 하나의 소스로 재생성하는,
    주변 영상을 생성하는 주변 영상 생성 서버.
  22. 제20항에 있어서,
    상기 메인 영상과 상기 주변 영상을 프레임 별로 모니터링하고,
    상기 메인 영상과 상기 주변 영상의 배경 또는 객체에 대한 색상, 크기 및 비율 중 적어도 하나의 항목에 대한 유사도가 기 설정된 값 이하인지 판단하며,
    판단 결과, 상기 유사도가 기 설정된 값 이하인 경우, 상기 주변 영상을 재생성하기 위한 신호를 생성하는 주변 영상 모니터링부;
    를 더 포함하는 주변 영상을 생성하는 주변 영상 생성 서버.
  23. 제13항에 있어서,
    상기 입력부는,
    상기 메인 영상 및 상기 주변 영상이 재생될 공간의 파라미터를 수신하고,
    상기 주변 영상 생성부는,
    상기 파라미터를 기초로 상기 주변 영상을 보정하는,
    주변 영상을 생성하는 주변 영상 생성 서버.
  24. 제13항에 있어서,
    상기 재생 공간에 재생되는 메인 영상 또는 주변 영상을 보정하기 위한 사용자 인터페이스(User Interface, UI)를 제공하는 UI 제공부;
    를 더 포함하는 주변 영상을 생성하는 주변 영상 생성 서버
  25. 제13항에 있어서,
    상기 주변 영상 생성부는,
    상기 메인 영상 또는 소스를 원래의 화질보다 저화질 또는 고화질로 변환한 후 주변 영상을 생성하는, 주변 영상 생성 서버.
  26. 제13항에 있어서,
    상기 입력부는,
    상기 메인 영상과 연장될 수 있는 주변 영상의 제작 항목을 입력 받고,
    상기 주변 영상 생성부는,
    상기 주변 영상의 제작 항목을 기초로 주변 영상을 생성하는,
    주변 영상을 생성하는 주변 영상 생성 서버.
KR1020190179938A 2019-12-31 2019-12-31 주변 영상 생성 방법 및 이를 수행하는 서버 KR102271521B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190179938A KR102271521B1 (ko) 2019-12-31 2019-12-31 주변 영상 생성 방법 및 이를 수행하는 서버

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190179938A KR102271521B1 (ko) 2019-12-31 2019-12-31 주변 영상 생성 방법 및 이를 수행하는 서버

Publications (1)

Publication Number Publication Date
KR102271521B1 true KR102271521B1 (ko) 2021-07-01

Family

ID=76859840

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190179938A KR102271521B1 (ko) 2019-12-31 2019-12-31 주변 영상 생성 방법 및 이를 수행하는 서버

Country Status (1)

Country Link
KR (1) KR102271521B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102470023B1 (ko) * 2021-11-12 2022-11-24 주식회사 만나통신사 실시간 라이브를 이용한 원격 대리탐방 서비스 제공 시스템
KR102505117B1 (ko) * 2022-08-11 2023-03-02 (주)진명아이앤씨 원격지 스트리밍에 최적화된 다면 영상 스트리밍 시스템
KR102708278B1 (ko) 2023-03-24 2024-09-23 경희대학교 산학협력단 깊이 기반 합성 경계선의 재생성을 활용한 동영상 스티칭 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101451041B1 (ko) 2010-07-14 2014-10-15 알까뗄 루슨트 복수의 콘텐츠 아이템으로부터 합성 뷰를 생성하는 방법, 서버 및 단말
KR101807979B1 (ko) 2013-10-27 2017-12-11 구글 엘엘씨 이미지 합성물 생성
KR101976288B1 (ko) * 2017-12-05 2019-05-07 서울과학기술대학교 산학협력단 다시점 영상 생성 방법
KR101977635B1 (ko) * 2017-11-20 2019-05-13 한국항공대학교산학협력단 다중 카메라 기반 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101451041B1 (ko) 2010-07-14 2014-10-15 알까뗄 루슨트 복수의 콘텐츠 아이템으로부터 합성 뷰를 생성하는 방법, 서버 및 단말
KR101807979B1 (ko) 2013-10-27 2017-12-11 구글 엘엘씨 이미지 합성물 생성
KR101977635B1 (ko) * 2017-11-20 2019-05-13 한국항공대학교산학협력단 다중 카메라 기반 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 방법 및 장치
KR101976288B1 (ko) * 2017-12-05 2019-05-07 서울과학기술대학교 산학협력단 다시점 영상 생성 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102470023B1 (ko) * 2021-11-12 2022-11-24 주식회사 만나통신사 실시간 라이브를 이용한 원격 대리탐방 서비스 제공 시스템
KR102505117B1 (ko) * 2022-08-11 2023-03-02 (주)진명아이앤씨 원격지 스트리밍에 최적화된 다면 영상 스트리밍 시스템
KR102708278B1 (ko) 2023-03-24 2024-09-23 경희대학교 산학협력단 깊이 기반 합성 경계선의 재생성을 활용한 동영상 스티칭 장치 및 방법

Similar Documents

Publication Publication Date Title
KR102271521B1 (ko) 주변 영상 생성 방법 및 이를 수행하는 서버
US6556775B1 (en) Image and sound reproduction system
US9143721B2 (en) Content preparation systems and methods for interactive video systems
TWI388212B (zh) An image processing apparatus, an image reproduction apparatus, an image processing method, and a memory medium
US6335765B1 (en) Virtual presentation system and method
US8170239B2 (en) Virtual recording studio
US20120210232A1 (en) Rate Conform Operation for a Media-Editing Application
JP2003532316A (ja) 独立コード化領域を特徴とする画像シーケンス圧縮
JP5652642B2 (ja) データ生成装置およびデータ生成方法、データ処理装置およびデータ処理方法
JP2018107793A (ja) 仮想視点画像の生成装置、生成方法及びプログラム
EP0972285A1 (en) A method for the automatic computerized audio visual dubbing of movies
US20090027549A1 (en) Method for processing motion pictures at high frame rates with improved temporal and spatial resolution, resulting in improved audience perception of dimensionality in 2-D and 3-D presentation
KR102389157B1 (ko) 계층 프로젝션 기반 6-자유도 전방위 입체 영상 제공 방법 및 장치
KR20010050596A (ko) 효율적인 비디오 개관 및 브라우징을 위한 비디오 요약기술구조와, 그 기술 구조에 따른 요약 비디오 기술데이터 생성방법 및 시스템
CN102682817B (zh) 剧本编辑装置、方法和系统以及图像拍摄装置及其控制方法
US11477429B2 (en) Method for processing immersive video and method for producing immersive video
KR101843025B1 (ko) 카메라워크 기반 영상합성 시스템 및 영상합성방법
CN104205795B (zh) 色彩分级预览方法和装置
US20240296641A1 (en) Video System with Scene-Based Object Insertion Feature
JP2003109022A (ja) 図書製作システムと図書製作方法
Kuchelmeister et al. Affect and place representation in immersive media: The Parragirls Past, Present project
KR20210036795A (ko) 이머시브 영상 처리 방법 및 이머시브 영상 합성 방법
JP5201540B2 (ja) カラオケ装置及びカラオケ歌唱者の静止画出力方法
JP6396932B2 (ja) 画像合成装置、画像合成装置の動作方法およびコンピュータプログラム
KR100676672B1 (ko) 다시점 또는 파노라마 콘텐츠 생성 방법 및 그를 이용한대화형 복수시점 콘텐츠 저작 장치, 시스템 및 그 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant