KR102166106B1 - 가상 카메라를 활용한 다면 영상 생성 방법 및 시스템 - Google Patents

가상 카메라를 활용한 다면 영상 생성 방법 및 시스템 Download PDF

Info

Publication number
KR102166106B1
KR102166106B1 KR1020180144377A KR20180144377A KR102166106B1 KR 102166106 B1 KR102166106 B1 KR 102166106B1 KR 1020180144377 A KR1020180144377 A KR 1020180144377A KR 20180144377 A KR20180144377 A KR 20180144377A KR 102166106 B1 KR102166106 B1 KR 102166106B1
Authority
KR
South Korea
Prior art keywords
virtual camera
image
faceted
faceted image
virtual
Prior art date
Application number
KR1020180144377A
Other languages
English (en)
Other versions
KR20200059530A (ko
Inventor
박기수
고해정
장경윤
Original Assignee
스크린엑스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스크린엑스 주식회사 filed Critical 스크린엑스 주식회사
Priority to KR1020180144377A priority Critical patent/KR102166106B1/ko
Priority to PCT/KR2018/015656 priority patent/WO2020105788A1/en
Priority to US16/220,341 priority patent/US20200162643A1/en
Priority to CN201811561114.8A priority patent/CN111212219B/zh
Publication of KR20200059530A publication Critical patent/KR20200059530A/ko
Application granted granted Critical
Publication of KR102166106B1 publication Critical patent/KR102166106B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • G06T3/0093—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 일 실시 예에 따른 다면 영상 생성 방법은, 다면 영상 생성 장치가, 가상 카메라의 촬영 설정을 조정하는 단계, 상기 다면 영상 생성 장치가, 상기 조정된 가상 카메라의 촬영 구간을 설정하는 단계. 상기 다면 영상 생성 장치가, 설정된 촬영 구간에 따라 상기 가상 카메라가 촬영한 정합된 제1 다면 영상을 생성하는 단계를 포함한다.

Description

가상 카메라를 활용한 다면 영상 생성 방법 및 시스템{METHOD AND SYSTEM FOR GENERATING MULTIFACETED IMAGES USING VIRTUAL CAMERA}
본 발명은 가상 카메라를 활용한 다면 영상 생성 방법 및 시스템에 관한 것으로, 보다 자세하게는 가상 카메라가 촬영하는 영상을 가공하여 다면 상영관에서 재생 가능한 다면 영상을 생성할 수 있는 방법 및 이를 수행하는 장치에 관한 것이다.
일반적인 영화관은 관객의 맞은편에 대형 스크린 하나가 마련되어 2차원 영상 또는 3차원 영상을 투사하는 시스템으로 운영되고 있다. 그 중 3차원 영상은 입체감 있는 영상을 사용자에게 제공하기 위한 것으로서, 관객이 특수 제작된 안경 또는 장치를 장착하는 것으로 감상이 가능하다.
이러한 3차원 영상은 관객에게 입체감 있는 영상을 제공할 수 있으나 단일 스크린에 투사되는 영상을 감상하는 것에 불과하여 영상 자체에 대한 몰입도가 낮다는 한계가 존재하며, 오랜 시간 영상을 감상하는 경우 민감한 관객들은 어지러움이나 울렁거림을 느끼게 될 수 있다는 문제점이 존재한다.
그에 따라, 2차원 영상을 통해3차원 영상과 유사한 입체감을 느낄 수 있는 다면 상영 시스템이 개시되었다. 다면 상영 시스템이란 관객의 맞은편 스크린뿐만 아니라, 스크린과 연결된 좌, 우측 벽면, 천장 또는 바닥면 각각에 디스플레이면을 배치하고, 스크린과 연결된 각각의 디스플레이면에 동기화된 하나의 영상을 투사함으로써 관객들에게 입체감 및 몰입감을 제공할 수 있는 기술을 의미한다.
한편, 다면 상영 시스템에 투사하는 다면 영상은 각기 다른 시점을 촬영하는 카메라를 이용하여 하나의 피사체를 촬영하는 방식으로 수행되었으나, 복수 개의 카메라 각각의 촬영 설정에 따라 촬영하는 영역이 중첩되어, 최종적으로 다면 상영관에 투사되는 영상을 제작하기 위해서는 사용자가 일일이 중첩되는 영역을 편집해야 하고, 추가로 크기와 수평을 맞추는 작업을 수행해야 하는 등의 번거로움이 있으며, 상영관의 구조에 따라, 뒷자리에 앉은 관객에게는 좌우측 디스플레이면에 투사되는 영상이 왜곡되어 보일 수 있다는 문제점이 있다.
따라서 보다 편리한 방식으로 다면 영상을 제작할 수 있는 방법 및 장치의 개발이 요구되며, 본 발명은 이에 관한 것이다.
본 발명이 해결하고자 하는 기술적 과제는 다면 영상 시스템에 다면 영상을 투사하는 과정에서, 가상 카메라를 이용하여 촬영한 다면 영상의 후반 작업을 용이하게 수행할 수 있는 다면 영상 생성 장치를 제공하는 것을 목적으로 한다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는 관객이 어떠한 자리에 착석하더라도 다면 상영 시스템에 투사하는 다면 영상을 왜곡 없이 관람할 수 있도록 영상을 제작하는 방법 및 이를 수행하는 장치를 제공하는 것을 목적으로 한다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시 예에 따른 가상 카메라를 활용한 다면 영상 생성 방법은, 다면 영상 생성 장치가, 가상 카메라의 촬영 설정을 조정하는 단계, 상기 다면 영상 생성 장치가, 상기 조정된 가상 카메라의 촬영 구간을 설정하는 단계, 상기 다면 영상 생성 장치가, 설정된 촬영 구간에 따라 상기 가상 카메라가 촬영한 정합된 제1 다면 영상을 생성하는 단계를 포함한다.
일 실시 예에 따르면, 상기 제1 다면 영상을 생성하는 단계 이전에, 상기 촬영 구간에 따라 상기 가상 카메라가 촬영 중인 다면 영상을 프리뷰하는 단계를 더 포함할 수 있다.
일 실시 예에 따르면, 상기 제1 다면 영상을 생성하는 단계 이후에, 상기 제1 다면 영상을 와핑하는 단계를 더 포함할 수 있다.
일 실시 예에 따르면, 상기 제1 다면 영상을 와핑하는 단계는, 상기 제1 다면 영상이 투사되는 상영관의 구조를 나타내는 파라미터를 확인하는 단계 및 상기 확인된 파라미터를 기초로 상기 제1 다면 영상의 디스플레이면 별 보정 비율을 설정하는 단계를 더 포함할 수 있다.
일 실시 예에 따르면, 상기 영역 별 보정 비율을 설정하는 단계 이후에, 상기 비율이 적용된 제2 다면 영상을 생성하여 프리뷰하는 단계를 더 포함할 수 있다.
일 실시 예에 따르면, 상기 제2 다면 영상을 프리뷰하는 단계 이후에, 상기 설정한 보정 비율을 확정하고, 상기 확정한 보정 비율을 상기 정합된 제1 다면 영상에 적용시켜 제3 다면 영상을 생성하는 단계를 더 포함할 수 있다.
일 실시 예에 따르면, 상기 촬영 설정을 조정하는 단계는, 상기 가상 카메라가 하나의 가상 카메라인 경우, 상영관의 중심 디스플레이면과 좌우 또는 상하 디스플레이면 중 적어도 하나의 가로 및 세로 해상도를 조정하는 단계일 수 있다.
일 실시 예에 따르면, 상기 제1 다면 영상을 생성하는 단계는, 상기 가상 카메라가 하나의 가상 카메라인 경우, 상기 하나의 가상 카메라를 이용하여 촬영한 제1 다면 영상을 상영관의 디스플레이면에 따라 분할하여 생성하는 단계를 더 포함할 수 있다.
일 실시 예에 따르면, 상기 가상 카메라는 복수 개의 가상 카메라를 포함하고, 상기 복수 개의 가상 카메라는, 상영관의 중심 디스플레이면과 대응되는 메인 가상 카메라 및 상기 메인 가상 카메라의 좌우 또는 상하에 배치되는 서브 가상 카메라를 포함할 수 있다.
일 실시 예에 따르면, 상기 복수 개의 가상 카메라는, 동일한 중심축을 가지고 배치될 수 있다.
일 실시 예에 따르면, 상기 촬영 설정을 조정하는 단계는, 상기 메인 카메라의 촬영 영역과 상기 서브 카메라의 촬영 영역이 이어지도록, 상기 서브 카메라의 촬영 설정을 조정하는 단계일 수 있다.
일 실시 예에 따르면, 상기 촬영 설정은, 상기 복수 개의 가상 카메라의 초점 거리 또는 해상도 중 적어도 하나 이상을 포함할 수 있다.
본 발명의 또 다른 실시 예에 따른 다면 영상 생성 장치는, 가상 카메라의 촬영 설정을 조정하는 가상 카메라 조정부, 상기 촬영 설정이 조정된 가상 카메라의 촬영 구간을 설정하는 촬영 설정부, 상기 촬영 구간이 설정된 가상 카메라가 촬영한 정합된 제1 다면 영상을 생성하는 다면 영상 생성부 및 상기 가상 카메라 조정부, 상기 촬영 설정부 및 상기 다면 영상 생성부 중 어느 하나 이상을 제어하는 프로세서를 포함한다.
일 실시 예에 따르면, 상기 촬영 설정부가 설정한 촬영 구간에 따라 상기 가상 카메라가 촬영 중인 다면 영상을 프리뷰하는 프리뷰 생성부를 더 포함할 수 있다.
일 실시 예에 따르면, 상기 다면 영상 생성부가 생성한 제1 다면 영상을 와핑하는 영상 와핑부를 더 포함할 수 있다.
일 실시 예에 따르면, 상기 영상 와핑부는, 상기 제1 다면 영상이 투사되는 상영관의 구조를 나타내는 파라미터를 확인하고, 상기 확인된 파라미터를 기초로 상기 제1 다면 영상의 영역 별 보정 비율을 설정할 수 있다.
일 실시 예에 따르면, 상기 프리뷰 생성부는, 상기 영역 별 보정 비율을 설정하는 단계 이후에, 상기 비율이 적용된 제2 다면 영상을 생성하여 프리뷰할 수 있다.
일 실시 예에 따르면, 상기 영상 와핑부는, 상기 제2 다면 영상을 프리뷰한 이후에, 상기 설정한 보정 비율 확정하고, 상기 확정한 보정 비율을 상기 정합된 제1 다면 영상에 적용시켜 제3 다면 영상을 생성할 수 있다.
일 실시 예에 따르면, 상기 가상 카메라 조정부는, 상기 가상 카메라가 하나의 가상 카메라인 경우, 상영관의 중심 디스플레이면과 좌우 또는 상하 디스플레이면 중 적어도 하나의 가로 및 세로 해상도를 조정할 수 있다.
일 실시 예에 따르면, 상기 다면 영상 생성부는, 상기 가상 카메라가 하나의 가상 카메라인 경우, 상기 하나의 가상 카메라를 이용하여 촬영한 제1 다면 영상을 상영관의 디스플레이면에 따라 분할하여 생성할 수 있다.
일 실시 예에 따르면, 상기 가상 카메라는 복수 개의 가상 카메라를 포함하고, 상기 복수 개의 가상 카메라는, 상영관의 중심 디스플레이면과 대응되는 메인 가상 카메라 및 상기 메인 가상 카메라의 좌우 또는 상하에 배치되는 서브 가상 카메라를 더 포함할 수 있다.
일 실시 예에 따르면, 상기 복수 개의 가상 카메라는, 동일한 중심축을 가지고 배치될 수 있다.
일 실시 예에 따르면, 상기 촬영 설정부는, 상기 메인 카메라의 촬영 영역과 상기 서브 카메라의 촬영 영역이 이어지도록, 상기 서브 카메라의 촬영 설정을 조정할 수 있다.
일 실시 예에 따르면, 상기 촬영 설정은, 상기 복수 개의 가상 카메라의 초점 거리 또는 해상도 중 적어도 하나 이상을 포함할 수 있다.
본 발명에 의하면, 가상의 카메라를 이용하여 일체화된 다면 영상을 생성할 수 있다는 효과가 있다.
또한, 상영관 내 복수 개의 디스플레이면에 투사되는 영상을 위치에 따른 왜곡을 고려하여 와핑(warping)하는 바, 관객은 어떠한 이질감도 없이 다면 영상을 관람할 수 있으므로 몰입감을 향상시킬 수 있다는 효과가 있다.
또한, 가상 카메라가 촬영한 영상을 각기 다른 상영관의 구조를 고려하여 와핑하는 바, 각 상영관 구조에 적합한 다면 영상을 생성할 수 있다는 효과가 있다.
또한, 가상 카메라를 복수 개 이용함으로써, 중심부에 배치된 메인 가상 카메라의 촬영 설정에 따라, 좌, 우측에 배치된 서브 가상 카메라들의 촬영 설정을 동일하게 조정하는 바, 복수 개의 가상 카메라가 촬영한 다면 영상이 일체성을 이룰 수 있다는 효과가 있다.
또한, 가상 카메라가 촬영하는 영역이 서로 이웃하여 배치된 카메라의 촬영 영역과 중첩되지 않고 정합되는 바, 촬영한 영상에 대한 후 별도의 보정 작업이 필요하지 않아 보다 효율적으로 다면 영상을 생성할 수 있다는 효과가 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 다면 영상 생성 장치의 구성을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시 예에 따른 하나의 가상 카메라가 촬영하는 영역을 개략적으로 나타낸 도면이다.
도 3은 본 발명의 일 실시 예에 따른 복수 개의 가상 카메라가 피사체를 촬영하는 모습을 개략적으로 나타낸 도면이다.
도 4는 본 발명의 일 실시 예에 따른 복수 개의 가상 카메라의 초점거리를 조절하는 모습을 개략적으로 나타낸 도면이다.
도 5 및 6은 본 발명의 일 실시 예에 따른 복수 개의 가상 카메라의 해상도를 조절하는 모습을 개략적으로 나타낸 도면이다.
도 7은 본 발명의 제2 실시 예에 따른 다면 영상 생성 장치가 가상 카메라를 이용하여 다면 영상을 생성하는 방법의 흐름을 나타낸 순서도이다.
도 8은 도 7에 도시된 S150 단계를 구체화한 순서도이다.
도 9는 본 발명의 일 실시 예에 따른 다면 영상 생성 장치가 촬영된 영상을 와핑하는 과정을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시 예에 따른 다면 영상 생성 장치를 이용하여 영상을 프리뷰하는 모습을 나타낸 도면이다.
도 11은 본 발명의 일 실시 예에 따른 다면 영상 생성 장치를 이용하여 왜곡이 보정된 영상을 프리뷰하는 모습을 나타낸 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
본 명세서에서 사용되는 "포함한다 (comprises)" 및/또는 "포함하는 (comprising)"은 언급된 구성 요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성 요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
도 1은 본 발명의 일 실시 예에 따른 다면 영상 생성 장치(100)의 구성을 개략적으로 나타낸 도면이다.
도 1을 참조하면, 다면 영상 생성 장치(100)는 가상 카메라 조정부(110), 촬영 설정부(120), 다면 영상 생성부(130), 프리뷰 생성부(140), 영상 와핑부(150) 및 프로세서(160)를 포함함을 확인할 수 있으며, 기타 본 발명의 목적을 달성하기 위한 부가적인 구성을 더 포함할 수 있다.
가상 카메라 조정부(110)는 가상 카메라(200)의 촬영 설정을 조정할 수 있다. 여기서, 가상 카메라(200)는 다면 영상을 제작하기 위한 가상의 카메라로서, 단일 또는 복수 개의 가상 카메라(200)를 포함하고, 가상의 3D 공간 내에서 촬영 설정 정보를 자유롭게 설정할 수 있어 피사체를 다양한 각도, 거리에서3D로 촬영할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 가상 카메라(200)가 촬영하는 영역을 개략적으로 나타낸 도면으로서, 도 2를 참조하면, 하나의 가상 카메라(200)를 이용하여 상영관에 투사될 다면 영상을 생성할 수 있다. 보다 구체적으로, 가상 카메라(200)가 촬영하는 촬영 영역(A)을, 다면 영상이 디스플레이 될 영역의 개수에 따라 분할함으로써 다면 영상을 생성할 수 있다. 즉, 하나의 가상 카메라(200)가 촬영하는 촬영 영역(A)에 가상의 디스플레이면 경계선이 표시됨으로써, 촬영된 영상이 어느 디스플레이영역에 표시되는 지 확인할 수 있다.
한편, 본 발명에서 설명하는 디스플레이면 또는 디스플레이 될 영역 즉, 디스플레이면은 상영관 내 스크린, 좌우 벽면, 천장면, 바닥면 등 과 같이 투사장치를 이용하여 영상이 투사 가능한 면뿐만 아니라, LED, LCD와 같이 영상을 출력하는 면을 포함할 수도 있다. 즉, 가상 카메라(200)를 이용하여 촬영된 영상은 상영관 내 다양한 투사 방식을 이용하여 출력될 수 있으며, 각각의 디스플레이 면은 상영관의 구조에 따라 평행하지 않게 배치될 수 있다.
또한, 이와 같이 다면 영상을 제작하기 위해서, 하나의 가상 카메라(200) 촬영 해상도는 디스플레이 면의 개수에 따른 가로/세로 해상도를 고려하여 설정될 수 있다. 예를 들어, 도 2와 같이 3개의 디스플레이 면을 포함하는 상영관에 투사될 영상을 제작하는 경우, 가상 카메라(200)의 가로 해상도는 ①, ②, ③ 디스플레이 면의 가로 해상도를 합한 값이 되며, 세로 해상도는 영상의 일체화를 위해, 중앙 디스플레이 면인 ② 면의 세로 해상도 값과 동일할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 복수 개의 가상 카메라(200)가 피사체를 촬영하는 모습을 개략적으로 나타낸 도면으로서, 도 3의 (a)를 참조하면, 복수 개의 가상 카메라(200)는 촬영 공간의 바닥면을 x-y 평면으로 보았을 때, z축을 기준으로 동일한 중심축을 가지고 설치되며, 중앙에 배치되는 메인 가상 카메라(200a) 및 메인 가상 카메라(200a)의 양측에 배치되는 서브 가상 카메라(200b)로 이루어진 것을 확인할 수 있다. 또한, 복수 개의 가상 카메라(200)의 중심축이 일치함과 동시에, 가상의 리그(Rig)로 묶여 있는 바, 복수 개의 가상 카메라(200)의 촬영 설정 정보를 동일하게 설정하는 경우, 피사체(O)를 촬영하는 복수 개의 카메라(200)의 촬영 영역(A1, A2, A3)이 중첩되지 않고 이웃한 촬영 영역과 정합됨을 확인할 수 있다.
그에 따라, 복수 개의 카메라(200)가 촬영한 피사체(O)의 다면 영상은 (b)와 같이 자연스럽게 이어지게 되며, 중첩되는 영역이 없을 뿐만 아니라, 각각의 영상 세로 크기와 수평도 동일하게 맞춰져 있어, 촬영 후 다면 영상을 크롭(crop)하거나 스티칭(stitching)하는 추가 편집 작업이 불필요하게 된다.
한편, 서브 가상 카메라(200b)는 메인 가상 카메라(200a)의 좌우뿐만 아니라, 상하에 배치될 수도 있다. 그에 따라, 복수 개의 가상 카메라(200)는 촬영 공간의 y-z 평면으로 보았을 때, x축을 기준으로 동일한 중심축을 가지고 설치되며, 서브 가상 카메라(200b)가 촬영한 영상이 디스플레이 되는 면은 상영관 내 천장면과 바닥면이 될 수 있다.
도 4내지 도 6을 참조하면, 가상 카메라 조정부(110)는 복수 개의 카메라(200)의 촬영 정보 중에서도 초점 거리 또는 해상도를 조정할 수 있으며, 그에 따라 복수 개의 카메라(200)의 촬영 영역이 제어됨을 확인할 수 있다.
보다 구체적으로, 메인 가상 카메라(200a)의 촬영 설정 조정에 따라, 가상 카메라 조정부(110)는 서브 가상 카메라(200b)의 촬영 설정을, 메인 가상 카메라(200a)의 촬영 영역과 이어지도록 조정하여, 다면 영상이 중첩되는 것을 막을 수 있다.
또한, 가상 카메라 조정부(110)가 조정하는 촬영 설정은 초점 거리와 해상도일 수 있으며, 메인 가상 카메라(200a)가 촬영한 영상이 투사되는 영역은 상영관의 메인 스크린이며, 서브 가상 카메라(200b)가 촬영한 영상이 투사되는 디스플레이면은 메인 스크린의 좌, 우 벽면인 바, 가상 카메라 조정부(110)는 서브 가상 카메라(200b)의 세로 해상도를 조정할 수 있다.
아울러, 서브 가상 카메라(200b)가 촬영한 영상이 투사되는 디스플레이면이 메인 스크린을 기준으로 천장면, 바닥면일 경우, 가상 카메라 조정부(110)는 서브 가상 카메라(200b)의 가로 해상도를 동일하게 하고, 세로 해상도를 조정할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 복수 개의 가상 카메라(200)의 초점거리를 조절하는 모습을 개략적으로 나타낸 도면으로서, 도 4의 (a)를 참조하면, 복수 개의 가상 카메라(200a)의 초점거리가 28mm이고, 그에 따른 화각(θ1)이 75°일 때, 가상 카메라 조정부(110)가 메인 가상 카메라(200a)의 초점거리를 50mm로 조정할 경우, 그에 따른 화각(θ2)이 47°로 변하고, 서브 가상 카메라(200b)의 초점거리 및 화각이 이와 동일하게 조정되는 것을 확인할 수 있다.
또한, 서브 가상 카메라(200b)의 초점거리 및 화각이 변화하는 과정에서, 서브 가상 카메라(200b)의 촬영 시점, 즉 가상 렌즈의 광 축이 그대로 유지되지 않고, 메인 가상 카메라(200a)의 촬영 영역(A1)에 따라 변화하게 된다. 예를 들어, 메인 가상 카메라(200a)의 초점거리가 짧아져 화각이 좁아지는 경우, 좌측 서브 가상 카메라(200b)는 가상 렌즈의 광 축(P1)이 우측으로 기울게 되고, 우측 서브 가상 카메라(200b)는 가상 렌즈의 광 축(P2)이 좌측으로 기울게 되며, 초점거리가 길어져 화각이 커지는 경우, 이와 반대로 렌즈의 광 축이 이동하게 된다. 여기서, 서브 가상 카메라(200b)의 렌즈 광 축이 이동하는 각도는, 가상 카메라 조정부(110)에 의해 변경된 메인 가상 카메라(200a) 화각(Δθ)와 동일할 수 있다.
한편, 이러한 초점거리 조정에 따라 복수 개의 가상 카메라(200)가 촬영하는 영상을 살펴보면, 도 4의 (b) 및 (c)와 같이 복수 개의 가상 카메라(200)가 촬영한 다면 영상이 끊어지거나 중첩되는 부분 없이 자연스럽게 이어지게 되는 것을 확인할 수 있으며, 그에 따라 보다 손쉽게 다면 영상을 제작할 수 있게 된다.
또 다른 한편, 가상 카메라 조정부(110)는 메인 가상 카메라(200a)의 해상도를 조정할 수 있고, 그에 따라 서브 가상 카메라(200b)의 해상도가 메인 가상 카메라(200a)의 촬영 영역과 이어지도록 조정될 수 있다.
도 5 및 6은 본 발명의 일 실시 예에 따른 복수 개의 가상 카메라(200)의 해상도를 조절하는 모습을 개략적으로 나타낸 도면이다.
도 5의 (a) 및 (b)를 참조하면, 복수 개의 가상 카메라(200)의 가로, 세로 해상도가 실선과 같이 1920 x 1080 pix이고, 그에 따른 촬영 영역(A1, A2, A3)이 다음과 같을 때, 가상 카메라 조정부(110)가 메인 가상 카메라(200a)의 가로, 세로 해상도를 점선으로 표시된 영역과 같이 1998*1080 pix 로 조정할 경우, 서브 가상 카메라(200b)의 렌즈의 광 축이 조정됨을 확인할 수 있으며, 그에 따른 촬영 영역이 도 5의 (b)에서 (c)로 변경되는 것을 확인할 수 있다.
또한, 서브 가상 카메라(200b)의 해상도가 조정되는 과정에서, 서브 가상 카메라(200b)의 촬영 시점, 즉 가상 렌즈의 광 축이 그대로 유지되지 않고, 메인 가상 카메라(200a)의 촬영 영역(A1)에 따라 변화하게 된다. 예를 들어, 메인 가상 카메라(200a)의 가로 해상도가 커짐에 따라 촬영 영역(A1)의 가로 길이가 증가하는 경우, 좌측 서브 가상 카메라(200b)는 가상 렌즈의 중심(P1)이 좌측으로 기울게 되고, 우측 서브 가상 카메라(200b)는 가상 렌즈의 광 축(P2)이 우측으로 기울게 되며, 가로 해상도가 작아져 촬영 영역(A1)의 가로 길이가 작아지는 경우, 이와 반대로 렌즈의 광 축이 이동하게 된다. 여기서, 서브 가상 카메라(200b)의 렌즈 광 축(P1, P2)이 이동하는 각도는, 메인 가상 카메라(200)가 촬영하는 촬영 영역(A1)의 변경된 가로 길이(Δl)와 복수 개의 가상 카메라(200)의 중심점(C)을 연결하여 형성되는 각도와 동일할 수 있다.
또한, 도 5의 (b) 및 (d)를 참조하면, 메인 가상 카메라(200a)의 가로/세로 비율이 변경됨에 따라, 피사체(O)가 메인 가상 카메라(200a)의 촬영 영역(A1) 내로 들어오지만, 피사체(O)가 끊어지거나 중첩되는 부분 없이 자연스럽게 이어지는 것을 확인할 수 있다.
한편, 또 다른 실시 예에서, 가상 카메라 조정부(110)는 메인 가상 카메라(200b)의 세로 해상도를 조정할 수 있다. 예를 들어, 도 6을 참조하면, 복수 개의 가상 카메라(200)의 가로, 세로 해상도가 실선과 같이 1200 x 540 일 때, 가상 카메라 조정부(110)가 메인 가상 카메라(200a)의 세로 해상도를 점선과 같이 700 pix 로 조정할 경우, 서브 가상 카메라(200b)의 세로 해상도가 동일하게 700 pix 로 조정됨을 확인할 수 있으며, 이때의 경우, 서브 가상 카메라(200b)의 촬영 시점, 즉 가상 렌즈의 광 축이 그대로 유지될 수 있다.
이와 같이, 다면 영상 생성 장치(100)의 가상 카메라 조정부(110)는 메인 가상 카메라(200a)의 초점 거리, 해상도를 조정하는 것만으로도 자동으로 서브 가상 카메라(200b)들의 초점 거리, 해상도, 렌즈의 광축이 맞춰져, 각각의 촬영 영역(A1, A2, A3)이 서로 인접한 모서리와 접하는 일체의 다면 영상을 생성할 수 있게 된다.
다시 도 1을 참조하여 다면 영상 생성 장치(100)에 대하여 설명하도록 한다.
촬영 설정부(120)는 가상 카메라 조정부(110)에 의해 촬영 설정이 조정된 가상 카메라(200)가 촬영할 촬영 구간을 설정한다. 예를 들어, 촬영 설정부(120)는 영상의 시나리오에 따른 가상 카메라(200)의 피사체 촬영 경로, 무빙 등을 포함할 수 있다.
이와 같이, 가상 카메라(200)가 촬영할 촬영 구간을 설정한 후, 프리뷰 생성부(140)를 통해 가상 카메라(200)가 촬영 중인 다면 영상을 프리뷰(preview)할 수 있다. 그에 따라, 사용자는 앞서 설정한 항목에 따라 다면 영상을 생성할 지 결정할 수 있다.
다면 영상 생성부(130)는 촬영 구간이 설정된 가상 카메라(200)가 촬영한 정합된 제1 다면 영상(P1)을 생성할 수 있다. 보다 구체적으로, 다면 영상 생성부(130)는 가상 카메라(200)가 촬영한 각각의 영상을 렌더링하여 저장할 수 있으며, 이를 통합한 하나의 영상으로 렌더링하여 저장할 수도 있다. 여기서, 영상의 정합은 중앙 촬영 영상과 인접한 좌우 촬영 영상의 각 모서리가 어긋나지 않고 맞닿은 것을 의미한다.
영상 와핑부(150)는 다면 영상 생성부(140)가 생성한 제1 다면 영상(P1)을 와핑(warping)할 수 있다. 여기서, 와핑(warping)이란, 생성한 제1 다면 영상(P1)에 왜곡을 주어 상영관의 다양한 구조에 맞추는 것을 의미한다.
다시 말해서, 가상 카메라(200)를 이용하여 정합된 제1 다면 영상(P1)을 생성함으로써 다면 영상 제작이 완료될 수 있으나, 실제로 이를 상영할 다면 상영관에 정합된 제1 다면 영상(P1)을 투사해보면, 디귿(ㄷ)자 형태 또는 메인 스크린을 중심으로 양 쪽 벽면이 모아지는 형태의 상영관의 구조적 특성 상 스크린에서 멀리 떨어진 뒤쪽 열에 착석한 관객에게는 정합된 제1 영상(P1)이 왜곡되어 보일 수 있다.
그에 따라, 영상 와핑부(150)는 정합된 제1 다면 영상(P1)이 왜곡되어 보이지 않도록 와핑하여 안정적인 다면 영상을 생성할 수 있다. 보다 구체적으로 영상 와핑부(150)는 정합된 제1 다면 영상(P1)이 투사되는 상영관의 구조를 파악하고, 상영관의 구조에 맞는 영상 보정 비율을 설정하여 제2 다면 영상(P2)을 생성할 수 있다. 여기서, 상영관의 구조는 상영관 내 구조적 치수를 나타내는 파라미터를 의미한다. 예를 들어, 영상 와핑부(150)가 활용하는 상영관의 파라미터는 상영관 내 복수 개의 디스플레이면 사이의 각도, 복수 개의 디스플레이면(스크린, 좌측 벽면, 우측 벽면, 천장면, 바닥면)의 가로 및 세로 길이, 상영관 내 스크린에서 앞자리 관객석까지의 길이, 뒷자리 관객석의 높이 등 다면 영상이 투사되는 영역과 연관된 모든 수치들을 포함할 수 있다.
마지막으로, 다면 영상 생성 장치(100)는 가상 카메라 조정부(110), 다면 영상 생성부(130), 프리뷰 생성부(140) 및 영상 와핑부(150)를 제어하는 프로세서(160)를 포함함을 확인할 수 있다. 실시 예에 따라, 프로세서(160)는 중앙 처리 장치로서 다면 영상 생성 장치(100)의 전반적인 동작을 제어할 수 있는 적어도 하나의 연산 장치를 포함할 수 있다. 여기서 연산 장치는 예를 들어, 범용적인 중앙연산장치(CPU), 특정 목적에 적합하게 구현된 프로그래머블 디바이스 소자(CPLD, FPGA), 주문형 반도체 연산장치(ASIC) 또는 마이크로 컨트롤러 칩일 수 있다.
지금까지 본 발명의 일 실시 예에 따른 다면 영상 생성 장치(100)가 포함하는 구성에 대하여 설명하였다. 본 발명에 따르면, 다면 영상 생성 장치(100)는 하나의 가상 카메라(200) 또는 복수 개의 가상 카메라(200)의 촬영 설정을 조정함으로써, 상영관 내 디스플레이면에 투사되는 영상의 영역이 겹치지 않아, 다면 영상을 손쉽게 제작할 수 있다.
이하에서는 다면 영상 생성 장치(100)를 이용하여 다면 영상을 제작하는 구체적인 방법에 대하여 설명하도록 한다.
도 7은 본 발명의 일 실시 예에 따른 다면 영상 생성 장치(100)가 가상 카메라(200)를 이용하여 다면 영상을 생성하는 방법의 흐름을 나타낸 순서도이며, 이는 본 발명의 목적을 달성하기 위한 바람직한 실시 예일 뿐이며, 도 7의 경우 필요에 따라 일부 단계가 삭제 또는 추가되거나, 어느 한 단계가 다른 단계에 포함되어 수행될 수 있음은 물론이다.
한편, 본 발명의 다면 상영관에 투사되는 다면 영상을 생성하기 위해서는 상술한 바와 같이 하나의 가상 카메라를 이용하는 방식과 복수 개의 가상 카메라를 이용하는 방식이 활용될 수 있는 바, 각각의 경우를 나누어서 설명하도록 한다.
<실시 예 1. 하나의 가상 카메라>
먼저, 다면 영상 생성 장치(100)는 가상 카메라(200)의 촬영 설정을 조정한다(S110). 보다 구체적으로, 하나의 가상 카메라(200)가 촬영하는 영역의 가로 및 세로 해상도를 상영관의 중심 디스플레이면과 좌우(좌우 벽면) 또는 상하(천장면, 바닥면) 디스플레이면을 고려하여 설정할 수 있다.
예를 들어, 정면 디스플레이면의 해상도가 1920 x 1080 pix으로 설정되고, 좌우 디스플레이면의 해상도가 1998*1080 pix으로 설정되어 있을 경우, 다면 영상 생성 장치(100)는 하나의 가상 카메라의 해상도를 5916(1998+1920+1998) x 1080 pix로 설정할 수 있다. 이때, 세로 해상도의 경우, 화면의 일체성을 위해, 동일하게 설정하는 것이 바람직할 수 있다.
S110 단계 이후, 다면 영상 생성 장치(100)는 촬영 설정이 조정된 하나의 가상 카메라(200)가 촬영할 촬영 구간을 설정한다(S120). 예를 들어, 다면 영상 생성 장치(100)는 콘텐츠의 시나리오에 따른 가상 카메라(200)의 피사체 촬영 경로, 무빙 등을 설정할 수 있다.
한편, 상술한 촬영 설정 단계(S110) 및 촬영 구간 설정 단계(S120)는 가상 카메라(200)를 이용하여 수행되는 단계이기 때문에, 사용자는 실시간으로 변경되는 가상 카메라(200)의 촬영 설정 및 촬영 구간을 프리뷰(preview)할 수 있으며, 촬영 설정 및 촬영 구간이 올바르게 설정되었는지 확인 할 수 있다. 그에 따라, 사용자는 다면 영상이 의도한 바와 다르게 제작되는 상황을 방지할 수 있어, 보다 효율적으로 다면 영상을 제작할 수 있다.
S120 단계 이후, 다면 영상 생성 장치(100)는 하나의 가상 카메라(200)로 촬영한 다면 영상을 프리뷰(preview)한다(S130). 이를 위해, 가상 카메라(200)가 촬영한 다면 영상에는 상영관의 구조 및 그에 따른 해상도에 맞는 디스플레이면 가이드 선이 표시될 수 있으며, 사용자는 이를 통해 촬영된 영상이 상영관 내 어느 디스플레이면에 표시되는지 확인할 수 있다.
한편, 사용자는 촬영한 다면 영상을 파노라마 형식으로 보거나, 상영관에 실제로 투사되는 것과 같은 영상 형식 또는 HMD(Head Mount Display)를 착용하여 해당 다면 영상을 3D 로 볼 수 있으며, 앞서 설정한 항목에 따라 다면 영상을 생성할 지 결정할 수 있다.
S130 단계 이후, 다면 영상 생성 장치(100)는 촬영 설정이 조정된 가상 카메라(200)를 이용하여 촬영한 피사체(O)의 영상을 획득하여, 정합된 제1 다면 영상(P1)을 생성한다(S140). 이 과정에서 생성된 제1 다면 영상(P1)은 하나의 가상 카메라(200)로 촬영된 것인 바, 다면 영상 생성 장치(100)는 제1 다면 영상(P1)을 디스플레이면의 해상도에 따라 분할하여 분할 생성하고, 렌더링한 후 저장하거나, 분할하지 않은 일체화된 제1 다면 영상(P1)을 렌더링하여 저장할 수 있다.
S140 단계를 통해 시나리오에 맞는 정합된 제1 다면 영상(P1)을 생성한 후, 다면 영상 생성 장치(100)는 상영관의 구조에 따라 왜곡되어 보일 수 있는 제1 다면 영상(P1)의 일부분을 와핑(warping)한다(S150). 즉, 다면 영상 생성 장치(100)는 상영관 구조에 맞는 와핑 값(보정 비율 값)을 생성할 수 있으며, 와핑 값을 제1 다면 영상(P1)에 적용하여 사용자로 하여금 왜곡이 보정 되었는지 실시간으로 확인할 수 있도록 프리뷰 영상을 제공할 수 있다.
S150 단계 이후, 다면 영상 생성 장치(100)는 사용자가 확정한 와핑 값을 제1 다면 영상(P1)에 적용시켜 제3 다면 영상(P3)을 생성하고, 최종적으로 완성된 제3 다면 영상(P3)을 일체화된 영상 또는 디스플레이면 별로 분할한 영상으로 저장할 수 있다.
<실시 예2. 복수 개의 가상 카메라>
다면 영상 생성 장치(100)가 복수 개의 가상 카메라(200)의 촬영 설정을 조정한다(S110). 여기서, 복수 개의 가상 카메라(200)는 ① 동일한 z방향 중심축을 가지고 중앙에 배치되는 메인 가상 카메라(200a)와 메인 가상 카메라(200a)의 좌우에 배치되는 서브 가상 카메라(200b)를 포함하거나 ② 동일한 x축 방향 중심축으로 가지고 중앙에 배치되는 메인 가상 카메라(200a)와 메인 가상 카메라(200a)의 상하에 배치되는 서브 가상 카메라(200b)를 포함할 수 있으며, ③메인 가상 카메라(200a)를 중심으로 상하, 좌우에 배치되는 서브 가상 카메라(200b)를 포함할 수도 있다.
다면 영상 생성 장치(100)는 이 중 메인 가상 카메라(200a)의 촬영 설정을 조정할 수 있으며, 서브 가상 카메라(200b)는 메인 가상 카메라(200a)의 촬영 설정에 따라, 각각의 촬영 영역이 중첩되지 않도록 조정될 수 있다.
예를 들어, 서브 가상 카메라(200b)에서 조정되는 촬영 설정은 가상 카메라의 초점 거리 또는 세로 해상도이며, 이를 조절함에 따라, 다면 영상 생성 장치(100)는 영상이 중첩되거나 어긋나지 않는 일체화된 하나의 다면 영상을 획득할 수 있다.
S110 단계 이후, 다면 영상 생성 장치(100)는 촬영 설정이 조정된 복수 개의 가상 카메라(200)가 촬영할 촬영 구간을 설정한다(S120). 예를 들어, 다면 영상 생성 장치(100)는 콘텐츠의 시나리오에 따른 가상 카메라(200)의 피사체 촬영 경로, 무빙 등을 설정할 수 있다.
S120 단계 이후, 다면 영상 생성 장치(100)는 복수 개의 가상 카메라(200)로 촬영한 다면 영상을 프리뷰(preview)한다(S130). 여기서, 프리뷰하는 과정은 하나의 가상 카메라(200)를 활용할 때와 동일한 방식으로 수행될 수 있다. 즉, 사용자는 촬영한 다면 영상을 파노라마 형식으로 보거나, 상영관에 실제로 투사되는 것과 같은 영상 형식 또는 HMD(Head Mount Display)를 착용하여 해당 다면 영상을 3D 로 볼 수 있으며, 앞서 설정한 항목에 따라 다면 영상을 생성할 지 결정할 수 있다.
한편, 상술한 촬영 설정 단계(S110) 및 촬영 구간 설정 단계(S120)는 가상 카메라(200)를 이용하여 수행되는 단계이기 때문에, 사용자는 실시간으로 변경되는 가상 카메라(200)의 촬영 설정 및 촬영 구간을 프리뷰(preview)할 수 있으며, 촬영 설정 및 촬영 구간이 올바르게 설정되었는지 확인 할 수 있다. 그에 따라, 사용자는 다면 영상이 의도한 바와 다르게 제작되는 상황을 방지할 수 있어, 보다 효율적으로 다면 영상을 제작할 수 있다.
S130 단계 이후에, 다면 영상 생성 장치(100)는 촬영 설정이 조정된 복수 개의 가상 카메라(200)를 이용하여 촬영한 피사체(O)의 영상을 획득하여 정합된 제1 다면 영상(P1)을 생성하고(S140), 각각의 영상을 렌더링하여 저장할 수 있다. 이 때, 다면 영상 생성 장치(100)는 각각의 영상을 합쳐 일체화된 제1 다면 영상(P1)의 형태로 저장할 수도 있다.
S140 단계를 통해 시나리오에 맞는 정합된 제1 다면 영상(P1)을 생성한 후, 다면 영상 생성 장치(100)는 상영관의 구조에 따라 왜곡되어 보일 수 있는 제1 다면 영상(P1)의 일부분을 와핑(warping)한다(S150). 즉, 다면 영상 생성 장치(100)는 상영관 구조에 맞는 와핑 값(보정 비율 값)을 생성할 수 있으며, 와핑 값을 제1 다면 영상(P1)에 적용하여 사용자로 하여금 왜곡이 보정 되었는지 실시간으로 확인할 수 있도록 프리뷰 영상을 제공할 수 있다.
S150 단계 이후, 다면 영상 생성 장치(100)는 사용자가 확정한 와핑 값을 제1 다면 영상(P1)에 적용시켜 제3 다면 영상(P3)을 생성하고, 최종적으로 완성된 제3 다면 영상(P3)을 일체화된 영상 또는 디스플레이면 별로 분할한 영상으로 저장할 수 있다.
지금까지 본 발명의 다면 영상 생성 장치(100)가 하나 또는 복수 개의 가상 카메라(200)를 활용하여 다면 영상을 생성하는 방법에 대하여 설명하였다. 이하에서는 앞서 S150 단계에서 간략하게 설명한 제1 다면 영상(P1)의 왜곡 보정 방법에 대하여 구체적으로 설명하도록 하며, 이는 가상 카메라(200)의 개수에 관계없이 동일하게 수행될 수 있다.
도 8은 도 7에 도시된 S150 단계를 구체화한 순서도이다.
도 8을 참조하면, 다면 영상 생성 장치(100)는 S140 단계를 통해 촬영이 완료된, 제1 다면 영상(P1)을 어느 상영관에 투사하는 지 확인하고, 투사되는 상영관의 구조를 나타내는 파라미터(Parameter) 값을 확인한다(S150-1). 여기서, 파라미터 값은 상영관 내 복수 개의 디스플레이면 사이의 각도, 복수 개의 디스플레이면(스크린, 좌측 벽면, 우측 벽면, 천장면, 바닥면)의 가로 및 세로 길이, 상영관 내 스크린에서 앞자리 관객석까지의 길이, 뒷자리 관객석의 높이 등을 포함할 수 있다.
S150-1 단계를 통해, 상영관의 구조가 파악되면, 다면 영상 생성 장치(100)는 파라미터 값을 기초로 제1 다면 영상(P1)의 영역 별 보정 비율을 설정한다(S150-2).
도 9는 본 발명의 일 실시 예에 따른 다면 영상 생성 장치(100)가 촬영된 영상을 와핑하는 과정을 설명하기 위한 도면으로서, 도 9의 (a)를 참조하면, 스크린(S)을 기준으로 오른쪽 뒷 열에 착석한 관객의 경우, 시각적으로 먼 거리에 배치된 우측 디스플레이면의 ①번 영역의 영상은 작게 보이며, 가까운 거리에 배치된 ②번 영상은 크게 보일 수 있다. 그에 따라, 제1 다면 영상(P1)을 그대로 상영관에 투사할 경우, 관객에게 입체감을 제공하기 위해 제작된 다면 영상이 도리어 관객의 영상 시청을 방해하거나 집중도를 떨어트릴 수 있다.
그에 따라, 다면 영상 생성 장치(100)는 스크린(S)의 좌 우측에 배치된 디스플레이면을 영역 별로 구획하고, 각 영역에 투사되는 제1 다면 영상(P1)을 영역 별로 설정된 보정 비율에 따라 편집할 수 있다.
예를 들어, 도 10의 (b)를 참조하면, 다면 영상 생성 장치(100)는 상영관의 전체 깊이와 동일한 우측 디스플레이면의 전체 가로 길이(W)와 상영관의 전체 폭과 유사한 스크린(S)의 길이, 첫 째줄 관객석의 높이, 마지막 줄 관객석까지의 높이 등을 고려하여, 우측 디스플레이면을 5등분 할 수 있으며, 5등분 된 영역 중 스크린(S)과 가까운 0.2W 값을 나타내는 영역까지 제1 다면 영상(P1)의 비율을 서서히 감소시킬 수 있다. 즉, 다면 영상 생성 장치(100)는 우측 디스플레이면 중 스크린(S)과 가까운 20% 영역까지 제1 다면 영상(P1)을 본래의 크기에서 서서히 감소시키고, 나머지 80% 영역에서는 감소시킨 제1 다면 영상(P1)의 비율을 유지시킴으로써, 최종적으로 보정 비율이 적용 완료된 제2 다면 영상(P2)을 생성할 수 있다.
한편, 상영관 각각의 파라미터를 구체적으로 계산하여 비율을 확인하는 방법이 가장 바람직할 수 있으나, 실시 예에 따라, 파라미터를 구체적으로 확인 및 계산하지 않고, 좌우측 디스플레이면에 투사되는 제1 다면 영상(P1)을 임의로 나눈 후, 스크린(S)에서 멀어지는 순서대로 100%, 90%, 80% 로 감소하는 보정 비율을 제공하거나, 상영관 내 복수 면의 디스플레이면들 사이의 각도를 고려하여 디스플레이면의 영역 별 보정 비율 또는 가중치를 설정하는 등 다양한 방법이 수행될 수 있다.
다시 도 8에 대한 설명으로 돌아가도록 한다.
S130-2 단계 이후, 다면 영상 생성 장치(100)는 보정 비율이 적용된 제2 다면 영상(P2)을 생성하여 프리뷰(preview)하며(S150-3), 다면 영상이 원하는 보정 비율에 맞게 편집되었는지 확인할 수 있다.
한편, 다면 영상을 생성하고, 왜곡을 보정하는 단계에서 사용자는 다양한 방식으로 출력되는 프리뷰 영상을 볼 수 있으며, 이하 도 10을 참조하여 설명하도록 한다.
도 10은 본 발명의 일 실시 예에 따른 다면 영상 생성 장치(100)를 이용하여 영상을 프리뷰하는 모습을 나타낸 도면이다.
도 10을 참조하면, 다면 영상 생성 장치(100)가 제공하는 제2 다면 영상(P2)에 대한 프리뷰 화면이 (a)와 같이 파노라마 영상 형태로 나타남을 확인할 수 있다. 즉, 복수 개의 가상 카메라(200)가 촬영한 영상이 일렬로 나열될 수 있다. 또한, 프리뷰 화면은 (b)와 같이 상영관의 구조와 동일하게 조합된 3D 영상 형태로 나타나거나 HMD(Head Mount Display)을 착용한 사용자가 시청 가능한 3D 영상의 형태로 나타날 수도 있다.
이와 같이, 다면 영상 생성 장치(100)를 이용하는 사용자는 상영관 내 관객의 입장에서 다면 영상을 시청하거나, 일자로 나열된 파노라마 형태로 시청하여 다면 상영관 내에서 어떻게 보이는지 시뮬레이션 할 수 있고, 왜곡에 따른 보정이 제대로 이루어지는지도 손쉽게 확인할 수 있다.
도 11은 본 발명의 일 실시 예에 따른 다면 영상 생성 장치(100)를 이용하여 왜곡이 보정된 영상을 프리뷰하는 모습을 나타낸 도면으로서, 도 11의 (a) 및 (b)를 참조하면, 제1 다면 영상(P1)이 상영관의 구조에 따라 와핑되는 경우, 사용자는 (c)와 같은 왜곡이 보정된 제2 다면 영상(P2)을 확인할 수 있다. 보다 구체적으로, 스크린(S)에 투사되는 영상 대비 우측 디스플레이면(S1)에 투사되는 영상의 비율이 감소하였는지 확인할 수 있으며, 파노라마 형태 외에도 3D 영상을 이용하여 보정 비율이 적용된 제2 다면 영상(P2)을 확인할 수 있다.
이와 같이, 본 발명의 다면 영상 생성 장치(100)는 관객의 시점과 상영관의 구조에 맞게 촬영된 다면 영상을 영역 별로 와핑하여, 관객들이 해당 영상에 보다 몰입할 수 있다는 효과가 있다. 또한, 복수 개의 가상 카메라(200)의 촬영 설정이 동일하고, 각각의 촬영 영역이 정합되어 있는 바, 상영관의 구조에 맞게 와핑을 하더라도 최종적으로 생성된 제3 다면 영상(P3)이 이질감 없이 일체성을 이룰 수 있게 된다.
한편, 본 발명은 또한 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 마그네틱 저장 매체, 광학적 판독 매체 등 모든 저장매체를 포함한다. 또한, 본 발명에서 사용되는 메시지의 데이터 포맷을 기록 매체에 기록하는 것이 가능하다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 설명하였지만, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
10: 다면 영상 생성 시스템
100: 다면 영상 생성 장치
110: 가상 카메라 조정부
120: 촬영 설정부
130: 다면 영상 생성부
140: 프리뷰 생성부
150: 영상 와핑부

Claims (24)

  1. 다면 영상 생성 장치가, 가상 카메라의 촬영 설정을 조정하는 단계;
    상기 다면 영상 생성 장치가, 상기 조정된 가상 카메라의 촬영 구간을 설정하는 단계; 및
    상기 다면 영상 생성 장치가, 설정된 촬영 구간에 따라 상기 가상 카메라가 촬영한 정합된 제1 다면 영상을 생성하는 단계; 를 포함하고,
    상기 가상 카메라는 복수 개의 가상 카메라를 포함하고,
    상기 복수 개의 가상 카메라는,
    상영관의 중심 디스플레이면과 대응되는 메인 가상 카메라; 및
    상기 메인 가상 카메라의 좌우 또는 상하에 배치되는 서브 가상 카메라; 를 포함하는,
    가상 카메라를 활용한 다면 영상 생성 방법.
  2. 제1항에 있어서,
    상기 제1 다면 영상을 생성하는 단계 이전에,
    상기 촬영 구간에 따라 상기 가상 카메라가 촬영 중인 다면 영상을 프리뷰(preview)하는 단계;
    를 더 포함하는 가상 카메라를 활용한 다면 영상 생성 방법.
  3. 제1항에 있어서,
    상기 제1 다면 영상을 생성하는 단계 이후에,
    상기 제1 다면 영상을 와핑(warping)하는 단계;
    를 더 포함하는 가상 카메라를 활용한 다면 영상 생성 방법.
  4. 제3항에 있어서,
    상기 제1 다면 영상을 와핑하는 단계는,
    상기 제1 다면 영상이 투사되는 상영관의 구조를 나타내는 파라미터를 확인하는 단계; 및
    상기 확인된 파라미터를 기초로 상기 제1 다면 영상의 디스플레이면 별 보정 비율을 설정하는 단계;
    를 더 포함하는 가상 카메라를 활용한 다면 영상 생성 방법.
  5. 제4항에 있어서,
    상기 디스플레이면 별 보정 비율을 설정하는 단계 이후에,
    상기 비율이 적용된 제2 다면 영상을 생성하여 프리뷰하는 단계;
    를 더 포함하는 가상 카메라를 활용한 다면 영상 생성 방법.
  6. 제5항에 있어서,
    상기 제2 다면 영상을 프리뷰하는 단계 이후에,
    상기 설정한 보정 비율을 확정하고, 상기 확정한 보정 비율을 상기 정합된 제1 다면 영상에 적용시켜 제3 다면 영상을 생성하는 단계;
    를 더 포함하는 가상 카메라를 활용한 다면 영상 생성 방법.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 제1항에 있어서,
    상기 복수 개의 가상 카메라는,
    동일한 중심축을 가지고 배치되는, 가상 카메라를 활용한 다면 영상 생성 방법.
  11. 제10항에 있어서,
    상기 촬영 설정을 조정하는 단계는,
    상기 메인 가상 카메라의 촬영 영역과 상기 서브 가상 카메라의 촬영 영역이 이어지도록, 상기 서브 가상 카메라의 촬영 설정을 조정하는 단계인,
    가상 카메라를 활용한 다면 영상 생성 방법.
  12. 제11항에 있어서,
    상기 촬영 설정은,
    상기 복수 개의 가상 카메라의 초점 거리 또는 해상도 중 적어도 하나 이상을 포함하는,
    가상 카메라를 활용한 다면 영상 생성 방법.
  13. 가상 카메라의 촬영 설정을 조정하는 가상 카메라 조정부;
    상기 촬영 설정이 조정된 가상 카메라의 촬영 구간을 설정하는 촬영 설정부;
    상기 촬영 구간이 설정된 가상 카메라가 촬영한 정합된 제1 다면 영상을 생성하는 다면 영상 생성부; 및
    상기 가상 카메라 조정부, 상기 촬영 설정부 및 상기 다면 영상 생성부 중 어느 하나 이상을 제어하는 프로세서; 를 포함하고,
    상기 가상 카메라는 복수 개의 가상 카메라를 포함하고,
    상기 복수 개의 가상 카메라는,
    상영관의 중심 디스플레이면과 대응되는 메인 가상 카메라; 및
    상기 메인 가상 카메라의 좌우 또는 상하에 배치되는 서브 가상 카메라; 를 포함하는,
    다면 영상 생성 장치.
  14. 제13항에 있어서,
    상기 촬영 설정부가 설정한 촬영 구간에 따라 상기 가상 카메라가 촬영 중인 다면 영상을 프리뷰(preview)하는 프리뷰 생성부;
    를 더 포함하는 다면 영상 생성 장치.
  15. 제14항에 있어서,
    상기 다면 영상 생성부가 생성한 제1 다면 영상을 와핑(warping)하는 영상 와핑부;
    를 더 포함하는 다면 영상 생성 장치.
  16. 제15항에 있어서,
    상기 영상 와핑부는,
    상기 제1 다면 영상이 투사되는 상영관의 구조를 나타내는 파라미터를 확인하고, 상기 확인된 파라미터를 기초로 상기 제1 다면 영상의 디스플레이면 별 보정 비율을 설정하는,
    다면 영상 생성 장치.
  17. 제16항에 있어서,
    상기 프리뷰 생성부는,
    상기 디스플레이면 별 보정 비율을 설정하는 단계 이후에,
    상기 비율이 적용된 제2 다면 영상을 생성하여 프리뷰하는,
    다면 영상 생성 장치.
  18. 제17항에 있어서,
    상기 영상 와핑부는,
    상기 제2 다면 영상을 프리뷰한 이후에, 상기 설정한 보정 비율 확정하고, 상기 확정한 보정 비율을 상기 정합된 제1 다면 영상에 적용시켜 제3 다면 영상을 생성하는,
    다면 영상 생성 장치.
  19. 삭제
  20. 삭제
  21. 삭제
  22. 제13항에 있어서,
    상기 복수 개의 가상 카메라는,
    동일한 중심축을 가지고 배치되는, 다면 영상 생성 장치.
  23. 제22항에 있어서,
    상기 촬영 설정부는,
    상기 메인 가상 카메라의 촬영 영역과 상기 서브 가상 카메라의 촬영 영역이 이어지도록, 상기 서브 가상 카메라의 촬영 설정을 조정하는, 다면 영상 생성 장치.
  24. 제23항에 있어서,
    상기 촬영 설정은,
    상기 복수 개의 가상 카메라의 초점 거리 또는 해상도 중 적어도 하나 이상을 포함하는, 다면 영상 생성 장치.
KR1020180144377A 2018-11-21 2018-11-21 가상 카메라를 활용한 다면 영상 생성 방법 및 시스템 KR102166106B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020180144377A KR102166106B1 (ko) 2018-11-21 2018-11-21 가상 카메라를 활용한 다면 영상 생성 방법 및 시스템
PCT/KR2018/015656 WO2020105788A1 (en) 2018-11-21 2018-12-11 Method and system for generating multi-faceted images using virtual camera
US16/220,341 US20200162643A1 (en) 2018-11-21 2018-12-14 Method and system for generating multi-faceted images using virtual camera
CN201811561114.8A CN111212219B (zh) 2018-11-21 2018-12-20 使用虚拟相机生成多面图像的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180144377A KR102166106B1 (ko) 2018-11-21 2018-11-21 가상 카메라를 활용한 다면 영상 생성 방법 및 시스템

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020200035026A Division KR20200060304A (ko) 2020-03-23 2020-03-23 가상 카메라를 활용한 다면 영상 생성 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20200059530A KR20200059530A (ko) 2020-05-29
KR102166106B1 true KR102166106B1 (ko) 2020-10-15

Family

ID=70726869

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180144377A KR102166106B1 (ko) 2018-11-21 2018-11-21 가상 카메라를 활용한 다면 영상 생성 방법 및 시스템

Country Status (4)

Country Link
US (1) US20200162643A1 (ko)
KR (1) KR102166106B1 (ko)
CN (1) CN111212219B (ko)
WO (1) WO2020105788A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11043035B2 (en) * 2019-09-30 2021-06-22 Verizon Patent And Licensing Inc. Methods and systems for simulating image capture in an extended reality system
US11023729B1 (en) * 2019-11-08 2021-06-01 Msg Entertainment Group, Llc Providing visual guidance for presenting visual content in a venue
US11350103B2 (en) * 2020-03-11 2022-05-31 Videomentum Inc. Methods and systems for automated synchronization and optimization of audio-visual files
CN113055550A (zh) * 2021-02-26 2021-06-29 视伴科技(北京)有限公司 一种预演赛事活动的方法及装置
KR102616646B1 (ko) * 2022-12-15 2023-12-21 주식회사 글림시스템즈 스크린 기반 무안경 vr을 위한 실시간 영상정합 시스템 및 그 영상정합 검증방법

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US7424218B2 (en) * 2005-07-28 2008-09-09 Microsoft Corporation Real-time preview for panoramic images
US7740361B2 (en) * 2006-04-21 2010-06-22 Mersive Technologies, Inc. Alignment optimization in image display systems employing multi-camera image acquisition
US20120105581A1 (en) * 2010-10-29 2012-05-03 Sony Corporation 2d to 3d image and video conversion using gps and dsm
US9442562B2 (en) * 2011-05-27 2016-09-13 Dolby Laboratories Licensing Corporation Systems and methods of image processing that adjust for viewer position, screen size and viewing distance
KR101305249B1 (ko) * 2012-07-12 2013-09-06 씨제이씨지브이 주식회사 다면 상영 시스템
CN103366339B (zh) * 2013-06-25 2017-11-28 厦门龙谛信息系统有限公司 车载多广角摄像头图像合成处理装置及方法
US8917329B1 (en) * 2013-08-22 2014-12-23 Gopro, Inc. Conversion between aspect ratios in camera
KR101526294B1 (ko) * 2013-08-26 2015-06-05 씨제이씨지브이 주식회사 파라미터를 이용하여 가이드 이미지를 생성하는 장치 및 방법
KR20150068299A (ko) * 2013-12-09 2015-06-19 씨제이씨지브이 주식회사 다면 영상 생성 방법 및 시스템
KR102039601B1 (ko) * 2013-12-09 2019-11-01 스크린엑스 주식회사 다면 상영관의 영상 생성 방법 및 이를 이용한 영상 관리 장치
US10068311B2 (en) * 2014-04-05 2018-09-04 Sony Interacive Entertainment LLC Varying effective resolution by screen location by changing active color sample count within multiple render targets
US9787958B2 (en) * 2014-09-17 2017-10-10 Pointcloud Media, LLC Tri-surface image projection system and method
US20160119551A1 (en) * 2014-10-22 2016-04-28 Sentry360 Optimized 360 Degree De-Warping with Virtual Cameras
KR101553266B1 (ko) * 2015-02-26 2015-09-16 씨제이씨지브이 주식회사 파라미터를 이용하여 가이드 이미지를 생성하는 장치 및 방법
WO2016138567A1 (en) * 2015-03-05 2016-09-09 Commonwealth Scientific And Industrial Research Organisation Structure modelling
US9277122B1 (en) * 2015-08-13 2016-03-01 Legend3D, Inc. System and method for removing camera rotation from a panoramic video
US9581962B1 (en) * 2015-11-20 2017-02-28 Arht Media Inc. Methods and systems for generating and using simulated 3D images
US10523929B2 (en) * 2016-04-27 2019-12-31 Disney Enterprises, Inc. Systems and methods for creating an immersive video content environment
WO2018144890A1 (en) * 2017-02-03 2018-08-09 Warner Bros. Entertainment, Inc. Rendering extended video in virtual reality
US10503457B2 (en) * 2017-05-05 2019-12-10 Nvidia Corporation Method and apparatus for rendering perspective-correct images for a tilted multi-display environment
CN106991706B (zh) * 2017-05-08 2020-02-14 北京德火新媒体技术有限公司 一种拍摄校准方法及系统
CN107678722B (zh) * 2017-10-11 2020-10-16 广州凡拓数字创意科技股份有限公司 多屏幕拼接方法、装置以及多投影拼接大屏幕

Also Published As

Publication number Publication date
CN111212219A (zh) 2020-05-29
CN111212219B (zh) 2021-10-26
US20200162643A1 (en) 2020-05-21
WO2020105788A1 (en) 2020-05-28
KR20200059530A (ko) 2020-05-29

Similar Documents

Publication Publication Date Title
KR102166106B1 (ko) 가상 카메라를 활용한 다면 영상 생성 방법 및 시스템
US5963247A (en) Visual display systems and a system for producing recordings for visualization thereon and methods therefor
Zilly et al. Production rules for stereo acquisition
JP5429896B2 (ja) 立体動画による潜在的眼精疲労を測定するシステムおよび方法
JP4328311B2 (ja) 三次元画像表示用多視点画像の作成方法およびプログラム
US5764231A (en) Method and apparatus for creating geometric depth images using computer graphics
EP2443563B1 (en) Viewer-centric user interface for stereoscopic cinema
Devernay et al. Stereoscopic cinema
US10277883B2 (en) Methods for controlling scene, camera and viewing parameters for altering perception of 3D imagery
US20160344999A1 (en) SYSTEMS AND METHODs FOR PRODUCING PANORAMIC AND STEREOSCOPIC VIDEOS
WO2016109383A1 (en) Video capturing and formatting system
US20100156897A1 (en) System and Method For Adaptive Scalable Dynamic Conversion, Quality and Processing Optimization, Enhancement, Correction, Mastering, And Other Advantageous Processing of Three Dimensional Media Content
WO2015085406A1 (en) Systems and methods for producing panoramic and stereoscopic videos
JP2009010915A (ja) 映像表示方法及び映像システム
JP6170629B2 (ja) 多面上映館におけるコンテンツサイズのノーマライズ方法、装置およびコンピュータ読み取り可能な記録媒体
US11615755B1 (en) Increasing resolution and luminance of a display
CN102760303A (zh) 一种虚拟现实动态场景视频的拍摄技术与嵌入方法
Ainsworth et al. Acquisition of stereo panoramas for display in VR environments
KR20140003741A (ko) 입체 컨텐츠 제작 방법 및 장치
US20120001906A1 (en) Methods and systems for 3d animation
US20010043400A1 (en) Lenticular image product with zoom image effect
KR20200060304A (ko) 가상 카메라를 활용한 다면 영상 생성 방법 및 시스템
KR101577671B1 (ko) 동적 시네마의 제작 및 실행 방법
JP5457668B2 (ja) 映像表示方法及び映像システム
US10504265B2 (en) Methods, systems and tools for 3D animation

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right