KR20220096700A - 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 장치 및 방법 - Google Patents
임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 장치 및 방법 Download PDFInfo
- Publication number
- KR20220096700A KR20220096700A KR1020200189382A KR20200189382A KR20220096700A KR 20220096700 A KR20220096700 A KR 20220096700A KR 1020200189382 A KR1020200189382 A KR 1020200189382A KR 20200189382 A KR20200189382 A KR 20200189382A KR 20220096700 A KR20220096700 A KR 20220096700A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- camera
- viewpoint
- background
- background content
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000005516 engineering process Methods 0.000 title claims abstract description 51
- 230000002194 synthesizing effect Effects 0.000 claims description 31
- 238000004364 calculation method Methods 0.000 claims description 19
- 230000004044 response Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 7
- 230000004807 localization Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000009877 rendering Methods 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 13
- 230000008859 change Effects 0.000 description 10
- 230000007423 decrease Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 208000025721 COVID-19 Diseases 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 235000019640 taste Nutrition 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- H04N5/23222—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G06T5/003—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H04N5/23212—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/74—Circuits for processing colour signals for obtaining special effects
- H04N9/75—Chroma key
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/957—Light-field or plenoptic cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
실시예들은 카메라가 피사체를 바라보는 뷰와 일치하는 뷰를 갖는, 배경 콘텐츠 표시부에 표시된 배경 콘텐츠의 영상 또는 크로마키 스크린을 통해 가상 공간에서 구현된 배경 콘텐츠의 영상을 생성하고, 이 배경 콘텐츠의 영상과 피사체 영역을 포함한 최종 영상을 획득하는 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 방법 및 장치에 관련된다.
Description
본 발명은 카메라의 위치와 자세에 기초하여, 배경 콘텐츠의 공간 내에 피사체가 실제 존재하는 것과 같은 자연스럽고 실감나게 하는 영상을 제공하기 위한 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영에 관한 발명에 관한 것이다.
최근 스마트폰, 가상현실, 증강현실, 인공지능 등의 기술의 혁신이 미디어 생산과 소비 시장에 빠르게 적용되고 있다. 소비자는 개인적인 취향, 상황, 일정에 따라 그에 맞는 미디어 콘텐츠를 선택적으로 즐길 수 있게 되었고, 생산자 또한 자신이 만든 창작물을 시간적, 공간적 제약 없이 공유할 수 있게 되었다. 최근 구글의 동영상 서비스인 유투브로 인해, 1인 미디어 시장이 활발해지고, 단순한 취미 활동이 아닌 수익 활동으로 변모하고 있다.
또한, 2020년 코로나19(COVID-19)와 같은 국제적인 팬더믹 상황은 이를 더욱 가속화할 뿐만 아니라, 화상회의 시장도 규모가 빠르게 확대되었으며, 자연스럽고 실감나는 다이나믹 영상 촬영과 관련된 기술의 필요성이 매우 중요해졌다.
도 1을 참조하면, 기존의 일 실시예로, 크로마키 방식의 영상 생성 방법을 들 수 있다. 크로마키 영상 생성 기술은 화면에 등장하는 피사체를 단일색 배경에서 촬영한 뒤, 해당 색을 제거하여 피사체를 추출하고, 추출한 피사체를 배경영상에 합성함으로써, 해당 피사체가 배경영상 내에 함께 존재하는 것과 같은 효과를 제공하는 것이다. 그러나, 이와 같은 기존의 크로마키 영상 생성 기술은 단순히 영상을 배경으로 피사체를 보여주는 것에 불과하여, 실제 피사체가 해당 공간에 존재하는 것과 같은 몰입감을 제공하지 못하는 문제점이 있었다.
본 발명의 실시예들에 따르면, 배경 콘텐츠의 공간 내에 피사체가 실제 존재하는 것과 같은 자연스럽고 실감나게 하는 영상을 제공하기 위한 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 장치를 제공할 수 있다.
본 발명의 목적을 실현하기 위한 일 실시예에 따른 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 장치는 배경 콘텐츠 표시부를 배경으로 가지며 피사체를 촬영한 촬영 영상을 카메라로부터 입력 받는 입력부; 및 상기 카메라와 피사체의 관계를 고려하여 배경 콘텐츠를 생성하는 제어부를 포함하고, 상기 제어부는, 상기 피사체의 촬영 영상을 사용하여 상기 카메라의 위치 및 자세를 계산하고, 상기 카메라의 위치 및 자세에 기초하여 배경 콘텐츠의 영상 시점을 계산하는 산출부; 및 상기 영상 시점에서의 배경 콘텐츠의 영상을 생성하는 배경 생성부 - 상기 영상 시점에서의 배경 콘텐츠의 영상은 상기 카메라의 시점에서 상기 배경 콘텐츠를 보는 것과 일치하는 뷰를 갖는 것임 - 를 포함하고, 상기 배경 콘텐츠 표시부에는 상기 영상 시점에서의 배경 콘텐츠의 영상이 표시되고, 상기 카메라는 상기 영상 시점에서의 배경 콘텐츠의 영상을 배경으로 상기 피사체를 추가로 촬영할 수 있다.
일 실시예에 따른 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 장치는 크로마키 스크린을 배경으로 가지며 피사체를 촬영한 촬영 영상을 카메라로부터 입력 받는 입력부; 및 상기 카메라와 피사체의 관계를 고려하여 배경 콘텐츠를 생성하는 제어부; 및 상기 촬영 영상에서 상기 피사체의 영역을 분리한 피사체 영상과 생성된 배경 콘텐츠의 영상을 합성하여 최종 영상을 생성하는 합성부를 포함하고, 상기 제어부는, 상기 피사체의 촬영 영상을 사용하여 상기 카메라의 위치 및 자세를 계산하고, 상기 카메라의 위치 및 자세에 기초하여 배경 콘텐츠의 영상 시점을 계산하는 산출부; 및 상기 영상 시점에서의 배경 콘텐츠의 영상을 생성하는 배경 생성부 - 상기 영상 시점에서의 배경 콘텐츠의 영상은 상기 카메라의 시점에서 상기 배경 콘텐츠를 보는 것과 일치하는 뷰를 갖는 것임 - 를 포함할 수 있다.
본 발명의 실시예에서, 상기 장치의 상기 산출부는 SLAM(Simultaneous Localization and Mapping)을 이용하여 상기 카메라의 위치와 자세를 계산할 수 있다.
본 발명의 실시예에서, 상기 장치의 상기 배경 생성부는, 상기 카메라가 이동할 경우, 상기 카메라의 이동에 따라 상기 카메라와 피사체 사이의 스케일 또는 포커스가 조절되는 것에 반응하여 상기 카메라와 피사체 사이의 스케일 또는 포커싱에 대응하는 상기 피사체와 배경 사이의 스케일 또는 포커싱을 갖는 상기 영상 시점에서의 배경 콘텐츠의 영상을 생성할 수 있다.
본 발명의 실시예에서, 상기 장치의 상기 배경 생성부는, 미리 저장된 배경 콘텐츠가 3차원 모델일 경우, 상기 계산된 영상 시점에서 상기 배경 콘텐츠를 향한 뷰로 렌더링하여 상기 계산된 영상 시점에서의 상기 배경 콘텐츠의 영상을 생성할 수 있다.
본 발명의 실시예에서, 상기 장치의 상기 합성부는, 상기 렌더링된, 변형된 배경 콘텐츠와 상기 분리된 피사체 영상을 합성할 수 있다.
본 발명의 실시예에서, 상기 장치의 상기 카메라는 초점평면 정보, 깊이 정보, 및 각도 정보 중 적어도 하나에 기초한 3차원 촬영 영상을 획득하도록 구성되고, 상기 산출부는, 상기 3차원 촬영 영상의 초점평면 정보, 깊이 정보, 및 각도 정보에 기초하여 상기 피사체에 대한 카메라의 위치 및 자세를 계산할 수 있다.
본 발명의 실시예에서, 상기 장치의 상기 제어부는, 상기 영상 시점에서의 배경 콘텐츠의 영상을 생성하기 위해, 사용자의 선택에 따라 배경 콘텐츠를 블러링(blurring) 처리하거나 보다 선명하게 하는 리포커싱(refocusing) 처리하도록 더 구성될 수 있다.
본 발명의 실시예에서, 상기 장치의 상기 카메라가 제1 시점에서 제2 시점으로 이동할 경우, 상기 산출부는 상기 카메라의 이동 궤적에 따른 영상 시점을 계산하고, 상기 배경 생성부는 상기 이동 궤적에 따른 영상 시점에서의 배경 콘텐츠의 영상을 생성할 수 있다.
본 발명의 실시예에서, 상기 장치는 상기 카메라의 이동을 감지하는 센서를 더 포함하고, 상기 산출부는, 다시점 기하학 기법을 이용하여 입력되는 다시점 영상으로부터 상기 카메라의 위치와 자세를 계산할 수 있다.
본 발명의 또 다른 목적을 실현하기 위한 일 실시예에 따른, 프로세서에 의해 수행되는 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 방법으로서, 배경 콘텐츠 표시부를 배경으로 가지며 피사체를 촬영한 촬영 영상을 카메라로부터 입력 받는 입력 단계; 상기 카메라와 피사체의 관계를 고려하여 배경 콘텐츠를 생성하는 제어 단계로서, 상기 제어 단계는: 상기 피사체의 촬영 영상을 사용하여 상기 카메라의 위치 및 자세를 계산하고, 상기 카메라의 위치 및 자세에 기초하여 배경 콘텐츠의 영상 시점을 계산하는 산출 단계; 및 상기 영상 시점에서의 배경 콘텐츠의 영상을 생성하는 배경 생성 단계 - 상기 영상 시점에서의 배경 콘텐츠의 영상은 상기 카메라의 시점에서 상기 배경 콘텐츠를 보는 것과 일치하는 뷰를 갖는 것임 - 를 포함하고, 상기 배경 콘텐츠 표시부에는 상기 영상 시점에서의 배경 콘텐츠의 영상이 표시되고, 상기 카메라는 상기 영상 시점에서의 배경 콘텐츠의 영상을 배경으로 상기 피사체를 추가로 촬영할 수 있다.
본 발명의 일 실시예에 따른 프로세서에 의해 수행되는 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 방법으로서, 크로마키 스크린을 배경으로 가지며 피사체를 촬영한 촬영 영상을 카메라로부터 입력 받는 입력 단계; 상기 카메라와 피사체의 관계를 고려하여 배경 콘텐츠를 생성하는 제어 단계; 및 상기 촬영 영상에서 상기 피사체의 영역을 분리한 피사체 영상과 생성된 배경 콘텐츠의 영상을 합성하여 최종 영상을 생성하는 합성 단계;를 포함하고, 상기 제어 단계는 상기 피사체의 촬영 영상을 사용하여 상기 카메라의 위치 및 자세를 계산하고, 상기 카메라의 위치 및 자세에 기초하여 배경 콘텐츠의 영상 시점을 계산하는 산출 단계; 및 상기 영상 시점에서의 배경 콘텐츠의 영상을 생성하는 배경 생성 단계 - 상기 영상 시점에서의 배경 콘텐츠의 영상은 상기 카메라의 시점에서 상기 배경 콘텐츠를 보는 것과 일치하는 뷰를 갖는 것임 - 를 포함할 수 있다.
본 발명의 일 실시예에서, 상기 방법의 상기 산출 단계는 SLAM(Simultaneous Localization and Mapping)을 이용하여 상기 카메라의 위치와 자세를 계산할 수 있다.
본 발명의 일 실시예에서, 상기 방법의 상기 배경 생성 단계는, 상기 카메라가 이동할 경우, 상기 카메라의 이동에 따라 상기 카메라와 피사체 사이의 스케일 또는 포커스가 조절되는 것에 반응하여 상기 카메라와 피사체 사이의 스케일 또는 포커싱에 대응하는 상기 피사체와 배경 사이의 스케일 또는 포커싱을 갖는 상기 영상 시점에서의 배경 콘텐츠의 영상을 생성할 수 있다.
본 발명의 일 실시예에서, 상기 방법의 상기 배경 생성 단계는, 미리 저장된 배경 콘텐츠가 3차원 모델일 경우, 상기 계산된 영상 시점에서 상기 배경 콘텐츠를 향한 뷰로 렌더링하여 상기 계산된 영상 시점에서의 상기 배경 콘텐츠의 영상을 생성할 수 있다.
본 발명의 일 실시예에서, 상기 방법의 상기 합성 단계는, 상기 렌더링된, 변형된 배경 콘텐츠와 상기 분리된 피사체 영상을 합성한다.
본 발명의 일 실시예에서, 상기 방법의 상기 카메라는 초점평면 정보, 깊이 정보, 및 각도 정보 중 적어도 하나에 기초한 3차원 촬영 영상을 획득하도록 구성되고, 상기 산출 단계는, 상기 3차원 촬영 영상의 초점평면 정보, 깊이 정보, 및 각도 정보에 기초하여 상기 피사체에 대한 카메라의 위치 및 자세를 계산할 수 있다.
본 발명의 일 실시예에서, 상기 방법의 상기 제어 단계는, 상기 영상 시점에서의 배경 콘텐츠의 영상을 생성하기 위해, 사용자의 선택에 따라 배경 콘텐츠를 블러링(blurring) 처리하거나 보다 선명하게 하는 리포커싱(refocusing) 처리하도록 더 구성될 수 있다.
본 발명의 일 실시예에서, 상기 방법의 상기 카메라가 제1 시점에서 제2 시점으로 이동할 경우, 상기 산출 단계는 상기 카메라의 이동 궤적에 따른 영상 시점을 계산하고, 상기 배경 생성 단계는 상기 이동 궤적에 따른 영상 시점에서의 배경 콘텐츠의 영상을 생성할 수 있다.
본 발명의 일 실시예에서, 상기 방법에서 상기 카메라의 이동을 감지하는 센서를 더 포함할 수 있고, 상기 산출 단계는, 다시점 기하학 기법을 이용하여 입력되는 다시점 영상으로부터 상기 카메라의 위치와 자세를 계산할 수 있다.
본 발명의 일 측면에 따른 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 장치는 상기 카메라와 피사체의 관계를 고려하여, 카메라의 위치와 자세를 계산하고, 계산된 카메라의 위치 및 자세에 기초하여 배경 콘텐츠의 영상 시점을 계산하고, 상기 영상 시점에서의 배경 콘텐츠의 영상을 생성하여 사실적이고 현장감있는 간접 체험을 가능하게 하여 몰입감을 극대화할 수 있다.
또한, 카메라가 이동할 경우, 상기 카메라의 이동에 따라 상기 카메라와 피사체 사이의 스케일 또는 포커스가 조절되는 것에 반응하여 상기 카메라와 피사체 사이의 스케일 또는 포커싱에 대응하는 상기 피사체와 배경 사이의 스케일 또는 포커싱을 갖는 상기 영상 시점에서의 배경 콘텐츠의 영상을 생성하도록 하여 실제로 피사체가 배경 콘텐츠 영상 내에 존재하는 것과 같은 효과를 제공할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명 또는 종래 기술의 실시예의 기술적 해결책을 보다 명확하게 설명하기 위해, 실시예에 대한 설명에서 필요한 도면이 아래에서 간단히 소개된다. 아래의 도면들은 본 명세서의 실시예를 설명하기 목적일 뿐 한정의 목적이 아니라는 것으로 이해되어야 한다. 또한, 설명의 명료성을 위해 아래의 도면들에서 과장, 생략 등 다양한 변형이 적용된 일부 요소들이 도시될 수 있다.
도 1은, 종래의 크로마키 방식의 영상 생성 방법을 통한 피사체와 배경 콘텐츠의 합성 결과물을 도시한다.
도 2는, 본 발명의 일 실시예에 따른, 촬영 영상이 배경 콘텐츠 표시부를 배경으로 하는 경우의 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 장치의 개략도이다.
도 3은, 본 발명의 일 실시예에 따른, 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 장치를 시각화한 개념도이다.
도 4는, 본 발명의 일 실시예에 따른, 촬영 영상이 배경 콘텐츠 표시부를 배경으로 하는 경우의 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 방법의 흐름도이다.
도 5는, 본 발명의 일 실시예에 따른, 카메라의 시점을 좌우 방향으로 변경함에 따라, 카메라의 시점에서 바라본 배경 콘텐츠의 영상을 도시하는 도면이다.
도 6은, 본 발명의 일 실시예에 따른, 카메라의 시점을 상하 방향으로 변경함에 따라, 카메라의 시점에서 바라본 배경 콘텐츠의 영상을 도시하는 도면이다.
도 7은, 본 발명의 일 실시예에 따른, 카메라가 이동할 경우, 카메라와 피사체 사이의 스케일이 조절되는 것에 반응하여, 배경 생성부가 카메라와 피사체 사이의 스케일에 대응하는 피사체와 배경 사이의 스케일을 갖는 영상 시점에서의 배경 콘텐츠의 영상을 생성하는 것을 도시하는 도면이다.
도 8은, 본 발명의 일 실시예에 따른, 사용자의 선택에 따라 배경 콘텐츠를 블러링(blurring) 처리되게 하거나 보다 선명하게 하는 리포커싱(refocusing)이 처리되는 과정을 도시하는 도면이다.
도 9는, 본 발명의 또 다른 일 실시예에 따른, 촬영 영상이 크로마키 스크린을 배경으로 하는 경우의 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 장치의 개략도이다.
도 10은, 본 발명의 또 다른 일 실시예에 따른, 촬영 영상이 크로마키 스크린을 배경으로 하는 경우의 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 방법의 흐름도이다.
도 1은, 종래의 크로마키 방식의 영상 생성 방법을 통한 피사체와 배경 콘텐츠의 합성 결과물을 도시한다.
도 2는, 본 발명의 일 실시예에 따른, 촬영 영상이 배경 콘텐츠 표시부를 배경으로 하는 경우의 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 장치의 개략도이다.
도 3은, 본 발명의 일 실시예에 따른, 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 장치를 시각화한 개념도이다.
도 4는, 본 발명의 일 실시예에 따른, 촬영 영상이 배경 콘텐츠 표시부를 배경으로 하는 경우의 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 방법의 흐름도이다.
도 5는, 본 발명의 일 실시예에 따른, 카메라의 시점을 좌우 방향으로 변경함에 따라, 카메라의 시점에서 바라본 배경 콘텐츠의 영상을 도시하는 도면이다.
도 6은, 본 발명의 일 실시예에 따른, 카메라의 시점을 상하 방향으로 변경함에 따라, 카메라의 시점에서 바라본 배경 콘텐츠의 영상을 도시하는 도면이다.
도 7은, 본 발명의 일 실시예에 따른, 카메라가 이동할 경우, 카메라와 피사체 사이의 스케일이 조절되는 것에 반응하여, 배경 생성부가 카메라와 피사체 사이의 스케일에 대응하는 피사체와 배경 사이의 스케일을 갖는 영상 시점에서의 배경 콘텐츠의 영상을 생성하는 것을 도시하는 도면이다.
도 8은, 본 발명의 일 실시예에 따른, 사용자의 선택에 따라 배경 콘텐츠를 블러링(blurring) 처리되게 하거나 보다 선명하게 하는 리포커싱(refocusing)이 처리되는 과정을 도시하는 도면이다.
도 9는, 본 발명의 또 다른 일 실시예에 따른, 촬영 영상이 크로마키 스크린을 배경으로 하는 경우의 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 장치의 개략도이다.
도 10은, 본 발명의 또 다른 일 실시예에 따른, 촬영 영상이 크로마키 스크린을 배경으로 하는 경우의 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 방법의 흐름도이다.
여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 항목 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 항목 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.
다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.
이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.
실시예들에 따른 다이나믹 영상 촬영 장치는 카메라가 임의의 시점을 가지더라도 해당 시점에서 실제로 피사체와 배경을 바라보는 뷰를 갖는 영상을 생성할 수 있고, 또한 상기 카메라가 움직이더라도 움직임에 따른 시점에서의 뷰를 갖는 다이나믹한 영상을 제공할 수 있다.
본 명세서에서 배경 콘텐츠는 2차원 또는 3차원으로 구현되어 피사체의 배경으로 사용되는 영상 콘텐츠로서, 2차원 또는 3차원 공간 상에서 영상 모델로 구현될 수도 있다. . 예를 들어, 후술할 도 7을 참조하면, 상기 배경 콘텐츠는 3차원 집 모델 및 주변의 배경 모델을 포함할 수도 있다. 이와 같이, 배경 콘텐츠는 2차원 또는 3차원 영상 모델로 표현되기 때문에, "배경 콘텐츠"와 "모델"의 용어는 경우에 따라 상호교환될 수 있게 사용된다.
상기 다이나믹 영상 촬영 장치는, 파란색 또는 초록색 등을 갖는 크로마키 스크린을 사용하거나 또는 영상을 표시하는 표시장치를 사용하여 배경 콘텐츠의 영상을 공급한다.
이와 같이, 본 발명의 실시예들에 따른 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 장치는 다이나믹한 영상을 생성하는 목적을 위해 다양한 배경 공급 구성을 가질 수도 있다.
이하, 설명의 명료성을 위해, 표시장치를 사용하는 실시예들을 제1 실시예로 지칭하여 도 2 내지 도 4 등을 참조하고, 크로마키 스크린을 사용하는 실시예들을 제2 실시예로 지칭하여 도 9 및 도 10을 참조하여 아래에서 보다 상세히 서술한다.
제1 실시예
도 2는, 본 발명의 일 실시예에 따른, 촬영 영상이 배경 콘텐츠 표시부를 배경으로 하는 경우의 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 장치의 개략도이고, 도 3은, 본 발명의 일 실시예에 따른, 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 장치를 시각화한 개념도이다.
본 명세서에서 배경 콘텐츠의 영상은 2차원 또는 3차원 공간에 구현된 모델을 특정 시점에서 바라본 뷰로 이루어진 영상을 지칭한다. 상기 특정 시점이 하나 이상의 임의의 시점이면, 동일한 배경 콘텐츠에 대해서 다른 뷰로 이루어진 다수의 영상이 획득될 수도 있다.
도 2를 참조하면, 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 장치(이하, "다이나믹 영상 촬영 장치")(1)는 배경 콘텐츠 표시부(11), 입력부(13), 제어부(15), 제어부 내 산출부(151) 및 배경 생성부(152)를 포함하여 구성될 수 있다.
배경 콘텐츠 표시부(11)는 디스플레이 장치를 포함한다. 배경 콘텐츠 표시부가 디스플레이 장치인 경우, 평면 또는 돔형 디스플레이 장치일 수 있다. 일 실시예에서, 1인 미디어 콘텐츠 제작자는 평면형 디스플레이를 활용할 수 있으며, 스튜디오 규모의 콘텐츠 제작자는 돔형 디스플레이를 활용할 수 있으나, 이에 제한되지 않는다.
상기 배경 콘텐츠 표시부(11)는 아래에서 서술하는 바와 같이, 카메라의 시점(view point)에 대응하는 뷰를 가진 영상을 표시하고 이 영상을 피사체의 배경으로 갖는 촬영 영상을 상기 카메라가 촬영하게 한다.
입력부(13)는 배경 콘텐츠 표시부(11)를 배경으로 가지며 피사체를 촬영한 촬영 영상을 카메라로부터 입력 받는다. 상기 카메라는 단일 카메라 또는 복수의 카메라일 수도 있다.
일 실시예에서, 상기 카메라는 초점평면 정보, 깊이 정보, 및 각도 정보 중 적어도 하나에 기초한 3차원 촬영 영상을 획득하도록 구성될 수 있다. 예를 들어, 상기 카메라는 포커스를 재조합 하는 기능을 갖춘 플렌옵틱 카메라(plenoptic camera)일 수도 있으나, 이에 제한되지 않는다. 플렌옵틱 기술은 획득된 다시점 방식의 플렌옵틱 영상을 2차원 및 3차원으로 시각화 및 형태 정보를 계산하고 형상화하는 기술이다. 플렌옵틱 카메라는 한 번의 촬영 후 포커스 평면을 바꾸는 기능(re-focusing)과 장면을 여러 각도에서 보는 듯한 뷰 배리에이션(view variation) 같은 기능을 사용자에게 제공한다. 플렌옵틱 기술의 모든 방향을 저장하는 센서를 통해, 깊이 정보, 시점 변경, 초점 변경 등을 수행할 수 있다. 입력부(13)는 플렌옵틱 카메라를 통해 2차원 초점(focusing)평면 정보, 깊이 정보, 각도 정보에 기초한 3차원 다시점 촬영 영상을 입력받도록 구성된다.
이러한 카메라는, 도 3에 도시된 바와 같이, 상기 배경 콘텐츠 표시부(11)의 표시 화면을 배경으로 갖는 피사체를 촬영하여, 상기 피사체의 영상 및 배경 콘텐츠의 영상을 포함한 촬영 영상을 획득할 수도 있다.
일 실시예에서, 제어부(15)는 상기 카메라와 피사체의 관계를 고려하여 배경 콘텐츠를 생성한다. 또한, 제어부(15)는 카메라를 이동시킬 수도 있다. 예를 들어, 제어부(15)는 카메라가 설치된 암(Arm)을 제어하여 카메라를 이동시키거나 또는 카메라를 지지한 지지대를 고정 위치에서 방위만 이동시키도록 제어할 수도 있다.
그에 따라, 상기 장치(1)는 자연스러운 다이나믹 영상을 획득할 수 있는데, 상기 제어부(15)는 산출부(151) 및 배경 생성부(152)를 포함할 수 있다.
상기 제어부(15)는 중앙처리장치(CPU) 및 메모리(Memory, 기억장치)를 구비하고 인터넷 등의 통신망을 통하여 다른 단말기와 연결 가능한 서버의 형태로 구성될 수 있다. 그러나 본 발명이 중앙처리장치 및 메모리 등의 구성에 의해 한정되지는 아니한다. 또한, 본 발명에 따른 처리부는 물리적으로 하나의 장치로 구성될 수도 있으며, 복수의 장치에 분산된 형태로 구현될 수도 있어, 본 발명은 이와 같은 물리적인 장치의 구성에 의하여 한정되지 아니한다.
상기 제어부(15)는 운영체제(Operation System; OS), 즉 시스템을 기반으로 다양한 소프트웨어를 실행하거나 제작할 수 있다. 상기 운영체제는 소프트웨어가 장치의 하드웨어를 사용할 수 있도록 하기 위한 시스템 프로그램으로서, 안드로이드 OS, iOS, 윈도우 모바일 OS, 바다 OS, 심비안 OS, 블랙베리 OS 등 모바일 컴퓨터 운영체제 및 윈도우 계열, 리눅스 계열, 유닉스 계열, MAC, AIX, HP-UX 등 컴퓨터 운영체제를 모두 포함할 수 있다.
일 실시예에서, 산출부(151)는 피사체의 촬영 영상을 사용하여 카메라의 위치 및 자세를 계산하고, 카메라의 위치 및 자세에 기초하여 배경 콘텐츠의 영상 시점을 계산한다.
일 실시예에서, 상기 산출부(151)는 카메라의 센서 정보(예: IMU 센서)를 이용하여 카메라의 위치와 자세를 정렬할 수도 있다. 산출부의 센서 정보를 이용하여 이후 배경 생성부(152)에서 산출부(151)에서 계산된 카메라의 위치와 자세를 기초로 하여 배경 콘텐츠를 변형시킬 수 있다.
일 실시예에서, 상기 다이나믹 영상 촬영 장치(1)는 카메라의 이동을 감지하는 센서(미도시)를 더 포함할 수도 있다. 그러면, 상기 산출부(151)는 다시점 기하학 기법을 이용하여 입력되는 다시점 영상으로부터 상기 카메라의 위치와 자세를 계산할 수 있다. 입력되는 다시점 영상으로서, 모노스코픽(monoscopic) 영상이거나 멀티스코픽(multi-scopic) 영상일 수 있다. 모노스코픽 영상은 하나의 카메라로 피사체 주변을 돌며 찍은 영상이고, 멀티스코픽 영상은 피사체 주변을 다수개의 카메라로 찍은 영상이다. 예를 들어, 정적인 피사체의 경우 모노스코픽 영상일 수 있고, 동적인 피사체의 경우 멀티스코픽 영상일 수 있다. 추가적으로, 상기 입력되는 다시점 영상을 스테레오스코픽 영상에 적합한 형식으로 변환하고, 화각(angle of view) 등 카메라의 사양을 파악할 수 있다.
일 실시예에서, 산출부(151)는 SLAM(Simultaneous Localization and Mapping을 이용하여 카메라의 위치와 자세를 계산할 수 있다. 이 때의 카메라의 위치는 산출부(151)에 의하여 처음 얻어낸 카메라의 위치에 대한 상대적인 위치로 카메라를 들고 이동한 거리 및 방향 등을 통하여 파악될 수 있다.
일 실시예에서, 상기 산출부(151)는, 입력부(13)가 플렌옵틱 카메라로부터 초점평면 정보, 깊이 정보 및 각도 정보 중 적어도 하나에 기초한 3차원 촬영 영상을 획득한 경우, 3차원 촬영 영상의 초점평면 정보, 깊이 정보, 및 각도 정보에 기초하여 상기 피사체에 대한 카메라의 위치 및 자세를 계산할 수 있다.
배경 생성부(152)는 산출부(151)에서 계산된 영상 시점에서의 배경 콘텐츠의 영상을 생성한다. 상기 영상 시점에서의 배경 콘텐츠의 영상은 상기 카메라의 시점에서 상기 배경 콘텐츠를 보는 것과 일치하는 뷰를 갖도록 한다.
일 실시예에서, 배경 생성부(152)는 카메라가 이동할 경우, 카메라와 피사체 사이의 스케일 또는 포커스가 조절되는 것에 반응하여 카메라와 피사체 사이의 스케일 또는 포커싱에 대응하는 피사체와 배경 사이의 스케일 또는 포커싱을 갖는 영상 시점에서의 배경 콘텐츠의 영상을 생성할 수 있다. 카메라의 이동에 따라 상기 카메라가 바라보는 피사체의 스케일, 즉 피사체와 배경 사이의 스케일은 카메라의 초점거리(FOV), 카메라와 피사체 사이의 거리, 및/또는 카메라와 피사체 사이의 스케일에 기초하여 조절되고, 상기 피사체와 배경 사이의 포커스는 상기 피사체와 카메라 사이의 포커스에 일치하도록 조절된다.
일 실시예에서, 배경 생성부(152)는 미리 저장된 배경 콘텐츠가 3차원 모델일 경우, 상기 계산된 영상 시점에서 상기 배경 콘텐츠를 향한 뷰로 렌더링하여 상기 계산된 영상 시점에서의 상기 배경 콘텐츠의 영상을 생성할 수 있다.
일 실시예에서, 배경 생성 단계(S152)는 미리 저장된 배경 콘텐츠가 3차원 모델일 경우, 상기 계산된 영상 시점에서 상기 배경 콘텐츠를 향한 뷰로 렌더링하여 상기 계산된 영상 시점에서의 상기 배경 콘텐츠의 영상을 생성할 수 있다.
일 실시예에서, 제어 단계(S15)는 해당 영상 시점에서의 배경 콘텐츠의 영상을 생성하기 위해, 사용자의 선택에 따라 배경 콘텐츠를 블러링(blurring) 처리하거나 보다 선명하게 하는 리포커싱(refocusing)하도록 더 구성될 수 있다.
일 실시예에서, 제어부(15)는 해당 영상 시점에서의 배경 콘텐츠의 영상을 생성하기 위해, 사용자의 선택에 따라 배경 콘텐츠를 블러링(blurring) 처리하거나 보다 선명하게 하는 리포커싱(refocusing)하도록 더 구성될 수 있다.
배경 생성부(152)에 의해 해당 영상 시점에서의 배경 콘텐츠의 영상이 생성되면, 배경 콘텐츠 표시부(11)에는 상기 영상 시점에서의 배경 콘텐츠의 영상이 표시되고, 상기 카메라는 상기 영상 시점에서의 배경 콘텐츠의 영상을 배경으로 상기 피사체를 추가로 촬영한다. 상기 다이나믹 영상 촬영 장치(1)는: 추가 촬영된 영상을 상기 배경 콘텐츠 표시부(11)와 다른 표시 장치에 표시하거나, 또는 다른 외부 장치로 전기 통신을 통해 전송하도록 더 구성될 수도 있다.
이러한 구성을 갖는 다이나믹 영상 촬영 장치(1)는 도 3에 도시된 바와 같이, 카메라의 이동에 따라 영상 시점이 변하고, 산출부(151, 251)가 카메라의 위치 및 자세를 계산하고 이를 기초로 하여 배경 콘텐츠의 영상 시점을 계산하고, 배경 생성부(152, 252)가 상기 영상 시점에서의 배경 콘텐츠의 영상을 생성한다. 상기 다이나믹 영상 촬영 장치(1)가 다이나믹 영상을 획득하는 과정에 대해서는 아래의 도 4를 참조하여 보다 상세하게 서술한다.
도 4는, 본 발명의 일 실시예에 따른, 촬영 영상이 배경 콘텐츠 표시부를 배경으로 하는 경우의 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 방법의 흐름도이다.
도 4의 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 방법(이하, “다이나믹 영상 촬영 방법”)은 프로세서를 포함한 컴퓨팅 장치에 의해 수행된다. 상기 프로세서를 포함한 컴퓨팅 장치는, 예를 들어 상기 다이나믹 영상 촬영 장치(1) 또는 일부 구성요소(예컨대, 입력부(13), 제어부(15), 제어부의 산출부(151), 및/또는 배경 생성부(152))에 의해 수행되거나, 또는 다른 컴퓨팅 장치에 의해 수행될 수도 있다. 이하, 설명의 명료성을 위해서, 상기 다이나믹 영상 촬영 방법이 상기 다이나믹 영상 촬영 장치(1)에 의해 수행되는 실시예들로 본 발명을 보다 상세하게 서술한다.
도 4를 참조하면, 상기 다이나믹 영상 촬영 방법은 (예를 들어, 입력부(13)에 의해) 배경 콘텐츠 표시부(11)를 배경으로 갖는 피사체를 촬영한 촬영 영상을 카메라로부터 입력 받는 단계(S13)를 포함한다. 상기 카메라는 단일 카메라 또는 복수의 카메라일 수도 있다.
일 실시예에서, 상기 카메라는 초점평면 정보, 깊이 정보, 및 각도 정보 중 적어도 하나에 기초한 3차원 촬영 영상을 획득하도록 구성된다. 예를 들어, 상기 카메라는 포커스를 재조합 하는 기능을 갖춘 플렌옵틱 카메라(plenoptic camera)일 수도 있으나, 이에 제한되지 않는다. 플렌옵틱 기술의 모든 방향을 저장하는 센서를 통해, 깊이 정보, 시점 변경, 초점 변경 등을 수행할 수 있다. 입력 단계(S13)는 플렌옵틱 카메라를 통해 2차원 초점(focusing)평면 정보, 깊이 정보, 각도 정보에 기초한 3차원 다시점 촬영 영상을 입력받도록 구성된다.
또한, 상기 다이나믹 촬영 방법은 (예를 들어, 제어부(15)에 의해) 카메라와 피사체의 관계를 고려하여 배경 콘텐츠를 생성하는 단계(S15)를 포함한다.
일 실시예에서, 상기 제어 단계(S15)는 (예를 들어, 산출부(151)에 의해) 피사체의 촬영 영상을 사용하여 카메라의 위치 및 자세(pose)를 계산하고, 카메라의 위치 및 자세에 기초하여 배경 콘텐츠의 영상 시점을 계산하는 단계(S151) 및 (예를 들어, 배경 생성부(152)에 의해)상기 영상 시점에서의 배경 콘텐츠의 영상을 생성하는 단계(S152)를 포함할 수도 있다.
일 실시예에서, 산출 단계(S151)는 피사체의 촬영 영상을 사용하여 카메라의 위치 및 자세를 계산하고, 카메라의 위치 및 자세에 기초하여 배경 콘텐츠의 영상 시점을 계산한다.
일 실시예에서, 상기 산출 단계(S151)는 카메라의 센서 정보(예: IMU 센서)를 이용하여 카메라의 위치와 자세를 정렬할 수도 있다. 산출 단계의 센서 정보를 이용하여 이후 배경 생성 단계(S152)에서, 산출 단계에서 계산된 카메라의 위치와 자세를 기초로 하여 배경 콘텐츠를 변형시킬 수 있다.
일 실시예에서, 카메라의 이동을 감지하는 센서를 이용하는 경우, 상기 산출 단계(S151)는 다시점 기하학 기법을 이용하여 입력되는 다시점 영상으로부터 상기 카메라의 위치와 자세를 계산할 수 있다. 입력되는 다시점 영상으로서, 모노스코픽(monoscopic) 영상이거나 멀티스코픽(multi-scopic) 영상일 수 있다. 모노스코픽 영상은 하나의 카메라로 피사체 주변을 돌며 찍은 영상이고, 멀티스코픽 영상은 피사체 주변을 다수개의 카메라로 찍은 영상이다. 예를 들어, 정적인 피사체의 경우 모노스코픽 영상일 수 있고, 동적인 피사체의 경우 멀티스코픽 영상일 수 있다. 추가적으로, 상기 입력되는 다시점 영상을 스테레오스코픽 영상에 적합한 형식으로 변환하고, 화각(angle of view) 등 카메라의 사양을 파악할 수 있다.
일 실시예에서, 산출 단계(S151)는 SLAM(Simultaneous Localization and Mapping을 이용하여 카메라의 위치와 자세를 계산할 수 있다. 이 때의 카메라의 위치는 산출 단계(S151)에 의하여 처음 얻어낸 카메라의 위치에 대한 상대적인 위치로 카메라를 들고 이동한 거리 및 방향 등을 통하여 파악될 수 있다.
일 실시예에서, 상기 산출 단계(S151)는, 입력 단계(S13)에 의하여 플렌옵틱 카메라로부터 초점평면 정보, 깊이 정보 및 각도 정보 중 적어도 하나에 기초한 3차원 촬영 영상을 획득한 경우, 3차원 촬영 영상의 초점평면 정보, 깊이 정보, 및 각도 정보에 기초하여 상기 피사체에 대한 카메라의 위치 및 자세를 계산할 수 있다.
배경 생성 단계(S152)는 산출 단계(S151)에서 계산된 영상 시점에서의 배경 콘텐츠의 영상을 생성한다. 상기 영상 시점에서의 배경 콘텐츠의 영상은 상기 카메라의 시점에서 상기 배경 콘텐츠를 보는 것과 일치하는 뷰를 갖도록 한다.
일 실시예에서, 배경 생성 단계(S152)는 카메라가 이동할 경우, 카메라와 피사체 사이의 스케일 또는 포커스가 조절되는 것에 반응하여 카메라와 피사체 사이의 스케일 또는 포커싱에 대응하는 피사체와 배경 사이의 스케일 또는 포커싱을 갖는 영상 시점에서의 배경 콘텐츠의 영상을 생성할 수 있다. 카메라의 이동에 따라 상기 카메라가 바라보는 피사체의 스케일, 즉 피사체와 배경 사이의 스케일은 카메라의 초점거리(FOV), 카메라와 피사체 사이의 거리, 및/또는 카메라와 피사체 사이의 스케일에 기초하여 조절되고, 상기 피사체와 배경 사이의 포커스는 상기 피사체와 카메라 사이의 포커스에 일치하도록 조절된다.
또한, 상기 다이나믹 촬영 방법은 배경 콘텐츠 표시부(11)에 단계(S152)에서 생성된, 단계(S151)의 영상 시점에서의 배경 콘텐츠의 영상을 표시하는 단계(S17) 및 카메라에 의해 상기 단계(S152)에서 생성된, 단계(S151)의 영상 시점에서의 배경 콘텐츠의 영상을 배경으로 상기 피사체로 촬영하여 최종 영상을 획득하는 단계(S19)를 포함한다.
도 5 및 도 6은, 일 실시예에서, 카메라가 제1 시점에서 제2 시점으로 이동할 경우, 산출부(151, 252)는 상기 카메라의 이동 궤적에 따른 영상 시점을 계산하고, 상기 배경 생성부(152, 252)는 상기 이동 궤적에 따른 영상 시점에서의 배경 콘텐츠의 영상을 생성하는 것을 도시하는 도면이다.
도 5에서는 카메라의 시점을 좌우 방향으로 변경함에 따라서 생성되는, 카메라의 시점에서 바라본 배경 콘텐츠의 영상 및 이를 사용한 결과가 도시된다.
도 6은, 본 발명의 일 실시예에 따른, 카메라의 시점을 상하 방향으로 변경함에 따라, 카메라의 시점에서 바라본 배경 콘텐츠의 영상 및 이를 사용한 결과가 도시된다.
도 5 및 도 6에서 카메라는 피사체와 카메라 사이의 거리 및 카메라와 배경 콘텐츠 표시부(11) 사이의 거리에는 변화가 없이 카메라의 시점이 변경되는 상황이다.
카메라와 피사체는 동일한 실제 공간에 위치하기 때문에, 카메라가 시점(A)를 가지면 상기 시점(A)에서 카메라가 촬영하는 프레임 상에는 상기 시점(A)에서 바라본 피사체의 형상이 영상으로 촬영된다.
반면, 카메라는 실제 공간에 위치하고 배경 콘텐츠(예컨대, 도 5의 건물)는 가상 공간에 위치하여 카메라와 배경 콘텐츠는 서로 다른 공간에 위치한다. 그러나, 단계(S152)에서 상기 시점(A)에서 바라본 배경 콘텐츠의 영상이 생성되어 배경 콘텐츠 표시부(11)에 표시되므로, 카메라가 촬영하는 프레임 상에는 상기 시점(A)에서 바라본 배경 콘텐츠의 형상이 영상으로 촬영된다. 결국, 도 5의 최종 영상(A)이 획득된다(S19).
또한, 카메라가 시점(B)를 가질 경우, 상기 시점(B)에서 카메라가 촬영하는 프레임 상에는 당연히 시점(B)에서 바라본 피사체의 형상이 영상으로 촬영된다. 또한, 단계(S152)에서 상기 시점(B)에서 바라본 배경 콘텐츠의 영상이 생성되어 배경 콘텐츠 표시부(11)에 표시되므로, 결국 도 5의 최종 영상(B)이 획득된다(S19).
도 5과 마찬가지로 도 6에 도시된 바와 같이, 카메라가 다른 시점(C 또는 D)를 가질 경우에도 해당 시점에서 피사체와 배경 콘텐츠를 바라본 뷰를 갖는 최종 영상(C 또는 D)이 획득된다(S19).
일 실시예에서, 상기 배경 생성 단계(S152)는 상기 카메라가 제1 시점에서 제2 시점으로 이동할 경우, 상기 미리 저장된 배경 콘텐츠를 상기 제1 시점으로부터 상기 제2 시점으로의 변화에 대응한 배경 콘텐츠의 영상을 생성하는 단계를 포함할 수도 있다.
도 5에 도시된 바와 같이, 시점(A)에서 시점(B)로 카메라가 이동할 경우, 상기 배경 생성부(152)는 이동 궤적 상의 다수의 시점 각각에서 상기 배경 콘텐츠를 바라보는 뷰를 갖는 다수의 프레임을 생성할 수도 있다. 이 프레임은 이동 궤적에 따른 영상 시점에서의 배경 콘텐츠의 영상으로 사용된다. 그러면, 상기 카메라가 각각의 개별 프레임을 배경으로 피사체를 촬영할 경우, 카메라가 피사체를 바라보는 시점과 카메라가 배경 콘텐츠를 바라보는 시점이 일치한 다수의 정지 영상 또는 동영상이 촬영된다.
또한, 도 5과 마찬가지로 도 6에 도시된 바와 같이, 시점(C)에서 시점(D)로 카메라가 이동할 경우, 상기 배경 생성부(152)는 상기 이동 궤적, 즉 위/아래로의 궤적에 따른 영상 시점에서의 배경 콘텐츠의 영상을 생성한다.
그러면, 배경 콘텐츠 표시부(11)에는 상기 이동 궤적에 따른 다수의 프레임이 순차적으로 표시되며, 여기서 상기 프레임의 표시 속도는 카메라의 이동시간에 대응한다. 이로 인해, 카메라에 대한 피사체의 포즈 변화와 카메라에 대한 배경 콘텐츠의 포즈 변화가 서로 동기화된다. 결국 카메라의 이동에 따른 피사체의 포즈 변화와 배경 콘텐츠의 포즈 변화가 자연스럽게 조화되는 뷰를 갖는 다이나믹 영상을 촬영할 수 있다(S19).
도 7은, 본 발명의 일 실시예에 따른, 카메라가 이동할 경우, 카메라와 피사체 사이의 스케일이 조절되는 것에 반응하여, 배경 생성부가 카메라와 피사체 사이의 스케일에 대응하는 피사체와 배경 사이의 스케일을 갖는 영상 시점에서의 배경 콘텐츠의 영상을 생성하는 것을 도시하는 도면이다.
도 7에서 피사체와 카메라 사이의 거리 및/또는 카메라와 배경 콘텐츠 표시부(11) 사이의 거리가 변경되는 상황이다.
도 7에 도시된 바와 같이 카메라가 이동할 경우, 배경 생성부(152, 252)가 카메라와 피사체 사이의 스케일 또는 포커스가 조절되는 것에 반응하여 카메라와 피사체 사이의 스케일 또는 포커싱에 대응하는 피사체와 배경 사이의 스케일 또는 포커싱을 갖는 영상 시점에서의 배경 콘텐츠의 영상을 생성할 수 있다.
카메라의 이동에 따라 상기 카메라가 바라보는 피사체의 스케일, 즉 피사체와 배경 사이의 스케일은 카메라의 초점거리(FOV), 카메라와 피사체 사이의 거리, 및/또는 카메라와 피사체 사이의 스케일에 기초하여 조절되고, 상기 피사체와 배경 사이의 포커스는 상기 피사체와 카메라 사이의 포커스에 일치하도록 조절된다.
카메라가 피사체에 보다 근접하게 되어 카메라에 대한 피사체의 스케일이 증가할 경우, 이 스케일의 증가에 반응하여 카메라와 피사체 사이의 스케일에 대응하는 피사체와 배경 사이의 스케일을 갖는 영상 시점에서의 배경 콘텐츠의 영상(E1-배경)을 생성할 수 있다. 즉, 배경 콘텐츠의 영상은 카메라가 근접하기 이전의 카메라와 피사체의 스케일에 맞춰졌었지만, 카메라의 근접 이동에 따라 변화된 카메라와 피사체의 스케일에 대응하는 새로운 스케일로 변형된다.
그러면, 카메라는 새로운 스케일을 갖는 배경 콘텐츠의 영상을 피사체와 추가로 촬영하여 최종 영상(E1-최종)을 획득할 수도 있다(S19).
마찬가지로, 카메라가 피사체에 보다 멀어지게 되어 카메라에 대한 피사체의 스케일이 감소할 경우, 이 스케일의 감소에 반응하여 멀어진 카메라와 피사체 사이의 스케일에 대응하는 피사체와 배경 사이의 스케일을 갖는 영상 시점에서의 배경 콘텐츠의 영상(E2-배경)을 생성할 수 있다. 상기 생성된 배경 콘텐츠의 영상(E2-배경)에 피사체를 추가로 촬영하여 최종 영상(E2-최종)을 획득한다(S19).
도 8은, 본 발명의 일 실시예에 따른, 사용자의 선택에 따라 배경 콘텐츠를 블러링(blurring) 처리되게 하거나 보다 선명하게 하는 리포커싱(refocusing)이 처리되는 과정을 도시하는 도면이다.
도 8을 참조하면, 단계(S152)에서 블러링 처리한 배경 콘텐츠의 영상을 생성할 수도 있다. 그러면, 카메라는 단계(S152)에서 블러링 처리한 배경 콘텐츠(F1-배경)에 피사체를 추가로 촬영하면 최종 영상(F1-최종)을 획득할 수도 있다(S19).
또한, 단계(S152)에서 리포커싱 처리한 배경 콘텐츠의 영상을 생성할 수도 있다. 그러면, 카메라는 단계(S152)에서 리포커싱 처리한 배경 콘텐츠(F2-배경)에 피사체를 추가로 촬영하면 최종 영상(F2-최종)을 획득할 수도 있다.
일 실시예에서, 상기 다이나믹 영상 촬영 장치(1)는 상기 합성부에 의해 생성된 최종 영상을 출력하는 출력부;를 더 포함할 수도 있다. 이는 상기 배경 콘텐츠 표시부와 상이한 출력 장치이다. 다른 일 실시예에서, 상기 다이나믹 영상 촬영 장치(1)는: 최종 영상을 다른 외부 장치로 전기 통신을 통해 전송하도록 더 구성될 수도 있다.
그러면, 단계(S19)에서 획득된 카메라의 임의 시점에서의 최종 영상을 상기 출력부를 통해 사용자에게 제공할 수도 있다.
제2 실시예
도 9는, 본 발명의 또 다른 일 실시예에 따른, 촬영 영상이 크로마키 스크린을 배경으로 하는 경우의 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 장치의 개략도이다.
도9를 참조하면, 상기 다이나믹 영상 촬영 장치(1)는 크로마키 스크린(21), 입력부(23), 제어부(25), 제어부 내 산출부(251) 및 배경 생성부(252) 및 합성부(27)를 포함하여 구성될 수 있다.
도 9의 구성요소(21, 23, 25, 251, 252)는 도 2의 구성요소(11, 13, 15, 151, 152)와 동일한 기능을 갖는 대응 구성요소이다. 따라서, 제2 실시예는 제1 실시예와 일부 기술적 특징을 공유하므로, 차이점을 위주로 서술한다.
제어부(25)는 제1실시예에서의 제어부(15)와 비교하여, 입력부(23)로부터 입력받은 촬영 영상에서 배경 크로마 백(chroma back)을 추출하고, 상기 배경 크로마 백을 제거하여 피사체 영상을 추출할 수 있다. 스튜디오에서 촬영한 영상을 카메라에서 입력 받아 블루스크린인 배경 크로마백(chroma back)을 제외한 피사체 영상을 추출하는데, 이 때, 배경 크로마백(chroma back)은 주로 적색, 녹색, 청색 중 하나를 사용하게 되나 주로 청색인 블루스크린을 사용하게 된다. 이후, 제어부(25)는 정해진 배경 크로마백의 색상에 해당하는 화소를 투명 화소로 변환함으로써, 피사체만 보이고 배경 부분은 배경 콘텐츠를 포함한 영상을 생성하는 것이 가능하다.
합성부(27)는 상기 촬영 영상에서 상기 피사체의 영역을 분리한 피사체 영상과 생성된 배경 콘텐츠의 영상을 합성하여 최종 영상을 생성한다.
일 실시예에서, 미리 저장된 배경 콘텐츠가 3차원 모델일 경우, 산출부(251)에서 계산된 영상 시점에서 상기 배경 콘텐츠를 향한 뷰로 렌더링하여 상기 계산된 영상 시점에서의 상기 배경 콘텐츠의 영상을 생성할 수 있다. 이 때, 상기 합성부(27)는 상기 렌더링된, 변형된 배경 콘텐츠와 상기 분리된 피사체 영상을 합성할 수 있다.
도 10은, 본 발명의 또 다른 일 실시예에 따른, 촬영 영상이 크로마키 스크린을 배경으로 하는 경우의 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 방법의 흐름도이다.
도 10을 참조하면, 상기 다이나믹 촬영 방법은: (예를 들어, 입력부(23)에 의하여) 크로마키 스크린을 배경으로 가지며 피사체를 촬영한 촬영 영상을 카메라로부터 입력 받는 입력 단계(S23)를 포함할 수 있다.
또한, 다이나믹 영상 촬영 방법은 (예를 들어, 제어부(25)에 의하여) 상기 카메라와 피사체의 관계를 고려하여 배경 콘텐츠를 생성하는 제어 단계(S25) 및 (예를 들어, 합성부(27)에 의하여) 상기 촬영 영상에서 상기 피사체의 영역을 분리한 피사체 영상과 생성된 배경 콘텐츠의 영상을 합성하여 최종 영상을 생성하는 합성 단계(S27) 를 포함한다.
일 실시예에서, 상기 제어 단계(S25)는 (예를 들어, 산출부(251)에 의하여) 상기 피사체의 촬영 영상을 사용하여 상기 카메라의 위치 및 자세를 계산하고, 상기 카메라의 위치 및 자세에 기초하여 배경 콘텐츠의 영상 시점을 계산하는 산출 단계(S251) 및 (예를 들어, 배경 생성부(252)에 의하여) 상기 영상 시점에서의 배경 콘텐츠의 영상을 생성하는 배경 생성 단계(S252) 를 포함할 수 있다. 제1 실시예에서 서술한 바와 같이, 단계(S252)에서 생성되는 상기 영상 시점에서의 배경 콘텐츠의 영상은 상기 카메라의 시점에서 상기 배경 콘텐츠를 보는 것과 일치하는 뷰를 갖는다.
제2 실시예에서의 다이나믹 영상 촬영 방법의 입력 단계(S23), 제어 단계(S25), 산출 단계(S251) 및 배경 생성 단계(S252) 각각은 상기 제1 실시예의 다이나믹 영상 촬영 방법의 입력 단계(S13), 제어 단계(S15), 산출 단계(S151) 및 배경 생성 단계(S152)와 대응되므로, 자세한 설명은 생략한다.
한편, 제1 실시예와는 달리, 제2 실시예의 다이나믹 영상 촬영 방법은 상기 계산된 영상 시점에서의 배경 콘텐츠의 영상과 상기 촬영 영상에서 피사체 영역을 합성하여 최종 영상을 생성하는 합성 단계(S27)를 더 포함한다.
다시 도 5 및 도 6을 참조하면, 배경 생성부(252)는 3차원 가상 공간에 구현된 배경 콘텐츠를 시점(A, B, C, 또는 D)에서 바라보는 뷰를 갖는 배경 콘텐츠의 영상을 생성한다(S252).
합성부(27)는 이러한 배경 콘텐츠의 영상과 피사체의 영상을 합성한 최종 영상을 생성한다(S27).
또한, 상기 배경 생성 단계(S252)는 상기 카메라가 제1 시점에서 제2 시점으로 이동할 경우, 상기 미리 저장된 배경 콘텐츠를 상기 제1 시점으로부터 상기 제2 시점으로의 변화에 대응한 배경 콘텐츠의 영상을 생성하는 단계를 포함할 수도 있다. 그러면, 합성부(27)는 동일한 시점에서의 배경 콘텐츠의 영상과 피사체의 영상을 합성한 최종 영상을 각각의 시점에 대해서 생성한다(S27). 즉, 상기 이동 궤적에 따른 다수의 프레임과 상기 피사체 영역을 합성한 최종 영상을 생성한다. 여기서, 다수의 프레임 각각에 합성되는 피사체 영역은 제어부(25)에 의하여 각 프레임별 영상 시점에서 촬영된 촬영 영상으로부터 추출되는 피사체 영역이다.
도 5에서 도시된 바와 같이, 시점(A)에서의 배경 프레임은 시점(A)에서 촬영된 피사체 영역과 합성된다. 시점(B)에서의 배경 프레임은 시점(B)에서 촬영된 피사체 영역과 합성된다. 마찬가지로 도 6에서 도시된 바와 같이, 시점(C)에서의 배경 프레임은 시점(C)에서 촬영된 피사체 영역과 합성된다. 시점(D)에서의 배경 프레임은 시점(D)에서 촬영된 피사체 영역과 합성된다.
또한, 제1 실시예의 배경 생성 단계(S152)와 비교하여, 제2 실시예에서의 배경 생성 단계(S252)는 상기 산출 단계(S252)에서 계산된 영상 시점에서의 배경 콘텐츠의 영상을 생성한 후, 카메라와 피사체 및/또는 카메라와 배경 사이의 스케일 및/또는 포커스를 조절한다. 그러면, 합성부(27)는 스케일이 조절된 배경 콘텐츠의 영상을 피사체 영역과 합성한 최종 영상을 생성한다(S27).
다시 도 7 및 도 8을 참조하면, 배경 생성부(252)는 카메라가 피사체에 보다 근접하게 되어 카메라에 대한 피사체의 스케일이 증가할 경우, 이 스케일의 증가에 반응하여 카메라와 피사체 사이의 스케일에 대응하는 피사체와 배경 사이의 스케일을 갖는 영상 시점에서의 배경 콘텐츠의 영상(E1-배경)을 생성할 수 있다. 그러면, 합성부(27)는 상기 배경 콘텐츠의 영상(E1-배경)과 단계(S21)의 피사체의 영역을 합성한 다이나믹 영상(E1-최종)을 생성한다(S27).
마찬가지로, 카메라가 피사체에 보다 멀어지게 되어 카메라에 대한 피사체의 스케일이 감소할 경우, 이 스케일의 감소에 반응하여 멀어진 카메라와 피사체 사이의 스케일에 대응하는 피사체와 배경 사이의 스케일을 갖는 영상 시점에서의 배경 콘텐츠의 영상(E2-배경)을 생성할 수 있다. 합성부(27)는 상기 생성된 배경 콘텐츠의 영상(E2-배경)과 단계(S21)의 피사체의 영역을 합성한 다이나믹 영상(E2-최종)을 생성한다(S27).
상기 다이나믹 영상 생성 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CDROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처 리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.
Claims (22)
- 배경 콘텐츠 표시부를 배경으로 가지며 피사체를 촬영한 촬영 영상을 카메라로부터 입력 받는 입력부; 및
상기 카메라와 피사체의 관계를 고려하여 배경 콘텐츠를 생성하는 제어부를 포함하고,
상기 제어부는,
상기 피사체의 촬영 영상을 사용하여 상기 카메라의 위치 및 자세를 계산하고, 상기 카메라의 위치 및 자세에 기초하여 배경 콘텐츠의 영상 시점을 계산하는 산출부; 및
상기 영상 시점에서의 배경 콘텐츠의 영상을 생성하는 배경 생성부 - 상기 영상 시점에서의 배경 콘텐츠의 영상은 상기 카메라의 시점에서 상기 배경 콘텐츠를 보는 것과 일치하는 뷰를 갖는 것임 - 를 포함하고,
상기 배경 콘텐츠 표시부에는 상기 영상 시점에서의 배경 콘텐츠의 영상이 표시되고,
상기 카메라는 상기 영상 시점에서의 배경 콘텐츠의 영상을 배경으로 상기 피사체를 추가로 촬영하는 것을 특징으로 하는 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 장치.
- 크로마키 스크린을 배경으로 가지며 피사체를 촬영한 촬영 영상을 카메라로부터 입력 받는 입력부; 및
상기 카메라와 피사체의 관계를 고려하여 배경 콘텐츠를 생성하는 제어부; 및
상기 촬영 영상에서 상기 피사체의 영역을 분리한 피사체 영상과 생성된 배경 콘텐츠의 영상을 합성하여 최종 영상을 생성하는 합성부를 포함하고,
상기 제어부는,
상기 피사체의 촬영 영상을 사용하여 상기 카메라의 위치 및 자세를 계산하고, 상기 카메라의 위치 및 자세에 기초하여 배경 콘텐츠의 영상 시점을 계산하는 산출부; 및
상기 영상 시점에서의 배경 콘텐츠의 영상을 생성하는 배경 생성부 - 상기 영상 시점에서의 배경 콘텐츠의 영상은 상기 카메라의 시점에서 상기 배경 콘텐츠를 보는 것과 일치하는 뷰를 갖는 것임 - 를 포함하는 것을 특징으로 하는 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 장치.
- 제1항 또는 제2항에 있어서,
상기 산출부는 SLAM(Simultaneous Localization and Mapping)을 이용하여 상기 카메라의 위치와 자세를 계산하는 것을 특징으로 하는 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 장치.
- 제1항 또는 제2항에 있어서, 상기 배경 생성부는,
상기 카메라가 이동할 경우, 상기 카메라의 이동에 따라 상기 카메라와 피사체 사이의 스케일 또는 포커스가 조절되는 것에 반응하여 상기 카메라와 피사체 사이의 스케일 또는 포커싱에 대응하는 상기 피사체와 배경 사이의 스케일 또는 포커싱을 갖는 상기 영상 시점에서의 배경 콘텐츠의 영상을 생성하는 것을 특징으로 하는 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 장치.
- 제1항 또는 제2항에 있어서, 상기 배경 생성부는,
미리 저장된 배경 콘텐츠가 3차원 모델일 경우, 상기 계산된 영상 시점에서 상기 배경 콘텐츠를 향한 뷰로 렌더링하여 상기 계산된 영상 시점에서의 상기 배경 콘텐츠의 영상을 생성하는 것을 특징으로 하는 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 장치.
- 제5항에 있어서, 상기 합성부는,
상기 렌더링된, 변형된 배경 콘텐츠와 상기 분리된 피사체 영상을 합성하는 것을 특징으로 하는 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 장치.
- 제1항 또는 제2항에 있어서,
상기 카메라는 초점평면 정보, 깊이 정보, 및 각도 정보 중 적어도 하나에 기초한 3차원 촬영 영상을 획득하도록 구성되고,
상기 산출부는, 상기 3차원 촬영 영상의 초점평면 정보, 깊이 정보, 및 각도 정보에 기초하여 상기 피사체에 대한 카메라의 위치 및 자세를 계산하는 것을 특징으로 하는 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 장치.
- 제1항 또는 제2항에 있어서, 상기 제어부는,
상기 영상 시점에서의 배경 콘텐츠의 영상을 생성하기 위해, 사용자의 선택에 따라 배경 콘텐츠를 블러링(blurring) 처리하거나 보다 선명하게 하는 리포커싱(refocusing) 처리하도록 더 구성되는 것을 특징으로 하는 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 장치.
- 제1항 또는 제2항에 있어서, 상기 카메라가 제1 시점에서 제2 시점으로 이동할 경우,
상기 산출부는 상기 카메라의 이동 궤적에 따른 영상 시점을 계산하고,
상기 배경 생성부는 상기 이동 궤적에 따른 영상 시점에서의 배경 콘텐츠의 영상을 생성하는 것을 특징으로 하는 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 장치.
- 제1항 또는 제2항에 있어서,
상기 카메라의 이동을 감지하는 센서를 더 포함하고,
상기 산출부는, 다시점 기하학 기법을 이용하여 입력되는 다시점 영상으로부터 상기 카메라의 위치와 자세를 계산하는 것을 특징으로 하는 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 장치.
- 프로세서에 의해 수행되는 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 방법으로서,
배경 콘텐츠 표시부를 배경으로 가지며 피사체를 촬영한 촬영 영상을 카메라로부터 입력 받는 입력 단계;
상기 카메라와 피사체의 관계를 고려하여 배경 콘텐츠를 생성하는 제어 단계로서, 상기 제어 단계는:
상기 피사체의 촬영 영상을 사용하여 상기 카메라의 위치 및 자세를 계산하고, 상기 카메라의 위치 및 자세에 기초하여 배경 콘텐츠의 영상 시점을 계산하는 산출 단계; 및
상기 영상 시점에서의 배경 콘텐츠의 영상을 생성하는 배경 생성 단계 - 상기 영상 시점에서의 배경 콘텐츠의 영상은 상기 카메라의 시점에서 상기 배경 콘텐츠를 보는 것과 일치하는 뷰를 갖는 것임 - 를 포함하고,
상기 배경 콘텐츠 표시부에는 상기 영상 시점에서의 배경 콘텐츠의 영상이 표시되고,
상기 카메라는 상기 영상 시점에서의 배경 콘텐츠의 영상을 배경으로 상기 피사체를 추가로 촬영하는 것을 특징으로 하는 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 방법.
- 프로세서에 의해 수행되는 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 방법으로서,
크로마키 스크린을 배경으로 가지며 피사체를 촬영한 촬영 영상을 카메라로부터 입력 받는 입력 단계;
상기 카메라와 피사체의 관계를 고려하여 배경 콘텐츠를 생성하는 제어 단계; 및
상기 촬영 영상에서 상기 피사체의 영역을 분리한 피사체 영상과 생성된 배경 콘텐츠의 영상을 합성하여 최종 영상을 생성하는 합성 단계;를 포함하고,
상기 제어 단계는
상기 피사체의 촬영 영상을 사용하여 상기 카메라의 위치 및 자세를 계산하고, 상기 카메라의 위치 및 자세에 기초하여 배경 콘텐츠의 영상 시점을 계산하는 산출 단계; 및
상기 영상 시점에서의 배경 콘텐츠의 영상을 생성하는 배경 생성 단계 - 상기 영상 시점에서의 배경 콘텐츠의 영상은 상기 카메라의 시점에서 상기 배경 콘텐츠를 보는 것과 일치하는 뷰를 갖는 것임 - 를 포함하는 것을 특징으로 하는 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 방법.
- 제11항 또는 제12항에 있어서,
상기 산출 단계는 SLAM(Simultaneous Localization and Mapping)을 이용하여 상기 카메라의 위치와 자세를 계산하는 것을 특징으로 하는 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 방법.
- 제11항 또는 제12항에 있어서, 상기 배경 생성 단계는,
상기 카메라가 이동할 경우, 상기 카메라의 이동에 따라 상기 카메라와 피사체 사이의 스케일 또는 포커스가 조절되는 것에 반응하여 상기 카메라와 피사체 사이의 스케일 또는 포커싱에 대응하는 상기 피사체와 배경 사이의 스케일 또는 포커싱을 갖는 상기 영상 시점에서의 배경 콘텐츠의 영상을 생성하는 것을 특징으로 하는 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 방법.
- 제11항 또는 제12항에 있어서, 상기 배경 생성 단계는,
미리 저장된 배경 콘텐츠가 3차원 모델일 경우, 상기 계산된 영상 시점에서 상기 배경 콘텐츠를 향한 뷰로 렌더링하여 상기 계산된 영상 시점에서의 상기 배경 콘텐츠의 영상을 생성하는 것을 특징으로 하는 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 방법.
- 제15항에 있어서, 상기 합성 단계는,
상기 렌더링된, 변형된 배경 콘텐츠와 상기 분리된 피사체 영상을 합성하는 것을 특징으로 하는 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 방법.
- 제11항 또는 제12항에 있어서,
상기 카메라는 초점평면 정보, 깊이 정보, 및 각도 정보 중 적어도 하나에 기초한 3차원 촬영 영상을 획득하도록 구성되고,
상기 산출 단계는, 상기 3차원 촬영 영상의 초점평면 정보, 깊이 정보, 및 각도 정보에 기초하여 상기 피사체에 대한 카메라의 위치 및 자세를 계산하는 것을 특징으로 하는 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 방법.
- 제11항 또는 제12항에 있어서, 상기 제어 단계는,
상기 영상 시점에서의 배경 콘텐츠의 영상을 생성하기 위해, 사용자의 선택에 따라 배경 콘텐츠를 블러링(blurring) 처리하거나 보다 선명하게 하는 리포커싱(refocusing) 처리하도록 더 구성되는 것을 특징으로 하는 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 방법.
- 제11항 또는 제12항에 있어서, 상기 카메라가 제1 시점에서 제2 시점으로 이동할 경우,
상기 산출 단계는 상기 카메라의 이동 궤적에 따른 영상 시점을 계산하고,
상기 배경 생성 단계는 상기 이동 궤적에 따른 영상 시점에서의 배경 콘텐츠의 영상을 생성하는 것을 특징으로 하는 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 방법.
- 제11항 또는 제12항에 있어서,
상기 카메라의 이동을 감지하는 센서를 더 포함하고,
상기 산출 단계는,
다시점 기하학 기법을 이용하여 입력되는 다시점 영상으로부터 상기 카메라의 위치와 자세를 계산하는 것을 특징으로 하는 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 방법.
- 제11항에 따른 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 방법을 수행하기 위한 프로그램을 기록한 컴퓨터 판독가능 기록매체.
- 제12항에 따른 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 방법을 수행하기 위한 프로그램을 기록한 컴퓨터 판독가능 기록매체.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200189382A KR102558294B1 (ko) | 2020-12-31 | 2020-12-31 | 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 장치 및 방법 |
| US17/564,226 US11579746B2 (en) | 2020-12-31 | 2021-12-29 | Dynamic image capturing apparatus and method using arbitrary viewpoint image generation technology |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200189382A KR102558294B1 (ko) | 2020-12-31 | 2020-12-31 | 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220096700A true KR20220096700A (ko) | 2022-07-07 |
| KR102558294B1 KR102558294B1 (ko) | 2023-07-24 |
Family
ID=82118998
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200189382A KR102558294B1 (ko) | 2020-12-31 | 2020-12-31 | 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 장치 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11579746B2 (ko) |
| KR (1) | KR102558294B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102655214B1 (ko) | 2023-05-10 | 2024-04-09 | 주식회사 상화 | 자동 촬영 시스템 및 그 방법 |
| WO2024117556A1 (ko) * | 2022-11-28 | 2024-06-06 | 한국전자기술연구원 | 재배치가 필요 없는 홀로그램 프린팅용 홀로그램 이미지 렌더링 방법 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008304269A (ja) * | 2007-06-06 | 2008-12-18 | Sony Corp | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
| KR100960694B1 (ko) * | 2008-11-04 | 2010-06-01 | 광주과학기술원 | 다시점 영상 매팅 시스템과 방법 및 이를 수록한 저장매체 |
| JP2014219874A (ja) * | 2013-05-09 | 2014-11-20 | 国立大学法人東京大学 | 背景差分抽出装置及び背景差分抽出方法 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100779634B1 (ko) | 2003-06-20 | 2007-11-26 | 니폰 덴신 덴와 가부시끼가이샤 | 가상시점 화상 생성방법 및 3차원 화상 표시방법 및 장치 |
| US7555158B2 (en) | 2004-12-07 | 2009-06-30 | Electronics And Telecommunications Research Institute | Apparatus for recovering background in image sequence and method thereof |
| KR100588002B1 (ko) | 2004-12-07 | 2006-06-08 | 한국전자통신연구원 | 동영상에서 배경을 복원하기 위한 장치 및 그 방법 |
| KR100590025B1 (ko) | 2004-12-30 | 2006-06-14 | 전자부품연구원 | 다시점 정방향 카메라 배열 기반 디스플레이를 위한중간영상합성 방법 및 그 장치 |
| KR100939080B1 (ko) | 2007-07-30 | 2010-01-28 | 광운대학교 산학협력단 | 합성 영상 생성 방법 및 장치, 합성 영상을 이용한 디스플레이 방법 및 장치 |
| KR101377325B1 (ko) | 2009-12-21 | 2014-03-25 | 한국전자통신연구원 | 스테레오 영상, 다시점 영상 및 깊이 영상 획득 카메라 장치 및 그 제어 방법 |
| KR101556741B1 (ko) | 2014-03-03 | 2015-10-02 | 서울과학기술대학교 산학협력단 | 실감형 자유시점 영상 제공을 위한 반구형 스마트 카메라 형성 장치 및 방법 |
| JP6696152B2 (ja) * | 2015-11-11 | 2020-05-20 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム及び情報処理システム |
| KR101794709B1 (ko) | 2016-03-30 | 2017-11-08 | 한국과학기술연구원 | 임의 시점의 영상 생성 방법, 이를 수행하기 위한 기록 매체 및 장치 |
| US9918006B2 (en) * | 2016-05-20 | 2018-03-13 | International Business Machines Corporation | Device, system and method for cognitive image capture |
| US10129461B2 (en) * | 2016-12-05 | 2018-11-13 | International Business Machines Corporation | Automated image capture based on image context |
| CN107948562B (zh) * | 2017-11-30 | 2020-05-15 | 广州市百果园信息技术有限公司 | 视频录制方法和视频录制终端 |
| KR102664710B1 (ko) | 2018-08-08 | 2024-05-09 | 삼성전자주식회사 | 외부 객체의 위치의 변화에 따라 외부 객체에 대응하는 아바타를 표시하기 위한 전자 장치 |
| JP6897656B2 (ja) * | 2018-11-22 | 2021-07-07 | コニカミノルタ株式会社 | 画像表示制御システム、画像表示システム、画像解析装置、画像表示制御プログラム及び画像表示制御方法 |
| US10937235B2 (en) * | 2019-03-29 | 2021-03-02 | Airbnb, Inc. | Dynamic image capture system |
| US11528435B2 (en) * | 2020-12-25 | 2022-12-13 | Industrial Technology Research Institute | Image dehazing method and image dehazing apparatus using the same |
-
2020
- 2020-12-31 KR KR1020200189382A patent/KR102558294B1/ko active IP Right Grant
-
2021
- 2021-12-29 US US17/564,226 patent/US11579746B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008304269A (ja) * | 2007-06-06 | 2008-12-18 | Sony Corp | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
| KR100960694B1 (ko) * | 2008-11-04 | 2010-06-01 | 광주과학기술원 | 다시점 영상 매팅 시스템과 방법 및 이를 수록한 저장매체 |
| JP2014219874A (ja) * | 2013-05-09 | 2014-11-20 | 国立大学法人東京大学 | 背景差分抽出装置及び背景差分抽出方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024117556A1 (ko) * | 2022-11-28 | 2024-06-06 | 한국전자기술연구원 | 재배치가 필요 없는 홀로그램 프린팅용 홀로그램 이미지 렌더링 방법 |
| KR102655214B1 (ko) | 2023-05-10 | 2024-04-09 | 주식회사 상화 | 자동 촬영 시스템 및 그 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| US11579746B2 (en) | 2023-02-14 |
| KR102558294B1 (ko) | 2023-07-24 |
| US20220206668A1 (en) | 2022-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11076142B2 (en) | Real-time aliasing rendering method for 3D VR video and virtual three-dimensional scene | |
| US10650574B2 (en) | Generating stereoscopic pairs of images from a single lens camera | |
| US11010958B2 (en) | Method and system for generating an image of a subject in a scene | |
| RU2721678C2 (ru) | Устройство кодирования и способ кодирования, устройство декодирования и способ декодирования | |
| RU2665872C2 (ru) | Стереопросмотр | |
| US10621777B2 (en) | Synthesis of composite images having virtual backgrounds | |
| JP6984416B2 (ja) | 画像処理装置および画像処理方法 | |
| US10681276B2 (en) | Virtual reality video processing to compensate for movement of a camera during capture | |
| Thatte et al. | Depth augmented stereo panorama for cinematic virtual reality with head-motion parallax | |
| US11579746B2 (en) | Dynamic image capturing apparatus and method using arbitrary viewpoint image generation technology | |
| JP2014203462A (ja) | 光フィールド映像を生成する方法及び装置 | |
| KR101725024B1 (ko) | 룩업테이블 기반의 실시간 360도 vr 동영상 제작 시스템 및 이를 이용한 360도 vr 동영상 제작 방법 | |
| Schreer et al. | Advanced volumetric capture and processing | |
| US11557087B2 (en) | Image processing apparatus and image processing method for generating a strobe image using a three-dimensional model of an object | |
| WO2020166376A1 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
| KR20200005591A (ko) | 몰입형 비디오 컨텐츠를 생성 및 렌더링하기 위한 방법들, 시스템들 및 매체들 | |
| JP2018033107A (ja) | 動画の配信装置及び配信方法 | |
| WO2019034804A2 (en) | THREE-DIMENSIONAL VIDEO PROCESSING | |
| US20220207848A1 (en) | Method and apparatus for generating three dimensional images | |
| GB2565301A (en) | Three-dimensional video processing | |
| CN109961395B (zh) | 深度图像的生成及显示方法、装置、系统、可读介质 | |
| WO2022230253A1 (ja) | 情報処理装置及び情報処理方法 | |
| US12112426B2 (en) | Augmenting a view of a real-world environment with a view of a volumetric video object | |
| Canessa et al. | Morpholo: a hologram generator algorithm | |
| JP7336871B2 (ja) | 全天周映像処理装置及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |