KR20230115816A - 360 캠을 이용한 스테레오 영상 생성 장치 및 방법 - Google Patents

360 캠을 이용한 스테레오 영상 생성 장치 및 방법 Download PDF

Info

Publication number
KR20230115816A
KR20230115816A KR1020220012737A KR20220012737A KR20230115816A KR 20230115816 A KR20230115816 A KR 20230115816A KR 1020220012737 A KR1020220012737 A KR 1020220012737A KR 20220012737 A KR20220012737 A KR 20220012737A KR 20230115816 A KR20230115816 A KR 20230115816A
Authority
KR
South Korea
Prior art keywords
image
stereo
camera
cam
unit
Prior art date
Application number
KR1020220012737A
Other languages
English (en)
Other versions
KR102589623B1 (ko
Inventor
이중호
표현지
Original Assignee
계명대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 계명대학교 산학협력단 filed Critical 계명대학교 산학협력단
Priority to KR1020220012737A priority Critical patent/KR102589623B1/ko
Publication of KR20230115816A publication Critical patent/KR20230115816A/ko
Application granted granted Critical
Publication of KR102589623B1 publication Critical patent/KR102589623B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236—Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

본 발명은 360 캠을 이용한 스테레오 영상 생성 장치 및 방법에 관한 것으로서, 보다 구체적으로는 360 캠을 이용한 스테레오 영상 생성 장치로서, 입체감을 느낄 수 있는 스테레오 영상을 얻기 위해 거울의 반사를 이용하여 카메라로 촬영하는 영상 촬영부; 상기 영상 촬영부의 촬영된 영상의 스티칭, 스테레오 영역 추출, 및 사이드 바이 사이드 형식의 변환 처리를 수행하는 영상 처리부; 및 상기 영상 처리부를 통해 영상 처리가 완료된 입체 영상을 디스플레이 하는 영상 재생부를 포함하는 것을 그 구성상의 특징으로 한다.
또한, 본 발명의 특징에 따른 360 캠을 이용한 스테레오 영상 생성 방법은,
360 캠을 이용한 스테레오 영상 생성 방법으로서, (1) 영상 촬영부가 입체감을 느낄 수 있는 스테레오 영상을 얻기 위해 거울의 반사를 이용하여 카메라로 촬영하는 단계; (2) 영상 처리부가 상기 단계 (1)에서 상기 영상 촬영부를 통해 촬영된 영상의 스티칭, 스테레오 영역 추출, 및 사이드 바이 사이드 형식의 변환 처리를 수행하는 단계; 및 (3) 영상 재생부가 상기 단계 (2)에서 상기 영상 처리부를 통해 영상 처리가 완료된 입체 영상을 디스플레이 하는 단계를 포함하는 것을 그 구성으로 특징으로 한다.
본 발명에서 제안하고 있는 360 캠을 이용한 스테레오 영상 생성 장치 및 방법에 따르면, 입체감을 느낄 수 있는 스테레오 영상을 얻기 위해 거울의 반사를 이용하여 카메라로 촬영하는 영상 촬영부와, 영상 촬영부의 촬영된 영상의 스티칭, 스테레오 영역 추출, 및 사이드 바이 사이드 형식의 변환 처리를 수행하는 영상 처리부와, 영상 처리부를 통해 영상 처리가 완료된 입체 영상을 디스플레이 하는 영상 재생부를 포함하여 구성함으로써, 거울로 이루어진 반사부를 통해 일반 360 카메라로 촬영하여 사이드-바이-사이드 입체 영상을 생성할 수 있도록 할 수 있다.
또한, 본 발명의 360 캠을 이용한 스테레오 영상 생성 장치 및 방법에 따르면, 입체감을 느낄 수 있는 스테레오 영상을 얻기 위해 거울의 반사를 이용하여 카메라로 촬영하는 영상 촬영부를 구성하되, 두 개의 거울이 90도로 붙여진 반사부와, 입체감을 느낄 수 있는 스테레오 영상을 촬영하기 위해 상기 거울로 이루어진 반사부에 비춰진 물체를 촬영하는 360 카메라를 포함하여 구성함으로써, 360 모노카메라를 이용하여 입체감을 느낄 수 있는 스테레오 영상을 획득할 수 있으며, VR 헤드셋을 통해 VR 입체 영상을 제공할 수 있도록 할 수 있다.

Description

360 캠을 이용한 스테레오 영상 생성 장치 및 방법{STEREO IMAGE GENERATING DEVICE AND METHOD USING 360 CAM}
본 발명은 360 캠을 이용한 스테레오 영상 생성 장치 및 방법에 관한 것으로서, 보다 구체적으로는 거울로 이루어진 반사부를 통해 일반 360 카메라로 촬영하여 사이드-바이-사이드 입체 영상을 생성할 수 있도록 하는 360 캠을 이용한 스테레오 영상 생성 장치 및 방법에 관한 것이다.
VR(Virtual Reality)은 ICT 산업의 주요 이슈로 떠오르고 있으며, IT 기업들은 VR 디바이스를 판매하여 이윤을 창출하고 있다. 그리고 VR 체험을 위한 콘텐츠를 구현하기 위해 여러 시점으로 촬영한 영상을 이어 붙여 다시점에 대한 파노라마 영상을 변환하고, 사용자의 의도에 따라 시점을 변경하여 영상을 확인할 수 있는 360 VR 영상 기술이 개발되고 있다. 하지만 현재 개발되고 있는 360 VR 영상 기술은 고용량을 가지는 영상을 360 VR 영상으로 변환하는데 소요되는 연산시간이 길어져 실시간으로 파노라마 영상을 구현하지 못하는 문제점을 가지고 있다.
영상 처리 기술이 발달함에 따라, 사용자에게 보다 실감나는 영상을 제공하기 위한 기술 중 하나로 360도 영상을 제공하는 방법에 대한 연구가 활발하게 이루어지고 있다. 360도 영상을 제공하기 위해서는 실시간으로 사용자의 시선에 대응되는 360도 영상의 부분이 사용자의 양안에 투사될 수 있도록 영상 데이터를 처리하는 기술이 필요하다.
한편, 360도 영상의 경우 투사 시, 이를 투사하는 광학 시스템의 특성 및 비선형적 특성으로 인해 처리되어야 하는 데이터가 방대함에 따라, 영상 처리에 많은 시간이 소요될 수 있다. 이로 인해, 실시간으로 360도 영상을 처리하기 위해서는 고성능의 GPU가 요구되거나, 다수의 프로세서가 요구될 수 있다. 이에 따라, 360도 영상 처리에 소요되는 시간 및 하드웨어로 인한 비용을 줄이기 위해 보다 효율적으로 영상 처리를 수행할 수 있는 기술 개발이 필요한 실정이다.
현재 VR(Virtual Reality)을 위한 실사 촬영을 할 때 360도 카메라를 사용한다. 그러나 이는 모노 디스플레이 이다. 즉, VR을 통해 보더라도 양안의 영상이 완전히 동일한 영상을 시청하게 된다. 따라서 입체감을 느낄 수 없으며, 입체감을 느끼기 위해서는 좌우 영상이 다른 스테레오 영상을 얻어야 하는 한계가 따르는 문제가 있었다. 대한민국 등록특허공보 제10-1066542호, 및 등록특허공보 제10-0779634호가 선행기술 문헌으로 개시되고 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 입체감을 느낄 수 있는 스테레오 영상을 얻기 위해 거울의 반사를 이용하여 카메라로 촬영하는 영상 촬영부와, 영상 촬영부의 촬영된 영상의 스티칭, 스테레오 영역 추출, 및 사이드 바이 사이드 형식의 변환 처리를 수행하는 영상 처리부와, 영상 처리부를 통해 영상 처리가 완료된 입체 영상을 디스플레이 하는 영상 재생부를 포함하여 구성함으로써, 거울로 이루어진 반사부를 통해 일반 360 카메라로 촬영하여 사이드-바이-사이드 입체 영상을 생성할 수 있도록 하는, 360 캠을 이용한 스테레오 영상 생성 장치 및 방법을 제공하는 것을 그 목적으로 한다.
또한, 본 발명은, 입체감을 느낄 수 있는 스테레오 영상을 얻기 위해 거울의 반사를 이용하여 카메라로 촬영하는 영상 촬영부를 구성하되, 두 개의 거울이 90도로 붙여진 반사부와, 입체감을 느낄 수 있는 스테레오 영상을 촬영하기 위해 상기 거울로 이루어진 반사부에 비춰진 물체를 촬영하는 360 카메라를 포함하여 구성함으로써, 360 모노카메라를 이용하여 입체감을 느낄 수 있는 스테레오 영상을 획득할 수 있으며, VR 헤드셋을 통해 VR 입체 영상을 제공할 수 있도록 하는, 360 캠을 이용한 스테레오 영상 생성 장치 및 방법을 제공하는 것을 또 다른 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 360 캠을 이용한 스테레오 영상 생성 장치는,
360 캠을 이용한 스테레오 영상 생성 장치로서,
입체감을 느낄 수 있는 스테레오 영상을 얻기 위해 거울의 반사를 이용하여 카메라로 촬영하는 영상 촬영부;
상기 영상 촬영부의 촬영된 영상의 스티칭, 스테레오 영역 추출, 및 사이드 바이 사이드 형식의 변환 처리를 수행하는 영상 처리부; 및
상기 영상 처리부를 통해 영상 처리가 완료된 입체 영상을 디스플레이 하는 영상 재생부를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 영상 촬영부는,
거울로 이루어진 반사부; 및
입체감을 느낄 수 있는 스테레오 영상을 촬영하기 위해 상기 거울로 이루어진 반사부에 비춰진 물체를 촬영하는 360 카메라를 포함하여 구성할 수 있다.
더욱 바람직하게는, 상기 반사부는,
입체감을 느낄 수 있는 스테레오 영상을 촬영하기 위한 360 카메라를 통해 촬영되는 두 개의 거울이 배치되는 구조로 구성될 수 있다.
더욱 더 바람직하게는, 상기 반사부는,
두 게의 거울이 배치되는 구조로 구성하되, 두 개의 거울을 90도로 붙여 상기 360 카메라 근처에 배치하여 설치될 수 있다.
바람직하게는, 상기 360 카메라는,
거울로 이루어진 반사부를 통해 입체감을 느낄 수 있는 스테레오 영상을 촬영하기 위한 360 모노카메라로 구성될 수 있다.
더욱 바람직하게는, 상기 360 카메라는,
거울로 이루어진 반사부를 통해 입체감을 느낄 수 있는 스테레오 영상을 촬영하기 위한 360 모노카메라로 구성하되, 180도의 화각을 갖는 2개의 어안 렌즈(fish eye lens)를 포함할 수 있다.
더욱 바람직하게는, 상기 영상 처리부는,
상기 영상 촬영부내 360 카메라의 어안 렌즈를 통해 촬영되는 영상을 스티칭 처리하는 스티칭 처리부;
상기 스티칭 처리부를 통해 스티칭 처리된 영상으로부터 스테레오 영역을 추출하는 영역 추출부; 및
상기 영역 추출부를 통해 추출되는 스테레오 영역에 대해 사이드 바이 사이드 형태로 변환하는 영상 편집을 수행하는 형식 변환부를 포함하여 구성할 수 있다.
더욱 더 바람직하게는, 상기 영상 처리부는,
상기 360 카메라의 두 개의 어안 렌즈를 통해 촬영되는 좌안 영상과 우안 영상의 처리를 통해 입체감을 느낄 수 있는 좌우 영상이 다른 스테레오 영상을 획득하도록 기능할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 360 캠을 이용한 스테레오 영상 생성 방법은,
360 캠을 이용한 스테레오 영상 생성 방법으로서,
(1) 영상 촬영부가 입체감을 느낄 수 있는 스테레오 영상을 얻기 위해 거울의 반사를 이용하여 카메라로 촬영하는 단계;
(2) 영상 처리부가 상기 단계 (1)에서 상기 영상 촬영부를 통해 촬영된 영상의 스티칭, 스테레오 영역 추출, 및 사이드 바이 사이드 형식의 변환 처리를 수행하는 단계; 및
(3) 영상 재생부가 상기 단계 (2)에서 상기 영상 처리부를 통해 영상 처리가 완료된 입체 영상을 디스플레이 하는 단계를 포함하는 것을 그 구성으로 특징으로 한다.
바람직하게는, 상기 단계 (1)에서의 영상 촬영부는,
거울로 이루어진 반사부; 및
입체감을 느낄 수 있는 스테레오 영상을 촬영하기 위해 상기 거울로 이루어진 반사부에 비춰진 물체를 촬영하는 360 카메라를 포함하여 구성할 수 있다.
더욱 바람직하게는, 상기 반사부는,
입체감을 느낄 수 있는 스테레오 영상을 촬영하기 위한 360 카메라를 통해 촬영되는 두 개의 거울이 배치되는 구조로 구성될 수 있다.
더욱 더 바람직하게는, 상기 반사부는,
두 게의 거울이 배치되는 구조로 구성하되, 두 개의 거울을 90도로 붙여 상기 360 카메라 근처에 배치하여 설치될 수 있다.
바람직하게는, 상기 360 카메라는,
거울로 이루어진 반사부를 통해 입체감을 느낄 수 있는 스테레오 영상을 촬영하기 위한 360 모노카메라로 구성될 수 있다.
더욱 바람직하게는, 상기 360 카메라는,
거울로 이루어진 반사부를 통해 입체감을 느낄 수 있는 스테레오 영상을 촬영하기 위한 360 모노카메라로 구성하되, 180도의 화각을 갖는 2개의 어안 렌즈(fish eye lens)를 포함할 수 있다.
더욱 바람직하게는, 상기 단계 (2)에서의 영상 처리부는,
상기 영상 촬영부내 360 카메라의 어안 렌즈를 통해 촬영되는 영상을 스티칭 처리하는 스티칭 처리부;
상기 스티칭 처리부를 통해 스티칭 처리된 영상으로부터 스테레오 영역을 추출하는 영역 추출부; 및
상기 영역 추출부를 통해 추출되는 스테레오 영역에 대해 사이드 바이 사이드 형태로 변환하는 영상 편집을 수행하는 형식 변환부를 포함하여 구성할 수 있다.
더욱 더 바람직하게는, 상기 영상 처리부는,
상기 360 카메라의 두 개의 어안 렌즈를 통해 촬영되는 좌안 영상과 우안 영상의 처리를 통해 입체감을 느낄 수 있는 좌우 영상이 다른 스테레오 영상을 획득하도록 기능할 수 있다.
본 발명에서 제안하고 있는 360 캠을 이용한 스테레오 영상 생성 장치 및 방법에 따르면, 입체감을 느낄 수 있는 스테레오 영상을 얻기 위해 거울의 반사를 이용하여 카메라로 촬영하는 영상 촬영부와, 영상 촬영부의 촬영된 영상의 스티칭, 스테레오 영역 추출, 및 사이드 바이 사이드 형식의 변환 처리를 수행하는 영상 처리부와, 영상 처리부를 통해 영상 처리가 완료된 입체 영상을 디스플레이 하는 영상 재생부를 포함하여 구성함으로써, 거울로 이루어진 반사부를 통해 일반 360 카메라로 촬영하여 사이드-바이-사이드 입체 영상을 생성할 수 있도록 할 수 있다.
또한, 본 발명의 360 캠을 이용한 스테레오 영상 생성 장치 및 방법에 따르면, 입체감을 느낄 수 있는 스테레오 영상을 얻기 위해 거울의 반사를 이용하여 카메라로 촬영하는 영상 촬영부를 구성하되, 두 개의 거울이 90도로 붙여진 반사부와, 입체감을 느낄 수 있는 스테레오 영상을 촬영하기 위해 상기 거울로 이루어진 반사부에 비춰진 물체를 촬영하는 360 카메라를 포함하여 구성함으로써, 360 모노카메라를 이용하여 입체감을 느낄 수 있는 스테레오 영상을 획득할 수 있으며, VR 헤드셋을 통해 VR 입체 영상을 제공할 수 있도록 할 수 있다.
도 1은 본 발명의 일실시예에 따른 360 캠을 이용한 스테레오 영상 생성 장치의 구성을 기능블록으로 도시한 도면.
도 2는 본 발명의 일실시예에 따른 360 캠을 이용한 스테레오 영상 생성 장치의 영상 촬영부의 구성을 기능블록으로 도시한 도면.
도 3은 본 발명의 일실시예에 따른 360 캠을 이용한 스테레오 영상 생성 장치의 영상 촬영부의 설치 구성을 개략적으로 도시한 도면.
도 4는 본 발명의 일실시예에 따른 360 캠을 이용한 스테레오 영상 생성 장치의 영상 촬영부의 촬영 원리를 개략적으로 도시한 도면.
도 5는 본 발명의 일실시예에 따른 360 캠을 이용한 스테레오 영상 생성 장치의 영상 처리부의 구성을 기능블록으로 도시한 도면.
도 6은 본 발명의 일실시예에 따른 360 캠을 이용한 스테레오 영상 생성 장치의 영상 촬영부의 촬영 영상을 도시한 도면.
도 7은 본 발명의 일실시예에 따른 360 캠을 이용한 스테레오 영상 생성 장치의 영상 처리부의 스티칭 처리 영상을 도시한 도면.
도 8은 본 발명의 일실시예에 따른 360 캠을 이용한 스테레오 영상 생성 장치의 영상 처리부의 스테레오 영역 추출 영상을 도시한 도면.
도 9는 본 발명의 일실시예에 따른 360 캠을 이용한 스테레오 영상 생성 장치의 영상 처리부의 사이드 바이 사이드 형태로 편집하는 영상을 도시한 도면.
도 10은 본 발명의 일실시예에 따른 360 캠을 이용한 스테레오 영상 생성 방법의 흐름을 도시한 도면.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 일실시예에 따른 360 캠을 이용한 스테레오 영상 생성 장치의 구성을 기능블록으로 도시한 도면이고, 도 2는 본 발명의 일실시예에 따른 360 캠을 이용한 스테레오 영상 생성 장치의 영상 촬영부의 구성을 기능블록으로 도시한 도면이며, 도 3은 본 발명의 일실시예에 따른 360 캠을 이용한 스테레오 영상 생성 장치의 영상 촬영부의 설치 구성을 개략적으로 도시한 도면이고, 도 4는 본 발명의 일실시예에 따른 360 캠을 이용한 스테레오 영상 생성 장치의 영상 촬영부의 촬영 원리를 개략적으로 도시한 도면이며, 도 5는 본 발명의 일실시예에 따른 360 캠을 이용한 스테레오 영상 생성 장치의 영상 처리부의 구성을 기능블록으로 도시한 도면이다. 도 1 내지 도 5에 각각 도시된 바와 같이, 본 발명의 일실시예에 따른 360 캠을 이용한 스테레오 영상 생성 장치(100)는, 입체감을 느낄 수 있는 스테레오 영상을 얻기 위해 거울의 반사를 이용하여 카메라로 촬영하는 영상 촬영부(110)와, 영상 촬영부(110)의 촬영된 영상의 스티칭, 스테레오 영역 추출, 및 사이드 바이 사이드 형식의 변환 처리를 수행하는 영상 처리부(120)와, 영상 처리부(120)를 통해 영상 처리가 완료된 입체 영상을 디스플레이 하는 영상 재생부(130)를 포함하여 구성될 수 있다. 이하에서는 첨부된 도면을 참조하여 본 발명의 일실시예에 따른 360 캠을 이용한 스테레오 영상 생성 장치의 구성에 대해 설명하기로 한다.
도 6은 본 발명의 일실시예에 따른 360 캠을 이용한 스테레오 영상 생성 장치의 영상 촬영부의 촬영 영상을 도시한 도면이고, 도 7은 본 발명의 일실시예에 따른 360 캠을 이용한 스테레오 영상 생성 장치의 영상 처리부의 스티칭 처리 영상을 도시한 도면이며, 도 8은 본 발명의 일실시예에 따른 360 캠을 이용한 스테레오 영상 생성 장치의 영상 처리부의 스테레오 영역 추출 영상을 도시한 도면이고, 도 9는 본 발명의 일실시예에 따른 360 캠을 이용한 스테레오 영상 생성 장치의 영상 처리부의 사이드 바이 사이드 형태로 편집하는 영상을 도시한 도면이다.
영상 촬영부(110)는, 입체감을 느낄 수 있는 스테레오 영상을 얻기 위해 거울의 반사를 이용하여 카메라로 촬영하는 구성이다. 이러한 영상 촬영부(110)는 도 2 내지 도 4에 각각 도시된 바와 같이, 거울로 이루어진 반사부(111)와, 입체감을 느낄 수 있는 스테레오 영상을 촬영하기 위해 상기 거울로 이루어진 반사부(111)에 비춰진 물체를 촬영하는 360 카메라(112)를 포함하여 구성할 수 있다.
또한, 반사부(111)는 입체감을 느낄 수 있는 스테레오 영상을 촬영하기 위한 360 카메라(112)를 통해 촬영되는 두 개의 거울이 배치되는 구조로 구성될 수 있다. 이러한 반사부(111)는 두 게의 거울이 배치되는 구조로 구성하되, 두 개의 거울을 90도로 붙여 상기 360 카메라(112) 근처에 배치하여 설치될 수 있다.
또한, 360 카메라(112)는 거울로 이루어진 반사부(111)를 통해 입체감을 느낄 수 있는 스테레오 영상을 촬영하기 위한 360 모노카메라로 구성될 수 있다. 이러한 360 카메라(112)는 거울로 이루어진 반사부(111)를 통해 입체감을 느낄 수 있는 스테레오 영상을 촬영하기 위한 360 모노카메라로 구성하되, 180도의 화각을 갖는 2개의 어안 렌즈(fish eye lens)를 포함할 수 있다.
또한, 영상 촬영부(110)는 두 개의 거울로 이루어진 반사부(111)와 두 개의 어안 렌즈를 포함하는 360 카메라(112)를 이용하는 구조로, 거울의 반사를 이용하여 일반적인 360도 카메라를 입체(양안 시: 스테레오 스콥) 카메라로 기능하도록 할 수 있다.
영상 처리부(120)는, 영상 촬영부(110)의 촬영된 영상의 스티칭, 스테레오 영역 추출, 및 사이드 바이 사이드 형식의 변환 처리를 수행하는 구성이다. 이러한 영상 처리부(120)는 도 5에 도시된 바와 같이, 영상 촬영부(110)내 360 카메라(112)의 어안 렌즈를 통해 촬영되는 영상을 스티칭 처리하는 스티칭 처리부(121)와, 스티칭 처리부(121)를 통해 스티칭 처리된 영상으로부터 스테레오 영역을 추출하는 영역 추출부(122)와, 영역 추출부(122)를 통해 추출되는 스테레오 영역에 대해 사이드 바이 사이드 형태로 변환하는 영상 편집을 수행하는 형식 변환부(123)를 포함하여 구성할 수 있다. 여기서, 영상 처리부(120)는 상기 360 카메라(112)의 두 개의 어안 렌즈를 통해 촬영되는 좌안 영상과 우안 영상의 처리를 통해 입체감을 느낄 수 있는 좌우 영상이 다른 스테레오 영상을 획득하도록 기능할 수 있다.
영상 재생부(130)는, 영상 처리부(120)를 통해 영상 처리가 완료된 입체 영상을 디스플레이 하는 구성이다. 이러한 영상 재생부(130)는 VR의 입체 영상을 시청할 수 있는 VR 헤드셋의 형태로 구성될 수 있다. 여기서, 영상 재생부(130)는 VR 헤드셋을 이용하여 시청할 경우 입체 영상을 보게 된다.
도 10은 본 발명의 일실시예에 따른 360 캠을 이용한 스테레오 영상 생성 방법의 흐름을 도시한 도면이다. 도 10에 도시된 바와 같이, 본 발명의 일실시예에 따른 360 캠을 이용한 스테레오 영상 생성 방법은, 영상 촬영부가 입체감을 느낄 수 있는 스테레오 영상을 얻기 위해 거울의 반사를 이용하여 카메라로 촬영하는 단계(S110), 영상 처리부가 촬영된 영상의 스티칭, 스테레오 영역 추출, 및 사이드 바이 사이드 형식의 변환 처리를 수행하는 단계(S120), 및 영상 재생부가 영상 처리가 완료된 입체 영상을 디스플레이 하는 단계(S130)를 포함하여 구현될 수 있다.
단계 S110에서는, 영상 촬영부(110)가 입체감을 느낄 수 있는 스테레오 영상을 얻기 위해 거울의 반사를 이용하여 카메라로 촬영한다. 이러한 단계 S110에서의 영상 촬영부(110)는 도 2 내지 도 4에 각각 도시된 바와 같이, 거울로 이루어진 반사부(111)와, 입체감을 느낄 수 있는 스테레오 영상을 촬영하기 위해 상기 거울로 이루어진 반사부(111)에 비춰진 물체를 촬영하는 360 카메라(112)를 포함하여 구성할 수 있다.
또한, 반사부(111)는 입체감을 느낄 수 있는 스테레오 영상을 촬영하기 위한 360 카메라(112)를 통해 촬영되는 두 개의 거울이 배치되는 구조로 구성될 수 있다. 이러한 반사부(111)는 두 게의 거울이 배치되는 구조로 구성하되, 두 개의 거울을 90도로 붙여 상기 360 카메라(112) 근처에 배치하여 설치될 수 있다.
또한, 360 카메라(112)는 거울로 이루어진 반사부(111)를 통해 입체감을 느낄 수 있는 스테레오 영상을 촬영하기 위한 360 모노카메라로 구성될 수 있다. 이러한 360 카메라(112)는 거울로 이루어진 반사부(111)를 통해 입체감을 느낄 수 있는 스테레오 영상을 촬영하기 위한 360 모노카메라로 구성하되, 180도의 화각을 갖는 2개의 어안 렌즈(fish eye lens)를 포함할 수 있다.
단계 S120에서는, 영상 처리부(120)가 단계 S110에서 영상 촬영부(110)를 통해 촬영된 영상의 스티칭, 스테레오 영역 추출, 및 사이드 바이 사이드 형식의 변환 처리를 수행한다. 이러한 단계 S120에서의 영상 처리부(120)는 도 5에 도시된 바와 같이, 영상 촬영부(110)내 360 카메라(112)의 어안 렌즈를 통해 촬영되는 영상을 스티칭 처리하는 스티칭 처리부(121)와, 스티칭 처리부(121)를 통해 스티칭 처리된 영상으로부터 스테레오 영역을 추출하는 영역 추출부(122)와, 영역 추출부(122)를 통해 추출되는 스테레오 영역에 대해 사이드 바이 사이드 형태로 변환하는 영상 편집을 수행하는 형식 변환부(123)를 포함하여 구성할 수 있다. 여기서, 영상 처리부(120)는 상기 360 카메라(112)의 두 개의 어안 렌즈를 통해 촬영되는 좌안 영상과 우안 영상의 처리를 통해 입체감을 느낄 수 있는 좌우 영상이 다른 스테레오 영상을 획득하도록 기능할 수 있다.
단계 S130에서는, 영상 재생부(130)가 단계 S120에서 영상 처리부(120)를 통해 영상 처리가 완료된 입체 영상을 디스플레이 한다. 이러한 단계 S130에서의 영상 재생부(130)는 VR의 입체 영상을 시청할 수 있는 VR 헤드셋의 형태로 구성될 수 있다. 여기서, 영상 재생부(130)는 VR 헤드셋을 이용하여 시청할 경우 입체 영상을 보게 된다.
상술한 바와 같이, 본 발명의 일실시예에 따른 360 캠을 이용한 스테레오 영상 생성 장치 및 방법은, 입체감을 느낄 수 있는 스테레오 영상을 얻기 위해 거울의 반사를 이용하여 카메라로 촬영하는 영상 촬영부와, 영상 촬영부의 촬영된 영상의 스티칭, 스테레오 영역 추출, 및 사이드 바이 사이드 형식의 변환 처리를 수행하는 영상 처리부와, 영상 처리부를 통해 영상 처리가 완료된 입체 영상을 디스플레이 하는 영상 재생부를 포함하여 구성함으로써, 거울로 이루어진 반사부를 통해 일반 360 카메라로 촬영하여 사이드-바이-사이드 입체 영상을 생성할 수 있도록 할 수 있으며, 특히, 입체감을 느낄 수 있는 스테레오 영상을 얻기 위해 거울의 반사를 이용하여 카메라로 촬영하는 영상 촬영부를 구성하되, 두 개의 거울이 90도로 붙여진 반사부와, 입체감을 느낄 수 있는 스테레오 영상을 촬영하기 위해 상기 거울로 이루어진 반사부에 비춰진 물체를 촬영하는 360 카메라를 포함하여 구성함으로써, 360 모노카메라를 이용하여 입체감을 느낄 수 있는 스테레오 영상을 획득할 수 있으며, VR 헤드셋을 통해 VR 입체 영상을 제공할 수 있도록 할 수 있게 된다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
100: 본 발명의 일실시예에 따른 스테레오 영상 생성 장치
110: 영상 촬영부
111: 반사부
112: 360 카메라
120: 영상 처리부
121: 스티칭 처리부
122: 영역 추출부
123: 형식 변환부
130: 영상 재생부
S110: 영상 촬영부가 입체감을 느낄 수 있는 스테레오 영상을 얻기 위해 거울의 반사를 이용하여 카메라로 촬영하는 단계
S120: 영상 처리부가 촬영된 영상의 스티칭, 스테레오 영역 추출, 및 사이드 바이 사이드 형식의 변환 처리를 수행하는 단계
S130: 영상 재생부가 영상 처리가 완료된 입체 영상을 디스플레이 하는 단계

Claims (16)

  1. 360 캠을 이용한 스테레오 영상 생성 장치(100)로서,
    입체감을 느낄 수 있는 스테레오 영상을 얻기 위해 거울의 반사를 이용하여 카메라로 촬영하는 영상 촬영부(110);
    상기 영상 촬영부(110)의 촬영된 영상의 스티칭, 스테레오 영역 추출, 및 사이드 바이 사이드 형식의 변환 처리를 수행하는 영상 처리부(120); 및
    상기 영상 처리부(120)를 통해 영상 처리가 완료된 입체 영상을 디스플레이 하는 영상 재생부(130)를 포함하는 것을 특징으로 하는, 360 캠을 이용한 스테레오 영상 생성 장치.
  2. 제1항에 있어서, 상기 영상 촬영부(110)는,
    거울로 이루어진 반사부(111); 및
    입체감을 느낄 수 있는 스테레오 영상을 촬영하기 위해 상기 거울로 이루어진 반사부(111)에 비춰진 물체를 촬영하는 360 카메라(112)를 포함하여 구성하는 것을 특징으로 하는, 360 캠을 이용한 스테레오 영상 생성 장치.
  3. 제2항에 있어서, 상기 반사부(111)는,
    입체감을 느낄 수 있는 스테레오 영상을 촬영하기 위한 360 카메라(112)를 통해 촬영되는 두 개의 거울이 배치되는 구조로 구성되는 것을 특징으로 하는, 360 캠을 이용한 스테레오 영상 생성 장치.
  4. 제3항에 있어서, 상기 반사부(111)는,
    두 게의 거울이 배치되는 구조로 구성하되, 두 개의 거울을 90도로 붙여 상기 360 카메라(112) 근처에 배치하여 설치되는 것을 특징으로 하는, 360 캠을 이용한 스테레오 영상 생성 장치.
  5. 제2항 내지 제4항 중 어느 한 항에 있어서, 상기 360 카메라(112)는,
    거울로 이루어진 반사부(111)를 통해 입체감을 느낄 수 있는 스테레오 영상을 촬영하기 위한 360 모노카메라로 구성되는 것을 특징으로 하는, 360 캠을 이용한 스테레오 영상 생성 장치.
  6. 제5항에 있어서, 상기 360 카메라(112)는,
    거울로 이루어진 반사부(111)를 통해 입체감을 느낄 수 있는 스테레오 영상을 촬영하기 위한 360 모노카메라로 구성하되, 180도의 화각을 갖는 2개의 어안 렌즈(fish eye lens)를 구비하는 것을 특징으로 하는, 360 캠을 이용한 스테레오 영상 생성 장치.
  7. 제5항에 있어서, 상기 영상 처리부(120)는,
    상기 영상 촬영부(110)내 360 카메라(112)의 어안 렌즈를 통해 촬영되는 영상을 스티칭 처리하는 스티칭 처리부(121);
    상기 스티칭 처리부(121)를 통해 스티칭 처리된 영상으로부터 스테레오 영역을 추출하는 영역 추출부(122); 및
    상기 영역 추출부(122)를 통해 추출되는 스테레오 영역에 대해 사이드 바이 사이드 형태로 변환하는 영상 편집을 수행하는 형식 변환부(123)를 포함하여 구성하는 것을 특징으로 하는, 360 캠을 이용한 스테레오 영상 생성 장치.
  8. 제7항에 있어서, 상기 영상 처리부(120)는,
    상기 360 카메라(112)의 두 개의 어안 렌즈를 통해 촬영되는 좌안 영상과 우안 영상의 처리를 통해 입체감을 느낄 수 있는 좌우 영상이 다른 스테레오 영상을 획득하도록 기능하는 것을 특징으로 하는, 360 캠을 이용한 스테레오 영상 생성 장치.
  9. 360 캠을 이용한 스테레오 영상 생성 방법(100)으로서,
    (1) 영상 촬영부(110)가 입체감을 느낄 수 있는 스테레오 영상을 얻기 위해 거울의 반사를 이용하여 카메라로 촬영하는 단계;
    (2) 영상 처리부(120)가 상기 단계 (1)에서 상기 영상 촬영부(110)를 통해 촬영된 영상의 스티칭, 스테레오 영역 추출, 및 사이드 바이 사이드 형식의 변환 처리를 수행하는 단계; 및
    (3) 영상 재생부(130)가 상기 단계 (2)에서 상기 영상 처리부(120)를 통해 영상 처리가 완료된 입체 영상을 디스플레이 하는 단계를 포함하는 것을 특징으로 하는, 360 캠을 이용한 스테레오 영상 생성 방법.
  10. 제9항에 있어서, 상기 단계 (1)에서의 영상 촬영부(110)는,
    거울로 이루어진 반사부(111); 및
    입체감을 느낄 수 있는 스테레오 영상을 촬영하기 위해 상기 거울로 이루어진 반사부(111)에 비춰진 물체를 촬영하는 360 카메라(112)를 포함하여 구성하는 것을 특징으로 하는, 360 캠을 이용한 스테레오 영상 생성 방법.
  11. 제10항에 있어서, 상기 반사부(111)는,
    입체감을 느낄 수 있는 스테레오 영상을 촬영하기 위한 360 카메라(112)를 통해 촬영되는 두 개의 거울이 배치되는 구조로 구성되는 것을 특징으로 하는, 360 캠을 이용한 스테레오 영상 생성 방법.
  12. 제11항에 있어서, 상기 반사부(111)는,
    두 게의 거울이 배치되는 구조로 구성하되, 두 개의 거울을 90도로 붙여 상기 360 카메라(112) 근처에 배치하여 설치되는 것을 특징으로 하는, 360 캠을 이용한 스테레오 영상 생성 방법.
  13. 제10항 내지 제12항 중 어느 한 항에 있어서, 상기 360 카메라(112)는,
    거울로 이루어진 반사부(111)를 통해 입체감을 느낄 수 있는 스테레오 영상을 촬영하기 위한 360 모노카메라로 구성되는 것을 특징으로 하는, 360 캠을 이용한 스테레오 영상 생성 방법.
  14. 제13항에 있어서, 상기 360 카메라(112)는,
    거울로 이루어진 반사부(111)를 통해 입체감을 느낄 수 있는 스테레오 영상을 촬영하기 위한 360 모노카메라로 구성하되, 180도의 화각을 갖는 2개의 어안 렌즈(fish eye lens)를 구비하는 것을 특징으로 하는, 360 캠을 이용한 스테레오 영상 생성 방법.
  15. 제13항에 있어서, 상기 단계 (2)에서의 영상 처리부(120)는,
    상기 영상 촬영부(110)내 360 카메라(112)의 어안 렌즈를 통해 촬영되는 영상을 스티칭 처리하는 스티칭 처리부(121);
    상기 스티칭 처리부(121)를 통해 스티칭 처리된 영상으로부터 스테레오 영역을 추출하는 영역 추출부(122); 및
    상기 영역 추출부(122)를 통해 추출되는 스테레오 영역에 대해 사이드 바이 사이드 형태로 변환하는 영상 편집을 수행하는 형식 변환부(123)를 포함하여 구성하는 것을 특징으로 하는, 360 캠을 이용한 스테레오 영상 생성 방법.
  16. 제15항에 있어서, 상기 영상 처리부(120)는,
    상기 360 카메라(112)의 두 개의 어안 렌즈를 통해 촬영되는 좌안 영상과 우안 영상의 처리를 통해 입체감을 느낄 수 있는 좌우 영상이 다른 스테레오 영상을 획득하도록 기능하는 것을 특징으로 하는, 360 캠을 이용한 스테레오 영상 생성 방법.
KR1020220012737A 2022-01-27 2022-01-27 360 캠을 이용한 스테레오 영상 생성 장치 및 방법 KR102589623B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220012737A KR102589623B1 (ko) 2022-01-27 2022-01-27 360 캠을 이용한 스테레오 영상 생성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220012737A KR102589623B1 (ko) 2022-01-27 2022-01-27 360 캠을 이용한 스테레오 영상 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20230115816A true KR20230115816A (ko) 2023-08-03
KR102589623B1 KR102589623B1 (ko) 2023-10-16

Family

ID=87568202

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220012737A KR102589623B1 (ko) 2022-01-27 2022-01-27 360 캠을 이용한 스테레오 영상 생성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102589623B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100779634B1 (ko) * 2003-06-20 2007-11-26 니폰 덴신 덴와 가부시끼가이샤 가상시점 화상 생성방법 및 3차원 화상 표시방법 및 장치
KR101066542B1 (ko) * 2008-08-11 2011-09-21 한국전자통신연구원 가상시점 영상 생성방법 및 그 장치
KR101391951B1 (ko) * 2013-02-04 2014-05-07 주식회사 고글텍 사이드 바이 사이드 스테레오 영상 촬영 방법 및 이를 위한 단안식 카메라
KR20190108721A (ko) * 2018-03-15 2019-09-25 세종대학교산학협력단 360도 카메라와 평면 거울을 이용한 다시점 영상 획득 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100779634B1 (ko) * 2003-06-20 2007-11-26 니폰 덴신 덴와 가부시끼가이샤 가상시점 화상 생성방법 및 3차원 화상 표시방법 및 장치
KR101066542B1 (ko) * 2008-08-11 2011-09-21 한국전자통신연구원 가상시점 영상 생성방법 및 그 장치
KR101391951B1 (ko) * 2013-02-04 2014-05-07 주식회사 고글텍 사이드 바이 사이드 스테레오 영상 촬영 방법 및 이를 위한 단안식 카메라
KR20190108721A (ko) * 2018-03-15 2019-09-25 세종대학교산학협력단 360도 카메라와 평면 거울을 이용한 다시점 영상 획득 장치 및 방법

Also Published As

Publication number Publication date
KR102589623B1 (ko) 2023-10-16

Similar Documents

Publication Publication Date Title
US10979693B2 (en) Stereoscopic 3D camera for virtual reality experience
US20200358996A1 (en) Real-time aliasing rendering method for 3d vr video and virtual three-dimensional scene
JP4879326B2 (ja) ３次元画像を合成するシステム及び方法
US7660472B2 (en) System and method for managing stereoscopic viewing
JP2017505565A (ja) 多面映像の生成方法及びシステム
US20080158345A1 (en) 3d augmentation of traditional photography
JP4489610B2 (ja) 立体視可能な表示装置および方法
Devernay et al. Stereoscopic cinema
KR20150096529A (ko) 피드백 기반 3차원 비디오를 위한 제로 디스패리티 평면
TW201351959A (zh) 立體全景影像合成方法及其相關之立體攝影機
JP2008546326A (ja) 多次元画像化システムおよびその方法
JP2016504828A (ja) 単一のカメラを用いて３ｄ画像を取り込む方法およびシステム
US11019323B2 (en) Apparatus and method for 3D like camera system in a handheld mobile wireless device
KR101391951B1 (ko) 사이드 바이 사이드 스테레오 영상 촬영 방법 및 이를 위한 단안식 카메라
JPH1188912A (ja) 複眼カメラ及び複眼カメラにおける表示制御方法
KR102589623B1 (ko) 360 캠을 이용한 스테레오 영상 생성 장치 및 방법
KR20190053565A (ko) 스티칭 장치를 이용한 생방송 스티칭 방법
JPH10336703A (ja) 画像合成装置、方法および記憶媒体
JP7011728B2 (ja) 画像データ出力装置、コンテンツ作成装置、コンテンツ再生装置、画像データ出力方法、コンテンツ作成方法、およびコンテンツ再生方法
JP2006129225A (ja) 立体映像表示装置及び立体映像表示方法
US20220165190A1 (en) System and method for augmenting lightfield images
Rastogi et al. StereoCam3D (An Android App. That Lets You Capture Realtime 3D Pics And Videos)
CN110749993B (zh) 为智能移动设备增添新型图像功能的方法与装置
CN107678243A (zh) 智能手机数码立体（3d）摄影摄像及其收看系统
US20210051310A1 (en) The 3d wieving and recording method for smartphones

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant