KR20130039522A - 입체 파노라마 영상을 생성하는 장치 및 방법 - Google Patents

입체 파노라마 영상을 생성하는 장치 및 방법 Download PDF

Info

Publication number
KR20130039522A
KR20130039522A KR1020110104135A KR20110104135A KR20130039522A KR 20130039522 A KR20130039522 A KR 20130039522A KR 1020110104135 A KR1020110104135 A KR 1020110104135A KR 20110104135 A KR20110104135 A KR 20110104135A KR 20130039522 A KR20130039522 A KR 20130039522A
Authority
KR
South Korea
Prior art keywords
frame
slit
frame slit
image
capture
Prior art date
Application number
KR1020110104135A
Other languages
English (en)
Other versions
KR101804199B1 (ko
Inventor
전영선
문영수
이시화
차준혁
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110104135A priority Critical patent/KR101804199B1/ko
Priority to CN201210165868.8A priority patent/CN103051916B/zh
Priority to JP2012151322A priority patent/JP6057570B2/ja
Priority to US13/587,583 priority patent/US20130093839A1/en
Publication of KR20130039522A publication Critical patent/KR20130039522A/ko
Application granted granted Critical
Publication of KR101804199B1 publication Critical patent/KR101804199B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Processing Or Creating Images (AREA)

Abstract

하나의 카메라만을 이용하여 입체(3D) 파노라마 영상을 생성하는 장치 및 방법에 관한 것으로서, N번째 비디오 프레임에서 제1 프레임 슬릿을 캡쳐하고, N+2번째 비디오 프레임에서 제2 프레임 슬릿을 캡쳐하는 프레임 슬릿 캡쳐부 및 상기 캡쳐된 제1 프레임 슬릿과 상기 캡쳐된 제2 프레임 슬릿을 이용하여 왼쪽 영상을 생성하는 입체 영상 생성부를 포함하고, 상기 프레임 슬릿 캡쳐부는, N+1번째 비디오 프레임에서 제3 프레임 슬릿을 캡쳐하고, N+3번째 비디오 프레임에서 제4 프레임 슬릿을 캡쳐하며, 상기 입체 영상 생성부는, 상기 제3 프레임 슬릿 및 상기 제4 프레임 슬릿을 이용하여 오른쪽 영상을 생성할 수 있다.

Description

입체 파노라마 영상을 생성하는 장치 및 방법{APPARATUS AND METHOD OF CREATING 3 DIMENSION PANORAMA IMAGE}
하나의 카메라만을 이용하여 입체(3D) 파노라마 영상을 생성하는 장치 및 방법에 관한 것으로서, 3D용 렌즈나 스테레오 시스템과 같은 3D 촬영을 위한 하드웨어의 변형없이, 기존 2D용 카메라를 이용하여 3D 파노라마 영상을 생성하는 기술적 사상을 개시한다.
디지털 기술의 비약적인 발전에 힘입어, 3D TV와 같은 3D 디스플레이의 수요가 증가하는 추세이다.
3D 디스플레이는 입체 영상 컨텐츠를 통해 제공될 수 있는데, 이러한 입체 영상 컨텐츠는 입체 공간에 있는 것처럼 보이는 영상이다.
입체 영상 컨텐츠를 생성하기 위해, 실제로 입체 영상을 재현하는 방법도 시도되고 있지만, 널리 연구되는 방법은 좌우의 눈에 각기 좌우 방향에서 본 것과 동일한 영상을 제시하여 두 눈에 시차를 주고 이것을 합성하여 하나의 입체 영상으로 보이게 하는 기술이 널리 적용되고 있다.
입체 영상 컨텐츠는 두 눈과 스테레오스코피(Stereoscopy) 기술을 적용하여 2차원 영상으로부터 생성될 수 있다. 또한, 일반적으로 입체 영상 컨텐츠를 만들기 위해서는 2개 이상의 카메라를 이용하여 촬영된 영상이 필요하다.
참고로, 스테레오스코피(Stereoscopy) 기술은 2차원 영상에 부가적으로 얻을 수 있는 정보를 창출하고, 이 창출된 부가적인 정보로 인하여 인간이 마치 영상이 제작되고 있는 장소에 있는 것 같은 생동감 및 현실감을 느낄 수 있게 하는 기술이다.
본 발명의 일실시예에 따른 입체 파노라마 영상 생성장치는 N번째 비디오 프레임에서 제1 프레임 슬릿을 캡쳐하고, N+2번째 비디오 프레임에서 제2 프레임 슬릿을 캡쳐하는 프레임 슬릿 캡쳐부, 및 상기 캡쳐된 제1 프레임 슬릿과 상기 캡쳐된 제2 프레임 슬릿을 이용하여 왼쪽 영상을 생성하는 입체 영상 생성부를 포함하고, 상기 프레임 슬릿 캡쳐부는 N+1번째 비디오 프레임에서 제3 프레임 슬릿을 캡쳐하고, N+3번째 비디오 프레임에서 제4 프레임 슬릿을 캡쳐하며, 상기 입체 영상 생성부는 상기 제3 프레임 슬릿 및 상기 제4 프레임 슬릿을 이용하여 오른쪽 영상을 생성할 수 있다.
본 발명의 일측에 따른 프레임 슬릿 캡쳐부는 촬영되는 복수의 비디오 프레임들을 구면 좌표계(Spherical Coordinate)로 프로젝션(Projection)하여 상기 제1 프레임 슬릿, 상기 제2 프레임 슬릿, 상기 제3 프레임 슬릿, 및 상기 제4 프레임 슬릿을 캡쳐할 수 있다.
본 발명의 일측에 따른 프레임 슬릿 캡쳐부는 상기 제1 프레임 슬릿과 상기 제3 프레임 슬릿 간의 간격을 산출하고, 상기 산출된 간격과 동일하도록 상기 제2 프레임 슬릿과 상기 제4 프레임 슬릿 간의 간격을 결정할 수 있다.
본 발명의 일측에 따른 프레임 슬릿 캡쳐부는 상기 제1 프레임 슬릿과 연속되도록 상기 제2 프레임 슬릿의 캡쳐 시점을 결정하고, 상기 제3 프레임 슬릿과 연속되도록 상기 제4 프레임 슬릿의 캡쳐 시점을 결정할 수 있다.
본 발명의 일실시예에 따른 입체 파노라마 영상 생성장치는 2N번째 비디오 프레임에서 적어도 하나 이상의 왼쪽 프레임 슬릿을 캡쳐하여, 왼쪽 영상을 생성하는 왼쪽 영상 생성부, 2N-1번째 비디오 프레임에서 적어도 하나 이상의 오른쪽 프레임 슬릿을 캡쳐하여, 오른쪽 영상을 생성하는 오른쪽 영상 생성부, 및 상기 생성된 왼쪽 영상과 상기 생성된 오른쪽 영상에 기초하여 입체 파노라마 영상을 생성하는 영상 생성부를 포함할 수 있다.
본 발명의 일측에 따른 상기 왼쪽 영상 생성부는 상기 적어도 하나 이상의 왼쪽 프레임 슬릿 간의 간격을 산출하고, 본 발명의 일측에 따른 상기 오른쪽 영상 생성부는 상기 산출된 간격과 동일하게 상기 적어도 하나 이상의 오른쪽 프레임 슬릿 간의 간격을 결정할 수 있다.
본 발명의 일측에 따른 상기 왼쪽 영상 생성부는 상기 왼쪽 영상이 연속되도록 상기 적어도 하나 이상의 왼쪽 프레임 슬릿의 캡쳐 시점을 결정하고, 본 발명의 일측에 따른 상기 오른쪽 영상 생성부는 상기 오른쪽 영상이 연속되도록 상기 적어도 하나 이상의 오른쪽 프레임 슬릿의 캡쳐 시점을 결정할 수 있다.
본 발명의 일실시예에 따른 입체 파노라마 영상 생성방법은 프레임 슬릿 캡쳐부에서, N번째 비디오 프레임에서 제1 프레임 슬릿을 캡쳐하는 단계, 상기 프레임 슬릿 캡쳐부에서, N+1번째 비디오 프레임에서 제3 프레임 슬릿을 캡쳐하는 단계, 상기 프레임 슬릿 캡쳐부에서, N+2번째 비디오 프레임에서 제2 프레임 슬릿을 캡쳐하는 단계, 상기 프레임 슬릿 캡쳐부에서, N+3번째 비디오 프레임에서 제4 프레임 슬릿을 캡쳐하는 단계, 입체 영상 생성부에서, 상기 캡쳐된 제1 프레임 슬릿과 상기 캡쳐된 제2 프레임 슬릿을 이용하여 왼쪽 영상을 생성하는 단계, 및 상기 입체 영상 생성부에서, 상기 캡쳐된 제3 프레임 슬릿과 상기 캡쳐된 제4 프레임 슬릿을 이용하여 오른쪽 영상을 생성하는 단계를 포함할 수 있다.
본 발명의 일측에 따른 입체 파노라마 영상 생성방법은 상기 프레임 슬릿 캡쳐부에서, 상기 제1 프레임 슬릿과 상기 제3 프레임 슬릿 간의 간격을 산출하고, 상기 산출된 간격과 동일하도록 상기 제2 프레임 슬릿과 상기 제4 프레임 슬릿 간의 간격을 결정할 수 있다.
본 발명의 일측에 따른 상기 프레임 슬릿 캡쳐부에서, N+2번째 비디오 프레임에서 제2 프레임 슬릿을 캡쳐하는 단계는, 상기 프레임 슬릿 캡쳐부에서, 상기 제1 프레임 슬릿과 연속되도록 상기 제2 프레임 슬릿의 캡쳐 시점을 결정하는 단계를 포함하고, 본 발명의 일측에 따른 상기 프레임 슬릿 캡쳐부에서, N+3번째 비디오 프레임에서 제4 프레임 슬릿을 캡쳐하는 단계는, 상기 프레임 슬릿 캡쳐부에서, 상기 제3 프레임 슬릿과 연속되도록 상기 제4 프레임 슬릿의 캡쳐 시점을 결정하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따르면, 한 개의 카메라(1렌즈 1센서)를 이용해서, 입체 파노라마용 영상인 좌/우 입체 영상을 생성할 수 있다.
본 발명의 다른 일실시예에 따르면, 모바일 폰에 내장된 카메라와 같이 Low-Frame Rate의 특성으로 수집된 영상에 대해서도, 신속하고 정확하게 입체 파노라마 영상을 생성할 수 있다.
본 발명의 또 다른 일실시예에 따르면, 기존에 비해서 큰 좌/우 Slit을 사용하여 프레임 슬릿(Frame Slit)을 만들기 때문에 Low-Frame Rate에서도 적용이 수월하다.
본 발명의 또 다른 일실시예에 따르면, 어떤 상용화된 이미지 센서를 사용하더라도 입체 파노라마 영상의 생성이 가능하다.
　본 발명의 또 다른 일실시예에 따르면, 영상과 영상을 정합/스티칭(Stitching)할 때, 기존기술 대비 큰 슬릿(Slit)폭을 사용하기 때문에, 영상 정합 시, Ghost가 생기더라도 처리가 보다 더 수월하다.
본 발명의 또 다른 일실시예에 따르면, 동일한 뷰(같은 크기)의 영상에 대해서 영상 간의 정합부분 개수가 적어지기 때문에 블렌딩(Blending)하는 횟수도 줄어들게 되어 계산량 측면에서도 감소 효과가 있다.
도 1은 본 발명의 일실시예에 따른 입체 파노라마 영상 생성장치를 설명하는 블록도이다.
도 2는 본 발명의 일실시예에 따른 복수의 뷰 포인트들에서 피사체를 촬영하는 것을 설명하는 도면이다.
도 3은 도 2을 구면 좌표계(Spherical Coordinate)로 촬영 영상을 Projection하였을 때를 나타낸 도면이다.
도 4는 본 발명의 프레임 시퀀스를 시간별로 탑뷰(top view)형태로 도시화한 도면이다.
도 5는 본 발명의 다른 일실시예에 따른 입체 파노라마 영상 생성장치를 설명하는 블록도이다.
도 6은 본 발명의 일실시예에 따른 입체 파노라마 영상 생성방법을 설명하는 흐름도이다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 입체 파노라마 영상 생성장치(100)를 설명하는 블록도이다.
본 발명의 일실시예에 따른 입체 파노라마 영상 생성장치(100)는 한 개의 영상 내에서 좌/우 시점용 영상을 사용하였으나, 본 발명에서는 시간 축 상의 Temporal한 영상을 선택해서 좌/우 시점용 영상을 사용한다.
다시 말해, 본 발명의 일실시예에 따른 입체 파노라마 영상 생성장치(100)는 한 개의 영상 내에서 좌/우 파노라마용 영상을 사용하는 것이 아니라, temporal축 상에서 spatial한 관점에서 일정 간격만큼 떨어진 각기 다른 영상을 좌/우 파노라마 영상을 사용하여 좌/우 파노라마 영상을 생성하여 3DTV와 같은 3D 디스플레이 장치에서 3D영상을 감상할 수 있게 할 수 있다.
본 발명의 일실시예에 따른 입체 파노라마 영상 생성장치(100)는 연속적이고 겹쳐지는 부분이 존재하는 멀티 프레임들을 이용하여 파노라마 영상을 구현하는데 있어 핵심적으로 활용될 수 있다.
예를 들어, 본 발명의 일실시예에 따른 입체 파노라마 영상 생성장치(100)는 DSC, DVC, 감시용 등의 카메라, 모바일 카메라, 및 스마트 폰과 같은 장치에 적용될 수 있다. 뿐만 아니라, 본 발명의 일실시예에 따른 입체 파노라마 영상 생성장치(100)는 카메라 센서 영상 신호처리 프로세서로 이용될 수도 있다.
구체적으로, 본 발명의 일실시예에 따른 입체 파노라마 영상 생성장치(100)는 프레임 슬릿 캡쳐부(110) 및 입체 영상 생성부(120)를 포함할 수 있다.
프레임 슬릿 캡쳐부(110)는 N번째 비디오 프레임에서 제1 프레임 슬릿을 캡쳐하고, N+2번째 비디오 프레임에서 제2 프레임 슬릿을 캡쳐할 수 있다.
입체 영상 생성부(120)는 상기 캡쳐된 제1 프레임 슬릿과 상기 캡쳐된 제2 프레임 슬릿을 이용하여 왼쪽 영상을 생성할 수 있다.
또한, 입체 영상을 위해 프레임 슬릿 캡쳐부(110)는 N+1번째 비디오 프레임에서 제3 프레임 슬릿을 캡쳐하고, N+3번째 비디오 프레임에서 제4 프레임 슬릿을 캡쳐할 수 있고, 입체 영상 생성부(120)는 상기 제3 프레임 슬릿 및 상기 제4 프레임 슬릿을 이용하여 오른쪽 영상을 생성할 수 있다.
결국, 본 발명의 일실시예에 따른 입체 파노라마 영상 생성장치(100)는 한 개의 카메라(1렌즈 1센서)를 이용해서, 입체 파노라마용 영상인 좌/우 입체 영상을 생성할 수 있다.
본 발명의 일실시예에 따르면, 모바일 폰에 내장된 카메라와 같이 Low-Frame Rate의 특성으로 수집된 영상에 대해서도, 신속하고 정확하게 입체 파노라마 영상을 생성할 수 있다.
본 발명의 일실시예에 따르면, 기존에 비해서 큰 좌/우 Slit을 사용하여 프레임 슬릿(Frame Slit)을 만들기 때문에 Low-Frame Rate에서도 적용이 수월하다.
본 발명의 일실시예에 따르면, 어떤 상용화된 이미지 센서를 사용하더라도 입체 파노라마 영상의 생성이 가능하다.
　본 발명의 일실시예에 따르면, 영상과 영상을 정합/스티칭(Stitching)할 때, 기존기술 대비 큰 슬릿(Slit)폭을 사용하기 때문에, 영상 정합 시, Ghost가 생기더라도 처리가 보다 더 수월하다.
본 발명의 일실시예에 따르면, 동일한 뷰(같은 크기)의 영상에 대해서 영상 간의 정합부분 개수가 적어지기 때문에 블렌딩(Blending)하는 횟수도 줄어들게 되어 계산량 측면에서도 감소 효과가 있다.
도 2는 본 발명의 일실시예에 따른 복수의 뷰 포인트(view point)들에서 피사체를 촬영하는 것을 설명하는 도면이다.
본 발명의 일실시예에 따른 입체 파노라마 영상 생성장치(100)는 이동통신 단말기 등, 휴대가 가능하며 카메라 모듈이 장작되어 있는 휴대용 단말장치에 모듈 형태로 적용될 수 있다.
따라서, 도 2 내지 3을 통해서, 본 발명의 일실시예에 따른 입체 파노라마 영상 생성장치(100)에 입력되는 비디오 프레임이 휴대용 단말장치를 통해서 촬영되는 실시예를 설명한다.
휴대용 단말장치는 복수의 뷰 포인트에서 피사체(201)를 촬영하는 카메라(202)를 통해 복수의 비디오 프레임들을 생성할 수 있다.
고정된 위치의 카메라(202)는 회전하며, 피사체(201)에 대해 일부가 중첩되는 복수의 영상들을 생성한다.
다시 말해, 카메라(202)는 고정된 위치에서 회전에 기초하여 생성되는 복수의 뷰 포인트들에서 피사체를 촬영할 수 있다.
본 명세서 상에서 언급되는 상기 회전은 카메라(202)를 움직이기 위한 특정 하드웨어를 통한 동작이 아니고, 사용자의 움직임에 따라서 발생하는 동작으로 해석될 수 있다.
따라서, 카메라(202)의 회전을 위한 하드웨어의 추가가 필요하지 않다.
복수의 캡쳐 뷰 포인트들 중에서 연이은 캡쳐 뷰 포인트들은 카메라(202)가 'θ'의 각도만큼의 회전하여 생성하는 시점이고, 상기 연이은 캡쳐 뷰 포인트들에서 캡쳐된 복수의 비디오 프레임들은 일부가 중첩될 수 있다.
본 발명의 일실시예에 따른 휴대용 단말장치는 카메라(202)가 'θ'의 각도(203)만큼의 회전한 순간은 캡쳐 뷰 포인트로 결정하여, 피사체(201)를 캡쳐하도록 카메라(202)를 제어할 수 있다.
캡쳐 뷰 포인트는, 선정된 크기의 회전각('θ')으로써 구분될 수 있다.
즉, 'θ'의 각도만큼 다른 캡쳐 뷰 포인트에서 캡쳐된 복수의 비디오 프레임들은 입체 파노라마 영상으로 가공되기 위해서, 왼쪽 영상과 오른쪽 영상을 생성하는 프레임 슬릿으로 가공될 수 있다.
예를 들어, 첫 번째 비디오 프레임에서 캡쳐되는 프레임 슬릿은 왼쪽 영상에 포함되고, 두 번째 비디오 프레임에서 캡쳐되는 프레임 슬릿은 오른쪽 영상에 포함될 수 있다.
도 3은 도 2를 구면 좌표계(Spherical Coordinate)로 촬영 영상을 Projection하였을 때를 나타낸 도면이다.
본 발명의 일실시예에 따른 프레임 슬릿 캡쳐부는 촬영되는 복수의 비디오 프레임들을 구면 좌표계(Spherical Coordinate)로 프로젝션(Projection)하여 상기 제1 프레임 슬릿, 상기 제2 프레임 슬릿, 상기 제3 프레임 슬릿, 및 상기 제4 프레임 슬릿을 캡쳐할 수 있다.
도 2와 같이 고정된 위치를 중심으로 일정한 각도만큼 회전하여 촬영한 영상은, 구면 좌표계에서는 일정한 간격만큼 카메라가 translation하며 이동하며 촬영된 것으로 표현할 수 있다.
다시 말해, 카메라(202)의 회전에 의해 복수의 캡쳐 뷰 포인트에서 캡쳐되는 비디오 프레임들과, 카메라(202)의 수평 방향으로 이동하며 캡쳐한 비디오 프레임들이 미미한 차이를 보이는 점에 기인하여 카메라(202)의 회전에 의한 비디오 프레임들과 카메라(202)의 수평 이동에 의한 비디오 프레임들이 동일하다고 판단할 수 있는 점을 설명한다.
즉, 카메라는 'Δl' 만큼 이동한 시점(302)을 캡쳐 뷰 포인트라고 인식하고, 피사체(301)를 촬영할 수 있다. 이렇게 캡쳐된 비디오 프레임들은 가장자리의 일부분을 제외하고는 거의 동일할 수 있다.
따라서, 본 발명에서는 도 2과 같이 단 하나의 카메라(220)를 이용하며, 카메라(220)의 위치 이동 없이도 회전 운동만을 통해서 3D 형태의 입체 파노라마 영상을 생성할 수 있다.
도 4는 도 3에서 추출된 비디오 프레임들을 시간별로 탑뷰(top view)형태로 도시화한 도면이다.
추출된 비디오 프레임들은 시간대 별로 비디오 프레임 1(410), 비디오 프레임 2(420), 비디오 프레임 3(430), 및 비디오 프레임 4(440)로 구분될 수 있다.
기존에는 추출된 비디오 프레임들 각각에서 좌/우 시점용 영상을 추출하였으나, 본 발명에서는 비디오 프레임 1(410)과 비디오 프레임 3(430)에서는 왼쪽 영상(450)에 사용될 프레임 슬릿들(411, 431)을 캡쳐하고, 비디오 프레임 2(420)과 비디오 프레임 4(440)에서는 오른쪽 영상(460)에 사용될 프레임 슬릿들(421, 441)을 캡쳐한다.
캡쳐된 프레임 슬릿들(411, 431)은 왼쪽 영상(450)에 이용되고, 캡쳐된 프레임 슬릿들(421, 441)은 오른쪽 영상(460)에 이용될 수 있다.
본 발명의 일실시예에 따른 프레임 슬릿 캡쳐부는 제1 프레임 슬릿(411)과 제3 프레임 슬릿(431) 간의 간격을 산출하고, 상기 산출된 간격과 동일하도록 제2 프레임 슬릿(421)과 제4 프레임 슬릿(441) 간의 간격을 결정할 수 있다.
또한, 본 발명의 일실시예에 따른 프레임 슬릿 캡쳐부는 제1 프레임 슬릿(411)과 연속되도록 제2 프레임 슬릿(421)의 캡쳐 시점을 결정하고, 제3 프레임 슬릿(431)과 연속되도록 제4 프레임 슬릿(441)의 캡쳐 시점을 결정할 수 있다.
종래 기술에서는 한 개의 비디오 프레임 내에서 좌/우 시점용 영상을 사용하였으나, 본 발명에서는 시간 축 상의 Temporal한 영상을 선택해서 좌/우 시점용 비디오 프레임을 사용한다.
즉, 종래의 경우는 스테레오 영상의 Baseline 길이를 한 개의 비디오 프레임 내에서 좌/우 영상을 취하는 영상 Slit간의 간격으로 결정하는데 반해, 본 발명에서는 좌/우 영상을 취득하는 temporal한 간격에 의한 좌/우 영상간의 거리로 Baseline길이를 결정할 수 있다.
만약, Low-Frame Rate에서 기존 기술을 적용하여 작은 사이즈의 슬릿폭 영상을 사용하여 입체 파노라마 영상을 구성할 경우, 영상 정합이 제대로 되지 않아서 천천히 촬영해야 구성이 가능해지게 된다.
본 발명의 일실시예에 따르면, 동일한 뷰(같은 크기)의 영상에 대해서 영상 간의 정합부분 개수가 적어지기 때문에 블렌딩(Blending)하는 횟수도 줄어들게 되어 계산량 측면에서도 감소 효과가 있다.
도 5는 본 발명의 다른 일실시예에 따른 입체 파노라마 영상 생성장치(500)를 설명하는 블록도이다.
본 발명의 다른 일실시예에 따른 입체 파노라마 영상 생성장치(500)는 왼쪽 영상 생성부(510), 오른쪽 영상 생성부(520), 및 영상 생성부(530)를 포함할 수 있다.
왼쪽 영상 생성부(510)는 2N번째 비디오 프레임에서 적어도 하나 이상의 왼쪽 프레임 슬릿을 캡쳐하여, 왼쪽 영상을 생성할 수 있다.
본 발명의 일실시예에 따른 왼쪽 영상 생성부(510)는 상기 적어도 하나 이상의 왼쪽 프레임 슬릿 간의 간격을 산출할 수 있다.
본 발명의 일실시예에 따른 오른쪽 영상 생성부(520)는 2N-1번째 비디오 프레임에서 적어도 하나 이상의 오른쪽 프레임 슬릿을 캡쳐하여, 오른쪽 영상을 생성할 수 있다.
오른쪽 영상 생성부(520)는 상기 산출된 간격과 동일하게 상기 적어도 하나 이상의 오른쪽 프레임 슬릿 간의 간격을 결정할 수 있다.
예를 들어, 왼쪽 영상 생성부(510)에서 2번째 비디오 프레임, 4번째 비디오 프레임 및 6번째 비디오 프레임의 순서로 프레임 슬릿을 캡쳐하는 경우, 오른쪽 영상 생성부(520)에서는 1번째 비디오 프레임, 3번째 비디오 프레임, 및 5번째 비디오 프레임의 순서로 프레임 슬릿을 캡쳐할 수 있다.
즉, 본 발명의 다른 일실시예에 따른 입체 파노라마 영상 생성장치(500)는 하나의 비디오 프레임에서는 왼쪽 영상을 위한 프레임 슬릿 및 오른쪽 영상을 위한 프레임 슬릿 중에서 어느 하나만 캡쳐한다.
본 발명의 일실시예에 따른 영상 생성부(530)는 상기 생성된 왼쪽 영상과 상기 생성된 오른쪽 영상에 기초하여 입체 파노라마 영상을 생성할 수 있다.
본 발명의 다른 일실시예에 따른 입체 파노라마 영상 생성장치(500)는 한 개의 영상 내에서 좌/우 파노라마용 영상을 사용하는 것이 아니라, temporal축 상에서 spatial한 관점에서 일정 간격만큼 떨어진 각기 다른 영상을 좌/우 파노라마 영상을 사용하여 좌/우 파노라마 영상을 생성할 수 있다.
근래에는 3DTV가 많이 보급되어 있는데, 이와 같은 일반적인 3DTV의 입력 영상을 위해서는, 좌/우 2개 시점의 영상을 필요로 하며, 좌/우 2개 시점의 영상을 생성하기 위해서 카메라 렌즈가 2개인 카메라를 사용할 필요없이, 현재 대부분의 카메라 유저들이 소유하고 있는 카메라 타입인 1대의 카메라 1개의 카메라 렌즈 1개의 카메라 센서를 이용하여 좌/우 2개 시점 영상을 생성하여 3DTV에서 시청할 수 있다.
도 6은 본 발명의 일실시예에 따른 입체 파노라마 영상 생성방법을 설명하는 흐름도이다.
본 발명의 일실시예에 따른 입체 파노라마 영상 생성방법은 프레임 슬릿 캡쳐부를 이용하여, N번째 비디오 프레임에서 제1 프레임 슬릿을 캡쳐하고(단계 601), 연이은 N+1번째 비디오 프레임에서 제3 프레임 슬릿을 캡쳐할 수 있다(단계 602).
본 발명의 일실시예에 따른 입체 파노라마 영상 생성방법은 상기 프레임 슬릿 캡쳐부를 이용하여, N+2번째 비디오 프레임에서 제2 프레임 슬릿을 캡쳐하고(단계 603), 연이은 N+3번째 비디오 프레임에서 제4 프레임 슬릿을 캡쳐할 수 있다(단계 604).
본 발명의 일실시예에 따른 입체 파노라마 영상 생성방법은 입체 영상 생성부를 이용하여, 상기 캡쳐된 제1 프레임 슬릿과 상기 캡쳐된 제2 프레임 슬릿으로 왼쪽 영상을 생성할 수 있다(단계 605)
본 발명의 일실시예에 따른 입체 파노라마 영상 생성방법은 상기 입체 영상 생성부를 이용하여, 상기 캡쳐된 제3 프레임 슬릿과 상기 캡쳐된 제4 프레임 슬릿을 이용하여 오른쪽 영상을 생성할 수 있다(단계 606).
본 발명의 일실시예에 따른 입체 파노라마 영상 생성방법을 이용하면, 기존에 비해서 큰 좌/우 슬릿을 사용하여 프레임 슬릿(Frame Slit)을 만들기 때문에 Low-Frame Rate에서도 적용이 수월하고, 따라서 어떤 상용화된 이미지 센서를 사용하더라도 입체 파노라마 영상의 생성이 가능하다.
본 발명의 일실시예에 따른 입체 파노라마 영상 생성방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
본 발명의 일실시예에 따르면, 기존에 비해서 큰 좌/우 Slit을 사용하여 프레임 슬릿(Frame Slit)을 만들기 때문에 Low-Frame Rate에서도 적용이 수월하다.
본 발명의 일실시예에 따르면, 어떤 상용화된 이미지 센서를 사용하더라도 입체 파노라마 영상의 생성이 가능하다.
　본 발명의 일실시예에 따르면, 영상과 영상을 정합/스티칭(Stitching)할 때, 기존기술 대비 큰 슬릿(Slit)폭을 사용하기 때문에, 영상 정합 시, Ghost가 생기더라도 처리가 보다 더 수월하다.
본 발명의 일실시예에 따르면, 동일한 뷰(같은 크기)의 영상에 대해서 영상 간의 정합부분 개수가 적어지기 때문에 블렌딩(Blending)하는 횟수도 줄어들게 되어 계산량 측면에서도 감소 효과가 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 입체 파노라마 영상 생성장치
110: 프레임 슬릿 캡쳐부
120: 입체 영상 생성부

Claims (11)

  1. N번째 비디오 프레임에서 제1 프레임 슬릿을 캡쳐하고, N+2번째 비디오 프레임에서 제2 프레임 슬릿을 캡쳐하는 프레임 슬릿 캡쳐부; 및
    상기 캡쳐된 제1 프레임 슬릿과 상기 캡쳐된 제2 프레임 슬릿을 이용하여 왼쪽 영상을 생성하는 입체 영상 생성부
    를 포함하고,
    상기 프레임 슬릿 캡쳐부는,
    N+1번째 비디오 프레임에서 제3 프레임 슬릿을 캡쳐하고, N+3번째 비디오 프레임에서 제4 프레임 슬릿을 캡쳐하며,
    상기 입체 영상 생성부는,
    상기 제3 프레임 슬릿 및 상기 제4 프레임 슬릿을 이용하여 오른쪽 영상을 생성하는 입체 파노라마 영상 생성장치.
  2. 제1항에 있어서,
    상기 프레임 슬릿 캡쳐부는,
    촬영되는 복수의 비디오 프레임들을 구면 좌표계(Spherical Coordinate)로 프로젝션(Projection)하여 상기 제1 프레임 슬릿, 상기 제2 프레임 슬릿, 상기 제3 프레임 슬릿, 및 상기 제4 프레임 슬릿을 캡쳐하는 입체 파노라마 영상 생성장치.
  3. 제1항에 있어서,
    상기 프레임 슬릿 캡쳐부는,
    상기 제1 프레임 슬릿과 상기 제3 프레임 슬릿 간의 간격을 산출하고, 상기 산출된 간격과 동일하도록 상기 제2 프레임 슬릿과 상기 제4 프레임 슬릿 간의 간격을 결정하는 입체 파노라마 영상 생성장치.
  4. 제1항에 있어서,
    상기 프레임 슬릿 캡쳐부는,
    상기 제1 프레임 슬릿과 연속되도록 상기 제2 프레임 슬릿의 캡쳐 시점을 결정하고, 상기 제3 프레임 슬릿과 연속되도록 상기 제4 프레임 슬릿의 캡쳐 시점을 결정하는 입체 파노라마 영상 생성장치.
  5. 2N번째 비디오 프레임에서 적어도 하나 이상의 왼쪽 프레임 슬릿을 캡쳐하여, 왼쪽 영상을 생성하는 왼쪽 영상 생성부;
    2N-1번째 비디오 프레임에서 적어도 하나 이상의 오른쪽 프레임 슬릿을 캡쳐하여, 오른쪽 영상을 생성하는 오른쪽 영상 생성부; 및
    상기 생성된 왼쪽 영상과 상기 생성된 오른쪽 영상에 기초하여 입체 파노라마 영상을 생성하는 영상 생성부
    를 포함하는 입체 파노라마 영상 생성장치.
  6. 제5항에 있어서,
    상기 왼쪽 영상 생성부는 상기 적어도 하나 이상의 왼쪽 프레임 슬릿 간의 간격을 산출하고,
    상기 오른쪽 영상 생성부는 상기 산출된 간격과 동일하게 상기 적어도 하나 이상의 오른쪽 프레임 슬릿 간의 간격을 결정하는 입체 파노라마 영상 생성장치.
  7. 제5항에 있어서,
    상기 왼쪽 영상 생성부는 상기 왼쪽 영상이 연속되도록 상기 적어도 하나 이상의 왼쪽 프레임 슬릿의 캡쳐 시점을 결정하고,
    상기 오른쪽 영상 생성부는 상기 오른쪽 영상이 연속되도록 상기 적어도 하나 이상의 오른쪽 프레임 슬릿의 캡쳐 시점을 결정하는 입체 파노라마 영상 생성장치.
  8. 프레임 슬릿 캡쳐부에서, N번째 비디오 프레임에서 제1 프레임 슬릿을 캡쳐하는 단계;
    상기 프레임 슬릿 캡쳐부에서, N+1번째 비디오 프레임에서 제3 프레임 슬릿을 캡쳐하는 단계;
    상기 프레임 슬릿 캡쳐부에서, N+2번째 비디오 프레임에서 제2 프레임 슬릿을 캡쳐하는 단계;
    상기 프레임 슬릿 캡쳐부에서, N+3번째 비디오 프레임에서 제4 프레임 슬릿을 캡쳐하는 단계;
    입체 영상 생성부에서, 상기 캡쳐된 제1 프레임 슬릿과 상기 캡쳐된 제2 프레임 슬릿을 이용하여 왼쪽 영상을 생성하는 단계; 및
    상기 입체 영상 생성부에서, 상기 캡쳐된 제3 프레임 슬릿과 상기 캡쳐된 제4 프레임 슬릿을 이용하여 오른쪽 영상을 생성하는 단계
    를 포함하는 입체 파노라마 영상 생성방법.
  9. 제8항에 있어서,
    상기 프레임 슬릿 캡쳐부에서,
    상기 제1 프레임 슬릿과 상기 제3 프레임 슬릿 간의 간격을 산출하고, 상기 산출된 간격과 동일하도록 상기 제2 프레임 슬릿과 상기 제4 프레임 슬릿 간의 간격을 결정하는 단계
    를 더 포함하고,
    상기 프레임 슬릿 캡쳐부에서, 상기 결정된 간격에 기초하여, 상기 제2 프레임 슬릿 및 제4 프레임 슬릿을 캡쳐하는 입체 파노라마 영상 생성방법.
  10. 제8항에 있어서,
    상기 프레임 슬릿 캡쳐부에서, N+2번째 비디오 프레임에서 제2 프레임 슬릿을 캡쳐하는 단계는,
    상기 프레임 슬릿 캡쳐부에서, 상기 제1 프레임 슬릿과 연속되도록 상기 제2 프레임 슬릿의 캡쳐 시점을 결정하는 단계
    를 포함하고,
    상기 프레임 슬릿 캡쳐부에서, N+3번째 비디오 프레임에서 제4 프레임 슬릿을 캡쳐하는 단계는,
    상기 프레임 슬릿 캡쳐부에서, 상기 제3 프레임 슬릿과 연속되도록 상기 제4 프레임 슬릿의 캡쳐 시점을 결정하는 단계
    를 포함하는 입체 파노라마 영상 생성방법.
  11. 제8항 내지 제10항 중 어느 한 항의 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020110104135A 2011-10-12 2011-10-12 입체 파노라마 영상을 생성하는 장치 및 방법 KR101804199B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020110104135A KR101804199B1 (ko) 2011-10-12 2011-10-12 입체 파노라마 영상을 생성하는 장치 및 방법
CN201210165868.8A CN103051916B (zh) 2011-10-12 2012-05-25 产生三维（3d）全景图像的设备和方法
JP2012151322A JP6057570B2 (ja) 2011-10-12 2012-07-05 立体パノラマ映像を生成する装置及び方法
US13/587,583 US20130093839A1 (en) 2011-10-12 2012-08-16 Apparatus and method of generating three-dimensional (3d) panoramic image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110104135A KR101804199B1 (ko) 2011-10-12 2011-10-12 입체 파노라마 영상을 생성하는 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130039522A true KR20130039522A (ko) 2013-04-22
KR101804199B1 KR101804199B1 (ko) 2017-12-05

Family

ID=48064399

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110104135A KR101804199B1 (ko) 2011-10-12 2011-10-12 입체 파노라마 영상을 생성하는 장치 및 방법

Country Status (4)

Country Link
US (1) US20130093839A1 (ko)
JP (1) JP6057570B2 (ko)
KR (1) KR101804199B1 (ko)
CN (1) CN103051916B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111008985A (zh) * 2019-11-07 2020-04-14 贝壳技术有限公司 全景图拼缝检测方法、装置、可读存储介质及电子设备

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104113684B (zh) * 2013-04-15 2017-09-22 宏达国际电子股份有限公司 控制方法及电子装置
CN103777455B (zh) * 2014-02-25 2016-08-17 浙江大学 基于光场拼接的球形沉浸式三维显示方法及系统
CN107529053A (zh) * 2014-07-22 2017-12-29 北京蚁视科技有限公司 全景三维摄像装置
CN104881869A (zh) * 2015-05-15 2015-09-02 浙江大学 一种移动平台上的实时全景跟踪与拼接方法
US20170064289A1 (en) * 2015-08-26 2017-03-02 Holumino Limited System and method for capturing and displaying images
US9858706B2 (en) * 2015-09-22 2018-01-02 Facebook, Inc. Systems and methods for content streaming
SG10201510773PA (en) * 2015-12-30 2017-07-28 Creative Tech Ltd A method for creating a stereoscopic image sequence
CN106331685A (zh) * 2016-11-03 2017-01-11 Tcl集团股份有限公司 一种3d全景图像获取方法和装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1553521A4 (en) * 2002-10-15 2006-08-02 Seiko Epson Corp PANORAMIC SYNTHESIS PROCESSING MULTIPLE IMAGE DATA
AU2003214899A1 (en) * 2003-01-24 2004-08-23 Micoy Corporation Stereoscopic Panoramic Image Capture Device
KR100715026B1 (ko) * 2005-05-26 2007-05-09 한국과학기술원 단일카메라 전방향 양안시 영상 획득 장치
US8717412B2 (en) * 2007-07-18 2014-05-06 Samsung Electronics Co., Ltd. Panoramic image production
CN101771830B (zh) * 2008-12-30 2012-09-19 华为终端有限公司 立体全景视频流生成方法、设备及视频会议方法和设备
JP5127787B2 (ja) * 2009-07-30 2013-01-23 富士フイルム株式会社 複眼撮影装置及びその制御方法
JP2011082919A (ja) * 2009-10-09 2011-04-21 Sony Corp 画像処理装置および方法、並びにプログラム
US10080006B2 (en) * 2009-12-11 2018-09-18 Fotonation Limited Stereoscopic (3D) panorama creation on handheld device
US20120019613A1 (en) * 2009-12-11 2012-01-26 Tessera Technologies Ireland Limited Dynamically Variable Stereo Base for (3D) Panorama Creation on Handheld Device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111008985A (zh) * 2019-11-07 2020-04-14 贝壳技术有限公司 全景图拼缝检测方法、装置、可读存储介质及电子设备

Also Published As

Publication number Publication date
KR101804199B1 (ko) 2017-12-05
JP2013085223A (ja) 2013-05-09
CN103051916B (zh) 2016-08-03
CN103051916A (zh) 2013-04-17
JP6057570B2 (ja) 2017-01-11
US20130093839A1 (en) 2013-04-18

Similar Documents

Publication Publication Date Title
KR101804199B1 (ko) 입체 파노라마 영상을 생성하는 장치 및 방법
EP3198862B1 (en) Image stitching for three-dimensional video
EP3007038B1 (en) Interaction with three-dimensional video
JP6289811B2 (ja) 映像処理装置及び方法
KR20130107840A (ko) 실감 파노라마 영상 생성을 위한 3ｄ 데이터 포맷 생성／소비 장치 및 방법
TWI547901B (zh) 模擬立體圖像顯示方法及顯示設備
KR20120046802A (ko) 하나의 카메라를 이용하여 3차원 파노라마 영상을 생성하는 장치 및 방법
JP2012068380A (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP7184748B2 (ja) 場面の積層深度データを生成するための方法
WO2018121401A1 (zh) 一种全景视频图像的拼接方法及全景相机
US20150326847A1 (en) Method and system for capturing a 3d image using single camera
TW201701051A (zh) 全景立體圖像的合成方法、裝置及其移動終端
JP2012146305A (ja) ウィンドウ状の拡張現実を提供する装置および方法
TWI502271B (zh) 控制方法及電子裝置
JP6868288B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
WO2015154491A1 (zh) 一种照片拍摄方法、显示方法及装置
KR20190016139A (ko) 입체 비디오 생성
KR101907127B1 (ko) 입체 비디오 주밍 및 비디오 내의 전경 및 배경 검출
KR101939243B1 (ko) 입체 깊이 조정 및 초점 조정
KR20130070034A (ko) 스마트폰을 이용한 입체이미지 촬영 장치 및 그 방법
JP2007194694A (ja) 立体映像撮影装置並びにそのプログラム
Wang et al. Object Based Disparity Morphing Tool For Stereo Images and Video
KR20150090540A (ko) 홀로그램 생성 장치 및 방법
JP2001313957A (ja) 像配信システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
GRNT Written decision to grant