KR20120046802A - 하나의 카메라를 이용하여 3차원 파노라마 영상을 생성하는 장치 및 방법 - Google Patents

하나의 카메라를 이용하여 3차원 파노라마 영상을 생성하는 장치 및 방법 Download PDF

Info

Publication number
KR20120046802A
KR20120046802A KR1020100105124A KR20100105124A KR20120046802A KR 20120046802 A KR20120046802 A KR 20120046802A KR 1020100105124 A KR1020100105124 A KR 1020100105124A KR 20100105124 A KR20100105124 A KR 20100105124A KR 20120046802 A KR20120046802 A KR 20120046802A
Authority
KR
South Korea
Prior art keywords
image
capture
subject
captured
generating
Prior art date
Application number
KR1020100105124A
Other languages
English (en)
Inventor
전영선
문영수
이시화
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100105124A priority Critical patent/KR20120046802A/ko
Priority to US13/067,449 priority patent/US20120105601A1/en
Publication of KR20120046802A publication Critical patent/KR20120046802A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor

Abstract

하나의 카메라를 이용하여 3D 파노라마 영상을 생성하는 장치 및 방법에 관한 것으로서, 복수의 뷰 포인트들에서 피사체를 촬영하고, 상기 복수의 뷰 포인트들 중에서, 상기 피사체에 대한 영상을 캡쳐하는 적어도 하나 이상의 캡쳐 뷰 포인트를 결정하며, 상기 적어도 하나 이상의 캡쳐 뷰 포인트에서 상기 캡쳐된 피사체의 적어도 하나 이상의 영상을 수집하고, 상기 수집된 적어도 하나 이상의 영상으로부터 3D 영상을 생성하는 구성을 개시한다.

Description

하나의 카메라를 이용하여 3차원 파노라마 영상을 생성하는 장치 및 방법{APPARATUS AND METHOD OF CREATING 3 DIMENSION PANORAMA IMAGE BY USING A CAMERA}
하나의 카메라만을 이용하여 3D(dimension) 파노라마 영상을 생성하는 장치 및 방법에 관한 것으로서, 3D용 렌즈나 스테레오 시스템과 같은 3D 촬영을 위한 하드웨어의 변형없이, 기존 2D용 카메라를 이용하여 3D 파노라마 영상을 생성하는 기술적 사상을 개시한다.
디지털 기술의 비약적인 발전에 힘입어, 3D TV와 같은 3D 디스플레이의 수요가 증가하는 추세이다.
3D 디스플레이는 3D 영상 컨텐츠를 통해 제공될 수 있는데, 이러한 3D 영상 컨텐츠는 3차원 공간에 있는 것처럼 보이는 영상이다.
3D 영상 컨텐츠를 생성하기 위해, 실제로 3차원 영상을 재현하는 방법도 시도되고 있지만, 널리 연구되는 방법은 좌우의 눈에 각기 좌우 방향에서 본 것과 동일한 영상을 제시하여 두 눈에 시차를 주고 이것을 합성하여 하나의 입체 영상으로 보이게 하는 기술이 널리 적용되고 있다.
3D 영상 컨텐츠는 두 눈과 스테레오스코피(Stereoscopy) 기술을 적용하여 2차원 영상으로부터 생성될 수 있다. 또한, 일반적으로 3D 영상 컨텐츠를 만들기 위해서는 2개 이상의 카메라를 이용하여 촬영된 영상이 필요하다.
참고로, 스테레오스코피(Stereoscopy) 기술은 2차원 영상에 부가적으로 얻을 수 있는 정보를 창출하고, 이 창출된 부가적인 정보로 인하여 인간이 마치 영상이 제작되고 있는 장소에 있는 것 같은 생동감 및 현실감을 느낄 수 있게 하는 기술이다.
본 발명의 일실시예에 따른 휴대용 단말장치는 복수의 뷰 포인트들에서 피사체를 촬영하는 촬영부, 상기 복수의 뷰 포인트들 중에서, 상기 피사체에 대한 영상을 캡쳐하는 적어도 하나 이상의 캡쳐 뷰 포인트를 결정하는 영상 캡쳐 결정부, 상기 적어도 하나 이상의 캡쳐 뷰 포인트에서 상기 캡쳐된 피사체의 적어도 하나 이상의 영상을 수집하는 영상 수집부, 및 상기 수집된 적어도 하나 이상의 영상으로부터 3D 영상을 생성하는 3D 영상 생성부를 포함할 수 있다.
본 발명의 일실시예에 따른 휴대용 단말장치의 3D 영상 생성 방법은 복수의 뷰 포인트들에서 피사체를 촬영하는 단계, 상기 복수의 뷰 포인트들 중에서, 상기 피사체에 대한 영상을 캡쳐하는 적어도 하나 이상의 캡쳐 뷰 포인트를 결정하는 단계, 상기 적어도 하나 이상의 캡쳐 뷰 포인트에서 상기 캡쳐된 피사체의 적어도 하나 이상의 영상을 수집하는 단계, 및 상기 수집된 적어도 하나 이상의 영상으로부터 3D 영상을 생성하는 단계를 포함하고, 상기 복수의 뷰 포인트들은 고정된 위치에서 회전에 기초하여 구분될 수 있다.
도 1은 본 발명의 일실시예에 따른 복수의 뷰 포인트들에서 피사체를 촬영하는 것을 설명하는 도면이다.
도 2는 도 1을 구면 좌표계(Spherical Coordinate) 또는 실린더 좌표계(Cylindrical Coordinate)로 촬영 영상을 Projection하였을 때를 나타낸 도면이다.
도 3은 본 발명의 일실시예에 따른 휴대용 단말장치를 설명하기 위한 블록도이다.
도 4는 본 발명의 일실시예에 따른 복수의 뷰 포인트들로부터 캡쳐되는 캡쳐 뷰 포인트를 설명하는 도면이다.
도 5는 본 발명의 일실시예에 따른 휴대용 단말장치의 3D 영상 생성 방법을 설명하기 위한 블록도이다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 복수의 뷰 포인트(view point)들에서 피사체를 촬영하는 것을 설명하는 도면이다.
본 발명의 일실시예에 따른 휴대용 단말장치는 복수의 뷰 포인트에서 피사체(101)를 촬영하는 카메라(102)를 통해 3D 영상을 생성할 수 있다.
고정된 위치의 카메라(102)는 회전하며, 피사체(101)에 대해 일부가 중첩되는 복수의 영상들을 생성한다.
다시 말해, 카메라(102)는 고정된 위치에서 회전에 기초하여 생성되는 복수의 뷰 포인트들에서 피사체를 촬영할 수 있다.
본 명세서 상에서 언급되는 상기 회전은 카메라(102)를 움직이기 위한 특정 하드웨어를 통한 동작이 아니고, 사용자의 움직임에 따라서 발생하는 동작으로 해석될 수 있다.
따라서, 카메라(102)의 회전을 위한 하드웨어의 추가가 필요하지 않다.
카메라(102)의 회전 도중에 특정 시점(캡쳐 뷰 포인트)들에서 캡쳐된 영상들은 3D 영상으로 가공될 수 있다.
복수의 캡쳐 뷰 포인트들 중에서 연이은 캡쳐 뷰 포인트들은 카메라(102)가 'θ'의 각도만큼의 회전하여 생성하는 시점이고, 상기 연이은 캡쳐 뷰 포인트들에서 캡쳐된 영상들은 일부가 중첩될 수 있다.
본 발명의 일실시예에 따른 휴대용 단말장치는 카메라(102)가 'θ'의 각도(103)만큼의 회전한 순간은 캡쳐 뷰 포인트로 결정하여, 피사체(101)를 캡쳐하도록 카메라(102)를 제어할 수 있다.
캡쳐 뷰 포인트는, 선정된 크기의 회전각('θ')으로써 구분될 수 있다.
즉, 'θ'의 각도만큼 다른 캡쳐 뷰 포인트에서 캡쳐된 영상들은 3D 영상으로 가공되기 위해서, 왼쪽 영상과 오른쪽 영상으로 구분될 수 있다.
예를 들어, 본 발명의 일실시예에 따른 휴대용 단말장치는 제1 영상, 제2 영상, 제3 영상, 및 제4 영상의 순서로 캡쳐했다면, 제1 영상을 왼쪽 영상으로 결정하고 제2 영상을 오른쪽 영상으로 결정하여 제1 3D 영상으로 가공할 수 있다. 또한, 본 발명의 일실시예에 따른 휴대용 단말장치는 제3 영상을 왼쪽 영상으로 결정하고 제4 영상을 오른쪽 영상으로 결정하여 제2 3D 영상으로 가공할 수 있다.
상기 생성된 제1 3D 영상과 제2 3D 영상은 3D 파노라마 영상으로 가공될 수 있다.
도 2는 도 1을 구면 좌표계(Spherical Coordinate) 또는 실린더 좌표계(Cylindrical Coordinate)로 촬영 영상을 Projection하였을 때를 나타낸 도면이다. 도 1과 같이 고정된 위치를 중심으로 일정한 각도만큼 회전하여 촬영한 영상은, 구면 좌표계에서는 일정한 간격만큼 카메라가 translation하며 이동하며 촬영된 것으로 표현할 수 있다.
다시 말해, 카메라(102)의 회전에 의해 복수의 캡쳐 뷰 포인트에서 캡쳐되는 영상들과, 카메라(102)의 수평 방향으로 이동하며 캡쳐한 영상들이 미미한 차이를 보이는 점에 기인하여 카메라(102)의 회전에 의한 캡쳐 영상들과 카메라(102)의 수평 이동에 의한 캡쳐 영상들이 동일하다고 판단할 수 있는 점을 설명한다.
즉, 카메라는 'Δl' 만큼 이동한 시점(202)을 캡쳐 뷰 포인트라고 인식하고, 피사체(201)를 촬영할 수 있다. 이렇게 캡쳐된 영상들은 가장자리의 일부분을 제외하고는 거의 동일할 수 있다.
따라서, 본 발명의 일실시예에 따른 휴대용 단말장치는 도 1과 같이 단 하나의 카메라(120)를 이용하며, 카메라(120)의 위치 이동 없이도 회전 운동만을 통해서 3D 형태의 파노라마 영상을 생성할 수 있다.
결국, 본 발명에 따르면, 한 대의 카메라만을 이용하여 3D 파노라마 영상을 생성할 수 있고, 기존 휴대용 단말장치들은 하드웨어 변경 없이도 3D 파노라마 영상을 생성하도록 호환될 수 있다.
도 3은 본 발명의 일실시예에 따른 휴대용 단말장치(300)를 설명하기 위한 블록도이다.
본 발명의 일실시예에 따른, 휴대용 단말장치(300)는 촬영되는 피사체에 대한 복수의 캡쳐 시점들을 결정하고, 상기 복수의 캡쳐 시점들 각각에서 캡쳐된 복수의 캡쳐 영상들을 이용하여 적어도 하나 이상의 3D 영상을 생성할 수 있다.
휴대용 단말장치(300)는 상기 복수의 뷰 포인트들 중에서 상기 피사체에 대해, 실질적인 영상을 캡쳐/생성하기 위한 캡쳐 시점, 즉 캡쳐 뷰 포인트를 결정할 수 있다.
휴대용 단말장치(300)가 결정한 캡쳐 뷰 포인트들에 따라서, 카메라는 다양한 캡쳐 시점에서 피사체의 영상을 캡쳐 할 수 있다.
이렇게 캡쳐된 영상들의 일부는 왼쪽 영상으로, 다른 일부는 오른쪽 영상으로 결정되며, 왼쪽 영상 및 오른쪽 영상을 조합하여 3D 영상을 생성할 수 있다.
이를 위해, 본 발명의 일실시예에 따른 휴대용 단말장치(300)는 촬영부(310), 영상 캡쳐 결정부(320), 영상 수집부(330), 및 3D 영상 생성부(340)를 포함할 수 있다.
촬영부(310)는 복수의 뷰 포인트들에서 피사체를 촬영할 수 있고, 하나의 카메라를 포함할 수 있다.
즉, 사용자가 카메라를 회전하여 발생하는 다양한 뷰 포인트에서 촬영부(310)가 피사체를 촬영할 수 있다.
영상 캡쳐 결정부(320)는 상기 복수의 뷰 포인트들 중에서, 상기 피사체에 대한 영상을 캡쳐하는 적어도 하나 이상의 캡쳐 뷰 포인트를 결정할 수 있다.
예를 들어, 영상 캡쳐 결정부(320)는 연이은 캡쳐 뷰 포인트들에서 캡쳐된 상기 피사체의 영상들이 일정 면적 이상 중첩되도록 상기 회전각의 크기를 결정할 수 있다.
상기 캡쳐 뷰 포인트는 실제로 3D 영상 또는 3D 파노라마 영상을 구성하는 영상들을 캡쳐하기 위한 시점이고, 영상 캡쳐 결정부(320)는 영상의 중첩되는 영역을 판단하여 캡쳐 뷰 포인트를 결정할 수 있다.
예를 들어, 영상 캡쳐 결정부(320)는 캡쳐된 피사체의 영상들 각각으로부터 특징점들을 추출하고, 상기 추출된 특징점을 비교하여 상기 피사체의 영상들이 일정 면적 이상 중첩되는지 여부를 판단할 수 있다.
상기 캡쳐 뷰 포인트는 도 4에서 구체적으로 설명한다.
도 4는 본 발명의 일실시예에 따른 복수의 뷰 포인트들로부터 캡쳐되는 캡쳐 뷰 포인트를 설명하는 도면이다.
카메라를 각각 'θ'의 각도만큼 회전하는 시점의 캡쳐 뷰 포인트들은 일부가 중첩되는 영상들을 생성할 수 있다.
이렇게 생성된 영상들은 'Δl' 만큼 수평 이동하는 카메라가 촬영한 영상들과 무시할 수 있는 정도의 차이만을 갖는다.
최초 카메라는 제1 캡쳐 뷰 포인트에서 피사체(401)에 대해 제1 영역(402)에 해당하는 영상을 캡쳐할 수 있다.
또한, 카메라는 'θ'의 각도만큼 회전한 상태에서, 제2 캡쳐 뷰 포인트에서 피사체(401)에 대해 제2 영역(403)에 해당하는 영상을 캡쳐할 수 있다.
제2 영역(403)은 제1 영역(402)에 대해 'Δl' 만큼의 쉬프트된 것으로 이해될 수 있고, 'Δl' 만큼의 쉬프트에 의해 제1 영역(402)과 제2 영역(403)은 'Δl'의 두 배만큼 차이가 발생한다. 이러한 차이를 제외하고 나머지 부분은 동일할 수 있다.
제1 영역(402)과 제2 영역(403)의 차이는 3D 영상의 왼쪽 영상과 오른쪽 영상의 이해될 수 있고, 제1 영역(402)과 제2 영역(403)에 각각 대응하는 캡쳐 영상은 3D 영상으로 재구성될 수 있다.
이에 기초하여, 제1 영역(402)과 제2 영역(403)에 의해 생성되는 제1 3D 영상과, 제3 영역(404)과 제4 영역(405)에 의해 생성되는 제2 3D 영상을 조합하면 3D 파노라마 영상의 일부가 될 수 있다.
보다 많은 캡쳐 뷰 포인트에서 캡쳐한 영상들을 이용하여, 보다 많은 3D 영상들이 생성될 수 있고, 이렇게 생성된 보다 많은 3D 영상들을 조합하여, 3D 파노라마 영상이 생성될 수 있다.
다시 도 3을 참조하면, 도 3의 영상 수집부(330)는 상기 적어도 하나 이상의 캡쳐 뷰 포인트에서 상기 캡쳐된 피사체의 적어도 하나 이상의 영상을 수집할 수 있다.
또한, 3D 영상 생성부(340)는 상기 수집된 적어도 하나 이상의 영상으로부터 3D 영상을 생성할 수 있다.
즉, 3D 영상 생성부(340)는 상기 수집된 적어도 하나 이상의 영상으로부터 왼쪽 영상과 오른쪽 영상을 구분하여 3D 영상을 생성할 수 있다.
예를 들어, 영상 수집부(340)는 제1 캡쳐 뷰 포인트에서 캡쳐된 제1 영상과, 상기 제1 캡쳐 뷰 포인트에 연이은 제2 캡쳐 뷰 포인트에서 캡쳐된 제2 영상을 수집할 수 있다.
이때, 3D 영상 생성부(340)는 상기 제1 영상을 왼쪽 영상, 상기 제2 영상을 오른쪽 영상으로 결정하여 3D 영상을 생성할 수 있다.
다른 예로, 3D 파노라마 영상을 생성하기 위해서, 영상 수집부(340)는 제3 캡쳐 뷰 포인트에서 캡쳐된 제3 영상과, 상기 제4 캡쳐 뷰 포인트에 연이은 제4 캡쳐 뷰 포인트에서 캡쳐된 제4 영상을 더 수집할 수 있다.
이때, 3D 영상 생성부(340)는 상기 제1 영상과 상기 제2 영상을 이용하여 제1 3D 영상을 생성하고, 상기 제3 영상과 상기 제4 영상을 이용하여 제2 3D 영상을 생성하며, 상기 생성된 제1 3D 영상 및 상기 생성된 제2 3D 영상을 이용하여 3D 파노라마 영상을 생성할 수 있다.
본 발명의 일실시예에 따른 휴대용 단말장치(300)를 이용하면, 기존의 2D 파노라마 시스템에서, 입력 영상의 위치 정보만을 이용하여 한 대의 카메라를 이용해서 3D 파노라마 영상을 생성할 수 있다.
뿐만 아니라, 본 발명의 일실시예에 따른 휴대용 단말장치(300)를 이용하면, 3D용 렌즈나 스테레오 시스템과 같은 3D 촬영을 위한 카메라 시스템 변형이 필요없기 때문에, 따라서, 기존 시스템과 호환될 수 있다.
또한, 본 발명의 일실시예에 따른 휴대용 단말장치(300)를 이용하면, 3D TV와 같은 3D 디스플레이 장치에서, 카메라로 촬영한 파노라마 영상을 3D로 감상할 수 있다.
도 5는 본 발명의 일실시예에 따른 휴대용 단말장치의 3D 영상 생성 방법을 설명하기 위한 블록도이다.
본 발명의 일실시예에 따른 휴대용 단말장치의 3D 영상 생성 방법은 복수의 뷰 포인트들에서 피사체를 촬영할 수 있다(단계 501). 상기 복수의 뷰 포인트들은 고정된 위치에서 회전에 기초하여 구분될 수 있고, 상기 회전은 회전각에 의해 수치화될 수 있다.
본 발명의 일실시예에 따른 휴대용 단말장치의 3D 영상 생성 방법은 영상을 캡쳐하기 위한 캡쳐 뷰 포인트를 결정할 수 있다(단계 502).
상기 캡쳐 뷰 포인트는 상기 복수의 뷰 포인트들 중에서 카메라가 피사체를 향한 각도가 회전각 'θ'의 배수만큼 이격되는 것으로 해석될 수 있다. 즉, 카메라가 'θ'의 배수만큼 회전하는 시점이 상기 캡쳐 뷰 포인트로 결정될 수 있다.
다시 말해, 본 발명의 일실시예에 따른 휴대용 단말장치의 3D 영상 생성 방법은 상기 복수의 뷰 포인트들 중에서, 상기 피사체에 대한 영상을 캡쳐하는 적어도 하나 이상의 캡쳐 뷰 포인트를 결정할 수 있다.
본 발명의 일실시예에 따른 휴대용 단말장치의 3D 영상 생성 방법은 상기 적어도 하나 이상의 캡쳐 뷰 포인트를 결정하기 위해서, 상기 피사체의 영상들이 일정 면적 이상 중첩되도록 연이은 캡쳐 뷰 포인트들를 결정할 수 있다.
다시 말해, 본 발명의 일실시예에 따른 휴대용 단말장치의 3D 영상 생성 방법은 상기 캡쳐된 피사체의 영상들 각각으로부터 특징점들을 추출하고, 상기 추출된 특징점을 비교하여 상기 피사체의 영상들 중에서 제1 캡쳐 뷰 포인트에서 캡쳐된 제1 영상과 제2 영상이 일정 면적 이상 중첩되는지 여부를 판단할 수 있다.
또한, 본 발명의 일실시예에 따른 휴대용 단말장치의 3D 영상 생성 방법은 상기 판단 결과, 일정 면적 이상 중첩되는 경우, 상기 제2 영상이 촬영된 시점을 제2 캡쳐 뷰 포인트로 결정할 수 있다.
본 발명의 일실시예에 따른 휴대용 단말장치의 3D 영상 생성 방법은 상기 적어도 하나 이상의 캡쳐 뷰 포인트에서 상기 캡쳐된 피사체의 적어도 하나 이상의 영상을 수집할 수 있다(단계 503).
이때, 본 발명의 일실시예에 따른 휴대용 단말장치의 3D 영상 생성 방법은 상기 캡쳐된 피사체의 적어도 하나 이상의 영상 중에서 일부는 3D 영상을 생성하기 위한 왼쪽 영상으로 구분되고, 나머지 일부는 오른쪽 영상으로 구분될 수 있다.
예를 들어, 짝수 번째 캡쳐 뷰 포인트들에서 캡쳐된 피사체의 영상들은 왼쪽 영상들로 구분되고, 홀수 번째 캡쳐 뷰 포인트들에서 캡쳐된 피사체의 영상들은 오른쪽 영상들로 구분될 수 있다.
본 발명의 일실시예에 따른 휴대용 단말장치의 3D 영상 생성 방법은 상기 수집된 적어도 하나 이상의 영상으로부터 3D 영상을 생성할 수 있다(단계 504).
본 발명의 일실시예에 따른 휴대용 단말장치의 3D 영상 생성 방법은 특정 짝수 번째 캡쳐 뷰 포인트에서 캡쳐된 왼쪽 영상과, 상기 특정 짝수 번째에 연이은 특정 홀수 번째 뷰 포인트에서 캡쳐된 오른쪽 영상을 이용하여, 3D 영상을 생성할 수 있다.
본 발명의 일실시예에 따른 휴대용 단말장치의 3D 영상 생성 방법은 캡쳐 뷰 포인트에 의해서 순차적으로 생성되는 2D 영상들을 조합하여 3D 파노라마 영상을 생성할 수 있다.
참고로, 본 발명의 일실시예에 따른 휴대용 단말장치의 3D 영상 생성 방법은 결과적으로 왼쪽 영상용으로 촬영된 영상들을 이용해서 만들어진 왼쪽 파노라마 2D 영상과, 오른쪽 영상용으로 촬영된 영상들을 이용해서 만들어진 오른쪽 파노라마 2D 영상을 생성할 수 있다.
일반적으로, 3DTV는 입력되는 좌안용/우안용 2D영상을 3D영상으로 재생을 한다. 따라서, 본 발명의 일실시예에 따른 휴대용 단말장치의 3D 영상 생성 방법에서 생성된 왼쪽 파노라마 2D 영상과 오른쪽 파노라마 2D 영상은 3DTV에서 3D 파노라마 영상으로 출력될 수 있다.
구체적으로, 본 발명의 일실시예에 따른 휴대용 단말장치의 3D 영상 생성 방법은 제1 캡쳐 뷰 포인트에서 캡쳐된 제1 영상, 제2 캡쳐 뷰 포인트에서 캡쳐된 제2 영상, 제3 캡쳐 뷰 포인트에서 캡쳐된 제3 영상, 및 제4 캡쳐 뷰 포인트에서 캡쳐된 제4 영상을 수집하고, 상기 제1 영상을 왼쪽 영상, 상기 제2 영상을 오른쪽 영상으로 결정하여 제1 3D 영상을 생성하며, 상기 제3 영상을 왼쪽 영상, 상기 제4 영상을 오른쪽 영상으로 결정하여 제2 3D 영상을 생성할 수 있다.
다음, 본 발명의 일실시예에 따른 휴대용 단말장치의 3D 영상 생성 방법은 상기 생성된 제1 3D 영상 및 제2 3D 영상을 이용하여 3D 파노라마 영상을 생성할 수 있다.
본 발명의 일실시예에 따른 휴대용 단말장치의 3D 영상 생성 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
본 발명의 일실시예에 따르면, 한 대의 카메라만을 이용하여 3D 파노라마 영상을 생성할 수 있다.
또한, 본 발명의 일실시예에 따르면, 기존 휴대용 단말장치들은 하드웨어 변경 없이도 3D 파노라마 영상을 생성하도록 호환될 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
300: 휴대용 단말장치 310: 촬영부
320: 영상 캡쳐 결정부 330: 영상 수집부
340: 3D 영상 생성부

Claims (12)

  1. 복수의 뷰 포인트들에서 피사체를 촬영하는 촬영부;
    상기 복수의 뷰 포인트들 중에서, 상기 피사체에 대한 영상을 캡쳐하는 적어도 하나 이상의 캡쳐 뷰 포인트를 결정하는 영상 캡쳐 결정부;
    상기 적어도 하나 이상의 캡쳐 뷰 포인트에서 상기 캡쳐된 피사체의 적어도 하나 이상의 영상을 수집하는 영상 수집부; 및
    상기 수집된 적어도 하나 이상의 영상으로부터 3D 영상을 생성하는 3D 영상 생성부
    를 포함하는 휴대용 단말장치.
  2. 제1항에 있어서,
    상기 촬영부는,
    고정된 위치에서 회전에 기초하여 생성되는 상기 복수의 뷰 포인트들에서 상기 피사체를 촬영하는 휴대용 단말장치.
  3. 제2항에 있어서,
    상기 적어도 하나 이상의 캡쳐 뷰 포인트는, 선정된 크기의 회전각으로써 구분되는 것을 특징으로 하는 휴대용 단말장치.
  4. 제3항에 있어서,
    상기 영상 캡쳐 결정부는,
    연이은 캡쳐 뷰 포인트들에서 캡쳐된 상기 피사체의 영상들이 일정 면적 이상 중첩되도록 상기 회전각의 크기를 결정하는 휴대용 단말장치.
  5. 제4항에 있어서,
    상기 영상 캡쳐 결정부는,
    상기 캡쳐된 피사체의 영상들 각각으로부터 특징점들을 추출하고, 상기 추출된 특징점을 비교하여 상기 피사체의 영상들이 일정 면적 이상 중첩되는지 여부를 판단하는 휴대용 단말장치.
  6. 제1항에 있어서,
    상기 영상 수집부는,
    제1 캡쳐 뷰 포인트에서 캡쳐된 제1 영상과, 상기 제1 캡쳐 뷰 포인트에 연이은 제2 캡쳐 뷰 포인트에서 캡쳐된 제2 영상을 수집하고,
    상기 3D 영상 생성부는,
    상기 제1 영상을 왼쪽 영상, 상기 제2 영상을 오른쪽 영상으로 결정하여 3D 영상을 생성하는 휴대용 단말장치.
  7. 제6항에 있어서,
    상기 영상 수집부는,
    제3 캡쳐 뷰 포인트에서 캡쳐된 제3 영상과, 상기 제4 캡쳐 뷰 포인트에 연이은 제4 캡쳐 뷰 포인트에서 캡쳐된 제4 영상을 더 수집하고,
    상기 3D 영상 생성부는,
    상기 제1 영상과 상기 제2 영상을 이용하여 제1 3D 영상을 생성하고, 상기 제3 영상과 상기 제4 영상을 이용하여 제2 3D 영상을 생성하며, 상기 생성된 제1 3D 영상 및 상기 생성된 제2 3D 영상을 이용하여 3D 파노라마 영상을 생성하는 휴대용 단말장치.
  8. 복수의 뷰 포인트들에서 피사체를 촬영하는 단계;
    상기 복수의 뷰 포인트들 중에서, 상기 피사체에 대한 영상을 캡쳐하는 적어도 하나 이상의 캡쳐 뷰 포인트를 결정하는 단계;
    상기 적어도 하나 이상의 캡쳐 뷰 포인트에서 상기 캡쳐된 피사체의 적어도 하나 이상의 영상을 수집하는 단계; 및
    상기 수집된 적어도 하나 이상의 영상으로부터 3D 영상을 생성하는 단계
    를 포함하고,
    상기 복수의 뷰 포인트들은 고정된 위치에서 회전에 기초하여 구분되는 휴대용 단말장치의 3D 영상 생성 방법.
  9. 제8항에 있어서,
    상기 적어도 하나 이상의 캡쳐 뷰 포인트를 결정하는 단계는,
    상기 피사체의 영상들이 일정 면적 이상 중첩되도록 연이은 캡쳐 뷰 포인트들을 결정하는 단계를 포함하는 휴대용 단말장치의 3D 영상 생성 방법.
  10. 제8항에 있어서,
    상기 적어도 하나 이상의 캡쳐 뷰 포인트를 결정하는 단계는,
    상기 캡쳐된 피사체의 영상들 각각으로부터 특징점들을 추출하는 단계;
    상기 추출된 특징점을 비교하여 상기 피사체의 영상들 중에서 제1 캡쳐 뷰 포인트에서 캡쳐된 제1 영상과 제2 영상이 일정 면적 이상 중첩되는지 여부를 판단하는 단계; 및
    일정 면적 이상 중첩되는 경우, 상기 제2 영상이 촬영된 시점을 제2 캡쳐 뷰 포인트로 결정하는 단계
    를 포함하는 휴대용 단말장치의 3D 영상 생성 방법.
  11. 제8항에 있어서,
    상기 적어도 하나 이상의 영상을 수집하는 단계는,
    제1 캡쳐 뷰 포인트에서 캡쳐된 제1 영상, 제2 캡쳐 뷰 포인트에서 캡쳐된 제2 영상, 제3 캡쳐 뷰 포인트에서 캡쳐된 제3 영상, 및 제4 캡쳐 뷰 포인트에서 캡쳐된 제4 영상을 수집하는 단계
    를 포함하고,
    상기 3D 영상을 생성하는 단계는,
    상기 제1 영상을 왼쪽 영상, 상기 제2 영상을 오른쪽 영상으로 결정하여 제1 3D 영상을 생성하는 단계;
    상기 제3 영상을 왼쪽 영상, 상기 제4 영상을 오른쪽 영상으로 결정하여 제2 3D 영상을 생성하는 단계; 및
    상기 생성된 제1 3D 영상 및 제2 3D 영상을 이용하여 3D 파노라마 영상을 생성하는 단계
    를 포함하는 휴대용 단말장치의 3D 영상 생성 방법.
  12. 제8항 내지 제11항 중 어느 한 항의 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020100105124A 2010-10-27 2010-10-27 하나의 카메라를 이용하여 3차원 파노라마 영상을 생성하는 장치 및 방법 KR20120046802A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100105124A KR20120046802A (ko) 2010-10-27 2010-10-27 하나의 카메라를 이용하여 3차원 파노라마 영상을 생성하는 장치 및 방법
US13/067,449 US20120105601A1 (en) 2010-10-27 2011-06-01 Apparatus and method for creating three-dimensional panoramic image by using single camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100105124A KR20120046802A (ko) 2010-10-27 2010-10-27 하나의 카메라를 이용하여 3차원 파노라마 영상을 생성하는 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20120046802A true KR20120046802A (ko) 2012-05-11

Family

ID=45996273

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100105124A KR20120046802A (ko) 2010-10-27 2010-10-27 하나의 카메라를 이용하여 3차원 파노라마 영상을 생성하는 장치 및 방법

Country Status (2)

Country Link
US (1) US20120105601A1 (ko)
KR (1) KR20120046802A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017126802A1 (en) * 2016-01-22 2017-07-27 Lg Electronics Inc. Mobile terminal and operating method thereof

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9792012B2 (en) 2009-10-01 2017-10-17 Mobile Imaging In Sweden Ab Method relating to digital images
CN103189796B (zh) * 2010-09-20 2015-11-25 瑞典移动影像股份公司 用于形成图像的方法
US20130107008A1 (en) * 2011-10-31 2013-05-02 Nokia Corporation Method, apparatus and computer program product for capturing images
US9836483B1 (en) * 2012-08-29 2017-12-05 Google Llc Using a mobile device for coarse shape matching against cloud-based 3D model database
US10096130B2 (en) 2015-09-22 2018-10-09 Facebook, Inc. Systems and methods for content streaming
US9858706B2 (en) * 2015-09-22 2018-01-02 Facebook, Inc. Systems and methods for content streaming
CN106548516B (zh) * 2015-09-23 2021-05-14 清华大学 三维漫游方法和装置
WO2017056942A1 (ja) * 2015-09-30 2017-04-06 富士フイルム株式会社 画像処理装置及び撮像装置及び画像処理方法及びプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5185667A (en) * 1991-05-13 1993-02-09 Telerobotics International, Inc. Omniview motionless camera orientation system
US6389179B1 (en) * 1996-05-28 2002-05-14 Canon Kabushiki Kaisha Image combining apparatus using a combining algorithm selected based on an image sensing condition corresponding to each stored image
JP2003524927A (ja) * 1998-09-17 2003-08-19 イッサム リサーチ ディベロップメント カンパニー オブ ザ ヘブリュー ユニバーシティ オブ エルサレム パノラマ画像および動画を生成し表示するためのシステムおよび方法
US7194112B2 (en) * 2001-03-12 2007-03-20 Eastman Kodak Company Three dimensional spatial panorama formation with a range imaging system
WO2003027766A2 (en) * 2001-09-27 2003-04-03 Eyesee360, Inc. System and method for panoramic imaging
US7010158B2 (en) * 2001-11-13 2006-03-07 Eastman Kodak Company Method and apparatus for three-dimensional scene modeling and reconstruction
US7463280B2 (en) * 2003-06-03 2008-12-09 Steuart Iii Leonard P Digital 3D/360 degree camera system
GB2410639A (en) * 2004-01-30 2005-08-03 Hewlett Packard Development Co Viewfinder alteration for panoramic imaging
US8982181B2 (en) * 2006-06-13 2015-03-17 Newbery Revocable Trust Indenture Digital stereo photographic system
KR100796849B1 (ko) * 2006-09-04 2008-01-22 삼성전자주식회사 휴대 단말기용 파노라마 모자이크 사진 촬영 방법
US8306366B2 (en) * 2007-08-23 2012-11-06 Samsung Electronics Co., Ltd. Method and apparatus for extracting feature points from digital image
JP4656216B2 (ja) * 2008-09-04 2011-03-23 ソニー株式会社 撮像装置、画像処理装置、画像処理方法、プログラム及び記録媒体
JP4962460B2 (ja) * 2008-10-03 2012-06-27 ソニー株式会社 撮像装置、撮像方法、およびプログラム
JP5127787B2 (ja) * 2009-07-30 2013-01-23 富士フイルム株式会社 複眼撮影装置及びその制御方法
KR101783000B1 (ko) * 2011-07-19 2017-09-28 삼성전자주식회사 복수의 3차원 볼륨 영상들을 이용하여 3차원 볼륨 파노라마 영상 생성 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017126802A1 (en) * 2016-01-22 2017-07-27 Lg Electronics Inc. Mobile terminal and operating method thereof

Also Published As

Publication number Publication date
US20120105601A1 (en) 2012-05-03

Similar Documents

Publication Publication Date Title
KR20120046802A (ko) 하나의 카메라를 이용하여 3차원 파노라마 영상을 생성하는 장치 및 방법
KR101818778B1 (ko) 실감 파노라마 영상 생성을 위한 3ｄ 데이터 포맷 생성／소비 장치 및 방법
KR102013978B1 (ko) 이미지들의 융합을 위한 방법 및 장치
EP2640063B1 (en) Image processing apparatus and method
US9584723B2 (en) Apparatus and method for creating panorama
KR101804199B1 (ko) 입체 파노라마 영상을 생성하는 장치 및 방법
WO2012153447A1 (ja) 画像処理装置、映像処理方法、プログラム、集積回路
JP5133472B2 (ja) 立体映像出力装置及び立体映像出力方法
JP2009244502A (ja) 画像処理装置、画像表示装置、撮像装置及び画像処理方法
US8750600B2 (en) Apparatus and method for generating three-dimensional (3D) zoom image of stereo camera
KR102082300B1 (ko) 삼차원 영상 생성 또는 재생을 위한 장치 및 방법
WO2013120308A1 (zh) 一种三维显示方法及系统
JP2022174085A (ja) 場面の積層深度データを生成するための方法
JP2016504828A (ja) 単一のカメラを用いて３ｄ画像を取り込む方法およびシステム
CN104463958A (zh) 基于视差图融合的三维超分辨率方法
Wang et al. A common feature-based disparity control strategy in stereoscopic panorama generation
KR101142873B1 (ko) 입체 영상 생성 방법 및 장치
JP2021002783A (ja) 奥行きマップ生成装置及びそのプログラム、並びに、立体画像生成装置
JP2007194694A (ja) 立体映像撮影装置並びにそのプログラム
KR20130070034A (ko) 스마트폰을 이용한 입체이미지 촬영 장치 및 그 방법
JP2011010010A (ja) 画像再生装置及び撮像装置

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid