KR100551107B1 - 가상 현실 구현을 위한 실사 이미지 합성 방법 - Google Patents

가상 현실 구현을 위한 실사 이미지 합성 방법 Download PDF

Info

Publication number
KR100551107B1
KR100551107B1 KR1020030044885A KR20030044885A KR100551107B1 KR 100551107 B1 KR100551107 B1 KR 100551107B1 KR 1020030044885 A KR1020030044885 A KR 1020030044885A KR 20030044885 A KR20030044885 A KR 20030044885A KR 100551107 B1 KR100551107 B1 KR 100551107B1
Authority
KR
South Korea
Prior art keywords
image
camera
images
view
photographing
Prior art date
Application number
KR1020030044885A
Other languages
English (en)
Other versions
KR20040080318A (ko
Inventor
박배억
Original Assignee
박배억
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 박배억 filed Critical 박배억
Priority to KR1020030044885A priority Critical patent/KR100551107B1/ko
Publication of KR20040080318A publication Critical patent/KR20040080318A/ko
Application granted granted Critical
Publication of KR100551107B1 publication Critical patent/KR100551107B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

본 발명은, 원근감을 부여하는 방향으로는 카메라의 촬영 화각이 영이 되도록 설정하고, 상기 원근감 부여 방향과 직각을 이루는 회전방향에 대해서는 촬영 화각이 양의 값을 가지도록 설정하는 단계; 상기 원근감을 부여하는 방향으로 카메라를 소정 간격으로 이동시키는 동시에 회전시킴으로써 간헐적이고도 연속적으로 실제 공간을 촬영하여 복수의 소스 이미지를 생성하는 단계; 상기 회전방향으로 소스 이미지 상호간의 중복 영역을 제거하고 이를 합성하여 각각의 열 이미지를 얻는 단계; 및 상기 원근감을 부여하는 방향으로 각 열 이미지 상호간의 중복 영역을 제거하고 이를 합성하는 단계;를 포함하는 실사 이미지 합성 방법에 관한 것이다.
가상현실, 이미지합성

Description

가상 현실 구현을 위한 실사 이미지 합성 방법 {method for merging photographic images to implement virtual realty}
도 1a는 종래의 광학 카메라의 측방향 위치이동에 따라 촬영된 합성 이미지의 왜곡을 보여주는 개략도이다.
도 1b는 종래의 광학 카메라의 전후방향 위치이동에 따라 촬영된 합성 이미지의 왜곡을 보여주는 개략도이다.
도 2는 본 발명의 바람직한 실시예에 따른 광학 튜브 조립체의 구조를 보여주는 분해 사시도이다.
도 3은 본 발명의 바람직한 실시예에 따른 광학 튜브 조립체의 구조를 보여주는 측단면도이다.
도 4a 내지 도 4c는 본 발명의 바람직한 실시예에 따른 광학 튜브 조립체의 렌즈 배치를 나타낸 것으로서, 도 4a는 화각Θ이 영(zero)인 경우를, 도 4b는 화각Θ이 양인 경우를, 도 4c는 화각Θ이 음인 경우를 각각 나타낸다.
도 5a는 본 발명의 바람직한 실시예에 따른 광학 튜브 조립체를 채용한 카메라를 이용하여 측방향 위치이동에 따라 촬영된 이미지를 합성하는 예를 보여주는 개략도이다.
도 5b는 본 발명의 바람직한 실시예에 따른 광학 튜브 조립체를 채용한 카메 라를 이용하여 전후방향 위치이동에 따라 촬영된 이미지를 합성하는 예를 보여주는 개략도이다.
도 6은 본 발명의 또 다른 실시예에 따른 광학 튜브 조립체에 채용된 렌즈의 배열을 도식적으로 보여주는 사시도이다.
도 7a은 본 발명의 또 다른 실시예에 따른 광학 튜브 조립체를 채용한 카메라를 이용하여 파노라마 전경을 합성하는 예를 보여주는 개략도이다.
도 7b는 본 발명의 또 다른 실시예에 따른 광학 튜브 조립체를 채용한 카메라를 이용하여 오브젝트 이미지를 합성하는 예를 보여주는 개략도이다.
도 8은 본 발명의 또 다른 실시예에 따라 이미지를 촬영하는 과정을 설명하기 위한 3차원 실제 공간의 개략적인 평면도이다.
도 9는 본 발명의 바람직한 실시예에 따른 광학 튜브 조립체를 채용한 카메라를 이용하여 소스 이미지를 촬영하는 예를 보여주는 도면이다.
도 10은 본 발명의 바람직한 실시예에 따라 3차원 실제 공간을 촬영하는 방법을 설명하기 위한 도면이다.
도 11은 본 발명의 바람직한 실시예에 따라 소스 이미지들을 합성하는 예를 설명하기 위한 도면이다.
도 12는 본 발명의 바람직한 실시예에 따라 도 11의 합성 이미지를 이용하여 가상 현실 공간을 구현하는 예를 설명하기 위한 도면이다.
도 13은 본 발명의 바람직한 실시예에 따라 전방향 파노라마 이미지를 육면체로 합성한 예를 보여주는 도면이다.
도 14는 도 13에 도시된 육면체 합성 이미지에 대한 전개도를 개략적으로 도시한 도면이다.
도 15는 본 발명의 바람직한 실시예에 따라 파노라마 이미지와 각각의 열 이미지를 합성한 예를 보여주는 도면이다.
도 16은 본 발명의 바람직한 실시예에 따라 도 15의 합성 이미지를 이용하여 가상 현실 공간을 구현하는 예를 설명하기 위한 도면이다.
도 17은 본 발명의 바람직한 실시예에 따라 모니터 화면 상에 가상 현실 공간을 디스플레이하는 예를 보여주는 도면이다.
도 18a 및 도 18b는 본 발명의 또 다른 바람직한 실시예에 따른 광학 튜브 조립체를 채용한 카메라를 이용하여 소스 이미지를 촬영하는 예를 보여주는 도면이다.
도 19는 본 발명의 또 다른 바람직한 실시예에 따라 이미지를 촬영하는 과정을 설명하기 위한 3차원 실제 공간의 개략적인 평면도이다.
도 20은 본 발명의 또 다른 바람직한 실시예에 따라 파노라마 이미지와 각각의 열 이미지를 합성한 예를 보여주는 도면이다.
본 발명은 가상 현실 구현을 위한 실사 이미지 합성 방법에 관한 것이다. 더욱 구체적으로, 본 발명은 카메라로 촬영된 다수의 이미지를 서로 합성함에 있어 서 이미지의 경계 영역에서 발생하는 왜곡(distortion)과 불일치(mis-match)를 해소하도록 하는 실사 이미지 합성 방법에 관한 것이다.
최근 월드와이드웹(WWW)은 3차원 가상공간을 표현하는 기술언어(description language)의 개발과 발전으로 그 응용이 더욱 확대되고 있다. 예를 들어, 사용자는 마치 현실 세계에 있는 것처럼 가상 공간 속의 거리를 걷거나 상점을 방문하여 물건을 구매할 수 있다. 이러한 가상공간의 실현을 가능케하는 소위 VRML(Vurtual Reality Modeling Language)에 대한 기술은 마크(Mark Pesco)가 저술한 Learn About VRML: Building and Browsing Three-Dimensional Computer space"[1st ed. 1996.3.25, Prentis Hall] 등에 잘 나타나 있다. 이러한 VRML 기술을 이용해 가상 공간을 구현하기 위해서는 3차원 랜더링(Rendering)기술이나 택스쳐 맵핑(Texture mapping)과 같은 고도의 기술들이 요구된다.
사용자에게 보다 현실감을 부여하기 위해서 3차원 가상 공간의 구현은 실제 공간을 기반으로 이루어질 필요가 있다. 실제 공간을 가상 공간으로 옮기는 전형적인 방법은 광학적 카메라로 촬영한 다수의 실사 이미지(photographic image)를 합성하는 것이다. 실사 이미지 기반 가상 현실(photographic image based virtual reality)은 디지털화된 다수의 실사 이미지를 사용자가 선택하는 대로, 즉 사용자가 움직이는 대로 신속하게 보여줌으로써 사용자의 입장에서는 마치 실제 공간을 바라보는 듯한 느낌을 갖도록 하는 것이다. 상기와 같이, 실사 이미지 기반의 가상 현실은, 실사 이미지 각각이 이미 광학적 원근감을 가지고 있으므로 별도의 작업없이 손쉽게 원근감을 달성할 수 있어서, 현실감이 상대적으로 떨어지는 애니메 이션에 비해서 유리하다.
일반적으로, 실사 이미지 기반 가상 현실 구현 방법에는 파노라마(panorama) 방식과 오브젝트(object) 방식이 있다. 전자는 일정한 높이에 유지되는 카메라로 실제 광경을 360도 회전하면서 여러 장의 사진으로 나누어 촬영한 후, 실사 이미지의 중복 부분을 제거하도록 스티칭(stiching)함으로써 기다란 한 장의 파노라마 이미지를 생성하는 것이다. 이미지의 스티칭은 라이브 픽처사(LivePicture)의 포토비스타(Photo Vista), 안루트이매징사(Enroute imaging)의 퀵스티치(Quick Stitch), 및 파나뷰사(PanaView)의 비쥬얼스티처(Visual Stitcher) 등과 같은 프로그램을 사용하여 달성될 수 있다. 이와 같이 생성된 파노라마 이미지는 웹브라우저에 해당 플러그인을 삽입하거나 자바를 실행시켜 디스플레이 될 수 있는데, 사용자가 마치 고개를 회전시켜 실제 광경을 바라보는 듯한 느낌을 주게 된다. 한편, 후자는 피사체(object)를 중심으로 카메라를 360도 회전시키면서 촬영한 후, 오브젝트용 프로그램을 사용하여 이미지를 합성하는 방법이다. 이러한 오브젝트용 스티칭 프로그램으로는 라이브 픽처사의 리얼리티 스튜디오(Reality Studio)나 애플사의 퀵타임브이알(QuickTime VR) 등이 있다.
파노라마 이미지나 오브젝트 이미지 외에 가상 현실 속의 사용자가 거리를 걷거나 방향을 전환하는 등 움직임에 따라서 끊임없이 이미지가 확대 또는 축소되거나 변화되는 것도 실사 이미지를 기반으로 달성될 수 있다. 본 발명자는 대한민국 특허출원 제10-2002-08817호에서 광학적 카메라로 촬영된 복수의 실사 이미지를 합성하여 가상 공간을 구현하는 방법을 제시한 바 있다. 상기 방법에 따르면, 광 학적 카메라에 의해 실제 공간을 촬영하여 얻어진 복수의 소스 이미지는 상호 연속성을 유지하도록 소정 크기로 절단된 후, 상기 소스 이미지들에 대응하는 상호 소정의 축소율을 가지는 서브프레임으로 생성된다. 그리고, 사용자가 마우스로 클릭하는 등 이벤트 신호를 입력하면 사용자가 시청하는 모니터 상에서 상기 서브프레임들이 이동하면서 그에 대응하는 이미지들이 확대 또는 축소됨으로써 가상 공간을 디스플레이 하게 된다.
전술한 바와 같이, 실사 이미지 기반의 가상 현실 구현에 있어서 공통적으로 수행되는 작업은 카메라에 의해 촬영된 실사 이미지를 스티칭하는 것이다. 전술한 스티처(stitcher) 프로그램들은 다양한 이미지들을 결합하여 최고 360도까지 이르는 하나의 광범위한 전경(omniview)을 만들어준다. 스티칭 프로세스는 상호 중복되는 연속적인 이미지들 사이의 카메라 각도와 틸트의 보정, 이미지 정렬 및 텍스쳐 맵핑(texture mapping)과 같은 다양한 단계들을 포함한다. 또한, 스티칭 프로그램은 다양한 선형(linear) 이미지들을 구(sphere), 원통형(cylinder) 또는 육면체(cube) 형태로 투사할 수 있다. 이때, 각각의 이미지들은 왜곡되거나 불일치(mis-match)됨이 없이 연결되는 것이 중요하다. 실사 이미지의 합성시에 발생하는 왜곡은 광학적 카메라의 화각에서 비롯되는데, 이를 구체적으로 설명하기 위해 도 1a 및 도 1b를 참조한다.
도 1a는 화각Θ을 가진 광학적 카메라(Co)를 사용하여 위치(PL)에서 이미지(IL)를 촬영하고, 다시 카메라(Co)를 위치(PR)로 수평 측방향으로 이동시켜 이미지(IR)를 촬영한 예를 보여준다. 두 위치(PL)(PR)에서 모두 촬영된 피사체(Ob)에 대해서 각각의 이미지(IL)(IR)에 투사된 모습은 참조부호 OL 및 O R로 표시되어 있다. 이를 참조하면, 이미지(IL)에서는 정면을 기준으로 피사체(Ob)가 왼쪽으로 치우쳐 촬영되었고, 반면에 이미지(IR)에서는 피사체(Ob)가 오른쪽으로 치우쳐 촬영되었다. 따라서, 각각의 이미지(IL)(IR)를 단순히 화소 정보에 따라 중복되는 부분을 제거하고 스티칭하여 합성할 경우 합성된 이미지에서 피사체(Ob)는 실제 모습과는 다르게 왜곡되어 나타나게 된다.
이와 같은 이미지의 왜곡은 카메라의 측방향 이동 뿐만 아니라 전후방향 이동시에도 동일하게 나타나게 되는데 이것은 도 1b에 도시되어 있다. 카메라(Co)에 의해 위치(PB)에서 피사체(Ob)를 포함하는 광경을 촬영하여 이미지(IB )를 얻고, 다시 카메라(Co)를 소정 거리 전진시켜 위치(PF)에서 이미지(IF)를 촬영하였다. 이 경우 두 이미지(IB)(IF)를 소정 축소율에 따라 중복되는 부분을 제거하고 합성할 경우 도 1a의 경우와 마찬가지로 피사체를 포함한 이미지에 왜곡이 일어남을 확인할 수 있다.
위와 같은 이미지의 왜곡과 불일치는 광학적 카메라가 화각을 가지고 있기 때문에 필연적으로 발생하는 문제이다. 다시 말해, 카메라가 화각을 가짐으로 인해서, 피사체에 대한 카메라의 위치가 변화되면 그에 따라 피사체로부터 카메라로 입사되는 최단 입사각도가 함께 변하게 되므로, 각각 서로 다른 촬영 각도로 촬영된 복수의 이미지들을 합성하는 경우 이미지의 왜곡은 막을 수가 없게 되는 것이다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 창안된 것으로서, 실사 이미지 기반의 가상 현실을 구현함에 있어서, 촬영된 실사 이미지를 왜곡없이 합성하는 실사 이미지 합성 방법을 제공하는데 그 목적이 있다.
상기와 같은 목적을 달성하기 위해 본 발명에 따른 실사 이미지 합성 방법은,
촬영 화각이 영(zero)인 상태로 그 이미지의 일부가 중복되도록 복수의 실사 이미지를 촬영하는 단계;
상기 촬영된 실사 이미지를 디지털화하는 단계; 및
상기 중복 영역을 제거하고 디지털화된 실사 이미지를 합성하는 단계;를 포함한다.
본 발명의 또 다른 측면에 따르면,
촬영 화각이 음의 값인 상태로 피사체를 중심으로 회전하면서 그 이미지의 일부가 중복되도록 복수의 오브젝트 소스 이미지를 촬영하는 단계;
상기 촬영된 오브젝트 소스 이미지를 디지털화하는 단계; 및
상기 오브젝트 소스 이미지의 중복 영역을 제거하고 오브젝트 이미지로 합성 하는 단계;를 포함하는 실사 이미지 합성 방법이 제공된다.
본 발명의 또 다른 측면에 따르면,
원근감을 부여하는 방향으로는 카메라의 촬영 화각이 영이 되도록 설정하고, 상기 원근감 부여 방향과 직각을 이루는 회전방향에 대해서는 촬영 화각이 양의 값을 가지도록 설정하는 단계;
상기 원근감을 부여하는 방향으로 카메라를 소정 간격으로 이동시키는 동시에 회전시킴으로써 간헐적이고도 연속적으로 실제 공간을 촬영하여 복수의 소스 이미지를 생성하는 단계;
상기 회전방향으로 소스 이미지 상호간의 중복 영역을 제거하고 이를 합성하여 각각의 열 이미지를 얻는 단계; 및
상기 원근감을 부여하는 방향으로 각 열 이미지 상호간의 중복 영역을 제거하고 이를 합성하는 단계;를 포함하는 실사 이미지 합성 방법이 제공된다.
바람직하게, 상기 실제 공간 촬영시에 피사체에 대한 촬영 각도가 0 ~ 90도 사이에서 선택적으로 설정된다.
바람직하게, 본 발명의 실사 이미지 합성 방법은,
상기 최초의 열 이미지를 촬영하는 위치에서 전(全)방향으로 실제 공간을 촬영하여 복수의 실사 이미지를 생성하는 단계;
상기 촬영된 실사 이미지를 디지털화하는 단계; 상기 디지털화된 실사 이미지를 스티칭하여 노라마 이미지를 생성하는 단계; 및
피사체에 대한 촬영 입사광의 각도가 동일한 위치에서 형성되는 파노라마 이 미지와 단부열 이미지의 경계선을 따라서 상기 파노라마 이미지와 단부열 이미지를 합성하는 단계;를 더 포함한다.
그러면, 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
본 발명에 따르면, 실제 공간의 이미지는 합성시 왜곡이 발생하지 않도록 설계된 광학 튜브 조립체를 사용하여 촬영된다. 이러한 광학 튜브 조립체는 통상적인 화각을 가진 일반 카메라에 간단히 부착되어 사용될 수 있다.
본 발명의 바람직한 실시예에 따른 광학 튜브 조립체가 도 2 및 도 3에 도시되어 있다. 도면들을 참조하면, 본 발명의 광학 튜브 조립체는 렌즈와 기타 구성품들을 내장하는 원통형 케이스(10)를 포함한다.
본 발명에 따르면, 상기 원통형 케이스(10) 내부에는 입사되는 광경로를 변환시키는 복수 개의 렌즈가 구비된다. 본 실시예에서, 상기 렌즈는 입사광을 집속하는 볼록렌즈(20)와 입사광을 발산시키는 오목렌즈(30)로 구성된다. 바람직하게, 상기 볼록렌즈(20)와 오목렌즈(30)는 그 외주가 지지링(21)(31)과 결합링(22)(32)에 의해 그리핑되어 상기 케이스(10)의 내부에 설치된다. 후술하는 바와 같이, 적절한 광경로를 형성하기 위하여 상기 원통형 케이스(10)로 입사된 광이 상기 볼록렌즈(20)에 의해 집속된 후 다시 오목렌즈(30)에 의해 굴절되어 카메라(1)의 대물렌즈 경통(2)의 개구를 통해 입사되도록, 상기 볼록렌즈(20)와 오목렌즈(30)는 상호 소정간격 이격된 채로 순차적으로 배열된다. 참조부호 40은 상기 원통형 케이스(10)의 후단에 결합되는 링캡이다.
본 발명에 따른 광학 튜브 조립체는 통상적인 카메라의 대물렌즈 경통(2)에 착탈가능하도록 결합되어 사용되는데, 이러한 결합은 카메라 필터를 결합하는 방식과 같이 이미 알려진 통상적인 수단에 의해 달성될 수 있다. 본 실시예에 따르면, 오목렌즈(30)를 지지하는 지지링(31)에 나사산을 가진 돌출부(31b)가 형성되고, 이 돌출부(31b)가 카메라(1)의 대물렌즈 경통(2) 전단부 내주면에 형성된 나사산에 결합됨으로써, 상기 광학 튜브 조립체가 카메라에 결합될 수 있다. 광학 튜브 조립체를 카메라의 대물렌즈 경통에 결합하는 방식은 본 실시예에 의해 제한되지 않으며 다양한 변형예가 채용될 수 있는 것으로 이해되어야 한다.
본 발명에 따르면 상기 렌즈들은, 피사체(미도시) 또는 광경에 대한 촬영 화각Θ이 영(zero)이 되도록 구성된다. 본 명세서 및 특허청구범위에서 사용된 "화각"이란 피사체 또는 광경을 촬영함에 있어서 카메라가 가지는 시야각 또는 촬영각으로 정의된다. 구체적으로, 촬영 화각Θ이 양의 값을 가지는 카메라는 대물렌즈 또는 렌즈 경통의 단면적보다 큰 범위에 걸쳐서 보이는 광경을 촬영할 수 있는데, 이것은 통상적인 종래의 카메라에 해당한다. 즉, 피사체로부터 대물렌즈로 집속되는 입사광이 카메라의 필름에 투영된다. 예를 들어, 화각Θ이 180도인 어안렌즈(fisheye lense)의 경우 반구에 해당하는 전경(entire hemispherical view)을 단일 이미지로 촬영할 수 있다. 반면, 화각Θ이 음의 값을 가지는 카메라는 대물렌즈 또는 렌즈 경통의 단면적보다 작은 범위에 걸쳐서 보이는 광경만을 촬영할 수 있다. 즉, 피사체로부터 대물렌즈로 발산하는 입사광이 카메라의 필름에 투영된다. 또한, 화각Θ이 영(zero)인 경우에는 대물렌즈 또는 렌즈 경통의 단면적과 동일한 면적에 걸쳐서 보이는 광경만이 촬영된다. 이것은 피사체로부터 평행하게 입사되는 광만이 카메라의 필름에 투영되는 것을 의미한다.
본 발명에 따른 광학 튜브 조립체에 채용되는 렌즈의 배열 구조가 도 4a에 도시되어 있다. 본 도면에서는 설명의 편의를 위해 렌즈만을 도식적으로 나타내었으며 기타 부품들은 생략하였다. 도면을 참조하면, 볼록렌즈(20)와 오목렌즈(30)는 본 발명에 따른 광학 튜브 조립체의 화각Θ이 영이 되도록 배열된다. 즉, 상기 볼록렌즈(20)와 오목렌즈(30)는 거리(Do)만큼 이격되어 위치함으로써 피사체 또는 광경으로부터 평행하게 입사되는 광만이 카메라의 필름에 맺히도록 광경로를 변환하고 집속광이나 발산광에 대해서는 이를 카메라의 필름에 투영되지 않도록 한다. 따라서, 본 발명에 따른 광학 튜브 조립체의 촬영 화각Θ은 영이며, 이러한 광학 튜브 조립체를 부착한 카메라는 상기 광학 튜브 카메라 렌즈의 면적 또는 원통형 케이스의 단면적에 해당하는 범위에 걸쳐 보이는 전경만을 촬영할 수 있다. 상기 렌즈 사이의 거리(Do)는 렌즈 각각의 초점거리로부터 화각Θ이 영이 되도록 계산되 어 설정될 수 있다. 비록 본 실시예에서 볼록렌즈와 오목렌즈 각각을 예로 들어 렌즈의 구조가 설명되었으나, 본 발명에 따른 렌즈 구성은 이것에 한정되지 않고 광학 튜브 조립체의 화각Θ을 영으로 만들 수 있는 어떠한 구조의 다양한 렌즈 배열도 포함하는 것으로 이해되어야 한다. 예를 들어, 세 개 이상의 렌즈를 적절히 배치함으로써 화각Θ이 영이 되도록 할 수 있다.
그러면, 상기와 같은 구조를 가진 본 발명의 광학 튜브 조립체를 채용한 카메라로 실제 광경을 촬영할 경우 얻어지는 이미지에 대해서 설명하기로 한다. 도 5a는 본 발명에 따른 광학 튜브 조립체를 채용한 카메라로 수평 측방향 이동에 따라 이미지 촬영을 한 결과를 보여준다. 여기에서, 편의를 위해 카메라와 기타 구성요소들은 도시를 생략하였다. 도면을 참조하면, 상기 광학 튜브 조립체의 화각Θ이 0도이므로, 위치(PL)에서 카메라에 의해 촬영된 이미지(I'L)는 피사체로부터 렌즈(20)로 평행하게 입사하는 광에 해당하는 영역이다. 또한 카메라를 위치(PR)로 이동시킨 다음 촬영한 이미지(I'R)도 피사체로부터 렌즈(20)로 평행하게 입사하는 광에 해당하는 영역이다. 따라서, 특정 피사체(O)는 카메라가 측방향으로 수평이동하더라도 항상 정면의 모습만이 촬영되며 종래의 카메라에서 처럼 한 쪽 측면으로 치우쳐서 촬영되지 않는다. 그 결과, 서로 다른 위치에서 촬영한 두 개의 이미지(I'L)(I'R)의 중복 영역을 제거하고 합성하더라도 이미지의 왜곡이 전혀 발생하지 않게 된다.
도 5b는 본 발명의 광학 튜브 조립체를 채용한 카메라의 앞뒤 방향 이동에 따른 이미지의 촬영을 보여준다. 도시된 바와 같이, 위치(PB)(PF)에서 촬영한 이미지(I'B)(I'F)는 모두 피사체로부터 렌즈로 평행하게 입사한 광이 필름에 투영된 모습이다. 따라서, 이 경우에도 전술한 경우와 마찬가지로 카메라가 위치(PB)에서 위치(PF)로 전진하더라도 피사체(Ob)는 항상 일측면만이 촬영될 뿐이고 한 쪽으로 치우쳐 촬영되지 않는다.
본 발명의 바람직한 일 실시예에 따르면, 상기 렌즈는 도 6에 도시된 바와 같이 평실린더형 렌즈(Plano-cylindrical lense)로 구성될 수 있다. 도시된 렌즈는 평실린더형 오목렌즈(20')와 평실린더형 볼록렌즈(30')로 구성되어 있다. 알려진 바와 같이, 평실린더형 렌즈는 점이미지(point imgae)를 선이미지(line image)로 변환하는데 사용되는 것으로서 레이저 프린터와 같이 선 스캐닝 조명(line-detector-array illumination)에 널리 사용된다.
평실린더형 오목렌즈(20')와 볼록렌즈(30')가 도 6과 같이 수평으로 배치된 상태에서는 폭(W)은 변화가 없이 길이(L)만 변화된 채로 피사체를 촬영할 수 있다. 다시 말해, 상기와 같은 평실린더형 렌즈(20')(30')를 구비한 본 발명의 광학 튜브 조립체는 피사체의 폭(W) 방향으로는 화각Θ이 영이 되며, 피사체의 길이(L) 방향으로는 화각Θ이 양의 값을 가지게 된다.
본 발명의 또 다른 바람직한 실시예의 광학 튜브 조립체에 따르면, 광경로를 변환하는 렌즈들 중 적어도 하나는 화각Θ을 조정하기 위해 그 위치가 변환될 수 있다. 이를 위해, 본 발명의 광학 튜브 조립체는 상기 렌즈 중 적어도 하나의 위 치를 이동시키기 위한 수단을 구비하는데, 그 중의 일 예가 도 2 및 도 3에 도시되어 있다.
도면들을 참조하면, 상기 이동수단은, 상기 원통형 케이스(10) 내부에 설치되며 길이방향으로 복수의 장공(11a)이 형성되어 있는 내부 원통(11)과, 상기 볼록렌즈(20)를 지지하는 지지링(21)의 외주면에 돌출되며 상면에는 랙부가 형성되어 있는 돌출부(21a)를 포함한다. 상기 내부 원통(11)은 원통형 케이스(10)의 내경 보다는 작고 상기 지지링(21)의 외경보다는 커서, 상기 지지링(21)이 상기 내부 원통(11) 내에 설치될 때, 상기 돌출부(21a)가 장공(11a)내에 위치하여 길이 방향으로 슬라이딩 가능하게 결합된다. 이때, 상기 원통형 케이스(10)의 내주면에는 나사산(10a)이 형성되어 상기 돌출부(21a)의 랙부와 나사 결합하게 된다. 그런 다음, 오목렌즈(30)를 지지하는 지지링(31)을 내부 원통(11)의 후단부에 끼우고 나사(14)를 결합공(31a)에 결합시킴으로써 체결한다. 상기 원통형 케이스(10) 내부에 삽입된 내부 원통(11)은 원통형 케이스(10)의 후단부에 형성된 결합공(10b)에 나사(41)에 의해 결합된 체결 플랜지(40)로 지지된다.
이와 같은 결합 상태에서, 상기 원통형 케이스(10)를 회전시키면 그 내주면에 형성된 나사산(10a)과 지지링(21)의 돌출부(21a)에 형성된 랙부에 의해 원통형 케이스(10)의 회전운동은 지지링(21) 및 이것에 의해 지지되는 볼록렌즈(20)의 직선 왕복 운동으로 변환된다. 따라서, 사용자가 상기 원통형 케이스(10)를 시계방향 또는 역방향으로 회전시키게 되면, 상기 돌출부(21a)가 내부 원통(11)의 장공(11a)을 따라 슬라이딩하면서 왕복 운동하게 되고, 그에 따라 상기 볼록렌즈(20)가, 상기 고정된 오목렌즈(30)에 대해서 상대적으로 멀어지거나 가까워지게 된다. 바람직하게, 상기 원통형 케이스(10)를 회전시킬 때, 미끄럼을 방지하기 위해 원통형 케이스(10)의 외주면에는 고무와 같은 탄성부재(13)가 더 구비될 수 있다.
비록 본 명세서에서 특정한 도면과 실시예에 따라 상기 렌즈의 이동수단을 설명하였으나, 상기 이동수단은 이것에 한정되지 않고 알려진 수단을 이용한 렌즈 상호간의 거리를 변화시키는 어떠한 변형예도 채용가능한 것으로 이해되어야 한다.
본 발명의 광학 튜브 조립체에 따르면, 상기 렌즈들의 상대적인 거리에 따라서 화각Θ이 조정될 수 있는데, 그 예가 도 4a 내지 도 4c에 도시되어 있다.
도 4a는 전술한 바와 같이, 화각Θ이 영이 되는 경우의 렌즈 배열을 나타낸다. 즉, 렌즈(20)(30) 상호간의 거리(Do)는 화각Θ이 영이 되도록 설정되어 있다.
도 4b는 화각Θ이 양의 값을 가지는 경우를 나타낸다. 즉, 도 1에 도시된 광학 튜브 조립체의 원통형 케이스(10)를 일방향으로 회전시켜 일 렌즈(즉, 볼록렌즈)(20)를 타 렌즈(즉, 오목렌즈)(30)로 접근시키면 광경로가 변환되면서 화각Θ이 양의 값으로 변하게 된다. 이 경우 렌즈(20)(30) 사이의 거리 D1 < Do가 된다.
반면에, 도 4c는 화각Θ이 음의 값을 가지는 경우를 나타낸다. 즉, 광학 튜브 조립체의 원통형 케이스(10)를 역방향으로 회전시켜 일 렌즈(즉, 볼록렌즈)(20)를 타 렌즈(즉, 오목렌즈)(30)로부터 이격시키면 광경로가 변환되면서 화각Θ이 음의 값으로 변하게 된다. 이 경우 렌즈(20)(30) 사이의 거리 D2 > Do가 된다.
상기와 같은 구성을 가진 본 발명에 따른 광학 튜브 조립체는 원하는 합성 이미지의 종류에 따라서 선택적으로 화각Θ을 조절하여 사용할 수 있다. 예를 들어, 도 7a에 도시된 바와 같이, 파노라마 이미지를 합성하고자 하는 경우, 사용자는 본 발명의 광학 튜브 조립체를 카메라에 결합시킨 후, 렌즈 사이의 배열을 조정하여 화각Θ이 양의 값을 갖도록 할 수 있다. 그러면, 상기 중심(O)으로부터 상기 피사체로 입사되는 광은 수직이 되므로, 서로 다른 각도에서 각각 촬영된 두 개의 이미지(IΘ1)(IΘ2) 중에서 중복 이미지(IOV)를 제거하고 합성하더라도 이미지의 왜곡이 발생하지 않게 된다.
도 7b는 중심(O)에 위치하는 피사체의 바깥쪽에서 피사체를 중심으로 회전하면서 피사체를 연속적으로 촬영하여 오브젝트 소스 이미지를 얻는 예를 보여준다. 이 경우, 본 발명의 광학 튜브 조립체는 그 화각Θ이 음의 값을 가지도록 즉, 피사체와 렌즈를 잇는 광경로가 중심(O)을 지나도록 렌즈 배열이 조정된다. 그러면, 마찬가지로 카메라 렌즈(미도시)로부터 피사체로 입사되는 광은 수직이 되므로, 서로 다른 각도에서 각각 촬영된 두 개의 이미지(IΘ3)(IΘ4) 중에서 중복 이미지(I OV)를 제거하고 합성하더라도 합성된 오브젝트 이미지에는 왜곡이 발생하지 않게 된다.
그러면, 본 발명에 따른 광학 튜브 조립체를 사용하여 실제 공간을 촬영하고 그 촬영된 이미지를 합성하여 가상 공간을 만드는 방법에 대해서 설명하기로 한다.
도 8에는 위치(O1)에서 위치(O2)까지 이어지고, 다시 위치(O2)에서 직각으로 방향을 전환하여 위치(O3)까지 이어지는 복도와 같은 공간을 평면도로 간략하게 도시되어 있다. 본 발명에 따르면, 이상과 같은 복합 공간은 3차원 파노라마 이미지와 화각Θ이 영인 광학 튜브 조립체를 사용하여 촬영한 평행광 이미지를 합성함으로써 구현될 수 있다.
도 9는 본 발명의 바람직한 실시예에 따른 단위 평행광 이미지를 촬영하는 예를 보여준다. 상기 단위 평행광 이미지를 촬영하기 위해서, 일반적인 광학적 카메라에 본 발명의 광학 튜브 조립체를 부착한다. 그런 다음, 이동수단에 의해 렌즈간의 배열을 조정하여 도 4a에 도시된 바와 같이 화각Θ이 영이 되도록 렌즈 간격(D0)을 조정한다. 본 실시예에 사용된 렌즈는 평실린더형 렌즈(20')(30')이며, 이 경우 원근감을 주는 방향 즉, 상기 공간 내에서 사용자가 전진 및 후진하는 방향에 대해서 화각Θ이 영이 되도록 평실린더형 렌즈(20')(30')가 정렬된다. 다시 말해, 카메라(Co)에 촬영되는 단위 이미지(Iu)의 폭(W)방향은 원근감을 주는 방향, 예를 들어 복도 내에서 카메라(사용자)가 이동하는 방향과 일치하며, 이 방향에 대해서는 화각Θ이 영이 된다. 반면에, 상기 단위 이미지(Iu)의 폭(W)방향과 수직을 이루는 길이(L) 방향(곧 후술하는 바와같이 카메라의 회전방향)에 대한 화각Θ은 양의 값을 가지도록 하여 상대적으로 넓은 영역을 촬영할 수 있도록 한다. 상기 이미지(Iu)의 길이(L) 방향은 카메라가 촬영을 위해 회전하는 방향과 일치한다. 따라서 도 7a에서 예를 든 것과 마찬가지로 화각Θ이 양의 값을 가진 카메라를 중심에서 회전시키면서 촬영한 이미지들은 서로 합성하더라도 이미지의 왜곡이 없다.
상기와 같은 렌즈 배열을 가진 광학 튜브 조립체를 채용한 카메라로 도 8에 도시된 공간을 촬영하는 방법이 도 10에 도시되어 있다. 카메라(미도시)는 복도의 중심선(Lo) 상에 위치하며, 이때 광학 튜브 조립체의 렌즈들은 원근감을 주는 방향 즉, 복도의 중심선(Lo) 방향에 대해서는 화각Θ이 영이 되고, 그것에 수직인 측방향으로는 화각Θ이 양의 값을 가지도록 배열된다. 이때 카메라의 촬영 방향은 피사체의 표면과 직각을 이루며, 지표면과는 180도를 이룬다(도 9 참조).
이런 상태에서, 복도의 천정을 촬영하여 최초 열의 상부 소스 이미지(IS1-T)를 얻는다. 그런 다음, 카메라를 다시 측방향으로 90도 회전시켜 동일한 크기의 우측 소스 이미지(IS1-R)를 촬영한다. 다음으로, 카메라를 하방으로 회전시켜 하부 소스 이미지(IS1-B)를 촬영하고, 다시 회전한 다음 좌측 소스 이미지(IS1-L)를 촬영한다. 이와 같은 방식으로 상기 카메라를 전진 방향(원근감을 주는 방향)에 대해 직각으로 회전시키면서 복수의 제1열 소스 이미지(IS1-T)(IS1-R)(IS1-B)(I S1-L)를 얻을 수 있다. 본 실시예에서는 비록 네 개의 소스 이미지를 생성하는 것으로 설명되었으나, 당업자라면 카메라에 부착된 광학 튜브 조립체의 측방향 화각Θ에 따라서 카메라의 회전 각도와 촬영 이미지 수는 적절하게 조절될 수 있다는 것을 쉽게 이해할 수 있을 것이다.
제1열에 대한 촬영이 끝난 후, 카메라를 다시 중심선(Lo)을 따라 원근감을 주는 방향으로 전진시킨 다음 동일한 방식으로 제2열에 대한 소스 이미지(IS2-T)(IS2- R)(IS2-B)(IS2-L)를 얻는다. 이때, 바람직하게는, 촬영되지 않는 영역이 없도록 도 8의 점선으로 도시된 바와 같이 제1열 소스 이미지(IS1)와 제2열 소스 이미지(IS2)가 일부 중복되어 촬영될 수 있을 정도의 거리만큼 카메라를 전진시키게 된다.
이와 동일한 과정으로 카메라를 소정 간격 전진시키면서 간헐적이고도 연속적인 회전이미지들을 촬영하여 제3열 내지 제7열 소스 이미지(IS3-T)(IS3-R)(I S3-B)(IS3-L) 내지 (IS7-T)(IS7-R)(IS7-B)(IS7-L)를 생성한다. 본 명세서 및 특허청구범위에서 사용된 "간헐적이고도 연속적인 회전이미지"이란 의미는, 카메라가 소정 간격 단계적으로 전진하면서 적어도 그 일부가 중복되도록 카메라를 회전시켜 촬영한 복수의 이미지를 뜻하는 것으로 정의되고, 그러한 정의에 따라 해석되어야만 한다.
상기 소스 이미지(IS1-T) 내지 (IS7-L)들은 서로 중복된 영역이 제거된 뒤 도 11과 같은 배열을 가지도록 상호 합성 또는 스티칭된다. 구체적으로, 도 10에 도시된 각각의 열에 있어서, 예를 들어, 제1열의 상부, 우측, 하부 및 좌측 소스 이미지(IS1-T)(IS1-R)(IS1-B)(IS1-L)들 사이에 상호 중복되는 영역은 적절히 제거되어 서로 스티칭되는데, 이때 카메라의 화각Θ은 양의 값이므로, 카메라로부터 소스 이미지(IS1-T)(IS1-R)(IS1-B)(IS1-L) 각각에 입사되는 광은 항상 수직이 된다. 따라서, 소스 이미지(IS1-T)(IS1-R)(IS1-B)(IS1-L)의 중복되는 영역을 제거하고 서로 합성하더라도 이미지의 왜곡이 발생하지 않는다. 이와 같은 측방향 이미지 합성에 의해 각각 의 열에 대응하는 제1열 내지 제7열 이미지(I1) 내지 (I7)을 얻는다.
이어서, 상기 각각의 열 이미지(I1) 내지 (I7)들은 상호 전진 방향 즉, 원근감을 주는 방향으로 합성되는데, 이 경우에도 상호 중복되는 영역을 단순히 제거한 뒤 스티칭하기만 하면 된다. 여기서, 광학 튜브 조립체의 렌즈 배열에 의해 전진방향으로의 화각Θ이 영이 되므로, 카메라로부터 각각의 열 이미지(I1) 내지 (I7)에 입사되는 광은 항상 수직이 된다. 따라서, 동일한 피사체에 대해 비록 열이 다르다고 하더라도 어느 한측으로 치우쳐 촬영되지 않고 촬영 각도는 동일하므로, 각각의 열 이미지(I1) 내지 (I7)들을 단순히 스티칭하더라도 이미지의 왜곡은 발생하지 않게 된다.
도 11은 위와 같은 방식에 의해 각각의 소스 이미지들을 모두 합성하는 과정을 도식적으로 보여주고 있다. 도시된 바와 같이, 각각의 열 이미지(I1) 내지 (I7 )들과 상부, 우측, 하부 및 좌측 이미지(IT)(IR)(IB)(IL)들은 왜곡없이 합성될 수 있다. 이러한 이미지들의 스티칭은 이미 앞에서 예시하였듯이 이미 알려진 스티칭 프로그램에 의해 이루어질 수 있다. 이상과 같이, 합성된 이미지는 별도의 프로그램에 의해 예를 들어 도 12에 도시된 바와 같이 3차원 가상 공간으로 구성될 수 있다.
본 발명에 따르면, 화각Θ이 영인 광학 튜브 조립체를 사용하여 촬영한 이미지들은 통상적인 파노라마 이미지들과 합성되어 완전한 가상 현실 공간을 구현할 수 있다. 다시 도 8을 참조로 이를 설명하면, 파노라마 이미지를 얻기 위해 중심 위치(O1)에서 화각Θ이 양의 값을 가진 카메라를 사용하여 전방향으로 광경을 촬영하여 다수의 소스 이미지들을 얻는다. 이때의 촬영방법으로서, 예를 들어, 카메라를 지표면에 대해 수직 상방으로 향하게 한 다음 상부 소스 이미지를 촬영하고 다시 약 45도 기울인 다음 회전하면서 상부-중간 파노라마 소스 이미지들을 차례로 촬영한다. 다음으로, 카메라를 지표면과 평행하게 위치시킨 다음 회전하면서 중간 파노라마 소스 이미지들을 촬영하고, 다시 하방으로 45도 기울인 상태에서 회전하면서 하부-중간 파노라마 소스 이미지들을 얻고, 마지막으로 카메라를 바닥으로 향한 채 촬영하여 하부 소스 이미지를 촬영한다.
이러한 소스 이미지들은 디지털화된 다음 스티칭 프로그램에 의해 상호 합성된다. 바람직하게, 상기 파노라마 소스 이미지들은 합성된 후 도 13에 도시된 육면체로 변환될 수 있다. 예를 들어, 애플사의 퀵타임브이알(QuickTime VR) 등을 사용하면 복수의 파노라마 소스 이미지들은 육면체 합성 파노라마 이미지(Icu)로 스티칭된 다음, 매크로미디어(Macromedia)사의 쇽웨이브(Shockwave)와 같은 상용 프로그램에 의해 웹(Web) 상에서 구동될 수 있다.
도 8을 다시 참조하면, 중심(O1)을 지나는 동시에 카메라(사용자)의 전진 방향 즉, 원근감을 부여하는 방향에 대해 수직을 이루는 평면(P01) 상에서는, 제1열 이미지(I1)와 육면체 파노라마 이미지(Icu) 모두가 평행 입사광으로 촬영되므로 이 경계선(도 13의 점선으로 표시된 선)에서는 두 이미지를 합성하더라도 이미지의 왜 곡이 전혀 발생하지 않게 된다. 아울러, 상기 평면(P01)을 경계로 오른쪽 이미지들은 제1열 이미지(I1)와 중복되는 것이므로 합성시에 제거되어야만 한다. 이것은, 육면체 파노라마 이미지(Icu)를 가상적인 전개도로 펼쳐서 도시한 도 14를 참조하면 더욱 명확하게 이해될 수 있다. 즉, 제1열 이미지(I1)와 연속적으로 스티칭되어야 할 육면체 파노라마 이미지(Icu)는 측면 A 이미지 전체와, 해칭으로 표시된 측면 B, C, D, E 각각의 절반에 해당하는 이미지 부분이다. 이에 따라, 중복되는 부분을 제거하고 육면체 파노라마 이미지(Icu)와 제1열 내지 제7열 이미지(I1) 내지 (I7)를 합성한 예가 도 15에 도시되어 있다. 이렇게 합성된 이미지는 전술한 프로그램을 사용하여 도 16에 도시된 바와 같이 구성됨으로써 3차원 가상 현실 공간을 구현할 수 있다. 이상과 동일한 방법으로 위치(O2) 및 (O3)에서도, 육면체 파노라마 이미지와 각 단부열의 이미지를 서로 합성할 수 있다.
도 17은 도 8의 위치(O2)에서 위치(O1)으로 바라본 상태의 가상 현실 공간의 예를 보여주는 것이다. 예를 들어, 사용자가 바라보는 모니터의 화면 경계선(M) 내부에 파노라마 이미지(Icu)와 각 열 이미지(I1) 내지 (I7)가 합성된 이미지가 디스플레이 된다. 이때, 사용자에 가장 가까운 제7열의 이미지(I7)가 상대적으로 확대되어 디스플레이되고 사용자로부터 멀어질수록 그 크기는 소정비율로 축소되어 나타난다. 바람직하게, 상기 이미지들은 모니터의 화면 영역을 분할한 서브 프레임 에 대응되도록 설정되어, 사용자의 입력신호에 따라 각 서브 프레임 단위로 확대 및 축소될 수 있는데, 이것은 본 발명자가 출원한 대한민국 특허출원 제10-2002-08817호에 개시된 기술로서 본 발명이 적용될 수 있는 일 실시예로 이해되어야만 한다.
본 실시예에 있어서, 비록 각각의 열은 카메라로부터 수직으로 촬영된 이미지들이지만, 일단 스티칭된 이미지들은 영상 기반 렌더링 기술을 이용하여 다른 방향에서 피사체를 보았을 때의 이미지들을 생성해 낼 수 있다.
나아가, 비록 본 실시예에서는 사각 터널 형상의 열 이미지들과 육면체 파노라마 이미지를 합성하는 예를 설명하였으나, 대안으로서, 각각의 열 이미지를 원통형으로 합성하고 이를 다시 반구 형태의 파노라마 이미지(도 8의 Isp 참조)와 합성하는 것도 가능하다. 각 열의 이미지 형상이나 파노라마 이미지 형상은 필요에 따라 변형가능한 것으로서 기존의 스티칭 프로그램을 사용하여 얼마든지 선택될 수 있으며 본 실시예에 의해 한정되지 않는 것이다.
본 발명의 또 다른 실시예에 따르면, 광학 튜브 조립체를 채용한 카메라는 소정 각도 기울어진 채로 피사체를 촬영할 수 있다. 도 18a 및 도 18b는 본 발명의 광학 튜브 조립체가 촬영되는 피사체와 각도 Θp = 45도가 되도록 기울어진 상태에서 촬영하는 예를 보여주는 것이다. 구체적으로, 도 18a에 도시된 바와 같이, 복도의 제1열 소스 이미지(IS1_T)를 촬영함에 있어서, 카메라는 복도의 중심선(Lo) 상에 위치한 채로 중심선(Lo)에 대한 경사각 Θp = 45도가 되도록 기울어진다. 이 때, 광학 튜브 조립체의 렌즈(20')(30')들은 전술한 바와 같이 원근감을 주는 방향 즉, 카메라(사용자)의 전진 방향에 대해 화각Θ이 영이 되도록 배열된다. 따라서, 피사체의 폭(W)방향 표면에 대해 카메라의 입사각은 45도가 된다. 이때, 피사체의 폭(W)방향으로는 상호 평행광이 입사되고 이에 따라, 전술한 바와 같이 카메라가 전진하면서 촬영한 소스 이미지들을 합성하더라도 이미지의 왜곡이 발생하지 않게 된다. 상기 광학 튜브 조립체는 피사체의 길이(L) 방향 즉, 전진방향에 대해서 직각인 방향으로는 화각Θ이 양의 값을 가진다. 이와 같은 배치는 대물렌즈(20')의 폭 또는 원통형 케이스의 입사 개구부의 폭에 해당하는 만큼의 이미지만을 촬영할 수 있는 광학 튜브 조립체의 한계를 넘어서, 촬영할 수 있는 피사체의 폭(W)을 더 크게 늘릴 수 있다는 이점이 있다.
나아가, 복도의 오른쪽 벽에 해당하는 제1열 소스 이미지(IS1_R)를 촬영할 때에는, 도 18b에 도시된 바와 같이 카메라 및 광학 튜브 조립체가 회전하여 여전히 중심선(Lo)에 대한 경사각Θp을 45도로 유지한다. 이때, 원근감을 부여하는 방향에 대해서 화각Θ이 영이 되어야 하는 점은 전술한 바와 동일하다. 이상과 같이, 복도 공간에 대해 카메라를 45도 기울인 채로 촬영한 도식적인 예가 도 19에 도시되어 있다.
이와 같은 방식으로 제1열 내지 제7열 소스 이미지(IS1-T)(IS1-R)(IS1-B )(IS1-L) 내지 (IS7-T)(IS7-R)(IS7-B)(IS7-L)들을 얻는다. 얻어진 각각의 열 이미지들은 도 11에 도시된 것과 동일한 방식으로 합성된다. 여기서, 상기 소스 이미지들은 원근감을 주는 방향 즉, 폭 방향에 대해서는 화각Θ이 영이어서 모두 평행 입사광에 의해 촬영된 이미지들이므로 전술한 바와 같이 서로 스티칭하더라도 이미지의 왜곡이 발생하지 않는다.
본 실시예에 있어서, 육면체 파노라마 이미지(Icu)에 대한 촬영 및 합성 과정은 전술한 실시예에서와 동일하다. 다만, 육면체 파노라마 이미지(Icu)와 제1열 이미지(I1)를 합성함에 있어서는, 도 19에 도시된 바와 같이, 카메라의 경사각이 45도로 기울어져 있으므로, 스티칭의 경계 영역이 중심 위치(O1)를 꼭지점으로 하는 경사 45도의 원추면(Pco)이 된다. 따라서, 도 14에 도시된 바와 같이 육면체 파노라마 이미지(Icu) 중에서 측면 F 이미지를 제외한 나머지 측면 A,B,C,D,E 이미지 모두가 합성되어야 하고, 합성의 경계는 도 20에 도시된 바와 같이, 측면 B, C, D, E 이미지와 각 열의 소스 이미지 사이가 된다. 상기 파노라마 이미지와 각 열의 소스 이미지의 합성은 본 실시예에 의해 제한되지 않으며, 당해 기술분야에 통상의 지식을 가진 당업자라면 피사체에 대한 촬영 경사각도에 따라서 이미지 합성 경계가 적절하게 변형될 수 있는 것으로 이해될 것이다.
본 발명은 화각Θ을 양의 값, 영(zero) 또는 음의 값으로 조정할 수 있으므로, 파노라마 이미지, 오브젝트 이미지 및 3차원 가상 현실 공간을 구현하는데 있어서 필요에 따라 선택적으로 화각을 조절하여 사용할 수 있다.
본 발명의 광학 튜브 조립체를 채용한 카메라를 사용하여 이미지를 촬영한 후 합성함에 있어서, 카메라로부터 피사체로 수직으로 입사하는 광에 상응하는 이미지만이 촬영되므로 복수의 소스 이미지들 중에서 중복 영역을 제거하고 합성하더라도 이미지의 왜곡이 전혀 발생하지 않는다.
또한, 본 발명의 광학 튜브 조립체를 간단히 카메라에 부착함으로써 사용할 수 있고, 카메라로 촬영한 이미지에 대해 별도의 보정 작업없이 그 자체를 그대로 합성할 수 있으므로 작업이 효율적이고, 이미지 보정을 위한 복잡한 프로그램 알고리즘을 필요로 하지 않는다. 따라서, 실사 이미지 기반의 가상 현실 공간을 구현하고자 하는 경우, 본 발명의 방법에 따라 실사 이미지를 촬영하고 이미 알려져 있는 스티칭 프로그램을 사용하여 용이하게 가상 현실 공간을 구현할 수 있게 된다.

Claims (5)

  1. 촬영 화각이 영(zero)인 상태로 그 이미지의 일부가 중복되도록 복수의 실사 이미지를 촬영하는 단계;
    상기 촬영된 실사 이미지를 디지털화하는 단계; 및
    상기 중복 영역을 제거하고 디지털화된 실사 이미지를 합성하는 단계;를 포함하는 실사 이미지 합성 방법.
  2. 촬영 화각이 음의 값인 상태로 피사체를 중심으로 회전하면서 그 이미지의 일부가 중복되도록 복수의 오브젝트 소스 이미지를 촬영하는 단계;
    상기 촬영된 오브젝트 소스 이미지를 디지털화하는 단계; 및
    상기 오브젝트 소스 이미지의 중복 영역을 제거하고 오브젝트 이미지로 합성하는 단계;를 포함하는 실사 이미지 합성 방법.
  3. 원근감을 부여하는 방향으로는 카메라의 촬영 화각이 영이 되도록 설정하고, 상기 원근감 부여 방향과 직각을 이루는 회전방향에 대해서는 촬영 화각이 양의 값을 가지도록 설정하는 단계;
    상기 원근감을 부여하는 방향으로 카메라를 소정 간격으로 이동시키는 동시에 회전시킴으로써 간헐적이고도 연속적으로 실제 공간을 촬영하여 복수의 소스 이미지를 생성하는 단계;
    상기 회전방향으로 소스 이미지 상호간의 중복 영역을 제거하고 이를 합성하여 각각의 열 이미지를 얻는 단계; 및
    상기 원근감을 부여하는 방향으로 각 열 이미지 상호간의 중복 영역을 제거하고 이를 합성하는 단계;를 포함하는 실사 이미지 합성 방법.
  4. 제3항에 있어서,
    상기 카메라는 촬영되는 피사체에 대해 기울어진 상태로 촬영하는 것을 특징으로 하는 실사 이미지 합성 방법.
  5. 제3항에 있어서,
    상기 최초의 열 이미지를 촬영하는 위치에서 전(全)방향으로 실제 공간을 촬영하여 복수의 실사 이미지를 생성하는 단계;
    상기 촬영된 실사 이미지를 디지털화하는 단계;
    상기 디지털화된 실사 이미지를 스티칭하여 파노라마 이미지를 생성하는 단계; 및
    피사체에 대한 촬영 입사광의 각도가 동일한 위치에서 형성되는 파노라마 이미지와 단부열 이미지의 경계선을 따라서 상기 파노라마 이미지와 단부열 이미지를 합성하는 단계;를 더 포함하는 실사 이미지 합성 방법.
KR1020030044885A 2003-07-03 2003-07-03 가상 현실 구현을 위한 실사 이미지 합성 방법 KR100551107B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020030044885A KR100551107B1 (ko) 2003-07-03 2003-07-03 가상 현실 구현을 위한 실사 이미지 합성 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020030044885A KR100551107B1 (ko) 2003-07-03 2003-07-03 가상 현실 구현을 위한 실사 이미지 합성 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR10-2003-0014562A Division KR100419890B1 (ko) 2003-03-08 2003-03-08 가상 현실 구현을 위한 실사 이미지 촬영용 광학 튜브 조립체 및 이를 이용한 실사 이미지 합성 방법

Publications (2)

Publication Number Publication Date
KR20040080318A KR20040080318A (ko) 2004-09-18
KR100551107B1 true KR100551107B1 (ko) 2006-02-14

Family

ID=37365047

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020030044885A KR100551107B1 (ko) 2003-07-03 2003-07-03 가상 현실 구현을 위한 실사 이미지 합성 방법

Country Status (1)

Country Link
KR (1) KR100551107B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101845231B1 (ko) 2011-06-14 2018-04-04 삼성전자주식회사 영상 처리 장치 및 방법

Also Published As

Publication number Publication date
KR20040080318A (ko) 2004-09-18

Similar Documents

Publication Publication Date Title
US8548269B2 (en) Seamless left/right views for 360-degree stereoscopic video
US7429997B2 (en) System and method for spherical stereoscopic photographing
US6738073B2 (en) Camera system with both a wide angle view and a high resolution view
US8243123B1 (en) Three-dimensional camera adjunct
US8395711B2 (en) Method and system for fusing video streams
JP4643583B2 (ja) 表示装置及び撮像装置
KR100799088B1 (ko) 고속 디지털 팬 틸트 줌 비디오
US20020063711A1 (en) Camera system with high resolution image inside a wide angle view
US20020075258A1 (en) Camera system with high resolution image inside a wide angle view
JPH0795467A (ja) 画像処理装置
JP4700476B2 (ja) 多視点映像合成装置及び多視点映像合成システム
EP0834232A1 (en) Method and apparatus for creating spherical images
WO2013001773A1 (ja) 画像変換装置、カメラ、画像変換方法およびプログラムを記録した記録媒体
CN1922544A (zh) 用于提供组合图像的方法和装置
WO1999017543A1 (en) Virtual reality camera
US20120154548A1 (en) Left/right image generation for 360-degree stereoscopic video
US20120154518A1 (en) System for capturing panoramic stereoscopic video
KR20140100525A (ko) 비디오 영화를 촬영하기 위한 시스템
US20120154519A1 (en) Chassis assembly for 360-degree stereoscopic video capture
JP2002354505A (ja) 立体視システム
KR100419890B1 (ko) 가상 현실 구현을 위한 실사 이미지 촬영용 광학 튜브 조립체 및 이를 이용한 실사 이미지 합성 방법
JP2000230806A (ja) 位置認識装置、位置認識方法及び仮想画像立体合成装置
KR100551107B1 (ko) 가상 현실 구현을 위한 실사 이미지 합성 방법
JP2000132329A (ja) 面認識装置、面認識方法及び仮想画像立体合成装置
JPH1141510A (ja) 撮像装置

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20090114

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee