KR102012697B1 - 멀티 인테그랄 포토그래피 카메라 매칭 시스템 및 방법 - Google Patents

멀티 인테그랄 포토그래피 카메라 매칭 시스템 및 방법 Download PDF

Info

Publication number
KR102012697B1
KR102012697B1 KR1020130031371A KR20130031371A KR102012697B1 KR 102012697 B1 KR102012697 B1 KR 102012697B1 KR 1020130031371 A KR1020130031371 A KR 1020130031371A KR 20130031371 A KR20130031371 A KR 20130031371A KR 102012697 B1 KR102012697 B1 KR 102012697B1
Authority
KR
South Korea
Prior art keywords
matching
integral photography
camera
information
integral
Prior art date
Application number
KR1020130031371A
Other languages
English (en)
Other versions
KR20140116615A (ko
Inventor
이승규
심현정
김도균
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130031371A priority Critical patent/KR102012697B1/ko
Publication of KR20140116615A publication Critical patent/KR20140116615A/ko
Application granted granted Critical
Publication of KR102012697B1 publication Critical patent/KR102012697B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

멀티 인테그랄 포토그래피 카메라 매칭 시스템 및 방법에 관한 것으로서, 일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템은 제2 시점에서 생성된 제2 인테그랄 포토그래피의 제2 깊이 정보를 제1 시점에서 생성된 제1 인테그랄 포토그래피의 제1 깊이 정보에 매칭하는 깊이 정보 매칭부, 상기 제2 깊이 정보의 매칭에 이용된 매칭 정보를 산출하는 매칭 정보 산출부, 및 상기 산출된 매칭 정보를 이용하여 상기 제2 인테그랄 포토그래피를 생성한 제2 인테그랄 포토그래피 카메라를 상기 제1 인테그랄 포토그래피를 생성한 제1 인테그랄 포토그래피 카메라에 매칭하도록 상기 제2 인테그랄 포토그래피 카메라를 제어하는 카메라 매칭부를 포함할 수 있다.

Description

멀티 인테그랄 포토그래피 카메라 매칭 시스템 및 방법{SYSTEM OF MATCHING MULTIPLE INTEGRAL PHOTOGRAPHY CAMERA AND METHOD OF THE SAME}
아래의 실시예들은, 패시브(Passive) 방식의 인테그랄 포토그래피(Integral Photography) 카메라들을 여러 대 매칭하여 3차원 영상 정보를 획득하는 기술적 사상에 관한 것이다.
3차원 영상은 2차원 영상과는 달리 사용자에게 영상의 깊이감을 제공함으로써, 보다 실감나는 영상을 제공한다. 3차원 영상으로부터 사용자가 입체감을 느끼는 기본원리는 좌우 영상을 두 눈으로 받아 뇌가 3차원으로 인식하는 것이다.
3차원 영상은 N대의 다시점 카메라를 이용하여 획득한 컬러영상과 깊이 카메라를 이용하여 얻은 깊이 영상을 이용하여 생성될 수 있다.
다시점 카메라를 이용한 3차원 영상 획득 방식은 서로 다른 시점에서 관찰된 동일 위치의 컬러 정보가 유사하다는 가정을 전제로 한다. 이러한 전제에 의해, 다시점 컬러 카메라는 스테레오 매칭(Stereo Matching) 방식에 기초하여 전경(foreground)의 3차원 영상을 획득한다.
이러한 방식은 배경(background) 3차원 정보의 획득의 한계뿐 아니라, 컬러 정보가 유사하다는 Photometry Consistency 가정이 일반 환경에서는 성립하기 어려운 조건으로 일반적인 카메라에 적용하기 어려운 단점이 있다.
최근 상용화되어 많은 응용 연구를 불러일으키고 있는 다양한 방식의 깊이 센서들은 3차원 정보를 직접 획득할 수 있다.
일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템은 피사체에 대한 제1 인테그랄 포토그래피를 생성하고, 상기 생성된 제1 인테그랄 포토그래피로부터 제1 깊이 정보를 생성하는 제1 인테그랄 포토그래피 카메라(first integral photography camera), 및 상기 피사체에 대한 제2 인테그랄 포토그래피를 생성하고, 상기 생성된 제2 인테그랄 포토그래피로부터 제2 깊이 정보를 생성하는 제2 인테그랄 포토그래피 카메라(second integral photography camera)를 포함하고, 상기 제2 인테그랄 포토그래피 카메라(second integral photography camera)는 상기 생성한 제2 깊이 정보를 상기 제1 깊이 정보에 매칭하는 매칭 정보에 기초하여, 상기 제1 인테그랄 포토그래피 카메라에 매칭할 수 있다.
일실시예에 따른 상기 제2 인테그랄 포토그래피 카메라는, 상기 생성한 제2 깊이 정보를 상기 제1 깊이 정보로 매칭하는데 필요한 회전(rotation) 정보 및 변형(translation) 정보 중에서 적어도 하나를 이용하여, 상기 제1 인테그랄 포토그래피 카메라에 매칭할 수 있다.
일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템은 상기 매칭 정보를 생성하는 카메라 매칭부를 더 포함할 수 있다.
일실시예에 따른 상기 카메라 매칭부는, 상기 제2 깊이 정보를 상기 제1 깊이 정보에 매칭하고, 상기 제2 깊이 정보의 매칭에 기초하여 상기 매칭 정보를 생성할 수 있다.
일실시예에 따른 상기 카메라 매칭부는, 상기 생성된 매칭 정보에 기초하여 상기 제1 인테그랄 포토그래피 카메라에 매칭하도록 상기 제2 인테그랄 포토그래피 카메라를 제어할 수 있다.
일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템은 상기 제1 인테그랄 포토그래피 카메라 및 상기 제1 인테그랄 포토그래피 카메라에 매칭된 상기 제2 인테그랄 포토그래피 카메라 중에서 적어도 하나를 기준으로 리포커싱을 수행하는 리포커싱 처리부를 더 포함할 수 있다.
일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템은 상기 제1 인테그랄 포토그래피 카메라 및 상기 매칭된 제2 인테그랄 포토그래피 카메라로부터 복수의 매칭된 깊이 정보들과 복수의 컬러 정보들을 획득하고, 상기 획득된 깊이 정보들 및 컬러 정보들을 이용하여 3차원 영상 모델을 생성하는 3차원 영상 모델 생성부를 더 포함할 수 있다.
일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템은 제2 시점에서 생성된 제2 인테그랄 포토그래피의 제2 깊이 정보를 제1 시점에서 생성된 제1 인테그랄 포토그래피의 제1 깊이 정보에 매칭하는 깊이 정보 매칭부, 상기 제2 깊이 정보의 매칭에 이용된 매칭 정보를 산출하는 매칭 정보 산출부, 및 상기 산출된 매칭 정보를 이용하여 상기 제2 인테그랄 포토그래피를 생성한 제2 인테그랄 포토그래피 카메라를 상기 제1 인테그랄 포토그래피를 생성한 제1 인테그랄 포토그래피 카메라에 매칭하도록 상기 제2 인테그랄 포토그래피 카메라를 제어하는 카메라 매칭부를 포함할 수 있다.
일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템은 상기 제어된 제2 인테그랄 포토그래피 카메라를 이용하여 생성된 제2 인테그랄 포토그래피에 기반하여, 인테그랄 포토그래피의 깊이 정보 및 컬러 정보 중에서 적어도 하나를 보정하는 보정부를 포함할 수 있다.
일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템은 상기 제2 시점에서 생성된 제2 컬러 정보를 제1 시점에서 생성된 제1 컬러 정보에 매칭하는 컬러 정보 매칭부를 더 포함하고, 상기 매칭 정보 산출부는 상기 제2 컬러 정보의 매칭에 이용된 매칭 정보를 산출하며, 상기 카메라 매칭부는 상기 제2 컬러 정보의 매칭에 이용된 매칭 정보에 기초하여 상기 제1 인테그랄 포토그래피 카메라 및 상기 제2 인테그랄 포토그래피 카메라 간의 상대적인 위치를 계산할 수 있다.
일실시예에 따른 멀티 상기 카메라 매칭부는, 상기 제1 인테그랄 포토그래피 카메라 및 상기 제2 인테그랄 포토그래피 카메라 간의 상대적인 위치에 기초하여, 상기 제2 인테그랄 포토그래피 카메라를 상기 제1 인테그랄 포토그래피 카메라에 매칭하도록 상기 제2 인테그랄 포토그래피 카메라를 제어할 수 있다.
일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템은 하나의 인테그랄 포토그래피 카메라에 의한 복수의 시점 중 제2 시점에서의 제2 인테그랄 포토그래피에 대한 제2 깊이 정보를, 상기 복수의 시점 중 제1 시점에서의 제1 인테그랄 포토그래피에 대한 제1 깊이 정보에 매칭하는 깊이 정보 매칭부, 상기 제2 깊이 정보의 매칭에 이용된 매칭 정보를 산출하는 매칭 정보 산출부, 및 상기 산출된 매칭 정보를 이용하여 상기 하나의 인테그랄 포토그래피 카메라에 대한 움직임 정보를 산출하고, 상기 산출된 움직임 정보를 이용하여 3차원 형상정보를 복원하는 3차원 영상 모델부를 포함할 수 있다.
일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 방법은 제1 인테그랄 포토그래피 카메라에서, 피사체에 대한 제1 인테그랄 포토그래피를 생성하고, 상기 생성된 제1 인테그랄 포토그래피로부터 제1 깊이 정보를 생성하는 단계, 제2 인테그랄 포토그래피 카메라에서, 상기 피사체에 대한 제2 인테그랄 포토그래피를 생성하고, 상기 생성된 제2 인테그랄 포토그래피로부터 제2 깊이 정보를 생성하는 단계, 및 카메라 매칭부에서, 상기 제2 깊이 정보를 상기 제1 깊이 정보에 매칭하고, 상기 제2 깊이 정보의 매칭에 기초하여 상기 매칭 정보를 생성하는 단계를 포함할 수 있다.
일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 방법은 상기 카메라 매칭부에서, 상기 생성된 매칭 정보에 기초하여 상기 제2 인테그랄 포토그래피 카메라가 상기 제1 인테그랄 포토그래피 카메라에 매칭되도록 제어하는 단계를 더 포함할 수 있다.
일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 방법은 리포커싱 처리부에서, 상기 제1 인테그랄 포토그래피 카메라 및 상기 제1 인테그랄 포토그래피 카메라에 매칭된 상기 제2 인테그랄 포토그래피 카메라 중에서 적어도 하나를 이용하여 리포커싱을 수행하는 단계를 더 포함할 수 있다.
일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 방법은 3차원 영상 모델 생성부에서, 상기 제1 인테그랄 포토그래피 카메라 및 상기 매칭된 제2 인테그랄 포토그래피 카메라로부터 복수의 매칭된 깊이 정보들과 복수의 컬러 정보들을 획득하고, 상기 획득된 깊이 정보들 및 컬러 정보들을 이용하여 3차원 영상 모델을 생성하는 단계를 더 포함할 수 있다.
도 1은 멀티 인테그랄 포토그래피 카메라의 매칭을 설명하는 도면이다.
도 2는 일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템을 설명하는 도면이다.
도 3은 일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템을 설명하는 도면이다.
도 4는 일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템을 설명하는 도면이다.
도 5는 움직이는 인테그랄 포토그래피 카메라의 매칭을 설명하는 도면이다.
도 6은 일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 방법을 설명하는 도면이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
실시예들을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 실시예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 실시예들을 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 해당 기술이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 멀티 인테그랄 포토그래피 카메라의 매칭을 설명하는 도면이다.
여러 대의 인테그랄 포토그래피 카메라 또는 플레놉틱 카메라(Plenoptic Camera)를 함께 사용하기 위해서는 카메라들간에 매칭이 필요하다. 이하에서는, 여러 대의 인테그랄 포토그래피 카메라들을 사용하기 위해서 카메라들간에 매칭을 수행하는 기술을 설명한다.
일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템은 3차원 영상 정보를 획득하기 위해서, 서로 다른 시점에 위치하는 패시브(Passive) 방식의 인테그랄 포토그래피 카메라를 1대 이상 매칭할 수 있다.
이를 위해, 일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템은 기준이 되는 제1 인테그랄 포토그래피 카메라(110, first integral photography camera)에 제2 인테그랄 포토그래피 카메라(120, second integral photography camera)와 제3 인테그랄 포토그래피 카메라(130, third integral photography camera)를 매칭시킬 수 있다.
인테그랄 포토그래피 카메라들(110, 120, 130)은 각각의 시점에서 동일한 피사체를 촬영하여 인테그랄 포토그래피들(111, 121, 131)을 생성할 수 있고, 이렇게 생성된 인테그랄 포토그래피들(111, 121, 131)로부터 깊이 정보들(112, 122, 132)을 추출할 수 있다.
일실시예에 따른 인테그랄 포토그래피들(111, 121, 131)은 마이크로 렌즈 어레이(MLA, MicroLens Array)를 이용하여 촬영된 다시점 영상으로 해석될 수 있다.
인테그랄 포토그래피들(111, 121, 131)은 서로 다른 위치에 있는 인테그랄 포토그래피 카메라들(110, 120, 130)로부터 생성되었기 때문에, 센싱 거리 및 외광 등의 외부 요인에 영향을 받을 수 있다.
이러한 액티브 깊이 센싱(Active Depth Sensing) 방식의 한계점을 위해서, 일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템은 인테그랄 포토그래피들(111, 121, 131)을 서로 매칭할 수 있다.
이하에서는, 기준이 되는 제1 인테그랄 포토그래피 카메라(110, first integral photography camera)에 제2 인테그랄 포토그래피 카메라(120, second integral photography camera)를 매칭시키는 것으로 실시예들을 설명한다.
이러한 실시예들에 개시되어 있는 특징적 구성들을 통해서 제1 인테그랄 포토그래피 카메라(110)에 복수의 인테그랄 포토그래피 카메라들을 매칭시키는 기술을 설계 변경할 수 있다.
일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템에 포함된 제2 인테그랄 포토그래피 카메라(120)는 제1 인테그랄 포토그래피 카메라(110)에 매칭할 수 있다.
구체적으로, 제1 인테그랄 포토그래피 카메라(110)는 마이크로 렌즈 어레이(MLA, MicroLens Array)를 이용하여 피사체에 대한 제1 인테그랄 포토그래피(111)를 생성할 수 있다. 또한, 제1 인테그랄 포토그래피 카메라(110)는 생성한 제1 인테그랄 포토그래피(111)로부터 피사체의 깊이가 반영된 제1 깊이 정보(112)을 생성할 수 있다. 제1 깊이 정보(112)라 함은 피사체에 대한 깊이 값이 반영된 깊이 영상으로 해석될 수 있다.
다음으로, 제2 인테그랄 포토그래피 카메라(120)는 마이크로 렌즈 어레이(MLA, MicroLens Array)를 이용하여 피사체에 대한 제2 인테그랄 포토그래피(121)를 생성할 수 있다. 또한, 제2 인테그랄 포토그래피 카메라(120)는 생성한 제2 인테그랄 포토그래피(121)로부터 피사체의 깊이가 반영된 제2 깊이 정보(122)을 생성할 수 있다. 제2 깊이 정보(122)라 함은 피사체에 대한 깊이 값이 반영된 깊이 영상으로 해석될 수 있다.
이렇게 생성되는 제1 깊이 정보(112)와 제2 깊이 정보(122)는 하나의 피사체를 촬영하여 생성하였음에도 불구하고, 외광, 거리 등의 요인으로 인해서 매칭이 필요하다.
일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템은 기준이 되는 제1 인테그랄 포토그래피 카메라(110)로부터 생성된 제1 깊이 정보(112)에 제2 깊이 정보(122)를 매칭시킬 수 있다.
제2 깊이 정보(122)가 제1 깊이 정보(112)에 매칭되는 과정에서, 제2 깊이 정보(122)는 회전(rotation)이나 변형(translation)될 수 있다.
일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템은 이렇게 회전이나 변형되는 과정에 대해서 매칭 정보로서 파악할 수 있다.
다시 말해, 일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템은 제2 깊이 정보(122)를 제1 깊이 정보(112)로 매칭하는데 필요한 회전(rotation) 정보 및 변형(translation) 정보를 확인할 수 있다. 또한, 일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템은 확인된 회전(rotation) 정보 및 변형(translation) 정보 중에서 적어도 하나를 포함하는 매칭 정보를 생성할 수 있다.
일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템은 생성된 매칭 정보를 제1 인테그랄 포토그래피 카메라(110)와 제2 인테그랄 포토그래피 카메라(120)의 매칭에 이용할 수 있다.
다시 말해, 일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템은 서로 다른 카메라를 통해서 서로 다른 시점에서 생성된 서로 다른 깊이 정보들을 매칭하는 과정에서 발생하는 회전 정보와 변형 정보를 이용하여, 인테그랄 포토그래피 카메라들을 매칭시킬 수 있다.
일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템은 외광, 거리 등의 문제에서 자유롭다. 다시 말해, 일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템은 액티브 센싱 방식으로 인하여 깊이를 획득할 수 있는 거리가 수m 이내로 제한이 되지 않는다.
또한 각 카메라에서 깊이 정보를 1차 획득한 후 카메라간 매칭을 통하여 깊이 정보를 보정하고, 보정된 깊이 정보를 고려하여 컬러 정보들도 서로 매칭시킬 수 있다.
일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템은 기존의 칼라 정보를 이용한 매칭을 활용할 수도 있다. 또한 각 인테그랄 포토그래피 카메라별로 작은 시점 정보들을 이용하여 깊이 정보를 획득할 수 있다고 가정할 경우, 이렇게 각 인테그랄 포토그래피 카메라에서 얻어진 깊이 정보를 이용하여 추가적인 고정밀 매칭이 가능하다.
이는 오프라인(offline) 매칭보다는 포토메트리 컨시스턴시(Photometry Consistency)의 한계가 더 문제가 될 수 있는 온라인(Online) 매칭, 운동하는 구조(Structure from motion) 등에서 보다 중요한 정보로 활용 될 수 있다.
일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템은 다시점의 컬러 정보 및 깊이 정보를 활용하여 다음과 같이 두 개 이상의 인테그랄 포토그래피 카메라들을 매칭시킬 수 있다.
먼저, 인테그랄 포토그래피 카메라가 각각 N개의 시점 영상을 획득한다고 가정할 경우, 일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템은 M대의 카메라의 각 다시점 컬러 정보간의 매칭을 수행할 수 있다.
또한, 일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템은 이렇게 매칭된 서로 다른 N개의 매칭정보를 이용하여 M대의 카메라간 상대적인 위치를 계산할 수 있고, M대의 카메라간 상대적인 위치를 이용하여 M개의 깊이 정보를 매칭시킬 수 있다.
일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템은 매칭된 깊이 정보 내의 깊이 포인트들간의 3차원 형상 또는 3차원 구조의 매칭을 통하여 추가적인 매칭을 수행할 수 있다. 일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템은 추가 적인 매칭을 수행하였다면, 최종 매칭 결과를 계산할 수 있다.
일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템은 방식은 매칭뿐만 아니라 인테그랄 포토그래피 카메라를 이용하여 얻을 수 있는 다른 정보의 정밀도 향상에도 활용할 수 있다.
인테그랄 포토그래피 카메라들 간에 매칭이 완료되었다고 가정할 경우, 매칭된 인테그랄 포토그래피 카메라들의 리포커싱을 수행할 수 있다.
이를 위해서, 일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템은 임의 위치의 인테그랄 포토그래피 카메라, 예를 들어 제1 인테그랄 포토그래피 카메라(110)에서 리포커싱을 원하는 위치를 결정할 수 있다. 일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템은 결정된 위치에 해당하는 Ray 정보를 제1 인테그랄 포토그래피 카메라(110)뿐만 아니라 다른 인테그랄 포토그래피 카메라, 예를 들어 제2 인테그랄 포토그래피 카메라(120)와 인테그랄 포토그래피 카메라(130)에서도 결정할 수 있다.
일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템은 매칭된 모든 인테그랄 포토그래피 카메라들에서 같은 위치로 리포커싱을 수행할 수 있다. 이로써, 일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템을 이용하면 2차원 리포커싱뿐만 아니라, 3차원 깊이 정보의 어느 위치에서도 원하는 지점에서 리포커싱된 결과를 얻을 수 있다.
이상의 방식으로 카메라간 매칭이 완료되면, 인테그랄 포토그래피 카메라를 이용하여 획득하는 정보들도 보정 등의 과정을 거쳐 상호 매칭이 완료될 수 있다.
이러한 경우, 일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템은 M개의 매칭된 깊이 정보 및 카메라 별 N개의 컬러 정보를 얻을 수 있다.
일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템은 이렇게 얻어진 M개의 매칭된 깊이 정보 및 카메라 별 N개의 컬러 정보를 이용하여 3차원 영상 모델을 생성할 수 있다. 일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템은 메쉬 에볼루션(Mesh evolution) 방식 등을 이용하여 M x N개의 칼라 정보를 통해 3차원 형상 정보를 보정할 수 있다.
3차원 형상 정보를 획득하였기 때문에, 일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템은 각 칼라 영상을 형상 정보에 투영(projection)하는 방식으로 M x N개의 전체 칼라 정보를 이용하여 3차원 수퍼레졸루션(Superresolution)을 수행할 수 있다.
도 2는 일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템(200)을 설명하는 도면이다.
일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템(200)은 제1 인테그랄 포토그래피 카메라(210)와 제2 인테그랄 포토그래피 카메라(220)를 포함할 수 있다.
일실시예에 따른 제1 인테그랄 포토그래피 카메라(210)는 피사체에 대한 제1 인테그랄 포토그래피를 생성하고, 생성된 제1 인테그랄 포토그래피로부터 제1 깊이 정보를 생성할 수 있다. 또한, 일실시예에 따른 제2 인테그랄 포토그래피 카메라(220)는 피사체에 대한 제2 인테그랄 포토그래피를 생성하고, 생성된 제2 인테그랄 포토그래피로부터 제2 깊이 정보를 생성할 수 있다.
이 중에서, 제2 인테그랄 포토그래피 카메라(220)는 생성한 제2 깊이 정보를 제1 깊이 정보에 매칭하는 과정에서 확인되는 매칭 정보에 기초하여, 제1 인테그랄 포토그래피 카메라에 매칭될 수 있다.
이를 위해서, 일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템(200)은 매칭 정보를 생성하는 카메라 매칭부(230)를 더 포함할 수 있다.
일실시예에 따른 카메라 매칭부(230)는 제2 깊이 정보를 제1 깊이 정보에 매칭하는 과정에서 확인되고, 제2 깊이 정보의 매칭에 사용되는 매칭 정보를 생성할 수 있다.
일실시예에 따른 카메라 매칭부(230)는 이렇게 생성된 매칭 정보에 기초하여 제2 인테그랄 포토그래피 카메라(220)가 제1 인테그랄 포토그래피 카메라(210)에 매칭될 수 있도록 제2 인테그랄 포토그래피 카메라(220)를 제어할 수 있다.
생성된 매칭 정보는 회전(rotation) 정보 및 변형(translation) 정보 중에서 적어도 하나를 포함할 수 있다.
이에, 일실시예에 따른 카메라 매칭부(230)는 생성된 매칭 정보에 기초하여 제2 인테그랄 포토그래피 카메라를 회전 또는 변형하여 제1 인테그랄 포토그래피 카메라에 매칭시킬 수 있다.
도 3은 일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템(300)을 설명하는 도면이다.
일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템(300)은 인테그랄 포토그래피 카메라들 간에 매칭이 완료되었다고 가정할 경우, 매칭된 인테그랄 포토그래피 카메라들의 리포커싱을 수행할 수 있다.
또한, 일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템(300)은 인테그랄 포토그래피 매칭이 완료되면, M개의 매칭된 깊이 정보 및 카메라 별 N개의 컬러 정보를 얻을 수 있고, M개의 매칭된 깊이 정보 및 카메라 별 N개의 컬러 정보를 이용하여 3차원 영상 모델을 생성할 수 있다.
이를 위해서, 일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템(300)은 제1 인테그랄 포토그래피 카메라(310), 제2 인테그랄 포토그래피 카메라(320), 카메라 매칭부(330), 리포커싱 처리부(340), 및 3차원 영상 모델 생성부(350)를 포함할 수 있다.
일실시예에 따른 제1 인테그랄 포토그래피 카메라(310)는 피사체에 대한 제1 인테그랄 포토그래피를 생성하고, 생성된 제1 인테그랄 포토그래피로부터 제1 깊이 정보를 생성할 수 있다.
일실시예에 따른 제2 인테그랄 포토그래피 카메라(320)는 피사체에 대한 제2 인테그랄 포토그래피를 생성하고, 생성된 제2 인테그랄 포토그래피로부터 제2 깊이 정보를 생성할 수 있다. 또한, 일실시예에 따른 제2 인테그랄 포토그래피 카메라(320)는 생성한 제2 깊이 정보를 제1 깊이 정보에 매칭하는데 필요한 매칭 정보에 기초하여, 제1 인테그랄 포토그래피 카메라(310)에 매칭할 수 있다.
일실시예에 따른 카메라 매칭부(330)는 매칭 정보를 생성할 수 있고, 제2 깊이 정보를 제1 깊이 정보에 매칭하는 과정에서 확인되는, 매칭 정보를 생성할 수 있다. 또한, 일실시예에 따른 카메라 매칭부(330)는 생성된 매칭 정보에 기초하여 제1 인테그랄 포토그래피 카메라(310)에 매칭하도록 제2 인테그랄 포토그래피 카메라(320)를 제어할 수 있다.
일실시예에 따른 리포커싱 처리부(340)는 제1 인테그랄 포토그래피 카메라(310) 및 제1 인테그랄 포토그래피 카메라(310)에 매칭된 제2 인테그랄 포토그래피 카메라(320) 중에서 적어도 하나를 기준으로 리포커싱을 수행할 수 있다.
일실시예에 따른 리포커싱 처리부(340)는 임의 위치의 인테그랄 포토그래피 카메라, 예를 들어 제1 인테그랄 포토그래피 카메라(310)에서 리포커싱을 원하는 위치를 결정할 수 있다. 또한, 일실시예에 따른 리포커싱 처리부(340)는 결정된 위치에 해당하는 Ray 정보를 제1 인테그랄 포토그래피 카메라(310)뿐만 아니라 다른 인테그랄 포토그래피 카메라, 예를 들어 제2 인테그랄 포토그래피 카메라(320)에서도 결정할 수 있다.
일실시예에 따른 리포커싱 처리부(340)는 매칭된 모든 인테그랄 포토그래피 카메라들에서 같은 위치로 리포커싱을 수행할 수 있다. 이로써, 일실시예에 따른 리포커싱 처리부(340)를 이용하면 2차원 리포커싱뿐만 아니라, 3차원 깊이 정보의 어느 위치에서도 원하는 지점에서 리포커싱된 결과를 얻을 수 있다.
일실시예에 따른 3차원 영상 모델 생성부(350)는 제1 인테그랄 포토그래피 카메라 및 매칭된 제2 인테그랄 포토그래피 카메라로부터 복수의 매칭된 깊이 정보들과 복수의 컬러 정보들을 획득하고, 획득된 깊이 정보들 및 컬러 정보들을 이용하여 3차원 영상 모델을 생성할 수 있다.
이상의 방식으로 카메라간 매칭이 완료되면, 인테그랄 포토그래피 카메라를 이용하여 획득하는 정보들도 보정 등의 과정을 거쳐 상호 매칭이 완료될 수 있다.
이 경우에, 일실시예에 따른 3차원 영상 모델 생성부(350)는 M개의 매칭된 깊이 정보 및 카메라 별 N개의 컬러 정보를 얻을 수 있다.
일실시예에 따른 3차원 영상 모델 생성부(350)는 이렇게 얻어진 M개의 매칭된 깊이 정보 및 카메라 별 N개의 컬러 정보를 이용하여 3차원 영상 모델을 생성할 수 있다. 일실시예에 따른 3차원 영상 모델 생성부(350)는 메쉬 에볼루션(Mesh evolution) 방식 등을 이용하여 M x N개의 칼라 정보를 통해 3차원 형상 정보를 보정할 수 있다.
3차원 형상 정보를 획득하였기 때문에, 일실시예에 따른 3차원 영상 모델 생성부(350)는 각 칼라 영상을 형상 정보에 투영(projection)하는 방식으로 M x N개의 전체 칼라 정보를 이용하여 3차원 수퍼레졸루션(Superresolution)을 수행할 수 있다.
도 4는 일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템(400)을 설명하는 도면이다.
일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템(400)은 인테그랄 포토그래피 카메라의 내부에 위치할 수도 있다.
멀티 인테그랄 포토그래피 카메라 매칭 시스템(400)은 깊이 정보 매칭부(410), 매칭 정보 산출부(420), 및 카메라 매칭부(430)를 포함할 수 있다.
또한, 일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 시스템(400)은 컬러 정보 매칭부(440)와 보정부(450)를 더 포함할 수 있다.
일실시예에 따른 깊이 정보 매칭부(410)는 제2 시점에서 생성된 제2 인테그랄 포토그래피의 제2 깊이 정보를 제1 시점에서 생성된 제1 인테그랄 포토그래피의 제1 깊이 정보에 매칭할 수 있다.
제1 깊이 정보는 제1 인테그랄 포토그래피 카메라가 생성하는 제1 인테그랄 포토그래피의 깊이 정보이고, 제2 깊이 정보는 제2 인테그랄 포토그래피 카메라가 생성하는 제2 인테그랄 포토그래피의 깊이 정보이다.
깊이 정보 매칭부(410)는 제2 깊이 정보를 회전(rotation) 또는 변형(translation)하여 제1 깊이 정보에 매칭시킬 수 있다.
일실시예에 따른 매칭 정보 산출부(420)는 제2 깊이 정보의 매칭에 이용된 매칭 정보를 산출할 수 있고, 매칭 정보는 회전(rotation) 정보 및 변형(translation) 정보 중에서 적어도 하나를 포함할 수 있다.
매칭 정보 산출부(420)는 제2 깊이 정보를 제1 깊이 정보에 매칭하는 과정에서의 매칭 정보를 산출할 수 있다. 예를 들어, 매칭 정보 산출부(420)는 제2 깊이 정보가 어느 방향으로 얼마의 물리량 만큼 회전하였는지, 또한, 어느 방향으로 얼마의 물리량 만큼 변형하였는지를 산출하고 산출된 정보를 이용하여 매칭 정보를 산출할 수 있다.
일실시예에 따른 카메라 매칭부(430)는 산출된 매칭 정보를 이용하여 제2 인테그랄 포토그래피를 생성한 제2 인테그랄 포토그래피 카메라를 제1 인테그랄 포토그래피를 생성한 제1 인테그랄 포토그래피 카메라에 매칭하도록 제2 인테그랄 포토그래피 카메라를 제어할 수 있다.
다시 말해, 카메라 매칭부(430)는 제2 깊이 정보의 매칭 과정에서 발생한 매칭 정보에 기초하여, 제2 인테그랄 포토그래피 카메라를 제어하여 제1 인테그랄 포토그래피 카메라에 매칭시킬 수 있다. 예를 들어, 카메라 매칭부(430)는 제2 인테그랄 포토그래피 카메라를 매칭 정보에 기초하여 회전 또는 변형하여 제1 인테그랄 포토그래피 카메라에 매칭시킬 수 있다.
깊이 정보에 의한 인테그랄 포토그래피 카메라들의 매칭이 완료되면, 컬러 정보 매칭부(440)는 제2 시점에서 생성된 제2 컬러 정보를 제1 시점에서 생성된 제1 컬러 정보에 매칭할 수 있다.
이때, 매칭 정보 산출부(420)는 제2 컬러 정보의 매칭에 이용된 매칭 정보를 산출하고, 카메라 매칭부(430)는 제2 컬러 정보의 매칭에 이용된 매칭 정보에 기초하여 제1 인테그랄 포토그래피 카메라 및 상기 제2 인테그랄 포토그래피 카메라 간의 상대적인 위치를 계산할 수 있다.
카메라 매칭부(430)는 제1 인테그랄 포토그래피 카메라 및 제2 인테그랄 포토그래피 카메라 간의 상대적인 위치에 기초하여, 제2 인테그랄 포토그래피 카메라를 제1 인테그랄 포토그래피 카메라에 매칭하도록 제2 인테그랄 포토그래피 카메라를 제어할 수 있다.
카메라 매칭부(430)는 깊이 정보의 매칭에 이용된 매칭 정보로써 인테그랄 포토그래피 카메라들을 매칭할 수도 있고, 컬러 정보의 매칭에 이용된 매칭 정보로써 인테그랄 포토그래피 카메라들을 매칭할 수도 있다.
일실시예에 따른 보정부(450)는 제어된 제2 인테그랄 포토그래피 카메라를 이용하여 생성된 제2 인테그랄 포토그래피에 기반하여, 인테그랄 포토그래피의 깊이 정보 및 컬러 정보 중에서 적어도 하나를 보정할 수 있다.
도 5는 움직이는 인테그랄 포토그래피 카메라(510)의 매칭을 설명하는 도면이다.
멀티 인테그랄 포토그래피 카메라 매칭 시스템은 움직이는 인테그랄 포토그래피 카메라(510)의 동작을 제어하는 구성요소로서 깊이 정보 매칭부, 매칭 정보 산출부, 및 3차원 영상 모델 생성부를 이용할 수 있다.
3차원 형상 획득을 위한 프레임워크는 실제로 여러 대의 인테그랄 포토그래피 방식의 카메라를 사용하는 경우뿐만 아니라, 한대의 인테그랄 포토그래피 카메라를 이동하면서 Structure from motion을 수행하는 경우에도 적용될 수 있다.
이를 위해서, 깊이 정보 매칭부는 하나의 인테그랄 포토그래피 카메라(510)에 의한 복수의 시점 중 제2 시점에서의 제2 인테그랄 포토그래피에 대한 제2 깊이 정보를, 복수의 시점 중 제1 시점에서의 제1 인테그랄 포토그래피에 대한 제1 깊이 정보에 매칭할 수 있다.
이를 위해, 인테그랄 포토그래피 카메라(510)는 좌에서 우의 방향으로 이동하면서, N개의 시점 영상들(511, 512, 513)을 획득할 수 있다.
매칭 정보 산출부는 N개의 시점 영상들(511, 512, 513) 간에 매칭에 이용되는 매칭 정보를 산출할 수 있다. 이때, N개의 시점 영상들(511, 512, 513) 간에는 색상 정보를 기준으로 하여 매칭될 수 있고, 깊이 정보를 기준으로 하여 매칭될 수도 있다.
또한, 3차원 영상 모델 생성부는 이렇게 매칭된 서로 다른 N개의 매칭정보를 통합 이용하여 인테그랄 포토그래피 카메라(510)의 움직임 정보를 계산할 수 있다. 예를 들어, 3차원 영상 모델 생성부는 서로 다른 N개의 매칭정보를 이용하여 인테그랄 포토그래피 카메라(510)의 움직임 방향 및 속도를 계산할 수 있다.
3차원 영상 모델 생성부는 움직임 정보와 각 시점 영상들(511, 512, 513)로부터의 깊이 정보를 이용하여 3차원 형상정보를 복원할 수 있다.
일실시예에 따른 3차원 영상 모델 생성부는 복원된 3차원 정보의 프레임 별 3차원 형상 또는 구조의 매칭을 통하여 추가적인 3차원 정보 수정 및 카메라의 움직임 정보 보정을 수행할 수 있다. 3차원 영상 모델 생성부는 이에 따른 최종 매칭 결과를 계산할 수 있다.　
도 6은 일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 방법을 설명하는 도면이다.
일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 방법은 피사체에 대한 제1 인테그랄 포토그래피를 생성하고, 생성된 제1 인테그랄 포토그래피로부터 제1 깊이 정보를 생성할 수 있다(단계 601).
일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 방법은 피사체에 대한 제2 인테그랄 포토그래피를 생성하고, 생성된 제2 인테그랄 포토그래피로부터 제2 깊이 정보를 생성할 수 있다(단계 602).
일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 방법은 제2 깊이 정보를 제1 깊이 정보에 매칭하고, 제2 깊이 정보의 매칭에 기초하여 매칭 정보를 생성할 수 있다(단계 603).
일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 방법은 생성된 매칭 정보에 기초하여 제2 인테그랄 포토그래피 카메라가 제1 인테그랄 포토그래피 카메라에 매칭되도록 제2 인테그랄 포토그래피 카메라를 제어할 수 있다(단계 604).
일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 방법은 제1 인테그랄 포토그래피 카메라와 매칭된 제2 인테그랄 포토그래피 카메라 중에서 적어도 하나를 기준으로 리포커싱을 수행할 수 있다.
일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 방법은 리포커싱을 처리하기 위해, 임의 위치의 인테그랄 포토그래피 카메라, 예를 들어 제1 인테그랄 포토그래피 카메라에서 리포커싱을 원하는 위치를 결정할 수 있다. 또한, 일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 방법은 결정된 위치에 해당하는 Ray 정보를 제1 인테그랄 포토그래피 카메라뿐만 아니라 다른 인테그랄 포토그래피 카메라, 예를 들어 제2 인테그랄 포토그래피 카메라에서도 결정할 수 있다.
일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 방법은 매칭된 모든 인테그랄 포토그래피 카메라들에서 같은 위치로 리포커싱을 수행할 수 있다. 이로써, 일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 방법을 이용하면 2차원 리포커싱뿐 아니라, 3차원 깊이 정보의 어느 위치에서도 원하는 지점에서 리포커싱된 결과를 얻을 수 있다.
일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 방법은 제1 인테그랄 포토그래피 카메라 및 매칭된 제2 인테그랄 포토그래피 카메라로부터 복수의 매칭된 깊이 정보들과 복수의 컬러 정보들을 획득하고, 획득된 깊이 정보들 및 컬러 정보들을 이용하여 3차원 영상 모델을 생성할 수 있다.
카메라간 매칭이 완료되면, 일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 방법은 M개의 매칭된 깊이 정보 및 카메라 별 N개의 컬러 정보를 얻을 수 있다.
일실시예에 따른 멀티 인테그랄 포토그래피 카메라 매칭 방법은 이렇게 얻어진 M개의 매칭된 깊이 정보 및 카메라 별 N개의 컬러 정보를 이용하여 3차원 영상 모델을 생성할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
400: 멀티 인테그랄 포토그래피 카메라 매칭 시스템
410: 깊이 정보 매칭부 420: 매칭 정보 산출부
430: 카메라 매칭부 440: 컬러 정보 매칭부
450: 보정부

Claims (17)

  1. 피사체에 대한 제1 인테그랄 포토그래피를 생성하고, 상기 생성된 제1 인테그랄 포토그래피로부터 제1 깊이 정보를 생성하는 제1 인테그랄 포토그래피 카메라(first integral photography camera); 및
    상기 피사체에 대한 제2 인테그랄 포토그래피를 생성하고, 상기 생성된 제2 인테그랄 포토그래피로부터 제2 깊이 정보를 생성하는 제2 인테그랄 포토그래피 카메라(second integral photography camera)
    를 포함하고,
    상기 제2 인테그랄 포토그래피 카메라(second integral photography camera)는,
    상기 생성한 제2 깊이 정보를 상기 제1 깊이 정보에 매칭하는 매칭 정보에 기초하여, 상기 제1 인테그랄 포토그래피 카메라에 매칭하는 멀티 인테그랄 포토그래피 카메라 매칭 시스템.
  2. 제1항에 있어서,
    상기 제2 인테그랄 포토그래피 카메라는,
    상기 생성한 제2 깊이 정보를 상기 제1 깊이 정보로 매칭하는데 필요한 회전(rotation) 정보 및 변형(translation) 정보 중에서 적어도 하나를 이용하여, 상기 제1 인테그랄 포토그래피 카메라에 매칭하는 멀티 인테그랄 포토그래피 카메라 매칭 시스템.
  3. 제1항에 있어서,
    상기 매칭 정보를 생성하는 카메라 매칭부
    를 더 포함하는 멀티 인테그랄 포토그래피 카메라 매칭 시스템.
  4. 제3항에 있어서,
    상기 카메라 매칭부는,
    상기 제2 깊이 정보를 상기 제1 깊이 정보에 매칭하고, 상기 제2 깊이 정보의 매칭에 기초하여 상기 매칭 정보를 생성하는 멀티 인테그랄 포토그래피 카메라 매칭 시스템.
  5. 제4항에 있어서,
    상기 카메라 매칭부는,
    상기 생성된 매칭 정보에 기초하여 상기 제1 인테그랄 포토그래피 카메라에 매칭하도록 상기 제2 인테그랄 포토그래피 카메라를 제어하는 멀티 인테그랄 포토그래피 카메라 매칭 시스템.
  6. 제1항에 있어서,
    상기 제1 인테그랄 포토그래피 카메라 및 상기 제1 인테그랄 포토그래피 카메라에 매칭된 상기 제2 인테그랄 포토그래피 카메라 중에서 적어도 하나를 기준으로 리포커싱을 수행하는 리포커싱 처리부
    를 더 포함하는 멀티 인테그랄 포토그래피 카메라 매칭 시스템.
  7. 제1항에 있어서,
    상기 제1 인테그랄 포토그래피 카메라 및 상기 매칭된 제2 인테그랄 포토그래피 카메라로부터 복수의 매칭된 깊이 정보들과 복수의 컬러 정보들을 획득하고, 상기 획득된 깊이 정보들 및 컬러 정보들을 이용하여 3차원 영상 모델을 생성하는 3차원 영상 모델 생성부
    를 더 포함하는 멀티 인테그랄 포토그래피 카메라 매칭 시스템.
  8. 제2 시점에서 생성된 제2 인테그랄 포토그래피의 제2 깊이 정보를 제1 시점에서 생성된 제1 인테그랄 포토그래피의 제1 깊이 정보에 매칭하는 깊이 정보 매칭부;
    상기 제2 깊이 정보의 매칭에 이용된 매칭 정보를 산출하는 매칭 정보 산출부; 및
    상기 산출된 매칭 정보를 이용하여 상기 제2 인테그랄 포토그래피를 생성한 제2 인테그랄 포토그래피 카메라를 상기 제1 인테그랄 포토그래피를 생성한 제1 인테그랄 포토그래피 카메라에 매칭하도록 상기 제2 인테그랄 포토그래피 카메라를 제어하는 카메라 매칭부
    를 포함하는 멀티 인테그랄 포토그래피 카메라 매칭 시스템.
  9. 제8항에 있어서,
    상기 제어된 제2 인테그랄 포토그래피 카메라를 이용하여 생성된 제2 인테그랄 포토그래피에 기반하여, 인테그랄 포토그래피의 깊이 정보 및 컬러 정보 중에서 적어도 하나를 보정하는 보정부
    를 포함하는 멀티 인테그랄 포토그래피 카메라 매칭 시스템.
  10. 제8항에 있어서,
    상기 제2 시점에서 생성된 제2 컬러 정보를 제1 시점에서 생성된 제1 컬러 정보에 매칭하는 컬러 정보 매칭부
    를 더 포함하고,
    상기 매칭 정보 산출부는 상기 제2 컬러 정보의 매칭에 이용된 매칭 정보를 산출하며,
    상기 카메라 매칭부는,
    상기 제2 컬러 정보의 매칭에 이용된 매칭 정보에 기초하여 상기 제1 인테그랄 포토그래피 카메라 및 상기 제2 인테그랄 포토그래피 카메라 간의 상대적인 위치를 계산하는 멀티 인테그랄 포토그래피 카메라 매칭 시스템.
  11. 제10항에 있어서,
    상기 카메라 매칭부는,
    상기 제1 인테그랄 포토그래피 카메라 및 상기 제2 인테그랄 포토그래피 카메라 간의 상대적인 위치에 기초하여,
    상기 제2 인테그랄 포토그래피 카메라를 상기 제1 인테그랄 포토그래피 카메라에 매칭하도록 상기 제2 인테그랄 포토그래피 카메라를 제어하는 멀티 인테그랄 포토그래피 카메라 매칭 시스템.
  12. 하나의 인테그랄 포토그래피 카메라에 의한 복수의 시점 중 제2 시점에서의 제2 인테그랄 포토그래피에 대한 제2 깊이 정보를, 상기 복수의 시점 중 제1 시점에서의 제1 인테그랄 포토그래피에 대한 제1 깊이 정보에 매칭하는 깊이 정보 매칭부;
    상기 제2 깊이 정보의 매칭에 이용된 매칭 정보를 산출하는 매칭 정보 산출부; 및
    상기 산출된 매칭 정보를 이용하여 상기 하나의 인테그랄 포토그래피 카메라에 대한 움직임 정보를 산출하고, 상기 산출된 움직임 정보를 이용하여 3차원 형상정보를 복원하는 3차원 영상 모델부
    를 포함하는 멀티 인테그랄 포토그래피 카메라 매칭 시스템.
  13. 제1 인테그랄 포토그래피 카메라에서, 피사체에 대한 제1 인테그랄 포토그래피를 생성하고, 상기 생성된 제1 인테그랄 포토그래피로부터 제1 깊이 정보를 생성하는 단계;
    제2 인테그랄 포토그래피 카메라에서, 상기 피사체에 대한 제2 인테그랄 포토그래피를 생성하고, 상기 생성된 제2 인테그랄 포토그래피로부터 제2 깊이 정보를 생성하는 단계; 및
    카메라 매칭부에서, 상기 제2 깊이 정보를 상기 제1 깊이 정보에 매칭하고, 상기 제2 깊이 정보의 매칭에 기초하여 매칭 정보를 생성하는 단계
    를 포함하는 멀티 인테그랄 포토그래피 카메라 매칭 방법.
  14. 제13항에 있어서,
    상기 카메라 매칭부에서, 상기 생성된 매칭 정보에 기초하여 상기 제2 인테그랄 포토그래피 카메라가 상기 제1 인테그랄 포토그래피 카메라에 매칭되도록 제어하는 단계
    를 더 포함하는 멀티 인테그랄 포토그래피 카메라 매칭 방법.
  15. 제13항에 있어서,
    리포커싱 처리부에서, 상기 제1 인테그랄 포토그래피 카메라 및 상기 제1 인테그랄 포토그래피 카메라에 매칭된 상기 제2 인테그랄 포토그래피 카메라 중에서 적어도 하나를 이용하여 리포커싱을 수행하는 단계
    를 더 포함하는 멀티 인테그랄 포토그래피 카메라 매칭 방법.
  16. 제13항에 있어서,
    3차원 영상 모델 생성부에서, 상기 제1 인테그랄 포토그래피 카메라 및 상기 매칭된 제2 인테그랄 포토그래피 카메라로부터 복수의 매칭된 깊이 정보들과 복수의 컬러 정보들을 획득하고, 상기 획득된 깊이 정보들 및 컬러 정보들을 이용하여 3차원 영상 모델을 생성하는 단계
    를 더 포함하는 멀티 인테그랄 포토그래피 카메라 매칭 방법.
  17. 제13항 내지 제16항 중에서 어느 한 항의 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020130031371A 2013-03-25 2013-03-25 멀티 인테그랄 포토그래피 카메라 매칭 시스템 및 방법 KR102012697B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130031371A KR102012697B1 (ko) 2013-03-25 2013-03-25 멀티 인테그랄 포토그래피 카메라 매칭 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130031371A KR102012697B1 (ko) 2013-03-25 2013-03-25 멀티 인테그랄 포토그래피 카메라 매칭 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20140116615A KR20140116615A (ko) 2014-10-06
KR102012697B1 true KR102012697B1 (ko) 2019-08-21

Family

ID=51990326

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130031371A KR102012697B1 (ko) 2013-03-25 2013-03-25 멀티 인테그랄 포토그래피 카메라 매칭 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102012697B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005140970A (ja) * 2003-11-06 2005-06-02 Nippon Hoso Kyokai <Nhk> 立体画像撮影装置および立体画像表示装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE551841T1 (de) * 2009-04-22 2012-04-15 Raytrix Gmbh Digitales bildgebungsverfahren zum synthetisieren eines bildes unter verwendung der mit einer plenoptischen kamera aufgezeichneten daten
KR101652393B1 (ko) * 2010-01-15 2016-08-31 삼성전자주식회사 3차원 영상 획득 장치 및 방법
KR101857977B1 (ko) * 2011-08-16 2018-05-15 삼성전자주식회사 플래놉틱 카메라와 깊이 카메라를 결합한 영상 장치 및 영상 처리 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005140970A (ja) * 2003-11-06 2005-06-02 Nippon Hoso Kyokai <Nhk> 立体画像撮影装置および立体画像表示装置
JP4377656B2 (ja) 2003-11-06 2009-12-02 日本放送協会 インテグラルフォトグラフィ撮影装置およびインテグラルフォトグラフィ表示装置

Also Published As

Publication number Publication date
KR20140116615A (ko) 2014-10-06

Similar Documents

Publication Publication Date Title
JP6974873B2 (ja) シーンから深度情報を取得するための装置および方法
US9774837B2 (en) System for performing distortion correction and calibration using pattern projection, and method using the same
EP2992508B1 (en) Diminished and mediated reality effects from reconstruction
US9600714B2 (en) Apparatus and method for calculating three dimensional (3D) positions of feature points
US11663741B2 (en) Stereo calibration method for movable vision system
US20210241495A1 (en) Method and system for reconstructing colour and depth information of a scene
CN109087382A (zh) 一种三维重构方法及三维成像系统
JP2017112602A (ja) パノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成方法、ならびにそのシステム
US9729857B2 (en) High resolution depth map computation using multiresolution camera clusters for 3D image generation
CN103313081A (zh) 图像处理设备和方法
CN107545586B (zh) 基于光场极线平面图像局部的深度获取方法及系统
KR20120045269A (ko) 3ｄ 메쉬 모델링 및 에볼루션에 기반한 홀로그램 생성 방법 및 장치
CN105530503A (zh) 深度图建立方法与多镜头相机系统
EP3953903A1 (en) Scale-aware monocular localization and mapping
WO2018001252A1 (zh) 一种投射单元及包括该单元的拍摄装置、处理器、成像设备
WO2018032841A1 (zh) 绘制三维图像的方法及其设备、系统
Patel et al. Distance measurement system using binocular stereo vision approach
JP2016122444A (ja) 焦点スタックから適応スライス画像を生成する方法および装置
EP3756164B1 (en) Methods of modeling a 3d object, and related devices and computer program products
CN108298101B (zh) 云台旋转的控制方法及装置、无人机
CN107659772B (zh) 3d图像生成方法、装置及电子设备
Lin et al. Real-time low-cost omni-directional stereo vision via bi-polar spherical cameras
KR20140077315A (ko) 3차원 모델뷰 기반의 멀티카메라 모니터링 시스템 및 방법
KR102012697B1 (ko) 멀티 인테그랄 포토그래피 카메라 매칭 시스템 및 방법
KR102273577B1 (ko) 다시점 촬영 가이딩 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant