KR20120071276A - 2차원 영상의 해상도 레벨에 따른 3차원 복원 물체의 텍스처 생성 장치 및 그 방법 - Google Patents

2차원 영상의 해상도 레벨에 따른 3차원 복원 물체의 텍스처 생성 장치 및 그 방법 Download PDF

Info

Publication number
KR20120071276A
KR20120071276A KR1020110023508A KR20110023508A KR20120071276A KR 20120071276 A KR20120071276 A KR 20120071276A KR 1020110023508 A KR1020110023508 A KR 1020110023508A KR 20110023508 A KR20110023508 A KR 20110023508A KR 20120071276 A KR20120071276 A KR 20120071276A
Authority
KR
South Korea
Prior art keywords
images
resolution
texture
level
image
Prior art date
Application number
KR1020110023508A
Other languages
English (en)
Other versions
KR101575284B1 (ko
Inventor
차영미
추창우
박일규
구본기
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US13/333,914 priority Critical patent/US20120162215A1/en
Publication of KR20120071276A publication Critical patent/KR20120071276A/ko
Application granted granted Critical
Publication of KR101575284B1 publication Critical patent/KR101575284B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Generation (AREA)

Abstract

본 발명은 2차원 영상의 해상도 레벨에 따른 3차원 복원 물체의 텍스처 생성 장치 및 그 방법에 관한 것으로, 거리가 다른 적어도 둘 이상의 영역에서 촬영된 영상들로부터 3차원 물체 정보 및 영상들을 촬영한 카메라 정보를 추출하여 영상들 내에 포함된 3차원 물체를 복원하는 3차원 물체 복원부, 영상들의 한 픽셀이 3차원 물체의 실사 영상에서 차지하는 공간 영역의 크기를 측정하여 영상들에 대한 해상도를 산출하는 해상도 산출부, 해상도의 레벨별로 분류된 각각의 영상들을 이용하여 영상들에 대응하는 레벨별 텍스처를 생성하는 텍스처 생성부, 및 3차원 물체의 화면상의 크기에 따라 해당되는 레벨의 텍스처를 선택하여 렌더링을 수행하는 렌더링부를 포함한다.

Description

2차원 영상의 해상도 레벨에 따른 3차원 복원 물체의 텍스처 생성 장치 및 그 방법{Apparatus for generating texture of 3-demensional reconstructed object by resolution level of 2-demensional image and method thereof}
본 발명은 2차원 영상의 해상도 레벨에 따른 3차원 복원 물체의 텍스처 생성 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 다양한 크기와 해상도를 갖는 2차원 영상들의 한 픽셀 당 실제 공간 혹은 3차원의 복원된 공간에서 차지하는 영역의 크기에 따라 레벨별 텍스처를 생성하는 2차원 영상의 해상도 레벨에 따른 3차원 복원 물체의 텍스처 생성 장치 및 그 방법에 관한 것이다.
3차원 컴퓨터 그래픽 분야에서는, 3차원으로 렌더링된 폴리곤에 사실성을 더하기 위하여 2차원 이미지를 폴리곤에 적용시키는 텍스처 매핑 기법을 사용한다.
텍스처 매핑을 위해서는 3차원 모델의 각 면에 적용시킬 2차원 이미지를 제작하여야 하는데, 일반적으로 이러한 2차원 이미지는 디자이너에 의해 제작되거나, 실사 이미지의 일부 영역을 모델에 적용하는 방식을 사용한다.
이와 같이, 텍스처를 적용하여 렌더링하는 경우, 텍스처의 사이즈와 모델이 화면에 렌더링되는 사이즈의 차이가 클 수 있다.
일 예로서, 텍스처 크기에 비해 렌더링되는 사이즈가 클 경우 텍스처의 화소가 드러나 블록으로 보이는 현상이 나타날 수 있으며, 텍스처가 너무 작아서 엘리어싱(aliasing) 현상이 발생할 수 있다.
본 발명의 목적은, 다양한 크기와 해상도를 가지는 영상들을 이용하여 사실적이고 디테일한 표현을 하기 위한 자동 실사 텍스처링(Texturing)이 가능한 2차원 영상의 해상도 레벨에 따른 3차원 복원 물체의 텍스처 생성 장치 및 그 방법을 제공함에 있다.
또한, 본 발명의 다른 목적은, 픽셀당 실제 공간에서 차지하는 영역이 서로 다른 영상들(예를 들어, 항공 영상, 자동차 촬영 영상, 사용자 촬영 영상 등)을 픽셀 당 표현영역의 크기에 따라 레벨로 나누어서 각 레벨별로 텍스처를 생성함으로써, 3차원 복원 물체의 줌인(zoom-in)/줌아웃(zoom-out) 시에 텍스처의 블러링 문제를 최소화하고, 자연스러운 디테일을 표현할 수 있는 2차원 영상의 해상도 레벨에 따른 3차원 복원 물체의 텍스처 생성 장치 및 그 방법을 제공함에 있다.
상기의 목적을 달성하기 위한 본 발명에 따른 2차원 영상의 해상도 레벨에 따른 3차원 복원 물체의 텍스처 생성 장치는, 거리가 다른 적어도 둘 이상의 영역에서 촬영된 영상들로부터 3차원 물체 정보 및 상기 영상들을 촬영한 카메라 정보를 추출하여 상기 영상들 내에 포함된 3차원 물체를 복원하는 3차원 물체 복원부, 상기 영상들의 한 픽셀이 상기 3차원 물체의 실사 영상에서 차지하는 공간 영역의 크기를 측정하여 상기 영상들에 대한 해상도를 산출하는 해상도 산출부, 상기 해상도의 레벨별로 분류된 각각의 영상들을 이용하여 상기 영상들에 대응하는 텍스처를 생성하는 텍스처 생성부, 및 상기 3차원 물체의 화면상의 크기에 따라 해당되는 레벨의 상기 텍스처를 선택하여 렌더링을 수행하는 렌더링부를 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 텍스처 생성 장치는, 상기 영상들을 상기 해상도의 레벨에 따라 각각 분류하고, 상기 텍스처를 대응하는 영상의 레벨에 따라 분류하는 레벨 분류부를 더 포함하는 것을 특징으로 한다.
상기 레벨 분류부는 상기 영상들의 해상도 정보를 k-means 알고리즘에 적용하여 상기 해상도를 k개의 레벨로 분류하는 것을 특징으로 한다.
상기 텍스처 생성부는 상기 영상의 레벨에 따라 분류된 상기 텍스처를 이용하여 단계별 밉맵(mipmap)을 생성하는 것을 특징으로 한다.
상기 텍스처 생성부는 상기 3차원 물체의 각 표면 단위로 상기 텍스처를 생성하는 것을 특징으로 한다.
상기 3차원 물체 복원부는, 상기 영상들로부터 해당 영상을 촬영한 카메라의 위치, 앵글(angle), 및 이동 정보 중 적어도 하나를 추출하여 상기 영상들에 대한 카메라 보정(camera calibration)을 수행하는 카메라 보정부를 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 텍스처 생성 장치는, 상기 해상도의 레벨에 따라 분류된 상기 영상들, 및 상기 영상들의 해상도 레벨에 대응하여 분류된 상기 텍스처들이 각각 저장되는 저장부를 더 포함하는 것을 특징으로 한다.
한편, 본 발명에 따른 2차원 영상의 해상도 레벨에 따른 3차원 복원 물체의 텍스처 생성 방법은, 거리가 다른 적어도 둘 이상의 영역에서 촬영된 영상들로부터 3차원 물체 정보 및 상기 영상들을 촬영한 카메라 정보를 추출하여 상기 영상들 내에 포함된 3차원 물체를 복원하는 단계, 상기 영상들의 한 픽셀이 상기 3차원 물체의 실사 영상에서 차지하는 공간 영역의 크기를 측정하여 상기 영상들에 대한 해상도를 산출하는 단계, 상기 해상도의 레벨별로 분류된 각각의 영상들을 이용하여 상기 영상들에 대응하는 텍스처를 생성하는 단계, 및 상기 3차원 물체의 화면상의 크기에 따라 해당되는 레벨의 상기 텍스처를 선택하여 렌더링하는 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 텍스처 생성 방법은, 상기 영상들의 해상도 정보를 k-means 알고리즘에 적용하여 상기 해상도를 k개의 레벨로 분류하는 단계를 더 포함하는 것을 특징으로 한다.
상기 텍스처를 생성하는 단계는 상기 3차원 물체의 각 표면 단위로 상기 텍스처를 생성하는 것을 특징으로 한다.
또한, 본 발명에 따른 텍스처 생성 방법은, 상기 영상들의 해상도 레벨에 대응하여 상기 텍스처를 각각 분류하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 텍스처 생성 방법은, 상기 영상들의 해상도 레벨에 따라 분류된 상기 텍스처를 이용하여 단계별 밉맵(mipmap)을 생성하는 단계를 포함하는 것을 특징으로 한다.
상기 3차원 물체를 복원하는 단계는, 상기 영상들로부터 해당 영상을 촬영한 카메라의 위치, 앵글(angle), 및 이동 정보 중 적어도 하나를 추출하여 상기 영상들에 대한 카메라 보정(camera calibration)을 수행하는 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 텍스처 생성 방법은, 상기 해상도의 레벨에 따라 분류된 상기 영상들을 각각 저장하는 단계, 및 상기 영상들의 해상도 레벨에 대응하여 분류된 상기 텍스처들을 각각 저장하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명에 따르면, 서로 다른 해상도를 갖는 다양한 영상들로부터 각 영상의 한 픽셀 당 실제 공간에서의 표현 영역에 따라 레벨을 나누어 각 레벨별 텍스처를 생성함으로써, 3차원 물체 렌더링 시에 엘리어싱(aliasing) 문제 혹은 블러링(bluring) 문제 등을 해결할 수 있는 이점이 있다.
도 1 은 본 발명에 따른 텍스처 생성 장치에 적용되는 영상 획득 동작을 설명하는데 참조되는 예시도이다.
도 2 는 본 발명에 따른 텍스처 생성 장치의 구성을 설명하는데 참조되는 블록도이다.
도 3 은 본 발명에 따른 저장부의 세부 구성을 도시한 블록도이다.
도 4 는 본 발명에 따른 3차원 물체 복원부의 세부 구성을 도시한 블록도이다.
도 5 는 본 발명에 따른 텍스처 생성 장치의 해상도 산출 동작을 설명하는데 참조되는 예시도이다.
도 6 은 본 발명에 따른 텍스처 생성부의 텍스처 생성 동작을 설명하는데 참조되는 예시도이다.
도 7 은 본 발명에 따른 텍스처 생성 방법에 대한 동작 흐름을 도시한 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명한다.
도 1은 본 발명에 따른 텍스처 생성 장치에 적용되는 영상 획득 동작을 설명하는데 참조되는 예시도이다.
도 1에 도시된 바와 같이, 본 발명에서 3차원 물체의 복원을 위해 입력되는 영상들은 다양한 방법으로 수집될 수 있다. 일 예로서, 해당 영상은 항공에서 큰 영역을 촬영한 항공 영상일 수 있으며, 자동차 등에 의해 장착된 카메라를 통해 촬영된 영상일 수 있다. 또한, 해당 영상은 근거리에서 사용자에 의해 직접 촬영된 영상일 수 있다.
이와 같이, 다양한 방법에 의해 수집된 영상들은 한 픽셀(pixel)당 실제 공간을 표현하는 영역, 즉, 해상도(resolution)가 각기 다르다.
따라서, 서로 다른 해상도를 갖는 영상들을 이용하여 각 레벨에 맞는 텍스처(texture)를 생성함이 바람직할 것이다.
이에, 각 해상도 레벨별로 텍스처를 생성하는 본 발명의 구성은 도 2를 참조하여 보다 상세히 설명하고자 한다.
도 2는 본 발명에 따른 텍스처 생성 장치의 구성을 설명하는데 참조되는 블록도이다.
도 2에 도시된 바와 같이, 본 발명에 따른 텍스처 생성 장치는 제어부(10), 영상 입력부(20), 영상 출력부(30), 저장부(40), 3차원 물체 복원부(50), 해상도 산출부(60), 레벨 분류부(70), 텍스처 생성부(80), 및 렌더링부(90)를 포함한다. 여기서, 제어부(10)는 텍스처 생성 장치의 각 부 동작을 제어한다.
한편, 영상 입력부(20)는 텍스처 생성 장치에서 텍스처 생성을 위한 복수의 영상들이 입력된다. 이때, 영상 입력부(20)로 입력되는 영상들은 도 1의 실시예에서와 같이 항공영상, 자동차 촬영 영상, 및 사용자가 직접 촬영한 영상 등이 해당될 수 있다.
영상 출력부(30)는 텍스처 생성 장치에 의해 생성된 텍스처를 출력하는 수단이다.
저장부(40)는 영상 입력부(20)를 통해 입력된 복수의 영상들이 저장된다. 이때, 저장부(40)는 복수의 영상들이 해상도 레벨별로 분류되어 저장될 수 있다. 또한, 저장부(40)는 복수의 영상들에 의해 생성된 텍스처가 저장된다. 물론, 저장부(40)는 텍스처 또한 레벨별로 각각 분류되어 저장될 수 있다. 저장부(40)에 대한 세부 구성은 도 3의 실시예를 참조하도록 한다.
3차원 물체 복원부(50)는 저장부(40)에 저장된 영상들을 이용하여 3차원 물체의 정보 및 영상들을 촬영한 카메라 정보 등을 추출하고, 추출된 정보들을 이용하여 3차원 물체를 복원한다. 이때, 본 발명에서는 기존에 이용되고 있는 3차원 물체 복원 방법을 이용하여 해당 물체를 복원하도록 한다.
해상도 산출부(60)는 영상 입력부(20)를 통해 입력된 복수의 영상들 각각에 대한 해상도를 산출한다. 이때, 해상도 산출부(60)는 복원된 3차원 물체의 실사 영상에 대하여 해당 영상의 한 픽셀당 차지하는 공간 영역의 크기를 측정한다.
예를 들어 도 1에서와 같이, 항공 영상, 자동차에서 찍은 실사 영상, 사용자가 일반 카메라로 찍은 영상들을 사용하여 3차원 복원 후 해상도를 추출한 경우, 항공 영상은 해상도가 약 50X50 정도로 한 픽셀이 나타내는 3차원 복원 영역이 50 X50을 뜻하고, 지상 자동차 영상의 경우는 30X30, 지상 사용자 영상은 5X5 정도를 나타낸다.
해상도 산출부(60)에서 각 영상들의 해상도를 산출하는 과정에 대한 구체적인 실시예는 도 5를 참조하도록 한다.
레벨 분류부(70)는 해상도 산출부(60)에서 산출된 각 영상들의 해상도를 비교하여, 각 레벨별로 영상들을 분류한다. 이때, 분류된 영상들은 저장부(40)에 레벨별로 저장된다.
일 예로서, 각 영상들을 k개의 레벨로 분류하고자 할 경우, 레벨 분류부(70)는 산출된 해상도들을 k-means 알고리즘과 같은 분류(classification) 알고리즘에 적용하여 k개의 레벨로 분류한다.
이때, 레벨 분류부(70)는 자동으로 레벨 분류 개수를 정할 수 있고, 수동으로 입력된 레벨 분류 개수에 맞추어 해상도 레벨을 분류할 수 있다.
텍스처 생성부(80)는 저장부(40)에 레벨별로 분류되어 저장된 각 영상들을 이용하여 텍스처를 생성한다. 이때, 텍스처 생성부(80)는 각 레벨별로 해당되는 영상들을 이용하여 복원된 3차원 물체의 각 표면 단위로 텍스처를 생성한다.
여기서, 텍스처 생성부(80)는 밉맵(mipmap) 개념을 이용하여 각 레벨별 텍스처를 생성한다. 다시 말해, 텍스처 생성부(80)는 각 텍스처를 이용하여 단계별 밉맵을 구성하여, 해당 밉맵을 출력 텍스처 저장부(45)에 저장한다.
한편, 레벨 분류부(70)는 각 영상들의 레벨에 대응하여 생성된 텍스처들을 레벨별로 분류한다. 마찬가지로, 분류된 텍스처들은 저장부(40)에 레벨별로 저장된다.
렌더링부(90)는 저장부(40)에 저장된 텍스처들을 물체의 화면상의 크기에 따라 해당되는 레벨의 텍스처를 선택하여, 렌더링을 수행한다. 이때, 렌더링부(90)는 줌인(zoom- in)/줌아웃(zoom-out) 시에 3차원 복원 물체와의 거리에 따라 각 레벨 단위로 텍스처를 선택하여 사용한다.
따라서, 본 발명에 따른 텍스처 생성 장치는 줌인(zoom- in)/줌아웃(zoom-out) 시 블러링(blurring) 문제를 최소화하고, 자연스러운 디테일을 표현할 수 있게 된다.
도 3 은 본 발명에 따른 저장부의 세부 구성을 도시한 블록도이다.
도 3에 도시된 바와 같이, 본 발명에 따른 저장부(40)는 입력 영상 저장부(41) 및 출력 텍스처 저장부(45)를 포함한다.
입력 영상 저장부(41)는 영상 입력부(20)를 통해 입력된 영상들이 저장된다. 여기서, 입력 영상 저장부(41)는 레벨별로 저장소가 구비된다. 예를 들어, 레벨1, 레벨2, ..., 레벨N에 해당되는 저장소가 각각 구비된다.
따라서, 영상 입력부(20)를 통해 입력된 영상들은 해당되는 레벨의 저장소에 저장된다. 이때, 레벨별로 분류된 각 영상들은 해당 영상의 레벨이 태그(tag)로 설정되어 관리될 수도 있다.
출력 텍스처 저장부(45)는 텍스처 생성부(80)에 의해 생성된 텍스처들이 저장된다. 여기서, 출력 텍스처 저장부(45)는 입력 영상 저장부(41)에 대응하여 각 레벨별로 저장소가 구비된다. 예를 들어, 레벨1, 레벨2, ..., 레벨N에 해당되는 저장소가 각각 구비된다.
따라서, 텍스처 생성부(80)에 의해 생성된 텍스처들은 해당 텍스처를 생성하는데 이용된 영상의 레벨에 해당되는 저장소에 저장된다. 다시 말해, 레벨1에 해당되는 영상들을 이용하여 생성된 텍스처는 레벨1이 되고, 레벨2에 해당되는 영상들을 이용하여 생성된 텍스처는 레벨2가 된다.
이때, 레벨별로 분류된 각 텍스처들은 해당 텍스처의 레벨이 태그(tag)로 설정되어 관리될 수도 있다.
여기서 말하는 레벨은 해상도 산출부(60)에 의해 산출된 해상도의 레벨을 말한다. 일 예로서, 레벨1은 해상도가 약 50X50인 레벨이고, 레벨2는 해상도가 약 30X30인 레벨이고, 레벨3은 해상도가 약 5X5인 레벨일 수 있다.
도 4는 본 발명에 따른 3차원 물체 복원부의 세부 구성을 도시한 블록도이다.
도 4에 도시된 바와 같이, 본 발명에 따른 3차원 물체 복원부(50)는 카메라 보정부(51) 및 복원부(55)는 포함한다.
카메라 보정부(51)는 영상 입력부(20)로부터 입력된 영상들에 대하여 카메라 보정(camera calibration)을 수행한다. 여기서, 카메라 보정은, 2차원 영상으로부터 카메라의 위치나 앵글(angle), 이동 등의 정보를 추출하여 해당 영상을 보정하는 것이다.
복원부(55)는 카메라 보정된 2차원 영상들을 이용하여 3차원 물체를 복원한다. 여기서, 복원부(55)는 일반적으로 이용되고 있는 3차원 복원 방법을 적용하여 3차원 물체를 복원할 수 있다. 따라서, 3차원 물체를 복원하는 구체적은 동작에 대한 설명은 생략한다. 이때, 복원부(55)는 3차원 물체를 복원하는 과정에서 카메라의 정보 및 3차원 복원 데이터 정보를 획득할 수 있다.
도 5는 본 발명에 따른 텍스처 생성 장치의 해상도 산출 동작을 설명하는데 참조되는 예시도이다.
도 5에 도시된 바와 같이, 해상도 산출부(60)는 3차원 물체 복원부(50)에 의해 획득된 카메라의 정보 및 3차원 복원 데이터 정보를 이용하여 각 영상들에서의 한 픽셀당 3차원 복원 물체의 공간 영역의 크기, 즉, 해상도를 산출한다.
이때, 해상도 산출부(60)는 3차원 복원 물체의 특정 영역을 기준으로 카메라 보정을 통해 구해진 카메라의 촬영 영역에 재투영(reprojection) 한다. 또한, 해상도 산출부(60)는 해당 카메라의 실사 영상에서 재투영된 영역이 차지하는 픽셀을 계산한다.
여기서, 재투영이란, 카메라 보정을 통해 구해진 카메라의 위치, 방향, 및 초점 길이(focal length) 등의 정보를 이용하여 복원된 3차원 상의 한점을 실사 영상으로 투영시키는 것을 말한다.
도 6은 본 발명에 따른 텍스처 생성부의 텍스처 생성 동작을 설명하는데 참조되는 예시도이다.
도 6에 도시된 바와 같이, 출력 텍스처 저장부(45)에는 각 레벨별로 분류된 텍스처들이 각각 저장된다. 일 예로서, 레벨1에는 50X50의 해상도를 갖는 항공 영상들에 대한 텍스처(T1)가 저장된다고 가정한다. 또한, 레벨2에는 30X30의 해상도를 갖는 자동차 촬영 영상들에 대한 텍스처(T2)가 저장된다고 가정한다. 또한, 레벨3에는 5X5의 해상도를 갖는 사용자 촬영 영상들에 대한 텍스처(T3)가 저장된다고 가정한다.
이때, 텍스처 생성부(80)는 도 6에서와 같이, 여기서, 텍스처 생성부(80)는 밉맵(mipmap) 개념을 이용하여 각 레벨별 텍스처를 생성한다. 다시 말해, 텍스처 생성부(80)는 각 텍스처를 이용하여 단계별 밉맵을 구성하여, 해당 밉맵을 출력 텍스처 저장부(45)에 저장한다.
따라서, 렌더링부(90)는 3차원 물체의 렌더링 시에 물체의 화면상의 크기에 따라 적당한 레벨의 텍스처를 선택하여 렌더링을 수행하게 한다.
상기와 같이 구성되는 본 발명의 동작 흐름을 살펴보면 다음과 같다.
도 7은 본 발명에 따른 텍스처 생성 방법에 대한 동작 흐름을 도시한 순서도이다.
도 7에 도시된 바와 같이, 텍스처 생성 장치는 복수의 영상들(예를 들어, 항공영상, 자동차 촬영 영상, 및 사용자가 직접 촬영한 영상 등)이 입력되면(S100), 입력된 복수의 영상들에 대하여 카메라 보정(camera calibration)을 수행한다(S110). 여기서, 카메라 보정은, 2차원 영상으로부터 카메라의 위치나 앵글(angle), 이동 등의 정보를 추출하여 해당 영상을 보정하는 것이다.
이후, 텍스처 생성 장치는 카메라 보정된 2차원 영상들을 이용하여 3차원 물체를 복원한다(S120).
한편, 텍스처 생성 장치는 복원된 3차원 물체의 실사 영상에 대하여 복수의 영상들 각각이 한 픽셀당 차지하는 공간 영역의 크기, 즉, 해상도를 산출한다(S130). 이때, 텍스처 생성 장치는 'S130' 과정에서 산출된 해상도 레벨별로 각 영상들을 분류한다(S140). 텍스트 생성 장치는 k-means 알고리즘과 같은 분류(classification) 알고리즘 등을 이용하여 각 해상도 레벨별로 영상들을 분류할 수 있다. 이때, 분류된 영상들은 저장부(40)에 각 레벨별로 저장된다.
텍스처 생성 장치는 'S140' 과정에서 분류된 각 레벨별 영상으로부터 텍스처를 생성한다(S150). 이때, 텍스처 생성 장치는 각 레벨별로 해당되는 영상들을 이용하여 복원된 3차원 물체의 각 페이스(face) 단위로 텍스처를 생성한다.
마찬가지로, 텍스처 생성 장치는 'S150' 과정에서 생성된 텍스처들을 각 레벨별로 분류하여(S160), 저장부(40)에 저장한다(S170).
이후, 텍스처 생성 장치는 저장부(40)에 각 레벨별로 저장된 텍스처들을 3차원 물체와의 거리에 따라 특정 레벨의 텍스처를 선택하여 렌더링을 수행하도록 한다(S180).
이상과 같이 본 발명에 의한 2차원 영상의 해상도 레벨에 따른 3차원 복원 물체의 텍스처 생성 장치 및 그 방법은 예시된 도면을 참조로 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명은 한정되지 않고, 기술사상이 보호되는 범위 이내에서 응용될 수 있다.
10: 제어부 20: 영상 입력부
30: 영상 출력부 40: 저장부
41: 입력 영상 저장부 45: 출력 텍스처 저장부
50: 3차원 물체 복원부 51: 카메라 보정부
55: 복원부 60: 해상도 산출부
70: 레벨 분류부 80: 텍스처 생성부
90: 렌더링부

Claims (14)

  1. 거리가 다른 적어도 둘 이상의 영역에서 촬영된 영상들로부터 3차원 물체 정보 및 상기 영상들을 촬영한 카메라 정보를 추출하여 상기 영상들 내에 포함된 3차원 물체를 복원하는 3차원 물체 복원부;
    상기 영상들의 한 픽셀이 상기 3차원 물체의 실사 영상에서 차지하는 공간 영역의 크기를 측정하여 상기 영상들에 대한 해상도를 산출하는 해상도 산출부;
    상기 해상도의 레벨별로 분류된 각각의 영상들을 이용하여 상기 영상들에 대응하는 레벨별 텍스처를 생성하는 텍스처 생성부; 및
    상기 3차원 물체의 화면상의 크기에 따라 해당되는 레벨의 상기 텍스처를 선택하여 렌더링을 수행하는 렌더링부;를 포함하는 것을 특징으로 하는 2차원 영상의 해상도 레벨에 따른 3차원 복원 물체의 텍스처 생성 장치.
  2. 청구항 1에 있어서,
    상기 영상들을 상기 해상도의 레벨에 따라 각각 분류하고, 상기 텍스처를 대응하는 영상의 레벨에 따라 분류하는 레벨 분류부;를 더 포함하는 것을 특징으로 하는 2차원 영상의 해상도 레벨에 따른 3차원 복원 물체의 텍스처 생성 장치.
  3. 청구항 2에 있어서,
    상기 레벨 분류부는,
    상기 영상들의 해상도 정보를 k-means 알고리즘에 적용하여 상기 해상도를 k개의 레벨로 분류하는 것을 특징으로 하는 2차원 영상의 해상도 레벨에 따른 3차원 복원 물체의 텍스처 생성 장치.
  4. 청구항 2에 있어서,
    상기 텍스처 생성부는,
    상기 영상의 레벨에 따라 분류된 상기 텍스처를 이용하여 단계별 밉맵(mipmap)을 생성하는 것을 특징으로 하는 2차원 영상의 해상도 레벨에 따른 3차원 복원 물체의 텍스처 생성 장치.
  5. 청구항 1에 있어서,
    상기 텍스처 생성부는,
    상기 3차원 물체의 각 표면 단위로 상기 텍스처를 생성하는 것을 특징으로 하는 2차원 영상의 해상도 레벨에 따른 3차원 복원 물체의 텍스처 생성 장치.
  6. 청구항 1에 있어서,
    상기 3차원 물체 복원부는,
    상기 영상들로부터 해당 영상을 촬영한 카메라의 위치, 앵글(angle), 및 이동 정보 중 적어도 하나를 추출하여 상기 영상들에 대한 카메라 보정(camera calibration)을 수행하는 카메라 보정부;를 포함하는 것을 특징으로 하는 2차원 영상의 해상도 레벨에 따른 3차원 복원 물체의 텍스처 생성 장치.
  7. 청구항 1에 있어서,
    상기 해상도의 레벨에 따라 분류된 상기 영상들, 및 상기 영상들의 해상도 레벨에 대응하여 분류된 상기 텍스처들이 각각 저장되는 저장부;를 더 포함하는 것을 특징으로 하는 2차원 영상의 해상도 레벨에 따른 3차원 복원 물체의 텍스처 생성 장치.
  8. 거리가 다른 적어도 둘 이상의 영역에서 촬영된 영상들로부터 3차원 물체 정보 및 상기 영상들을 촬영한 카메라 정보를 추출하여 상기 영상들 내에 포함된 3차원 물체를 복원하는 단계;
    상기 영상들의 한 픽셀이 상기 3차원 물체의 실사 영상에서 차지하는 공간 영역의 크기를 측정하여 상기 영상들에 대한 해상도를 산출하는 단계;
    상기 해상도의 레벨별로 분류된 각각의 영상들을 이용하여 상기 영상들에 대응하는 레벨별 텍스처를 생성하는 단계; 및
    상기 3차원 물체의 화면상의 크기에 따라 해당되는 레벨의 상기 텍스처를 선택하여 렌더링하는 단계;를 포함하는 것을 특징으로 하는 2차원 영상의 해상도 레벨에 따른 3차원 복원 물체의 텍스처 생성 방법.
  9. 청구항 8에 있어서,
    상기 영상들의 해상도 정보를 k-means 알고리즘에 적용하여 상기 해상도를 k개의 레벨로 분류하는 단계;를 더 포함하는 것을 특징으로 하는 2차원 영상의 해상도 레벨에 따른 3차원 복원 물체의 텍스처 생성 방법.
  10. 청구항 8에 있어서,
    상기 텍스처를 생성하는 단계는,
    상기 3차원 물체의 각 표면 단위로 상기 텍스처를 생성하는 것을 특징으로 하는 2차원 영상의 해상도 레벨에 따른 3차원 복원 물체의 텍스처 생성 방법.
  11. 청구항 8에 있어서,
    상기 영상들의 해상도 레벨에 대응하여 상기 텍스처를 각각 분류하는 단계;를 더 포함하는 것을 특징으로 하는 2차원 영상의 해상도 레벨에 따른 3차원 복원 물체의 텍스처 생성 방법.
  12. 청구항 11에 있어서,
    상기 영상들의 해상도 레벨에 따라 분류된 상기 텍스처를 이용하여 단계별 밉맵(mipmap)을 생성하는 단계;를 포함하는 것을 특징으로 하는 2차원 영상의 해상도 레벨에 따른 3차원 복원 물체의 텍스처 생성 방법.
  13. 청구항 8에 있어서,
    상기 3차원 물체를 복원하는 단계는,
    상기 영상들로부터 해당 영상을 촬영한 카메라의 위치, 앵글(angle), 및 이동 정보 중 적어도 하나를 추출하여 상기 영상들에 대한 카메라 보정(camera calibration)을 수행하는 단계;를 포함하는 것을 특징으로 하는 2차원 영상의 해상도 레벨에 따른 3차원 복원 물체의 텍스처 생성 방법.
  14. 청구항 8에 있어서,
    상기 해상도의 레벨에 따라 분류된 상기 영상들을 각각 저장하는 단계; 및
    상기 영상들의 해상도 레벨에 대응하여 분류된 상기 텍스처들을 각각 저장하는 단계;를 더 포함하는 것을 특징으로 하는 2차원 영상의 해상도 레벨에 따른 3차원 복원 물체의 텍스처 생성 방법.
KR1020110023508A 2010-12-22 2011-03-16 2차원 영상의 해상도 레벨에 따른 3차원 복원 물체의 텍스처 생성 장치 및 그 방법 KR101575284B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/333,914 US20120162215A1 (en) 2010-12-22 2011-12-21 Apparatus and method for generating texture of three-dimensional reconstructed object depending on resolution level of two-dimensional image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20100132878 2010-12-22
KR1020100132878 2010-12-22

Publications (2)

Publication Number Publication Date
KR20120071276A true KR20120071276A (ko) 2012-07-02
KR101575284B1 KR101575284B1 (ko) 2015-12-09

Family

ID=46706356

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110023508A KR101575284B1 (ko) 2010-12-22 2011-03-16 2차원 영상의 해상도 레벨에 따른 3차원 복원 물체의 텍스처 생성 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101575284B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9342867B2 (en) 2012-10-16 2016-05-17 Samsung Electronics Co., Ltd. Apparatus and method for reconstructing super-resolution three-dimensional image from depth image
KR20160069379A (ko) * 2014-12-08 2016-06-16 공주대학교 산학협력단 암석의 박편 영상을 이용한 암석의 투수율 및 공극률 산출 장치 및 그 방법
KR101717896B1 (ko) * 2016-09-19 2017-03-21 한국건설기술연구원 데이터 경량화를 고려한 건물 외곽 모델링 방법 및 장치
WO2018084506A3 (ko) * 2016-11-01 2018-08-09 한국지질자원연구원 가도리니움 화합물을 반응시킨 암석 시료의 전자현미경 이미지를 활용한 공극률 측정방법
US10796496B2 (en) 2017-11-24 2020-10-06 Electronics And Telecommunications Research Institute Method of reconstrucing 3D color mesh and apparatus for same
KR102526189B1 (ko) 2022-09-30 2023-04-27 주식회사 플럭시티 3차원 이미지 모델링 장치 및 방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9342867B2 (en) 2012-10-16 2016-05-17 Samsung Electronics Co., Ltd. Apparatus and method for reconstructing super-resolution three-dimensional image from depth image
KR20160069379A (ko) * 2014-12-08 2016-06-16 공주대학교 산학협력단 암석의 박편 영상을 이용한 암석의 투수율 및 공극률 산출 장치 및 그 방법
KR101717896B1 (ko) * 2016-09-19 2017-03-21 한국건설기술연구원 데이터 경량화를 고려한 건물 외곽 모델링 방법 및 장치
WO2018084506A3 (ko) * 2016-11-01 2018-08-09 한국지질자원연구원 가도리니움 화합물을 반응시킨 암석 시료의 전자현미경 이미지를 활용한 공극률 측정방법
US10796496B2 (en) 2017-11-24 2020-10-06 Electronics And Telecommunications Research Institute Method of reconstrucing 3D color mesh and apparatus for same
KR102526189B1 (ko) 2022-09-30 2023-04-27 주식회사 플럭시티 3차원 이미지 모델링 장치 및 방법
KR20240046399A (ko) 2022-09-30 2024-04-09 주식회사 플럭시티 3차원 이미지 모델링 장치 및 방법

Also Published As

Publication number Publication date
KR101575284B1 (ko) 2015-12-09

Similar Documents

Publication Publication Date Title
JP6425780B1 (ja) 画像処理システム、画像処理装置、画像処理方法及びプログラム
JP7403528B2 (ja) シーンの色及び深度の情報を再構成するための方法及びシステム
CN113012293B (zh) 石刻模型构建方法、装置、设备及存储介质
KR100914845B1 (ko) 다시점 영상 정보를 이용한 물체의 삼차원 형상복원 방법및 장치
JP5945255B2 (ja) 仮想視点映像生成装置、仮想視点映像生成方法、及び仮想視点映像生成プログラム
KR101697184B1 (ko) 메쉬 생성 장치 및 그 방법, 그리고, 영상 처리 장치 및 그 방법
KR101199475B1 (ko) 3차원 모델 생성 방법 및 장치
US8860712B2 (en) System and method for processing video images
US20200057831A1 (en) Real-time generation of synthetic data from multi-shot structured light sensors for three-dimensional object pose estimation
EP2319010B1 (en) Image generation device and method for example-based super-resolution
WO2019031259A1 (ja) 画像処理装置および方法
KR101575284B1 (ko) 2차원 영상의 해상도 레벨에 따른 3차원 복원 물체의 텍스처 생성 장치 및 그 방법
CN114450719A (zh) 人体模型重建方法、重建系统及存储介质
KR20080079056A (ko) 3차원 유화 데이터의 복원
TW202247106A (zh) 提供三維模型的電腦實施方法與系統及其相關之儲存媒體
Liu et al. Creating simplified 3D models with high quality textures
KR102358854B1 (ko) 얼굴 이미지 색상 합성 장치 및 방법
JP2008310724A (ja) ３次元形状復元装置，３次元形状復元方法，３次元形状復元プログラム及びそのプログラムを格納した記録媒体
CN115176284A (zh) 图像处理装置、图像处理方法及图像处理程序
US20120162215A1 (en) Apparatus and method for generating texture of three-dimensional reconstructed object depending on resolution level of two-dimensional image
KR102559691B1 (ko) 뉴럴 렌더링 기반 형상 색상 통합 3d 메시 복원 방법 및 장치
JP7316693B2 (ja) 多重視点テクスチャを利用した３ｄポリゴンメッシュレンダリング方法及びその装置
US11120606B1 (en) Systems and methods for image texture uniformization for multiview object capture
KR20220096396A (ko) Erp 기반 다시점 360도 영상의 초해상화 방법 및 영상처리장치
JP7271115B2 (ja) 画像処理装置、背景画像の生成方法およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181101

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191212

Year of fee payment: 5