KR102317182B1 - 3차원 객체와 2차원 배경을 이용한 합성 이미지 생성 장치 - Google Patents

3차원 객체와 2차원 배경을 이용한 합성 이미지 생성 장치 Download PDF

Info

Publication number
KR102317182B1
KR102317182B1 KR1020200160158A KR20200160158A KR102317182B1 KR 102317182 B1 KR102317182 B1 KR 102317182B1 KR 1020200160158 A KR1020200160158 A KR 1020200160158A KR 20200160158 A KR20200160158 A KR 20200160158A KR 102317182 B1 KR102317182 B1 KR 102317182B1
Authority
KR
South Korea
Prior art keywords
image
dimensional
point cloud
generating
vertices
Prior art date
Application number
KR1020200160158A
Other languages
English (en)
Inventor
김도원
Original Assignee
주식회사 리얼이매진
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 리얼이매진 filed Critical 주식회사 리얼이매진
Priority to KR1020200160158A priority Critical patent/KR102317182B1/ko
Application granted granted Critical
Publication of KR102317182B1 publication Critical patent/KR102317182B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

합성 이미지 생성 장치가 개시된다. 합성 이미지 생성 장치는, 적어도 하나의 사용자 단말로부터 객체(object)에 대하여 촬영된 적어도 하나의 깊이 이미지를 획득하고, 외부의 클라우드 서버로부터 다수의 배경 이미지들을 획득하는 객체 및 배경 이미지 획득부; 상기 깊이 이미지를 이용하여 상기 객체에 대한 3차원 포인트 클라우드(3D point cloud)를 생성하는 객체 포인트 클라우드 생성부; 상기 3차원 포인트 클라우드를 구성하는 정점(vertex)들을 서로 연결하여 폴리곤을 생성하고, 생성된 폴리곤에 텍스쳐를 매핑하여 3차원 객체 이미지를 생성하는 폴리곤 생성부; 상기 3차원 객체 이미지를 방향각에 따라 출력하여 2차원 객체 이미지를 생성하는 2차원 객체 이미지 생성부; 및 상기 2차원 객체 이미지를 상기 배경 이미지들 중 선택된 배경 이미지와 결합하여 합성 이미지를 생성하는 합성 이미지 생성부를 포함할 수 있다.

Description

3차원 객체와 2차원 배경을 이용한 합성 이미지 생성 장치{APPARATUS FOR GENERATING COMPOSITE IMAGE USING 3D OBJECT AND 2D BACKGROUND}
본 발명은 합성 이미지 생성 장치에 관한 것으로, 더욱 상세하게는 3차원 객체와 2차원 배경을 이용한 합성 이미지 생성 장치에 관한 것이다.
최근 카메라가 널리 보급됨에 따라 다수의 사용자들이 여러 다양한 장소에서 촬영한 이미지들을 쉽게 입수할 수 있다. 이러한 카메라는 종래에 2차원 이미지를 획득하는 것에서 더 나아가 3차원 깊이 정보까지 획득하는 깊이 감지 카메라에 이르기까지 다양해지고 있다.
한편, 특정 배경에서 사물을 촬영하기 위해서 매우 먼 곳까지 직접 촬영자가 이동하는 것에는 많은 노력이 수반된다. 이러한 노력을 줄이기 위하여 사물의 2차원 이미지와 특정 배경을 단순 합성하는 방식이 사용될 수 있으나, 사물에 대하여 촬영된 2차원 이미지의 촬영 각도가 제한적이어서 합성 결과물이 매우 어색하고 부자연스러운 문제가 있다.
또한, 깊이 감지 카메라를 이용하여 사물에 대한 3차원 이미지를 획득하기 위해서는 매우 전문적이고 고가의 3차원 깊이 카메라를 이용하여 사물을 매우 많은 각도에서 촬영할 필요가 있어 일반인이 접근하기 어렵다.
따라서, 손쉽게 접근 가능한 수준의 깊이 감지 카메라를 이용해 사물에 대해 촬영된 소수의 깊이 이미지들만으로도 자연스러운 합성 이미지를 획득할 수 있는 방안이 필요한 실정이다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 3차원 객체와 2차원 배경을 이용한 합성 이미지 생성 장치를 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명의 일 측면은, 합성 이미지 생성 장치를 제공한다.
합성 이미지 생성 장치는, 적어도 하나의 사용자 단말로부터 객체(object)에 대하여 촬영된 적어도 하나의 깊이 이미지를 획득하고, 외부의 클라우드 서버로부터 다수의 배경 이미지들을 획득하는 객체 및 배경 이미지 획득부; 상기 깊이 이미지를 이용하여 상기 객체에 대한 3차원 포인트 클라우드(3D point cloud)를 생성하는 객체 포인트 클라우드 생성부; 상기 3차원 포인트 클라우드를 구성하는 정점(vertex)들을 서로 연결하여 폴리곤을 생성하고, 생성된 폴리곤에 텍스쳐를 매핑하여 3차원 객체 이미지를 생성하는 폴리곤 생성부; 상기 3차원 객체 이미지를 방향각에 따라 출력하여 2차원 객체 이미지를 생성하는 2차원 객체 이미지 생성부; 및 상기 2차원 객체 이미지를 상기 배경 이미지들 중 선택된 배경 이미지와 결합하여 합성 이미지를 생성하는 합성 이미지 생성부를 포함할 수 있다.
상기 깊이 이미지는, 상기 객체를 ToF(Time of Flight) 센서 및 적외선 프로젝터(IR projector) 중 적어도 하나를 포함하는 깊이 감지 카메라를 이용하여 촬영한 이미지일 수 있다.
상기 깊이 이미지는, 상기 객체에 대응하는 화소들에 대한 색상 정보, 상기 화소들 각각과 대응하는 실제 위치와 상기 객체를 촬영한 카메라 사이의 거리를 나타내는 거리 정보, 및 상기 화소들과 대응하는 위치들 사이의 상대적 거리를 나타내는 디스패리티(disparity) 정보 중 적어도 하나를 포함할 수 있다.
상기 깊이 이미지는, 상기 객체를 적어도 세개 이상의 방향에서 촬영한 복수의 이미지들일 수 있다.
상기 객체 포인트 클라우드 생성부는, 상기 거리 정보와 상기 디스패리티 정보를 이용하여 상기 화소들과 대응하는 3차원 공간 좌표를 직교 좌표계 형태로 연산할 수 있다.
상기 합성 이미지 생성 장치는, 상기 방향각에 기반하여 상기 3차원 포인트 클라우드를 구성하는 상기 정점들을 더 추가하는 정점 보강부를 더 포함할 수 있다.
상기 방향각은, 상기 선택된 배경 이미지에 포함된 광원 또는 주변 사물의 위치에 기초하여 결정될 수 있다.
상기 정점 보강부는, 상기 선택된 배경 이미지에서 상기 객체가 합성될 배치 위치를 바운딩 박스 형태로 사용자로부터 입력받을 수 있다.
상기와 같은 본 발명에 따른 3차원 객체와 2차원 배경을 이용한 합성 이미지 생성 장치를 이용할 경우에는 소수의 깊이 이미지들만으로도 자연스러운 객체 이미지를 획득할 수 있어 합성 이미지의 품질이 크게 향상될 수 있다.
도 1은 일 실시예에 따른 합성 이미지 생성 장치의 동작 환경을 나타낸 개념도이다.
도 2는 도 1에 따른 합성 이미지 생성 장치의 기능부를 나타낸 블록도이다.
도 3은 일 실시예에 따른 3차원 포인트 클라우드에서 방향각에 따른 투영 평면을 나타낸 예시도이다.
도 4는 투영 평면에 투영된 정점들을 기초로 3차원 포인트 클라우드에 정점들을 추가하는 방법을 나타낸 예시도이다.
도 5는 투영 평면 상에서 정점들 사이의 연결 관계를 결정함으로써 폴리곤을 생성하는 방법을 설명하기 위한 예시도이다.
도 6은 도 1에 따른 합성 이미지 생성 장치의 하드웨어 구성을 나타낸 예시도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일 실시예에 따른 합성 이미지 생성 장치가 동작하는 환경을 나타낸 개념도이다.
도 1을 참조하면, 합성 이미지 생성 장치(100)는, 적어도 하나의 사용자 단말(200)로부터 배경 이미지와 합성하길 원하는 특정 객체(object)에 대하여 촬영된 깊이 이미지를 획득할 수 있다. 여기서, 객체는 화장품을 비롯한 각종 소품, 광고 대상 물품 등과 같이 배경 이미지와 합성하고자 하는 다양한 형태의 물품을 모두 포함할 수 있다.
사용자 단말(200)의 예를 들면, 통신 가능한 데스크탑 컴퓨터(desktop computer), 랩탑 컴퓨터(laptop computer), 노트북(notebook), 스마트폰(smart phone), 태블릿 PC(tablet PC), 모바일폰(mobile phone), 스마트 워치(smart watch), 스마트 글래스(smart glass), e-book 리더기, PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 디지털 카메라(digital camera), DMB(digital multimedia broadcasting) 재생기, 디지털 음성 녹음기(digital audio recorder), 디지털 음성 재생기(digital audio player), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player), PDA(Personal Digital Assistant) 등일 수 있다.
깊이 이미지는 특정 객체(object)에 대하여 깊이 감지 카메라를 이용하여 촬영함으로써 획득될 수 있다. 깊이 감지 카메라는 ToF(Time of Flight) 센서, 적외선 프로젝터(IR projector) 등을 이용하여 촬영 대상 객체의 각 지점들 사이의 상대적 거리, 카메라로부터 촬영 대상 객체까지의 거리 등을 감지할 수 있다. 이에 따라 깊이 이미지는 객체에 대응하는 화소들에 대한 색상 정보, 화소들 각각과 대응하는 실제 위치와 카메라 사이의 거리를 나타내는 거리 정보, 및/또는 화소들과 대응하는 실제 위치들 사이의 상대적 거리(d)를 나타내는 디스패리티(disparity) 정보를 포함할 수 있다.
또한, 깊이 이미지는 특정 객체(object)를 적어도 세 개 이상의 방향에서 촬영한 복수의 이미지들일 수 있다. 예를 들어, 깊이 이미지는 특정 객체(object)의 전후좌우 사면에서 촬영한 이미지들이거나, 특정 객체의 6면(전면, 후면, 좌측면, 우측면, 배면, 입면)에서 촬영한 이미지들일 수 있다.
합성 이미지 생성 장치(100)는 유무선 네트워크를 통해 연결된 외부의 클라우드 서버(cloud server, 300)으로부터 적어도 하나의 2차원 배경 이미지를 획득할 수 있다. 여기서 2차원 배경 이미지는 산의 정상, 바다, 강 등과 같이 특정 장소를 일반적인 2차원 카메라로 촬영한 이미지일 수 있다. 여기서 외부의 클라우드 서버(300)는, 인스타그램, 페이스북 등과 같은 소셜 네트워크 서비스(SNS)의 운영 서버, 공개된 클라우드 서버 등을 포함할 수 있다. 예를 들어, 합성 이미지 생성 장치(100)는 웹 크롤링(web crawling) 방법을 이용하여 적어도 하나의 2차원 배경 이미지를 획득할 수 있다.
합성 이미지 생성 장치(100)는 획득된 적어도 하나의 2차원 배경 이미지를 수집하여 저장된 배경 이미지 데이터베이스(database)를 포함할 수 있다. 배경 이미지 데이터베이스에는 지속적으로 클라우드 서버(300)를 통해 수집된 다양한 장소의 2차원 배경 이미지들이 저장될 수 있다.
합성 이미지 생성 장치(100)는, 수집된 다수의2차원 배경 이미지들 중에서 사용자의 입력에 따라 선택된 배경 이미지를 대상으로 방향각을 추출할 수 있다. 여기서 추출되는 방향각은 2차원 배경 이미지에서 객체(obj)가 합성되었을 때, 객체가 2차원 배경 이미지 내에서 보여지는 방향각일 수 있다.
합성 이미지 생성 장치(100)는, 특정 객체에 대하여 촬영된 적어도 하나의 깊이 이미지들을 이용하여 3차원 포인트 클라우드(point cloud)를 생성할 수 있다. 여기서 생성되는 포인트 클라우드는 객체외 외부면(surface)를 구성하는 정점(vertex)들로 구성될 수 있고, 정점들은 3차원 공간 상의 좌표(x, y, z) 및 색상 정보를 속성(attribute)으로 가질 수 있다.
여기서 생성되는 3차원 포인트 클라우드는 정점들로 구성되어 있기 때문에, 객체에 대하여 촬영된 깊이 이미지들의 수가 적으면 적은 수의 정점들로 객체가 구성되어 있어 객체를 바라보았을 때 비어있는 공간이 외부에서 관찰될 수 있다. 또한, 객체에 대하여 충분한 정점들이 획득되었더라도 객체의 크기를 2차원 배경 이미지 상의 물체들과의 상대적 크기 비율을 맞추기위해 정점들 사이의 간격을 늘려 객체의 크기를 확대하는 경우에도 비어있는 공간이 외부에서 관찰될 수 있다. 또한, 대부분의 방향에서 자연스럽더라도 특정 방향각에서 객체를 바라보았을 때 비어있는 공간이 관찰될 수 있다. 따라서, 3차원 포인트 클라우드를 그대로 배경 이미지와 합성하거나, 3차원 포인트 클라우드를 2차원 객체 이미지로 변형하여 배경 이미지에 합성할 경우, 객체의 일부가 빈 공간으로 보이는 부자연스러움이 발생할 수 있다.
이러한 문제를 해소하기 위하여 일 실시예에 따른 합성 이미지 생성 장치(100)는, 3차원 포인트 클라우드를 구성하는 정점들을 특정 방향각에서 보강하여 보조 정점들을 3차원 포인트 클라우드에 추가하고, 보조 정점들이 추가된 3차원 포인트 클라우드를 이용하여 특정 방향각에 따른 평면 이미지를 기반으로 폴리곤을 생성함으로써, 비어있는 공간이 관찰되지 않으면서 자연스럽게 연결되는 3차원 객체 이미지를 생성할 수 있다.
다음으로, 합성 이미지 생성 장치(100)는, 3차원 객체 이미지로부터 특정 방향각에 따른 2차원 객체 이미지를 생성하고, 생성된 2차원 객체 이미지를 배경 이미지와 중첩시킴으로써 객체와 배경이 결합된 합성 이미지를 생성할 수 있다.
따라서, 일 실시예에 따른 합성 이미지 생성 장치(100)를 이용할 경우, 다양한 환경에 직접 가지 않더라도 직접 사물을 대상으로 특정 장소에서 촬영한 것과 같은 자연스러운 2차원 이미지를 얻을 수 있다. 예를 들어, 화장품의 판매자가 화장품을 촬영한 깊이 이미지만 제공하면, 외부의 알프스 산 정상에서 촬영한 배경 이미지에 화장품에 대한 2차원 이미지를 자연스럽게 중첩시켜 알프스 산 정상에 놓인 화장품 사진을 쉽게 획득할 수 있다.
도 2는 도 1에 따른 합성 이미지 생성 장치의 기능부를 나타낸 블록도이다. 도 3은 일 실시예에 따른 3차원 포인트 클라우드에서 방향각에 따른 투영 평면을 나타낸 예시도이다. 도 4는 투영 평면에 투영된 정점들을 기초로 3차원 포인트 클라우드에 정점들을 추가하는 방법을 나타낸 예시도이다. 도 5는 투영 평면 상에서 정점들 사이의 연결 관계를 결정함으로써 폴리곤을 생성하는 방법을 설명하기 위한 예시도이다.
도 2를 참조하면, 합성 이미지 생성 장치(100)는, 객체 및 배경 이미지 획득부(101), 객체 포인트 클라우드 생성부(102), 정점 보강부(103), 폴리곤 생성부(104), 2차원 객체 이미지 생성부(105), 및 합성 이미지 생성부(106)를 포함할 수 있다.
객체 및 배경 이미지 획득부(101)는, 적어도 하나의 사용자 단말(200)로부터 특정 객체(object)에 대하여 촬영된 적어도 하나의 깊이 이미지를 획득하고, 외부의 클라우드 서버(300)로부터 다수의 배경 이미지들을 수집할 수 있다.
한편, 깊이 이미지에 포함된 디스패리티 정보는 화소들과 대응하는 실제 위치들 사이의 상대적 거리이므로, 객체 및 배경 이미지 획득부(101)는 디스패리티 정보에 포함된 디스패리티(disparity) 값을 보정할 수 있다.
예를 들어, 객체 및 배경 이미지 획득부(101)는, 수학식 1을 이용하여 깊이 이미지에 포함된 디스패리티 정보를 보정할 수 있다.
Figure 112021006415418-pat00009
수학식 1을 참조하면, 보정된 디스패리티 정보(f(d))는, 기준 평면(Z0), 깊이 감지 카메라의 초점 거리(f0), 깊이 감지 카메라의 적외선 송신부와 수신부 사이의 거리(b)를 이용하여 결정될 수 있다. 여기서 기준 평면(Z0)은 깊이 감지 카메라를 이용하여 획득된 2개의 화소들과 대응하는 위치들 사이의 상대적 거리(d)와 레이저 측정기 등을 이용하여 실제로 측정한 실제 거리(실제 거리를 보정된 디스패리티 정보로 하여)를 수학식 1에 대입하여 실험적으로 결정될 수 있다.
객체 및 배경 이미지 획득부(101)는, 깊이 감지 카메라의 초점 거리, 광축 중심 좌표 등을 이용한 카메라 보정을 수행할 수 있다.
객체 포인트 클라우드 생성부(102)는, 객체에 대하여 촬영된 적어도 하나의 깊이 이미지를 이용하여 3차원 포인트 클라우드를 생성할 수 있다. 이때, 객체 포인트 클라우드 생성부(102)는, 깊이 이미지에 포함된 거리 정보와 디스패리티 정보를 이용하여 각 화소들과 대응하는 3차원 공간 좌표를 x좌표, y좌표, z좌표로 구성되는 직교 좌표계 형태로 연산할 수 있다. 예를 들어, Y. D. Shin, G. R. Jang, J. H. Park, and M. H. Baeg, "Three-dimensional point clouds data acquisition from a depth sensing camera," Proc. of KSPE 2011 Spring Conference (in Korean), pp. 99-100, Jun. 2011. 을 참조하여 깊이 이미지의 각 화소들과 대응하는 3차원 공간 좌표를 연산할 수 있으며, 그 밖에도 다양한 형태의 직교 좌표계 연산 방식을 사용할 수 있다.
도 3을 참조하면, 원통형 객체(obj)를 대상으로 직교 좌표계에 정점들을 도시한 3차원 포인트 클라우드가 도시된다. 도 3에서는 예시적으로 원통형 객체(obj)의 외면과 정점들의 일부를 도시하였으나, 원통형 객체(obj)의 외면은 설명의 편의를 위한 것이고, 3차원 포인트 클라우드는 정점들로만 구성될 수 있다.
정점 보강부(103)는, 방향각에 기반하여 3차원 포인트 클라우드를 구성하는 정점들을 추가할 수 있다. 여기서, 방향각은 객체가 합성될 배경 이미지(BGIMG)를 이용하여 결정될 수 있다. 구체적으로, 정점 보강부(103)는, 이미지 합성을 위해 선택된 배경 이미지(BGIMG)에서 광원의 방향각을 결정하거나, 배경 이미지(BGIMG)에서 합성될 배치 위치와 주변 사물(bgobj)들의 배치 위치 사이의 관계에 기초하여 방향각을 결정할 수 있다. 예를 들어, 도 3을 참조하면, 정점 보강부(103)는 배경 이미지(BGIMG)에서 객체(obj)가 합성될 배치 위치를 바운딩 박스(PBOX) 형태로 사용자로부터 입력받을 수 있다. 정점 보강부(103)는 객체(obj)가 합성될 배치 위치를 기준으로 한 광원(lgt)의 방향각을 산출할 수 있다. 또 다른 예시로, 정점 보강부(103)는 객체(obj)가 합성될 배치 위치를 기준으로 배경 이미지(BGIMG)에 포함된 주변 사물(bgobj)의 방향각을 산출할 수 있다.
정점 보강부(103)는 3차원 포인트 클라우드의 원점(o)을 지나고 방향각에 수직한 투영 평면(PJPLANE)을 이용하여 3차원 포인트 클라우드를 구성하는 정점들을 분할하고, 투영 평면(PJPLANE)을 기준으로 분할된 정점들 중 방향각의 반대 방향에 위치한 정점들을 투영 평면(PJPLANE)으로 투영(projection)시킬 수 있다. 즉, 정점 보강부(103)는 방향각에서 3차원 포인트 클라우드를 바라보았을 때 보여지는 정점들(반대쪽 정점들은 방향각에서 보여지지 않는 것으로 볼 수 있음)을 2차원 투영 평면(PJPLANE)에 투영시킬 수 있다.
도 4를 참조하면, 2차원 투영 평면(PJPLANE)에 투영된 정점들이 도시된다. 정점 보강부(103)는 2차원 투영 평면(PJPLANE)에 투영된 정점들을 이용하여 3차원 포인트 클라우드에 정점들을 추가할 수 있다.
구체적으로 도 4에서와 같이 정점 보강부(103)는 미리 설정된 가로(W)와 세로(H)를 갖는 쉬프트 마스크(SMASK)를 투영 평면(PJPANE) 내에서 이동(shift)시킬 수 있다. 예를 들어, 정점 보강부(103)는 쉬프트 마스크(SMASK)를 미리 설정된 간격 L1(L1은 1 이상의 좌표값)만큼 오른쪽으로 반복하여 이동시키고, 미리 설정된 간격 L2(L2는 1 이상의 좌표값)만큼 아래로 반복하여 이동시킬 수 있다.
정점 보강부(103)는, 쉬프트 마스크(SMASK)를 이동시킬 때마다 쉬프트 마스크(SMASK)내에 포함된 정점들의 개수가 미리 설정된 임계값보다 작거나 같은지 여부를 판단할 수 있다. 예를 들어, 도 4를 참조하면, 정점 보강부(103)는 임계값이 1인 경우, 쉬프트 마스크(SMASK) 내에 포함된 정점(Vx)이 임계값과 같은 것으로 판단할 수 있다. 이때, 정점 보강부(103)는, 쉬프트 마스크(SMASK) 내에 포함된 정점(Vx)을 중심으로 쉬프트 마스크(SMASK)의 크기를 일정 비율로 확장시키면서 확장 마스크(EXGMASK)를 생성할 수 있다. 쉬프트 마스크(SMAKS) 내에 포함된 정점이 2개 이상인 경우, 정점 보강부(103)는 투영 평면(PJPLANE) 내에서 쉬프트 마스크(SMAKS) 내에 포함된 정점들 사이의 위치 좌표들의 중앙값에 대응하는 위치를 중심으로 쉬프트 마스크(SMASK)를 확장시킬 수 있다.
또한, 정점 보강부(103)는 확장 마스크(EXGMASK) 내에 포함된 정점들의 수가 임계값을 초과하는지 여부를 판단할 수 있다. 예를 들어, 도 4를 참조하면, 확장 마스크(EXGMASK) 내에 포함된 정점들(Vx, Vy)이 2개 이므로, 정점 보강부(103)는, 확장 마스크(EXGMASK) 내에 포함된 정점들(Vx, Vy)의 갯수가 임계값인 1을 초과하는 것으로 판단할 수 있다. 이때, 정점 보강부(103)는, 확장 마스크(EXGMASK) 내에 포함된 정점들(Vx, Vy)의 공간 좌표값들을 평균하여 평균 공간 좌표값을 산출하고, 산출된 공간 좌표값을 갖는 정점(Vz)를 생성하여 3차원 포인트 클라우드에 추가할 수 있다. 이때, 공간 좌표값들은 투영 평면(PJPLANE)상의 2차원 좌표가 아니라, 3차원 포인트 클라우드에 따른 공간 좌표일 수 있다.
이때, 추가되는 정점(Vz)이 갖는 색상 정보(색상 정보는 화소값일 수 있음)는 확장 마스크(EXGMASK)내에 포함된 정점들의 색상 정보를 추가된 정점(Vz)과 각 정점들 사이의 거리를 가중치로 하여 가중평균함으로써 결정될 수 있다.
예를 들어, 도 4에서 정점(Vz)의 색상 정보(Cz)는, 확장 마스크(EXGMASK)내에 포함된 정점(Vx)의 색상 정보(Cx), 확장 마스크(EXGMASK)내에 포함된 정점(Vy)의 색상 정보(Cy), 확장 마스크(EXGMASK)내에 포함된 정점(Vx)과 추가된 정점(Vz) 사이의 거리(lx), 확장 마스크(EXGMASK)내에 포함된 정점(Vy)과 추가된 정점(Vz) 사이의 거리(ly)를 이용하여 다음의 수학식 2에 따라 결정될 수 있다.
Figure 112020127109657-pat00002
따라서, 정점 보강부(103)는 방향각에 수직한 투영 평면(PJPANE)을 기준으로 정점을 보강하기 때문에, 합성될 방향각에 따른 정점들의 부족으로 인해 빈 공간이 관찰되는 것을 방지하고, 합성 이미지에서 객체가 선명하게 보이도록 할 수 있다.
폴리곤 생성부(104)는 정점 보강부(103)에 의해 정점이 보강된 3차원 포인트 클라우드를 구성하는 정점들을 서로 연결하여 사각형 또는 삼각형으로 이루어진 폴리곤(polygon)을 생성할 수 있다. 이때, 일 실시예에 따른 폴리곤 생성부(104)는 폴리곤(polygon)이 방향각에서 객체를 보았을 때, 충분히 많이 생성될 수 있도록 폴리곤(polygon)을 구성하는 정점들 사이의 연결 관계를 투영 평면(PJPLANE) 상에서 결정할 수 있다.
예를 들어, 폴리곤 생성부(104)는 투영 평면(PJPLANE)에 투영된 정점들 중 서로 인접한 위치에 배치되어 있는 4개의 정점들을 서로 연결하여 사각형 면을 갖는 폴리곤들을 생성하고, 생성된 폴리곤들 중 일부를 제외시킬 수 있다. 예를 들어, 폴리곤들을 구성하는 4개의 정점들이 갖는 3차원 공간 좌표들과 투영 평면(PJPLANE) 사이의 수직 거리들을 산출하고, 산출된 수직 거리들 중 수직 거리들의 평균보다 임계값 이상으로 크거나 작은 수직 거리들의 개수가 2개 이상인 폴리곤을 제거할 수 있다. 또한, 산출된 수직 거리들 중 수직 거리들의 평균보다 임계값 이상으로 크거나 작은 수직 거리들의 개수가 하나인 경우, 그러한 하나의 수직 거리와 대응하는 정점을 제외하고 나머지 정점들을 서로 연결하여 삼각형 면을 갖는 폴리곤으로 보정할 수 있다.
도 5를 참조하면, 투영 평면(PJPLANE) 상에 4개의 정점들을 서로 연결하여 사각형 면을 갖는 폴리곤(PG)이 생성된 것이 도시된다. 이때, 폴리곤(PG)을 구성하는 4개의 정점들 사이의 실질적인 공간 상 위치가 상이하다면 폴리곤으로 구성할 때 객체 형태의 왜곡을 초래할 수 있다. 이러한 문제를 방지하기 위해, 폴리곤(PG)을 구성하는 4개의 정점들과 대응하는 수직 거리들을 서로 비교하여 폴리곤(PG)의 일부를 제거하거나 삼각형 면을 갖는 폴리곤으로 변형할 수 있다. 예를 들어, 도 5에서 폴리곤(PG)을 구성하는 4개의 정점들 중 하나의 정점이 공간적으로 매우 상이할 경우, 기존에 폴리곤(PG)을 구성하는 정점들 사이의 연결 관계 하나(cr3)를 제거하고, 나머지 3개의 정점들을 서로 연결(cr1 또는 cr2)하여 삼각형 면을 갖는 폴리곤을 생성할 수 있다.
도 5에서 생성된 폴리곤(PG)은 정점들 사이의 연결 관계를 설명하기 위해 투영 평면(PJPLANE) 상에 도시한 것으로 실제로 생성되는 폴리곤(PG)은 3차원 공간 좌표 상에서 생성되는 것으로 이해되어야 한다. 즉, 본 발명의 일 실시예에서 폴리곤(PG)의 연결 관계를 투영 평면(PJPLANE) 상에서 결정하고, 결정된 연결 관계를 바탕으로 한 폴리곤(PG)은 3차원 공간 좌표 상에서 생성될 수 있다.
따라서, 일 실시예에 따른 폴리곤 생성부(104)는 3차원 포인트 클라우드로부터 폴리곤을 생성하기 때문에 3차원 포인트 클라우드를 그대로 합성하였을 때 발생할 수 있는 빈 공간을 방지할 수 있다.
폴리곤 생성부(104)는 생성된 폴리곤에 텍스처를 매핑하여 3차원 객체 이미지를 생성할 수 있다. 이때, 텍스처는 객체에 대하여 촬영된 깊이 이미지에 포함된 색상 정보를 이용하여 텍스처를 매핑시킬 수 있다.
2차원 객체 이미지 생성부(105)는, 폴리곤 생성부(104)에서 생성된 3차원 객체 이미지를 상술한 방향각에서 바라본 모습에 따라 출력하여 2차원 객체 이미지를 생성할 수 있다. 텍스처 매핑과 방향각에 따른 3차원 객체 이미지를 2차원으로 출력하는 데에는 Direct3D 또는 OpenGL과 같은 3D API(Application Programming Interface)를 사용할 수 있다.
합성 이미지 생성부(106)는 2차원 객체 이미지를 앞서 선택된 배경 이미지의 객체 배치 위치에 중첩시킴으로써 객체와 배경이 결합된 합성 이미지를 생성할 수 있다.
도 6은 도 1에 따른 합성 이미지 생성 장치의 하드웨어 구성을 나타낸 예시도이다.
도 6을 참조하면, 합성 이미지 생성 장치(100)는, 적어도 하나의 프로세서(110) 및 상기 적어도 하나의 프로세서(110)가 적어도 하나의 단계를 수행하도록 지시하는 명령어들(instructions)을 포함할 수 있다.
도 1 내지 도 5를 참조하여 설명한 합성 이미지 생성 장치(100)의 구성요소는 상기 명령어들로 구현되어 프로세서(110)에 의해 수행될 수 있다. 즉, 상기 적어도 하나의 단계는 도 1 내지 도 5를 참조하여 설명한 합성 이미지 생성 장치(100)의 동작들을 포함할 수 있다.
여기서 적어도 하나의 프로세서(110)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 또는 본 발명의 실시예들에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 메모리(120) 및 저장 장치(160) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(120)는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중에서 적어도 하나로 구성될 수 있다.
또한, 합성 이미지 생성 장치(100)는, 무선 네트워크를 통해 통신을 수행하는 송수신 장치(transceiver)(130)를 포함할 수 있다. 또한, 합성 이미지 생성 장치(100)는 입력 인터페이스 장치(140), 출력 인터페이스 장치(150), 저장 장치(160) 등을 더 포함할 수 있다. 합성 이미지 생성 장치(100)에 포함된 각각의 구성 요소들은 버스(bus)(170)에 의해 연결되어 서로 통신을 수행할 수 있다.
저장 장치(160)는 도 1에서 설명한 배경 이미지 데이터베이스와 대응할 수 있으며, 저장 장치(160)는 분산 저장 파일 시스템인 HDFS(Hadoop Distributed File System) 또는 맵리듀스(Mapreduce) 플랫폼에 따라 구성될 수도 있다.
본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 매체의 예에는 롬(ROM), 램(RAM), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 상술한 방법 또는 장치는 그 구성이나 기능의 전부 또는 일부가 결합되어 구현되거나, 분리되어 구현될 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 합성 이미지 생성 장치 110: 프로세서
120: 메모리 130: 송수신 장치
140: 입력 인터페이스 장치 150: 출력 인터페이스 장치
160: 저장 장치 200: 사용자 단말
300: 클라우드 서버

Claims (5)

  1. 합성 이미지 생성 장치에 있어서,
    적어도 하나의 사용자 단말로부터 객체(object)에 대하여 촬영된 적어도 하나의 깊이 이미지를 획득하고, 외부의 클라우드 서버로부터 다수의 배경 이미지들을 획득하는 객체 및 배경 이미지 획득부;
    상기 깊이 이미지를 이용하여 상기 객체에 대한 3차원 포인트 클라우드(3D point cloud)를 생성하는 객체 포인트 클라우드 생성부;
    상기 3차원 포인트 클라우드를 구성하는 정점(vertex)들을 서로 연결하여 폴리곤을 생성하고, 생성된 폴리곤에 텍스쳐를 매핑하여 3차원 객체 이미지를 생성하는 폴리곤 생성부;
    상기 3차원 객체 이미지를 방향각에 따라 출력하여 2차원 객체 이미지를 생성하는 2차원 객체 이미지 생성부;
    상기 2차원 객체 이미지를 상기 배경 이미지들 중 선택된 배경 이미지와 결합하여 합성 이미지를 생성하는 합성 이미지 생성부;
    상기 방향각에 기반하여 상기 3차원 포인트 클라우드를 구성하는 상기 정점들을 더 추가하는 정점 보강부; 및
    ToF(Time of Flight) 센서, 적외선 송신부 및 적외선 수신부를 포함하는 깊이 감지 카메라; 를 포함하고,
    상기 깊이 이미지는,
    상기 깊이 감지 카메라를 이용하여 상기 객체를 촬영한 이미지이고,
    상기 객체에 대응하는 화소들에 대한 색상 정보, 상기 화소들 각각과 대응하는 실제 위치와 상기 객체를 촬영한 카메라 사이의 거리를 나타내는 거리 정보, 및 상기 화소들과 대응하는 위치들 사이의 상대적 거리를 나타내는 디스패리티 정보(disparity information)를 포함하되,
    [수학식 1]
    Figure 112021006415418-pat00010

    상기 객체 및 배경 이미지 획득부는,
    수학식 1에 기반하여 상기 디스패리티 정보를 보정하는 것을 특징으로 하되, Z0는 기준 평면에 상응하고, f0는 상기 깊이 감지 카메라의 초점 거리에 상응하고, b는 상기 적외선 송신부와 상기 적외선 수신부 사이의 거리에 상응하고, d는 상기 디스패리티 정보에 상응하고,
    상기 정점 보강부는,
    상기 선택된 배경 이미지에서 상기 객체가 합성될 배치 위치를 바운딩 박스 형태로 사용자로부터 입력받고,
    상기 3차원 포인트 클라우드의 원점을 지나고 상기 방향각에 수직한 2차원 투영 평면을 이용하여 상기 3차원 포인트 클라우드를 구성하는 정점들을 분할하고,
    상기 2차원 투영 평면을 기준으로 분할된 정점들 중 방향각의 반대 방향에 위치한 정점들을 상기 투영 평면으로 투영(projection)하고,
    상기 2차원 투영 평면에 투영된 정점들을 이용하여 상기 3차원 포인트 클라우드에 정점들을 추가하는 것을 특징으로 하는,
    합성 이미지 생성 장치.
  2. 삭제
  3. 삭제
  4. ◈청구항 4은(는) 설정등록료 납부시 포기되었습니다.◈
    청구항 1에서,
    상기 깊이 이미지는,
    상기 객체를 적어도 세개 이상의 방향에서 촬영한 복수의 이미지들인,
    합성 이미지 생성 장치.
  5. ◈청구항 5은(는) 설정등록료 납부시 포기되었습니다.◈
    청구항 4에서,
    상기 객체 포인트 클라우드 생성부는,
    상기 거리 정보와 상기 디스패리티 정보를 이용하여 상기 화소들과 대응하는 3차원 공간 좌표를 직교 좌표계 형태로 연산하는,
    합성 이미지 생성 장치.
KR1020200160158A 2020-11-25 2020-11-25 3차원 객체와 2차원 배경을 이용한 합성 이미지 생성 장치 KR102317182B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200160158A KR102317182B1 (ko) 2020-11-25 2020-11-25 3차원 객체와 2차원 배경을 이용한 합성 이미지 생성 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200160158A KR102317182B1 (ko) 2020-11-25 2020-11-25 3차원 객체와 2차원 배경을 이용한 합성 이미지 생성 장치

Publications (1)

Publication Number Publication Date
KR102317182B1 true KR102317182B1 (ko) 2021-10-27

Family

ID=78287087

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200160158A KR102317182B1 (ko) 2020-11-25 2020-11-25 3차원 객체와 2차원 배경을 이용한 합성 이미지 생성 장치

Country Status (1)

Country Link
KR (1) KR102317182B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102393801B1 (ko) * 2021-12-27 2022-05-03 주식회사 딥노이드 배경 합성을 통한 학습 데이터를 생성하기 위한 장치 및 이를 위한 방법
KR102462863B1 (ko) * 2022-02-04 2022-11-04 주식회사 제이디케이에이티 백그라운드 스크린 기반 스튜디오에서의 비디오 믹싱 플랫폼
KR102613162B1 (ko) * 2023-04-25 2023-12-13 주식회사 인피닉 3d 점군 데이터의 어노테이션 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150046113A (ko) * 2012-08-21 2015-04-29 펠리칸 이매징 코포레이션 어레이 카메라를 사용하여 포착된 영상에서의 시차 검출 및 보정을 위한 시스템 및 방법
KR20160026914A (ko) * 2013-07-02 2016-03-09 엘지전자 주식회사 다시점 영상이 제공되는 시스템에서 부가 오브젝트를 포함하는 3차원 영상 처리 방법 및 장치
KR20170040698A (ko) * 2015-10-05 2017-04-13 삼성전자주식회사 그래픽스 파이프라인을 수행하는 방법 및 장치
KR20180117230A (ko) * 2014-09-11 2018-10-26 사이버옵틱스 코포레이션 3-차원 형상측정에서 복수 카메라 및 광원으로부터의 포인트 클라우드 병합
JP2019046077A (ja) * 2017-08-31 2019-03-22 Kddi株式会社 オブジェクト情報の複数面への投影によって視点映像を合成する映像合成装置、プログラム及び方法
KR20200004009A (ko) * 2018-07-03 2020-01-13 (주)진명아이앤씨 스튜디오 환경에서의 비디오 믹싱 플랫폼
KR20200042782A (ko) * 2018-10-16 2020-04-24 에스케이텔레콤 주식회사 입체 모델 생성 장치 및 그 영상 표시 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150046113A (ko) * 2012-08-21 2015-04-29 펠리칸 이매징 코포레이션 어레이 카메라를 사용하여 포착된 영상에서의 시차 검출 및 보정을 위한 시스템 및 방법
KR20160026914A (ko) * 2013-07-02 2016-03-09 엘지전자 주식회사 다시점 영상이 제공되는 시스템에서 부가 오브젝트를 포함하는 3차원 영상 처리 방법 및 장치
KR20180117230A (ko) * 2014-09-11 2018-10-26 사이버옵틱스 코포레이션 3-차원 형상측정에서 복수 카메라 및 광원으로부터의 포인트 클라우드 병합
KR20170040698A (ko) * 2015-10-05 2017-04-13 삼성전자주식회사 그래픽스 파이프라인을 수행하는 방법 및 장치
JP2019046077A (ja) * 2017-08-31 2019-03-22 Kddi株式会社 オブジェクト情報の複数面への投影によって視点映像を合成する映像合成装置、プログラム及び方法
KR20200004009A (ko) * 2018-07-03 2020-01-13 (주)진명아이앤씨 스튜디오 환경에서의 비디오 믹싱 플랫폼
KR20200042782A (ko) * 2018-10-16 2020-04-24 에스케이텔레콤 주식회사 입체 모델 생성 장치 및 그 영상 표시 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102393801B1 (ko) * 2021-12-27 2022-05-03 주식회사 딥노이드 배경 합성을 통한 학습 데이터를 생성하기 위한 장치 및 이를 위한 방법
KR102462863B1 (ko) * 2022-02-04 2022-11-04 주식회사 제이디케이에이티 백그라운드 스크린 기반 스튜디오에서의 비디오 믹싱 플랫폼
KR102613162B1 (ko) * 2023-04-25 2023-12-13 주식회사 인피닉 3d 점군 데이터의 어노테이션 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Similar Documents

Publication Publication Date Title
KR102317182B1 (ko) 3차원 객체와 2차원 배경을 이용한 합성 이미지 생성 장치
KR102164471B1 (ko) 복합 현실 환경을 작성하기 위한 시스템 등
CN107564089B (zh) 三维图像处理方法、装置、存储介质和计算机设备
CN109242961B (zh) 一种脸部建模方法、装置、电子设备和计算机可读介质
US10777002B2 (en) 3D model generating system, 3D model generating method, and program
US9311565B2 (en) 3D scanning with depth cameras using mesh sculpting
KR101636027B1 (ko) 실세계 객체들의 3ｄ 모델들 및 실제 스케일 메타데이터를 캡처하고 이동시키기 위한 방법들 및 시스템들
JP5093053B2 (ja) 電子カメラ
KR100443552B1 (ko) 가상 현실 구현 시스템 및 방법
Kolb et al. ToF-sensors: New dimensions for realism and interactivity
JP6201476B2 (ja) 自由視点画像撮像装置およびその方法
US10547822B2 (en) Image processing apparatus and method to generate high-definition viewpoint interpolation image
US20130335535A1 (en) Digital 3d camera using periodic illumination
US20150213590A1 (en) Automatic Pose Setting Using Computer Vision Techniques
US10607405B2 (en) 3D model generating system, 3D model generating method, and program
JP2006053694A (ja) 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体
KR20090042249A (ko) 매핑 애플리케이션을 위한 모델링 및 텍스처링을 용이하게 하는 시스템, 및 수치 표면 모델(ｄｓｍ) 텍스처링 및 모델링을 위한 방법
CN103168309A (zh) 使用gps和dsm的2d到3d图像和视频转换
KR102197615B1 (ko) 증강 현실 서비스를 제공하는 방법 및 증강 현실 서비스를 제공하기 위한 서버
JP2014071850A (ja) 画像処理装置、端末装置、画像処理方法、およびプログラム
US20030225513A1 (en) Method and apparatus for providing multi-level blended display of arbitrary shaped textures in a geo-spatial context
CN113643414A (zh) 一种三维图像生成方法、装置、电子设备及存储介质
CN112465911A (zh) 图像处理方法及装置
US11682234B2 (en) Texture map generation using multi-viewpoint color images
JP5926626B2 (ja) 画像処理装置及びその制御方法、プログラム

Legal Events

Date Code Title Description
GRNT Written decision to grant