KR102493401B1 - 증강현실에서 실제 객체를 지우는 방법 및 장치 - Google Patents

증강현실에서 실제 객체를 지우는 방법 및 장치 Download PDF

Info

Publication number
KR102493401B1
KR102493401B1 KR1020200036142A KR20200036142A KR102493401B1 KR 102493401 B1 KR102493401 B1 KR 102493401B1 KR 1020200036142 A KR1020200036142 A KR 1020200036142A KR 20200036142 A KR20200036142 A KR 20200036142A KR 102493401 B1 KR102493401 B1 KR 102493401B1
Authority
KR
South Korea
Prior art keywords
mask
hole
texture image
region
image
Prior art date
Application number
KR1020200036142A
Other languages
English (en)
Other versions
KR20210119700A (ko
Inventor
김용선
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020200036142A priority Critical patent/KR102493401B1/ko
Priority to US17/210,991 priority patent/US11151800B1/en
Publication of KR20210119700A publication Critical patent/KR20210119700A/ko
Application granted granted Critical
Publication of KR102493401B1 publication Critical patent/KR102493401B1/ko

Links

Images

Classifications

    • G06T5/77—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G06T5/005—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

증강현실에서 실제 객체를 지우는 방법 및 장치가 개시된다. 실제 객체 지우기 장치는 3차원 증강 현실 중에서 지울 영역을 사용자로부터 선택 받고, 상기 지울 영역에 대응하는 2D 마스크와 3D 마스크를 생성하며, 상기 2D 마스크와 상기 3D 마스크를 이용하여 상기 3차원 증강 현실에서 홀을 생성할 수 있다. 그리고 실제 객체 지우기 장치는 상기 2D 마스크를 제외한 영역에 대응하는 제1 텍스쳐(texture) 영상을 이용하여 상기 홀에 대응하는 홀 영역에 대한 제2 텍스쳐 영상을 합성하고, 상기 3D 마스크를 제외한 영역에 대응하는 제1 베텍스(vertex) 값을 이용하여 상기 홀 영역에 대한 제2 버텍스 값을 계산하며, 상기 제2 텍스쳐 영상과 상기 제2 버텍스 값을 이용하여 상기 홀 영역에 대한 인페이팅을 수행할 수 있다.

Description

증강현실에서 실제 객체를 지우는 방법 및 장치{METHOD AND APPARATUS FOR ERASING REAL OBJECT IN AUGMETNTED REALITY}
본 발명은 증강현실에서 실제 객체를 지우는 방법 및 장치를 제공하는 것이다.
기존의 증강현실은 실제 환경의 영상 위에 가상의 객체를 더하여 추가 정보를 제공하거나 가상의 객체와 사용자 사이에서의 상호작용을 제공한다. 2차원 증강현실은 가상의 영상 혹은 가상의 객체를 렌더링(rendering)한 영상을 카메라 영상에 더하여 보여주고 있다. 이때, 영상 내의 실제 환경에 대한 정보는 활용되지 않고 실제 환경에 가상의 영상이 단순히 더해져서, 실제 객체와 가상 객체간의 가려짐이 반영되지 않으며 공간감 등에 대한 이질감이 생기게 된다. 한편, 3차원 증강현실은 가상의 객체를 3차원 공간 상에서 렌더링함으로써 실제 객체와 가상 객체간 가려짐 현상을 표현하므로, 실제 객체와 가상 객체간의 이질감을 줄일 수 있다. 하지만, 기존의 3차원 증강현실에서도 실제 객체는 고정된 환경에서, 가상의 객체와 사용자 사이의 상호 작용만이 가능하다.
하나의 예로, 증강현실을 이용한 가구 배치 콘텐츠에서, 기존에는 실제 환경은 텅빈 공간이며 이 텅빈 공간에서 가구가 배치된다. 사용자가 가상의 가구 위치를 바꿀 수 있으며 회전도 가능하나, 사용자와 가상 가구와의 상호작용만이 가능하다. 실제 공간은 텅 비어 있으므로, 사용자와 실제 공간과의 상호작용은 수행되지 않는다. 최근 모바일 앱 등은 텅빈 공간이 아닌 실제 거실에 가구를 배치하는 것을 제공하는데, 이 경우에도 실제 영상에 가상의 가구를 랜더링하여 더하는 수준이다. 가상의 가구에 대한 움직임(회전 등)은 가능하나, 실제 가구에 대한 상호작용은 없다. 이에 따라 새로운 가구를 교체하거나 가구의 배치를 바꾸는 등에 다양한 체험은 불가능하다.
이와 같이, 기존의 증강현실은 실제 환경에 가상의 객체를 더하여 보여주며, 가상의 객체와 사용자 사이의 상호작용만이 수행된다. 새로운 증강현실에서는 실제 객체와 가상 객체 사이의 상호작용이 요구된다. 사용자도 증강현실 상에서 실제 객체를 없애거나 움직이고 조작하는 등 실제 객체와 가상 객체의 구분 없이 모두 상호 작용하는 것이 필요하다.
본 발명이 해결하고자 하는 과제는 증강현실에서 실제 객체를 지우는 방법 및 장치를 제공하는 것이다.
본 발명의 실시예에 따르면, 3차원 증강 현실에서 실제 객체를 지우는 장치가 상기 실제 객체를 지우는 방법이 제공될 수 있다. 상기 방법은, 상기 3차원 증강 현실 중에서 지울 영역을 사용자로부터 선택 받는 단계, 상기 지울 영역에 대응하는 2D 마스크와 3D 마스크를 생성하는 단계, 상기 2D 마스크와 상기 3D 마스크를 이용하여, 상기 3차원 증강 현실에서 홀을 생성하는 단계, 그리고 상기 2D 마스크를 제외한 영역에 대응하는 제1 텍스쳐(texture) 영상을 이용하여 상기 홀에 대응하는 홀 영역에 대한 제2 텍스쳐 영상을 합성하고, 상기 3D 마스크를 제외한 영역에 대응하는 제1 베텍스(vertex) 값을 이용하여 상기 홀 영역에 대한 제2 버텍스 값을 계산함으로써, 상기 홀 영역에 대한 인페이팅을 수행하는 단계를 포함할 수 있다.
상기 방법은 상기 제2 텍스쳐 영상과 상기 제2 버텍스 값을 이용하여, 랜더링을 수행하는 단계를 더 포함할 수 있다.
상기 제1 텍스쳐 영상과 상기 제2 텍스쳐 영상은 2D 텍스쳐 영상일 수 있다.
상기 제1 버텍스 값과 상기 제2 버텍스 값은 버텍스 좌표 값일 수 있다.
상기 인페이팅을 수행하는 단계는 제1 텍스쳐 영상에 대해서 딥러닝 네트워크를 적용하여 상기 제2 텍스쳐 영상을 합성하는 단계를 포함할 수 있다.
상기 인페이팅을 수행하는 단계는 상기 제1 버텍스 값을 이용하여 보간함으로써, 상기 제2 버텍스 값을 계산하는 단계를 포함할 수 있다.
상기 보간은 이동 최소 제곱(Moving Least Squares) 방법이 적용될 수 있다.
상기 방법은 상기 인페인팅된 상기 홀 영역을 포함하는 3차원 증강현실에 가상 객체를 추가하는 단계를 더 포함할 수 있다.
상기 3차원 증강 현실은 실제 환경이 3차원으로 복원된 영상일 수 있다.
본 발명의 다른 실시예에 따르면, 3차원 증강 현실에서 실제 객체를 지우는 장치가 제공될 수 있다. 상기 장치는, 상기 3차원 증강 현실을 위해, 실제 환경의 3차원 복원을 수행하는 환경복원 스레드부, 상기 3차원 복원된 영상 중에서 지울 영역을 사용자로부터 선택 받는 지울 영역 선택부, 상기 지울 영역에 대응하는 2D 마스크와 3D 마스크를 생성하고, 상기 2D 마스크와 상기 3D 마스크를 이용하여 상기 3차원 복원된 영상에서 홀을 생성하는 홀 영역 마스크 생성부, 그리고 상기 2D 마스크를 제외한 영역에 대응하는 제1 텍스쳐 영상과 상기 제3D 마스크를 제외한 영역에 대응하는 제1 버텍스 값을 이용하여, 상기 홀에 대응하는 홀 영역에 대한 합성을 수행하는 홀 영역 합성부를 포함할 수 있다.
상기 홀 영역 합성부는, 상기 제1 텍스쳐 영상을 이용하여 상기 홀 영역에 대한 제2 텍스쳐 영상을 합성하고, 상기 제1 버텍스 값을 이용하여 상기 홀 영역에 대한 제2 버텍스 값을 계산하며, 상기 제2 텍스쳐 영상과 상기 제2 버텍스 값을 이용하여 상기 합성을 수행할 수 있다.
상기 장치는 상기 상기 제2 텍스쳐 영상과 상기 제2 버텍스 값을 이용하여 랜더링을 수행하는 합성 영역 랜더링부를 더 포함할 수 있다.
상기 홀 영역 합성부는, 상기 제1 텍스쳐 영상을 입력 받으며 상기 제2 텍스쳐 영상을 출력하는 생성자, 그리고 상기 생성자의 출력을 판별하는 판별자를 포함할 수 있다.
상기 홀 영역 합성부는, 상기 제1 텍스쳐 영상을 입력 받는 제1 생성자, 상기 제1 생성자의 출력을 판별하는 제1 판별자, 상기 제1 생성자의 출력과 상기 제1 텍스쳐 영상을 입력 받으며, 상기 제2 텍스쳐 영상을 출력하는 제2 생성자, 그리고 상기 제2 생성자의 출력을 판별하는 제2 판별자를 포함할 수 있다.
상기 홀 영역 합성부는 상기 제1 버텍스 값을 이용하여 이동 최소 제곱(Moving Least Squares) 방법을 적용함으로써, 상기 제2 버텍스 값을 계산할 수 있다.
상기 장치는 상기 랜더링부의 출력 영상에 가상 객체를 추가하는 가상 객체 추가부를 더 포함할 수 있다.
본 발명의 실시예에 따르면, 증강현실 체험 시 실제 객체를 지움으로써, 사용자와 실제 객체간의 인터랙션을 제공할 수 있다.
그리고 본 발명의 실시예에 따르면, 실제 객체를 지운 후 가상 객체를 배치함으로써 실제 객체가 없는 것처럼 가상 객체를 배치할 수 있어, 사용자, 가상객체, 그리고 실제 객체간에 인터랙션을 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 실제 객체 지우기 장치를 나타내는 블록도이다.
도 2는 본 발명의 실시예에 따른 실제 객체 지우기 장치의 개략적인 동작에 대한 개념도를 나타낸다.
도 3은 본 발명의 실시예에 따른 마스크 생성 방법을 나타내는 플로우차트이다.
도 4는 본 발명의 실시예에 따른 3D 메쉬(mesh)에 대한 인페이팅 방법을 나타내는 플로우차트이다.
도 5는 본 발명의 실시예에 따른 2D 텍스쳐 영상에 대한 인페이팅 방법을 나타낸다.
도 6은 본 발명의 다른 실시예에 따른 2D 텍스쳐 영상에 대한 인페이팅 방법을 나타낸다.
도 7은 본 발명의 실시예에 따른 실제 객체 지우기 방법이 적용된 증간현실 콘텐츠의 동작을 나타내는 플로우 차트이다.
도 8은 본 발명의 실시예에 따른 컴퓨터 시스템을 나타내는 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하에서는 본 발명의 실시예에 따른 증강현실에서 실제 객체를 지우는 방법 및 장치에 대해서 상세히 설명한다. 이하에서, '증강현실에서 실제 객체를 지우는 장치'용어는 '실제 객체 지우기 장치'용어와 혼용하여 사용되며, '증강현실에서 실제 객체를 지우는 방법'용어는 '실제 객체 지우기 방법'용어와 혼용하여 사용된다.
본 발명의 실시예에 따른 실제 객체 지우기 방법은 실제 객체를 가상으로 지우기 위해, 3차원 증강현실 현실을 기반으로 하며 지우고자 하는 실제 객체에 해당하는 영역을 배경 정보를 이용하여 합성한다. 카메라의 6DOF(6 Degree of Freedom) 트래킹과 실제 환경의 3차원 복원이 실시간으로 수행되고 있는 상황에서, 본 발명의 실시예에 따른 실제 객체 지우기 방법은 사용자로부터 지우고자 하는 실제 객체를 포함하는 영역을 선택 받으면 실제 객체의 3차원 정보인 메쉬(mesh)와 텍스쳐(texture) 내에서 해당 영역을 지운다. 그리고 본 발명의 실시예에 따른 실제 객체 지우기 방법은 지운 영역 이외의 영역(예를 들면 지운 영역의 주위 배경)에 대한 메쉬(mesh)와 텍스쳐(texture)를 이용하여, 지운 영역에 대한 합성(인페이팅)을 수행한다. 본 발명의 실시예에 따른 실제 객체 지우기 방법은 합성된 3D 메쉬(mesh)와 텍스쳐(texture)를 랜덩하여 실제 카메라 영상에 덧붙이며, 이를 통해 실제 객체가 가상으로 지워진 효과를 달성할 수 있다.
도 1은 본 발명의 실시예에 따른 실제 객체 지우기 장치(100)를 나타내는 블록도이다.
도 1에 나타낸 바와 같이, 본 발명의 실시예에 따른 실제 객체 지우기 장치(100)는 환경복원 스레드부(110), 지울 영역 선택부(120), 홀 영역 마스크 생성부(130), 홀 영역 합성부(140), 합성 영역 랜더링부(150), 그리고 가상 객체 추가부(160)를 포함한다.
환경복원 스레드(thread)부(110)는 실제 환경의 3차원 복원을 수행한다. 환경복원 스레드부(110)가 실제 환경에 해당하는 3차원 복원 즉, 3차원 증강 현실을 구현하는 방법은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 알 수 있는 바 구체적인 설명은 생략한다. 여기서, 3차원 증강 현실을 위해, 실시간으로 카메라 자세 추정을 위한 6DOF(6 Degree of Freedom) 트래킹(tracking)도 수행될 수 있다. 이러한 6DOF 트래킹은 카메라 트래킹 스레드부(도시 하지 않음)에 의해 수행되며, 카메라 트래킹 스레드부는 멀티-스레딩(multi-threading)을 통해 6DOF 트래킹을 수행한다.
지울 영역 선택부(120)는 사용자로부터 지울 영역을 입력 받는다. 여기서, 지울 영역은 3차원 증강 현실 중에서 객체에 해당하는 영역으로서, 이러한 지울 영역은 사용자에 의해 선택된다. 즉, 사용자는 3차원 증강 현실에서 지울 영역을 선택한다.
홀 영역 마스크 생성부(130)는 지울 영역 선택부(120)가 입력 받은 지울 영역에 대해서 홀(hole) 영역으로 정의하고 홀 영역에 대응하는 마스크(mask)를 생성한다. 즉, 홀 영역 마스크 생성부(130)는 지울 영역에 대응하는 마스크를 생성하고 생성한 마스크를 이용하여 3차원 증강 현실에서 홀(hole)을 생성한다. 여기서, 마스크(mask)는 메쉬(mesh)의 버텍스(vertex) 좌표계에 해당하는 3D 마스크와 텍스쳐(texture)의 영상 좌표계에 해당하는 2D 마스크를 포함한다.
홀 영역 합성부(140)는 홀 영역에 대해서 인페이팅(inpainting)을 수행한다. 즉, 홀 영역 합성부(140)는 홀 영역 이외의 정보를 이용하여 홀 영역의 정보를 합성한다. 여기서, 홀 영역에 대한 인페이팅은 크게 두 단계를 통해 수행된다. 먼저, 첫 번째 단계로서, 홀 영역 합성부(140)는 홀 영역 마스크 생성부(130)에 의해 생성된 2D 마스크 이외의 위치하는 픽셀 값(RGB 값)을 이용하여 홀 영역에 대한 픽셀 값을 합성(인페이팅)한다. 즉, 홀 영역 합성부(140)는 2D 마스크 이외의 영역에 대응하는 2D 텍스쳐 영상의 픽셀 값을 이용하여, 홀 영역의 픽셀 값을 합성(인페이팅)한다. 이러한 2D 텍스쳐 영상의 인페이팅 방법은 아래의 도 5 및 도 6에서 좀 더 상세히 설명한다. 그리고 두 번째 단계로서, 홀 영역 합성부(140)는 홀 영역 마스크 생성부(130)에 의해 생성된 3D 마스크 이외의 버텍스(vertex) 값을 이용하여 홀 영역에 대한 버텍스(vertex) 좌표 값을 계산한다. 즉, 홀 영역 합성부(140)는 홀 영역 이외의 3D 메쉬의 버텍스 값을 이용하여 보간(interpolation) 함으로써, 홀 영역에 대응하는 3D 메쉬(mesh)의 버텍스 값을 계산한다. 다시 말하면, 홀 영역 합성부(140)는 홀 영역에 대하여, 2D 텍스쳐 영상의 픽셀 값을 합성하고 3D 메쉬의 버텍스 값을 근사하여 계산한다.
합성 영역 랜더링부(150)는 홀 영역 합성부(140)에 의해 합성한 합성 영역에 대응하는 메쉬(3D 메쉬의 버텍스 값)와 텍스쳐(2D 텍스쳐 영상)를 이용하여 랜더링을 수행하며 랜더링한 합성 영역을 원 영상에 덧붙인다. 이와 같이 합성 영역에 의해 덧붙여진 영상은 사용자가 선택된 영역(즉, 실제 객체)이 제거된 효과를 달성할 수 있다.
한편, 가상 객체 추가부(160)는 사용자가 선택한 영역이 제거된 실제 환경의 3차원 복원 영상(즉, 합성 영역 랜더링부(150)에 의해 생성된 영상인 합성 영역에 의해 덧붙여진 영상)에 가상 객체를 추가하여, 증강현실을 수행한다.
도 2는 본 발명의 실시예에 따른 실제 객체 지우기 장치(100)의 개략적인 동작에 대한 개념도를 나타낸다.
210을 참조하면, 지울 영역 선택부(120)는 3차원 증강현실 중에서 지울 영역(211)을 사용자로부터 선택 받는다. 홀 영역 마스크 생성부(130)는 지울 영역(211)에 대응하는 2D 마스크와 3D 마스크를 생성한다. 그리고 220을 참조하면, 홀 영역 마스크 생성부(130)는 지울 영역에 대하여 홀(hole)을 생성한다. 230을 참조하면, 홀 영역 합성부(140)는 홀 영역에 대하여 2D 인페이팅과 3D 인페이팅을 수행하여, 홀 영역을 합성한다.
도 3은 본 발명의 실시예에 따른 마스크 생성 방법을 나타내는 플로우차트이다.
지울 영역 선택부(120)는 사용자로부터 2D 영상에서 지울 영역을 선택 받는다(S310).
홀 영역 마스크 생성부(130)는 S310 단계에서 선택 받은 지울 영역에 대응하는 2D 마스크를 생성한다(S320). 여기서, 홀 영역 마스크 생성부(130)는 전체 2D 영상에서 지울 영역은 0으로 할당하고 지우지 않을 영역은 1로 할당하여, 홀 영역을 구분할 수 있다. 전체 2D 영상에서 0으로 할당된 영역이 2D 홀 영역이다.
홀 영역 마스크 생성부(130)는 S220 단계에서 생성된 2D 홀 영역에 대응하는 3D 홀 영역을 계산하고(S330), 3D 홀 영역에 대응하는 3D 마스크를 생성한다(S340). 여기서, 2D 홀 영역에 대응하는 3D 홀 영역의 계산은 다음의 방법이 사용될 수 있다. 메쉬(mesh) 버텍스(vertex)의 3D 좌표 값이 2D 영상 좌표계(2D 픽셀 그리드)로 투영된다. 투영된 2D 픽셀 그리드에서 2D 홀 영역에 대응하는 3D 홀 영역이 계산된다.
도 4는 본 발명의 실시예에 따른 3D 메쉬(mesh)에 대한 인페이팅 방법을 나타내는 플로우차트이다. 즉, 도 4는 본 발명의 실시예에 따른 홀 영역 합성부(140)가 홀 영역에 대한 버텍스 좌표 값을 계산하는 방법을 나타낸다.
먼저, 홀 영역 합성부(140)는 메쉬 버텍스(mesh vertex)의 3D 좌표 값을 2D 영상 좌표계(2D 픽셀 그리드)로 투영한다(S410).
홀 영역 합성부(140)는 투영된 2D 영상 좌표계(즉, 2D 픽셀 그리드)에서 도 3에서 구한 2D 마스크에 대응하는 홀 영역을 계산한다(S420).
홀 영역 합성부(140)는 S420 단계에서 계산된 홀 영역을 이용하여, 홀 영역의 3D 버텍스 좌표 값을 계산한다(S430). S420 단계에서 계산된 홀 영역(2D 마스크에 대응하는 홀 영역)의 픽셀 위치에 대응하는 3D 버텍스는 지워질 버텍스이므로, 홀 영역 합성부(140)는 홀 영역 이외의 영역에 해당하는 픽셀 위치의 3D 버텍스(이하, '홀 영역 이외의 3D 버텍스라' 함)를 이용한다. 홀 영역 합성부(140)는 홀 영역 이외의 3D 버텍스에 대한 좌표 값을 이용하여 보간함으로써, 홀 영역의 3D 좌표 값(버텍스 좌표 값)을 계산한다. 여기서, 3D 좌표 값의 보간은 이동 최소 제곱(Moving Least Squares) 방법이 사용될 수 있다. 이동 최소 제곱 방법을 이용한 보간에서 추가적인 정보로서 베텍스 노말(Vertex Normal) 등의 구조적인 정보와 텍스쳐 영상의 칼라 정보가 추가적으로 사용될 수 있다. 그리고 보간되는 홀 영역의 3D 좌표값은 선택된 홀 영역의 버텍스 좌표값 보다는 사용자로부터 멀리 존재한다는 사항이 활용될 수 있다.
이하에서 본 발명의 실시예에 따른 이동 최소 제곱 방법을 이용하여 홀 영역에 해당하는 버텍스 좌표 값을 보간하는 방법에 대해서 설명한다. 버텍스 좌표 값은 X축, Y축, Z축에 대해 각각 계산하며, 아래의 수학식 1과 같이 계산된다. 아래의 수학식 1에 나타낸 바와 같이, 픽셀 그리드에 해당하는 p에 대해서 버텍스 각 축의 값을 결정하는 2차 다항식인 f로 근사하여 가중치 최소 제곱(Weight Least Squares)이 계산된다.
Figure 112022065654239-pat00001
상기 수학식 1에서 w는 픽셀 그리드에서 거리에 따른 가중치를 나타낸다. 그리고 2차 다항식인 f는 아래의 수학식 2와 같이 정의될 수 있다.
Figure 112022065654239-pat00002
상기 수학식 2에서 x,y는 픽셀의 위치를 나타낸다.
한편, 부가적인 정보 r을 이용하여 버텍스 보간에 활용하는 경우, 2차 다항식 f는 아래의 수학식 3과 같이 변경될 수 있다. 여기서, 부가적인 정보 r은 상기에서 설명한 버텍스 노말(Vertex Normal) 등의 구조적인 정보와 텍스쳐 영상의 칼라 정보가 될 수 있다.
Figure 112022065654239-pat00003
도 5는 본 발명의 실시예에 따른 2D 텍스쳐 영상에 대한 인페이팅 방법을 나타낸다. 즉, 도 5는 본 발명의 실시예에 따른 홀 영역 합성부(140)가 2D 마스크 이외의 영역에 대응하는 2D 텍스쳐 영상의 픽셀 값을 이용하여 홀 영역의 픽셀 값을 합성하는 방법을 나타낸다.
본 발명의 실시예에 따른 홀 영역 합성부(140)는 도 5와 같은 딥러닝 네트워크 구조를 이용하여, 2D 텍스쳐 영상에 대한 인페이팅을 수행할 수 있다. 여기서, 딥러닝 네트워크 구조는 생성자(Generator)(510)와 판별자(Discriminator)(520)를 포함한다. 즉, 홀 영역 합성부(140)가 생성자(510)와 판별자(520)를 포함할 수 있다. 홀 영역을 포함하는 2D 텍스쳐 영상이 생성자(510)로 입력되고, 생성자(510)는 홀 영역이 합성된(인페이팅된) 영상을 출력한다. 여기서, 판별자(520)는 생성자(510)가 그럴듯한 영상을 합성하고 있는지를 판별하여, 생성자(510)가 실 세계에 존재하는 그럴듯한 영상을 합성하도록 한다. 생성자(510)와 판별자(520)의 구체적인 동작은 본 발명이 속하는 기술 분야에 통상의 지식을 가진 자라면 알 수 있는 바 구체적인 설명은 생략한다.
도 6은 본 발명의 다른 실시예에 따른 2D 텍스쳐 영상에 대한 인페이팅 방법을 나타낸다.
본 발명의 실시예에 따른 홀 영역 합성부(140)는 도 6과 같은 딥러닝 네트워크 구조를 이용하여, 2D 텍스쳐 영상에 대한 인페이팅을 수행할 수 있다. 여기서, 딥러닝 네트워크 구조는 2개의 생성자(610, 630)와 2개의 판별자(620, 640)를 포함한다. 즉, 홀 영역 합성부(140)가 2개의 생성자(610, 630)와 2개의 판별자(620, 640)를 포함할 수 있다. 홀 영역을 포함하는 2D 텍스쳐 영상이 생성자(610)로 입력되고, 생성자(610)는 의미 영역 분할 영상(출력 영상 1)을 출력한다. 여기서, 생성자(610)는 홀 이외의 영역뿐만 아니라 홀 영역에 대한 의미 영역 정보를 추가적인 정보로 활용하여, 홀 영역을 합성한다. 예를 들어, 도로의 일부분이 홀 영역이 포함된 경우, 생성자(610)는 의미 영역 분할 정보로서 홀 내에 도로 정보가 포함됨을 추론한 출력 영상 1을 출력한다. 홀 영역을 포함하는 2D 텍스쳐 영상(생성자(610)로 입력되는 2D 텍스쳐 영상과 동일함)과 출력 영상 1이 생성자(630)에 입력된다. 생성자(630)는 두 영상(홀 영역을 포함하는 2D 텍스쳐 영상과 출력 영상 1)을 이용하여 홀 영역이 합성된(인페이팅된) 출력 영상 2를 출력한다. 판별자(620)와 판별자(640)는 각각 생성자(610)와 생성자(630)가 실 세계에 존재하는 그럴듯한 결과를 합성하도록 한다.
도 7은 본 발명의 실시예에 따른 실제 객체 지우기 방법이 적용된 증간현실 콘텐츠의 동작을 나타내는 플로우 차트이다.
콘텐츠가 시작되면, 3차원 증강현실을 위해 트래킹 및 환경 복원 스레드(thread)가 실행된다(S710). 이러한 S710 단계는 환경복원 스레드부(110)에 의해 수행될 수 있다.
사용자는 콘텐츠를 시작한 위치에서 멈춰있거나 움직이는 등 자연스러운 상태에서 그 다음 동작을 수행할 수 있다.
사용자가 지우기 버튼을 클릭하는 경우, 실제 객체 지우기 장치(100)는 현재 화면을 멈추고 현재 상태에서의 카메라 자세 정보와 환경 정보(메시와 텍스쳐)를 저장한다(S720).
사용자로부터 지울 영역을 선택 받는 경우, 실제 객체 지우기 장치(100)는 지울 영역을 삭제하고(홀을 생성하고), 홀 영역에 대한 메쉬(mesh)와 텍스쳐(texture)를 합성한다(S730, S740). S730 단계는 지울 영역 선택부(120)에 의해 수행될 수 있으며, S740 단계는 홀 영역 마스크 생성부(130) 및 홀 영역 합성부(140)에 의해 수행될 수 있다.
실제 객체 지우기 장치(100)는 홀 영역에 대한 메쉬와 텍스쳐를 이용하여 랜더링을 수행한다(S750). 이러한 S750 단계는 합성 영역 랜더링부(150)에 의해 수행될 수 있다. 이와 같은 랜더링된 결과는 실제 객체가 지워진 효과를 달성할 수 있다.
도 8은 본 발명의 실시예에 따른 컴퓨터 시스템(800)을 나타내는 도면이다.
본 발명의 실시예에 따른 실제 객체 지우기 장치(100)는 도 8과 같은 컴퓨터 시스템(800)으로 구현될 수 있다. 그리고 실제 객체 지우기 장치(100)의 각 구성 요소도 도 8과 같은 컴퓨터 시스템(800)으로 구현될 수 있다.
컴퓨터 시스템(800)은 버스(820)를 통해 통신하는 프로세서(810), 메모리(830), 사용자 인터페이스 입력 장치(840), 사용자 인터페이스 출력 장치(850), 그리고 저장 장치(860) 중 적어도 하나를 포함할 수 있다.
프로세서(810)는 중앙 처리 장치(central processing unit, CPU)이거나, 또는 메모리(830) 또는 저장 장치(860)에 저장된 명령을 실행하는 반도체 장치일 수 있다. 프로세서(810)는 상기 도 1 내지 도 7에서 설명한 기능들 및 방법을 구현하도록 구성될 수 있다.
메모리(830) 및 저장 장치(860)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(830)는 ROM(read only memory)(831) 및 RAM(random access memory)(832)를 포함할 수 있다. 본 발명의 실시예에서 메모리(830)는 프로세서(810)의 내부 또는 외부에 위치할 수 있고, 메모리(830)는 이미 알려진 다양한 수단을 통해 프로세서(810)와 연결될 수 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (16)

  1. 3차원 증강 현실에서 실제 객체를 지우는 장치가 상기 실제 객체를 지우는 방법으로서,
    상기 3차원 증강 현실 중에서 지울 영역을 사용자로부터 선택 받는 단계,
    상기 지울 영역에 대응하는 2D 마스크와 3D 마스크를 생성하는 단계,
    상기 2D 마스크와 상기 3D 마스크를 이용하여, 상기 3차원 증강 현실에서 홀을 생성하는 단계, 그리고
    상기 2D 마스크를 제외한 영역에 대응하는 제1 텍스쳐(texture) 영상을 이용하여 상기 홀에 대응하는 홀 영역에 대한 제2 텍스쳐 영상을 합성하고, 상기 3D 마스크를 제외한 영역에 대응하는 제1 버텍스(vertex) 값을 이용하여 상기 홀 영역에 대한 제2 버텍스 값을 계산하며, 상기 제2 텍스쳐 영상과 상기 제2 버텍스 값을 이용하여 상기 홀 영역에 대한 인페인팅을 수행하는 단계를 포함하는 방법.
  2. 제1항에 있어서,
    상기 제2 텍스쳐 영상과 상기 제2 버텍스 값을 이용하여, 랜더링을 수행하는 단계를 더 포함하는 방법.
  3. 제1항에 있어서,
    상기 제1 텍스쳐 영상과 상기 제2 텍스쳐 영상은 2D 텍스쳐 영상인 방법.
  4. 제3항에 있어서,
    상기 제1 버텍스 값과 상기 제2 버텍스 값은 버텍스 좌표 값인 방법.
  5. 제1항에 있어서,
    상기 인페이팅을 수행하는 단계는 제1 텍스쳐 영상에 대해서 딥러닝 네트워크를 적용하여 상기 제2 텍스쳐 영상을 합성하는 단계를 포함하는 방법.
  6. 제1항에 있어서,
    상기 인페이팅을 수행하는 단계는 상기 제1 버텍스 값을 이용하여 보간함으로써, 상기 제2 버텍스 값을 계산하는 단계를 포함하는 방법.
  7. 제6항에 있어서,
    상기 보간은 이동 최소 제곱(Moving Least Squares) 방법이 적용되는 방법.
  8. 제1항에 있어서,
    상기 인페인팅된 상기 홀 영역을 포함하는 3차원 증강현실에 가상 객체를 추가하는 단계를 더 포함하는 방법.
  9. 제1항에 있어서,
    상기 3차원 증강 현실은 실제 환경이 3차원으로 복원된 영상인 방법.
  10. 3차원 증강 현실에서 실제 객체를 지우는 장치로서,
    상기 3차원 증강 현실을 위해, 실제 환경의 3차원 복원을 수행하는 환경복원 스레드부,
    상기 3차원 복원된 영상 중에서 지울 영역을 사용자로부터 선택 받는 지울 영역 선택부,
    상기 지울 영역에 대응하는 2D 마스크와 3D 마스크를 생성하고, 상기 2D 마스크와 상기 3D 마스크를 이용하여 상기 3차원 복원된 영상에서 홀을 생성하는 홀 영역 마스크 생성부, 그리고
    상기 2D 마스크를 제외한 영역에 대응하는 제1 텍스쳐 영상과 상기 3D 마스크를 제외한 영역에 대응하는 제1 버텍스 값을 이용하여, 상기 홀에 대응하는 홀 영역에 대한 합성을 수행하는 홀 영역 합성부를 포함하며,
    상기 홀 영역 합성부는, 상기 제1 텍스쳐 영상을 이용하여 상기 홀 영역에 대한 제2 텍스쳐 영상을 합성하고, 상기 제1 버텍스 값을 이용하여 상기 홀 영역에 대한 제2 버텍스 값을 계산하며, 상기 제2 텍스쳐 영상과 상기 제2 버텍스 값을 이용하여 상기 합성을 수행하는 장치.
  11. 삭제
  12. 제10항에 있어서,
    상기 상기 제2 텍스쳐 영상과 상기 제2 버텍스 값을 이용하여 랜더링을 수행하는 합성 영역 랜더링부를 더 포함하는 장치.
  13. 제10항에 있어서,
    상기 홀 영역 합성부는,
    상기 제1 텍스쳐 영상을 입력 받으며 상기 제2 텍스쳐 영상을 출력하는 생성자, 그리고
    상기 생성자의 출력을 판별하는 판별자를 포함하는 장치.
  14. 제10항에 있어서,
    상기 홀 영역 합성부는,
    상기 제1 텍스쳐 영상을 입력 받는 제1 생성자,
    상기 제1 생성자의 출력을 판별하는 제1 판별자,
    상기 제1 생성자의 출력과 상기 제1 텍스쳐 영상을 입력 받으며, 상기 제2 텍스쳐 영상을 출력하는 제2 생성자, 그리고
    상기 제2 생성자의 출력을 판별하는 제2 판별자를 포함하는 장치.
  15. 제10항에 있어서,
    상기 홀 영역 합성부는 상기 제1 버텍스 값을 이용하여 이동 최소 제곱(Moving Least Squares) 방법을 적용함으로써, 상기 제2 버텍스 값을 계산하는 장치.
  16. 제12항에 있어서,
    상기 랜더링부의 출력 영상에 가상 객체를 추가하는 가상 객체 추가부를 더 포함하는 장치.
KR1020200036142A 2020-03-25 2020-03-25 증강현실에서 실제 객체를 지우는 방법 및 장치 KR102493401B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200036142A KR102493401B1 (ko) 2020-03-25 2020-03-25 증강현실에서 실제 객체를 지우는 방법 및 장치
US17/210,991 US11151800B1 (en) 2020-03-25 2021-03-24 Method and apparatus for erasing real object in augmented reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200036142A KR102493401B1 (ko) 2020-03-25 2020-03-25 증강현실에서 실제 객체를 지우는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20210119700A KR20210119700A (ko) 2021-10-06
KR102493401B1 true KR102493401B1 (ko) 2023-01-30

Family

ID=77856479

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200036142A KR102493401B1 (ko) 2020-03-25 2020-03-25 증강현실에서 실제 객체를 지우는 방법 및 장치

Country Status (2)

Country Link
US (1) US11151800B1 (ko)
KR (1) KR102493401B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210098130A (ko) * 2020-01-31 2021-08-10 한국전자통신연구원 현실 객체와의 상호 작용을 이용한 다중 사용자 참여 기반의 증강현실 제공 방법 및 이를 위한 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10275460A (ja) * 1997-04-01 1998-10-13 Sega Enterp Ltd メモリ装置及びこれを用いた画像処理装置
KR101159203B1 (ko) 2010-10-26 2012-06-25 동국대학교 산학협력단 ３차원 영상 보간 시스템 및 그 방법
KR101466815B1 (ko) 2012-09-25 2014-12-03 정영선 웹상에서의 웨딩피팅룸증강현실모듈을 통한 웨딩피팅룸홈페이지 생성장치
KR101876419B1 (ko) 2016-01-07 2018-07-10 한국전자통신연구원 프로젝션 기반 증강현실 제공장치 및 그 방법
US10417829B2 (en) 2017-11-27 2019-09-17 Electronics And Telecommunications Research Institute Method and apparatus for providing realistic 2D/3D AR experience service based on video image

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Jifeng Wang ET AL:"Stacked conditional generative adversarial networks for jointly learning shadow detection and shadow removal", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2018, pp. 1788-1797 (2018.06.18.) 1부.*
Sanni Siltanen ET AL:"Diminished reality for augmented reality interior design", The Visual Computer volume 33, pages 193-208, 30 Nov. 2015(2015.11.30.) 1 부.*
Shu-Chin Lin ET AL:"Filling holes in 3D scanned model base on 2D image inpainting", 2017 10th International Conference on Ubi-media Computing and Workshops (Ubi-Media) 1-4 Aug. 2017(2017.08.01.) 1부.*
Ugur Demir ET AL:"Patch-Based Image Inpainting with Generative Adversarial Networks", Computer Science_Computer Vision and Pattern Recognition, arXiv:1803.07422, 20 Mar. 2018(2018.03.20.) 1부.*

Also Published As

Publication number Publication date
US11151800B1 (en) 2021-10-19
KR20210119700A (ko) 2021-10-06
US20210304508A1 (en) 2021-09-30

Similar Documents

Publication Publication Date Title
KR101613721B1 (ko) ２ｄ 이미지 시퀀스들로부터 ３ｄ 장면을 재구성하기 위한방법
JP4679033B2 (ja) 深度マップのメジアン値融合のためのシステムおよび方法
US11196973B2 (en) Providing apparatus, providing method and computer readable storage medium for performing processing relating to a virtual viewpoint image
Goesele et al. Ambient point clouds for view interpolation
EP1494174B1 (en) Method of generating blur
US8281281B1 (en) Setting level of detail transition points
US8350932B2 (en) Image generation device and image generation method for generating a high-quality image by using information from a low-quality image
WO2006122212A2 (en) Statistical rendering acceleration
BR112019027116A2 (pt) aparelho para gerar uma imagem, aparelho para gerar um sinal de imagem, método para gerar uma imagem, método para gerar um sinal de imagem e sinal de imagem
KR102493401B1 (ko) 증강현실에서 실제 객체를 지우는 방법 및 장치
KR101575284B1 (ko) 2차원 영상의 해상도 레벨에 따른 3차원 복원 물체의 텍스처 생성 장치 및 그 방법
JPH11339061A (ja) 階層化ポリゴンデータを用いた３次元ポリゴン表示装置
KR102571744B1 (ko) 3차원 콘텐츠 생성 방법 및 장치
Takai et al. Harmonised texture mapping
Ye et al. In situ depth maps based feature extraction and tracking
Brown et al. Visual attention-based polygon level of detail management
JP2022520525A (ja) 光強度画像を生成するための装置及び方法
JP2003233836A (ja) モデリング時の距離成分を用いてレンダリング陰影処理を行う画像処理装置とその方法
KR101319260B1 (ko) 영상 복원 장치 및 방법과 이를 이용한 영상 변환 장치 및 방법
US9519997B1 (en) Perfect bounding for optimized evaluation of procedurally-generated scene data
US20220343613A1 (en) Method and apparatus for virtually moving real object in augmented reality
Lechlek et al. Interactive hdr image-based rendering from unstructured ldr photographs
KR20210147647A (ko) 얼굴 이미지 색상 합성 장치 및 방법
Fischer et al. Real-time Cartoon-like Stylization of AR Video Streams on the GPU
JP7316693B2 (ja) 多重視点テクスチャを利用した３ｄポリゴンメッシュレンダリング方法及びその装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant