KR102488858B1

KR102488858B1 - 손상된 유형물의 디지털 복원 방법, 장치 및 프로그램

Info

Publication number: KR102488858B1
Application number: KR1020200152090A
Authority: KR
Inventors: 고대광
Original assignee: 주식회사 더원테크
Priority date: 2020-11-13
Filing date: 2020-11-13
Publication date: 2023-01-17
Also published as: KR20220065500A

Abstract

컴퓨터에 의하여 수행되는 방법에 있어서, 파손부위를 갖는 제1 유형물을 복수의 각도에서 촬영한 복수의 이미지를 획득하는 단계, 상기 복수의 이미지 중에서, 상기 파손부위가 촬영된 하나 이상의 이미지를 선택하는 단계, 기 학습된 2D 이미지 복원 학습모델을 이용하여, 상기 하나 이상의 이미지 각각에 포함된 상기 파손부위에 대한 복원을 수행하는 단계 및 복원된 상기 하나 이상의 이미지를 포함하는 상기 복수의 이미지를 이용하여, 상기 제1 유형물에 대한 3D 이미지를 생성하는 단계를 포함하는, 손상된 유형물의 디지털 복원 방법이 개시된다.

Description

손상된 유형물의 디지털 복원 방법, 장치 및 프로그램{METHOD, APPARATUS AND PROGRAM FOR DIGITAL RESTORATION OF DAMAGED OBJECT}

본 발명은 손상된 유형물의 디지털 복원 방법 및 프로그램에 관한 것이다.

건축문화재를 포함한 다양한 유형문화재들은 손상되어 그 원형을 알 수 없는 경우가 빈번하다.

현재 손상된 문화재들을 수리하여 복원을 진행하고 있는데, 복원을 위해서는 원형의 모습 자체를 복원할 수 있어야 실제 유형물에도 복원을 진행할 수 있다.

따라서, 문화재 원형의 모습 복원을 위해 영상물을 이용하여 디지털 복원을 수행한 후, 디지털 복원을 기반으로 하여 실제 유형물의 복원을 진행한다.

디지털 복원은 유형물을 텍스트, 이미지, 동영상, 오디오 등 디지털 포맷을 활용하여 복원하는 것이다.

현재의 문화재 디지털 복원 방식은 3D 스캐닝을 수행한 후, 데이터를 병합 및 정합하여 3D 이미지로 만드는 방식을 이용하고 있다.

본 발명이 해결하고자 하는 과제는 3D 스캐닝을 수행하지 않고도, 손상된 유형물에 대하여 촬영된 2D 이미지를 이용해 손상된 유형물을 3D 디지털로서 복원하는 방법을 제공하는 것이다.

또한, 본 발명이 해결하고자 하는 과제는 3D 디지털로 복원시, 정확도가 높으면서도 해상도 및 퀄리티가 우수한, 손상된 유형물의 디지털 복원 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 손상된 유형물의 디지털 복원 방법은, 파손부위를 갖는 제1 유형물을 복수의 각도에서 촬영한 복수의 이미지를 획득하는 단계, 상기 복수의 이미지 중에서, 상기 파손부위가 촬영된 하나 이상의 이미지를 선택하는 단계, 기 학습된 2D 이미지 복원 학습모델을 이용하여, 상기 하나 이상의 이미지 각각에 포함된 상기 파손부위에 대한 복원을 수행하는 단계 및 복원된 상기 하나 이상의 이미지를 포함하는 상기 복수의 이미지를 이용하여, 상기 제1 유형물에 대한 3D 이미지를 생성하는 단계를 포함한다.

또한, 상기 기 학습된 2D 이미지 복원 학습모델은, 적대적 생성 신경망(GAN)을 이용하여 학습될 수 있다.

또한, 상기 복원을 수행하는 단계는, 상기 하나 이상의 이미지 상에서 복원이 필요한 상기 파손부위는 사용자로부터 선택되거나 또는 상기 하나 이상의 이미지 상에서 형태가 부자연스러운 부분을 컴퓨터가 자동 추출하는 것 중 적어도 하나를 수행하는 단계를 더 포함할 수 있다.

또한, 상기 3D 이미지를 생성하는 단계는, 상기 복수의 이미지 각각이 촬영된 각도정보를 획득하는 단계, 상기 복수의 이미지 각각을 정합하는 단계 및 상기 복수의 이미지의 정합결과에 기초하여 3D 이미지를 생성하는 단계를 포함할 수 있다.

또한, 상기 2D 이미지 복원 학습모델을 구축하는 단계를 더 포함하고, 상기 학습모델을 구축하는 단계는, 특정 유형물의 2D 이미지에 해당하는 원본데이터를 획득하는 단계, 상기 원본데이터로부터 상기 특정 유형물의 특정 부위를 마스킹한 마스킹데이터를 생성하는 단계, 상기 마스킹데이터에서 마스킹된 부위를 복원하여 복원데이터를 생성하는 단계 및 상기 원본데이터와 상기 복원데이터를 학습데이터로서 학습하여 2D 이미지 복원 학습모델을 구축하는 단계를 포함할 수 있다.

또한, 상기 마스킹데이터를 생성하는 단계는, 하나의 상기 원본데이터로부터 하나 이상의 마스킹데이터를 생성하는 것을 포함하고, 상기 마스킹데이터가 다수로 생성되는 경우에는, 마스킹된 부분은 서로 다른 특정 부위에 해당될 수 있다.

또한, 상기 2D 이미지 복원 학습모델을 구축하는 단계는, 적대적 생성 신경망(GAN)을 이용하여 학습모델을 구축할 수 있다.

또한, 상기 원본데이터를 획득하는 단계는, 상기 특정 유형물을 하나 이상의 각도에서 촬영하여 하나 이상의 원본데이터를 획득하는 것을 포함할 수 있다.

상술한 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 손상된 유형물의 디지털 복원 장치는, 하나 이상의 인스트럭션을 저장하는 메모리 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 전술한 방법을 수행한다.

상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 손상된 유형물의 디지털 복원 컴퓨터 프로그램은, 하드웨어인 컴퓨터와 결합되어, 전술한 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

상기 본 발명에 의하면, 손상된 유형물을 사진 촬영하여, 이미지 복원 처리를 통해 3D의 디지털로 복원할 수 있다.

상기 본 발명에 의하면, 높은 해상도와 높은 퀄리티의 3D 복원 모델을 획득할 수 있다.

상기 본 발명에 의하면, 손상된 문화재를 3D로 복원하여 콘텐츠로 활용될 수 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 손상된 유형물의 디지털 복원 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 원본데이터를 획득하고, 마스킹데이터를 생성하는 방법을 예시적으로 설명하기 위한 도면이다.
도 3은 구축된 2D 이미지 복원 학습모델을 통해 특정 유형물에 대한 복원데이터를 획득하는 방법을 설명하기 위한 도면이다.
도 4는 특정 유형물에 대하여 획득된 2D 복원데이터를 이용하여 3D 이미지로 구현하는 방법을 설명하기 위한 도면이다.
도 5는 일 실시 예에 따른 장치의 구성도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

본 명세서에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.

본 명세서에서 '원본데이터'는 사진 데이터로서, 특정 유형물을 촬영한 2D 이미지 데이터를 의미하는 것이며, 학습모델을 구축하기 위해 획득되는 데이터이자 학습데이터로 활용된다.

본 명세서에서 '마스킹데이터'는 원본데이터 상에서 특정 유형물의 특정 부위를 마스킹한 2D 이미지 데이터를 의미하는 것이며, 학습모델을 구축하기 위해 획득되는 데이터이다.

본 명세서에서 '복원데이터'는 컴퓨터가 마스킹데이터 상에서 마스킹된 부위를 복원한 2D 이미지 데이터를 의미하는 것이며, 학습모델을 구축하기 위한 학습데이터로 활용된다.

본 명세서에서 '유형물 손상데이터'는 복원이 필요한 유형물을 촬영한 2D 이미지 데이터를 의미하는 것이다.

본 명세서에서 '유형물 복원데이터'는 유형물 손상데이터로부터 손상된 부위를 복원시킨 2D 이미지 데이터를 의미하는 것이다.

본 명세서에서 '손상된 유형물'은 손상된 물건, 물체와 건물, 다리 등의 구조물 등을 포함하며, 특히 원형에 대한 기록이 남아있지 않은 손상된 문화재를 포함할 수 있다.

본 명세서에서는 모든 손상된 유형물에 대하여 복원 방법을 설명하고, 본 명세서 내용은 모든 손상된 유형물에 적용되는 것이나, 특히 원본이 존재하지 않는 손상된 문화재를 디지털로 복원하기 위한 방법을 나타낸 것이다.

최근 3D 모델을 제작하기 위하여 딥러닝 기법을 활용하는 방법이 활발하게 시도되고 있으나, 현재는 실제 서비스에 사용하기에 해상도가 떨어지고 결과물의 퀄리티가 낮은 문제점이 있어, 본 발명의 명세서에서는 해상도 및 결과물의 퀄리티가 보다 높은 결과물을 획득할 수 있는 방법을 제시한다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 손상된 유형물의 디지털 복원 방법을 설명하기 위한 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 손상된 유형물의 디지털 복원 방법은, 컴퓨터에 의해 수행되는 방법에 있어서, 원본데이터 획득 단계(S110), 마스킹데이터 생성 단계(S130), 복원데이터 생성 단계(S150) 및 2D 이미지 복원 학습모델 구축 단계(S170)를 포함한다.

원본데이터 획득 단계(S110)는 특정 유형물의 2D 이미지에 해당하는 원본데이터를 획득하는 것이다. 원본데이터는 학습모델을 구축하기 위해 획득되는 데이터로서, 특정 유형물에 대하여 사진 촬영된 2D 이미지에 해당된다.

원본데이터 획득 단계(S110)는 보다 결과물의 퀄리티 및 해상도를 높이기 위하여, 특정 유형물을 하나 이상의 각도에서 촬영하여 하나 이상의 원본데이터를 획득하는 것을 포함할 수 있다.

하나의 특정 유형물에 대하여 다양한 각도에서 촬영하여 복수의 원본데이터를 획득하는 경우, 각각의 원본데이터들은 각도 정보를 포함할 수 있다.

하나의 특정 유형물에 대하여 획득된 복수의 원본데이터를 통해 복수의 마스킹데이터가 생성되고, 복수의 마스킹데이터를 이용하여 획득한 복수의 복원데이터들을 각도 정보를 이용하여 조합하면 하나의 특정 유형물의 형태를 정확하게 복원할 수 있는 과정을 거칠 수 있다.

이후, 컴퓨터는 원본데이터로부터 특정 유형물의 특정 부위를 마스킹한 마스킹데이터를 생성한다(S130). 즉, 손상이 없는 특정 유형물을 사진 촬영하여 획득한 원본데이터에 대하여 손상이 있는 것과 같이 특정 부위를 마스킹하여, 마스킹데이터를 생성하는 것이다.

이 때, 마스킹데이터를 생성하는 단계(S130)는 하나의 원본데이터로부터 하나 이상의 마스킹데이터, 즉, 하나뿐만 아니라 복수의 마스킹데이터를 생성하는 것을 포함할 수 있다. 다시 설명하면, 특정 유형물이 촬영된 사진인 하나의 원본데이터에서 특정 유형물의 다양한 부위에 대하여 각각 마스킹된 여러 장의 마스킹데이터를 생성하는 포함할 수 있다는 것이다.

마스킹데이터가 다수로 생성되는 경우, 마스킹된 부분은 전술한 바와 같이 특정 유형물의 서로 다른 특정 부위에 해당될 수 있다.

마스킹데이터가 다수로 생성되는 경우, 학습모델의 정확도를 높이는 효과뿐만 아니라, 하나의 원본데이터로도 다수의 학습데이터를 확보할 수 있는 효과가 있다.

본 발명은 원본데이터를 획득하고, 원본데이터로부터 마스킹데이터를 생성하면, 생성된 마스킹데이터 자체에서 마스킹된 부위를 복원하여 복원데이터를 생성한다(S150).

마스킹데이터에서 마스킹된 부위를 복원하여 복원데이터를 생성하는 과정, 즉, 이미지를 복원하는 방법은, 다양한 방법을 적용할 수 있다.

예컨대, 타겟 이미지 경계 부분에 인접한 배경 이미지 영역의 픽셀들을 보간하고, 보간된 픽셀들로 타겟 이미지 영역을 채우는 방법, 원본 이미지 내의 엣지 및 평탄 영역을 참조하여 타겟 이미지의 경계 부분에 인접하 배경 이미지와 가장 유사한 이미지를 배경 이미지 내에서 검색하고, 검색된 이미지로 타겟 이미지 영역을 채워나가는 방식을 반복하는 방법 등을 적용할 수 있으며, 상기 예시에 한정되지 않고, 이미지를 복원하는 다양한 방법을 적용할 수 있다.

생성된 복원데이터와 원본데이터를 학습데이터로서 학습하여 2D 이미지 복원 학습모델을 구축한다(S170).

학습모델을 구축하는 방법은 인공지능 신경망을 통해 구축하는 것이다.

본 발명의 실시예들에 따른 심층신경망(Deep Neural Network; DNN)은, 하나 이상의 컴퓨터 내에 하나 이상의 레이어(Layer)를 구축하여 복수의 데이터를 바탕으로 판단을 수행하는 시스템 또는 네트워크를 의미한다. 예를 들어, 심층신경망은 콘벌루션 풀링 층(Convolutional Pooling Layer), 로컬 접속 층(a locally-connected layer) 및 완전 연결 층(fully-connected layer)을 포함하는 층들의 세트로 구현될 수 있다. 콘벌루션 풀링 층 또는 로컬 접속 층은 영상 내 특징들을 추출하도록 구성될 수 있다. 완전 연결 층은 영상의 특징 간의 상관 관계를 결정할 수 있다. 일부 실시 예에서, 심층신경망의 전체적인 구조는 콘벌루션 풀링 층에 로컬 접속 층이 이어지고, 로컬 접속 층에 완전 연결 층이 이러지는 형태로 이루어질 수 있다. 심층신경망은 다양한 판단기준(즉, 파라미터(Parameter))를 포함할 수 있고, 입력되는 영상 분석을 통해 새로운 판단기준(즉, 파라미터)를 추가할 수 있다.

본 발명의 실시예들에 따른 심층신경망은, 영상분석에 적합한 콘볼루셔널 신경망이라고 부르는 구조로서, 주어진 영상 데이터들로부터 가장 분별력(Discriminative Power)가 큰 특징을 스스로 학습하는 특징 추출층(Feature Extraction Layer)와 추출된 특징을 기반으로 가장 높은 예측 성능을 내도록 예측 모델을 학습하는 예측층(Prediction Layer)이 통합된 구조로 구성될 수 있다.

특징 추출층은 영상의 각 영역에 대해 복수의 필터를 적용하여 특징 지도(Feature Map)를 만들어 내는 콘벌루션 층(Convolution Layer)과 특징 지도를 공간적으로 통합함으로써 위치나 회전의 변화에 불변하는 특징을 추출할 수 있도록 하는 통합층(Pooling Layer)을 번갈아 수 차례 반복하는 구조로 형성될 수 있다. 이를 통해, 점, 선, 면 등의 낮은 수준의 특징에서부터 복잡하고 의미 있는 높은 수준의 특징까지 다양한 수준의 특징을 추출해낼 수 있다.

콘벌루션 층은 입력 영상의 각 패치에 대하여 필터와 국지 수용장(Local Receptive Field)의 내적에 비선형 활성 함수(Activation Function)을 취함으로 서 특징지도(Feature Map)을 구하게 되는데, 다른 네트워크 구조와 비교하여, CNN은 희소한 연결성 (Sparse Connectivity)과 공유된 가중치(Shared Weights)를 가진 필터를 사용하는 특징이 있다. 이러한 연결구조는 학습할 모수의 개수를 줄여주고, 역전파 알고리즘을 통한 학습을 효율적으로 만들어 결과적으로 예측 성능을 향상시킨다.

통합 층(Pooling Layer 또는 Sub-sampling Layer)은 이전 콘벌루션 층에서 구해진 특징 지도의 지역 정보를 활용하여 새로운 특징 지도를 생성한다. 일반적으로 통합 층에 의해 새로 생성된 특징지도는 원래의 특징 지도보다 작은 크기로 줄어드는데, 대표적인 통합 방법으로는 특징 지도 내 해당 영역의 최대값을 선택하는 최대 통합(Max Pooling)과 특징 지도 내 해당 영역의 평균값을 구하는 평균 통합(Average Pooling) 등이 있다. 통합 층의 특징지도는 일반적으로 이전 층의 특징 지도보다 입력 영상에 존재하는 임의의 구조나 패턴의 위치에 영향을 적게 받을 수 있다. 즉, 통합층은 입력 영상 혹은 이전 특징 지도에서의 노이즈나 왜곡과 같은 지역적 변화에 보다 강인한 특징을 추출할 수 있게 되고, 이러한 특징은 분류 성능에 중요한 역할을 할 수 있다. 또 다른 통합 층의 역할은, 깊은 구조상에서 상위의 학습 층으로 올라갈수록 더 넓은 영역의 특징을 반영할 수 있게 하는 것으로서, 특징 추출 층이 쌓이면서, 하위 층에서는 지역적인 특징을 반영하고 상위 층으로 올라 갈수록 보다 추상적인 전체 영상의 특징을 반영하는 특징 생성할 수 있다.

이와 같이, 콘벌루션 층과 통합 층의 반복을 통해 최종적으로 추출된 특징은 다중 신경망(MLP: Multi-layer Perception)이나 서포트 벡터 머신(SVM: Support Vector Machine)과 같은 분류 모델이 완전 연결 층(Fully-connected Layer)의 형태로 결합되어 분류 모델 학습 및 예측에 사용될 수 있다.

본 발명의 실시예들에 따른 심층신경망의 구조는 이에 한정되지 아니하고, 다양한 구조의 신경망으로 형성될 수 있다.

본 발명의 학습모델은 다양한 구조의 신경망으로 형성될 수 있으며, 특히 적대적 생성 신경망(Generative Adversarial Network, GAN)을 이용하여 학습모델을 구축하는 것을 포함한다.

적대적 생성 신경망을 보다 쉽게 설명하면, 두 개의 신경망 모델을 적대적으로 경쟁시켜 학습을 하는 것이다. 경찰과 위조 지폐범 사이의 게임으로 비유하자면, 위조 지폐범은 경찰을 속이기 위해 위조지폐의 제조 기술을 점점 발전시키고 경찰은 위조 지폐범을 검거하기 위해 진짜 지폐와 위조 지폐를 판별하는 기술을 점점 발전시키는 것과 같은 학습 방식이다.

적대적 생성 신경망 학습 모델이란, 비지도 학습으로서, 분류를 담당하는 판별자 D(Discriminator)와 랜덤한 노이즈에서 데이터를 만들어 내는 생성자 G(Generator)의 두 개의 모델로 구성되어 있다.

적대적 생성 신경망 학습 모델은, 생성자 G와 판별자 D가 대립하며 서로의 성능을 개선시켜 나가는 모델이며, 판별자 D는 원 데이터만을 참으로 판단하기 위해 노력하고 생성자는 판별자 D가 거짓으로 판별하지 못하도록 가짜 데이터를 생성해가며 두 모델의 성능이 같이 올라가게 되는 모델이다.

생성자 G는 원 데이터의 확률분포를 알아내려 하고, 분포를 재현하여 가짜 데이터를 실 데이터와 차이가 없도록 하는 것이고, 판별자 D는 판별 대상인 데이터가 실 데이터인지, 생성자 G가 만들어낸 데이터인지 구별하여 각각에 대한 확률을 추정하는 것이다.

적대적 생성 신경망 학습 모델의 수식은 하기의 수학식 1과 같다.

[수학식 1]

전술한 바와 같이, 본 발명은 동일한 지점의 다양한 각도에서 본 유형물의 파손당한 부위를 복원시키기 위하여, GAN에 의해 학습된 2D 이미지 복원 학습모델을 적용한다.

도 2는 본 발명의 원본데이터를 획득하고, 마스킹데이터를 생성하는 방법을 예시적으로 설명하기 위한 도면이다.

도 2는 특정 유형물에 대하여 다양한 각도에 해당되는 위치에 카메라를 배치하여 특정 유형물에 대한 이미지를 획득하고, 특정 유형물에 대하여 획득된 각각의 이미지 상에서 동일한 부위에 해당되는 부분을 마스킹 처리하여 마스킹데이터로서 이미지를 생성하는 것을 나타낸다

즉, 도 2의 설명에서 특정 유형물에 대한 이미지는 원본데이터가 되는 것이고, 마스킹 처리하여 생성된 이미지가 마스킹데이터가 되는 것이다.

도 2를 참조하면, 하나의 특정 유형물에 대하여 서로 다른 각도에 해당되는 이미지이지만, 손상된 것으로 간주하여 마스킹한 부위는 해당 특정 유형물에서는 각도만이 상이할 뿐 동일한 부위에 해당되는 것을 확인할 수 있다.

도 2와 같이 생성된 마스킹데이터를 통해 복원데이터를 생성하고, 원본데이터와 복원데이터를 학습데이터로 활용하여 2D 이미지 복원 학습모델을 구축할 수 있다.

도 3은 구축된 2D 이미지 복원 학습모델을 통해 특정 유형물에 대한 복원데이터를 획득하는 방법을 설명하기 위한 도면이다.

도 3을 참조하면, 본 발명은 도 1의 방법 이후, 유형물 손상데이터 획득 단계(S190) 및 유형물 복원데이터 획득 단계(S210)를 더 포함한다.

유형물 손상데이터 획득 단계(S190)는 복원이 필요한 유형물이 촬영된 유형물 손상데이터를 획득하는 것이다.

유형물 복원데이터 획득 단계(S210)는 유형물 손상데이터를 도 1의 방법에 의해 구축된 2D 이미지 복원 학습모델에 적용함으로써 2D로 복원한 유형물 복원데이터를 획득하는 것이다.

유형물 손상데이터 획득 단계(S190)에 의해 획득된 유형물 손상데이터에서도 복원이 필요한 손상 부위의 특정이 필요한데, 복원이 필요한 손상 부위의 특정은 사용자로부터 직접 표시되거나, 또는 유형물 손상데이터 상에서 형태가 부자연스러운 부분을 컴퓨터가 자동 추출할 수도 있다. 유형물 손상데이터 상에서 형태가 부자연스러운 부분을 자동 추출하는 것은, 미리 정해진 칙 또는 인공지능을 이용하여 학습된 학습모델을 통해 추출할 수도 있다.

따라서, 유형물 손상데이터 획득 단계(S190) 이후 및 유형물 복원데이터 획득 단계(S210) 이전에, 전술한 유형물 손상데이터 내 복원이 필요한 손상 부위의 특정이 이루어진다.

일 실시 예에서, 컴퓨터는 이미지 전체에 대해 GAN을 적용하여 파손부위를 복원할 수도 있으나, 파손부위가 특정되는 경우 파손부위를 포함하는 일정 영역만을 추출한 뒤, 해당 추출된 이미지에 대해 GAN을 적용함으로써 데이터 처리량을 줄일 수도 있다.

일 실시 예에서, 컴퓨터는 GAN을 이용하여 복원되기 전의 이미지와, 복원된 후의 이미지를 비교할 수 있다. 비교를 통해, 컴퓨터는 복원을 통해 수정된 부분에 대한 정보를 획득할 수 있으며, 복원을 통해 수정된 부분들 중 잘못 수정된 부분이 있는지 판단할 수 있다.

예를 들어, 컴퓨터는 특정 유형물을 서로 다른 각도에서 촬영한 복수의 이미지를 획득하고, 상기 복수의 이미지의 각도를 고려하여 정합할 수 있다. 이후, 컴퓨터는 복수의 이미지 각각에서 파손이 복원된 부위를 확인하고, 서로 다른 이미지에서 복원된 부위가 동일한지 여부를 판단할 수 있다.

서로 다른 이미지를 비교한 결과 서로 다른 부분이 복원된 것으로 확인되는 경우, 컴퓨터는 복원부위가 잘못되었다고 판단할 수 있다.

도 4는 특정 유형물에 대하여 획득된 2D 복원데이터를 이용하여 3D 이미지로 구현하는 방법을 설명하기 위한 도면이다.

도 4를 참조하면, 도 3의 방법에 의해 획득된 유형물 복원데이터를 이용하여 유형물을 3D 이미지로 구현할 수 있다(S230).

즉, 2D로 복원된 유형물 복원데이터를 3D 이미지로 구현하는 것이다.

손상된 부분, 즉 파손부위를 포함하는 3D 이미지를 복원하는 과정보다, GAN을 이용하여 파손부위를 포함하는 2D 이미지를 복원한 후 이를 3D로 재구성하는 과정을 통해, 상대적으로 리소스가 적게 들면서도 높은 복원률을 보일 수 있다.

2D로 복원된 유형물 복원데이터를 이용하여 3D 이미지로 구현하는 방법은, 다양한 방법에 의해 수행될 수 있으나, 사진측량(photogrammetry)의 방법에 의해 수행되는 경우, 다양한 각도에서 촬영되어 획득된 모든 이미지를 겹쳐 이미지들 간의 공통점을 감지한다. 이후, 한 쌍의 사진에서 공통점을 기록하고, 기록된 공통점에 촬영이 된 카메라의 위치를 추가한다. 이렇게 모든 이미지 쌍에 대한 공통점 및 카메라의 위치를 이용하여 표면을 만들고, 포인트를 생성하여 3D 기하학적 구조를 재구성하는 것이다.

따라서, 2D로 복원된 복원데이터를 3D 이미지로 보다 정확하게 구현하기 위해서는, 유형물 손상데이터를 촬영할 때에 복원을 위해 필요한 각도를 계산하여 촬영하는 것이 바람직하다.

유형물 손상데이터 획득 단계(S190)는 동일한 유형물을 다양한 각도에서 촬영한 2이상의 유형물 손상데이터를 획득하는 것을 포함할 수 있고, 여기에서 2이상의 유형물 손상데이터를 촬영된 각도 정보를 포함하고, 유형물 복원데이터 획득 단계(S210)는 2이상의 유명물 손상데이터 각각에 대한 유형물 복원데이터를 획득하는 것을 포함할 수 있다.

일 실시 예에서, 컴퓨터는 다양한 각도에서 촬영된 복수의 이미지 각각으로부터 도형을 추출할 수 있다. 개시된 실시 예에서, 이미지로부터 추출되는 도형은 실제로 이미지에 포함된 특정한 형상을 의미할 수도 있고, 실시 예에 따라 3D 이미지화에 사용되는 소정 단위의 폴리곤(polygon)을 의미할 수도 있으나, 이에 제한되는 것은 아니다.

예를 들어, 컴퓨터는 HLT(Hough Line Transform) 알고리즘, 등고선 추출 알고리즘 등을 이용하여 문화재 이미지로부터 복수의 도형을 획득할 수 있다. 컴퓨터는 획득된 도형 각각에 대응하는 특징점을 추출할 수 있다. 특징점은 이미지 내에서 시각적 또는 영상 처리 관점에서 구별 또는 식별이 쉬운 작은 영역 또는 일 점으로서, 주로 이미지의 변화가 심한 영역 또는 일 점일 수 있다. 예를 들어, 해리스 코너(Harris Corner) 알고리즘, SIFT(Scale-Invariant Feature Transform) 알고리즘, SURF(Speed-Up Robust Feature) 알고리즘, FAST(Features from Accelerated Segment Test) 알고리즘, BRIEF(Binary Robust Independent Elementary Features) 알고리즘, ORB(Oriented FAST and Rotated BRIEF) 알고리즘 등을 이용하여 특징점들을 획득할 수 있다.

컴퓨터는 추출된 특징점들을 기초로 도형 모멘트 값을 산출할 수 있다. 도형 모멘트 값은 각 도형 주변에 분포하는 특징점들의 분포 값일 수 있다. 예를 들어, 도형 모멘트 값은 각 도형 내에 위치하는 특징점들의 벡터값과 도형 외부의 기 결정된 영역 내에 위치하는 특징점들의 벡터값의 합일 수 있다. 컴퓨터는 도형 모멘트 값을 통해 각 도형의 특성을 추정할 수 있다.

컴퓨터는 서로 다른 문화재 이미지의 도형들 중에서, 유사 범위 이내의 도형 모멘트 값을 갖는 도형들을 매칭한다. 컴퓨터는 서로 매칭된 도형들 간의 위치관계에 기반하여, 서로 다른 이미지의 각도 및 위치관계를 판단할 수 있다. 이를 통해, 컴퓨터는 서로 다른 이미지를 정합하고, 3D 이미지로 재구성할 수 있다. 일 예로서, 3D 이미지 재구성 방법은 이미지로부터 특징점을 추출하고 영상을 정합하는 단계, 이로부터 포인트 클라우드를 추출하고, 그 위에 텍스쳐를 입히는 단계를 거쳐 수행될 수 있으나, 이에 제한되는 것은 아니다.

전술한 바에 의하면, 3D 이미지로 구현하는 단계(S230)는 각도 정보를 기반으로 하여 2이상의 유형물 복원데이터를 이용하여 3D 이미지로 구현하는 것이다.

본 명세서에서 설명되는 각 단계들은 컴퓨터에 의하여 수행되는 것으로 설명되나, 각 단계의 주체는 이에 제한되는 것은 아니며, 실시 예에 따라 각 단계들의 적어도 일부가 서로 다른 장치에서 수행될 수도 있다.

도 5는 일 실시 예에 따른 장치의 구성도이다.

프로세서(302)는 하나 이상의 코어(core, 미도시) 및 그래픽 처리부(미도시) 및/또는 다른 구성 요소와 신호를 송수신하는 연결 통로(예를 들어, 버스(bus) 등)를 포함할 수 있다.

일 실시예에 따른 프로세서(102)는 메모리(304)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 도 1 내지 도 4과 관련하여 설명된 방법을 수행한다.

한편, 프로세서(302)는 프로세서(302) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(302)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.

메모리(304)에는 프로세서(302)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 메모리(304)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims

컴퓨터에 의하여 수행되는 방법에 있어서,
파손부위를 갖는 제1 유형물을 복수의 각도에서 촬영한 복수의 이미지를 획득하는 단계;
상기 복수의 이미지 중에서, 상기 파손부위가 촬영된 하나 이상의 이미지를 선택하는 단계;
기 학습된 2D 이미지 복원 학습모델을 이용하여, 상기 하나 이상의 이미지 각각에 포함된 상기 파손부위에 대한 복원을 수행하는 단계; 및
복원된 상기 하나 이상의 이미지를 포함하는 상기 복수의 이미지를 이용하여, 상기 제1 유형물에 대한 3D 이미지를 생성하는 단계; 를 포함하고,
상기 제1 유형물을 복수의 각도에서 촬영한 복수의 이미지 각각에서 파손이 복원된 부위를 확인하는 단계;
상기 복수의 이미지 각각에서 파손이 복원된 부위가 동일한지 여부를 판단하는 단계; 및
판단 결과, 상기 복수의 이미지 각각에서 파손이 복원된 부위가 상이한 경우 복원부위가 잘못되었다고 판단하는 단계;를 더 포함하고,
상기 파손부위에 대한 복원을 수행하는 단계는,
상기 파손부위의 경계 부분에 인접한 배경 이미지 영역의 픽셀들을 보간하고, 보간된 픽셀들로 상기 파손부위의 영역을 채우는 단계;를 더 포함하고,
상기 제1유형물에 대한 3D 이미지를 생성하는 단계는,
다양한 각도에서 촬영되어 획득된 모든 이미지를 겹쳐 이미지들간의 공통점을 감지하는 단계;
한 쌍의 사진에서 상기 공통점 및 상기 공통점이 촬영된 카메라의 위치를 기록하는 단계; 및
모든 이미지 쌍에 기록된 공통점 및 카메라의 위치를 이용하여 상기 제1 유형물의 표면을 생성하고, 생성된 표면을 따라 포인트를 생성하여 3D 기하학적 구조를 재구성하는 단계;를 더 포함하는,
손상된 유형물의 디지털 복원 방법.
제1 항에 있어서,
상기 기 학습된 2D 이미지 복원 학습모델은,
적대적 생성 신경망(GAN)을 이용하여 학습된 것인,
손상된 유형물의 디지털 복원 방법.
제1 항에 있어서,
상기 복원을 수행하는 단계는,
상기 하나 이상의 이미지 상에서 복원이 필요한 상기 파손부위는 사용자로부터 선택되거나 또는 상기 하나 이상의 이미지 상에서 형태가 부자연스러운 부분을 컴퓨터가 자동 추출하는 것 중 적어도 하나를 수행하는 단계를 더 포함하는,
손상된 유형물의 디지털 복원 방법.
제1 항에 있어서,
상기 3D 이미지를 생성하는 단계는,
상기 복수의 이미지 각각이 촬영된 각도정보를 획득하는 단계;
상기 복수의 이미지 각각을 정합하는 단계; 및
상기 복수의 이미지의 정합결과에 기초하여 3D 이미지를 생성하는 단계; 를 포함하는,
손상된 유형물의 디지털 복원 방법.
제1 항에 있어서,
상기 2D 이미지 복원 학습모델을 구축하는 단계; 를 더 포함하고,
상기 학습모델을 구축하는 단계는,
특정 유형물의 2D 이미지에 해당하는 원본데이터를 획득하는 단계;
상기 원본데이터로부터 상기 특정 유형물의 특정 부위를 마스킹한 마스킹데이터를 생성하는 단계;
상기 마스킹데이터에서 마스킹된 부위를 복원하여 복원데이터를 생성하는 단계; 및
상기 원본데이터와 상기 복원데이터를 학습데이터로서 학습하여 2D 이미지 복원 학습모델을 구축하는 단계를 포함하는,
손상된 유형물의 디지털 복원 방법.
제5 항에 있어서,
상기 마스킹데이터를 생성하는 단계는, 하나의 상기 원본데이터로부터 하나 이상의 마스킹데이터를 생성하는 것을 포함하고,
상기 마스킹데이터가 다수로 생성되는 경우에는, 마스킹된 부분은 서로 다른 특정 부위에 해당되는 것인,
손상된 유형물의 디지털 복원 방법.
제5 항에 있어서,
상기 2D 이미지 복원 학습모델을 구축하는 단계는,
적대적 생성 신경망(GAN)을 이용하여 학습모델을 구축하는 것인,
손상된 유형물의 디지털 복원 방법.
제5 항에 있어서,
상기 원본데이터를 획득하는 단계는,
상기 특정 유형물을 하나 이상의 각도에서 촬영하여 하나 이상의 원본데이터를 획득하는 것을 포함하는 것인,
손상된 유형물의 디지털 복원 방법.
하나 이상의 인스트럭션을 저장하는 메모리; 및
상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고,
상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
제1 항의 방법을 수행하는, 장치.
하드웨어인 컴퓨터와 결합되어, 제1 항의 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터프로그램.