KR102336156B1 - 초고화질 이미지 구현 방법 및 시스템 - Google Patents

Abstract

본 발명에 따른 초고화질 명화 이미지 구현 방법은, 대상 이미지에 대응되는 서로 다른 복수개의 조각 이미지를 수신하는 단계, 상기 복수개의 조각 이미지 각각의 유사성에 근거하여, 상기 복수개의 조각 이미지를 조합하는 단계, 상기 조합의 결과 생성되는 원본 이미지가 기 특정된 질감을 갖도록 상기 원본 이미지에 캔버스 맵(Canvas Map)을 적용하는 단계 및 상기 캔버스 맵(Canvas Map)이 적용된 원본 이미지에, 가상 공간에 입사되는 가상의 빛의 반사 특성이 반영되도록 노말 맵(Normal Map)을 적용하는 단계를 포함할 수 있다.

Description

초고화질 이미지 구현 방법 및 시스템{METHOD AND SYSTEM FOR REALIZING ULTRA-HIGH QUALITY IMAGES}

본 발명은 초고화질의 이미지를 구현하기 위한 방법 및 시스템에 관한 것이다.

기술이 발달함에 따라, 사용자들은 다양한 전자기기 및 방법을 이용하여 콘텐츠를 소비하게 되었다.

특히, 가상현실(VR, Virtual Reality), 증강현실(증강현실AR, Augmented Reality), 확장현실(XR, eXtended Reality) 또는 혼합현실(MR, Mixed Reality) 등의 기술은 사용자에게 보다 생동감 있는 콘텐츠를 제공하게 되었다.

가상현실이란, 가상을 뜻하는 Virtual과 현실을 뜻하는 Reality의 합성어로서, 실제와 유사하지만 실제가 아닌 인공 환경을 의미한다. 가상현실 분야에서는, 단순히 가상의 공간을 구현하는 것을 넘어서서 사용자의 오감에 직접적으로 작용하여 실제에 근접한 공간적, 시간적 체험을 가능케 하기 위한 다양한 노력을 기울이고 있다.

나아가, 증강현실은, 현실의 이미지나 배경에 3차원 가상 이미지를 겹쳐서 하나의 영상으로 보여주는 기술이다. 증강현실은 가상의 물체를 현실 공간에 올려 놓거나 현실의 물체를 인식해서 그 주변에 가상의 공간을 구성하는 기술이며, 증강현실 분야 역시, 가상의 공간을 이질감 없이 실제 환경과 유기적으로 연결하기 위하여 다양한 노력을 기울이고 있다.

또한, 확장현실은, 단순한 콘텐츠의 디스플레이 하는 것을 넘어 공간 매핑, 객체 추적 등 더욱 고도화된 다양한 서비스를 구현하는 기술이다. 사용자는 헤드셋을 쓰지 않아도 360도의 가상 뷰를 체험할 수 있으며, 공간음향 제공을 통해 실제와 같이 자연스러운 체험을 할 수 있다. 마찬가지로, 확장현실 역시, 실제와 같은 생동감 있는 콘텐츠를 제공하기 위한 노력을 기울이고 있다.

이러한, 가상현실, 증강현실 및 확장현실을 비롯한 다양한 콘텐츠 제공 기술은 사용자에게 생동감 있는 콘텐츠를 제공하는 것이 매우 중요하며, 이를 통해 사용자는 실제 특정 공간을 가지 않더라도, 실제 방문한 것과 같은 현장감 및 생동감을 얻을 수 있다.

예를 들어, 미술 작품을 감상할 수 있는 미술관 또는 박물관을 살펴보자. 미술과 또는 박물과 등에는 레오나르도 다빈치(Leonardo da Vinci)의 모나리자, 빈센트 반 고흐(Vincent Willem van Gogh)의 별이 빛나는 밤과 같은 명화가 전시되어 있다. 이러한 명화를 보기 위하여 전세계 사용자들은 장기간의 여행을 계획해야 한다. 그러나, 위에서 살펴본 다양한 기술들은 사용자가 미술관이나 박물관 등에 직접 가지 않고도, 그림과 같은 미술 작품을 감상할 수 있게 한다.

그러나, 가상현실, 증강현실 또는 확장현실 등 콘텐츠 제공 기술을 통해 콘텐츠를 제공함에 있어 중요한 요소는, 사용자가 실제로 해당 공간에 있는 것과 같은 실제감, 생동감이 매우 중요하다. 예를 들어, 저해상도 이미지를 통해 명화를 제공하는 경우, 사용자는 제공받는 이미지와 명화와의 차이가 있어, 직접 가서 해당 명화를 감상하는 것과 같은 만족감을 느끼지 못하고, 여전히 실제 명화를 보고싶어 하는 갈증을 느낀다.

따라서, 다양한 기술 발전의 추세에 맞추어, 사용자가 해당 현장에 방문하여 콘텐츠를 소비하는 것과 같은 느낌, 즉, 직접 눈으로 보고, 체험하는 것과 같은 느낌을 제공할 수 있는 방법이 필요하다.

본 발명의 일 목적은, 현장감 및 실제감을 느낄 수 있는 초고화질 이미지 구현 방법 및 시스템을 제공하기 위한 것이다.

특히, 본 발명은, 명화, 다양한 미술 작품을 실감나게 표현하는 초고화질의 이미지를 생성할 수 있는 초고화질 이미지 구현 방법 및 시스템을 제공하는 것이다.

본 발명의 다른 일 목적은, 사용자가 미술관이나 박물관에서 실제로 작품 또는 전시품을 보는 것과 같은 경험을 제공할 수 있는 초고화질 이미지 구현 방법 및 시스템을 제공하는 것이다.

위에서 살펴본 과제를 해결하기 위하여, 본 발명에 따른 초고화질 명화 이미지 구현 방법은, 대상 이미지에 대응되는 서로 다른 복수개의 조각 이미지를 수신하는 단계, 상기 복수개의 조각 이미지 각각의 유사성에 근거하여, 상기 복수개의 조각 이미지를 조합하는 단계, 상기 조합의 결과 생성되는 원본 이미지가 기 특정된 질감을 갖도록 상기 원본 이미지에 캔버스 맵(Canvas Map)을 적용하는 단계 및 상기 캔버스 맵(Canvas Map)이 적용된 원본 이미지에, 가상 공간에 입사되는 가상의 빛의 반사 특성이 반영되도록 노말 맵(Normal Map)을 적용하는 단계를 포함할 수 있다.

한편, 본 발명에 따른 초고화질 이미지 구현 시스템은, 대상 이미지에 대응되는 서로 다른 복수개의 조각 이미지를 수신하는 통신부 및 상기 복수개의 조각 이미지 각각의 유사성에 근거하여, 상기 복수개의 조각 이미지를 조합하는 제어부를 포함하고, 상기 제어부는, 상기 조합의 결과 생성되는 원본 이미지가 기 특정된 질감을 갖도록 상기 원본 이미지에 캔버스 맵(Canvas Map)을 적용하고, 상기 캔버스 맵(Canvas Map)이 적용된 원본 이미지에, 가상 공간에 입사되는 가상의 빛의 반사 특성이 반영되도록 노말 맵(Normal Map)을 적용할 수 잇다.

한편, 본 발명에 따른 컴퓨터로 판독될 수 있는 기록매체에 저장된 프로그램은, 대상 이미지에 대응되는 서로 다른 복수개의 조각 이미지를 수신하는 단계, 상기 복수개의 조각 이미지 각각의 유사성에 근거하여, 상기 복수개의 조각 이미지를 조합하는 단계, 상기 조합의 결과 생성되는 원본 이미지가 기 특정된 질감을 갖도록 상기 원본 이미지에 캔버스 맵(Canvas Map)을 적용하는 단계 및 상기 캔버스 맵(Canvas Map)이 적용된 원본 이미지에, 가상 공간에 입사되는 가상의 빛의 반사 특성이 반영되도록 노말 맵(Normal Map)을 적용하는 단계를 포함할 수 있다.

위에서 살펴본 것과 같이, 본 발명에 따른 초고화질 이미지 구현 방법 및 시스템은, 초고화질의 이미지를 생성하는 것을 통하여, 실제감 및 생동감 있는 콘텐츠를 제공할 수 있다. 이를 통해, 사용자는 미술관 또는 박물관 등에서 전시되는 작품을 언제라도 손쉽게 접할 수 있다. 이를 통해, 사용자는 풍부한 문화 예술 콘텐츠를 향유할 수 있다. 나아가, 미술관 또는 박물관은 보다 많은 사용자에게 작품에 해당하는 콘텐츠를 제공함으로써, 사용자의 관심을 향상시킬 수 있다.

나아가, 본 발명에 따른 초고화질 이미지 구현 방법 및 시스템은 이미지의 적어도 일부분을 포함하는 복수개의 서로 다른 조각 이미지를 이용하여, 최대 해상도를 넘는 초고화질 명화 이미지를 생성할 수 있다. 이러한 초고화질의 이미지는, 확대 시에도 화질이 손상되지 않는 고해상도의 이미지로 이루어짐으로써, 실제 대상물(예를 들어, 명화)의 디테일이 고스란히 표현될 수 있다.

이러한, 초고화질의 이미지가 가상 현실, 증강현실, 혼합현실, 또는 확장현실 등 다양한 기술에 따른 방법으로 사용자에게 제공되는 경우, 사용자는 해당 이미지에 해당하는 대상물을(예를 들어, 명화) 현장(예를 들어, 박물관 또는 미술관) 에서 실제로 보는 것과 같은 생생한 느낌을 전달할 수 있다.

도1a는 본 발명에 따른 초고화질 이미지 구현 시스템에 의해 제공되는 가상공간의 미술관을 설명하기 위한 개념도이다.
도 1b는 본 발명에 따른 초고화질 이미지 구현 시스템의 구성도이다.
도 2는 본 발명에 따른 초고화질 이미지 구현 방법의 흐름도이다.
도 3은 본 발명에 따른 초고화질 이미지를 설명하기 위한 개념도이다.
도 4a, 도 4b, 및 도 4c는 본 발명에 따른 원본 이미지를 설명하기 위한 개념도이다.
도 5는 본 발명에 따른 캔버스 맵이 적용된 원본 이미지를 설명하기 위한 개념도이다.
도 6 및 도 7은 본 발명에 따른 노말맵이 적용된 원본 이미지를 설명하기 위한 개념도이다.
도 8 및 도 9는 본 발명에 따른 AO맵이 적용된 원본 이미지를 설명하기 위한 개념도이다.
도 10은 본 발명에 따른 최종 이미지를 설명하기 위한 개념도이다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소에는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 발명은, 사용자가 현장에 방문하여 콘텐츠를 소비하는 것과 같은 느낌, 즉, 직접 눈으로 보고, 체험하는 것과 같은 느낌을 제공하기 위하여, 초고화질의 이미지를 구현하는 방법 및 시스템에 관한 것으로서, 이하 첨부된 도면과 함께 초고화질의 이미지를 생성하는 방법에 대하여 살펴본다.

한편, 본 발명에서 설명되는 초고화질 이미지는, 기 설정된 해상도 또는 기 설정된 화소 기준을 만족하는 이미지를 의미할 수 있다. 여기서, 기 설정된 해상도 또는 기 설정된 화소 기준이란, 이미지의 해상도가 특정 값의 해상도 이상(또는 초과)이거나, 이미지의 화소가 특정 값 이상의 화소(PPI(pixels per inch))일 것을 의미할 수 있다.

먼저, 도 1a는 본 발명에 따른 초고화질 이미지 구현 시스템에 의해 제공되는 가상공간의 미술관을 설명하기 위한 개념도이다. 도 1b는 본 발명에 따른 초고화질 이미지 구현 시스템의 구성도이고, 도 2는 본 발명에 따른 초고화질 이미지 구현 방법의 흐름도이고, 도 3은 본 발명에 따른 초고화질 이미지를 설명하기 위한 개념도이고, 도 4a, 도 4b, 및 도 4c는 본 발명에 따른 원본 이미지를 설명하기 위한 개념도이고, 도 5는 본 발명에 따른 캔버스 맵이 적용된 원본 이미지를 설명하기 위한 개념도이고, 도 6 및 도 7은 본 발명에 따른 노말맵이 적용된 원본 이미지를 설명하기 위한 개념도이고, 도 8 및 도 9는 본 발명에 따른 AO맵이 적용된 원본 이미지를 설명하기 위한 개념도이고, 도 10은 본 발명에 따른 최종 이미지를 설명하기 위한 개념도이다.

본 발명에 따른 초고화질 이미지 구현 시스템(100)은, 이미지를 출력(또는 재생)할 수 있는 전자기기와 연동되어 동작할 수 있다. 도 1a에 도시된 것과 같이, 본 발명에 따른 초고화질 이미지 구현 시스템(100)은 헤드 마운티드 디스플레이(10a), XR 글래스(10b) 및 전자기기(10c)와 연동되어 동작할 수 있다. 본 발명에 따른 초고화질 이미지 구현 시스템(100)은, 헤드 마운티드 디스플레이(10a) 또는 XR 글래스(10b)에 전자기기(10c)에 초고화질 이미지를 출력시킴으로써, 사용자가 미술관이나 박물관(10d)에서 미술작품(10e)을 실제로 감상하는 것과 같은 경험을 제공할 수 있다.

여기서, 이미지(Image)는, 디지털 화상(畵像)을 의미하며, 이미지 데이터(image data)로 명명될 수도 있다. 예를 들어, 그림과 같은 미술 작품을 스캐너나 카메라로 촬영하여 데이터화 한 정보를 이미지라 할 수 있다.

한편, 헤드 마운티드 디스플레이(10a, Head mounted display, 이하, 'HMD'이라고 명명함)(10a)는 안경처럼 착용하고 영상을 즐길 수 있는 영상 표시 장치들을 총칭하며, 최근에는 FMD(Face Mounted Display)라고도 부른다. HMD는, 사용자의 시각 및 청각을 외부와 차단한 후 사용자의 시각에 가상세계를 보여주는 역할을 한다. 일 예로서, HMD는, 눈앞에 디스플레이가 오도록 얼굴에 쓰는 형태로 마이크, 스테레오 스피커를 비롯해 여러 센서 등이 탑재돼 있다.

특히 이러한 HMD는, VR(Virtual Reality) 같은 컨텐츠를 디스플레이 할 수 있다. 나아가 HMD는, AR(Augmented Reality) 컨텐츠 또는 MR(Mixed Reality) 컨텐츠 중 어느 하나를 디스플레이할 수도 있다.

여기서, 컨텐츠(Contents)란, 부호, 문자, 도형, 색채, 음성, 음향, 이미지 및 영상 등(또는 이들 중 적어도 두개 이상의 복합체)의 자료, 데이터 또는 정보를 의미한다. 이하에서는, 이미지를 예를 들어서 설명하도록 한다.

한편, XR글래스(eXtended Reality Glasses)(10b)는 렌즈를 통해 전자기기(10c) 속 앱에 올려진 콘텐츠를, 무엇이든지 가상 공간에 띄워놓고 볼 수 있도록 해준다. 야구중계, 유튜브, 뮤직비디오, 뉴스, 미술 작품 등을 전철이나 버스 안, 소파나 침대 위에서 원화는 화면의 크기로 조절해가며 볼 수 있다.

나아가, 전자기기(10c)는, 스마트폰(smart phone), 휴대폰, 태블릿 PC, 키오스크(KIOSK), 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), 및 PMP(Portable Multimedia Player) 중 적어도 하나를 포함할 수 있다

사용자는 헤드 마운티드 디스플레이(10a) 또는 XR 글래스(10b)에 착용하고, 본 발명에 따른 초고화질 이미지 구현 시스템(100)에 의해 제공되는 이미지를 감상할 수 있다. 이를 통해, 사용자는 미술관이나 박물관의 현장에 방문하여 콘텐츠를 소비하는 것과 같은 느낌, 즉, 직접 눈으로 보고, 체험하는 것과 같은 느낌을 제공받을 수 있다.

이하에서는, 사용자에게 가상현실, 증강현실, 혼합현실 및 확장현실(이하, 확장현실 등이라 명명함)을 통해 더욱 실감나는 이미지를 제공하기 위하여, 미술 작품에 대한 초고화질 이미지를 구현하는 방법에 대하여 구체적으로 설명하도록 한다.

도 1b에 도시된 것과 같이, 본 발명에 따른 초고화질 이미지 구현 시스템(100)은 통신부(110), 저장부(120) 및 제어부(130) 중 적어도 하나를 포함할 수 있다. 이때 본 발명에 따른 초고화질 이미지 구현 시스템(100)은 상술한 구성 요소로 제한되는 것은 아니며, 본 명세서의 설명에 따른 기능과 동일 또는 유사한 역할을 수행하는 구성요소를 더 포함할 수 있다.

통신부(110)는 앞서 설명한 헤드 마운티드 디스플레이(10a), XR 글래스(10b), 전자기기(10c)와 및 적어도 하나의 외부 서버와 데이터를 송수신할 수 있다. 예를 들어, 통신부(110)는 외부 서버로부터 미술작품을 촬영(또는 스캔)한 이미지를 수신할 수 있다. 또한, 통신부(110)는 외부 서버로부터 조각 이미지(200a)를 수신할 수 있다.

여기서, 조각 이미지(200a)는, 대상 이미지의 적어도 일 부분을 포함하는 이미지로 이해될 수 있다. 예를 들어, 대상 이미지를 중앙을 기준으로 좌 ·우로 영역을 구분하고, 좌측 영역을 카메라로 촬영 또는 스캔한 이미지를 제1 조각 이미지, 우측 영역을 카메라로 촬영 또는 스캔한 이미지를 제2 조각 이미지로 이해될 수 있다.

복수의 조각 이미지(200a) 각각은 기 설정된 해상도로 대상 이미지의 일부를 스캔하여 생성된다. N개의 조각 이미지(200a)는 대상 이미지를 기 설정된 해상도로 N회 스캔함에 따라 생성된다. 이에, 복수의 조각 이미지(200a) 각각은 기 설정된 해상도로 이루어질 수 있다.

이때, 복수의 조각 이미지(200a) 각각은 초고화질 이미지일 수 있다. 즉, 복수의 조각 이미지(200a) 각각은 기 설정된 해상도 또는 기 설정된 화소 기준을 만족하는 이미지를 의미할 수 있다

나아가, 복수의 조각 이미지(200a)의 어느 하나는 다른 하나와 적어도 일부가 중첩되는 이미지 정보를 포함할 수 있다. 구체적으로, 대상 이미지를 복수 회 스캔 시 대상 이미지의 일부분은 복수 회 스캔 된다. 예를 들어, 대상 이미지의 좌측 상단 스캔 이미지와 대상 이미지의 중앙 상단 스캔 이미지 각각은 대상 이미지의 특정 영역에 대응되는 이미지를 포함한다.

여기서 중첩되는 이미지 정보는, 복수의 조각 이미지의 어느 하나와 다른 하나 각각에 포함된, 대상 이미지의 특정 영역에 대응되는 이미지를 의미할 수 있다. 예를 들어, 도 4c를 참조하면, 제5 조각 이미지(415) 및 제6 조각 이미지(416)는 대상 이미지의 일 영역(415a, 416a)을 동일하게 포함하고 있다. 이처럼, 복수의 조각 이미지에 동일하게 포함된 대상 이미지의 일 영역을, 중첩되는 이미지 정로로 이해할 수 있다.

본 발명에서 설명되는 대상 이미지는, 그림과 같은 미술 작품으로 이해될 수 있다. 대상 이미지는 그림 그 자체를 의미할 수 있으며, 그림을 데이터화 한 정보를 의미할 수도 있다.

나아가 저장부(120)는 데이터베이스(Database, DB) 라고도 명명될 수 있으며, 본 발명에서 이용되는 이미지들이 저장되도록 이루어질 수 있다. 예를 들어, 저장부(120)는 클라우드 서버를 이용하여 본 발명에 따른 이미지들을 저장할 수 있다.

나아가, 제어부(130)는, 위에서 살펴본 구성요소들과, 도 1a에 도시된 헤드 마운티드 디스플레이(10a), XR 글래스(10b) 및 전자기기(10c)를 전반적으로 제어하도록 이루어질 수 있다.

한편, 제어부(130)는 통신부(110)를 통해 수신한 조각 이미지(200a)를 조합하여 원본 이미지를 생성할 수 있다.

여기서, 원본 이미지는, 대상 이미지에 근거하여, 복수개의 조각 이미지(200a)가 조합되어 생성된 이미지로 이해되어 질 수 있다. 즉, 원본 이미지는 대상 이미지와 대응될 수 있다.

이 때, 원본 이미지는 초고화질 이미지일 수 있다. 즉, 원본 이미지는 기 설정된 해상도 또는 기 설정된 화소 기준을 만족하는 이미지를 의미할 수 있다

나아가, 제어부(130)는 원본 이미지(210)에, 캔버스 맵(Canvas Map)(220), 노말 맵(Normal Map)(230) ,마스크 맵(Mask Map)(240) 및 코팅 맵(Coat Map)(250)을 순서대로 적용하여, 최종 이미지(200b)를 생성할 수 있다(도 2 참조) .

여기서, 이미지는 복수의 픽셀들로 이루어지며, 복수의 픽셀들 각각의 좌표 정보 및 상기 좌표 정보에 매칭되는 색상 정보를 포함한다. 일 실시 예에 있어서, 각각의 픽셀에 대응되는 색상 정보는 적어도 세 개의 채널(예를 들어, R, G, B 각각에 대한 색상 값 채널)을 포함할 수 있다.

여기서, “맵(Map)”은 원본 이미지(210)를 구성하는 각 픽셀에 대응되는 데이터를 포함하는 것으로서, 이미지에 특정 효과를 부여하기 위한 목적으로 활용된다. 맵은 원본 이미지(210)와 마찬가지로, 복수의 픽셀로 이루어지며, 각 픽셀은 이미지를 구성하는 각 픽셀에 대응된다. 이미지를 구성하는 특정 픽셀에 대응되는 맵의 픽셀은 상기 특정 픽셀에 대응되는 좌표 정보를 포함하며, 상기 맵의 픽셀에는 상기 특정 픽셀에 적용하고자 하는 효과에 대응되는 효과 정보가 매칭된다.

일 실시 예에 있어서, 맵을 구성하는 픽셀 각각에 대응되는 효과 정보 각각은 적어도 세 개의 채널을 포함할 수 있으며, 각각의 채널에는 해당 픽셀에 대응되는 원본 이미지 픽셀에 적용하고자 하는 효과에 대응되는 값이 저장될 수 있다.

맵은 원본 이미지(210)와 동일한 크기의 이미지로 이해될 수 있으나, 그 자체만으로는 의미 있는 이미지로 활용되기 어렵다. 본 명세서에서는 맵에 대응되는 이미지를 원본 이미지 상에 중첩되는 레이어(layer)라고 표현한다.

본 명세서에서 “이미지에 맵을 적용”한다는 것은, 이미지에 맵에 대응되는 레이어(layer)를 합성한다는 것으로 이해될 수 있다. 보다 구체적으로, 이미지에 맵의 레이어를 합성하는 것은, 맵의 정보에 근거하여, 이미지 정보를 변경하는 것일 수 있다. 예를 들어, 이미지에 맵을 적용한다는 것은, ⅰ)이미지의 특정 픽셀에 대응되는 픽셀값 및 ⅱ)맵에 포함된 상기 픽셀에 대응되는 효과 정보를 기 설정된 함수에 대입하여, 새로운 픽셀값을 획득하는 과정을 반복하여 이미지에 포함된 모든 픽셀에 대한 새로운 픽셀값을 획득하는 것을 의미할 수 있다.

나아가, 본 발명에서 설명되는 캔버스 맵(Canvas Map)(220)은, 대상 이미지가 그려진 대상물의 재질을 표현하는 정보로 이해되어 질 수 있다. 즉, 캔버스 맵(200)은 기 특정된 질감에 대응되는 레이어로 이해되어 질 수 있다.

보다 구체적으로, ⅰ)대상 이미지가 그려진 대상물이 캔버스(유화 등의 그림을 그릴 때 사용되는 직물)이면, 캔버스 맵은 캔버스 재질에 대응되는 레이어일 수 있고, ⅱ)대상 이미지가 그려진 대상물이 목재(목판화 등을 그릴 때 사용되는 나무 판재)이면, 캔버스 맵은 목재의 재질에 대응되는 레이어일 수 있으며, ⅲ)대상 이미지가 그려진 대상물이 동판(구리를 이용하여 만들어진 널빤지 모양의 판)이면, 캔버스 맵은 구리 재질에 대응되는 레이어일 수 있다.

본 발명에서 설명되는 노말 맵(Normal Map)(230)은, 원본 이미지를 구성하는 픽셀의 각각의 반사 특성을 정의한다. 구체적으로, 노말 맵은 원본 이미지를 구성하는 픽셀 각각에 대응하는 픽셀을 포함한다. 노말 맵에 포함된 픽셀 각각은 대응되는 원본 이미지의 픽셀의 노말 벡터(Normal Vector)를 정의한다.

여기서, 노말 벡터란 평면의 곡선 위 어떤 점(픽셀)을 지나는 접선에 수직한 방향을 정의하는 벡터이다. 쉽게 말해, 노말 벡터는 물체의 특정 지점(픽셀)에 빛이 입사하였을 때, 입사각과 반사각을 정의함에 있어서, 기준이 되는 법선의 방향을 정의하는 벡터이다.

보다 구체적으로, 노말 맵(230)에 포함된 픽셀 각각은 노말 벡터의 정보(양측 180도의 X,Y,Z 각도)를 텍스처 이미지 형태의 저장공간(0-255 값의 R, G, B 색상채널)에 저장된 정보를 포함할 수 있다. 즉, 노말 맵은, 원본 이미지의 특정 픽셀에 특정 각도로 빛이 입사되었을 때, 해당 빛이 어떠한 각도로 반사될지 산출할 수 있도록 하는 정보를 포함한다.

노말 벡터는 원본 이미지의 특정 픽셀에서 반사된 빛의 방향을 확정적으로 정의하는 것이 아니라, 특정 각도로 특정 픽셀에 빛이 입사하였을 때, 어느 방향으로 빛이 반사될 지 산출할 수 있도록 한다.

일 실시 예에 있어서, 노말 벡터는 3차원 상의 특정 방향을 정의하도록 이루어질 수 있다.

나아가, 본 발명에서 설명되는 마스크 맵(Mask Map)(240)은 메탈릭 맵(Metallic Map)(241), AO 맵(Ambient Occlusion Map)(242) 및 스무스 맵(Smoothness Map)(243)을 포함할 수 있다. 보다 구체적으로, 마스크 맵(240)은, 메탈릭 맵(Metallic Map)(241), AO 맵(Ambient Occlusion Map)(242) 및 스무스 맵(Smoothness Map)(243) 각각에 대응되는 효과 정보를 포함할 수 있다. 마스크 맵은 복수의 픽셀을 포함하며, 각각의 픽셀은 원본 이미지를 구성하는 픽셀들 각각에 대응된다. 마스크 맵을 구성하는 픽셀 각각은 좌표 정보를 포함하며, 상기 좌표 정보는 해당 픽셀이 대응되는 원본 이미지의 픽셀의 좌표 정보에 대응된다. 마스크 맵을 구성하는 픽셀 각각에는 세 개의 채널을 포함하는 효과 정보가 매칭될 수 있다. 세 개의 채널 각각에는 메탈릭 맵(Metallic Map)(241), AO 맵(Ambient Occlusion Map)(242) 및 스무스 맵(Smoothness Map)(243) 각각에 대응되는 효과 정보가 저장될 수 있다.

예를 들어, Red 채널에 메탈릭 맵(241)에 대응되는 효과 정보, Green채널에 OA 맵(242)에 대응되는 효과 정보, Alpha 채널에는 스무스 맵(243)에 대응되는 효과 정보를 적용함으로써 하나의 맵을 형성할 수 있다.

이를 통해, 하나의 마스크 맵은 하나의 맵을 통해 적어도 세 종류의 맵에 대응하는 효과 정보를 포함한다. 하나의 맵을 생성하기 위해 할당되는 데이터로 세 종류의 맵에 대응되는 효과를 적용할 수 있기 때문에, 상기 마스크 맵(240)은, 불필요한 데이터를 줄일 수 있다는 장점이 있다.

여기서, 메탈릭 맵(Metallic Map)(241)은, 빛의 정반사를 이용하여 대상 이미지에 포함된 금속 재질의 고유한 색(ex: 광택, 거울과 같은 반사)을 표현할 수 있는 정보를 포함하고 있다.

본 발명에서 설명되는 AO 맵(Ambient Occlusion Map)(242)은, 대상 이미지에서, 객체(또는 픽셀)와 또 다른 객체(또는 픽셀) 사이의 폐색(occlusion) 값에 대한 정보를 포함할 수 있다. 즉, AO 맵(242)은 모델의 영역이 강하거나 약한 간접 조명을 받아야 하는지에 대한 정보를 포함할 수 있다.

나아가, 본 발명에서 설명되는 스무스 맵(Smoothness Map)(243)은, 빛이 퍼지는 것과 같은 느낌을 표현할 수 있는 정보를 포함할 수 있다.

본 명세서에서 설명되는 변경 이미지는, 원본 이미지에, ⅰ)캔버스 맵(Canvas Map)(220), ⅱ)노말 맵(Normal Map)(230), ⅲ)메탈릭 맵(Metallic Map)(241), ⅳ)AO 맵(Ambient Occlusion Map)(242) 및 ⅴ)스무스 맵(Smoothness Map)(243)이 모두 적용된 결과물을 의미할 수 있다.

나아가, 본 발명에서 설명되는 코팅 맵(Coat Map)(250)은 조각 이미지가 병합되어 생성된 원본 이미지(210), 즉, 그 어떠한 맵도 적용되지 않은 원본 이미지(210) 그 자체, 또는 원본 이미지(210)에 대한 정보를 의미할 수 있다.

나아가, 본 발명에서 설명되는 최종 이미지(200b)는 ⅰ)캔버스 맵(Canvas Map)(220), ⅱ)노말 맵(Normal Map)(230), ⅲ)메탈릭 맵(Metallic Map)(241), ⅳ)AO 맵(Ambient Occlusion Map)(242), ⅴ)스무스 맵(Smoothness Map)(243) 및 ⅵ)코팅 맵(Coat Map)(250)이 적용된 이미지로서, 대상 이미지의 질감을 표현하는 것과 동시에 원본 이미지의 데이터 값을 유지할 수 있다.

이하에서는, 흐름도와 함께 본 발명에 따른 초고화질 이미지 구현 방법에 대하여 보다 구체적으로 살펴보도록 한다.

본 발명에서는 대상 이미지에 대응되는 서로 다른 복수개의 조각 이미지를 수신하는 과정이 진행될 수 있다(S310). 즉, 통신부(110)는 대상 이미지에 대응되는 서로 다른 복수개의 조각 이미지를 수신할 수 있다.

대상 이미지는, 그림과 같은 미술 작품으로 이해될 수 있다. 대상 이미지는 그림 그 자체를 의미할 수 있으며, 그림을 데이터화 한 정보를 의미할 수도 있다.

조각 이미지는(410), 대상 이미지의 적어도 일 부분을 포함하는 이미지로 이해될 수 있다. 예를 들어, 대상 이미지를 중앙을 기준으로 좌 ·우로 영역을 구분하고, 좌측 영역을 카메라로 촬영 또는 스캔한 이미지를 제1 조각 이미지, 우측 영역을 카메라로 촬영 또는 스캔한 이미지를 제2 조각 이미지로 이해할 수 있다.

나아가, 복수개의 조각 이미지(410)는 초고화질 이미지일 수 있다. 즉, 복수개의 조각 이미(410) 각각은 기 설정된 해상도 기준을 만족하는 이미지들일 수 있다.

나아가, 복수개의 조각 이미지(410)의 어느 하나는 다른 하나와 적어도 일부가 중첩되는 이미지 정보를 포함할 수 있다.

여기서 중첩되는 이미지 정보는, 복수의 조각 이미지의 어느 하나와 다른 하나 각각에 포함된, 대상 이미지의 특정 영역에 대응되는 이미지를 의미할 수 있다. 예를 들어, 도 4c를 참조하면, 제5 조각 이미지(415) 및 제6 조각 이미지(416)는 대상 이미지의 일 영역(415a, 416a)을 동일하게 포함하고 있다. 이처럼, 복수의 조각 이미지에 동일하게 포함된 대상 이미지의 일 영역을, 중첩되는 이미지 정로로 이해할 수 있다.

한편, 본 발명에서는 복수개의 조각 이미지 각각의 유사성에 근거하여, 복수개의 조각 이미지를 조합하는 과정이 진행될 수 있다(S320). 제어부(130)는 복수개의 조각 이미지를 조합하여 대상 이미지와 대응되는 원본 이미지를 생성할 수 있다.

보다 구체적으로, 제어부(130)는 대상 이미지에 근거하여 조각 이미지를 연결함으로써, 조각 이미지를 병합할 수 있다. 제어부(130)는 대상 이미지에 근거하여, 서로 인접한 조각 이미지를 매칭하고, 매칭된 조각 이미지끼리 연결할 수 있다.

이 때, 제어부(130)는 복수개의 조각 이미지들 간에 상호 중첩되는 이미지 정보에 근거하여, 조각 이미지들을 조합할 수 있다. 제어부(130)는 중첩되는 이미지를 포함하는 조각 이미지들 상호간을 서로 인접하게 배열함으로써, 이들을 조합할 수 있다. 예를 들어, 도 4b에 도시된 제5조각 이미지(415)의 상측 부분과 중첩되는 이미지 정보를 포함하는 제2 조각 이미지(412)는, 제5 조각 이미지(415)의 상측에 배치될 수 있다. 또한, 제5조각 이미지(415)의 우측 부분과 중첩되는 이미지 정보를 포함하는 제6 조각 이미지(412)는, 제5 조각 이미지(415)의 우측에 배치될 수 있다.

나아가, 제어부(130)는 조합된 조각 이미지들에 조합된 조각 이미지들에 대해 엣지 블렌딩(Edge blending)을 수행하여 원본 이미지를 생성함으로써, 조각 이미지들의 경계를 자연스럽게 연결할 수 있다.

여기서, 엣지 블렌딩(Edge blending)이란, 조각 이미지들의 경계에 보간(interpolation)작업을 수행하는 것으로서, 두 개의 이미지의 일부를 서로 중첩 시켜, 두 개의 이미지가 매끄러운 하나의 이미지로 보여질 수 있도록 하는 것을 의미한다. 엣지 블렌딩은 두 개의 이미지가 각각에 포함된 중첩되는 이미지 정보가 서로 중첩될 때까지, 상기 두 개의 이미지 중 어느 하나의 위치를 기 설정된 간격으로 이동시킴으로써, 수행된다.

일 실시 예에 있어서, 제어부(130)는 인접하는 조각 이미지의 투명도를 서로 다르게 보정할 수 있다. 제어부(130)는 어느 하나의 조각 이미지 위에, 투명도가 다른 하나의 조각 이미지를 오버랩 시킬 수 있다. 제어부(130)는 오버랩 된 두개의 조각 이미지 각각에 포함된 중첩된 이미지 정보에 대응되는 영역이 기 설정된 기준 이상으로 겹쳐질 때 까지, 투명도가 다른 조각 이미지의 위치를 변경할 수 있다. 제어부(130)는, 오버랩 된 두개의 조각 이미지에 포함된 동일 영역이 기 설정된 기준 이상으로 겹쳐지면, 오버랩 된 두개의 조각 이미지의 투명도를 0으로 조정할 수 있다. 이를 통해, 두개의 조각 이미지는 서로 연결될 수 있다. 제어부(130)는 서로 다른 복수의 조각 이미지에 모두에 대해, 엣지 블렌딩을 수행하여 원본 이미지를 생성할 수 있다.

도 4b 및 도 4c와 함께 엣지 블렌딩을 더욱 구체적으로 설명하도록 한다. 제어부(130)는 도 4c의(a)와 같이 제5 조각 이미지(415)와, 제5 조각 이미지(415)에 인접한 제6 조각 이미지(416)를 서로 매칭시켜 연결할 수 있다. 이 때, 제5 조각 이미지(415)와 제6 조각 이미지(416)는, 대상 이미지의 동일 부분(415a, 416a)을 포함하고 있을 수 있다. 제어부(130)는 동일 부분(415a, 416a)을 서로 정확히 겹치기 위해, 제6 조각 이미지(416)의 투명도를 90%로 보정할 수 있다. 제어부(130)는 제5 조각 이미지(415)위로 투명도가 다른 제6 조각 이미지(416)를 오버랩 시키고, 동일 부분(415a, 416a)이 기 설정된 기준 이상으로 일치할 때 까지, 제6 조각 이미지(416)의 위치를 변경시킬 수 있다. 제어부(130)는 동일 부분(415a, 416a)이 기 설정된 기준 이상으로 일치하면, 제5 조각 이미지(415) 및 제 6 조각 이미지(416)의 투명도를 제6조각 이미지(416)의 원본에 대응되는 투명도 값으로 조절함으로써, 제5 조각 이미지(415) 및 제6 조각 이미지(416)를 연결할 수 있다. 나아가, 제어부(130)는 9개의 조각 이미지(410) 전부에 대해 엣지 블렌딩을 수행함으로써, 대상 이미지에 대응되는 원본 이미지를 생성할 수 있다.

본 발명에 따른 초고화질 이미지 구현 시스템(100)은 이러한 엣지 블렌딩을 수행하여, 원본 이미지를 생성함으로써, 연결된 조각 이미지의 어긋난 부분이나, 조각 이미지들의 경계 부분의 쓰레기 데이터를 최소화 할 수 있다.

나아가, 미술 작품을 한번 촬영하여 하나의 이미지를 생성하는 경우에 비하여, 미술 작품의 일 영역 마다 촬영하여 조각 이미지를 생성하고, 조각 이미지에 엣지 블렌딩을 수행하여 원본 이미지를 생성함으로써, 보다 초고화질의 이미지를 생성할 수 있다.

이를 통해, 본 발명에 따른 초고화질 구현 시스템(100)은 확장 현실 등을 통해, 사용자에게 보다 실감나는 미술작품을 선사할 수 있다.

한편, 본 발명에서는, 조합의 결과 생성되는 원본 이미지가, 기 특정된 질감을 갖도록 원본 이미지에 캔버스 맵(Canvas Map)을 적용할 수 있다(S330).

여기서, 캔버스 맵(Canvas Map)은, 그림과 같은 대상 이미지가 그려진 대상물의 재질을 표현하는 정보로 이해되어 질 수 있다. 보다 구체적으로, ⅰ)대상 이미지가 그려진 대상물이 캔버스(유화 등의 그림을 그릴 때 사용되는 직물)이면, 캔버스 맵은 캔버스 재질에 대응되는 레이어일 수 있고, ⅱ)대상 이미지가 그려진 대상물이 목재(목판화 등을 그릴 때 사용되는 나무 판재)이면, 캔버스 맵은 목재의 재질에 대응되는 레이어일 수 있으며,ⅲ)대상 이미지가 그려진 대상물이 동판(구리를 이용하여 만들어진 널빤지 모양의 판)이면, 캔버스 맵은 구리 재질에 대응되는 레이어일 수 있다.

제어부(130)는 대상 이미지가 그려진 대상물에 근거하여, 캔버스 맵을 생성할 수 있다.

보다 구체적으로, 제어부(130)는 대상 이미지가 그려진 대상물 자체에 대한 이미지를 캔버스 맵으로 사용할 수 있다. 예를 들어, 대상 이미지가 유화이면, 제어부(130)는 캔버스를 촬영한 이미지를 캔버스 맵으로 사용할 수 있다.

나아가, 제어부(130)는 대상 이미지가 그려진 대상물을 촬영한 이미지를 이용하여, 대상 이미지가 그려진 대상물의 재질을 획득하고, 획득한 재질을 데이터화 하여 캔버스 맵을 생성할 수 있다. 예를 들어, 대상 이미지가 유화이면, 제어부(130)는 캔버스를 촬영한 이미지로부터, 캔버스의 재질(ex: 직물이 교체되어 짜여진 재질)을 획득하고, 캔버스의 재질을 표현하는 정보를 생성함으로써 캔버스 맵을 생성할 수 있다.

나아가, 제어부(130) 원본 이미지로부터 대상 이미지가 그려진 대상물의 재질을 예측할 수 있다. 이 때, 제어부(130)는 기계학습에 의하여 생성된 인공지능 모델을 이용할 수 있다. 제어부(130)는 예측된 재질이 표현되도록 캔버스 맵의 정보를 구성할 수 있다.

제어부(130)는 원본 이미지에 기 특정된 질감에 대응되는 레이어를 합성함으로써, 캔버스 맵이 적용된 원본 이미지를 생성할 수 있다.

즉, 제어부(130)는 이렇게 생성된 캔버스 맵을 원본 이미지에 적용하여 캔버스 맵 이미지를 생성할 수 있다. 즉, 제어부(130)는 원본 이미지와 캔버스 맵을 매핑(또는 블렌딩, 오버레이) 처리할 수 있다.

보다 구체적으로, 제어부(130)는 ⅰ)원본 이미지의 특정 픽셀에 대응되는 픽셀 값 및 ⅱ)캔버스 맵에 포함된 정보 중 상기 특정 픽셀에 대응되는 효과 정보를 제1 블렌딩 함수에 대입하여, 원본 이미지의 특정 픽셀에 대한 픽셀 값을 변경할 수 있다. 제어부(130)는 상술한 방법을 원본 이미지를 구성하는 모든 픽셀 값에 적용한다.

변경 전 원본 이미지의 픽셀 값은 대상 이미지가 그려진 대상물의 질감을 표현하지 않는 픽셀 값이라면, 변경된 원본 이미지의 픽셀 값은 대상 이미지가 그려진 대상물의 질감을 표현하는 픽셀 값일 수 있다. 예를 들어, 변경 전 원본 이미지에 포함된 특정 픽셀 값이 (3, 99, 5)이라고 가정하자. 대상 이미지가 그려진 대상물이 캔버스이면, 캔버스 맵은 상기 특정 픽셀 값에 대응되는 효과 정보를 포함하고, 이를 적용한 변경된 원본 이미지의 픽셀 값은 (34, 104, 29)일 수 있다. 또한, 대상 이미지가 그려진 대상물이 구리이면, 캔버스 맵은 구리 재질에 대한 정보를 가지고 있고, 이를 적용한 변경된 원본 이미지의 픽셀 값은 (8, 52, 124)일 수 있다.

나아가, 제어부(130)는 제1 블렌딩 함수의 파라미터를 조정함으로써, 캔버스 맵이 적용된 원본 이미지가, 대상 이미지가 그려진 대상물의 재질을 표현하는 비율을 조절할 수 있다. 예를 들어, 변경 전 원본 이미지에 포함된 특정 픽셀의 픽셀 값이 (3, 99, 5)이고, 대상 이미지가 그려진 대상물이 캔버스라고 가정하자. 대상 이미지에 대상물의 재질이 3만큼 표현되어 있을 때 제어부(130)는 제1 블렌딩 함수의 파라미터 값을 조정하여, 캔버스 맵이 적용된 원본 이미지에 포함된 특정 픽셀의 픽셀 값을 (34, 104, 29)로 변경할 수 있다. 또한, 대상 이미지에 대상물의 재질이 97만큼 표현되어 있을 때 제어부(130)는 제1 블렌딩 함수의 파라미터 값을 조정하여, 캔버스 맵이 적용된 원본 이미지에 포함된 특정 픽셀의 픽셀 값을 (101, 164, 29)로 변경할 수 있다.

다만, 이는 설명의 편의를 위한 예시에 불과하고, 캔버스 맵이 적용된 원본 이미지가 포함하는 정보가 이에 한정되는 것은 아니다.

도 5는 원본 이미지(510), 캔버스 맵(520)을 적용함으로써, 캔버스 맵이 적용된 원본 이미지(530)를 표현한 도면이다. 보다 구체적으로, 도 5(a)는 대상 이미지가 그려진 대상물의 재질을 표현하지 못하거나 대상 이미지가 그려진 대상물의 재질을 반영하지 못하는 원본 이미지(510)를 개념적으로 표현한 모습이다. 도 5(b)는 대상 이미지가 그려진 대상물의 재질 정보가 포함된 캔버스 맵을 개념적으로 표현한 모습이다. 그리고, 도 5(c)는 원본 이미지(510)에 캔버스 맵(510)을 적용하여, 대상 이미지가 그려진 대상물의 재질을 표현하는, 캔버스 맵이 적용된 원본 이미지(530)를 개념적으로 표현한 모습이다. 즉, 사용자는 도 5(a)의 원본 이미지(510)를 통해 대상 이미지가 그려진 대상물의 재질을 인지하지 못하지만, 도 5(c)의 캔버스 맵이 적용된 원본 이미지(530)를 통해 대상 이미지가 그려진 대상물의 재질을 인지할 수 있다.

따라서, 확장현실 등에 원본 이미지(510)가 디스플레이 될 때에 비하여 캔버스 맵이 적용된 원본 이미지(530)가 디스플레이 될 때, 사용자는, 미술 작품의 질감을 느낌으로써, 실제 미술관 등에서 미술 작품을 보는 것과 같은 경험을 제공받을 수 있다.

이하에서는 더욱 정교하고, 더욱 실제 미술 작품과 유사한 초고화질 이미지를 구현하기 위한 방법을 설명하도록 한다

한편, 본 발명에서, 캔버스 맵(Canvas Map)이 적용된 원본 이미지에, 가상공간에 입사되는 가상의 빛의 반사 특성이 반영되도록 노말 맵(Nnormal Map)을 적용하는 과정이 진행될 수 있다(S340). 즉, 제어부(130)는 캔버스 맵이 적용된 원본 이미지에 노말 맵을 적용할 수 있다.

노말 맵은, 원본 이미지의 특정 픽셀에 특정 각도로 빛이 입사되었을 때, 해당 빛이 어떠한 각도로 반사될지 산출할 수 있도록 하는 정보를 포함한다.

노말 맵을 구성하는 픽셀 각각은 원본 이미지를 구성하는 픽셀에 대응된다. 노말 맵을 원본 이미지에 적용할 경우, 노말 맵을 구성하는 픽셀 중 원본 이미지의 특정 픽셀에 대응되는 픽셀에 매칭된 벡터 정보가 원본 이미지에 매칭된다.

다만, 광원 정보가 없을 경우, 상기 노말 맵을 원본 이미지에 적용하더라도, 원본 이미지에 아무런 영향을 주지 않는다.

여기서, 광원 정보는 가상의 광원을 정의하는 정보로, 원본 이미지를 구성하는 픽셀들 각각에 입사하는 가상의 빛의 입사각을 산출하는데 활용된다. 구체적으로, 광원 정보는 가상의 광원에 대한 위치, 형태, 세기, 빛의 진행 방향 중 적어도 하나를 정의한다.

예를 들어, 가상의 광원이 점 광원인 경우, 상기 광원 정보는 점 광원의 위치 정보 및 점 광원으로부터 모든 방향으로 빛이 방출되는 것을 정의하는 정보를 포함할 수 있다.

상기 광원 정보를 활용하면, 원본 이미지를 구성하는 픽셀들 각각에 입사하는 가상의 빛의 입사각을 산출할 수 있다. 상기 입사각을 상기 노말 맵이 적용된 원본 이미지(또는 원본 이미지를 구성하는 픽셀 각각에 매칭된 노말 벡터)에 적용하면, 특정 픽셀에서의 빛이 반사각 정보가 산출될 수 있다. 상기 산출된 반사각을 제2블렌딩 함수에 적용하여, 상기 특정 픽셀의 새로운 픽셀값이 산출될 수 있다. 원본 이미지에 포함된 모든 픽셀에 상술한 과정을 적용하면, 가상의 광원에 대응되는 원본 이미지를 생성할 수 있다.

한편, 상기 광원 정보는 사용자 요청에 의해 변경될 수 있다. 이에 따라, 변경된 광원 정보를 기반으로 원본 이미지를 구성하는 픽셀 각각에 대한 반사각 정보가 재산출 될 수 있으며, 재산출된 반사각 정보를 기반으로 원본 이미지를 구성하는 픽셀의 픽셀 값이 재산출 될 수 있다.

상술한 바와 같이, 동일한 노말 맵이 적용된 원본 이미지일지라도, 상기 광원 정보가 달라질 경우, 서로 다른 이미지가 생성될 수 있다. 이를 통해, 본 발명은 원본 이미지에 다양한 광원 효과를 적용할 수 있게 된다.

한편, 노말 맵은 원본 이미지를 기반으로 생성될 수 있다. 노말 맵은 원본 이미지를 구성하는 픽셀 각각에 대한 노말 벡터를 형성함으로써 생성된다. 원본 이미지를 구성하는 특정 픽셀에 대한 노말 벡터는 상기 특정 픽셀의 명도 값 및 상기 특정 픽셀과 인접한 픽셀의 명도 값에 기반하여 생성될 수 있다.

일 실시 예에 있어서, 상기 특정 픽셀의 X, Y축 좌표 및 상기 특정 픽셀의 명도 값을 Z축 좌표로 하여, 상기 특정 픽셀을 3차원 공간 상에 플로팅 한다. 상기 특정 픽셀과 인접한 두 픽셀도 3차원 공간상에 플로팅한다. 이 경우, 3차원 공간상에 세 개의 점이 플로팅 될 수 있으며, 상기 세 개의 점을 모두 포함하는 면이 특정될 수 있다. 상기 특정된 면을 상기 특정 픽셀의 법선 면으로 특정할 수 있다. 상기 법선 면에 수직한 방향의 벡터가 상기 특정 픽셀의 노말 벡터로 특정된다.

상술한 과정을 원본 이미지에 포함된 모든 픽셀에 적용하면 노말 맵이 생성된다. 상기 노말 맵은 다양한 환경에서의 대상 이미지를 제공할 수 있도록 한다.

구체적으로, 미술관 등에 전시된 미술 작품과 같은 대상 이미지는, ⅰ)전시된 시간에 따른 빛의 양, ⅱ)빛이 어느 방향에서 어느 방향으로 비추는지 여부, ⅲ) 대상 이미지가 전시된 장소 등에 따라, 반사되는 빛의 양 및 각도가 상이하다. 상기 노말 맵 및 광원 정보를 함께 활용하면, 다양한 환경에서의 대상 이미지를 제공하는 것이 가능해진다.

상기 노말 맵은 광원의 위치 및 광원에서 방출되는 빛이 세기에 따라, 대상 이미지의 입체감이 상이하게 구현될 수 있도록 한다. 즉, 사용자는 동일한 대상 이미지에 대해 다른 입체감을 느낄 수 있다.

도 6은 빛의 방향에 따라 대상 이미지(610, 620)에 반사되는 빛의 양을 극단적으로 표현한 개념도이다.

도 6의 (a)는 대상 이미지(610)의 좌측(a) 방향에서 빛이 들어오는 모습이다. 도 6의 (a)에서, 대상 이미지(610)의 좌측 영역인 제1 영역(610a)은 빛이 반사되고, 대상 이미지(610)의 우측 영역인 제2 영역(610b)은 빛이 반사되지 않는다. 이에 따라, 사용자는 제1 영역(610a)에서 대상 이미지의 입체감을 느낄 수 있으나, 제2 영역(610b)에서는 대상 이미지의 입체감을 느낄 수 없다.

도 6의 (b)는 대상 이미지(620)의 우측(b) 방향에서 빛이 들어오는 모습이다. 도 6의 (b)에서, 대상 이미지(620)의 좌측 영역인 제1 영역(620a)는 빛이 반사되지 않고, 대상 이미지(620)의 우측 영역인 제2 영역(620b)은 빛이 반사된다. 이에 따라, 사용자는 제1 영역(620a)에서 대상 이미지의 입체감을 느낄 수 없으나, 제2 영역(620b)에서는 대상 이미지의 입체감을 느낄 수 있다.

이처럼, 사용자는, 대상 이미지에 비추는 빛의 양 및 대상 이미지에서 반사되는 빛의 각도에 따라, 대상 이미지의 입체감을 다르게 느낄 수 있다.

예를 들어, 도 7의(a)와 함께 대상 이미지(710)의 특정 영역(710a)에만 빛이 들어오는 경우를 가정하여 설명한다. 대상 이미지(710)의 제1 영역(710a)은 빛이 반사되고, 제2 영역(710b)은 빛이 반사되지 않는다. 제1영역(710a)에서는 노말맵에 의한 효과가 적용되고, 제2영역(710b)에는 노말맵에 대한 효과가 적용되지 않는다. 이를 통해, 노말 맵이 적용된 원본 이미지(730)의 제1 영역(730a)은 입체감이 표현되는 반면에, 제2 영역(730b)은 입체감이 표현되지 않을 수 있다.

도 7의(b)와 함께 대상 이미지(740)의 특정 영역(740b)에 빛이 들어오는 경우를 가정하여 설명한다. 대상 이미지(740)의 제1 영역(740a)은 빛이 반사되지 않고, 제2 영역(740b)은 빛이 반사된다. 제2영역(740b)에서는 노말맵에 의한 효과가 적용되고, 제1영역(740a)에는 노말맵에 대한 효과가 적용되지 않는다. 이를 통해, 노말 맵이 적용된 원본 이미지(740)의 제1 영역(760a)은 입체감이 표현되지 않는 반면에, 제2 영역(760b)은 입체감이 표현될 수 있다.

다만, 이는 설명의 편의를 위하여, 대상 이미지의 일 영역은 빛이 반사되고, 타 영역은 빛이 반사되지 않는 것으로 설명하였으나, 구현하고자 하는 확장 현실 등에 따라, 빛이 반사되는 양 및 각도는 상이할 수 있다.

이러한 다양한 확장 현실 상황(날씨, 시간, 장소 등)에 따른 광원 정보가 생성될 수 있다. 상기 광원 정보는 구현하고자 하는 전시 환경에 따라 상기 원본 이미지에 선택적으로 적용될 수 있다.

이하에서는 더욱 정교하고, 더욱 실제 미술 작품과 유사한 초고화질 이미지를 구현하기 위한 방법을 설명하도록 한다.

한편, 본 발명에서는, 노말맵 이미지에 마스크 맵을 적용하여, 미술 작품에 대한 이미지와 더욱 유사한 초고화질 이미지를 생성되는 과정이 진행될 수 있다.

여기서, 마스크 맵(Mask Map)은 메탈릭 맵(Metallic Map), AO 맵(Ambient Occlusion Map) 및 스무스 맵(Smoothness Map)을 포함할 수 있다. 보다 구체적으로, 마스크 맵은, Red 채널에 Metalic Map을, Green채널에 OA을 Alpha 채널에는 Smoothness Map을 적용함으로써 핵심데이터만 사용할 수 있는 맵을 의미한다. 마스크 맵은, 불필요한 데이터를 줄일 수 있다는 장점이 있다.

한편, 본 발명에서, 노말 맵이 적용된 원본 이미지에 메탈릭 맵, AO 맵, 스무스 맵을 적용하는 과정이 진행될 수 있다. 메탈릭 맵, AO 맵, 스무스 맵은 순서에 상관없이 적용될 수 있다. 다만, 본 발명에서는 설명의 편의를 위하여, 노말 맵이 적용된 원본 이미지에, 메탈릭 맵, AO 맵, 스무스맵 순서로 적용시키는 과정을 설명하도록 한다.

본 발명에서는, 노말맵이 적용된 원본 이미지에 메탈릭 맵을 적용함으로써, 대상 이미지에 포함된 금속 재질에 대한 질감을 표현할 수 있다.

여기서, 메탈릭 맵(Metallic Map)은, 빛의 정반사를 이용하여 대상 이미지에 포함된 금속 재질의 고유한 색(ex: 광택, 거울과 같은 반사)을 표현할 수 있는 정보를 포함하고 있다.

즉, 메탈릭 맵이 적용된 원본 이미지는, 대상 이미지에서 금속이 포함한 부분이, 해당 금속의 고유의 색으로 표현될 수 있다.

보다 구체적으로, 제어부(130)는 노말 맵이 적용된 원본 이미지에 메탈릭 맵을 적용하여, 노말 맵이 적용된 원본 이미지의 픽셀 값을 변경함으로써 금속의 고유의 색을 표현할 수 있다. 제어부(130)는 ⅰ)노말 맵이 적용된 원본 이미지의 픽셀 값 및 ⅱ)메탈릭 맵을 제3 블렌딩 함수에 대입하여, 노말 맵이 적용된 원본 이미지의 픽셀 값을 변경할 수 있다. 변경 전 노말 맵이 적용된 원본 이미지의 픽셀 값은 대상 이미지에서 금속 재질의 고유의 색이 반영하지 않은 픽셀 값이라면, 변경 된 메탈릭 맵이 적용된 원본 이미지의 픽셀 값은 대상 이미지에서 금속 재질의 고유의 색이 반영된 픽셀값 일 수 있다.

예를 들어, 대상 이미지가 유화이고, 노말 맵이 적용된 원본 이미지의 픽셀 값(245, 167, 59)이라고 가정하자. 제어부(130)는 원본 이미지의 픽셀 값(245, 167, 59) 및 메탈릭 맵을 제3 블렌딩 함수에 대입할 수 있다. 이를 통해, 메탈릭 맵이 적용된 원본 이미지는 (249, 167, 24)의 픽셀 값을 가질 수 있다. 변경전 노말 맵이 적용된 원본 이미지의 픽셀값은 대상 이미지의 정반사가 반영되지 않아, 금속 재질의 고유의 색이 표현되지 않은 픽셀 값이라면, 변경된 메탈릭 맵이 적용된 원본 이미지의 픽셀 값은 대상 이미지의 정반사가 반영되어 금속 재질의 고유의 색 이 표현되는 픽셀 값일 수 있다.

한편, 대상 이미지의 정반사 역시, 앞서 설명한 ⅰ)대상 이미지가 전시된 시간에 따른 빛의 양, ⅱ)빛이 어느 방향에서 어느 방향으로 비추는지 여부, ⅲ) 대상 이미지가 전시된 장소등에 따라 상이한 금속 재질이 표현될 수 있다. 예를 들어, 빛의 양이 많은 경우, 금속 재질이 더욱 하얗게(광택나게) 보일 수 있다.

제어부(130)는 제3 블렌딩 함수의 파라미터를 조정함으로써, 메탈릭 맵이 적용된 원본 이미지가 표현하는, 대상 이미지에 비추는 빛의 양 및 대상 이미지에서의 정반사를 조절할 수 있다.

이러한 다양한 확장 현실 상황(날씨, 시간, 장소 등)과, 이에 따른 메탈릭 맵(또는 제3 기 설정된 블렌딩 함수의 파라미터)는 서로 매칭되어 매칭 정보로서, 저장부(120)에 저장되어 있을 수 있다.

제어부(130)는 구현하고자 하는 확장 현실의 상황에 근거하여, 매칭 정보를 통해 메탈릭 맵 또는 제3 기 설정된 블렌딩 함수의 파라미터를 제어할 수 있다.

한편, 제어부(130)는 기계학습에 의하여 생성된 인공지능 모델을 이용하여 매칭 정보를 생성하고, 매칭 정보에 근거하여 메탈릭 맵이 적용된 원본 이미지를 생성할 수 있다.

이처럼, 본 발명에서는 원본 이미지(즉, 노말 맵이 적용된 원본 이미지)에 메탈릭 맵을 적용함으로써, 대상 이미지의 금속 재질의 고유한 색을 표현할 수 있다. 사용자는 메탈릭 맵이 적용된 원본 이미지를 통해 대상 이미지에 포함된 금속 재질의 고유한 색을 인지할 수 있다.

따라서, 확장현실 등에 메탈릭 맵이 적용되지 않은 원본 이미지가 디스플레이 될 때에 비하여 메탈릭 맵이 적용된 원본 이미지가 디스플레이 될 때, 사용자는, 미술 작품에 포함된 금속 재질의 고유한 색 및 이를 통한 질감을 느낌으로써, 실제 미술관 등에서 미술 작품을 보는 것과 같은 경험을 제공받을 수 있다.

한편, 본 발명에서는, 메탈릭 맵이 적용된 원본 이미지에 AO 맵(Ambient Occlusion Map)을 적용함으로써, 대상 이미지에서 구석진 부분에 그림자를 생성하여, 더욱 자연스럽고 사실적인 느낌을 표현할 수 있다.

다만, 앞서 설명한 바와 같이, 메탈릭 맵(Metallic Map), AO 맵(Ambient Occlusion Map) 및 스무스 맵(Smoothness Map)은 순서가 상관없다, 따라서, 메탈릭 맵을 적용하기 이전에, AO맵을 적용할 수도 있다. 이러한 경우, AO 맵은 노말 맵이 적용된 원본 이미지에 적용될 수 있다.

여기서, AO 맵(Ambient Occlusion Map)은, 대상 이미지에서, 객체(또는 픽셀)와 또 다른 객체(또는 픽셀)의 표면상의 각 포인트 사이의 폐색(occlusion) 값에 대한 정보를 포함할 수 있다.

즉, AO맵이 적용된 원본 이미지는, 음영 처리된 이미지로 밝고 어두운 부분이 표시된 이미지로 이해되어 질 수 있다.

보다 구체적으로, 제어부(130)는 메탈릭 맵이 적용된 원본 이미지에 AO맵을 적용하여, 메탈릭 맵이 적용된 원본 이미지의 픽셀 값을 변경함으로써 음영을 표현할 수 있다. 제어부(130)는 ⅰ)메탈릭 맵이 적용된 원본 이미지의 픽셀 값 및 ⅱ)AO 맵을 제4 기 설정된 블렌딩 함수에 대입하여, 메탈릭 맵이 적용된 원본 이미지의 픽셀 값을 변경할 수 있다. 변경 전 메탈릭 맵이 적용된 원본 이미지의 픽셀 값은 폐색값이 반영되지 않은(즉, 음영 처리가 되지 않은) 픽셀 값이라면, 변경 된 AO 맵이 적용된 원본 이미지의 픽셀 값은 폐색값이 반영된(즉, 음영 처리가 된) 픽셀값 일 수 있다.

예를 들어, 메탈릭 맵이 적용된 원본 이미지는 도 8의 (a)와 같이 ((255, 255, 255), (255, 30, 20), (255, 30, 20))의 픽셀 값을 가질 수 있다. 이 때, ⅰ)2행 2열에 위치한 픽셀 값 30(811), ⅱ)2행 3열에 위치한 픽셀값 20(812), ⅲ)3행 3열에 위치한 픽셀 값 30(813) 및 ⅳ) 3행 3열에 위치한 픽셀값 20(814)은 그 외의 픽셀 값 255에 의한 환경 차폐로 인해, 그림자(음영)가 생성될 수 있다. 이 때, ⅳ) 3행 3열에 위치한 픽셀 값 20(814)은 주변의 픽셀값들에 의하여 가장 많은 음영이 발생되므로, 픽셀값 20(814)은 픽셀 값3(824)로 변경될 수 있다. 나아가, ⅱ)2행 3열에 위치한 픽셀값 20(812), ⅲ)3행 3열에 위치한 픽셀 값 30(813)은 상대적으로 음영이 덜 생기므로, 각각, 픽셀 값 5(822) 및 픽셀 값7(823)으로 변경될 수 있다. 그리고, ⅰ)2행 2열에 위치한 픽셀 값 30(811)은 상대적으로 음영이 가장 적게 발생되므로, 픽셀 값 10(821)로 변경될 수 있다. 즉, 도 8의 (b)의 AO 맵이 적용된 원본 이미지는, 어두운 부분은 더욱 어두워 지도록 표현될 수 있다.

도 9의 (a) 는 메탈릭 맵이 적용된 원본 이미지(910)를 표현한 모습이다. 메탈릭 맵이 적용된 원본 이미지(910)에 도 9의(b)의 AO 맵(920)을 적용함으로써, 도 9의 (c)와 같은 AO맵이 적용된 원본 이미지(930)이 생성될 수 있다. AO 맵이 적용된 원본 이미지(930)는 픽셀의 차폐에 의하여, 음영(911)이 생성이 표현될 수 있다.

이처럼, 본 발명에서는 원본 이미지(즉, 메탈릭 맵이 적용된 원본 이미지)에 AO맵을 적용함으로써, 그림자 효과를 적용하여, 환경광을 차폐함으로써, 그림의 세부적인 붓터치의 질감을 표현할 수 있다.

따라서, 확장현실 등에 AO 맵이 적용되지 않은 원본 이미지가 디스플레이 될 때에 비하여 AO 맵이 적용된 원본 이미지가 디스플레이 될 때, 사용자는, 미술 작품에 포함된 세부적인 붓터치의 질감을 느낌으로써, 실제 미술관 등에서 미술 작품을 보는 것과 같은 경험을 제공받을 수 있다.

한편, 본 발명에서는, AO 맵이 적용된 원본 이미지에 스무스 맵(Smoothness Map)을 적용함으로써, 대상 이미지의 부드러운 표면은 더욱 부드럽게 표한하고, 거친 표면을 더욱 거칠게 표현할 수 있다.

여기서, 스무스 맵(Smoothness Map)은, 빛이 퍼지는 것과 같은 느낌을 표현할 수 있는 정보를 포함하고 있다.

보다 구체적으로, 제어부(130)는 AO 맵이 적용된 원본 이미지에 스무스 맵을 적용하여, AO 맵이 적용된 원본 이미지의 픽셀 값을 변경함으로써 부드러운 표면은 더욱 부드럽게 표현하고, 거친 표면은 더욱 거칠게 표현할 수 있다. 제어부(130)는 ⅰ)AO 맵이 적용된 원본 이미지의 픽셀 값 및 ⅱ)스무스 맵을 제5 기 설정된 블렌딩 함수에 대입하여, AO 맵이 적용된 원본 이미지의 픽셀 값을 변경할 수 있다. AO 맵이 적용된 원본 이미지의 픽셀 값은 AO맵이 적용되지 않은 원본 이미지의 픽셀 값에 비하여, 대상 이미지의 부드러운 표면은 더욱 부드럽게 표현되는 값을 가지고, 대상 이미지의 거친 표면은 더욱 거칠게 표현되는 값을 가질 수 있다.

한편, 대상 이미지 표면의 거침 또는 부드러움 역시, 앞서 설명한 ⅰ)대상 이미지가 전시된 시간에 따른 빛의 양, ⅱ)빛이 어느 방향에서 어느 방향으로 비추는지 여부, ⅲ) 대상 이미지가 전시된 장소등에 따라, 상이한 금속 재질이 표현될 수 있다. 예를 들어, 빛의 양이 많은 경우, 부드러운 표면은 더욱 부드럽게 보일 수 있다.

제어부(130)는 제5 기 설정된 블렌딩 함수의 파라미터를 조정함으로써, 스무스 맵이 적용된 원본 이미지가 표현하는, 대상 이미지에 비추는 빛의 양 및 각도에 따른 표면의 거침 정도를 조절할 수 있다.

이러한 다양한 확장 현실 상황(날씨, 시간, 장소 등)과, 이에 따른 스무스 맵(또는 제5 기 설정된 블렌딩 함수의 파라미터)는 서로 매칭되어 매칭 정보로서, 저장부(120)에 저장되어 있을 수 있다.

제어부(130)는 구현하고자 하는 확장 현실의 상황에 근거하여, 매칭 정보를 통해 스무스 맵 또는 제5 기 설정된 블렌딩 함수의 파라미터를 제어할 수 있다.

한편, 제어부(130)는 기계학습에 의하여 생성된 인공지능 모델을 이용하여 매칭 정보를 생성하고, 매칭 정보에 근거하여 스무스 맵이 적용된 원본 이미지를 생성할 수 있다.

이처럼, 본 발명에서는 원본 이미지(즉, AO 맵이 적용된 원본 이미지)에 스무스 맵을 적용함으로써, 대상 이미지의 부드러운 표면은 더욱 부드럽게 표현하고, 대상 이미지의 거친 표면은 더욱 거칠게 표현할 수 있다. 사용자는 스무스 맵이 적용된 원본 이미지를 통해 대상 이미지의 표면의 질감을 인지할 수 있다.

따라서, 확장현실 등에 스무스 맵이 적용되지 않은 원본 이미지가 디스플레이 될 때에 비하여 스무스 맵이 적용된 원본 이미지가 디스플레이 될 때, 사용자는, 미술 작품 표면의 부드럽고 거친 질감을 느낌으로써, 실제 미술관 등에서 미술 작품을 보는 것과 같은 경험을 제공받을 수 있다.

한편, 본 발명에서는 캔버스 맵(Canvas Map), 노말 맵(Normal Map), 메탈릭 맵(Metallic Map), AO 맵(Ambient Occlusion Map) 및 스무스 맵(Smoothness Map)이 모두 적용된 원본 이미지에, 코팅 맵(Coat Map)을 적용함으로써, 최종 이미지를 생성할 수 있다.

여기서, 캔버스 맵(Canvas Map), 노말 맵(Normal Map), 메탈릭 맵(Metallic Map), AO 맵(Ambient Occlusion Map) 및 스무스 맵(Smoothness Map)이 모두 적용된 원본 이미지를 “변경 이미지”라 명명하도록 한다.

또한, 코팅 맵(Coat Map)은 조각 이미지가 병합되어 생성된 원본 이미지, 즉, 그 어떠한 맵도 적용되지 않은 원본 이미지를 의미할 수 있다.

또한, 최종 이미지는, 캔버스 맵(Canvas Map), 노말 맵(Normal Map), 메탈릭 맵(Metallic Map), AO 맵(Ambient Occlusion Map), 스무스 맵(Smoothness Map) 및 코팅 맵(Coat Map)이 적용된 이미지로서, 대상 이미지의 질감을 표현하는 것과 동시에 원본 이미지의 데이터 값을 유지할 수 있다.

보다 구체적으로, 제어부(130)는 변경 이미지와 원본 이미지를 블렌딩할 수 있다. 제어부(130)는 ⅰ)변경 이미지의 픽셀 값 및 ⅱ)원본 이미지의 픽셀 값을 제 6 함수에 대입할 수 있다. 이러한 과정을 통해 생성된 최종 이미지는, 대상 이미지의 질감을 표현하는 것과 동시에 원본 이미지의 데이터 값을 유지할 수 있다.

도10의 (a) 는 스무스 맵이 적용된 원본 이미지, 또는 변경 이미지(1010)를 표현한 모습이다. 변경 이미지(1010)에 도 10의(b)의 코팅 맵(930)을 적용함으로써, 도 10의 (c)와 같은 최종 이미지(1030)이 생성될 수 있다.

이처럼, 본 발명에서는 최종 이미지를 생성함으로써, 대상 이미지의 질감을 표현하는 것과 동시에 원본 이미지의 데이터 값을 유지할 수 있다.

따라서, 확장현실 등에 원본 이미지가 디스플레이 될 때에 비하여 최종 이미지가 디스플레이 될 때, 사용자는, 보다 실제 미술관 등에서 미술 작품을 보는 것과 같은 경험을 제공받을 수 있다.

위에서 살펴본 것과 같이, 본 발명에 따른 초고화질 이미지 구현 방법 및 시스템은, 초고화질의 이미지를 생성하는 것을 통하여, 실제감 및 생동감 있는 콘텐츠를 제공할 수 있다. 이를 통해, 사용자는 미술관 또는 박물관 등에서 전시되는 작품을 언제라도 손쉽게 접할 수 있다. 이를 통해, 사용자는 풍부한 문화 예술 콘텐츠를 향유할 수 있다. 나아가, 미술관 또는 박물관은 보다 많은 사용자에게 작품에 해당하는 콘텐츠를 제공함으로써, 사용자의 관심을 향상시킬 수 있다.

나아가, 본 발명에 따른 초고화질 이미지 구현 방법 및 시스템은 이미지의 적어도 일부분을 포함하는 복수개의 서로 다른 조각 이미지를 이용하여, 최대 해상도를 넘는 초고화질 명화 이미지를 생성할 수 있다. 이러한 초고화질의 이미지는, 확대 시에도 화질이 손상되지 않는 고해상도의 이미지로 이루어짐으로써, 실제 대상물(예를 들어, 명화)의 디테일이 고스란히 표현될 수 있다.

이러한, 초고화질의 이미지가 가상 현실, 증강현실, 혼합현실, 또는 확장현실 등 다양한 기술에 따른 방법으로사용자에게 제공되는 경우, 사용자는 해당 이미지에 해당하는 대상물을(예를 들어, 명화) 현장(예를 들어, 박물관 또는 미술관) 에서 실제로 보는 것과 같은 생생한 느낌을 전달할 수 있다.

한편, 위에서 살펴본 본 발명은, 컴퓨터에서 하나 이상의 프로세스에 의하여 실행되며, 이러한 컴퓨터로 판독될 수 있는 매체(또는 기록 매체)에 저장 가능한 프로그램으로서 구현될 수 있다.

나아가, 위에서 살펴본 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드 또는 명령어로서 구현하는 것이 가능하다. 즉, 본 발명은 프로그램의 형태로 제공될 수 있다.

한편, 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다.

나아가, 컴퓨터가 읽을 수 있는 매체는, 저장소를 포함하며 전자기기가 통신을 통하여 접근할 수 있는 서버 또는 클라우드 저장소일 수 있다. 이 경우, 컴퓨터는 유선 또는 무선 통신을 통하여, 서버 또는 클라우드 저장소로부터 본 발명에 따른 프로그램을 다운로드 받을 수 있다.

나아가, 본 발명에서는 위에서 설명한 컴퓨터는 프로세서, 즉 CPU(Central Processing Unit, 중앙처리장치)가 탑재된 전자기기로서, 그 종류에 대하여 특별한 한정을 두지 않는다.

한편, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (10)

1. 대상 이미지에 대응되는 서로 다른 복수개의 조각 이미지를 수신하는 단계;
   상기 복수개의 조각 이미지 각각의 유사성에 근거하여, 상기 복수개의 조각 이미지를 조합하는 단계;
   상기 조합의 결과 생성되는 원본 이미지가 기 특정된 질감을 갖도록 상기 원본 이미지에 캔버스 맵(Canvas Map)을 적용하는 단계;
   상기 캔버스 맵(Canvas Map)이 적용된 원본 이미지에, 가상 공간에 입사되는 가상의 빛의 반사 특성이 반영되도록 노말 맵(Normal Map)을 적용하는 단계;
   상기 노말 맵(Normal Map)이 적용된 원본 이미지에, 상기 대상 이미지의 복수의 특성에 대응되는 정보를 포함하는 마스크 맵(Mask Map)을 적용하는 단계; 및
   상기 마스크 맵(Mask Map)이 적용된 원본 이미지와, 상기 캔버스 맵(Canvas Map), 상기 노말 맵(Normal Map) 및 상기 마스크 맵(Mask Map)이 적용되지 않은 원본 이미지를 블렌딩하여 최종 이미지를 생성하는 단계;를 포함하며,
   상기 마스크 맵(Mask Map)은, 복수의 채널을 포함하고,
   상기 복수의 채널은, 각각의 채널 마다 상기 대상 이미지의 복수의 특성 중 어느 하나에 대응되는 정보를 포함하는 것을 특징으로 하는 초고화질 이미지 구현 방법.
2. 제1항에 있어서,
   상기 복수개의 조각 이미지는 기 설정된 해상도 기준을 만족하는 이미지들이고,
   상기 복수개의 조각 이미지의 어느 하나는 다른 하나와 적어도 일부가 중첩되는 이미지 정보를 포함하는 것을 특징으로 하는 초고화질 이미지 구현 방법.
3. 제2항에 있어서,
   상기 조각 이미지를 조합하는 단계는,
   상기 조합된 조각 이미지들에 대해 엣지 블렌딩(edge blending)을 수행하는 것을 특징으로 하는 초고화질 이미지 구현 방법.
4. 제3항에 있어서,
   상기 엣지 블렌딩은,
   상기 복수개의 조각 이미지들 중 상호 중첩되는 이미지 정보를 포함하는 제1 조각 이미지 및 제2 조각 이미지 각각의 상기 상호 중첩되는 이미지 정보가 오버랩되도록 하는 것임을 특징으로 하는 초고화질 이미지 구현 방법.
5. 제1항에 있어서,
   상기 캔버스 맵을 적용하는 단계에서는,
   상기 원본 이미지에, 상기 기 특정된 질감에 대응되는 레이어를 합성하여, 상기 캔버스 맵이 적용된 원본 이미지를 생성하는 것을 특징으로 하는 초고화질 이미지 구현 방법.
6. 제5항에 있어서,
   상기 노말 맵을 적용하는 단계는,
   가상의 광원에 대한 위치, 형태, 세기, 빛의 진행 방향 중 적어도 하나를 정의하는 광원 정보에 기반하여 수행되는 것을 특징으로 하는 초고화질 이미지 구현 방법.
7. 제6항에 있어서,
   상기 노말 맵을 적용하는 단계에서는,
   상기 광원 정보 및 상기 노말 맵에 포함된 노말 벡터에 기반하여, 상기 원본 이미지를 구성하는 픽셀 각각에 대한 반사각 정보를 산출하는 단계; 및
   상기 반사각 정보에 기반하여, 상기 원본 이미지를 구성하는 픽셀 각각에 대한 새로운 픽셀값을 산출하는 단계를 더 포함하는 것을 특징으로 하는 초고화질 이미지 구현 방법.
8. 제6항에 있어서,
   상기 광원 정보를 변경하는 단계;
   상기 변경된 광원 정보 및 상기 노말 맵에 포함된 노말 벡터에 기반하여, 상기 원본 이미지를 구성하는 픽셀 각각에 대한 반사각 정보를 재산출하는 단계; 및
   상기 재산출된 반사각 정보에 기반하여, 상기 원본 이미지를 구성하는 픽셀 각각에 대한 새로운 픽셀값을 재산출하는 단계를 더 포함하는 것을 특징으로 하는 초고화질 이미지 구현 방법.
9. 제8항에 있어서,
   상기 최종 이미지를, 상기 가상 공간을 재현하는 전자기기에 제공하는 단계를 더 포함하고,
   상기 제공하는 단계에서는,
   상기 반사각 정보에 기반하여 산출된 새로운 픽셀값을 포함하는 최종 이미지를 제공하는 것을 특징으로 하는 초고화질 이미지 구현 방법.
10. 대상 이미지에 대응되는 서로 다른 복수개의 조각 이미지를 수신하는 통신부; 및
    상기 복수개의 조각 이미지 각각의 유사성에 근거하여, 상기 복수개의 조각 이미지를 조합하는 제어부를 포함하고,
    상기 제어부는,
    상기 조합의 결과 생성되는 원본 이미지가 기 특정된 질감을 갖도록 상기 원본 이미지에 캔버스 맵(Canvas Map)을 적용하고,
    상기 캔버스 맵(Canvas Map)이 적용된 원본 이미지에, 가상 공간에 입사되는 가상의 빛의 반사 특성이 반영되도록 노말 맵(Normal Map)을 적용하고,
    상기 노말 맵(Normal Map)이 적용된 원본 이미지에, 상기 대상 이미지의 복수의 특성에 대응되는 정보를 포함하는 마스크 맵(Mask Map)을 적용하고,
    상기 마스크 맵(Mask Map)이 적용된 원본 이미지와, 상기 캔버스 맵(Canvas Map), 상기 노말 맵(Normal Map) 및 상기 마스크 맵(Mask Map)이 적용되지 않은 원본 이미지를 블렌딩하여 최종 이미지를 생성하며,
    상기 마스크 맵(Mask Map)은, 복수의 채널을 포함하고,
    상기 복수의 채널은, 각각의 채널 마다 상기 대상 이미지의 복수의 특성 중 어느 하나에 대응되는 정보를 포함하는 것을 특징으로 하는 초고화질 이미지 구현 시스템.
    

Images