KR102407493B1

KR102407493B1 - 가상현실을 사용한 아트 갤러리 구현 솔루션

Info

Publication number: KR102407493B1
Application number: KR1020200118085A
Authority: KR
Inventors: 박경민
Original assignee: 박경민
Priority date: 2020-09-15
Filing date: 2020-09-15
Publication date: 2022-06-13
Also published as: KR20220036016A

Abstract

실시예는 가상현실을 사용한 아트 갤러리 구현 솔루션에 관한 것이다.
구체적으로, 이러한 솔루션은 다수의 상이한 작가별로 가상작품영상을 입력받거나 직접 제작하여 공급하는 적어도 하나 이상의 작가 단말기를 포함한다. 그리고, 상기 솔루션은 상기 작가 단말기에 의해 공급된 각 가상작품영상을 통합적으로 제공받아 작가와 업체별로 중개해서 분류관리하고, 여러 위치에 분산된 각 업체별로 상이하게 분배하는 관리 정보처리장치를 포함한다.
또한, 상기 솔루션은 상기 관리 정보처리장치에 의해 분배된 가상작품영상을 개별적으로 수급받아 각 업체 내의 미리 등록된 디지털 액자에 가상현실화하여 전시하는 적어도 하나 이상의 업체 단말기를 포함하고 있다.
이러한 경우, 상기 관리 정보처리장치는 a) 다수의 상이한 작가의 가상작품영상이 적어도 하나씩 포함되도록 가상작품영상을 그룹화한다. 그리고, b) 각 가상작품영상이 업체에 판매되어 수익을 얻는다. c) 이때 상기 수익은 해당 가상작품영상의 작가에게 지급되는 제 1 수익, 상기 중개에 의해 지급되는 제 2 수익, 및 상기 제 1 수익과 제 2 수익을 제외한 제 3 수익으로 구분되고, 상기 제 3 수익에 대해서는 해당 작품그룹의 소속작가에게 배분하도록 정산하는 것을 특징으로 한다.
따라서, 이를 통해 미술 작품 등을 관람할 경우, 관람객의 작품에 대한 반응에 따라 그에 맞는 가상현실 영상을 제공함으로써, 미술 작품 등의 관람을 더욱 효과적으로 한다.
그리고, 이에 더하여 커피숍 또는 음식점 등에 가상현실 영상을 제공하고, 여기에서 이러한 VR을 디지털 액자를 통해 전시한다.
따라서, 이를 통해 더 나아가 VR 산업의 대부분이 게임산업에만 치중되어 있어서 경쟁이 치열한 반면 예술분야에서의 VR 등에 활용은 다소 저조함을 해결한다.

Description

가상현실을 사용한 아트 갤러리 구현 솔루션{Solution for making of art gallery employing virtual reality}

본 명세서에 개시된 내용은 가상현실을 적용한 기술분야에 관한 것으로, 보다 상세하게는 미술 작가 등이 가상작품영상을 제작하고, 미술관 또는, 커피숍이나 음식점 등에서 이러한 가상작품영상을 전시하는 기술에 관한 것이다.

본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.

최근에, 인터넷 통신망과 컴퓨터의 보급이 급속도로 확산되면서 컴퓨터를 이용한 분야는 그 동안 기업전산화 작업에 머무르지 않고 전 산업 분야로 급속히 확대되어지고 있다. 이러한 정보혁명의 흐름은 문화적 측면에서도 예외일 수 없으며, 급기야는 방안에 앉아 인터넷을 통해서 세계 유수의 미술관을 온라인 방문하며 예술 작품을 감상 할 수 있게 되었다.

한편, 최근 이슈화된 VR 산업은 이러한 예술분야에도 적용을 하기는 하나 대부분이 게임산업에만 치중되어 있어서 경쟁이 치열한 반면 예술분야에서의 VR 등에 활용은 다소 저조한 실정이다.

다른 한편으로, 일반적으로 전시 및 컨벤션 산업이 발전과, 다양한 문화적 욕구에 따라 많은 형태의 관람 전시회가 개최되고 있다. 일반적인 관람의 형태는 주최자의 의지대로 전시물이 단순 전시되고, 관람자는 수동적인 위치에서 관람하는 형식의 참여가 이루어졌다.

그리고 다른 사람이 참관한 여러 형태의 전시 및 관람은 온라인 상에서 영상이나 음성 및 문자화된 정보 형태로 다양하게 공유되고 있고, 이는 일종의 간접 체험의 기능을 제공하고 있다.

전시 컨벤션 산업의 발달과 다양한 문화적 욕구에 의해 다양한 산업 분야에서 다양한 형태의 컨텐츠를 보여주기 위하여 전시 및 박람회 등으로 개최하고 있다. 그리고 이를 이용하는 관람자는 개인적이 욕구의 충족은 물론이고 자녀 및 학생들의 참가 또는 체험형 학습을 목적으로 하여 그 이용이 날로 증가하고 있는 추세이다.

그러나, 지금까지의 다양한 전시 박람회 등의 행사는 관람자가 단순히 피동적인 관람만 하는 방법으로 이루어졌다. 즉, 주최자가 전시 컨텐츠를 마음대로 진열하거나 전시 및 상영을 행하고, 관람자는 이를 일방적으로 수용하는 방법의 관람이었다.

따라서 전시 문화가 급격히 발전하고 있는 상황에서 관람자의 피동적인 관람 방법에서 벗어나, 관람자가 적극적으로 직접 컨텐츠를 생산하는 방식의 관람 방법이 시급히 요구되고 있다. 이는 관람자의 욕구 충족은 물론이고, 이에 의한 결과물인 UCC(User Created Contents)의 재활용에 따른 경제적 파급 효과가 막대하기 때문이다.

이러한 배경의 선행기술문헌은 아래의 특허문헌이다.

(특허문헌 1) KR101317047 Y1

(특허문헌 2) KR101893431 Y1

참고적으로, 위의 특허문헌 1은 얼굴표정을 이용한 감정인식 기술에 관한 것이고, 특허문헌 2는 스마트기기를 이용한 체험형 미술관 운영 시스템에 관한 정도이다.

개시된 내용은, VR 산업의 대부분이 게임산업에만 치중되어 있어서 경쟁이 치열한 반면 예술분야에서의 VR 등에 활용은 다소 저조함을 해결하고, 미술 작품 등의 관람을 더욱 효과적으로 하도록 하는 가상현실을 사용한 아트 갤러리 구현 솔루션을 제공하고자 한다.

그리고, 부가적으로 그 솔루션이 다양한 형태로 개최되는 전시 컨벤션 행사를 단순 관람이 아니라, 관람자가 직접 컨텐츠를 생산하면서 체험하는 형태가 될 수 있도록 함으로써, 종래 피동적인 관람에서 탈피하여 관람자의 욕구 충족은 물론이고 생산된 UCC의 재활용에 따른 간접 경험의 컨텐츠 양산과, 이에 따른 경제적인 효과를 달성하도록 한다.

또한, 상기 솔루션은 전술한 바대로 예술분야에서의 VR 등의 저조한 활용을 해결하여 커피숍 또는 음식점 등에 VR을 제공하고, 여기에서 이러한 VR을 디지털 액자를 통해 전시할 수 있도록 한다.

실시예에 따른 가상현실을 사용한 아트 갤러리 구현 시스템은,

다수의 상이한 작가별로 가상작품영상 입력받거나 직접 제작하여 공급하는 작가 단말기;

상기 작가 단말기에 의해 공급된 가상작품영상을 작가와 갤러리별로 중개하고, 상기 가상작품영상에 대해서는 다수의 상이한 감정 상태와 아트별로 매칭해서 상이한 갤러리별로 분배하는 관리 정보처리장치; 및

상기 관리 정보처리장치에 의해 분배된 가상작품영상을 각 갤러리에서 가상현실화하여 전시하는 갤러리 단말기; 를 포함하고 있으며,

상기 갤러리 단말기는,

a) 상기 다수의 상이한 아트마다 해당하는 작품의 관람시에, 관람객 얼굴을 연속적으로 인식하고,

b) 상기 인식된 관람객 얼굴에서의 얼굴 요소 변화 상태에 매칭된 관람객 감정 상태를 검출하고,

c) 상기 검출된 관람객 감정 상태별로 상이한 매칭된 가상작품영상을 각각의 아트마다 상이하게 해당하는 작품 주변에 연출하며,

상기 관람객 감정 상태를 검출하는 것(b))은,

b-1) 상기 인식된 관람객 얼굴에서 각 얼굴 요소의 메타데이터를 얼굴 요소별로 추출하고,

b-2) 상기 추출된 각 얼굴 요소의 메타데이터로부터 얼굴 요소의 크기와 위치를 추정하고,

b-3) 상기 추정된 각 얼굴 요소의 크기와 위치를 적용하여 얼굴 요소 변화 상태를 검출하며,

b-4) 상기 검출된 얼굴 요소 변화 상태에 매칭된 관람객 감정 상태를 검출하는 것; 을 포함하는 것을 특징으로 한다.

다른 실시예에 따른 서비스업체에서의 가상작품영상을 이용한 갤러리 구현 시스템은,

다수의 상이한 작가별로 가상작품영상을 입력받거나 직접 제작하여 공급하는 적어도 하나 이상의 작가 단말기;

상기 작가 단말기에 의해 공급된 각 가상작품영상을 통합적으로 제공받아 작가와 업체별로 중개해서 분류관리하고, 여러 위치에 분산된 각 업체별로 상이하게 분배하는 관리 정보처리장치; 및

상기 관리 정보처리장치에 의해 분배된 가상작품영상을 개별적으로 수급받아 각 업체 내의 미리 등록된 디지털 액자에 가상현실화하여 전시하는 적어도 하나 이상의 업체 단말기; 를 포함하고 있으며,

상기 관리 정보처리장치는,

a) 다수의 상이한 작가의 가상작품영상이 적어도 하나씩 포함되도록 가상작품영상을 그룹화하고,

b) 각 가상작품영상이 업체에 판매되어 수익을 얻고, 및

c) 상기 수익은 해당 가상작품영상의 작가에게 지급되는 제 1 수익, 상기 중개에 의해 지급되는 제 2 수익, 및 상기 제 1 수익과 제 2 수익을 제외한 제 3 수익으로 구분되고, 상기 제 3 수익에 대해서는 해당 작품그룹의 소속작가에게 배분하도록 정산하는 것을 특징으로 한다.

실시예들에 의하면, 미술 작품 등을 관람할 경우, 관람객의 작품에 대한 반응에 따라 그에 맞는 가상현실 영상을 제공함으로써, 미술 작품 등의 관람을 더욱 효과적으로 한다.

그리고, 이에 더하여 커피숍 또는 음식점 등에 가상현실 영상을 제공하고, 여기에서 이러한 VR을 디지털 액자를 통해 전시한다.

따라서, 이를 통해 더 나아가 VR 산업의 대부분이 게임산업에만 치중되어 있어서 경쟁이 치열한 반면 예술분야에서의 VR 등에 활용은 다소 저조함을 해결한다.

그리고, 이에 청년예술가들의 과학적 지원을 통해, 디지털시대 디지털 기술기반의 디지털아트 전시를 통해 예술과학융합문화를 쉽게 접할 수 있는 사회적 분위기를 조성한다.

또한, 다양한 과학융합 분야 발굴을 통해 디지털문화 컨텐츠 활성화 및 융합컨텐츠 일자리를 창출한다.

그리고, 또한 VR 아트 전시 체험을 통해 디지털유목민으로 정의되는 청년들에게 디지털과 인간의 상호적 관계에 대한 융합적 사고를 증진한다.

이에 더하여, 다양한 관람에 있어 관람자가 직접 참여하여 컨텐츠를 스스로 제작함으로써, 단순 관람이 아니라 실질적인 체험형 관람이 되어 직접 경험을 극대화할 수 있다. 그리고 전시 등의 주최측에서는 실질적인 관람자의 경험치를 높임으로써, 전시 홍보의 효과를 극대화시킬 수 있다. 또한 최종 생성된 UCC는 제3자를 위한 간접 경험 컨텐츠로의 활용이 가능하여 경제적인 효과를 가진다.

도 1은 일실시예에 따른 가상현실을 사용한 아트 갤러리 구현 방법이 적용된 시스템을 개략적으로 도시한 도면
도 2는 도 1의 시스템에 적용된 전시회 서비스 제공 정보처리장치의 구성을 도시한 블록도
도 3a는 일실시예에 따른 가상현실을 사용한 아트 갤러리 구현 방법을 순서대로 도시한 플로우 차트
도 3b는 도 3a의 구현 방법에 적용된 3D 공간과 모델을 보여주는 도면
도 4는 다른 실시예에 따른 서비스업체에서의 가상작품영상을 이용한 갤러리 구현 시스템이 적용된 개념도
도 5는 도 4에서 설명한 시스템을 전체적으로 도시한 도면

도 1은 일실시예에 따른 가상현실을 사용한 아트 갤러리 구현 시스템을 개략적으로 설명하기 위한 도면이다.

도 1에 도시된 바와 같이, 일실시예에 따른 시스템은 우선적으로 다양한 미술인들이 VR컨텐츠를 직접 제작하고, 이를 갤러리 등을 통해 여러 형태로 제공하고, 각 VR컨텐츠는 라이센스화하여 수익을 창출하는 사업모델과 관련된다.

이러한 경우, 상기 VR컨텐츠는 예를 들어 아래와 같이 제작된다.

즉, 상기 VR컨텐츠는 미술인들이 직접 그린 그림에는 의미가 있으나 그 이상의 가치를 부여할 필요성이 있기에 요구된 것이다.

예컨대, VR(가상현실)과, AR(증강현실) 기술을 아트 컨텐츠 일예로서, 트릭아트 컨텐츠에 접목하여, HMD기기 등을 통하여 감상하도록 해서 동적이면서도 다이나믹한 표현이 가능하도록 한다. 또는, 미술인들이 직접 VR컨텐츠 저작도구를 사용하여 VR컨텐츠를 그리기도 한다.

그래서, 일반 사람들은 현재 그림과 계산된 좌표에 3D 영상이 교합되어서 새로운 트릭아트컨텐츠 등을 통해 증강현실을 경험할 수 있도록 한다.

이러한 VR컨텐츠를 사용하는 모델은 예를 들어, 관람객이 갤러리 내의 미술작품 앞에 서면, 그 관람자의 얼굴을 인식하고 감정상태를 파악하여, 그에 어울리는 가상현실 영상을 연출하는 것이다.

그리고, 일실시예의 시스템은 이러한 가상현실 영상을 사용하여 영화 등의 컨텐츠를 제작한다. 이러한 경우, 상기 영화는 단순한 미술관의 수동적인 관람에서 나아가 체험형 컨텐츠로서 제공된다.

이를 위해, 상기 시스템은 예를 들어 작가 단말기와, 관리 정보처리장치 및 갤러리 단말기를 포함한다.

이러한 경우, 상기 작가 단말기는 다수의 상이한 작가별로 가상작품영상 입력받거나 직접 제작하여 공급하는 것이다.

그리고, 상기 관리 정보처리장치는 상기 작가 단말기에 의해 공급된 가상작품영상을 작가와 갤러리별로 중개하고, 상기 가상작품영상에 대해서는 다수의 상이한 감정 상태와 아트별로 매칭해서 상이한 갤러리별로 분배하는 것이다.

또한, 상기 갤러리 단말기는 상기 관리 정보처리장치에 의해 분배된 가상작품영상을 각 갤러리에서 가상현실화하여 전시한다.

실질적인 예로는, 상기 관리 정보처리장치는 사용자 단말(100)과, 전시회 서비스 제공 정보처리장치(300), CCTV(400), 리더기(500), 출력장치(600), RFID 태그(700), 안내로봇(800), 및 비콘(900)을 포함한다.

도 1은 이러한 관리 정보처리장치를 보여주는 도면이다.

이때, 도 1의 각 구성요소들은 일반적으로 네트워크(network, 200)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 사용자 단말(100)은 네트워크(200)를 통하여 전시회 서비스 제공 정보처리장치(300)와 연결된다.

그리고, 전시회 서비스 제공 정보처리장치(300)는, 네트워크(200)를 통하여 사용자 단말(100), CCTV(400), 리더기(500), 출력장치(600), RFID 태그(700), 안내로봇(800) 및 비콘(900)와 연결된다.

또한, CCTV(400)는, 네트워크(200)를 통하여 전시회 서비스 제공 정보처리장치(300)와 연결되고, 리더기(500)도 네트워크(200)를 통하여 전시회 서비스 제공 서버(300)와 연결된다. 또한, 출력장치(600), RFID 태그(700), 안내로봇(800) 및 비콘(900) 또한 네트워크(200)를 통하여 전시회 서비스 제공 정보처리장치(300)와 연결될 수 있다.

여기에서, 네트워크는 복수의 단말 및 정보처리장치들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일예에는 RF, 3GPP(3rd Generation Partnership Project) 네트워크, LTE 네트워크, 5GPP(5rd Generation Partnership Project) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷, LAN, Wireless LAN, WAN, PAN, 블루투스 네트워크, NFC 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB 네트워크 등이 포함되나 이에 한정되지는 않는다.

보다 상세하게는, 상기 사용자 단말(100)은 예를 들어, 전시회 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 전시회를 관람하는 관람객의 단말이다. 그리고, 상기 사용자 단말(100)은 사용자 단말(100)의 GPS를 포함한 위치 데이터를 전시회 서비스 제공 정보처리장치(300)로 전송하고, 이에 대응하는 안내 멘트, 텍스트, 이미지, 동영상 등을 포함하는 컨텐츠를 출력하는 단말이다. 또한, 다른 예로서 사용자 단말(100)은 전시회 서비스 제공 정보처리장치(300)부터 실시간으로 스트리밍되는 AR 컨텐츠 또는 VR 컨텐츠를 직접 화면에 출력하거나 오버레이하는 단말이다. 또한, 사용자 단말(100)은 전시회 서비스 제공 정보처리장치(300)로 관람객의 정보를 제공하고, 이에 대응하는 안내 컨텐츠를 맞춤형으로 수신하여 출력하는 단말일 수 있다.

여기서, 사용자 단말(100)은 네트워크를 통하여 원격지의 정보처리장치나 단말에 접속할 수 있는 컴퓨터로 구현된다. 이때, 상기 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저가 탑재된 노트북, 데스크톱, 랩톱(Laptop) 등을 포함할 수 있다. 그리고, 사용자 단말(100)은 네트워크를 통해 원격지의 정보처리장치나 단말에 접속할 수 있는 단말로 구현된다. 또한, 사용자 단말(100)은 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS, GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA, IMT(International Mobile Telecommunication)-2000, CDMA-2000, W-CDMA, Wibro 단말, 스마트폰, 스마트 패드(smartpad), 타블렛 PC 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

상기 전시회 서비스 제공 정보처리장치(300)는 전시회 서비스 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 제공하는 협의의 서버이다. 그리고, 상기 전시회 서비스 제공 정보처리장치(300)는 사용자 단말(100), CCTV(400), 리더기(500), 출력장치(600), RFID 태그(700), 안내로봇(800) 및 비콘(900)으로부터 출력되는 모니터링 및 감시하고, 이에 대응하는 제어 신호를 전송하여 각 구성요소들을 제어한다. 또한, 전시회 서비스 제공 정보처리장치(300)는 사용자 단말(100)로부터 수집되는 정보를 분석하고, 분석 결과에 대응하는 컨텐츠나 제어 신호를 전송한다. 그리고, 상기 전시회 서비스 제공 정보처리장치(300)는 관람자의 경로 안내를 위한 점등제어, 전시장에 배치된 적어도 하나의 부스 안내, 전시장 관리, 도난 방지 및 전시용 조명 제어를 실시한다. 또는, 상기 전시회 서비스 제공 정보처리장치(300)는 사용자 단말(100)의 위치를 GPS, RFID 태그 좌표, 비콘 신호 등을 통하여 수집한 후, 사용자 단말(100)로 전시안내 컨텐츠를 제공한다. 또한, 전시회 서비스 제공 정보처리장치(300)는 안내로봇(800)의 이동제어, 위치제어 및 안내제어를 모니터링받고, 오류가 발생한 경우 안내로봇(800)으로 회수 경로를 제공함으로써 관리자가 오류를 인지하고 안내로봇(800)의 오류를 고치도록 한다. 그리고, 전시회 서비스 제공 정보처리장치(300)는 CCTV(400)로부터 실시간으로 스트리밍된 적어도 하나의 프레임을 포함하는 영상을 분석하고, 분석된 영상과 기 저장된 이미지가 일치하는 경우 객체주적을 제어한다. 또한, 전시회 서비스 제공 정보처리장치(300)는 안내로봇(800)으로 입력된 질의를 수집하고, 질의가 수집된 영역에 위치한 적어도 하나의 부스 관리 단말(미도시)로 실시간으로 전송함으로써 질의에 대한 답변을 수집하도록 한다.

여기서, 전시회 서비스 제공 정보처리장치(300)는 네트워크를 통하여 원격지의 정보처리장치나 단말에 접속할 수 있는 컴퓨터로 구현된다. 상기 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저가 탑재된 노트북, 데스크톱, 랩톱 등을 포함할 수 있다.

도 2는 도 1의 관리 정보처리장치에 적용된 전시회 서비스 제공 정보처리장치의 구성을 도시한 블록도이다.

도 2에 도시된 바와 같이, 일실시예에 따른 전시회 서비스 제공 정보처리장치(300)는 모션센서(301)와, 촬영 수단(302), 프로파일 데이터베이스부(303), 컨텐츠 데이터베이스부(304), 제어부(305), 디스플레이부(306) 및 출력 수단(307)을 포함한다.

여기에서, 상기 모션센서(301)는 관람객에 대한 깊이 이미지 정보를 생성하여 관람객을 인식하고 움직임을 측정한다. 구체적으로 모션센서(301)는 적외선 소스 모듈 및 CMOS 적외선 카메라 센서 모듈을 포함한다. 또한, CMOS 적외선 카메라 센서 모듈은 이미지 프로세서를 포함한다. 상기 적외선 소스 모듈은 박물관 관람객을 향해 적외선을 조사하고, CMOS 적외선 카메라 센서 모듈은 이에 반사되는 적외선을 수집하고 관람객과의 거리를 산출하여 관람객을 인식한다. 이 때 CMOS 적외선 카메라 센서 모듈은 관람객과의 거리 산출을 위한 이미지 프로세서를 포함하여 실시될 수 있다.

상기 프로파일 데이터베이스부(303)는 관람객을 인식하기 위한 키 정보로 이루어진 프로파일을 저장한다. 구체적으로 프로파일 데이터베이스부(303)는 복수 개의 키 범위 정보로 이루어진 프로파일을 저장한다. 즉, 상기 모션센서(301)가 관람객을 인식하기 위해서는 관람객의 크기(키 범위)에 따라 소정의 시간이 필요하고 오차 범위도 크기 때문에 적절한 범위의 키 범위가 정해지고 이에 따라 모션센서(301)가 인식 과정을 수행하면 보다 정확하고 빠른 관람객 인식이 가능해진다. 이 때 프로파일 데이터베이스부(303)는 모션센서(301)가 관람객을 인식하기 위해 필요한 키 정보를 저장하고 필요에 따라 관련 정보를 제공할 수 있다. 구체적으로 모션센서(301)는 관람객에 의해 입력되는 키 범위에 대한 선택에 기초하여 관람객을 인식할 수 있고, 관람객에 의해 선택되는 키 범위에 대한 선택 과정은 소정의 입력 장치를 통해 관람객이 키 범위에 대한 선택 입력을 받을 수 있고 이러한 입력 정보(선택된 키 범위)에 기초하여 모션센서(301)가 관람객을 효과적으로 인식할 수 있다.

상기 컨텐츠 데이터베이스부(304)는 유적지 또는 유물 관련 VR 파노라마 컨텐츠 및 VR 오브젝트 컨텐츠를 저장한다. 즉, 상기 컨텐츠 데이터베이스부(304)는 관람객에게 제공할 유적지 또는 유물 등과 관련된 유적지 3차원 배경 컨텐츠, 유적지 파노라마 컨텐츠, 유적지 정보 컨텐츠, 유물 외형인 3차원 입체 형상 컨텐츠, 유물 정보 컨텐츠 등을 저장하고 필요에 따라 관련 정보를 제공할 수 있다.

상기 디스플레이부(306)는 컨텐츠 데이터베이스부(304)의 컨텐츠를 관람객이 볼 수 있도록 디스플레이한다. 구체적으로 디스플레이부(306)는 VR 컨텐츠를 효과적으로 제공할 수 있는 스크린 타입 또는 화상 디스플레이 타입으로 이루어질 수 있다.

상기 제어부(305)는 프로파일 데이터베이스부(303)에 저장된 키 정보에 기초하여 모션센서(100)가 관람객을 인식하도록 제어한다. 그리고 제어부(305)는 관람객의 움직임에 따라 디스플레이부(306)가 컨텐츠 데이터베이스부(304)에 저장된 컨텐츠의 위치 및 내용을 변경하여 디스플레이하도록 제어한다. 또한, 상기 제어부(305)는 모션센서(301)를 통해 인식한 관람객의 움직임이 뷰 포인트에 대한 선택 동작인 경우에 뷰 포인트에 해당하는 상세 컨텐츠를 디스플레이부가 디스플레이하도록 제어할 수 있다. 즉, 제어부(305)는 기 제공된 가상 현실(VR) 파노라마 컨텐츠에서 모션센서(301)가 인식한 관람객의 움직임이 VR 컨텐츠 상에 특정된 부분인 뷰 포인트에 대한 선택 동작인 경우에 해당 뷰 포인트에 해당하는 상세 컨텐츠(확대 이미지 또는 설명 내용)를 디스플레이부가 디스플레이하도록 제어할 수 있다.

상기 촬영 수단(302)은 관람객 또는, 관람객의 얼굴을 촬영하여 영상 이미지를 생성하는데, 제어부(305)는 촬영 수단(302)을 통해 촬영한 영상을 디스플레이부(306)가 컨텐츠와 함께 디스플레이하도록 제어하고, 모션센서(301)를 통해 측정되는 관람객의 움직임(제스쳐)에 따라 컨텐츠와 촬영 영상의 위치가 변경되도록 제어할 수 있다. 즉, 제어부(305)는 관람객에게 기본적으로 제공되는 VR 컨텐츠 및 VR 오브젝트 컨텐츠 상에 촬영 수단(302)을 통해 얻어지는 관람객 영상 이미지를 나타내고, 관람객을 움직임을 모션센서(301)가 인식하고, 움직임이 해당 VR 컨텐츠 및 VR 오브젝트 컨텐츠에 대한 이동을 위한 움직임이거나 촬영 영상에 대한 이동인 경우에 각 움직임에 대응하는 디스플레이 상태를 변경시킬 수 있다.

상기 출력 수단(307)은 디스플레이부(306)가 표시하는 관련 컨텐츠 및 영상 이미지를 사진 등으로 출력한다. 즉, 출력 수단(307)은 제어부(305)의 제어 동작에 따라 관련 컨텐츠 및 촬영 영상을 이미지화 한 뒤 관람객의 선택이 있는 경우 해당 이미지를 사진 등으로 출력하여 관람객에게 제공할 수 있다. 이러한 과정을 통해 본 시스템을 제공받는 관람객들은 가상의 유적지 또는 유물이 표시된 상태에 자신의 모습을 적절히 넣어서 기념 촬영을 할 수 있고, 실재로 해당 유적지 등에 가지는 않았으나 마치 해당 유적지에 방문하여 기념 촬영을 한 것과 같은 효과를 제공받을 수 있다.

부가적으로, 컨텐츠에 대한 설명 음성을 관람객에게 제공하기 위한 스피커와 관람객의 음성 정보를 수집하는 마이크를 더 포함할 수 있고, 제어부(305)는 모션센서(301)를 통해 측정되는 관람객의 움직임 또는 마이크를 통해 수집되는 음성 정보에 포함되는 키워드를 분석하고 이에 기초하여, 스피커를 통해 상세 설명 내용이 관람객에게 제공되도록 제어한다. 즉 제어부(305)는 마이크로부터 수집되는 관람객의 음성 정보를 키워드 별로 분석하여, 제공되고 있는 컨텐츠에 포함되는 유적지 또는 유물에 대한 질의 응답 또는 상세 설명 내용을, 디스플레이부(306) 상에 표시하는 것과 더불어 스피커를 통해 음성 정보로 제공될 수 있도록 제어할 수 있다.

도 3a와 도 3b는 일실시예에 따른 가상현실을 사용한 아트 갤러리 구현 시스템(전술한 VR컨텐츠를 사업모델화한 일예)을 설명하기 위한 도면이다.

구체적으로는, 도 3a는 일실시예에 따른 가상현실을 사용한 아트 갤러리 구현 시스템의 동작을 순서대로 도시한 플로우 차트이다. 그리고, 도 3b는 이러한 시스템에 적용된 3D 공간과 모델을 보여주는 도면이다.

도 3a에 도시된 바와 같이, 일실시예에 따른 가상현실을 사용한 아트 갤러리 전시 시스템은 먼저 아래의 구성을 전제로 한다.

즉, 상기 구성은 다수의 상이한 작가별로 가상작품영상 입력받거나 직접 제작하여 공급하는 작가 단말기와, 상기 작가 단말기에 의해 공급된 가상작품영상을 작가와 갤러리별로 중개하고, 상기 가상작품영상에 대해서는 다수의 상이한 감정 상태와 미술 등의 아트별로 매칭해서 상이한 갤러리별로 분배하는 관리 정보처리장치를 포함한다(S301).

이러한 경우, 예를 들어 상기 감정은 분노, 혐오, 두려움, 행복, 슬픔, 놀람, 무표정 총 7가지의 감정을 판단하며, 각각의 감정에 대한 세분화를 실시하여 하나의 감정에 높음, 보통, 낮음으로 판별함으로써 총 21가지의 감정을 판단한다.

구체적인 예로는, 1차 안면이미지의 얼굴 표정 및 2차 안면이미지의 얼굴 표정의 변화값 예컨대 각각의 감정에 따라 변화량이 서로 다른 눈꼬리 및 입꼬리의 변화값을 비교 분석하여, 각각의 감정에 대한 높음, 보통, 낮음으로 판단한다.

여기에서, 안면이미지의 표정 변화량은 1차 안면이미지 및 2차 안면이미지의 눈꼬리와 입꼬리를 각각 감지하고, 1차 안면이미지의 눈꼬리와 입꼬리 및 2차 안면이미지의 눈꼬치와 입꼬리를 각각 매칭시켜 변화값을 산출하며, 변화값이 일정이상이면 높음, 일정수준이면 보통, 일정이하면 낮음으로 판단한다.

그리고, 상기 구성은 상기 관리 정보처리장치에 의해 분배된 가상작품영상을 각 갤러리에서 가상현실화하여 전시하는 갤러리 단말기를 포함하고 있다.

이러한 상태에서, 일실시예에 따른 시스템은 상기 다수의 상이한 아트마다 해당하는 작품의 관람시에, 관람객 얼굴을 연속적으로 인식한다(S302).

그리고 나서, 상기 인식된 관람객 얼굴에서의 얼굴 요소 변화 상태에 매칭된 관람객 감정 상태를 검출한다(S303).

그래서, 상기 검출된 관람객 감정 상태별로 상이한 매칭된 가상현실 영상을 각각의 아트마다 상이하게 해당하는 작품 주변에 연출한다(도 3b 참조)(S304). 이때, 상기 가상현실 영상은 관람객의 감정 상태에 반응하는 AR 또는 VR 영상이다. 이러한 영상은 각 아트의 전시 주제 또는 아이템별로 맞게 제작된다.

이러한 경우, 상기 감정 상태 검출(S303)은 아래의 동작으로 이루어진다.

먼저 상기 인식된 관람객 얼굴에서 각 얼굴 요소의 메타데이터를 즉, 속성 값을 얼굴 요소별로 추출한다.

다음, 이러한 각 얼굴 요소의 메타데이터로부터 예를 들어, YORO 포맷을 적용하여 얼굴 요소의 크기와 위치를 추정한다. 즉, 각 얼굴 요소의 메타데이터 바로 부분으로부터 전체적인 각 얼굴 요소의 크기와 위치를 추정하는 것이다.

그리고 나서, 이렇게 추정된 각 얼굴 요소의 크기와 위치를 적용하여 얼굴 요소 변화 상태를 검출한다.

그래서, 상기 검출된 얼굴 요소 변화 상태에 매칭된 관람객 감정 상태를 검출한다.

따라서, 이를 통해 일실시예는 미술 작품 등을 관람할 경우, 관람객의 작품에 대한 반응에 따라 그에 맞는 가상현실 영상을 제공함으로써, 미술 작품 등의 관람을 더욱 효과적으로 한다.

이상과 같이, 일실시예는 아래의 특징을 가진다.

즉, 일실시예는,

상기 관리 정보처리장치에 의해 분배된 가상작품영상을 각 갤러리에서 가상현실화하여 전시하는 갤러리 단말기; 를 포함하고 있다.

그리고, 이러한 경우 상기 갤러리 단말기는,

상기 관람객 감정 상태를 검출하는 것(b))은,

b-4) 상기 검출된 얼굴 요소 변화 상태에 매칭된 관람객 감정 상태를 검출한다.

따라서, 이에 따라 더 나아가 VR 산업의 대부분이 게임산업에만 치중되어 있어서 경쟁이 치열한 반면 예술분야에서의 VR 등에 활용은 다소 저조함을 해결한다.

그리고, 이에 청년예술가들의 과학적 지원을 통해, 디지털시대 디지털 기술기반의

디지털아트 전시를 통해 예술과학융합문화를 쉽게 접할 수 있는 사회적 분위기를 조성한다.

또한, 다양한 과학융합 분야 발굴을 통해 디지털문화 컨텐츠 활성화 및 융합

컨텐츠 일자리를 창출한다.

추가적으로, 이러한 실시예에 따른 시스템은 전술한 가상현실 영상 정보를 이용하여 영화를 예를 들어, 미술 작품의 관람에 대한 체험을 컨텐츠로 한 영화를 제작할 수 있도록 한다.

이를 위해, 실시예에 따른 시스템은 아래의 구성을 구비한다.

즉, 상기 시스템은 사용자 단말기로부터 해당 모바일 앱을 통해 각 아트마다의 전시 주제별로 전시관 내에 각 인터랙티브 컨텐츠별 선택사양으로서 스토리의 발단과, 진행, 결론 상의 터닝 포인트 부분을 선택받는다.

이러한 경우, 상기 인터랙티브 컨텐츠란 관람자 ID 및 관람자 정보 등록, 시나리오 선택, 동영상 또는 사진촬영, 전시관 내에 비치된 컴퓨터로 생산한 CG, 자신의 멘트, 폴리녹음 및 선택한 BGM 등의 사운드 등을 의미한다.

다음, 상기 선택된 결과를 조합하여 영화로서 시스템적으로 연결시킨다.

그리고 나서, 상기 연출된 가상현실 영상 정보(관람객 얼굴과 가상현실 영상 포함)를 해당하는 터닝 포인트 부분에 채우거나 미리 설정된 음향을 녹음하여 영화를 제작한다.

그래서, 실시예는 예를 들어, 전시관의 관람에 있어서 관람자가 수동적으로 전시되어 있는 전시물을 단순 관람토록 하는 것에 나아가, 관람자가 실제로 전시 주제와 관련된 영상 창작물을 직접생산하고 이를 주제별로 저장된 영상물과 상호교환하여 발전된 형태의 UCC를 만들어가도록 한다.

예를 들어, 상기 영화 제작은 아래와 같이 이루어진다.

먼저 관람객이 자신의 스마트폰에 해당 모바일 앱을 다운받아 설치한다.

이러한 경우, 상기 모바일 앱은 전시관에 방문하기 전에 다운받는 것으로, 광고, 기사 등을 통해 정보를 입수한다. 그리고, 이러한 모바일 앱을 실행하여 전시관의 구성, 전시정보, 프로그램 등을 안내받는다.

다음, 현장에서 전술한 모바일 앱을 실행한다.

그리고 나서, 전시관을 관람한다. 미술관에서 해당 관리 정보처리장치를 통해 특정 미술작품의 이해와, 미술작품의 역사, 미술작품의 원리 등의 코너를 관람하면서, 각각의 코너에 대한 정보를 얻기도 한다.

그래서, 단순한 정보 획득의 방법으로 관람하는 경우이지만, 또 다른 방법으로는 필요시 적극적으로 관람자가 참여하고 스스로 컨텐츠를 생산하면서 관한하는 방법이 가능하다. 즉 직접체험형의 관람 형태가 된다. 구체적으로는, 영상 시나리오를 만들고 컨텐츠를 만들어 가는 것이다.

다음으로, 영상 시나리오를 만든다. 이를 위해, 관람자는 예를 들어 시나리오 존(zone)에 설치된 안내 그래픽, 안내 영상 및 스마트폰에 설치된 모바일 앱 안내 팝업창 등을 통해 자신이 제작할 영상에 대한 시나리오를 구성한다.

이러한 경우, 상기 시나리오는 스토리의 발단, 진행(터닝 포인트 1부터 n까지), 결론으로 구성한다. 예를 들어 미술작품의 역사 탐방 주제의 영상을 제작 체험할 예정이라면 1) 스토리의 발단은 역사탐방 동행자 선택, 역사탐험지 선택에 따라 스토리의 진행은 다르게 전개되는 형식이다. 그리고 2) 스토리의 진행은 역사탐험지를 특정 지역으로 선택했다면 진행과정의 터닝포인트는 미술작품이 만들어진 시기와 장소, 상황 등의 선택 여하에 따라 스토리의 전개가 다르게 나타나다. 즉, 이와 같은 n의 경우의 수를 조합하여 스토리를 관람객이 자유롭게 선택하여 구성하도록 한다. 그리고 3) 스토리의 결론은 자신이 만든 영화에 대한 자신의 견해, 소감 등 삽입하는 것이다.

이렇게 구성된 시나리오는 영화로서 시스템적으로 연결된다. 이때 설치된 영상은 각각의 터닝포인트 별로 빈공간(Blank)이 있고, 관람자는 이 부분의 영상, 음향, 음성 등을 스스로 만들어 채워 영화를 완성하게 된다.

이때 음향 및 음악을 삽입할 수 있다. 자신이 선택한 시나리오상의 빈공간에 음악 또는 음향이 없는 부분이 있을 경우 이를 만들어 넣을 수 있다. 그리고 크로마키 촬영을 할 수 있다. 자신의 영화에 자신이 등장한다는 컨셉으로 자신이 선택한 시나리오상의 빈공간에 등장하는 특정장면에 자신이 주인공이 되어 등장하게 할 수 있다. 크로마키 촬영실은 블루스크린의 배경에 몇 가지의 소품이 설치되어 있으며 전문적인 촬영기사가 관람객들을 촬영하도록 구성된다.

다음, 영화가 제작된 후에는 관람자의 스마트폰에 전송한다. 그리고, UCC 등에 올려 회원들과 작품을 공유한다.

다른 한편, 실시예에 따른 시스템은 상기한 얼굴 요소를 추출하는 경우를 아래와 같이 수행함으로써, 보다 효과적으로 얼굴 요소의 추출이 이루어질 수 있도록 한다.

구체적으로는, 실시예에 따른 시스템은 먼저 각 얼굴 요소의 영역과, 시간 데이터를 포함한 각 얼굴 요소의 메타데이터에 의해 데이터 분포를 작성하고 영상 내에서 각 얼굴 요소의 활동영역을 특정화하여 감시 여부를 설정해서 빅데이터 패턴을 분석한다.

그리고 나서, 상기 빅데이터 패턴의 분석 결과로부터 미리 설정된 각 얼굴 요소의 형상특징을 적용하여 각 얼굴 요소를 분류한다.

따라서, 이를 통해 전술한 실시예보다 효과적으로 얼굴 요소의 추출이 이루어진다.

또 다른 한편으로, 실시예에 따른 시스템은 얼굴 정보를 인식함에 있어서 아래의 구성을 통해 보다 효과적으로 인식이 될 수 있도록 한다.

이를 위해, 실시예에 따른 시스템은 아래의 구성을 가진다.

먼저, 상기 시스템은 상기 얼굴의 영역을 분할하기 전에 미리 다수의 상이한 RGB영상만으로부터의 2D얼굴 영역분할을 위한 딥러닝 학습을 통해 얼굴 영역에 관한 딥러닝 파라미터를 산출하여 얼굴2D영역분할 딥러닝 모델을 구축한다.

이러한 경우, 상기 얼굴2D영역분할 딥러닝 모델은 미리 다수의 상이한 RGB영상으로부터의 2D얼굴 영역분할을 위한 마스크 R-CNN형 딥러닝 학습을 통해 2D얼굴 영역별로 대표 임계값을 추출하여 이진 마스크를 생성함으로써, 마스크 R-CNN 기반의 얼굴2D영역분할 딥러닝 모델로 된다.

그리고, RGB-D카메라로부터의 RGB영상으로부터 얼굴2D영역분할을 상기 얼굴2D영역분할 딥러닝 모델에 의해 수행한다.

다음, 상기 얼굴2D영역분할 결과와, 상기 RGB-D카메라로부터의 깊이(Depth)데이터 간에 논리적 AND를 수행함으로써, 얼굴의 깊이 정보를 획득한다.

그리고 나서, 상기 얼굴의 깊이 정보에 원근변환을 적용하여 얼굴의 3D객체영역분할을 수행함으로써, 얼굴의 xyz와 RGB 정보를 획득할 수 있도록 한다.

그래서, 상기 획득된 얼굴의 xyz와 RGB 정보를 적용하여 각 얼굴 요소의 메타데이터를 얼굴 요소별로 추출한다.

한편, 실시예에 따른 전시 방법은 전술한 딥러닝 모델 구축을 아래와 같은 방법으로 구체화된다.

즉, 상기 전시 방법은 먼저 관람객에 대해 RGB-D 카메라를 통해 RGB 영상만을 수집한다.

다음, 상기 RGB 영상 내의 얼굴 영역을 미리 정의하여 표시하고 그 얼굴의 종류를 지정함으로써, 학습용 데이터를 만든다.

그리고, 상기 학습용 데이터에 미리 설정된 얼굴분할 딥러닝 모델을 적용해서 얼굴의 영역만을 분할한다.

그리고 나서, 이러한 분할 결과를 통해 나온 데이터셋을 미리 설정된 2D얼굴 영역분할을 위한 딥러닝 모델에 적용해서 학습한다.

다음, 상기 학습 결과로부터 얼굴 영역에 관한 딥러닝 파라미터를 산출한다.

그래서, 이러한 얼굴 영역에 관한 딥러닝 파라미터로부터 얼굴2D영역분할 딥러닝 모델을 구축하는 것이다.

따라서, 이를 통해 전술한 실시예보다 효과적으로 얼굴 인식이 이루어진다.

한편, 부연하여 이러한 시스템에 적용된 컨텐츠 제공 이용비용 처리 시스템을 예를 들어 설명한다.

상기 시스템은 먼저 고객 카드가 VR컨텐츠 등을 이용하는 금액 등을 정산하기 위한 고객이 자신이 가입한 이동통신사 또는 기업체에서 제공되는 Point 적립 카드와 문화 공간 또는 관련된 사업 모델 내에서 사용 가능한 카드 및 RF 칩, IC 칩을 이용하여 정산 및 운영 시스템을 구축한다.

이러한 상태에서, 고객카드 등으로 사용금액 처리 요구를 운영 정보처리장치에 요구하면 사용금액을 처리하여 사용금액의 누적처리와 저장처리를 하여 고객카드에 사용금액을 저장하게 된다.

또한, VR컨텐츠 운영자는 사업 모델 또는 문화 공간 내 편의시설 단말기 등을 이용하여 매출액 조회를 요구하면 매출액 검색 후 제공한다.

그리고, 매출액 조회기능을 제공하여 매출액 및 정산 처리 후 사업 모델 등의 관련된 단말기에 매출액 및 정산 처리 통보하여 매출액 확인 및 정산 승인을 할 수 있도록 한다.

그래서, 정산 처리된 자료를 가지고 문화공간 내 편의시설 운영자는 문화 공간 운영자에게 정산된 금액을 현금으로 받아 정산 처리를 완료한다.

부가적으로, 이러한 시스템에 적용된 개인 투자 및 홍보를 위한 운영 시스템을 예를 들어 설명한다.

상기 운영 시스템은 먼저 고객 단말기로 운영 정보처리장치로 문화컨텐츠 홍보 정보 및 투자 정보를 제공하고, 투자, 홍보 정보를 저장한다. 그러면, 고객은 고객 단말기를 통하여 미술인들이 직접 제작한 VR컨텐츠 등의 문화 컨텐츠 정보를 확인하여 개인의 의사에 따라 투자금을 입금한다. 그래서, 운영 정보처리장치는 투자금 입금 확인 후 투자 확인 처리를 하고, 문화컨텐츠 DB에 투자자 정보 저장과 투자자에게 제공되는 입장권이나 쿠폰의 인증 번호 생성을 수행하도록 한다.

그래서, 쿠폰 인증 번호 생성이 되면 쿠폰 인증 번호를 인증번호 DB에 저장하고, 입장권이나 쿠폰을 어플리케이션에 의해 고객 단말기를 통하여 제공 받고자 할때 제공하게 되고, 고객은 고객 단말기를 통하여 입장권이나 쿠폰을 확인하여 사용하게 된다.

다음, 고객이 사용하게 되는 입장권이나 쿠폰은 편의시설 단말기 등을 이용하여 편의시설 운영자가 쿠폰 인증 번호 확인 요청을 하면, 운영 정보처리장치는 쿠폰 인증 번호 확인 요청 처리를 하고 인증번호를 확인 처리한다.

그래서, 인증 번호가 확인 되면 확인 통보하여 편의시설 단말기에서 쿠폰 승인하고 입장권 또는 쿠폰은 사용처리하게 된다.

도 4는 다른 실시예에 따른 서비스업체에서의 가상작품영상을 이용한 갤러리 구현 시스템이 적용된 개념도이다.

도 4에 도시된 바와 같이, 이러한 서비스업체에서의 가상작품영상을 이용한 갤러리 구현 시스템은 다수의 상이한 작가(예: 미술작가)(400-1, 400-2, ... )와, 관리 정보처리장치(410) 및 커피숍 등의 업체(420-1, 420-2, ... )를 포함한다.

여기에서, 상기 작가(400-1, 400-2, ... )는 가상작품유형 또는, 업체유형별로 상이하게 가상작품영상을 입력받거나 저작도구를 이용해 직접 제작하여 관리 정보처리장치에 공급한다.

그리고, 상기 관리 정보처리장치(410)는 각 작가별 가상작품영상을 통합적으로 제공받아 작가와 업체별로 중개해서 분류관리하고, 여러 위치에 분산된 각 업체별로 상이하게 분배한다. 그리고, 이러한 경우, 상기 관리 정보처리장치(410)는 업체에 분배하는 가상작품영상을 주기적으로 또는 업체의 요청 등에 따라 업데이트한다.

또한, 상기 업체 단말기(420-1, 420-2, ... )는 커피숍 또는 레스토랑 등의 업체에 설치된 것으로, 상기 관리 정보처리장치(410)에 의해 분배된 가상작품영상을 개별적으로 수급받아 각 업체 내의 미리 등록된 디지털 액자에 가상현실화하여 전시한다.

이러한 경우, 상기 관리 정보처리장치(410)는 아래의 동작을 더 수행한다.

즉, 상기 관리 정보처리장치(410)는,

a) 다수의 상이한 작가(400-1, 400-2, ... )의 가상작품영상이 적어도 하나씩 포함되도록 가상작품영상을 그룹화한다.

b) 그리고, 각 가상작품영상이 업체에 판매되어 수익을 얻는다.

c) 또한, 이때 상기 수익은 해당 가상작품영상의 작가(400-1, 400-2, ... )에게 지급되는 제 1 수익, 상기 중개에 의해 지급되는 제 2 수익, 및 상기 제 1 수익과 제 2 수익을 제외한 제 3 수익으로 구분되고, 상기 제 3 수익에 대해서는 해당 작품그룹의 소속작가에게 배분하도록 정산한다.

도 5는 도 4에서 설명한 시스템을 전체적으로 도시한 도면이다.

도 5에 도시된 바와 같이, 상기 시스템은 자가망을 통해 상호 간에 연결되는 다수의 상이한 작가 단말기(500-1, 500-2, ... )와, 관리 정보처리장치(510) 및 업체 단말기(520-1, 520-2, ... )를 포함한다.

이러한 경우, 상기 작가 단말기(500-1, 500-2, ... )는 다수의 상이한 작가별로 가상작품영상을 입력받거나 직접 제작하여 공급하는 적어도 하나 이상의 모바일단말기 또는 컴퓨터 등의 단말기이다.

그리고, 상기 관리 정보처리장치(510)는 상기 작가 단말기(500-1, 500-2, ... )에 의해 공급된 각 가상작품영상을 통합적으로 제공받아 작가와 업체별로 중개해서 분류관리하고, 여러 위치에 분산된 각 업체별로 상이하게 분배하는 것이다. 부가적으로, 상기 관리 정보처리장치(510)는 포털 사이트 등에 연결되어 각 가상작품영상을 게시하거나 블로그 등을 통해 서비스한다.

또한, 상기 업체 단말기(520-1, 520-2, ... )는 상기 관리 정보처리장치(510)에 의해 분배된 가상작품영상을 개별적으로 수급받아 각 업체 내의 미리 등록된 디지털 액자에 가상현실화하여 전시하는 적어도 하나 이상의 컴퓨터 등의 단말기이다.

한편, 추가적으로 상기 시스템은 이러한 미술작가 등의 가상작품영상을 커피숍 등에서 전시할 경우, 디지털 액자에서의 가상작품영상을 관람한 고객의 감정 상태에 따라 다른 가상작품영상을 주변에 연출함으로써, 흥미롭고 심취한 분위기를 느끼도록 한다.

이를 위해 상기 시스템은 아래의 구성을 구비한다.

즉, 상기 관리 정보처리장치(510)는 먼저 상기 작가 단말기(500-1, 500-2, ... )에 의해 공급된 가상작품영상을 다수의 상이한 감정 상태와 아트별로 매칭한다.

그리고, 이러한 상태에서 상기 업체 단말기(520-1, 520-2, ... )는 아래의 동작을 수행한다.

a) 우선적으로 상기 디지털 액자에 의해 전시된 가상작품영상을 관람하는 고객의 얼굴을 연속적으로 인식한다.

b) 그리고, 상기 인식된 고객얼굴에서의 얼굴 요소 변화 상태에 매칭된 고객 감정 상태를 검출한다.

c) 다음, 상기 검출된 고객 감정 상태별로 상이한 매칭된 가상작품영상을 각각의 아트마다 상이하게 해당하는 작품 주변에 연출한다.

이러한 경우, 상기 고객 감정 상태를 검출하는 것(b))은 아래와 같이 이루어진다.

b-1) 먼저 상기 인식된 고객 얼굴에서 각 얼굴 요소의 메타데이터를 얼굴 요소별로 추출한다.

b-2) 그리고, 상기 추출된 각 얼굴 요소의 메타데이터로부터 얼굴 요소의 크기와 위치를 추정한다.

b-3) 다음, 상기 추정된 각 얼굴 요소의 크기와 위치를 적용하여 얼굴 요소 변화 상태를 검출한다.

b-4) 그리고 나서, 상기 검출된 얼굴 요소 변화 상태에 매칭된 고객 감정 상태를 검출한다.

상기 얼굴 추출(b-1))은 예를 들어 아래와 같이 이루어진다.

b-1-1) 즉, 상기 얼굴 추출(b-1))은 먼저 각 얼굴 요소의 영역과, 시간 데이터를 포함한 각 얼굴 요소의 메타데이터에 의해 데이터 분포를 작성하고 영상 내에서 각 얼굴 요소의 활동영역을 특정화하여 감시 여부를 설정해서 빅데이터 패턴을 분석한다.

b-1-2) 그리고, 상기 빅데이터 패턴의 분석 결과로부터 미리 설정된 각 얼굴 요소의 형상특징을 적용하여 각 얼굴 요소를 분류한다.

또는, 상기 얼굴 추출(b-1))은 다른 예로서 아래의 동작을 수행한다.

b-1-1') 먼저 상기 얼굴 추출(b-1))은 상기 얼굴의 영역을 분할하기 전에 미리 다수의 상이한 RGB영상만으로부터의 2D얼굴 영역분할을 위한 딥러닝 학습을 통해 얼굴 영역에 관한 딥러닝 파라미터를 산출하여 얼굴2D영역분할 딥러닝 모델을 구축한다.

b-1-2') 그리고, RGB-D카메라로부터의 RGB영상으로부터 얼굴2D영역분할을 상기 얼굴2D영역분할 딥러닝 모델에 의해 수행한다.

b-1-3') 다음, 상기 얼굴2D영역분할 결과와, 상기 RGB-D카메라로부터의 깊이데이터 간에 논리적 AND를 수행함으로써, 얼굴의 깊이 정보를 획득한다.

b-1-4') 그리고 나서, 상기 얼굴의 깊이 정보에 원근변환을 적용하여 얼굴의 3D객체영역분할을 수행함으로써, 얼굴의 xyz와 RGB 정보를 획득할 수 있도록 한다.

b-1-5') 그래서, 상기 획득된 얼굴의 xyz와 RGB 정보를 적용하여 각 얼굴 요소의 메타데이터를 얼굴 요소별로 추출한다.

부가적으로, 상기 얼굴2D영역분할 딥러닝 모델 구축(b-1-1')은 아래와 같이 이루어진다.

b-1-1'-1) 먼저, 상기 얼굴2D영역분할 딥러닝 모델 구축(b-1-1')은 관람객에 대해 RGB-D 카메라를 통해 RGB 영상만을 수집한다.

b-1-1'-2) 그리고, 상기 RGB 영상 내의 얼굴 영역을 미리 정의하여 표시하고 그 얼굴의 종류를 지정함으로써, 학습용 데이터를 만든다.

b-1-1'-3) 다음, 상기 학습용 데이터에 미리 설정된 얼굴분할 딥러닝 모델을 적용해서 얼굴의 영역만을 분할한다.

b-1-1'-4) 그리고 나서, 상기 분할 결과를 통해 나온 데이터셋을 미리 설정된 2D얼굴 영역분할을 위한 딥러닝 모델에 적용해서 학습한다.

b-1-1'-5) 그리고, 상기 학습 결과로부터 얼굴 영역에 관한 딥러닝 파라미터를 산출한다.

b-1-1'-6) 그래서, 상기 얼굴 영역에 관한 딥러닝 파라미터로부터 얼굴2D영역분할 딥러닝 모델을 구축한다.

300 : 전시회 서비스 제공 정보처리장치
301 : 모션센서 302 : 촬영 수단
303 : 프로파일 데이터베이스부 304 : 컨텐츠 데이터베이스부
305 : 제어부 306: 디스플레이부
307 : 출력 수단
400 : 작가 단말기
410, 510 : 관리 정보처리장치
420 : 업체
520 : 업체 단말기

Claims

다수의 상이한 작가별로 가상작품영상 입력받거나 직접 제작하여 공급하는 작가 단말기;
상기 작가 단말기에 의해 공급된 가상작품영상을 작가와 갤러리별로 중개하고, 상기 가상작품영상에 대해서는 다수의 상이한 감정 상태와 아트별로 매칭해서 상이한 갤러리별로 분배하는 관리 정보처리장치; 및
상기 관리 정보처리장치에 의해 분배된 가상작품영상을 각 갤러리에서 가상현실화하여 전시하는 갤러리 단말기; 를 포함하고 있으며,
상기 갤러리 단말기는,
a) 상기 다수의 상이한 아트마다 해당하는 작품의 관람시에, 관람객 얼굴을 연속적으로 인식하고,
b) 상기 인식된 관람객 얼굴에서의 얼굴 요소 변화 상태에 매칭된 관람객 감정 상태를 검출하고,
c) 상기 검출된 관람객 감정 상태별로 상이한 매칭된 가상작품영상을 각각의 아트마다 상이하게 해당하는 작품 주변에 연출하며,
상기 관람객 감정 상태를 검출하는 것(b))은,
b-1) 상기 인식된 관람객 얼굴에서 각 얼굴 요소의 메타데이터를 얼굴 요소별로 추출하고,
b-2) 상기 추출된 각 얼굴 요소의 메타데이터로부터 얼굴 요소의 크기와 위치를 추정하고,
b-3) 상기 추정된 각 얼굴 요소의 크기와 위치를 적용하여 얼굴 요소 변화 상태를 검출하며,
b-4) 상기 검출된 얼굴 요소 변화 상태에 매칭된 관람객 감정 상태를 검출하는 것; 을 포함하고,

그리고 또한, 상기 갤러리 단말기는,
d) 고객 단말기로부터 해당 모바일 앱을 통해 각 아트마다의 전시 주제별로 전시관 내에 각 인터랙티브 컨텐츠별 선택사양으로서 스토리의 발단과, 진행, 결론 상의 터닝 포인트 부분을 선택받고,
e) 상기 선택된 결과를 조합하여 영화로서 시스템적으로 연결시키고, 및
f) 상기 연출된 가상컨텐츠(관람객 얼굴과 가상컨텐츠 포함)를 해당하는 터닝 포인트 부분에 채우거나 미리 설정된 음향을 녹음하여 영화를 제작하며,

또한, 상기 b-1)은,
b-1-1) 각 얼굴 요소의 영역과, 시간 데이터를 포함한 각 얼굴 요소의 메타데이터에 의해 데이터 분포를 작성하고 영상 내에서 각 얼굴 요소의 활동영역을 특정화하여 감시 여부를 설정해서 빅데이터 패턴을 분석하고, 및
b-1-2) 상기 빅데이터 패턴의 분석 결과로부터 미리 설정된 각 얼굴 요소의 형상특징을 적용하여 각 얼굴 요소를 분류하고,

추가적으로, 상기 b-1)은,
b-1-1') 상기 얼굴의 영역을 분할하기 전에 미리 다수의 상이한 RGB영상만으로부터의 2D얼굴 영역분할을 위한 딥러닝 학습을 통해 얼굴 영역에 관한 딥러닝 파라미터를 산출하여 얼굴2D영역분할 딥러닝 모델을 구축하고,
b-1-2') RGB-D카메라로부터의 RGB영상으로부터 얼굴2D영역분할을 상기 얼굴2D영역분할 딥러닝 모델에 의해 수행하고,
b-1-3') 상기 얼굴2D영역분할 결과와, 상기 RGB-D카메라로부터의 깊이(Depth)데이터 간에 논리적 AND를 수행함으로써, 얼굴의 깊이 정보를 획득하며,
b-1-4') 상기 얼굴의 깊이 정보에 원근변환을 적용하여 얼굴의 3D객체영역분할을 수행함으로써, 얼굴의 xyz와 RGB 정보를 획득할 수 있도록 하고, 및
b-1-5') 상기 획득된 얼굴의 xyz와 RGB 정보를 적용하여 각 얼굴 요소의 메타데이터를 얼굴 요소별로 추출하며,

그리고 또한, 상기 관리 정보처리장치는
다수의 상이한 작가의 가상작품영상이 적어도 하나씩 포함되도록 가상작품영상을 그룹화함으로써, 각 가상작품영상이 업체에 판매되어 수익을 얻도록 하고, 또한, 이러한 경우 상기 수익은 해당 가상작품영상의 작가에게 지급되는 제 1 수익, 상기 중개에 의해 지급되는 제 2 수익, 및 상기 제 1 수익과 제 2 수익을 제외한 제 3 수익으로 구분되고, 상기 제 3 수익에 대해서는 해당 작품그룹의 소속작가에게 배분하도록 정산하는 것; 을 특징으로 하는 가상현실을 사용한 아트 갤러리 구현 시스템.
삭제
삭제
삭제
청구항 1에 있어서,
상기 얼굴2D영역분할 딥러닝 모델은,
미리 다수의 상이한 RGB영상으로부터의 2D얼굴 영역분할을 위한 마스크 R-CNN형 딥러닝 학습을 통해 2D얼굴 영역별로 대표 임계값을 추출하여 이진 마스크를 생성함으로써, 마스크 R-CNN 기반의 얼굴2D영역분할 딥러닝 모델로 된 것; 을 특징으로 하는 가상현실을 사용한 아트 갤러리 구현 시스템.
청구항 5에 있어서,
상기 b-1-1')은
b-1-1'-1) 관람객에 대해 RGB-D 카메라를 통해 RGB 영상만을 수집하고,
b-1-1'-2) 상기 RGB 영상 내의 얼굴 영역을 미리 정의하여 표시하고 그 얼굴의 종류를 지정함으로써, 학습용 데이터를 만들고,
b-1-1'-3) 상기 학습용 데이터에 미리 설정된 얼굴분할 딥러닝 모델을 적용해서 얼굴의 영역만을 분할하며,
b-1-1'-4) 상기 분할 결과를 통해 나온 데이터셋을 미리 설정된 2D얼굴 영역분할을 위한 딥러닝 모델에 적용해서 학습하고,
b-1-1'-5) 상기 학습 결과로부터 얼굴 영역에 관한 딥러닝 파라미터를 산출하고, 및
b-1-1'-6) 상기 얼굴 영역에 관한 딥러닝 파라미터로부터 얼굴2D영역분할 딥러닝 모델을 구축하는 것; 을 포함하는 것을 특징으로 하는 가상현실을 사용한 아트 갤러리 구현 시스템.
다수의 상이한 작가별로 가상작품영상을 입력받거나 직접 제작하여 공급하는 적어도 하나 이상의 작가 단말기;
상기 작가 단말기에 의해 공급된 각 가상작품영상을 통합적으로 제공받아 작가와 업체별로 중개해서 분류관리하고, 여러 위치에 분산된 각 업체별로 상이하게 분배하는 관리 정보처리장치; 및
상기 관리 정보처리장치에 의해 분배된 가상작품영상을 개별적으로 수급받아 각 업체 내의 미리 등록된 디지털 액자에 가상현실화하여 전시하는 적어도 하나 이상의 업체 단말기; 를 포함하고 있으며,
상기 관리 정보처리장치는,
a) 다수의 상이한 작가의 가상작품영상이 적어도 하나씩 포함되도록 가상작품영상을 그룹화하고,
b) 각 가상작품영상이 업체에 판매되어 수익을 얻고, 및
c) 상기 수익은 해당 가상작품영상의 작가에게 지급되는 제 1 수익, 상기 중개에 의해 지급되는 제 2 수익, 및 상기 제 1 수익과 제 2 수익을 제외한 제 3 수익으로 구분되고, 상기 제 3 수익에 대해서는 해당 작품그룹의 소속작가에게 배분하도록 정산하고,

상기 관리 정보처리장치는,
상기 작가 단말기에 의해 공급된 가상작품영상을 다수의 상이한 감정 상태와 아트별로 매칭하고,
상기 업체 단말기는,
a) 상기 디지털 액자에 의해 전시된 가상작품영상을 관람하는 고객의 얼굴을 연속적으로 인식하고,
b) 상기 인식된 고객얼굴에서의 얼굴 요소 변화 상태에 매칭된 고객 감정 상태를 검출하고,
c) 상기 검출된 고객 감정 상태별로 상이한 매칭된 가상작품영상을 각각의 아트마다 상이하게 해당하는 작품 주변에 연출하며,
상기 고객 감정 상태를 검출하는 것(b))은,
b-1) 상기 인식된 고객 얼굴에서 각 얼굴 요소의 메타데이터를 얼굴 요소별로 추출하고,
b-2) 상기 추출된 각 얼굴 요소의 메타데이터로부터 얼굴 요소의 크기와 위치를 추정하고,
b-3) 상기 추정된 각 얼굴 요소의 크기와 위치를 적용하여 얼굴 요소 변화 상태를 검출하며,
b-4) 상기 검출된 얼굴 요소 변화 상태에 매칭된 고객 감정 상태를 검출하고,

그리고 또한, 상기 b-1)은,
b-1-1) 각 얼굴 요소의 영역과, 시간 데이터를 포함한 각 얼굴 요소의 메타데이터에 의해 데이터 분포를 작성하고 영상 내에서 각 얼굴 요소의 활동영역을 특정화하여 감시 여부를 설정해서 빅데이터 패턴을 분석하고, 및
b-1-2) 상기 빅데이터 패턴의 분석 결과로부터 미리 설정된 각 얼굴 요소의 형상특징을 적용하여 각 얼굴 요소를 분류하며,

또한, 상기 b-1)은,
b-1-1') 상기 얼굴의 영역을 분할하기 전에 미리 다수의 상이한 RGB영상만으로부터의 2D얼굴 영역분할을 위한 딥러닝 학습을 통해 얼굴 영역에 관한 딥러닝 파라미터를 산출하여 얼굴2D영역분할 딥러닝 모델을 구축하고,
b-1-2') RGB-D카메라로부터의 RGB영상으로부터 얼굴2D영역분할을 상기 얼굴2D영역분할 딥러닝 모델에 의해 수행하고,
b-1-3') 상기 얼굴2D영역분할 결과와, 상기 RGB-D카메라로부터의 깊이(Depth)데이터 간에 논리적 AND를 수행함으로써, 얼굴의 깊이 정보를 획득하며,
b-1-4') 상기 얼굴의 깊이 정보에 원근변환을 적용하여 얼굴의 3D객체영역분할을 수행함으로써, 얼굴의 xyz와 RGB 정보를 획득할 수 있도록 하고, 및
b-1-5') 상기 획득된 얼굴의 xyz와 RGB 정보를 적용하여 각 얼굴 요소의 메타데이터를 얼굴 요소별로 추출하는 것; 을 포함하는 것을 특징으로 하는 서비스업체에서의 가상작품영상을 이용한 갤러리 구현 시스템.
삭제
삭제
삭제
청구항 7에 있어서,
상기 얼굴2D영역분할 딥러닝 모델은,
미리 다수의 상이한 RGB영상으로부터의 2D얼굴 영역분할을 위한 마스크 R-CNN형 딥러닝 학습을 통해 2D얼굴 영역별로 대표 임계값을 추출하여 이진 마스크를 생성함으로써, 마스크 R-CNN 기반의 얼굴2D영역분할 딥러닝 모델로 된 것; 을 특징으로 하는 서비스업체에서의 가상작품영상을 이용한 갤러리 구현 시스템.
청구항 11에 있어서,
상기 b-1-1')은
b-1-1'-1) 관람객에 대해 RGB-D 카메라를 통해 RGB 영상만을 수집하고,
b-1-1'-2) 상기 RGB 영상 내의 얼굴 영역을 미리 정의하여 표시하고 그 얼굴의 종류를 지정함으로써, 학습용 데이터를 만들고,
b-1-1'-3) 상기 학습용 데이터에 미리 설정된 얼굴분할 딥러닝 모델을 적용해서 얼굴의 영역만을 분할하며,
b-1-1'-4) 상기 분할 결과를 통해 나온 데이터셋을 미리 설정된 2D얼굴 영역분할을 위한 딥러닝 모델에 적용해서 학습하고,
b-1-1'-5) 상기 학습 결과로부터 얼굴 영역에 관한 딥러닝 파라미터를 산출하고, 및
b-1-1'-6) 상기 얼굴 영역에 관한 딥러닝 파라미터로부터 얼굴2D영역분할 딥러닝 모델을 구축하는 것; 을 특징으로 하는 서비스업체에서의 가상작품영상을 이용한 갤러리 구현 시스템.