KR20240044931A - 가상현실을 사용한 아트 갤러리 종합 구현 솔루션 - Google Patents

가상현실을 사용한 아트 갤러리 종합 구현 솔루션 Download PDF

Info

Publication number
KR20240044931A
KR20240044931A KR1020220124547A KR20220124547A KR20240044931A KR 20240044931 A KR20240044931 A KR 20240044931A KR 1020220124547 A KR1020220124547 A KR 1020220124547A KR 20220124547 A KR20220124547 A KR 20220124547A KR 20240044931 A KR20240044931 A KR 20240044931A
Authority
KR
South Korea
Prior art keywords
information
visitor
gallery
video
emotional state
Prior art date
Application number
KR1020220124547A
Other languages
English (en)
Inventor
박경민
Original Assignee
박경민
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 박경민 filed Critical 박경민
Priority to KR1020220124547A priority Critical patent/KR20240044931A/ko
Publication of KR20240044931A publication Critical patent/KR20240044931A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)

Abstract

실시예는 가상현실을 사용한 아트 갤러리 종합 구현 솔루션에 관한 것이다.
구체적으로, 이러한 솔루션은 미술관이나 음식점 등을 통해 아트 갤러리를 제공할 경우, 다양한 상황별로 즉, 다수의 상이한 관람객 유형별로 각기 관람객의 감정상태와 몸짓동작별로 맞는 영상을 전시 작품과 같이 부가적으로 제공함으로써, 이러한 전시 상황을 더욱 더 나은 것으로 만든다.
그리고 또한, 이러한 경우, 각각의 관람객 유형별로 각기 관람객의 감정상태와 몸짓동작별로 맞추어 주변에 있는 조형물의 움직임을 움직이도록 함으로써, 보다 더 나은 전시 상황을 만들어 준다.
따라서, 이를 통해 더 나아가 VR 산업의 대부분이 게임산업에만 치중되어 있어서 경쟁이 치열한 반면 예술분야에서의 VR 등에 활용은 다소 저조함을 해결한다.
그리고 또한, 이러한 미술 작품 등을 전시하고 관람할 경우, 관람객의 작품에 대한 반응에 따라 그에 맞는 가상현실 영상과 조형물의 움직임을 상이하게 제공함으로써, 기존 등록 내용에 비해 미술 작품 등의 관람과 전시 상황을 더욱 더 나은 것으로 한다.

Description

가상현실을 사용한 아트 갤러리 종합 구현 솔루션{Solution for making of art gallery employing virtual reality}
본 명세서에 개시된 내용은 가상현실을 적용한 기술분야에 관한 것으로, 보다 상세하게는 미술 작가 등이 가상작품 영상을 제작하고, 미술관 또는, 음식점 등에서 이러한 가상작품영상을 전시하는 기술에 관한 것이다.
본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.
최근에, 인터넷 통신망과 컴퓨터의 보급이 급속도로 확산되면서 컴퓨터를 이용한 분야는 그 동안 기업전산화 작업에 머무르지 않고 전 산업 분야로 급속히 확대되어지고 있다. 이러한 정보혁명의 흐름은 문화적 측면에서도 예외일 수 없으며, 급기야는 방안에 앉아 인터넷을 통해서 세계 유수의 미술관을 온라인 방문하며 예술 작품을 감상 할 수 있게 되었다.
한편, 최근 이슈화된 VR 산업은 이러한 예술분야에도 적용을 하기는 하나 대부분이 게임산업에만 치중되어 있어서 경쟁이 치열한 반면 예술분야에서의 VR 등에 활용은 다소 저조한 실정이다.
다른 한편으로, 일반적으로 전시 및 컨벤션 산업이 발전과, 다양한 문화적 욕구에 따라 많은 형태의 관람 전시회가 개최되고 있다. 일반적인 관람의 형태는 주최자의 의지대로 전시물이 단순 전시되고, 관람자는 수동적인 위치에서 관람하는 형식의 참여가 이루어졌다.
그리고 다른 사람이 참관한 여러 형태의 전시 및 관람은 온라인 상에서 영상이나 음성 및 문자화된 정보 형태로 다양하게 공유되고 있고, 이는 일종의 간접 체험의 기능을 제공하고 있다.
전시 컨벤션 산업의 발달과 다양한 문화적 욕구에 의해 다양한 산업 분야에서 다양한 형태의 컨텐츠를 보여주기 위하여 전시 및 박람회 등으로 개최하고 있다. 그리고 이를 이용하는 관람자는 개인적이 욕구의 충족은 물론이고 자녀 및 학생들의 참가 또는 체험형 학습을 목적으로 하여 그 이용이 날로 증가하고 있는 추세이다.
그러나, 지금까지의 다양한 전시 박람회 등의 행사는 관람자가 단순히 피동적인 관람만 하는 방법으로 이루어졌다. 즉, 주최자가 전시 컨텐츠를 마음대로 진열하거나 전시 및 상영을 행하고, 관람자는 이를 일방적으로 수용하는 방법의 관람이었다.
따라서 전시 문화가 급격히 발전하고 있는 상황에서 관람자의 피동적인 관람 방법에서 벗어나, 관람자가 적극적으로 직접 컨텐츠를 생산하는 방식의 관람 방법이 시급히 요구되고 있다. 이는 관람자의 욕구 충족은 물론이고, 이에 의한 결과물인 UCC(User Created Contents)의 재활용에 따른 경제적 파급 효과가 막대하기 때문이다.
이러한 배경의 선행기술은 아래의 문헌 등이다.
(특허문헌 0001) KR101317047 B1
(특허문헌 0002) KR101893431 B1
참고적으로, 위의 문헌 1은 얼굴표정을 이용한 감정인식 기술에 관한 것이고, 문헌 2는 스마트기기를 이용한 체험형 미술관 운영 시스템에 관한 정도이다.
개시된 내용은, VR 산업의 대부분이 게임산업에만 치중되어 있어서 경쟁이 치열한 반면 예술분야에서의 VR 등에 활용은 다소 저조함을 해결하고, 미술 작품 등의 관람을 더욱 효과적으로 하는 가상현실을 사용한 아트 갤러리 종합 구현 솔루션을 제공하고자 한다.
참고로, 상기 솔루션은 전술한 바대로 예술분야에서의 VR 등의 저조한 활용을 해결하여 음식점 등에 VR을 제공하고, 여기에서 이러한 VR을 디지털 액자를 통해 전시할 수 있도록 한다.
부연하면, 본 출원인은 이전의 등록받은 '가상현실을 사용한 아트 갤러리 구현 솔루션'을 통해 이러한 과제를 해결한 바 있으며, 개시된 내용에서는 이러한 경우, 관람객과의 소통을 반영하여 전시하고, 조형물을 통해 더욱 더 나은 전시 상황을 제공하고자 한다.
실시예에 따른 가상현실을 사용한 아트 갤러리 종합 구현 솔루션은,
미술관이나 음식점 등을 통해 아트 갤러리를 제공할 경우, 다양한 상황별로 즉, 다수의 상이한 관람객 유형별로 각기 관람객의 감정상태와 몸짓동작별로 맞는 영상을 전시 작품과 같이 부가적으로 제공함으로써, 이러한 전시 상황을 더욱 더 나은 것으로 만든다.
그리고, 이러한 경우에 각각의 관람객 유형별로 각기 관람객의 감정상태와 몸짓동작별로 맞추어 주변에 있는 조형물의 움직임을 움직이도록 함으로써, 보다 더 나은 전시 상황을 만들어 준다.
구체적으로는, 먼저 1) 갤러리 측에서, 다수의 상이한 관람자 유형별로 각기 감정상태와 몸짓동작마다 대응하여 반응을 나타내는 설정 영상정보를 등록하고, 상기 감정상태와 몸짓동작별로 각기 대응하여 반응을 나타내는 설정 조형물의 움직임정보를 등록한다.
2) 그래서, 상기 가상작품 영상을 관람할 경우에, 관람객의 얼굴과 신체 정보를 연속적으로 인식한다.
3) 다음, 상기 관람객의 얼굴과 신체 정보에서 각기 얼굴 요소 변화 상태에 매칭하는 관람객 감정 상태를 추출하고, 신체 부위 요소의 변화 상태에 매칭하는 관람객 몸짓 동작을 추출한다.
4) 이에 따라 상기 갤러리를 통해 전시하여 관람할 경우, 상기 추출한 관람객 감정 상태와 관람객 몸짓 동작별로 각기 대응하는 영상정보를 표시하고, 주변에 있는 조형물에 대응하는 조형물의 움직임정보로 움직이도록 한다.
5) 추가적으로, 이러한 영상정보를 제공할 경우, 등록 관리 정보처리장치에서 각각의 관람객 유형별로의 관람객 감정상태와 몸짓동작별로 각기 영상 기본 저작도구의 패치(patch)를 일괄적으로 만드는 설정 포맷을 통해 저작용 패치를 제공받는다.
이를 통해, 이러한 패치를 사용하여 관람객 유형별로의 감정상태와 몸짓동작별로 각기 대응하는 영상정보를 맞춤 저작함으로써, 영상정보를 여러 관람객의 감정과 몸짓에 맞게 각기 저작하는 것을 특징으로 한다.
실시예들에 의하면, VR 산업의 대부분이 게임산업에만 치중되어 있어서 경쟁이 치열한 반면 예술분야에서의 VR 등에 활용은 다소 저조함을 해결하고, 미술 작품 등의 관람을 더욱 효과적으로 한다(기존 등록 사항과 동일).
그리고, 이러한 미술 작품 등을 전시하고 관람할 경우, 관람객의 작품에 대한 반응에 따라 그에 맞는 가상현실 영상과 조형물의 움직임을 상이하게 제공함으로써, 기존 등록 내용에 비해 미술 작품 등의 관람과 전시 상황을 더욱 더 나은 것으로 한다.
이에 더하여, 음식점 등에 가상현실 영상을 제공하고, 여기에서 이러한 VR을 디지털 액자를 통해 전시한다.
도 1은 일실시예에 따른 가상현실을 사용한 아트 갤러리 종합 구현 솔루션을 개략적으로 설명하기 위한 도면
도 2는 일실시예에 따른 솔루션을 구성적으로 보여주는 도면
도 3은 일실시예에 따른 솔루션에 적용한 시스템을 전체적으로 도시한 도면
도 4는 일실시예에 따른 솔루션에 적용한 갤러리 단말기의 구성을 도시한 블록도
도 5는 일실시예에 따른 솔루션의 동작을 순서대로 도시한 플로우 차트
도 1은 일실시예에 따른 가상현실을 사용한 아트 갤러리 종합 구현 솔루션을 개략적으로 설명하기 위한 도면이다.
도 1에 도시된 바와 같이, 일실시예에 따른 시스템은 우선적으로 기존의 전술한 등록 사항과 같이, 다양한 미술인들이 VR컨텐츠를 직접 제작하고, 이를 갤러리 등을 통해 여러 형태로 제공하고, 각 VR컨텐츠는 라이센스화하여 수익을 창출한다.
이러한 경우, 상기 VR컨텐츠는 예를 들어 아래와 같이 제작된다.
즉, 상기 VR컨텐츠는 미술인들이 직접 그린 그림에는 의미가 있으나 그 이상의 가치를 부여할 필요성이 있기에 요구된 것이다.
예컨대, VR(가상현실)과, AR(증강현실) 기술을 아트 컨텐츠 일예로서, 트릭아트 컨텐츠에 접목하여, HMD기기 등을 통하여 감상하도록 해서 동적이면서도 다이나믹한 표현이 가능하도록 한다. 또는, 미술인들이 직접 VR컨텐츠 저작도구를 사용하여 VR컨텐츠를 그리기도 한다.
그래서, 일반 사람들은 현재 그림과 계산된 좌표에 3D 영상이 교합되어서 새로운 트릭아트컨텐츠 등을 통해 증강현실을 경험할 수 있도록 한다.
이러한 상태에서, 일실시예에 따라 이러한 VR컨텐츠를 사용하는 모델은 예를 들어, 관람객이 갤러리 내의 미술작품 앞에 서면, 그 관람자의 얼굴과 신체를 인식하고 감정상태와 몸짓동작을 파악하여, 그에 어울리는 가상현실 영상을 연출하는 것이다. 즉, 관람객이 느낀 바를 다시 반응하여 줌으로써, 전시 상황에서 소통을 하여 더 나은 전시 상황을 조성하여 준다. 그리고, 이에 더하여 주변에 있는 조형물의 움직임을 이러한 감정상태와 몸짓동작에 따라 맞추어서 움직이도록 함으로써, 더욱 더 나은 전시 상황을 조정한다.
추가적으로, 이러한 영상정보를 제공할 경우, 등록 관리 정보처리장치에서 각각의 관람객 유형별로의 관람객 감정상태와 몸짓동작별로 각기 영상 기본 저작도구의 패치(patch)를 일괄적으로 만드는 설정 포맷을 통해 저작용 패치를 제공받는다.
이를 통해, 이러한 패치를 사용하여 관람객 유형별로의 감정상태와 몸짓동작별로 각기 대응하는 영상정보를 사용자가 제공하기를 원하는 바에 따라 맞춤 저작함으로써, 영상정보를 여러 관람객의 감정과 몸짓에 맞게 저작한다.
예를 들어, 이러한 저작도구의 패치를 만들 경우, 상이한 관람객 유형별로의 감정상태와 몸짓동작 유형별로 각기 기본 프레임을 만들 패브릭 도구인 도화지 부재와, 서포트 도구인 채색 부재를 포함하여 구성함으로써, 패치를 만든다.
이러한 채색 부재 등은 예를 들어, 팔레트와 브러쉬 부재는 틸트브러쉬 오픈소스를 바탕으로 구성하며, 틸트브러쉬의 기능에 제작한 오브젝트를 웹에 저장 및 공유할 수 있는 기능을 가진다. 그리고 또한, 이러한 콘텐츠를 메타버스 공간 및 증강현실에서 구현하는 기능을 구비하기도 한다. 그리고 사용자간 협업 및 쌍방향 소통을 통한 콘텐츠 제작 및 공유가 가능하도록 한다.
먼저, 이러한 팔레트 부재는 먼저 팔레트 컨트롤러로서 구성하고, 여기에는 세 개의 팔레트 면이 있으며, 엄지손가락을 사용하여 썸패드 또는 썸스틱을 왼쪽이나 오른쪽으로 스와이프하여 회전시킬 수 있다.
그리고, 또한 페인트 컨트롤러를 팔레트쪽으로 기울이고 포인터에 초점을 맞춘 후 방아쇠를 당기면 팔레트 항목을 선택할 수 있다.
또한, 페인팅 컨트롤러의 그립을 사용하여 기존 팔레트의 위치를 변경하거나 월드에 생성된 패널을 잡아 팔레트에 배치할 수 있다.
그리고 실행 취소(썸패드 왼쪽, X 혹은 A 버튼) 또는, 다시 실행(썸패드 오른쪽, Y 또는 B)단축키를 클릭하면 실행취소와 다시실행 단축키로 사용할 수 있습니다. 빠르게 실행취소/다시실행하려면 지정된 컨트롤러 버튼을 누른다.
한편, 이러한 브러쉬 부재는 다양한 브러쉬들을 선택할 수 있는 파레트를 구비하며, 브러쉬 파레트는 각각 특징이 있는 브러쉬들이 모여있고, 한 스트로크는 하나의 개체임으로 상황에 맞게 한번에 그리거나 끊어서 그리기도 한다.
그리고, 또한 이러한 브러쉬 종류로는 유화/페인트 질감 형과 물감질감, 점도있는(또는, 점도적은) 페인트 단색, 일반적인 선, 뾰족한 선 등이 있다.
한편, 상기한 일실시예에 따른 시스템은 예를 들어 작가 단말기와 관리 정보처리장치 및 갤러리 단말기를 포함한다.
이러한 경우, 상기 작가 단말기는 다수의 상이한 작가별로 가상작품 영상을 입력받거나 직접 제작하여 공급하는 것이다.
그리고, 상기 관리 정보처리장치는 상기 작가 단말기에 의해 공급받은 가상작품 영상을 작가와 갤러리별로 중개 분배하는 것이다.
또한, 상기 갤러리 단말기는 상기 관리 정보처리장치에 의해 분배받은 가상작품 영상을 각 갤러리에서 전시한다.
이러한 상태에서, 일실시예에 따라 미술 작품 등을 전시하고 관람할 경우, 관람객의 작품에 대한 반응에 따라 그에 맞는 가상현실 영상과 조형물의 움직임을 상이하게 제공함으로써, 기존에 비해 관람과 전시 상황을 더욱 더 나은 것으로 조성한다.
부가적으로, 상기 갤러리 단말기는 기존과 같이, 전시회 서비스 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 제공하는 협의의 서버이다. 그리고, 갤러리 단말기는 사용자 단말로부터 수집되는 정보를 분석하고, 분석 결과에 대응하는 컨텐츠나 제어 신호를 전송한다. 그리고, 상기 전시회 서비스 제공 정보처리장치(300)는 관람자의 경로 안내를 위한 점등제어, 전시장에 배치된 적어도 하나의 부스 안내, 전시장 관리, 도난 방지 및 전시용 조명 제어 등을 실시하기도 한다.
도 2는 일실시예에 따른 솔루션을 구성적으로 설명하기 위한 도면이다.
도 2에 도시된 바와 같이, 일실시예에 따른 솔루션은 먼저, 다수의 상이한 작가별로 가상작품 영상을 입력받거나 직접 제작하여 공급하는 작가 단말기를 포함한다. 또한, 상기 작가 단말기에 의해 공급받은 가상작품 영상을 작가와 갤러리별로 중개 분배하는 관리 정보처리장치를 포함한다. 아울러, 상기 관리 정보처리장치에 의해 분배받은 가상작품 영상을 각 갤러리에서 전시하는 갤러리 단말기를 포함한다.
이러한 상태에서, 일실시예는 미술 작품 등을 전시하고 관람할 경우, 관람객의 작품에 대한 반응에 따라 그에 맞는 가상현실 영상과 조형물의 움직임을 상이하게 제공함으로써, 기존에 비해 관람과 전시 상황을 더욱 더 나은 것으로 조성한다.
1) 보다 구체적으로, 먼저 갤러리 측에서 다수의 상이한 관람자 유형별로 각기 감정상태와 몸짓동작마다 대응하여 반응을 나타내는 설정 영상정보를 등록하고, 상기 감정상태와 몸짓동작별로 각기 대응하여 반응을 나타내는 설정 조형물의 움직임정보를 등록한다.
예를 들어 상기 감정은 분노, 혐오, 두려움, 행복, 슬픔, 놀람, 무표정 총 7가지의 감정을 판단하며, 각각의 감정에 대한 세분화를 실시하여 하나의 감정에 높음, 보통, 낮음으로 판별함으로써 총 21가지의 감정을 판단한다.
2) 그래서, 상기 가상작품 영상을 관람할 경우에, 관람객의 얼굴과 신체 정보를 연속적으로 인식한다.
3) 다음, 상기 관람객의 얼굴과 신체 정보에서 각기 얼굴 요소 변화 상태에 매칭하는 관람객 감정 상태를 추출하고, 신체 부위 요소의 변화 상태에 매칭하는 관람객 몸짓 동작을 추출한다.
4) 이에 따라 상기 갤러리를 통해 전시하여 관람할 경우, 상기 추출한 관람객 감정 상태와 관람객 몸짓 동작별로 각기 대응하는 영상정보를 표시하고, 주변에 있는 조형물에 대응하는 조형물의 움직임정보로 움직이도록 한다.
5) 추가적으로, 이러한 영상정보를 제공할 경우, 등록 관리 정보처리장치에서 각각의 관람객 유형별로의 관람객 감정상태와 몸짓동작별로 각기 영상 기본 저작도구의 패치(patch)를 일괄적으로 만드는 설정 포맷을 통해 저작용 패치를 제공받는다.
이를 통해, 이러한 패치를 사용하여 관람객 유형별로의 감정상태와 몸짓동작별로 각기 대응하는 영상정보를 맞춤 저작함으로써, 영상정보를 여러 관람객의 감정과 몸짓에 맞게 각기 저작한다.
부가적으로 이러한 감정에 대한 인식을 예컨대, 아래와 같이 제공한다.
구체적으로, 먼저 미술 작품의 관람을 할 경우에, 관람객의 얼굴을 연속적으로 인식한다.
그리고 나서, 상기 인식된 관람객 얼굴에서의 얼굴 요소 변화 상태에 매칭된 관람객 감정 상태를 검출한다.
예를 들어, 1차 안면이미지의 얼굴 표정 및 2차 안면이미지의 얼굴 표정의 변화값 예컨대 각각의 감정에 따라 변화량이 서로 다른 눈꼬리 및 입꼬리의 변화값을 비교 분석하여, 각각의 감정에 대한 높음, 보통, 낮음으로 판단한다.
여기에서, 안면이미지의 표정 변화량은 1차 안면이미지 및 2차 안면이미지의 눈꼬리와 입꼬리를 각각 감지하고, 1차 안면이미지의 눈꼬리와 입꼬리 및 2차 안면이미지의 눈꼬치와 입꼬리를 각각 매칭시켜 변화값을 산출하며, 변화값이 일정이상이면 높음, 일정수준이면 보통, 일정이하면 낮음으로 판단한다.
도 3은 일실시예에 따른 솔루션에 적용한 시스템을 전체적으로 도시한 도면이다.
도 3에 도시된 바와 같이, 일실시예에 따른 시스템은 자가망을 통해 상호 간에 연결되는 다수의 상이한 작가 단말기(500-1, 500-2, ... )와, 관리 정보처리장치(510) 및 업체 단말기(520-1, 520-2, ... )를 포함한다.
상기 작가 단말기(500-1, 500-2, ... )는 다수의 상이한 작가별로 가상작품영상을 입력받거나 직접 제작하여 공급하는 적어도 하나 이상의 모바일단말기 또는 컴퓨터 등의 단말기이다.
상기 관리 정보처리장치(510)는 상기 작가 단말기(500-1, 500-2, ... )에 의해 공급된 각 가상작품영상을 통합적으로 제공받아 작가와 업체별로 중개해서 분류관리하고, 여러 위치에 분산된 각 업체별로 상이하게 분배하는 것이다. 부가적으로, 상기 관리 정보처리장치(510)는 포털 사이트 등에 연결되어 각 가상작품영상을 게시하거나 블로그 등을 통해 서비스한다.
상기 업체 단말기(520-1, 520-2, ... )는 상기 관리 정보처리장치(510)에 의해 분배된 가상작품영상을 개별적으로 수급받아 각 업체 내의 미리 등록된 디지털 액자에 가상현실화하여 전시하는 적어도 하나 이상의 컴퓨터 등의 단말기이다. 그리고, 일실시예에 따라 미술 작품 등을 전시하고 관람할 경우, 관람객의 작품에 대한 반응에 따라 그에 맞는 가상현실 영상과 조형물의 움직임을 상이하게 제공함으로써, 기존에 비해 관람과 전시 상황을 더욱 더 나은 것으로 조성한다.
이러한 경우, 상기 관리 정보처리장치(410)는 아래의 동작을 더 수행한다.
즉, 상기 관리 정보처리장치(410)는,
1) 다수의 상이한 작가 단말기(400-1, 400-2, ... )의 가상작품 영상이 적어도 하나씩 포함되도록 가상작품 영상을 그룹화한다.
2) 그리고, 각 가상작품 영상이 업체에 판매되어 수익을 얻는다.
3) 이때, 상기 수익은 해당 가상작품 영상의 작가 단말기(400-1, 400-2, ... )에게 지급되는 제 1 수익, 상기 중개에 의해 지급되는 제 2 수익, 및 상기 제 1 수익과 제 2 수익을 제외한 제 3 수익으로 구분하도록 한다. 그리고, 상기 제 3 수익에 대해서는 해당 작품그룹의 소속작가에게 배분하도록 정산한다.
도 4는 일실시예에 따른 솔루션에 적용한 갤러리 단말기의 구성을 도시한 블록도이다.
도 4에 도시된 바와 같이, 일실시예에 따른 갤러리 단말기(520)는 모션센서(521)와, 촬영 수단(522), 프로파일 데이터베이스부(523), 컨텐츠 데이터베이스부(525), 제어부(525), 디스플레이부(526) 및 출력 수단(527)을 포함한다.
여기에서, 상기 모션센서(521)는 관람객에 대한 깊이 이미지 정보를 생성하여 관람객을 인식하고 움직임을 측정한다. 구체적으로 모션센서(521)는 적외선 소스 모듈 및 CMOS 적외선 카메라 센서 모듈을 포함한다. 또한, CMOS 적외선 카메라 센서 모듈은 이미지 프로세서를 포함한다. 상기 적외선 소스 모듈은 박물관 관람객을 향해 적외선을 조사하고, CMOS 적외선 카메라 센서 모듈은 이에 반사되는 적외선을 수집하고 관람객과의 거리를 산출하여 관람객을 인식한다. 이 때 CMOS 적외선 카메라 센서 모듈은 관람객과의 거리 산출을 위한 이미지 프로세서를 포함하여 실시될 수 있다.
상기 프로파일 데이터베이스부(523)는 관람객을 인식하기 위한 키 정보로 이루어진 프로파일을 저장한다. 구체적으로 프로파일 데이터베이스부(523)는 복수 개의 키 범위 정보로 이루어진 프로파일을 저장한다. 즉, 상기 모션센서(521)가 관람객을 인식하기 위해서는 관람객의 크기(키 범위)에 따라 소정의 시간이 필요하고 오차 범위도 크기 때문에 적절한 범위의 키 범위가 정해지고 이에 따라 모션센서(521)가 인식 과정을 수행하면 보다 정확하고 빠른 관람객 인식이 가능해진다. 이 때 프로파일 데이터베이스부(523)는 모션센서(521)가 관람객을 인식하기 위해 필요한 키 정보를 저장하고 필요에 따라 관련 정보를 제공할 수 있다. 구체적으로 모션센서(521)는 관람객에 의해 입력되는 키 범위에 대한 선택에 기초하여 관람객을 인식할 수 있고, 관람객에 의해 선택되는 키 범위에 대한 선택 과정은 소정의 입력 장치를 통해 관람객이 키 범위에 대한 선택 입력을 받을 수 있고 이러한 입력 정보(선택된 키 범위)에 기초하여 모션센서(521)가 관람객을 효과적으로 인식할 수 있다.
상기 컨텐츠 데이터베이스부(524)는 유적지 또는 유물 관련 VR 파노라마 컨텐츠 및 VR 오브젝트 컨텐츠를 저장한다. 즉, 상기 컨텐츠 데이터베이스부(524)는 관람객에게 제공할 유적지 또는 유물 등과 관련된 유적지 3차원 배경 컨텐츠, 유적지 파노라마 컨텐츠, 유적지 정보 컨텐츠, 유물 외형인 3차원 입체 형상 컨텐츠, 유물 정보 컨텐츠 등을 저장하고 필요에 따라 관련 정보를 제공할 수 있다.
상기 디스플레이부(526)는 컨텐츠 데이터베이스부(524)의 컨텐츠를 관람객이 볼 수 있도록 디스플레이한다. 구체적으로 디스플레이부(306)는 VR 컨텐츠를 효과적으로 제공할 수 있는 스크린 타입 또는 화상 디스플레이 타입으로 이루어질 수 있다.
상기 제어부(525)는 프로파일 데이터베이스부(523) 저장된 키 정보에 기초하여 모션센서(521)가 관람객을 인식하도록 제어한다. 그리고 제어부(525)는 관람객의 움직임에 따라 디스플레이부(526)가 컨텐츠 데이터베이스부(524)에 저장된 컨텐츠의 위치 및 내용을 변경하여 디스플레이하도록 제어한다. 또한, 상기 제어부(525)는 모션센서(521)를 통해 인식한 관람객의 움직임이 뷰 포인트에 대한 선택 동작인 경우에 뷰 포인트에 해당하는 상세 컨텐츠를 디스플레이부가 디스플레이하도록 제어할 수 있다. 즉, 제어부(525)는 기 제공된 가상 현실(VR) 파노라마 컨텐츠에서 모션센서(521)가 인식한 관람객의 움직임이 VR 컨텐츠 상에 특정된 부분인 뷰 포인트에 대한 선택 동작인 경우에 해당 뷰 포인트에 해당하는 상세 컨텐츠(확대 이미지 또는 설명 내용)를 디스플레이부가 디스플레이하도록 제어할 수 있다.
상기 촬영 수단(522)은 관람객 또는, 관람객의 얼굴을 촬영하여 영상 이미지를 생성하는데, 제어부(525)는 촬영 수단(522)을 통해 촬영한 영상을 디스플레이부(526)가 컨텐츠와 함께 디스플레이하도록 제어하고, 모션센서(521)를 통해 측정되는 관람객의 움직임(제스쳐)에 따라 컨텐츠와 촬영 영상의 위치가 변경되도록 제어할 수 있다. 즉, 제어부(525)는 관람객에게 기본적으로 제공되는 VR 컨텐츠 및 VR 오브젝트 컨텐츠 상에 촬영 수단(522)을 통해 얻어지는 관람객 영상 이미지를 나타내고, 관람객을 움직임을 모션센서(521)가 인식하고, 움직임이 해당 VR 컨텐츠 및 VR 오브젝트 컨텐츠에 대한 이동을 위한 움직임이거나 촬영 영상에 대한 이동인 경우에 각 움직임에 대응하는 디스플레이 상태를 변경시킬 수 있다.
상기 출력 수단(527)은 디스플레이부(526)가 표시하는 관련 컨텐츠 및 영상 이미지를 사진 등으로 출력한다. 즉, 출력 수단(527)은 제어부(525)의 제어 동작에 따라 관련 컨텐츠 및 촬영 영상을 이미지화 한 뒤 관람객의 선택이 있는 경우 해당 이미지를 사진 등으로 출력하여 관람객에게 제공할 수 있다.
부가적으로, 컨텐츠에 대한 설명 음성을 관람객에게 제공하기 위한 스피커와 관람객의 음성 정보를 수집하는 마이크를 더 포함할 수 있고, 제어부(305)는 모션센서(301)를 통해 측정되는 관람객의 움직임 또는 마이크를 통해 수집되는 음성 정보에 포함되는 키워드를 분석하고 이에 기초하여, 스피커를 통해 상세 설명 내용이 관람객에게 제공되도록 제어한다.
도 5는 일실시예에 따른 솔루션의 동작을 순서대로 도시한 플로우 차트이다.
도 5에 도시된 바와 같이, 일실시예에 따른 솔루션은 먼저, 기존대로 작가 단말기에서 다수의 상이한 작가별로 가상작품 영상을 입력받거나 직접 제작하여 공급한다(S501).
그리고, 관리 정보처리장치에서는 상기 작가 단말기에 의해 공급받은 가상작품 영상을 작가와 갤러리별로 각기 중개 분배한다(S502).
이를 통해, 갤러리 단말기에서 상기 관리 정보처리장치에 의해 분배받은 가상작품 영상을 각 갤러리에서 전시한다(S503).
이러한 상태에서, 일실시예에 따라 상기 갤러리 단말기는 아래의 동작을 수행한다.
1) 먼저, 다수의 상이한 관람자 유형별로 각기 감정상태와 몸짓동작마다 대응하여 반응을 나타내는 설정 영상정보를 등록하고, 상기 감정상태와 몸짓동작별로 각기 대응하여 반응을 나타내는 설정 조형물의 움직임정보를 등록한다.
2) 그래서, 상기 가상작품 영상을 관람할 경우에(S503), 관람객의 얼굴과 신체 정보를 연속적으로 인식한다.
3) 다음, 상기 관람객의 얼굴과 신체 정보에서 각기 얼굴 요소 변화 상태에 매칭하는 관람객 감정 상태를 추출하고, 신체 부위 요소의 변화 상태에 매칭하는 관람객 몸짓 동작을 추출한다.
4) 그리고 나서, 상기 갤러리를 통해 전시하여 관람할 경우, 상기 추출한 관람객 감정 상태와 관람객 몸짓 동작별로 각기 대응하는 영상정보를 표시하고, 주변에 있는 조형물에 대응하는 조형물의 움직임정보로 움직이도록 한다.
5) 이에 더하여, 상기 영상정보를 표시할 경우, 등록 관리 정보처리장치에서 설정 포맷을 통해 사용자가 제공하기를 원하는 영상 유형별로의 패치를 제공받는다.
여기에서, 상기 설정 포맷은 다수의 상이한 관람객 유형별로 관람객 감정상태와 관람객 몸짓동작별로 각기 영상 기본 저작도구의 패치(patch)를 일괄적으로 만든다.
6) 그래서, 상기 패치를 사용하여 해당 관람객 유형별로의 관람객 감정상태와 몸짓동작별로 각기 대응하는 영상정보를 맞춤 저작함으로써, 영상정보를 관람객의 감정과 몸짓별로 맞게 저작한다.
이를 통해, 일실시예는 VR 산업의 대부분이 게임산업에만 치중되어 있어서 경쟁이 치열한 반면 예술분야에서의 VR 등에 활용은 다소 저조함을 해결하고, 미술 작품 등의 관람을 더욱 효과적으로 한다(기존 등록 사항과 동일).
그리고, 이러한 미술 작품 등을 전시하고 관람할 경우, 관람객의 작품에 대한 반응에 따라 그에 맞는 가상현실 영상과 조형물의 움직임을 상이하게 제공함으로써, 기존 등록 내용에 비해 미술 작품 등의 관람과 전시 상황을 더욱 더 나은 것으로 한다.
이상과 같이, 일실시예는 미술관이나 음식점 등을 통해 아트 갤러리를 제공할 경우, 다양한 상황별로 즉, 다수의 상이한 관람객 유형별로 각기 관람객의 감정상태와 몸짓동작별로 맞는 영상을 전시 작품과 같이 부가적으로 제공함으로써, 이러한 전시 상황을 더욱 더 나은 것으로 만든다.
그리고, 이러한 경우에 각각의 관람객 유형별로 각기 관람객의 감정상태와 몸짓동작별로 맞추어 주변에 있는 조형물의 움직임을 움직이도록 함으로써, 보다 더 나은 전시 상황을 만들어 준다.
따라서, 일실시예는 VR 산업의 대부분이 게임산업에만 치중되어 있어서 경쟁이 치열한 반면 예술분야에서의 VR 등에 활용은 다소 저조함을 해결하고, 미술 작품 등의 관람을 더욱 효과적으로 한다(기존 등록 사항과 동일).
이에 더하여, 이러한 미술 작품 등을 전시하고 관람할 경우, 관람객의 작품에 대한 반응에 따라 그에 맞는 가상현실 영상과 조형물의 움직임을 상이하게 제공함으로써, 기존 등록 내용에 비해 미술 작품 등의 관람과 전시 상황을 더욱 더 나은 것으로 한다.
한편, 다른 실시예는 이러한 전시 상황을 조성할 경우, 아래의 방식을 통해서 영상을 관람객의 감정에 따라 상이하게 밝기 조절하므로, 더욱 더 편안한 분위기 등을 조성할 수 있도록 한다.
구체적으로는, 아래와 같다.
3) 즉, 상기 포맷에 따라 영상 기본 저작도구의 패치를 만들 경우, 상이한 관람객 유형별로의 감정상태와 몸짓동작별로 각기 기본 프레임을 만들 도화지 부재(패브릭 도구)와, 기본 프레임을 구성할 채색 부재(서포트 도구)를 포함함으로써, 패치를 만든다.
그래서, 전술한 영상정보를 저작할 경우, 각각의 관람객 유형별로 감정상태와 몸짓동작별로 각기 대응하는 도구를 사용하여 해당 정보를 맞춤 저작한다.
4) 그리고, 상기 도구를 통해 영상정보를 제공할 경우, 관람객의 인식 얼굴로부터 감정 상태를 얼굴 요소 변화상태에 대응하여 검출한다.
그래서, 다수의 상이한 감정 상태별로 각기 대응하는 설정 출력밝기 정보로부터 해당 영상정보를 관람객의 감정 상태에 따라 상이하게 밝기 조절하여, 감정 상태별로 맞추어 편안하게 제공할 수 있도록 한다.
이를 통해, 일실시예는 해당 정보를 제공할 경우, 작품에 대한 반응에 따라 그에 맞는 밝기 조절 등을 제공함으로써, 전시 상황에 대하여 관람을 더욱 편안한 상황에서 할 수 있도록 한다.
다른 한편, 또 다른 실시예는 이러한 패치를 통해 전시 상황을 적절하게 조성할 경우, 아래의 방식으로부터 상황을 원활하게 조성함으로써, 사용상태에 따른 상황을 적절하게도 하기도 한다.
예를 들어, 상기 영상정보를 통해 관람객의 감정과 몸짓에 따른 영상정보와 밝기정보를 획득한 경우, 등록 관리 정보처리장치에 해당 정보를 사용 결과에 대한 패치 형식으로 만들어서 회신한다.
그래서, 상기 등록 관리 정보처리장치를 통해 도화지 부재와 채색 부재별로 각기 정상 사용상태를 설정하여 비교 분석함으로써, 사용상태를 상세 확인받도록 한다.
예를 들어, 다수의 상이한 심리 진단유형별로 각기 대응하는 패치 내의 도화지 부재와 채색 부재마다 정상 사용상태를 상이하게 설정등록한다.
한편, 이러한 구성은 이렇게 관람객에게 관람객의 감정과 몸짓에 맞추어서 특정한 영상과 조형물의 움직임을 제공할 경우, 예를 들어, 관람장소가 미술치료를 하는 특정한 장소인 경우, 이러한 감정과 몸짓으로부터 심리상태를 인식함으로써, 치료를 돕기도 한다.
즉, 미술을 통해 심리 진단과 치료를 할 경우, 다수의 상이한 심리 진단유형별로 각기 맞는 미술 작품(영상)을 만들 도구를 사용자가 원하는 바에 따라 제공하여 맞춤 저작함으로써, 사용자와 심리 진단정보별로 각기 편안하고 안정적으로 치료를 돕는다.
이를 위해, 먼저 다양한 연령별 구간 및 분야에 따라 심리 진단정보와, 심리 진단유형별로 각기 진단 결과마다 대응하는 훈련 프로그램을 설정 등록한다.
그리고 나서, 상기 심리 진단정보 중에서 관람객 즉, 사용자의 키 조작에 따라 선택받은 진단 정보를 선정 제공한다.
그래서, 상기 사용자의 심리 진단정보에 대한 사용자 입력을 획득 분석하여 진단 결과정보를 검출한다.
이를 통해, 상기 진단 결과정보에 기초하여 훈련 프로그램을 추출하여 진단 상황에 맞추어 각기 제공한다.
이러한 상태에서, 아래의 동작을 추가적으로 수행한다.
먼저, 전술한 진단정보를 사용자가 원하는 바에 따라 선정 제공할 경우, 등록 관리 정보처리장치에서 전술한 포맷을 통해 사용자가 진단하기를 원하는 유형의 패치를 제공받는다. 참고로, 이러한 포맷은 다수의 상이한 심리 진단유형별로 각기 미술치료 영상 기본 저작도구의 패치를 일괄적으로 만드는 것이다.
그래서, 상기 패치에 의해 사용자의 진단 유형에 대응하여 미술치료 영상을 만들 도구를 진단 정보로서 회신함으로써, 미술치료 영상정보를 사용자 진단 정보별로 맞게 저작할 수 있도록 한다.
추가적으로, 상기 진단 결과정보를 상기 저작한 정보로 검출한 경우마다, 다수의 상이한 사용자별로 각기 저작한 정보 내의 색상과 모양, 저작방식을 포함한 특성정보를 각기 추출하여 등록한다.
그래서, 다수의 상이한 심리 진단유형별로 각기 저작한 미술치료 영상정보를 색상과 모양, 저작방식을 포함한 특성정보로 각기 나누어서, 설정개수보다 이상의 정보만큼 수집하여 사용자 심리성향을 상이한 특성정보에 따라 인식하는 포맷을 정의한다.
다음, 상기 설정 개수보다 이상의 미술치료 영상정보별로 각기 색상과 모양, 저작방식을 포함한 특성정보의 데이터셋을 추출한다.
그리고, 다수의 상이한 심리 진단유형별로 각기 미술치료 영상정보마다의 특성정보에 대한 속성을 결정한다.
상기 결정한 정보로부터 정규화 데이터를 획득한다.
그래서, 다수의 상이한 심리 진단유형별로 각기 미술치료 영상정보마다의 특성정보로 사용자의 심리성향을 인식하기 위한 독립 및 종속 변수를 설정한다.
이를 통해, 상기 설정한 정보에 대해 학습 및 훈련 데이터로서 추출함으로써, 사용자 심리성향을 인식한다.
따라서, 미술 심리진단과 치료를 할 경우, 다양한 심리 진단유형별로 각기 맞는 영상 즉, 미술 작품을 만들 도구를 제공하여 사용자가 원하는 바에 따라 맞춤 저작함으로써, 사용자와 심리 진단정보별로 각기 편안하고 안정적으로 치료한다.
한편, 이에 따른 다른 실시예는 이러한 심리 진단유형에 맞추어서 진단 정보(즉, 미술 작품을 만들 도구)를 제공할 경우, 아래의 방식을 통해서 도구를 상세하게 상이하게 제공하므로, 더욱 더 편안한 분위기 등을 조성할 수 있도록 한다.
구체적으로는, 아래와 같다.
즉, 상기 포맷에 따라 미술치료 영상 기본 저작도구의 패치를 만들 경우, 상이한 심리 진단유형별로 각기 기본 프레임을 만들 패브릭 도구인 도화지 부재와, 기본 프레임을 구성할 서포트 도구인 채색 부재를 포함하여 구성함으로써, 패치를 만든다.
그리고, 미술치료 영상정보를 저작할 경우, 각각의 진단 유형별로 각기 대응하는 도구를 사용하여 해당 정보를 맞춤 저작한다.
추가적으로, 또 다른 실시예는 이러한 패치를 통해 훈련 등을 할 경우, 아래의 방식으로부터 진단을 원활하게 함으로써, 훈련 등에 따른 상황을 적절하게도 하기도 한다.
예를 들어, 상기 미술치료 영상정보를 통해 사용자의 진단에 따른 영상정보를 획득한 경우, 등록 관리 정보처리장치에 해당 정보를 사용 결과에 대한 패치 형식으로 만들어서 회신한다.
그래서, 상기 등록 관리 정보처리장치를 통해 도화지 부재와 채색 부재별로 각기 정상 사용상태를 설정하여 비교 분석함으로써, 진단 정보를 상세 등록한다. 예를 들어, 다수의 상이한 심리 진단유형별로 각기 대응하는 패치 내의 도화지 부재와 채색 부재마다 정상 사용상태를 상이하게 설정등록한다.
다른 한편으로, 이렇게 관람객이 관람할 경우에 그의 감정과 몸짓에 따라 영상정보를 표시하여 반응할 경우, 이와 달리 관람객에게 음악을 들려주어 관람 분위기를 만들어 줄 수 있다. 그리고, 이러한 음악 제공을 한 다음에 관람객의 감정과 몸짓에 맞추어 영상정보를 제공할 수 있기도 하다.
이를 위해, 먼저 관람객의 관람 분위기와 장소, 상황에 맞는 음악의 특성과 장르 정보를 선정하고, 이에 대응하여 영상 정보를 구비한 라이브러리를 구축한다.
이러한 상태에서, 관람을 실제 할 경우, 해당 관람 분위기와 장소, 상황에 맞는 음악의 특성 정보만을 신속하게 분석하여, 이러한 음악 분석 정보에 맞추어서 영상 정보를 쉽게 찾아낸다.
또한, 이러한 경우에 음악 또는 음악 유형별로 각기 소리의 크기나, 빠르기 등의 간략 정보에 따라 이러한 영상 정보를 선정하기도 하고, 이에 따른 컨텐츠를 제공한다. 그리고, 이렇게 영상 정보를 찾아낸 경우, 한번 더 관람객의 감정상태와 몸짓동작에 따라서 적절한 정보를 추출함으로써, 관람 분위기를 한층 더 복돋아준다.
한편, 이러한 구성은 단순한 음악 분석과 선정 등을 수행할 수 있도록 저가형으로 구성하고, 음악에 대한 정밀 분석 및 라이브러리 구축은 관리 정보처리장치에서 수행하여 사용자 단말기로 제공하도록 하기도 한다.
그리고, 실시예를 더 확장하여 외부의 서버와 연결하고, 서버에서 각종 컨텐츠를 받아 라이브러리를 만들어서 사용자 단말기로 제공할 수 있도록 하고, 음악 분석과 라이브러리를 서버에서 처리하게 할 수 있도록 한다.
따라서, 음악 파일 등을 사용자 단말기 등에 복수의 곡으로 저장하여 두고, 관람을 할 경우, 해당 분위기와 장소, 상황에 맞는 곡을 선택하여 재생시키면서 아울러, 영상도 제공함으로써, 음악 재생과 함께 화면을 통해 실감나는 편의를 더욱 더 제공한다. 즉, 외부에서 들려주는 음악에 대해서 맞게 관람을 하고, 해당 음악에 맞는 장면을 보여준다.
그리고 또한, 이러한 경우, 이러한 라이브러리는, 임의의 음악의 전곡을 라이브러리로 구축하는 것은 아니며, 적어도 노래의 한 소절 또는, 일부 등에 대한 라이브러리를 구축하여 간단한 방식으로 저장한다.
또한, 해당 장면과 연속적으로 이어질 수 있도록 하는 다음의 장면에 대해서는 또 다른 라이브러리로 저장하여 두기도 한다. 즉, 상이한 유형별로 각기 A타입, B타입, C타입, 등등으로 복수의 라이브러리고 구축한다. 아울러, 각 타입의 라이브러리는, 각기 한소절씩 또는 일부소절 등의 컨텐츠에 대해 복수의 장면정보를 저장하여 두고, 해당 복수의 장면들을 서로 이어지는 연속된 컨텐츠로 동작할 수 있도록 랜덤하게 병합하여 이어질 수 있도록 라이브러리를 만든다.
그리고, 음악 분석과 같은 경우에는, 주파수 스펙트럼 분석과 신호처리에 의해 분석하여 박자와 리듬 등등으로 음악인지와, 해당 음악의 유형을 분석하고, 연속적으로 박자와 리듬 및 소리의 크기 등등의 장면 선정에 필요로 하는 파라메터들을 분석한다.
예를 들어, 주파수 스펙트럼 분석에 의해 진폭을 분석하고 반복되는 대역에 의해 음악인지를 판단하며, 음악인 경우 분석을 실시한다.
분석은 유형을 파악하기 위하여 각 유형별 특징 정보를 설정하여 두고, 음악을 분석하여 유형별 특징정보를 추출하여 어떤 유형인지를 구별한다. 그리고, 박자 리듬과 소리의 크기와 남성, 여성 등도 필요에 따라 분석항목으로 부여할 수 있다.
이와 같이 음악분석이 이루어지면 해당 분석 정보를 이용하여 상기 라이브러리에서 해당하는 유형의 라이브러리 중, 가장 적합한 정보를 찾아내고, 이 정보를 불러들인다.
또한, 마이크 및 오디오 입력부와 음악의 기본적인 특징 정보만을 추출하여 기본 분석정보를 제공하고, 이 음악의 기본정보에 의거하여 장면 등을 선정한다. 그리고 나서, 분석된 음악의 특징 정보들에 따라 장면 등을 함께 제공하도록 한다.
그리고 이러한 경우, 외부에서 음원 등을 제공받으며, 제공받은 음원 리스트는 저장한 음원과 공통으로 존재하는 음원을 확인하고, 확인을 완료한 음원에는 식별표시를 부여한다.
예를 들어, 식별표시가 없는 음원을 사용자가 선택하는 경우를 위해 외부 서버는 해당 구성에 해당 음원에 대한 제공을 할 수 있는 옵션을 주기도 한다.
또한, 음원 리스트는 복수의 음원을 설정 기준에 따라 정렬되어 표시되도록 제공하고, 음원의 제목이나 썸네일 이미지를 통해 음원을 식별할 수 있는 정보를 제공한다.
그리고 또한, 음원 리스트는 음원이 포함하는 제목과 가수(혹은 제작자), 장르, 재생시간 등을 같이 제공할 수 있다.
그래서, 이렇게 선택한 음원을 반영하여 장면 등에 맞추어 제공하여, 재미와 긴장감 등을 높일 수 있다.
520 : 갤러리 단말기
521 : 모션센서 522 : 촬영 수단
523 : 프로파일 데이터베이스부 524 : 컨텐츠 데이터베이스부
525 : 제어부 526: 디스플레이부
527 : 출력 수단
400 : 작가 단말기
410, 510 : 관리 정보처리장치

Claims (3)

  1. 다수의 상이한 작가별로 가상작품 영상을 입력받거나 직접 제작하여 공급하는 작가 단말기;
    상기 작가 단말기에 의해 공급받은 가상작품 영상을 작가와 갤러리별로 각기 중개 분배하는 관리 정보처리장치; 및
    상기 관리 정보처리장치에 의해 분배받은 가상작품 영상을 각 갤러리에서 전시하는 갤러리 단말기; 를 포함하고 있으며,

    상기 갤러리 단말기는,
    다수의 상이한 관람자 유형별로 각기 감정상태와 몸짓동작마다 대응하여 반응을 나타내는 설정 영상정보를 등록하고, 상기 감정상태와 몸짓동작별로 각기 대응하여 반응을 나타내는 설정 조형물의 움직임정보를 등록하는 제 1 단계;
    상기 가상작품 영상을 관람할 경우에, 관람객의 얼굴과 신체 정보를 연속적으로 인식하는 제 2 단계;
    상기 관람객의 얼굴과 신체 정보에서 각기 얼굴 요소 변화 상태에 매칭하는 관람객 감정 상태를 추출하고, 신체 부위 요소의 변화 상태에 매칭하는 관람객 몸짓 동작을 추출하는 제 3 단계; 및
    상기 갤러리를 통해 전시하여 관람할 경우, 상기 추출한 관람객 감정 상태와 관람객 몸짓 동작별로 각기 대응하는 영상정보를 표시하고, 주변에 있는 조형물에 대응하는 조형물의 움직임정보로 움직이도록 하는 제 4 단계; 를 포함하고,

    상기 제 1 단계는,
    상기 영상정보를 등록할 경우, 등록 관리 정보처리장치에서 설정 포맷을 통해 사용자가 제공하기를 원하는 영상 유형별로의 패치를 제공받으며,
    상기 설정 포맷은 다수의 상이한 관람객 유형별로 관람객 감정상태와 관람객 몸짓동작별로 각기 영상 기본 저작도구의 패치(patch)를 일괄적으로 만드는 제 1-1 단계; 및
    상기 패치를 사용하여 해당 관람객 유형별로의 관람객 감정상태와 몸짓동작별로 각기 대응하는 영상정보를 맞춤 저작함으로써, 영상정보를 관람객의 감정과 몸짓별로 맞게 저작하는 제 1-2 단계; 를 포함하는 것을 특징으로 하는 가상현실을 사용한 아트 갤러리 종합 구현 시스템.
  2. 청구항 1에 있어서,
    상기 갤러리 단말기에 의한 제 1-1 단계는,
    상기 포맷에 따라 영상 기본 저작도구의 패치를 만들 경우, 상이한 관람객 유형별로의 감정상태와 몸짓동작별로 각기 기본 프레임을 만들 도화지 부재(패브릭 도구)와 채색 부재(서포트 도구)를 포함으로써, 패치를 만들고,


    상기 갤러리 단말기에 의한 제 1-2 단계는,
    상기 영상정보를 저작할 경우, 각각의 관람객 유형별로의 감정상태와 몸짓동작별로 각기 대응하는 도구를 사용하여 해당 정보를 맞춤 저작하는 제 1-2-1 단계; 및
    상기 도구를 통해 영상정보를 제공할 경우, 다수의 상이한 관람자의 감정 상태별로 각기 대응하는 설정 출력밝기 정보로부터 해당 영상정보를 관람자의 감정 상태에 따라 상이하게 밝기 조절하여, 감정 상태별로 맞추어 상세하게 제공하는 제 1-2-2 단계; 를 포함하는 것을 특징으로 하는 가상현실을 사용한 아트 갤러리 종합 구현 시스템.
  3. 청구항 2에 있어서,
    상기 갤러리 단말기에 의한 제 1-2-2 단계 후에,
    상기 영상정보를 통해 관람객의 감정상태에 따른 영상정보와 밝기정보를 획득한 경우, 등록 관리 정보처리장치에 해당 정보를 사용 결과에 대한 패치 형식으로 만들어서 회신하는 제 1 과정; 및
    상기 등록 관리 정보처리장치를 통해 도화지 부재와 채색 부재별로 각기 정상 사용상태를 설정하여 비교 분석함으로써, 사용상태를 확인받는 제 2 과정; 을 포함하는 것을 특징으로 하는 가상현실을 사용한 아트 갤러리 종합 구현 시스템.

KR1020220124547A 2022-09-29 2022-09-29 가상현실을 사용한 아트 갤러리 종합 구현 솔루션 KR20240044931A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220124547A KR20240044931A (ko) 2022-09-29 2022-09-29 가상현실을 사용한 아트 갤러리 종합 구현 솔루션

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220124547A KR20240044931A (ko) 2022-09-29 2022-09-29 가상현실을 사용한 아트 갤러리 종합 구현 솔루션

Publications (1)

Publication Number Publication Date
KR20240044931A true KR20240044931A (ko) 2024-04-05

Family

ID=90714411

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220124547A KR20240044931A (ko) 2022-09-29 2022-09-29 가상현실을 사용한 아트 갤러리 종합 구현 솔루션

Country Status (1)

Country Link
KR (1) KR20240044931A (ko)

Similar Documents

Publication Publication Date Title
Lee et al. When creators meet the metaverse: A survey on computational arts
Hennion et al. Sociology of art: New stakes in a post-critical time
US20200326831A1 (en) Augmented reality experience creation via tapping virtual surfaces in augmented reality
CN101431611A (zh) 图像处理方法、图像处理装置、图像处理程序以及图像文件格式
Holmquist et al. Tangible interfaces in perspective: Guest editors’ introduction
CN117541321B (zh) 一种基于虚拟数字人的广告制作发布方法及系统
KR102407493B1 (ko) 가상현실을 사용한 아트 갤러리 구현 솔루션
Schreiber et al. New interaction concepts by using the wii remote
KR20240044931A (ko) 가상현실을 사용한 아트 갤러리 종합 구현 솔루션
Hillmann UX and Experience Design: From Screen to 3D Space
CN114967914A (zh) 一种虚拟显示方法、装置、设备以及存储介质
Vardhan et al. AR Museum: A Virtual Museum using Marker less Augmented Reality System for Mobile Devices
KR20210110239A (ko) 소셜 뮤지엄 서비스를 위한 디지털 전시 플랫폼 시스템
CN114450730A (zh) 信息处理系统及方法
Lee et al. Express it! An Interactive System for Visualizing Expressiveness of Conductor's Gestures
Chun Visualizing the news: Conceptual foundations and emerging technology
Hou et al. The application of augmented reality based on body parts recognition
KR20240062018A (ko) 비대면 가상현실을 이용한 미술 치료 방법
Dragulescu Data portraits: aesthetics and algorithms
Carre et al. Mixed-Reality Demonstration and Training of Glassblowing. Heritage 2022, 5, 103–128
Crowston Requirements of the Renée Crown University Honors Program at
Tian et al. An empirical study of virtual museum based on dual-mode mixed visualization: the Sanxingdui bronzes
Han Biometric data art: Personalized narratives and multimodal interaction
Dharmapriya et al. Emotion Based Music Visualization with Fractal Arts.
Chun VISUALIZING THE NEWS

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right