KR20190014895A - 가상 현실 기반의 고인 맞춤형 추모 시스템 - Google Patents

가상 현실 기반의 고인 맞춤형 추모 시스템 Download PDF

Info

Publication number
KR20190014895A
KR20190014895A KR1020170098991A KR20170098991A KR20190014895A KR 20190014895 A KR20190014895 A KR 20190014895A KR 1020170098991 A KR1020170098991 A KR 1020170098991A KR 20170098991 A KR20170098991 A KR 20170098991A KR 20190014895 A KR20190014895 A KR 20190014895A
Authority
KR
South Korea
Prior art keywords
virtual reality
motion
voice
person
image
Prior art date
Application number
KR1020170098991A
Other languages
English (en)
Inventor
정현석
천성일
송찬규
남혜정
Original Assignee
전자부품연구원
(주)프론티스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원, (주)프론티스 filed Critical 전자부품연구원
Priority to KR1020170098991A priority Critical patent/KR20190014895A/ko
Publication of KR20190014895A publication Critical patent/KR20190014895A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 고인을 추억할 수 있는 가상 현실 속에서 음성은 물론 움직임을 통해 고인과 교감할 수 있는 가상 현실 기반의 고인 맞춤형 추모 시스템에 관한 것으로, 고인을 추억할 수 있는 하나 이상의 환경을 각각의 가상 현실 속 입체 배경 영상으로 제작하여 저장하고 있는 고인 맞춤형 입체 배경 영상 저장부와; 객체 움직임 제어점들이 포함된 고인의 입체영상을 저장하고 있는 고인의 입체영상 저장부와; 고인의 음성 데이터가 저장된 음성 데이터 저장부와; 가상 현실 체험자의 음성을 인식하고 고인의 음성을 신호처리하여 출력하기 위한 음성인식 및 신호 처리부와; 상기 고인의 입체영상 움직임을 제어하기 위한 움직임 명령을 저장하며 가상 현실 체험자에 의해 선택된 가상 현실 속 입체 배경 영상 속에서 상기 고인의 입체영상이 움직이도록 움직임 명령을 생성 출력하며, 인식된 가상 현실 체험자의 음성에 응답하는 고인의 음성이 출력되도록 제어하는 제어부와; 상기 움직임 명령에 따라 상기 가상 현실 속 입체 배경 영상 속에서 상기 고인의 입체영상이 움직이는 가상 현실 영상을 생성하여 출력하는 영상신호 처리부;를 포함함을 특징으로 한다.

Description

가상 현실 기반의 고인 맞춤형 추모 시스템{THE DECEASED REMEMBRANCE SYSTEM BASED ON VIRTUAL REALITY}
본 발명은 가상 현실 구현 시스템에 관한 것으로, 특히 고인을 추억할 수 있는 가상 현실 속에서 음성은 물론 움직임을 통해 고인과 교감할 수 있는 가상 현실 기반의 고인 맞춤형 추모 시스템에 관한 것이다.
가상 현실을 기반으로 하는 고인 추모 시스템의 일 예가 대한민국 공개특허공보 10-2014-0093569에 '웹 2.0 가상, 증강 현실 기반 사이버 묘지와 위인/고인 추모 플랫폼 구축 방법 및 장치"라는 명칭으로 공개되어 있다.
상기 예시한 출원공개 발명은 물론 일반적인 가상 현실 기반의 고인 추모 시스템은 단순히 추모 콘텐츠를 재생하는 플랫폼 형태, 혹은 각각의 서비스 이용자를 고려하지 않고 일관적인 모델링 형태를 활용하여 가상 현실 환경을 조성하는 기술에 국한되어 있다.
단순히 추모 콘텐츠를 재생하는 플랫폼 형태는 서비스 이용자가 단순히 관람자의 역할만 수행함으로써, 가상 현실에 대한 몰입도가 떨어질 뿐만 아니라 지속적인 사용이 불가하다는 단점이 있으며, 고인과 교감할 수 있는 포인트 혹은 매체가 제공되지 않아 신규 수요 창출에 제약이 따른다.
한편, 각각의 서비스 이용자를 고려하지 않고 일관적인 모델링 형태를 활용하여 가상 현실 환경을 조성하는 시스템에서는 고인을 추억하고 기억할 수 있는 요소가 부족하기 때문에 이 역시 몰입도가 저하될 수밖에 없고 추모 환경 조성에도 적합하지 않다.
따라서 평소 고인이 생활했던 환경을 추억할 수 있는 가상공간을 제공함으로써 가상 객체인 고인과의 친밀감을 제고할 수 있는 시스템 개발이 필요하며, 더 나아가 가상 현실에 대한 몰입감을 높이기 위해서는 서비스 이용자(유족 및 추모객)의 참여 유도가 있어야 하고, 참여 유도를 위해서는 가상 현실 속에서 가상 객체인 고인과의 상호작용이 이루어지는 것이 필요하다.
대한민국 공개특허공보 10-2014-0093569호
이에 본 발명은 상술한 필요성에 따라 창안된 발명으로써, 본 발명의 목적은 평소 고인이 생활했던 장소 혹은 고인을 추억할 수 있는 공간을 가상 현실 속에 구현함은 물론 음성을 통해서 고인과 교감할 수 있는 가상 현실 기반의 고인 맞춤형 추모 시스템을 제공함에 있으며,
더 나아가 본 발명의 다른 목적은 고인이 생활했던 장소 등을 가상 현실 속에 구현하되, 구현된 가상 현실 속에 가상 객체인 고인이 함께 상존함으로써 가상 현실에 대한 몰입도를 증강시킬 수 있는 가상 현실 기반의 고인 맞춤형 추모 시스템을 제공함에 있다.
또한 본 발명의 또 다른 목적은 고인이 생활했던 장소 등을 가상 현실 속에 구현하되, 가상 현실 속에 구현된 고인과 서비스 이용자 혹은 가상 현실 체험자가 음성은 물론 움직임을 통해 상호 작용하여 마치 고인이 현실 속에 존재하는 것과 같은 현실감을 부여해 줄 수 있는 고인 맞춤형 추모 시스템을 제공함에 있으며, 온라인상에서도 가상 현실 기반의 고인 맞춤형 추모 서비스를 제공할 수 있는 시스템을 구축함에 본 발명의 또 다른 목적이 있다.
상술한 기술적 과제를 해결하기 위한 본 발명의 실시예에 따른 가상 현실 기반의 고인 맞춤형 추모 시스템은,
고인을 추억할 수 있는 하나 이상의 환경을 각각의 가상 현실 속 입체 배경 영상으로 제작하여 저장하고 있는 고인 맞춤형 입체 배경 영상 저장부와,
객체 움직임 제어점들이 포함된 고인의 입체영상을 저장하고 있는 고인의 입체영상 저장부와,
고인의 음성 데이터가 저장된 음성 데이터 저장부와,
가상 현실 체험자의 음성을 인식하고 고인의 음성을 신호처리하여 출력하기 위한 음성인식 및 신호 처리부와,
상기 고인의 입체영상 움직임을 제어하기 위한 움직임 명령을 저장하며 가상 현실 체험자에 의해 선택된 가상 현실 속 입체 배경 영상 속에서 상기 고인의 입체영상이 움직이도록 움직임 명령을 생성 출력하며, 인식된 가상 현실 체험자의 음성에 응답하는 고인의 음성이 출력되도록 제어하는 제어부와,
상기 움직임 명령에 따라 상기 가상 현실 속 입체 배경 영상 속에서 상기 고인의 입체영상이 움직이는 가상 현실 영상을 생성하여 출력하는 영상신호 처리부를 포함함을 특징으로 하며,
변형 가능한 또 다른 실시예로서, 가상 현실 체험자의 움직임을 검출하기 위한 움직임 검출부를 더 포함하되, 상기 제어부는 검출된 가상 현실 체험자의 움직임 패턴에 대응해 상기 고인의 입체영상이 움직여야 하는 움직임 명령을 생성 출력함을 또 다른 특징으로 한다.
또한 상술한 실시예들에서 상기 제어부는 검출된 가상 현실 체험자의 움직임 패턴에 대응하는 고인의 음성을 상기 음성 데이터 저장부에서 검색하여 출력 제어함을 또 다른 특징으로 하며, 제어부는 유저 인터페이스부를 통해 고인의 움직임 제어 요청에 맞는 움직임 명령을 생성 출력할 수도 있다.
상술한 과제 해결 수단에 따르면, 본 발명의 실시예에 따른 VR 기반의 고인 맞춤형 추모 시스템은 평소 고인이 생활했던 장소 혹은 고인을 추억할 수 있는 공간을 가상 현실 속에 구현함으로써, 가상 현실 속 영상이 마치 현실 세계를 반영하는 듯한 현실감을 부여해 줄 수 있는 효과가 있으며, 더 나아가 고인의 음성을 가상 현실 체험자 혹은 서비스 이용자의 음성에 맞춰 함께 출력해 줌으로써, 가상 현실 속에서 고인과 생동감 있게 교감할 수 있는 장점이 있다.
또한 본 발명은 가상 현실 체험자 혹은 서비스 이용자의 움직임에 맞춰 고인의 영상이 반응함은 물론, 가상 현실 체험자의 움직임에 맞춰 적절한 고인의 음성까지도 출력 가능하기 때문에, 마치 고인이 현실 세계에 생존해 계시는 듯한 느낌을 극대화시켜 줄 수 있는 이점이 있다.
도 1은 본 발명의 실시예에 따른 가상 현실 기반의 고인 맞춤형 추모 시스템 주변 구성 예시도.
도 2는 본 발명의 실시예에 따른 가상 현실 기반의 고인 맞춤형 추모 시스템 구성 예시도.
도 3은 본 발명의 실시예에 따라 제작된 가상 현실 속 입체 배경 영상의 레이아웃 예시도.
도 4는 본 발명의 실시예에 따라 제작된 가상 현실 속 입체 배경 영상을 텍스처화한 예시도.
도 5는 본 발명의 실시예에 따라 제작된 고인의 입체영상 레이아웃 예시도.
도 6은 본 발명의 실시예에 따라 제작된 가상 현실 속 입체 배경 영상에 고인의 입체영상 삽입 예시도.
도 7은 본 발명의 실시예에 따른 가상 현실 기반의 고인 맞춤형 추모 시스템의 동작 흐름 예시도.
도 8 및 도 9는 본 발명의 실시예에 따라 가상 현실 체험자의 움직임에 반응하는 고인의 입체영상 변화 예시도.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.
또한 본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다. 아울러 본 발명의 실시예를 설명함에 있어 관련된 공지 기능 혹은 구성과 같은 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.
우선 도 1은 본 발명의 실시예에 따른 가상 현실(VR) 기반의 고인 맞춤형 추모 시스템(100)의 주변 구성도를 예시한 것이다.
가상 현실 서비스를 제공하기 위한 본 발명의 실시예에 따른 VR 기반의 고인 맞춤형 추모 시스템은 컴퓨터 시스템(PC)에 설치되어 실행 가능한 응용 프로그램의 형태로 배포 가능하다. 즉, 본 발명의 실시예에 따른 VR 기반의 고인 맞춤형 추모 시스템(100)은 도 1에 도시한 바와 같이 PC에 설치되어 케이블 연결되는 HMD(Head Mount Display)(200)에 고인을 추모하기 위한 가상 현실 영상을 제공할 수 있음은 물론, 컴퓨터 시스템의 하나인 모바일 단말에 설치되어 케이블 연결 가능한 HMD에도 고인을 추모하기 위한 가상 현실 영상을 제공할 수 있다.
변형 가능한 또 다른 실시예로서, 본 발명의 실시예에 따른 VR 기반의 고인 맞춤형 추모 시스템은 도 1에 도시한 바와 같이 고인 추모 서버(400)에 구축되어 통신망을 통해 접속한 회원들의 컴퓨터 시스템(모바일 단말, PC)으로 고인을 추모하기 위한 가상 현실 영상을 스트리밍 방식으로 제공할 수도 있다.
도 1에서 미설명된 참조번호 300은 공간 내에서 가상 현실 체험자의 움직임을 검출하기 위한 카메라(CAM)를 도시한 것으로, 본 발명의 실시예에 따른 VR 기반의 고인 맞춤형 추모 시스템(100)은 가상 현실 체험자의 움직임 혹은(및) 음성에 반응하여 가상 현실 속의 고인이 반응하도록 설계될 수도 있다. 가상 현실 체험자의 움직임을 검출하기 위한 수단으로는 카메라는 물론 체험자에 부착 가능한 센서, 체험자 조작에 반응하는 포인터 등을 활용할 수 있으며, 가상 현실 체험자의 음성에 반응하기 위해서는 음성인식 및 신호 처리부를 활용할 수 있을 것이다.
이하 하기에서는 PC에 설치되는 VR 기반의 고인 맞춤형 추모 시스템(100)의 구성 및 동작에 대해 설명하기로 한다.
도 2는 본 발명의 실시예에 따른 VR 기반의 고인 맞춤형 추모 시스템(100)의 구성도를 예시한 것이며, 도 3은 본 발명의 실시예에 따라 제작된 가상 현실 속 입체 배경 영상의 레이아웃을, 도 4는 본 발명의 실시예에 따라 제작된 가상 현실 속 입체 배경 영상을 텍스처화한 것을, 도 5는 본 발명의 실시예에 따라 제작된 고인의 입체영상 레이아웃을, 도 6은 본 발명의 실시예에 따라 제작된 가상 현실 속 입체 배경 영상에 고인의 입체영상이 삽입된 것을 각각 예시한 것이다.
도 2에 도시한 바와 같이 본 발명의 실시예에 따른 VR 기반의 고인 맞춤형 추모 시스템(100)은,
고인을 추억할 수 있는 하나 이상의 환경을 각각의 가상 현실 속 입체 배경 영상으로 제작하여 저장하고 있는 고인 맞춤형 입체 배경 영상 저장부(110)와,
객체 움직임 제어점들이 포함된 고인의 입체영상을 저장하고 있는 고인의 입체영상 저장부(120)를 포함한다. 이러한 저장부(110,120)들은 시스템이 고인 추모 서버(400)에 구축될 경우에는 데이터베이스(DB)로 구체화되며, 시스템이 PC에 구축될 경우에는 기록매체로 구체화된다.
참고적으로 상기 가상 현실 속 입체 배경 영상은 입체(3D) 영상 제작 도구를 통해 제작 가능한데 이를 구체적으로 부연 설명하면,
예를 들어 생전에 고인이 주로 활동하였던 혹은 고인을 연상할 수 있는 장소(이를 본 발명에서는 고인을 추억할 수 있는 환경이라 명하였음)에 대한 영상 혹은 사진을 의뢰인에게 제공받아 상기 입체 영상 제작 도구를 통해 사진 혹은 영상 속 환경(공간)에 대한 레이아웃을 도 3에서와 같이 우선 모델링한다.
이러한 모델링 파일에는 텍스쳐가 입혀지지 않고 단순히 공간 속에 존재하는 벽, 바닥, 천장 형태만 레이아웃 된다.
이후 사실적 묘사를 위해 고인을 추억할 수 있는 환경 속에 존재하는 여러 객체 이미지를 텍스쳐화하고, 텍스쳐화된 각각의 객체 이미지를 3D 형태의 레이아웃 모델링 파일에 삽입함으로써 고인을 추억할 수 있는 환경에 대한 가상 현실 속 입체 배경 영상이 도 4에 예시한 바와 같이 제작 완료된다. 이러한 가상 현실 속 입체 배경 영상은 의뢰인(가상 현실 체험자에 해당함)의 주문에 따라 복수 개 제작되어 저장될 수 있으며, 의뢰인의 선택에 따라 필요한 입체 배경 영상(거실 배경, 정원 배경, 침실 배경 영상 등)이 독출되어 사용될 수 있다.
한편 고인의 입체영상을 제작하는 과정을 부연 설명하면,
우선 의뢰인으로부터 생전 고인의 사진 혹은 영상을 제공받아 고인의 얼굴, 팔, 다리, 몸통 부위를 입체 영상 제작 도구를 이용해 도 5에 예시한 바와 같이 3D 형태로 모델링한다.
이후 모델링된 신체 각 부위별 움직임을 제어할 수 있는 애니메이션 요소, 즉 객체 움직임 제어점들을 모델링 데이터에 포함시킨다. 상기 객체 움직임 제어점들은 상호 연결되며 3차원 좌표값(x,y,z)들을 가지며, 추후 설명될 움직임 명령에 함께 포함되는 이동 좌표값에 따라 신체 각 부위의 움직임은 제어될 수 있다.
한편 고인의 사진 이미지 중 각 부위별 질감이나 색상을 나타낼 수 있는 이미지 파일을 텍스쳐하고 이를 고인의 3D 형태의 모델링 파일에 삽입한다. 이로써 객체 움직임 제어점들이 포함된 고인의 입체영상이 제작되어 고인의 입체영상 저장부(120)에 저장되어 활용된다.
고인의 입체영상 또한 의뢰인의 요청에 따라 복수 개 제작되어 선별적으로 이용될 수 있다.
상술한 고인 맞춤형 입체 배경 영상과 고인의 입체영상은 서로 다른 저장부(110,120)에 저장되어 추모 서비스 제공시 합성되어 사용될 수도 있고, 미리 상황별로 제작된 고인 맞춤형 입체 배경영상과 고인의 입체영상이 하나의 파일로 합성되어 저장되어 사용될 수도 있다. 고인 맞춤형 입체 배경영상과 고인의 입체영상이 합성되어 있는 상태를 도 6에 예시하였다.
상술한 저장부들(110,120) 외에 본 발명의 실시예에 따른 VR 기반의 고인 맞춤형 추모 시스템(100)은 고인의 음성 데이터가 저장된 음성 데이터 저장부(135)와, 가상 현실 체험자의 음성을 인식하고 고인의 음성을 신호처리하여 출력하기 위한 음성인식 및 신호 처리부(170)와, 상기 고인의 입체영상 움직임을 제어하기 위한 움직임 명령을 저장하며 가상 현실 체험자에 의해 선택된 가상 현실 속 입체 배경 영상 속에서 상기 고인의 입체영상이 움직이도록 움직임 명령을 생성 출력하며, 인식된 가상 현실 체험자의 음성에 응답하는 고인의 음성이 출력되도록 제어하는 제어부(130)와, 상기 움직임 명령에 따라 상기 가상 현실 속 입체 배경 영상 속에서 상기 고인의 입체영상이 움직이는 가상 현실 영상을 생성하여 출력하는 영상신호 처리부(140)를 더 포함한다.
상기 움직임 명령은 객체 움직임 제어점들이 포함된 고인의 입체영상에서 고인의 팔 동작을 제어하기 위한 스크립트, 고인의 다리 동작을 제어하기 위한 스크립트, 고인의 얼굴 표정 및 머리 움직임을 제어하기 위한 스크립트 명령을 포함하는 것으로서, 상기 움직임 명령에는 스크립트 명령어와 함께 각 객체 움직임 제어점들을 이동시키기 위한 이동 좌표값, 각도, 속도와 같은 운동값이 함께 포함된다.
또한 상기 제어부(130)는 유저 인터페이스부를 통해 고인의 움직임 제어 요청에 맞는 움직임 명령을 생성 출력해 줄 수도 있다. 상기 움직임 제어 요청은 의뢰인인 가상 현실 체험자가 생전 고인의 웃는 모습, 고인이 가상 현실 체험자를 반갑게 포옹해 주는 모습 등 여러 상황에 맞는 고인의 활동 모습을 보고 싶을 경우 시스템에 요청하는 일종의 사용자 명령이라 할 수 있다. 이러한 사용자 명령에 응답하기 위해 사전에 다양한 패턴의 움직임 명령을 프로그래밍하여 시스템을 운용할 수도 있다. 움직임 제어 요청을 하기 위해서는 사전에 시스템에서 움직임 제어 요청을 선택하기 위한 선택창을 유저 인터페이스부를 통해 제시해 주는 것이 바람직하다.
상술한 구성 외에 본 발명의 실시예에 따른 VR 기반의 고인 맞춤형 추모 시스템(100)은 가상 현실 체험자의 움직임을 검출하기 위한 움직임 검출부(160)를 더 포함할 수 있다. 이러한 움직임 검출부(160)는 실내 공간에 설치된 카메라(300)를 통해 촬영된 영상에서 가상 현실 체험자(의뢰인이 될 수 있음)의 움직임을 검출하여 상기 제어부(130)로 제공한다. 이러한 경우 제어부(130)는 검출된 가상 현실 체험자의 움직임 패턴, 예를 들면 손을 흔드는 손 인사 패턴, 포옹하고자 하는 포옹 패턴, 명절/제삿날에 행해지는 큰 절 패턴 등에 대응해 고인의 입체영상이 움직여야 하는 움직임 명령을 생성 출력한다.
이와 같이 움직임 검출부(160)를 더 포함하는 시스템에서는 제어부(130)가 검출된 가상 현실 체험자의 움직임 패턴에 대응하는 고인의 음성을 상기 음성 데이터 저장부(135)에서 검색하여 출력 제어할 수 있다.
예를 들어 손 인사 패턴이 검출된 경우 제어부(130)는 '그 동안 잘 지냈니?'라는 음성 메시지를 상기 음성 데이터 저장부(135)에서 검색하여 출력 제어할 수 있는 것이다.
이로써 본 발명은 단순히 가상 현실 체험자의 움직임 제어 요청에 따라 고인의 입체영상이 움직이는 것뿐만 아니라, 가상 현실 체험자의 움직임에 맞춰 가상 현실 속 고인의 입체 영상이 연동해 움직이도록 제어함은 물론 고인의 음성까지도 함께 출력할 수 있다.
참고적으로 가상 현실 속에서 현실감을 극대화하기 위해서는 고인의 실제 음성이 출력되는 것이 바람직하다. 이에 생전 고인의 음성 녹음을 제공받아 고인의 음성(음색) 파형과 동일한 파형을 가지는 음성이 출력되도록 음성 메시지를 생성하거나, 연출하고자 하는 고인의 입체영상 움직임에 맞춰 실제 고인의 음성을 녹음하여 이용할 수 있다.
가상 현실 속 고인과 질의응답과 같은 상호 소통 환경을 제공하기 위해서는 가상 현실 체험자의 음성을 인식하기 위한 음성 인식부, 인식된 음성을 분석하는 분석부, 분석 결과에 따라 선택된 음성을 고인의 음색으로 신호 처리하여 출력하기 위한 신호 처리부를 구비해야 한다. 이러한 기술적 구성들을 본 발명의 실시예에서는 음성인식 및 신호 처리부(170)로 단일화하여 도시하였으며, 음성인식 및 신호 처리부(170)는 시스템 설계방식에 따라 음성 입출력부와 직접 혹은 I/F부(150)를 통해 음성 입출력부와 연결 가능하다.
이하 상술한 구성을 가지는 VR 기반의 고인 맞춤형 추모 시스템(100)의 동작을 보다 상세히 설명하기로 한다.
우선 도 7은 본 발명의 실시예에 따른 VR 기반의 고인 맞춤형 추모 시스템(100)의 동작 흐름도를 예시한 것이며, 도 8 및 도 9는 본 발명의 실시예에 따라 가상 현실 체험자의 움직임에 반응하는 고인의 입체영상 변화 예시도를 각각 도시한 것이다.
하기에서는 의뢰인 요청에 따라 사전 제작된 고인 맞춤형 입체 배경 영상과 고인의 입체 영상이 제작되어 고인 맞춤형 입체 배경 영상 저장부(110)와 고인의 입체 영상 저장부(120)에 저장되어 있는 것으로 가정하기로 한다.
이러한 가정하에 의뢰인 혹은 고인과 관련 있는 지인이 가상 현실 체험자로서 HMD(200)를 착용하고 추모 영상 표시를 요청하면, 제어부(130)는 추모 영상 표시 요청(S10단계)에 응답하여 고인의 추모 영상을 출력 표시(S20단계)한다. 이러한 고인의 추모 영상은 초기화면으로서 도 6에 예시한 바와 같이 고인 맞춤형 입체 배경 영상에 고인의 입체 영상이 합성된 영상을 의미한다. 만약 고인 맞춤형 입체 배경 영상에 고인의 입체 영상이 합성되어 저장되어 있는 시스템이라면, 이러한 합성 영상이 초기 화면으로 출력될 수 있다.
초기 화면이 출력 표시되면 유저 인터페이스부를 통해 가상 현실 체험자로부터 고인의 움직임 제어 요청을 입력받아 고인의 움직임을 제어할 수도 있고, 경우에 따라서는 가상 현실 속으로 입장한 가상 현실 체험자에게 고인이 반가움을 표시하는 의미로 도 8에 예시한 바와 같이 환한 미소 혹은 손 인사가 자동 이루어지도록 할 수 있다.
즉, 제어부(130)는 초기 화면인 고인의 추모 영상을 출력 표시한 후 S30단계로 진행하여 가상 현실 속으로 입장한 가상 현실 체험자에게 반가움을 표시하는 환한 미소를 띠도록 고인의 입체 영상 움직임을 제어한다. 이러한 고인의 입체 영상 움직임은 고인의 얼굴 표정을 제어하기 위한 스크립트 명령을 이용하여 고인의 얼굴 부위에 포함되어 있는 객체 움직임 제어점들의 이동 좌표값을 변경함으로써 구현 가능하다. 객체 움직임 제어점들의 이동 좌표값은 고인의 얼굴 표정을 제어하기 위한 움직임 명령에 포함되어 영상신호 처리부(140)로 전달된다. 이에 영상신호 처리부(140)는 움직임 명령에 따라 가상 현실 속 입체 배경 영상 속에서 고인의 입체영상, 특히 얼굴 영상이 환한 미소를 띠는 가상 현실 영상이 생성되어 I/F부(150)를 통해 HMD(200)에 출력 표시된다.
이와 함께 제어부(130)는 환한 미소 혹은 손 인사에 맞는 고인의 음성이 출력되도록 할 수 있다. 즉, '그 동안 잘 있었니?'라는 음성 메시지를 음성 데이터 저장부(135)에서 독출하여 음성인식 및 신호 처리부(170)를 통해 출력함으로써, 가상 현실 체험자는 환한 미소 혹은 손 인사하는 고인의 입체 영상과 함께 고인의 다정한 음성을 제공받을 수 있다.
환한 미소를 띠는 고인의 가상 현실 영상을 접한 가상 현실 체험자가 반가움의 표시로 손을 들어 흔드는 손 인사를 한다면, 그리고 이러한 손 인사에 응답하여 고인의 입체 영상이 반응하도록 설계된 시스템(100)이라면, 가상 현실 체험자의 영상은 카메라(300)를 통해 움직임 검출부(160)로 전달된다.
움직임 검출부(160)에서는 영상 속 객체인 가상 현실 체험자의 영상을 추출하고, 추출된 가상 현실 체험자의 움직임을 검출하여 제어부(130)로 전달한다.
제어부(130)는 가상 현실 체험자의 움직임 검출이 있다고 판단(S40단계)되면 검출된 움직임 패턴에 맞게 고인의 입체 영상의 움직임을 제어하기 위한 움직임 명령을 생성하여 출력(S50단계)한다.
검출되는 움직임 패턴은 손을 흔드는 손 인사 패턴, 포옹하기 위해 양팔을 벌리는 패턴, 인사하는 패턴, 큰절 패턴 등 다양하다 할 수 있다. 다양한 움직임 패턴에 맞게 고인의 입체 영상의 움직임을 제어하기 위한 명령을 사전에 설정해 놓는다면, 제어부(130)는 가상 현실 체험자의 검출 움직임 패턴에 맞춰 다양하게 고인의 입체 영상 움직임을 제어할 수 있다. 참고적으로 도 9는 가상 현실 체험자의 움직임 패턴이 포옹하기 위해 양팔을 벌리는 패턴을 검출했을 경우 이에 응답해 고인 역시 가상 현실 체험자를 포옹하기 위해 양팔을 벌리는 입체 영상의 예를 도시한 것이다.
한편, 제어부(130)는 고인의 입체영상 움직임을 제어하면서 음성인식 및 신호 처리부(170)를 통해 가상 현실 체험자의 음성이 인식되는지를 체크(S60단계)한다. 체크 결과 가상 현실 체험자의 음성이 인식되었다면 제어부(130)는 그 인식된 가상 현실 체험자의 음성에 응답하는(맞는) 고인의 음성을 찾아 출력되도록 제어(S70단계)한다.
예를 들어 초기 화면에서 '그 동안 잘 있었니?'라는 고인의 음성이 출력되면 그에 응답하여 가상 현실 체험자가 가상 현실 속 고인에게 인사하면서 '안녕하셨어요?'라는 인사말을 건넬 수 있다. 이러한 경우 제어부(130)는 인식된 음성, 즉 '안녕하셨어요?'라는 인사말에 '응 그래 반갑다 아들'과 같은 고인의 응답 음성을 출력할 수 있다. 물론 인식된 음성에 맞게 고인의 음성 출력을 제어할 수 있으며, 음성 출력 제어와 함께 고인의 입체영상에 대한 움직임 까지도 함께 제어할 수 있다.
이와 같이 정해진 음성에 대응하는 음성 메시지를 사전에 저장하여 놓고 고인의 음성으로 출력할 수도 있으며, 인공지능 기술을 활용하여 인식되어 분석된 가상 현실 체험자의 음성에 맞는 고인의 응답 음성이 출력되도록 시스템 구축할 수도 있다.
이후 제어부(130)는 유저 인터페이스부를 통해 가상 현실 체험자로부터 종료 요청이 입력(S80단계)되면 가상 현실 추모 영상 서비스를 종료하고, 종료 요청이 없으면 S40단계로 되돌아가 가상 현실 체험자의 움직임 검출과 음성 인식 단계를 수행하여 가상 현실 체험자의 움직임에 맞춰 고인의 입체영상 움직임을 제어하면서 가상 현실 체험자의 음성에 맞는 고인의 음성이 출력되도록 시스템 제어한다.
이에 본 발명의 실시예에 따른 VR 기반의 고인 맞춤형 추모 시스템은 평소 고인이 생활했던 장소 혹은 고인을 추억할 수 있는 공간을 가상 현실 속에 구현함으로써, 가상 현실 속 영상이 마치 현실 세계를 반영하는 듯한 현실감을 부여해 줄 수 있는 효과가 있으며,
고인이 생활했던 장소 등을 가상 현실 속에 구현하되, 구현된 가상 현실 속에 가상 객체인 고인이 함께 상존함으로써 가상 현실에 대한 몰입도를 증강시켜 줄 수 있는 이점이 있으며,
더 나아가 고인이 생활했던 장소 등을 가상 현실 속에 구현하되, 가상 현실 속에 구현된 고인과 가상 현실 체험자가 상호 작용함으로써, 가상 현실 속에서 고인과 생동감 있게 교감할 수 있는 장점이 있다.
또한 가상 현실 체험자의 움직임에 맞춰 고인의 영상이 반응함은 물론 가상 현실 체험자의 움직임 및 음성에 맞춰 적절한 고인의 음성까지도 출력 가능하기 때문에, 마치 고인이 현실 세계에 생존해 계시는 듯한 느낌을 극대화시켜 줄 수 있는 이점이 있다.
한편 상술한 실시예에서는 PC에 설치되어 서비스 제공하는 고인 맞춤형 추모 시스템(100)의 동작 예를 설명하였지만, 고인 추모 서버(400)에 구축 가능한 고인 맞춤형 추모 시스템 역시 별다른 변형 없이 도 7에서 설명한 과정들을 통해 고인의 추모 영상 서비스를 온라인 상에서 제공할 수 있다. 다만, 가상 현실 체험자의 움직임에 반응하는 고인의 입체 영상을 제공하기 위해서는 가상 현실 체험자의 움직임을 검출하기 위해 필요한 영상 혹은 센서 감지신호 등이 고인 추모 서버(400)에 전달되어야 할 것이며, 가상 현실 체험자의 음성신호 역시 고인 추모 서버(400)에 전달되어야 할 것이다.
이상은 도면에 도시된 실시예들을 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위에 의해서만 정해져야 할 것이다.

Claims (9)

  1. 고인을 추억할 수 있는 하나 이상의 환경을 각각의 가상 현실 속 입체 배경 영상으로 제작하여 저장하고 있는 고인 맞춤형 입체 배경 영상 저장부와;
    객체 움직임 제어점들이 포함된 고인의 입체영상을 저장하고 있는 고인의 입체영상 저장부와;
    고인의 음성 데이터가 저장된 음성 데이터 저장부와;
    가상 현실 체험자의 음성을 인식하고 고인의 음성을 신호처리하여 출력하기 위한 음성인식 및 신호 처리부와;
    상기 고인의 입체영상 움직임을 제어하기 위한 움직임 명령을 저장하며 가상 현실 체험자에 의해 선택된 가상 현실 속 입체 배경 영상 속에서 상기 고인의 입체영상이 움직이도록 움직임 명령을 생성 출력하며, 인식된 가상 현실 체험자의 음성에 응답하는 고인의 음성이 출력되도록 제어하는 제어부와;
    상기 움직임 명령에 따라 상기 가상 현실 속 입체 배경 영상 속에서 상기 고인의 입체영상이 움직이는 가상 현실 영상을 생성하여 출력하는 영상신호 처리부;를 포함함을 특징으로 하는 가상 현실 기반의 고인 맞춤형 추모 시스템.
  2. 청구항 1에 있어서, 가상 현실 체험자의 움직임을 검출하기 위한 움직임 검출부;를 더 포함하되, 상기 제어부는 검출된 가상 현실 체험자의 움직임 패턴에 대응해 상기 고인의 입체영상이 움직여야 하는 움직임 명령을 생성 출력함을 특징으로 하는 가상 현실 기반의 고인 맞춤형 추모 시스템.
  3. 청구항 2에 있어서, 상기 제어부는 검출된 가상 현실 체험자의 움직임 패턴에 대응하는 고인의 음성을 상기 음성 데이터 저장부에서 검색하여 출력 제어함을 특징으로 하는 가상 현실 기반의 고인 맞춤형 추모 시스템.
  4. 청구항 1 내지 청구항 3 중 어느 한 항에 있어서, 상기 제어부는 유저 인터페이스부를 통해 고인의 움직임 제어 요청에 맞는 움직임 명령을 생성 출력함을 특징으로 하는 가상 현실 기반의 고인 맞춤형 추모 시스템.
  5. 청구항 1 내지 청구항 3 중 어느 한 항에 있어서, 상기 움직임 명령은,
    가상 객체인 고인의 팔 동작을 제어하는 움직임 명령, 가상 객체인 고인의 다리 동작을 제어하는 움직임 명령, 가상 객체인 고인의 얼굴 표정을 제어하는 움직임 명령 중 하나 이상을 포함하되, 각각의 움직임 명령은 상기 객체 움직임 제어점들의 이동 좌표값을 포함함을 특징으로 하는 가상 현실 기반의 고인 맞춤형 추모 시스템.
  6. 청구항 1 내지 청구항 3 중 어느 한 항에 있어서, 상기 가상 현실 속 입체 배경 영상은,
    고인을 추억할 수 있는 환경의 벽, 바닥, 천장 형태만 레이아웃화한 모델링 파일에 상기 환경 내에 구비되는 객체들에 대한 이미지 데이터를 각각 텍스처화하여 만들어진 파일을 삽입하여 제작됨을 특징으로 하는 가상 현실 기반의 고인 맞춤형 추모 시스템.
  7. 청구항 1 내지 청구항 3 중 어느 한 항에 있어서, 상기 고인 맞춤형 입체 배경 영상 저장부, 상기 고인의 입체영상 저장부, 상기 음성 데이터 저장부, 상기 음성인식 및 신호 처리부, 상기 제어부 및 상기 영상신호 처리부는 가상 현실 기반의 고인 맞춤형 추모 서비스를 온라인 상에서 제공하는 고인 추모 서버 내에 구축됨을 특징으로 하는 가상 현실 기반의 고인 맞춤형 추모 시스템.
  8. 청구항 1 내지 청구항 3 중 어느 한 항에 있어서, 상기 고인의 입체영상은 상기 가상 현실 속 입체 배경 영상에 삽입되어 저장됨을 특징으로 하는 가상 현실 기반의 고인 맞춤형 추모 시스템.
  9. 청구항 1 내지 청구항 3 중 어느 한 항에 있어서, 상기 고인의 입체영상은,
    고인의 사진 이미지를 기반으로 제작된 고인의 입체 모델링 데이터를 텍스처화하고 상기 고인의 입체 모델링 데이터에 객체 움직임 제어점들을 설정하여 제작됨을 특징으로 하는 가상 현실 기반의 고인 맞춤형 추모 시스템.
KR1020170098991A 2017-08-04 2017-08-04 가상 현실 기반의 고인 맞춤형 추모 시스템 KR20190014895A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170098991A KR20190014895A (ko) 2017-08-04 2017-08-04 가상 현실 기반의 고인 맞춤형 추모 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170098991A KR20190014895A (ko) 2017-08-04 2017-08-04 가상 현실 기반의 고인 맞춤형 추모 시스템

Publications (1)

Publication Number Publication Date
KR20190014895A true KR20190014895A (ko) 2019-02-13

Family

ID=65366644

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170098991A KR20190014895A (ko) 2017-08-04 2017-08-04 가상 현실 기반의 고인 맞춤형 추모 시스템

Country Status (1)

Country Link
KR (1) KR20190014895A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102237447B1 (ko) * 2020-08-20 2021-04-06 김유창 반려동물 xr 영상 체험 제공 시스템 및 방법
KR20210037857A (ko) 2019-09-30 2021-04-07 주식회사 오투오 관계 설정을 이용한 실감형 인공지능기반 음성 비서시스템
KR102407132B1 (ko) * 2021-02-05 2022-06-10 장건 고인을 모사하는 가상 인물과 대화를 수행하는 서비스를 제공하는 방법 및 시스템

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210037857A (ko) 2019-09-30 2021-04-07 주식회사 오투오 관계 설정을 이용한 실감형 인공지능기반 음성 비서시스템
KR102237447B1 (ko) * 2020-08-20 2021-04-06 김유창 반려동물 xr 영상 체험 제공 시스템 및 방법
WO2022039467A1 (ko) * 2020-08-20 2022-02-24 김유창 반려동물 xr 영상 체험 제공 시스템 및 방법
KR102407132B1 (ko) * 2021-02-05 2022-06-10 장건 고인을 모사하는 가상 인물과 대화를 수행하는 서비스를 제공하는 방법 및 시스템
KR20220113304A (ko) * 2021-02-05 2022-08-12 건 장 음성 합성 및 영상 합성 기술을 통해 고인을 모사하는 가상 인물과 커뮤니케이션을 수행하는 방법 및 시스템
WO2022265273A1 (ko) * 2021-02-05 2022-12-22 장건 고인을 모사하는 가상 인물과 대화를 수행하는 서비스를 제공하는 방법 및 시스템

Similar Documents

Publication Publication Date Title
US11494995B2 (en) Systems and methods for virtual and augmented reality
Wang et al. Mixed reality in architecture, design, and construction
US8644467B2 (en) Video conferencing system, method, and computer program storage device
US9239627B2 (en) SmartLight interaction system
KR100735676B1 (ko) 가상현실 모델하우스 운영시스템 및 운영방법
US10963140B2 (en) Augmented reality experience creation via tapping virtual surfaces in augmented reality
US20210312887A1 (en) Systems, methods, and media for displaying interactive augmented reality presentations
JP3368226B2 (ja) 情報処理方法及び情報処理装置
CN105339867A (zh) 使用视觉逼真的对象显示
SA110310836B1 (ar) مساعدة تعاونية ظاهرية تعتمد على صورة رمزية
KR20210028198A (ko) 아바타 애니메이션
KR20140145217A (ko) 공간정보를 이용한 3차원 가상 모델링 시스템 및 그 방법
US20220254125A1 (en) Device Views and Controls
KR20190014895A (ko) 가상 현실 기반의 고인 맞춤형 추모 시스템
JP6888854B1 (ja) 遠隔勤務支援システム及び遠隔勤務支援方法
Kersten et al. The historic wooden model of Solomon’s Temple: 3D recording, modelling and immersive virtual reality visualisation
CN114514493A (zh) 增强设备
KR20190014894A (ko) 가상 현실 기반의 고인 맞춤형 추모 시스템
KR102484840B1 (ko) 실감형 가상 전시 공간 제공 방법 및 시스템
KR20200000288A (ko) 가상현실 모델하우스 운영시스템 및 운영방법
CN114979789A (zh) 一种视频展示方法、装置以及可读存储介质
JP2022014002A (ja) 情報処理装置、情報処理方法、およびプログラム
TWI799195B (zh) 利用虛擬物件實現第三人稱視角的方法與系統
CN111429576A (zh) 信息显示方法、电子设备和计算机可读介质
US12002165B1 (en) Light probe placement for displaying objects in 3D environments on electronic devices

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application