KR101640410B1 - 다중 디지털 교감 시스템 및 방법 - Google Patents

다중 디지털 교감 시스템 및 방법 Download PDF

Info

Publication number
KR101640410B1
KR101640410B1 KR1020140042636A KR20140042636A KR101640410B1 KR 101640410 B1 KR101640410 B1 KR 101640410B1 KR 1020140042636 A KR1020140042636 A KR 1020140042636A KR 20140042636 A KR20140042636 A KR 20140042636A KR 101640410 B1 KR101640410 B1 KR 101640410B1
Authority
KR
South Korea
Prior art keywords
sympathetic
subject
digital
controller
signal
Prior art date
Application number
KR1020140042636A
Other languages
English (en)
Other versions
KR20150117372A (ko
Inventor
백범진
송춘근
Original Assignee
주식회사 도브투래빗
백범진
송춘근
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 도브투래빗, 백범진, 송춘근 filed Critical 주식회사 도브투래빗
Priority to KR1020140042636A priority Critical patent/KR101640410B1/ko
Publication of KR20150117372A publication Critical patent/KR20150117372A/ko
Application granted granted Critical
Publication of KR101640410B1 publication Critical patent/KR101640410B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Landscapes

  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Selective Calling Equipment (AREA)

Abstract

본 발명은 사용자들이 디스플레이 장치의 화면을 통해 등장하는 디지털 캐릭터와 교육이나 상담, 공연 등에 대해 대화나 동작을 통해 교감할 수 있도록 제어자가 원격으로 하나 이상의 화면을 통해 각 디지털 캐릭터의 대사와 동작을 제어할 수 있도록 하는 다중 디지털 교감 시스템 및 방법에 관한 것이다.
본 발명에 따른 다중 디지털 교감 시스템은, 교감 대상자들이 볼 수 있는 곳에 위치하고, 하나 이상의 디지털 캐릭터가 화면 상에 등장하여 동작 제어 신호에 따라 또는 설정된 스토리(Story)에 따라 동작하는 화면을 제공하는 하나 이상의 디스플레이 장치; 상기 하나 이상의 디스플레이 장치에 대응되게 위치하고, 상기 하나 이상의디지털 캐릭터의 동작에 따라 반응하는 교감 대상자들을 촬영하여 대상자 반응 영상을 획득하는 하나 이상의 대상자 반응 장치; 및 상기 각 대상자 반응 영상에 따라 각 디지털 캐릭터의 동작 제어 신호를 상기 하나 이상의 디스플레이 장치에 각각 전송하고, 상기 각 대상자 반응 영상에 따른 각 디지털 캐릭터의 동작에 대응하는 음향을 상기 하나 이상의 디스플레이 장치에 각각 전송하는 교감 제어 장치를 포함하는 것을 특징으로 한다.

Description

다중 디지털 교감 시스템 및 방법{Multiple digital interacting method and system}
본 발명은 다중 디지털 교감 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 사용자들이 디스플레이 장치의 화면을 통해 등장하는 디지털 캐릭터와 교육이나 상담, 공연 등에 대해 대화나 동작을 통해 교감할 수 있도록 제어자가 원격으로 하나 이상의 화면을 통해 각 디지털 캐릭터의 대사와 동작을 제어할 수 있도록 하는 다중 디지털 교감 시스템 및 방법에 관한 것이다.
연극이나 뮤지컬 같은 전통적인 무대 공연은 매 공연이나 캐스팅 배우에 따라 동일한 시나리오의 공연이라고 할지라도 각각 다른 느낌과 감동을 줄 수 있다. 영화나 스크린을 통해 영상을 디스플레이하는 경우에는 매체 특성상 한번 제작된 영상을 그대로 반복해서 볼 수 밖에 없기 때문에 단조롭고 흥미를 쉽게 잃게 된다.
따라서, 고정된 컨텐츠에 쉽게 흥미를 잃게 되는 현대인들에게 임의성 내지 즉흥성이 가미된 컨텐츠에 대한 수요가 증가할 것으로 예상된다.
즉, 공연의 반복 과정에서 조금씩 변화하는 컨텐츠의 유연성, 그리고 서사성이 유지되면서도 즉흥적으로 발생할 수 있는 의외성의 재미를 모두 포괄할 수 있는 디지털 공연이 요구되고 있다.
한편, 디지털 교육이나 강의, 강연 등에 있어서는 카메라를 통해 가르치는 사람이나 강의하는 사람의 강의 내용을 촬영하여 인터넷이나 통신 수단을 통해 원격으로 다수의 사람들에게 일방적으로 제공하는 방식이다.
따라서, 강의하는 사람과 수강하는 사람들 사이에 대화나 동작에 따른 교감이 이루어지지 않아서 단조롭고 흥미를 쉽게 잃어 버리게 될 수 있으므로, 원격으로 교육하는 환경에서도 서로 간에 교감할 수 있는 기술이 요구되고 있다.
한국 공개특허공보 제10-2012-0109893호(공개일 : 2012년 10월 9일)
전술한 요구 사항을 해결하기 위한 본 발명의 목적은, 사용자들이 디스플레이 장치의 화면을 통해 등장하는 디지털 캐릭터와 교육이나 상담, 공연 등에 대해 대화나 동작을 통해 교감할 수 있도록 제어자가 원격으로 하나 이상의 화면을 통해 각 디지털 캐릭터의 대사와 동작을 제어할 수 있도록 하는 다중 디지털 교감 시스템 및 방법을 제공함에 있다.
전술한 목적을 달성하기 위한 본 발명의 일 측면에 따르면, 교감 대상자들이 볼 수 있는 곳에 위치하고, 하나 이상의 디지털 캐릭터가 화면 상에 등장하여 동작 제어 신호에 따라 또는 설정된 스토리(Story)에 따라 동작하는 화면을 제공하는 하나 이상의 디스플레이 장치; 상기 하나 이상의 디스플레이 장치에 대응되게 위치하고, 상기 하나 이상의디지털 캐릭터의 동작에 따라 반응하는 교감 대상자들을 촬영하여 대상자 반응 영상을 획득하는 하나 이상의 대상자 반응 장치; 및 상기 각 대상자 반응 영상에 따라 각 디지털 캐릭터의 동작 제어 신호를 상기 하나 이상의 디스플레이 장치에 각각 전송하고, 상기 각 대상자 반응 영상에 따른 각 디지털 캐릭터의 동작에 대응하는 음향을 상기 하나 이상의 디스플레이 장치에 각각 전송하는 교감 제어 장치를 포함하는 다중 디지털 교감 시스템이 제공된다.
여기서, 상기 하나 이상의 디스플레이 장치는, 상기 교감 제어 장치로부터 전송된 음향 신호와 동작 제어 신호를 수신하기 위해 상기 교감 제어 장치와 통신하기 위한 통신부; 상기 음향 신호를 처리하여 가청음으로 출력하기 위한 음향 처리부; 상기 동작 제어 신호에 대응된 디지털 캐릭터의 동작 이미지를 저장하거나, 상기 설정된 스토리에 따른 디지털 캐릭터의 동작 이미지를 저장하고 있는 저장부; 상기 화면 상에 등장한 디지털 캐릭터를 상기 동작 제어 신호에 따라 동작하도록 제어하는 동작 제어부; 및 상기 동작 제어 신호에 따라 동작하는 디지털 캐릭터를 화면 상에 출력하는 화면 출력부를 포함하는 것을 특징으로 하는 다중 디지털 교감 시스템.
상기 대상자 반응 장치는, 상기 교감 대상자들을 카메라로 촬영하여 대상자 반응 영상을 획득하는 영상 획득부; 상기 교감 대상자들로부터 발생된 대상자 음향 신호를 입력받기 위한 음향 입력부; 및 상기 획득된 대상자 반응 영상과 상기 대상자 음향 신호를 처리하여 상기 교감 제어 장치에 전송하는 데이터 전송부를 포함한다.
또한, 상기 교감 제어 장치는, 상기 교감 대상자들에게 사용자에 의해 발생된 음향이 가청음으로 들리지 않도록 밀폐된 공간이나, 가청음으로 들리지 않는 거리의 원격지에 설치된다.
또한, 상기 교감 제어 장치는, 상기 대상자 반응 장치로부터 대상자 반응 영상과 대상자 음향 신호를 수신하기 위한 데이터 수신부; 상기 대상자 반응 영상을 화면 상에 디스플레이하는 모니터; 상기 모니터에 디스플레이 되는 대상자 반응 영상에 대응된 대상자 음향 신호를 처리하여 가청음으로 출력하는 음향 출력부; 상기 디지털 캐릭터의 동작에 관한 동작 제어 신호를 사용자의 입력에 따라 선택하는 제어신호 선택부; 상기 디스플레이 장치로 사용자에 의해 발생된 음향 신호를 입력받아 전송하기 위한 사용자 음향 신호로 처리하는 음향 입력부; 및 상기 선택된 동작 제어 신호와 상기 사용자 음향 신호를 상기 디스플레이 장치로 전송하는 데이터 전송부를 포함한다.
그리고, 상기 디지털 캐릭터의 동작과 표정이 통신신호 또는 입력신호를 받아 상기 동작 제어 신호에 매핑(Mapping)된 캐릭터 프로그램부를 더 포함할 수 있다.
한편, 전술한 목적을 달성하기 위한 본 발명의 다른 측면에 따르면, 대상자들이 볼 수 있는 곳에 위치한 디스플레이 장치와, 대상자들의 반응을 취득하는 대상자 반응 장치 및 상기 대상들에게 제어자에 의해 발생된 음향이 가청음으로 들리지 않도록 밀폐된 공간이나 원격지에 설치된 교감 제어 장치를 포함하는 시스템의 디지털 교감 방법에 있어서, (a) 상기 디스플레이 장치가 설정 스토리에 따른 디지털 캐릭터의 동작과 음향을 출력하는 단계; (b) 상기 대상자 반응 장치가 상기 디지털 캐릭터의 동작에 따라 반응하는 교감 대상자들을 촬영하여 대상자 반응 영상을 획득하는 단계; (c) 상기 대상자 반응 장치가 상기 대상자 반응 영상을 상기 교감 제어 장치로 전송하는 단계; (d) 상기 교감 제어 장치가 상기 대상자 반응 영상을 화면 상에 출력하는 단계; (e) 상기 교감 제어 장치가 상기 대상자 반응 영상에 따라 상기 디지털 캐릭터의 동작에 관한 동작 제어 신호를 선택하는 단계; (f) 상기 교감 제어 장치가 제어자로부터 제어자 음향 신호를 입력받는 단계; (g) 상기 교감 제어 장치가 상기 선택된 동작 제어 신호와 상기 입력받은 제어자 음향 신호를 상기 디스플레이 장치로 전송하는 단계; 및 (h) 상기 디스플레이 장치가 상기 동작 제어 신호에 따라 상기 디지털 캐릭터의 동작을 제어함과 더불어 상기 제어자 음향 신호를 출력하는 단계를 포함하는 디지털 교감 방법이 제공된다.
또한, 상기 (b) 단계는 상기 대상자 반응 장치가 상기 디지털 캐릭터의 동작에 따라 반응하는 교감 대상자들을 카메라를 통해 촬영하여 대상자 반응 영상을 획득하게 된다.
또한, 상기 (c) 단계는, 상기 대상자 반응 장치가 상기 획득된 대상자 반응 영상을 유선 또는 무선으로 상기 교감 제어 장치에 전송하게 된다.
또한, 상기 (e) 단계는, 상기 교감 제어 장치가 상기 동작 제어 신호에 상기 디지털 캐릭터의 동작과 표정이 매핑(Mapping)된 캐릭터 프로그램부에서, 상기 대상자 반응 영상에 따라 상기 디지털 캐릭터의 동작에 관한 동작 제어 신호를 선택하고, 상기 (g) 단계는, 상기 교감 제어 장치가 상기 선택된 동작 제어 신호와 상기 입력받은 제어자 음향 신호를 상기 디스플레이 장치에 전송하게 된다.
그리고, 상기 (g) 단계는, 상기 교감 제어 장치가 상기 선택된 동작 제어 신호와 상기 입력받은 제어자 음향 신호를 무선 또는 유선으로 상기 디스플레이 장치에 전송하게 된다.
본 발명에 의하면, 유치원이나 어린이집, 초등학교 등에서 화면 상에 디지털 캐릭터를 등장시켜 관객들의 반응에 따라 동작하며 대화하는 상호 커뮤니케이션이 가능한 디지털 공연을 실현할 수 있다.
또한, 장소에 구애받지 않고 설치가 가능한 곳이라면, 본 발명에 따른 디지털 공연 시스템을 설치하여 다수의 대중들을 상대로 교육이나 연수, 공연 등 디지털 교육과 공연을 실시할 수 있다.
그리고, 캐릭터의 교체나 공연의 반복 과정에서 조금씩 변화하는 컨텐츠의 유연성과 서사성이 유지되면서도 즉흥적으로 발생할 수 있는 의외성의 재미를 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 디지털 교감 시스템을 공연이나 강연에 적용한 구성 예를 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 디스플레이 장치의 기능 블럭을 나타낸 구성도이다.
도 3은 본 발명의 실시예에 따른 대상자 반응 장치의 기능 블럭을 나타낸 구성도이다.
도 4는 본 발명의 실시예에 따른 교감 제어 장치의 기능 블럭을 나타낸 구성도이다.
도 5는 본 발명의 실시예에 따른 디지털 공연 방법을 설명하기 위한 전체적인 동작 흐름도를 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른 캐릭터 프로그램부에 캐릭터의 동작과 표정이 키 번호에 매핑된 예를 나타낸 도면이다.
도 7은 본 발명의 다른 실시예에 따른 다중 디지털 교감 시스템의 한 예를 나타낸 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 특정한 실시형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명에 따른 다중 디지털 교감 시스템 및 방법의 실시예를 첨부도면을 참조하여 상세히 설명하기로 한다. 첨부도면을 참조하여 설명함에 있어 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 실시예에 따른 디지털 교감 시스템을 공연이나 강연에 적용한 구성 예를 나타낸 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 디지털 교감 시스템(100)은, 디스플레이 장치(110)와, 대상자 반응 장치(120) 및 교감 제어 장치(130)를 포함한다.
디스플레이 장치(110)는 교감 대상자들이 볼 수 있는 위치에 설치되고, 하나이상의 디지털 캐릭터가 화면 상에 등장하여 동작 제어 신호에 따라 또는 설정된 스토리(Story)에 따라 동작하는 화면을 디스플레이하면서 음향을 출력한다. 여기서, 디스플레이 장치(110)는 디지털 캐릭터를 화면 상에 디스플레이하는 스크린 장치나, 디지털 비디오 장치, 프로젝션 TV, 디지털 비디오 장치, 빔 프로젝트 장치 등이 될 수 있다.
대상자 반응 장치(120)는 디지털 캐릭터의 동작에 따라 반응하는 교감 대상자들을 촬영하여 대상자 반응 영상을 획득한다.
교감 제어 장치(130)는 교감 대상자들과 교감하기 위해, 하나 이상의 디스플레이 장치(110)에 하나 이상의 디지털 캐릭터가 디스플레이되도록 제어하고, 대상자 반응 장치(120)를 통해 획득한 대상자 반응 영상에 따라 디지털 캐릭터의 동작에 관한 동작 제어 신호와, 디지털 캐릭터의 동작에 대응된 음향 신호를 디스플레이 장치(110)에 전송하도록 제어하게 된다.
따라서, 교감 제어 장치(130)는 교감 제어 장치(130)를 조작하는 제어자에 의해 발생된 음향이 교감 대상자들에게 가청음으로 들리지 않도록 밀폐된 공간이나 원격지에 설치된다.
즉, 교감 제어 장치(130)는 대상자 반응 영상에 따른 디지털 캐릭터의 동작에 대해 제어자로부터 선택받은 디지털 캐릭터의 동작에 관한 동작 제어 신호와, 제어자로부터 입력된 음향을 디스플레이 장치(110)에 전송한다.
여기서, 교감 대상자들은 강의를 듣는 수강생들이나, 수업을 받는 학생들, 디지털 공연을 관람하는 관객들, 유치원이나 어린이집의 아이들이 될 수 있다.
또한, 제어자는 교감 대상자들과 강연이나 공연, 수업 등을 통해 교감하기 위해 교감 제어 장치(130)를 조작하는 사람으로서, 강의를 진행하는 강사, 대학교에서 강의 내용을 전달하는 교수, 공연장에서 디지털 캐릭터의 대사를 대행하는 교감해설가 등이 될 수 있다. 교감 해설가는 디지털 캐릭터의 동작에 대응하는 해설 음향이 출력되도록 성대모사를 통해 또는 직접 음성으로 대사를 입력하는 사람이다.
도 2는 본 발명의 실시예에 따른 디스플레이 장치의 기능 블럭을 나타낸 구성도이다.
도 2를 참조하면, 본 발명의 실시예에 따른 디스플레이 장치(110)는, 통신부(210)와 음향 처리부(220), 저장부(230), 동작 제어부(240) 및 화면 출력부(250)를 포함한다.
통신부(210)는 교감 제어 장치로부터 전송된 음향 신호와 동작 제어 신호를 수신하기 위해 교감 제어 장치와 통신한다.
음향 처리부(220)는 음향 신호를 처리하여 가청음으로 출력한다.
저장부(230)는 동작 제어 신호에 대응된 디지털 캐릭터의 동작 이미지를 저장하거나, 설정된 스토리에 따른 디지털 캐릭터의 동작 이미지를 저장하고 있다.
동작 제어부(240)는 화면 상에 등장한 디지털 캐릭터를 동작 제어 신호에 따라 동작하도록 제어한다. 즉, 동작 제어부(240)는 저장부(230)에 저장되어 있는 캐릭터의 동작 이미지 중 동작 제어 신호에 해당하는 동작 이미지가 프레임 단위로 화면 상에 디스플레이되도록 제어하는 것이다.
화면 출력부(250)는 동작 제어 신호에 따라 동작하는 디지털 캐릭터를 화면 상에 출력한다.
도 3은 본 발명의 실시예에 따른 대상자 반응 장치의 기능 블럭을 나타낸 구성도이다.
도 3을 참조하면, 본 발명의 실시예에 따른 대상자 반응 장치(120)는, 영상 획득부(310)와 음향 입력부(320) 및 데이터 전송부(330)를 포함한다.
영상 획득부(310)는 교감 대상자들을 촬영하기 위한 카메라를 구비하고, 교감 대상자들을 카메라로 촬영하여 대상자 반응 영상을 획득한다.
음향 입력부(320)는 교감 대상자들로부터 발생된 음성을 비롯한 음향을 입력받기 위한 마이크로폰을 구비하고, 마이크로폰을 통해 교감 대상자들로부터 발생된 대상자 음향 신호를 입력받아 데이터 전송부(330)에 전달한다.
데이터 전송부(330)는 획득된 대상자 반응 영상과 대상자 음향 신호를 처리하여 교감 제어 장치(130)에 무선 또는 유선으로 전송한다.
도 4는 본 발명의 실시예에 따른 교감 제어 장치의 기능 블럭을 나타낸 구성도이다.
도 4을 참조하면, 본 발명의 실시에에 따른 교감 제어 장치(130)는, 데이터 수신부(410)와 모니터(420), 음향 출력부(430), 제어신호 선택부(440), 음향 입력부(450), 데이터 전송부(460) 및 캐릭터 프로그램부(470)를 포함한다.
데이터 수신부(410)는 대상자 반응 장치로부터 대상자 반응 영상과 대상자 음향 신호를 수신한다.
모니터(420)는 대상자 반응 영상을 화면 상에 디스플레이한다.
음향 출력부(430)는 모니터(420)에 디스플레이 되는 대상자 반응 영상에 대응된 대상자 음향 신호를 처리하여 가청음으로 출력한다.
제어신호 선택부(440)는 디지털 캐릭터의 동작에 관한 동작 제어 신호를 제어자의 선택에 따라 입력받는다.
음향 입력부(450)는 제어자에 의해 발생된 음향 신호를 입력받아 디스플레이 장치로 전송하기 위한 제어자 음향 신호로 처리한다.
데이터 전송부(460)는 선택 입력받은 동작 제어 신호와 제어자 음향 신호를 디스플레이 장치로 전송한다.
캐릭터 프로그램부(470)는 동작 제어 신호에 디지털 캐릭터의 동작과 표정이 매핑(Mapping) 된 프로그램을 저장하고 있다. 예컨대, 통신신호 또는 입력신호에 따른 제어명령과 매핑될 수 있다.
도 5는 본 발명의 실시예에 따른 디지털 교감 방법을 설명하기 위한 전체적인 동작 흐름도를 나타낸 도면이다.
도 5를 참조하면, 본 발명의 실시예에 따른 디지털 교감 시스템(100)은, 관객들이 볼 수 있는 위치에 디스플레이 장치(110)가 설치되고, 관객들의 반응을 취득하는 대상자 반응 장치(120)가 디스플레이 장치(110)에 연결되며, 관객들에게 교감해설가에 의해 발생된 음향이 가청음으로 들리지 않도록 교감 제어 장치(130)가 밀폐된 공간이나 원격지에 설치된 구성으로서, 디스플레이 장치(110)가 설정 스토리에 따른 디지털 캐릭터의 동작과 음향을 출력한다(S510).
이어, 대상자 반응 장치(120)가 디지털 캐릭터의 동작에 따라 반응하는 관객들을 촬영하여 대상자 반응 영상을 획득한다(S520).
즉, 대상자 반응 장치(120)는 디스플레이 장치(110)에서 디스플레이 되는 디지털 캐릭터의 동작에 따라 반응하는 관객들을 카메라를 통해 촬영하여 대상자 반응 영상을 획득하는 것이다. 이때, 대상자 반응 장치(120)는 마이크로폰을 통해 관객들의 음성이나 음향 등을 대상자 음향 신호로 입력받는다.
이어, 대상자 반응 장치(120)가 대상자 반응 영상을 교감 제어 장치(130)로 전송한다(S530).
즉, 대상자 반응 장치(120)는 관객들을 촬영하여 획득한 대상자 반응 영상을 대상자 음향 신호와 함께 유선 또는 무선으로 교감 제어 장치(130)에 전송하는 것이다.
이어, 교감 제어 장치(130)는 대상자 반응 영상을 모니터(420)의 화면 상에 출력한다(S540).
즉, 교감 제어 장치(130)는 교감해설가로부터 발생된 음성이 관객들에게 들리지 않도록 밀폐된 공간에 설치된 상태에서, 교감해설가가 관객들의 반응 상황을 화면을 통해 확인할 수 있도록 모니터(420)의 화면 상에 대상자 음향 신호와 함께 출력하는 것이다.
이어, 교감 제어 장치(130)는 대상자 반응 영상에 대한 교감해설가의 선택에 따라 디지털 캐릭터의 동작에 관한 동작 제어 신호를 선택한다(S550).
즉, 교감 제어 장치(130)는 도 6에 도시된 바와 같이 동작 제어 신호에 디지털 캐릭터의 동작과 표정이 매핑(Mapping)된 캐릭터 프로그램부에서, 대상자 반응 영상에 대한 교감해설가의 선택에 따라 디지털 캐릭터의 동작에 관한 키번호 동작 제어 신호를 선택한다. 도 6은 본 발명의 실시예에 따른 캐릭터 프로그램부에 캐릭터의 동작과 표정이 키 번호(Key Number)로 매핑된 예를 나타낸 도면이다.
예를 들면, 디스플레이 장치(110)의 화면 상에 디스플레이되는 디지털 캐릭터가 관객들을 향해 "와우, 검정슈트가 참 멋진 아저씨 어디서 왔어요?"라고 질문을 한 후에, 관객들이 말하는 소리를 들어야 하는 경우에, 교감해설가는 교감 제어 장치(130)를 통해 도 6에 도시된 캐릭터 프로그램부에서 3번 키번호를 선택하게 되고, 이런 교감해설가의 선택에 따라 3번 키번호 동작 제어 신호를 생성하게 되는 것이다.
또한, 디지털 캐릭터가 양손과 함께 어깨를 으쓱이도록 하려면 교감 제어 장치(130)는 교감해설가의 선택에 따라 0번 통신신호 또는 입력신호를 선택하게 되고, 그에 따라 0번 동작 제어 신호를 생성하는 것이다.
이때, 교감 제어 장치(130)는 교감해설가에 의해 발생된 제어자 음향 신호를 입력받는다(S560).
즉, 교감 제어 장치(130)는 교감해설가가 0번 통신신호 또는 입력신호를 선택하면서 마이크로폰을 통해 "자 역시 설명보단 직접 체험해 보는게 좋겠죠"라고 말하는 음성을 입력받아 제어자 음향 신호로 생성한다.
이어, 교감 제어 장치(130)는 선택된 동작 제어 신호와 입력받은 제어자 음향 신호를 디스플레이 장치(110)로 전송한다(S570).
이때, 교감 제어 장치(130)는 선택된 동작 제어 신호와 입력받은 제어자 음향 신호를 무선 또는 유선으로 디스플레이 장치(110)에 전송하게 된다.
이어, 디스플레이 장치(110)는 교감 제어 장치(130)로부터 전송받은 동작 제어 신호에 따라 디지털 캐릭터의 동작을 제어하여 출력함과 더불어 제어자 음향 신호를 출력한다(S580).
예를 들어, 디스플레이 장치(110)는 교감 제어 장치(130)로부터 도 6에 도시된 바와 같이 0번 통신신호 또는 입력신호에 대응된 0번 동작 제어 신호를 수신하면, 디지털 캐릭터의 동작을 제어하여 양손과 함께 어깨를 으쓱이면서 "자 역시 설명보단 직접 체험해 보는게 좋겠죠"라는 사용자 음향 신호를 가청음으로 출력하는 것이다.
따라서, 디지털 캐릭터와 관객들 간에 상호 인터랙션하면서 공연의 반복 과정에서 조금씩 변화하는 컨텐츠의 유연성, 그리고 서사성이 유지되면서도 즉흥적으로 발생할 수 있는 의외성의 재미를 모두 포괄할 수 있는 디지털 공연이 제공되는 것이다.
도 7은 본 발명의 다른 실시예에 따른 다중 디지털 교감 시스템의 한 예를 나타낸 도면이다.
도 7을 참조하면, 본 발명의 다른 실시예에 따른 디지털 교감 시스템은 원격강의나 교육에 적용한 것으로서, 하나 이상의 디스플레이 장치(710~716), 하나 이상의 대상자 반응 장치(720~726) 및 교감 제어 장치(730)를 포함한다.
즉, 디스플레이 장치(710~716)는 A 반(영역)부터 N반(영역)까지 각 반에 하나씩 설치되고, 각 반에는 디스플레이 장치(710~716)에 각각 대응되게 대상자 반응 장치(720~726)가 각각 연결되어 있으며, 교감 제어 장치(730)는 학생들, 즉, 교감 대상자들에게 제어자(교수, 교사 등)에 의해 발생된 음향이 가청음으로 들리지 않도록 밀폐된 공간이나 원격지에 설치된 구조를 갖는다.
하나 이상의 디스플레이 장치(710~716)와, 하나 이상의 대상자 반응 장치(720~726) 및 교감 제어 장치(730)는 전술한 도 1에 도시된 디스플레이 장치(110)와 대상자 반응 장치(120) 및 교감 제어 장치(130)와 동일한 기능을 수행한다.
따라서, 교수나 교사 등의 제어자는 각 반에 설치된 디스플레이 장치(710~716)를 통해 디스플레이되는 다중 캐릭터에 대해 각각 제어할 수 있게 되는 것이다.
교감 제어 장치(730)는 교수, 교사 등 제어자의 음성을 변조하여 각 디스플레이 장치(710~716)에 전송할 수 있고, 사용자의 동작을 촬영 및 캡쳐하여 인식하고, 인식된 동작을 각 디스플레이 장치(710~716)를 통해 디스플레이되는 디지털 캐릭터에 그대로 적용하여 각 디지털 캐릭터들이 제어자의 동작대로 움직이도록 할 수 있다.
또한, 교감 제어 장치(730)는 각 디스플레이 장치(710~716)를 통해 디스플레이되는 디지털 캐릭터의 동작을 제어하기 위한 컨트롤러 시스템에 대해, 제어자의 조작에 따라 제어할 수 있는 리모콘형, 모바일형, 조이패드형, 키보드형, 마우스형 등으로 구현할 수 있다.
또한, 교감 제어 장치(730)는 각 디스플레이 장치(710~716)를 통해 디지털 캐릭터의 동작이 디스플레이 될 때, 그에 대응된 제어자 음성이 출력되는 것을 제어자의 조작에 따라 선택적으로 출력되도록 사운드를 제어할 수 있다.
또한, 하나 이상의 디스플레이 장치(710~716)를 각 지역마다 설치하고, 그에 대응된 하나 이상의 대상자 반응 장치(720~726)들도 각각 연결하며, 중앙에는 교감 제어 장치(730)를 설치하여 중앙에서 각 지역의 디스플레이 장치(710~716)를 통해 디스플레이되는 디지털 캐릭터의 동작을 각각 제어할 수 있다.
그리고, 본 발명의 다른 실시예에 따른 다중 디지털 교감 시스템(700)은 프로그램이나 어플리케이션 형태로 모바일 단말기나 PC 등에 설치할 수 있고, 특정 장소에 고정하여 설치할 수도 있으며, 각각 개별적으로 구현하여 이동이 가능한 장치로도 설치할 수 있다.
전술한 바와 같이 본 발명에 의하면, 사용자들이 디스플레이 장치의 화면을 통해 등장하는 디지털 캐릭터와 교육이나 상담, 공연 등에 대해 대화나 동작을 통해 교감할 수 있도록 제어자가 원격으로 하나 이상의 화면을 통해 각 디지털 캐릭터의 대사와 동작을 제어할 수 있도록 하는 다중 디지털 교감 시스템 및 방법을 실현할 수 있다.
본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명은 사용자들이 디스플레이 장치의 화면을 통해 등장하는 디지털 캐릭터와 교육이나 상담, 공연 등에 대해 대화나 동작을 통해 교감할 수 있도록 제어자가 원격으로 하나 이상의 화면을 통해 각 디지털 캐릭터의 대사와 동작을 제어할 수 있도록 하는 다중 디지털 교감 시스템 및 방법에 적용할 수 있다.
100 : 디지털 교감 시스템 110 : 디스플레이 장치
120 : 대상자 반응 장치 130 : 교감 제어 장치
210 : 통신부 220 : 음향 처리부
230 : 저장부 240 : 동작 제어부
250 : 화면 출력부 310 : 영상 획득부
320 : 음향 입력부 330 : 데이터 전송부
410 : 데이터 수신부 420 : 모니터
430 : 음향 출력부 440 : 제어신호 선택부
450 : 음향 입력부 460 : 데이터 전송부
470 : 캐릭터 프로그램부 700 : 다중 디지털 교감 시스템
710~716 : 디스플레이 장치 720~726 : 대상자 반응 장치
730 : 교감 제어 장치

Claims (11)

  1. 하나 이상의 디지털 캐릭터의 동작이 외부로부터 수신된 선택 동작 제어 신호에 따라 디스플레이되도록 하면서, 외부로부터 수신된 제어자 음향 신호를 출력하는 하나 이상의 디스플레이 장치;
    상기 하나 이상의 디스플레이 장치에 각각 연결되고, 상기 하나 이상의 디지털 캐릭터의 동작에 따라 반응하는 교감 대상자들을 촬영하여 대상자 반응 영상을 획득하며, 상기 교감대상자들로부터 발생된 음향을 입력받아 대상자 음향 신호로 생성하여, 상기 대상자 반응 영상 및 상기 대상자 음향 신호를 교감 제어 장치로 전송하는 하나 이상의 대상자 반응 장치; 및
    상기 교감대상자들에게 제어자에 의해 발생된 음향이 가청음으로 들리지 않도록 밀페된 공간이나 원격지에 설치되고, 상기 대상자 반응 장치로부터 수신된 상기 대상자 반응 영상 및 상기 대상자 음향 신호를 제어자가 확인할 수 있도록 출력하며, 이후 제어자에 의해 선택된 선택 동작 제어 신호와 제어자에 의해 입력된 제어자 음향 신호를 상기 하나 이상의 디스플레이 장치에 각각 전송하는 교감 제어 장치;
    를 포함하고,
    상기 하나 이상의 디스플레이 장치가 각 지역에 하나씩 설치되고, 상기 하나 이상의 대상자 반응 장치가 상기 각 지역에 설치된 디스플레이 장치에 각각 대응되게 연결되어 있으며, 상기 교감 제어 장치는 중앙에 설치되며,
    상기 교감 제어 장치는 중앙에서 제어자의 동작을 촬영 및 캡쳐하여 인식하고, 인식된 동작을 상기 각 지역에 설치된 하나 이상의 디스플레이 장치를 통해 디스플레이되는 디지털 캐릭터에 그대로 적용하여 각 디지털 캐릭터들이 제어자의 동작대로 움직이도록 제어하는, 다중 디지털 교감 시스템.
  2. 청구항 1에 있어서,
    상기 하나 이상의 디스플레이 장치는,
    상기 교감 제어 장치로부터 전송된 음향 신호와 동작 제어 신호를 수신하기 위해 상기 교감 제어 장치와 통신하기 위한 통신부;
    상기 음향 신호를 처리하여 가청음으로 출력하기 위한 음향 처리부;
    상기 동작 제어 신호에 대응된 디지털 캐릭터의 동작 이미지를 저장하거나, 상기 설정된 스토리에 따른 디지털 캐릭터의 동작 이미지를 저장하고 있는 저장부;
    상기 화면 상에 등장한 디지털 캐릭터를 상기 동작 제어 신호에 따라 동작하도록 제어하는 동작 제어부; 및
    상기 동작 제어 신호에 따라 동작하는 디지털 캐릭터를 화면 상에 출력하는 화면 출력부;
    를 포함하는 것을 특징으로 하는 다중 디지털 교감 시스템.
  3. 청구항 1에 있어서,
    상기 대상자 반응 장치는,
    상기 교감 대상자들을 카메라로 촬영하여 대상자 반응 영상을 획득하는 영상 획득부;
    상기 교감 대상자들로부터 발생된 대상자 음향 신호를 입력받기 위한 음향 입력부; 및
    상기 획득된 대상자 반응 영상과 상기 대상자 음향 신호를 처리하여 상기 교감 제어 장치에 전송하는 데이터 전송부;
    를 포함하는 것을 특징으로 하는 다중 디지털 교감 시스템.
  4. 청구항 1에 있어서,
    상기 교감 제어 장치는,
    상기 교감 대상자들에게 제어자에 의해 발생된 음향이 가청음으로 들리지 않도록 밀폐된 공간이나, 가청음으로 들리지 않는 거리의 원격지에 설치된 것을 특징으로 하는 다중 디지털 교감 시스템.
  5. 청구항 4에 있어서,
    상기 교감 제어 장치는,
    상기 대상자 반응 장치로부터 대상자 반응 영상과 대상자 음향 신호를 수신하기 위한 데이터 수신부;
    상기 대상자 반응 영상을 화면 상에 디스플레이하는 모니터;
    상기 모니터에 디스플레이 되는 대상자 반응 영상에 대응된 대상자 음향 신호를 처리하여 가청음으로 출력하는 음향 출력부;
    상기 디지털 캐릭터의 동작에 관한 동작 제어 신호를 사용자의 입력에 따라 선택하는 제어신호 선택부;
    상기 디스플레이 장치로 제어자에 의해 발생된 음향 신호를 입력받아 전송하기 위한 제어자 음향 신호로 처리하는 음향 입력부; 및
    상기 선택된 동작 제어 신호와 상기 제어자 음향 신호를 상기 디스플레이 장치로 전송하는 데이터 전송부;
    를 포함하는 것을 특징으로 하는 다중 디지털 교감 시스템.
  6. 청구항 1에 있어서,
    상기 동작 제어 신호에 상기 디지털 캐릭터의 동작과 표정이 매핑(Mapping)된 캐릭터 프로그램부;
    를 더 포함하는 것을 특징으로 하는 다중 디지털 교감 시스템.
  7. 대상자들이 볼 수 있는 곳에 위치한 하나 이상의 디스플레이 장치와, 대상자들의 반응을 취득하는 대상자 반응 장치 및 상기 대상들에게 제어자에 의해 발생된 음향이 가청음으로 들리지 않도록 밀폐된 공간이나 원격지에 설치된 교감 제어 장치를 포함하는 시스템의 디지털 교감 방법으로서,
    (a) 상기 하나 이상의 디스플레이 장치가 하나 이상의 디지털 캐릭터의 동작과 음향을 출력하는 단계;
    (b) 상기 대상자 반응 장치가 상기 하나 이상의 디스플레이 장치에 각각 연결되고, 상기 하나 이상의 디지털 캐릭터의 동작에 따라 반응하는 교감 대상자들을 촬영하여 대상자 반응 영상을 획득하며, 상기 교감 대상자들로부터 발생된 음향을 입력받아 대상자 음향 신호로 생성하는 단계;
    (c) 상기 대상자 반응 장치가 상기 대상자 반응 영상과 상기 대상자 음향 신호를 상기 교감 제어 장치에 전송하는 단계;
    (d) 상기 교감 제어 장치가 상기 대상자 반응 영상과 상기 대상자 음향 신호를 제어자가 확인할 수 있도록 출력하는 단계;
    (e) 상기 교감 제어 장치가 제어자에 의해 선택된 선택 동작제어신호와, 제어자에 의해 발생된 제어자 음향 신호를 입력받는 단계;
    (f) 상기 교감 제어 장치가 상기 선택 동작제어신호와 상기 제어자 음향 신호를 상기 하나 이상의 디스플레이 장치에 각각 전송하는 단계; 및
    (g) 상기 하나 이상의 디스플레이 장치가 상기 선택 동작제어신호에 따라 상기 하나 이상의 디지털 캐릭터의 동작을 디스플레이함과 더불어 상기 제어자 음향 신호를 출력하는 단계;
    를 포함하고,
    상기 하나 이상의 디스플레이 장치가 각 지역에 하나씩 설치되고, 상기 하나 이상의 대상자 반응 장치가 상기 각 지역에 설치된 디스플레이 장치에 각각 대응되게 연결되어 있으며, 상기 교감 제어 장치는 중앙에 설치되며,
    상기 교감 제어 장치는 중앙에서 제어자의 동작을 촬영 및 캡쳐하여 인식하고, 인식된 동작을 상기 각 지역에 설치된 하나 이상의 디스플레이 장치를 통해 디스플레이되는 디지털 캐릭터에 그대로 적용하여 각 디지털 캐릭터들이 제어자의 동작대로 움직이도록 제어하는, 디지털 교감 방법.
  8. 청구항 7에 있어서,
    상기 (b) 단계는 상기 대상자 반응 장치가 상기 디지털 캐릭터의 동작에 따라 반응하는 교감 대상자들을 카메라를 통해 촬영하여 대상자 반응 영상을 획득하는 것을 특징으로 하는 디지털 교감 방법.
  9. 청구항 7에 있어서,
    상기 (c) 단계는, 상기 대상자 반응 장치가 상기 획득된 대상자 반응 영상을 유선 또는 무선으로 상기 교감 제어 장치에 전송하는 것을 특징으로 하는 디지털 교감 방법.
  10. 청구항 7에 있어서,
    상기 (f) 단계는, 상기 교감 제어 장치가 상기 선택 동작제어신호에 디지털 캐릭터의 동작과 표정이 매핑(Mapping)된 캐릭터 프로그램부에서, 제어자에 의해 리모콘형, 모바일형, 조이패드형, 키보드형, 마우스형 중 하나의 형태로 선택된 상기 대상자 반응 영상에 대응된 디지털 캐릭터의 동작과 표정에 관한 선택 동작제어신호를 상기 하나 이상의 디스플레이 장치에 각각 전송하는 것을 특징으로 하는 디지털 교감 방법.
  11. 청구항 7에 있어서,
    상기 (f) 단계는, 상기 교감 제어 장치가 상기 선택 동작제어신호와 상기 제어자 음향 신호를 무선 또는 유선으로 상기 하나 이상의 디스플레이 장치에 전송하는 것을 특징으로 하는 디지털 교감 방법.
KR1020140042636A 2014-04-09 2014-04-09 다중 디지털 교감 시스템 및 방법 KR101640410B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140042636A KR101640410B1 (ko) 2014-04-09 2014-04-09 다중 디지털 교감 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140042636A KR101640410B1 (ko) 2014-04-09 2014-04-09 다중 디지털 교감 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20150117372A KR20150117372A (ko) 2015-10-20
KR101640410B1 true KR101640410B1 (ko) 2016-07-18

Family

ID=54399726

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140042636A KR101640410B1 (ko) 2014-04-09 2014-04-09 다중 디지털 교감 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101640410B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102209678B1 (ko) * 2019-01-31 2021-01-28 이화여자대학교 산학협력단 반려동물 돌봄 방법, 이를 수행하기 위한 장치 및 기록매체

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014053672A (ja) * 2012-09-05 2014-03-20 Nikon Corp 再生システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060010225A (ko) * 2004-07-27 2006-02-02 (주)바로텍 얼굴표정 인식 홈 네트워크 시스템 및 그 제어 방법
KR101738580B1 (ko) * 2010-12-30 2017-06-08 에스케이플래닛 주식회사 표정 인식 기반 음원 제공 시스템 및 서비스
KR101810023B1 (ko) 2011-03-28 2018-01-26 에스케이플래닛 주식회사 대사 생성을 지원하는 멀티미디어 콘텐츠 제작을 위한 장치, 이를 위한 단말, 이를 위한 방법 및 이 방법이 기록된 컴퓨터로 판독 가능한 기록 매체
KR101336641B1 (ko) * 2012-02-14 2013-12-16 (주) 퓨처로봇 감성 교감 로봇 서비스 시스템 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014053672A (ja) * 2012-09-05 2014-03-20 Nikon Corp 再生システム

Also Published As

Publication number Publication date
KR20150117372A (ko) 2015-10-20

Similar Documents

Publication Publication Date Title
CN107103801B (zh) 远程三维场景互动教学系统及控制方法
CN108074431B (zh) 一种应用vr技术演讲实训的系统及方法
RU2003104812A (ru) Интерактивная развлекательная система для виртуальных театральных представлений
CN112286610A (zh) 一种互动处理方法、装置、电子设备和存储介质
KR20190040735A (ko) 신체 운동 지도용 양방향 커뮤니케이션 시스템 및 방법
KR20210022579A (ko) 정보 처리 장치 및 정보 처리 방법, 그리고 정보 처리 시스템
JP7408506B2 (ja) コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム
JP2021006894A (ja) コンテンツ配信サーバ、コンテンツ作成装置、教育端末、コンテンツ配信プログラム、および教育プログラム
EP4306192A1 (en) Information processing device, information processing terminal, information processing method, and program
KR20160066080A (ko) 다양한 포멧의 컨텐츠 공유기능을 가지는 스마트 영상 교육 시스템 및 이를 이용한 영상 교육 서비스 제공방법.
KR101640410B1 (ko) 다중 디지털 교감 시스템 및 방법
JP6267819B1 (ja) 授業システム、授業サーバ、授業支援方法、及び授業支援プログラム
CN110647780A (zh) 一种数据处理方法、系统
KR100992509B1 (ko) Ｉｐｔｖ 시스템에서 학습용/교육용 콘텐츠에 등장하는 캐릭터/아바타를 통한 음성 변조 기반의 실감형 ｉｐｔｖ 서비스 방법 및 장치
US20230031160A1 (en) Information processing apparatus, information processing method, and computer program
JP2018165978A (ja) 授業システム、授業サーバ、授業支援方法、及び授業支援プログラム
TWI731496B (zh) 包含機器人之互動平台
JP4632132B2 (ja) 語学学習システム
KR20170142747A (ko) 개인방송에서의 휴대용 단말기와 연동되는 실감 오디오 제공 방법
JP2005321443A (ja) 発音学習支援方法、学習者端末及び処理プログラム並びに該プログラムを記録した記録媒体
WO2023233849A1 (ja) 情報処理装置、情報処理方法及び記録媒体
KR102424086B1 (ko) 영상 통화에 의한 비대면 실시간 홈트레이닝 서비스 시스템
JP3222042U (ja) 学習指導システム
KR100866361B1 (ko) 양방향입체 텔레비전을 이용한 생방송 입체 교육 시스템
US20220303636A1 (en) Providing dynamic media captioning and augmented/virtual reality feedback in home network environments

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190704

Year of fee payment: 4