KR20140103489A - 로봇을 이용한 역할극 서비스 방법 및 이를 위한 장치 - Google Patents

로봇을 이용한 역할극 서비스 방법 및 이를 위한 장치 Download PDF

Info

Publication number
KR20140103489A
KR20140103489A KR1020130016914A KR20130016914A KR20140103489A KR 20140103489 A KR20140103489 A KR 20140103489A KR 1020130016914 A KR1020130016914 A KR 1020130016914A KR 20130016914 A KR20130016914 A KR 20130016914A KR 20140103489 A KR20140103489 A KR 20140103489A
Authority
KR
South Korea
Prior art keywords
scene
information
script
role
cast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
KR1020130016914A
Other languages
English (en)
Inventor
권오성
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020130016914A priority Critical patent/KR20140103489A/ko
Publication of KR20140103489A publication Critical patent/KR20140103489A/ko
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/006—Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Processing Or Creating Images (AREA)

Abstract

기존에 존재하는 동영상으로부터 자동으로 역할극을 위한 데이터를 추출 및 생성하여 빠르고 저렴한 비용으로 로봇을 이용한 역할극을 제공하기 위한 서비스 방법 및 이를 위한 장치가 개시된다. 본 발명의 일 측면에 따른, 역할극 제어 장치에 의한 이동 로봇을 이용한 역할극 서비스 방법은, 동영상의 제 1 장면을 분석하여 배역 정보를 추출하여 저장하는 단계; 상기 제 1 장면을 분석하여 배역들의 모션 스크립트를 생성하는 단계; 상기 제 1 장면을 분석하여 배역들의 대본 정보를 생성하는 단계; 상기 동영상의 마지막 장면까지 장면마다 상기 단계들을 반복 수행하는 단계; 및 반복 수행에 따라 생성된, 상기 배역 정보, 상기 모션 스크립트 및 상기 대본 정보를 적어도 하나 이상의 로봇으로 전송하는 단계;를 포함한다.

Description

로봇을 이용한 역할극 서비스 방법 및 이를 위한 장치{ROLE PLAY SERVICE METHOD USING ROBOT AND APPARATUS THEREFOR}
본 발명은 로봇 기술에 관한 것으로, 보다 구체적으로 이동 로봇을 이용하여 역할극을 하기 위한 방법 및 이를 위한 장치에 관한 것이다.
세트 장치가 설치된 무대에서 배우가 시나리오에 따라 공연을 수행하는 것처럼, 배우에 해당하는 로봇이 세트 장치가 설치된 무대에서 동작 및 발성을 하여 공연을 하도록 하는 로봇을 이용한 역할극이 제안되고 있다. 대표적으로 국내공개특허 10-2009-0094417을 예로 들 수 있다.
그러나 종래 기술은 이미 정해져 있는 시나리오(영화, 드라마 등)를 로봇 개발자가 수동으로 로봇 모션(구동, 관절 모션, 대본 구술 등)으로 코딩하여 각 로봇에 전송하여 이루어지고 있다. 이로 인해 개발비가 증가하고, 빠르게 로봇 역할극용 컨텐츠를 제작하기가 어려운 문제점이 있다.
국내공개특허공보 10-2009-0094417(2009.09.07 공개)
본 발명은 상기와 같은 문제점을 해결하기 위해 제안된 것으로, 기존에 존재하는 동영상으로부터 자동으로 역할극을 위한 데이터를 추출 및 생성하여 빠르고 저렴한 비용으로 로봇을 이용한 역할극을 제공하기 위한 서비스 방법 및 이를 위한 장치를 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 일 측면에 따른, 역할극 제어 장치에 의한 이동 로봇을 이용한 역할극 서비스 방법은, 동영상의 제 1 장면을 분석하여 배역 정보를 추출하여 저장하는 단계; 상기 제 1 장면을 분석하여 배역들의 모션 스크립트를 생성하는 단계; 상기 제 1 장면을 분석하여 배역들의 대본 정보를 생성하는 단계; 상기 동영상의 마지막 장면까지 장면마다 상기 단계들을 반복 수행하는 단계; 및 반복 수행에 따라 생성된, 상기 배역 정보, 상기 모션 스크립트 및 상기 대본 정보를 적어도 하나 이상의 로봇으로 전송하는 단계;를 포함한다.
상기 방법은, 상기 반복 수행하는 단계 이전에, 상기 제 1 장면을 분석하여 배역들의 이동 스크립트를 생성하는 단계;를 더 포함하고, 상기 전송하는 단계는, 상기 이동 스크립트를 더 전송할 수 있다.
상기 이동 스크립트는, 장면 식별정보와, 시간에 따른 각 배역별 이동 위치 정보를 포함할 수 있다.
상기 배역 정보는, 장면 식별정보, 배역 식별정보, 배역 간 위치 정보, 배역의 음성 특징을 포함할 수 있다.
상기 배역 정보는, 배역들의 얼굴 이미지를 더 포함할 수 있다.
상기 로봇은, 상기 얼굴 이미지를 디스플레이 장치에 표시하고, 상기 음성 특징을 이용하여 대본을 음성 출력할 수 있다.
상기 모션 스크립트는, 장면 식별정보와, 시간에 따른 각 배역별 모션 정보를 포함하고, 상기 대본 정보는, 장면 식별정보와, 시간에 따른 각 배역별 대본 텍스트를 포함할 수 있다.
상기 방법은, 상기 반복 수행하는 단계 이전에, 상기 제 1 장면의 배경 이미지를 저장하는 단계;를 더 포함하고, 상기 전송하는 단계 이후에, 장면의 시간 순서에 따라 스크린에 상기 배경 이미지를 투사하는 단계;를 더 포함할 수 있다.
상기 목적을 달성하기 위한 본 발명의 다른 측면에 따른 역할극 제어 장치는, 하나 이상의 프로세서; 메모리; 및 상기 메모리에 저장되어 있으며 상기 하나 이상의 프로세서에 의하여 실행되도록 구성되는 하나 이상의 프로그램을 포함하고, 상기 프로그램은, 동영상 파일을 분석하여 장면별 배역 정보를 추출하여 저장하는 배역 추출 모듈; 상기 동영상 파일을 분석하여 장면별로 배역들의 모션 스크립트를 생성하는 모션 스크립트 생성 모듈; 및 상기 동영상 파일을 분석하여 장면별로 배역들의 대본 정보를 생성하는 대본 생성 모듈;을 포함하며, 상기 배역 정보, 상기 모션 스크립트 및 상기 대본 정보를 적어도 하나 이상의 로봇으로 전송한다.
상기 프로그램은, 상기 동영상 파일을 분석하여 장면별로 배역들의 이동 스크립트를 생성하는 이동 스크립트 생성 모듈;을 더 포함하고, 상기 이동 스크립트를 더 전송할 수 있다.
본 발명은 기존에 존재하는 동영상으로부터 자동으로 역할극을 위한 데이터를 추출 및 생성함으로써 다양한 역할극을 빠르게 제공할 수 있다.
또한 본 발명은 로봇을 이용하여 역할극을 제공함으로써 연극을 연습하는 사람들이나, 영어 학습 등 대면 교육의 효과를 얻고자 하는 사람들에게 유용하게 이용될 수 있다.
도 1은 본 발명의 일 실시예에 따른 로봇을 이용한 역할극 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 역할극 제어 장치의 구성을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 역할극 생성 프로그램의 구성을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 역할극 제어 장치의 역할극 서비스 방법을 설명하는 흐름도이다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 로봇을 이용한 역할극 시스템의 구성을 나타낸 도면이다.
도 1을 참조하면, 본 실시예에 따른 역할극 시스템은 역할극 제어 장치(110) 및 복수의 이동 로봇(130)을 포함한다.
역할극 제어 장치(110)는 동영상 파일을 저장하고 그 동영상 파일을 분석하여 역할극을 위한 데이터를 추출하고 역할극 데이터를 생성한다. 그리고 역할극 제어 장치(110)는 역할극 데이터를 복수의 이동 로봇(130)으로 전송하고 역할극 시작 및 종료를 제어한다. 역할극 제어 장치(110)는 범용 컴퓨터일 수 있고, 또는 이동 로봇일 수도 있다.
상기 역할극 데이터는 장면 정보, 배역 정보, 시나리오 정보를 포함한다. 여기서 배역 정보는 이동 로봇(130)별 배역 할당 정보, 각 배역의 위치 정보, 음성 특징, 얼굴 이미지를 포함한다. 시나리오 정보는 대본 정보, 이동 정보, 모션 정보를 포함한다. 대본 정보는 각 배역별 대본 텍스트, 타임 스탬프를 포함한다. 모션 정보는 각 배역별 모션 스크립트, 타임 스탬프를 포함한다. 이동 정보는 각 배역별 이동 위치 정보, 타임 스탬프를 포함한다.
이동 로봇(130)은 이동 수단 및 스피커를 구비하여 상기 이동 수단을 구동하여 이동하며 상기 스피커를 통해 음성을 출력한다. 또한 이동 로봇(110)은 얼굴 부분과 몸 부분이 구분되어 얼굴 부분의 독립적인 움직임 제어가 가능할 수 있다. 또한 몸 부분은 몸통과 팔, 다리가 구분되어 각 부분의 독립적인 움직임 제어가 가능할 수 있다.
이동 로봇(130)은 상기 역할극 제어 장치(110)로부터 수신되는 역할극 데이터를 저장하고, 상기 역할극 제어 장치(110)로부터 수신되는 시작 명령에 따라 역할극 데이터에 기초하여 무대 위에서 역할극을 시작한다. 즉 이동 로봇(130)은 자신에게 할당된 배역의 무대 위 위치로 이동하여 해당 배역의 동작을 수행하고 또한 해당 배역의 대본에 따라 음성을 출력한다.
역할극 제어 장치(110)와 이동 로봇(130)은 블루투스(Bluetooth), 와이 파이(Wireless Fidelity, Wi-Fi)(예를 들어, IEEE802.11a, IEEE802.11b, IEEE802.11g 및/또는 IEEE802.11n) 등의 근거리 통신으로 연결될 수 있으나 반드시 여기에 제한되는 것은 아니며, GSM(Global System for Mobile Communication), EDGE(Enhanced Data GSM Environment), WCDMA(wideband code division multiple access), CDMA(code division multiple access), TDMA(time division multiple access) 등으로 연결될 수도 있다.
역할극 제어 장치(110)는 이동 로봇(130)들의 역할극 시작시 상기 동영상 파일의 분석을 통해 추출한 각 장면별 배경 이미지를 프로젝터를 이용하여 무대 뒤 스크린에 투사할 수 있다. 또는 복수의 이동 로봇(130) 중 어느 하나가 스태프 로봇으로 지정되어 상기 역할극 제어 장치(110)로부터 각 장면별 배경 이미지를 수신하고 그 배경 이미지를 각 장면별 시간에 무대 뒤 스크린에 투사할 수도 있다.
도 2는 본 발명의 일 실시예에 따른 역할극 제어 장치의 구성을 나타낸 도면이다.
도 2를 참조하면, 본 실시예에 따른 역할극 제어 장치(110)는 메모리(202), 하나 이상의 프로세서(CPU)(206), 주변 인터페이스(208), 디스플레이(212), 입력 장치(214), 그리고 통신 회로(220)를 포함한다. 이러한 구성요소는 하나 이상의 통신 버스 또는 신호선을 통하여 통신한다. 도 2에 도시한 여러 구성요소는 하나 이상의 신호 처리 및/또는 애플리케이션 전용 집적 회로(application specific integrated circuit)를 포함하여, 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어 둘의 조합으로 구현될 수 있다.
메모리(202)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 또한 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치와 같은 불휘발성 메모리, 또는 다른 불휘발성 반도체 메모리 장치를 포함할 수 있다.
주변 인터페이스(208)는 장치의 입출력 주변 장치를 프로세서(206) 및 메모리(202)와 연결한다. 하나 이상의 프로세서(206)는 다양한 소프트웨어 프로그램 및/또는 메모리(202)에 저장되어 있는 명령어 세트를 실행하여 역할극 제어 장치(110)를 위한 여러 기능을 수행하고 데이터를 처리한다.
일부 실시예에서, 주변 인터페이스(208) 및 프로세서(206)는 단일 칩 상에서 구현될 수 있다. 일부 다른 실시예에서, 이들은 별개의 칩으로 구현될 수 있다.
디스플레이(212)는 LCD(liquid crystal display) 기술 또는 LPD(light emitting polymer display) 기술을 사용할 수 있고, 이러한 디스플레이(212)는 용량형, 저항형, 적외선형 등의 터치 디스플레이일 수 있다. 터치 디스플레이는 장치와 사용자 사이에 출력 인터페이스 및 입력 인터페이스를 제공한다. 터치 디스플레이는 사용자에게 시각적인 출력을 표시한다. 시각적 출력은 텍스트, 그래픽, 비디오와 이들의 조합을 포함할 수 있다. 시각적 출력의 일부 또는 전부는 사용자 인터페이스 대상에 대응할 수 있다. 터치 디스플레이는 사용자 입력을 수용하는 터치 감지면을 형성한다.
프로세서(206)는 역할극 제어 장치(110)에 연관된 동작을 수행하고 명령어들을 수행하도록 구성된 프로세서로서, 예를 들어, 메모리(202)로부터 검색된 명령어들을 이용하여, 역할극 제어 장치(110)의 컴포넌트 간의 입력 및 출력 데이터의 수신과 조작을 제어할 수 있다.
일부 실시예에서, 소프트웨어 구성요소는 운영 체제(232), 그래픽 모듈(명령어 세트), 역할극 생성 프로그램(명령어 세트)(234)이 메모리(202)에 탑재(설치)된다.
운영 체제는, 예를 들어, 다윈(Darwin), RTXC, LINUX, UNIX, OS X, WINDOWS 또는 VxWorks, 안드로이드 등과 같은 내장 운영체제일 수 있고, 일반적인 시스템 태스크(task)(예를 들어, 메모리 관리, 저장 장치 제어, 전력 관리 등)를 제어 및 관리하는 다양한 소프트웨어 구성요소 및/또는 장치를 포함하고, 다양한 하드웨어와 소프트웨어 구성요소 사이의 통신을 촉진시킨다.
그래픽 모듈은 디스플레이(212) 상에 그래픽을 제공하고 표시하기 위한 주지의 여러 소프트웨어 구성요소를 포함한다. "그래픽(graphics)"이란 용어는 텍스트, 웹 페이지, 아이콘(예컨대, 소프트 키를 포함하는 사용자 인터페이스 대상), 디지털 이미지, 비디오, 애니메이션 등을 제한 없이 포함하여, 사용자에게 표시될 수 있는 모든 대상을 포함한다.
통신 회로(220)는 월드 와이드 웹(World Wide Web, WWW)으로 불리는 인터넷, 인트라넷과 네트워크 및/또는, 셀룰러 전화 네트워크, 무선 LAN 및/또는 MAN(metropolitan area network)와 같은 무선 네트워크, 그리고 무선 통신에 의하여 다른 장치와 통신할 수 있다. 무선 통신은 GSM(Global System for Mobile Communication), EDGE(Enhanced Data GSM Environment), WCDMA(wideband code division multiple access), CDMA(code division multiple access), TDMA(time division multiple access), 블루투스(Bluetooth), 와이 파이(Wireless Fidelity, Wi-Fi)(예를 들어, IEEE802.11a, IEEE802.11b, IEEE802.11g 및/또는 IEEE802.11n), Wi-MAX, 또는 본 출원의 출원 시점에 아직 개발되지 않은 통신 프로토콜을 포함하는 기타 다른 적절한 통신 프로토콜을 포함하지만 이에 한정되지 않는 복수의 통신 표준, 프로토콜 및 기술 중 어느 것을 이용할 수 있다.
역할극 생성 프로그램(234)은 메모리(202)에 저장된 동영상 파일을 분석하여 역할극을 위한 데이터를 추출하고 역할극 데이터를 생성한다. 상기 역할극 데이터는 장면 정보, 배역 정보, 시나리오 정보를 포함한다. 배역 정보는 이동 로봇(130)별 배역 할당 정보, 각 배역의 위치 정보, 음성 특징, 얼굴 이미지를 포함한다. 시나리오 정보는 대본 정보, 이동 정보, 모션 정보를 포함하고, 대본 정보는 각 배역별 대본 텍스트, 타임 스탬프를 포함한다. 모션 정보는 각 배역별 모션 스크립트, 타임 스탬프를 포함하고, 이동 정보는 각 배역별 이동 위치 정보, 타임 스탬프를 포함한다.
역할극 생성 프로그램(234)은 상기 장면 정보를 이용하여 시간 순서에 따라 각 장면의 배경 이미지를 프로젝터를 이용하여 무대의 스크린 등에 투사할 수 있다.
도 3은 본 발명의 일 실시예에 따른 역할극 생성 프로그램의 구성을 나타낸 도면이다.
도 3을 참조하면, 역할극 생성 프로그램(234)은 장면 추출 모듈(310), 배역 추출 모듈(330) 및 시나리오 생성 모듈(350)을 포함한다.
장면 추출 모듈(310)은 메모리(202)에 저장된 동영상 파일을 분석하여 장면 전환시마다 장면 정보를 추출하고 그 추출한 장면 정보를 메모리(202)에 저장한다. 여기서 장면 정보는 타임 스탬프, 배경 이미지를 포함하고 그 예는 다음과 같다. 아래 예에서 SCENE1은 장면의 식별정보이고, 숫자는 시간을 나타내는 타임 스탬프, 그리고 backgroudimage1, 2는 배경 이미지를 나타낸다.
SCENE1 from 000000 to 032476 backgroudimage1
SCENE1 from 032477 to 072593 backgroudimage2
배역 추출 모듈(330)은 상기 동영상 파일의 장면마다 음성 인식과 얼굴 인식을 수행하여 배역을 추출하고 그 추출한 배역에 대한 정보를 메모리(202)에 저장한다. 배역 추출 모듈(330)은 장면의 시작 초기에 배역 정보를 추출한다. 여기서 배역 정보는 배역을 식별하는 고유 식별정보, 배역의 음성 인식 결과인 음성 특징, 얼굴 인식 결과인 얼굴 이미지, 그리고 각 배역 간의 위치 정보를 포함한다. 배역 정보의 예는 다음과 같다.
SCENE1 Char1 / v-ftr / f-img (x1, y1)
여기서 SCENE1은 장면의 식별정보이고, Char1은 배역의 고유 식별정보, v-ftr는 해당 배역의 음성 특징, f-img는 해당 배역의 얼굴 이미지, (x1, y1)은 위치 정보이다.
배역 추출 모듈(330)은 대화가 없거나 대화의 대상이 되지 않는 단역 등은 배역 정보를 추출하지 않는다. 배역 추출 모듈(330은 일정한 시간 이하로만 등장하는 등장 인물을 단역으로 판단한다. 예컨대 2초 이하로 등장하는 등장 인물을 단역으로 판단할 수 있다.
시나리오 생성 모듈(350)은 각 장면마다 각 배역의 이동 스크립트, 모션 스크립트 그리고 대본을 추출하여 시나리오 정보를 생성하고 시나리오 정보를 메모리(202)에 저장한다. 구체적으로, 시나리오 생성 모듈(350)은 이동 스크립트 생성 모듈(351), 모션 스크립트 생성 모듈(353) 및 대본 생성 모듈(355)을 포함한다.
이동 스크립트 생성 모듈(351)은 각 장면마다 해당 장면에서 배역들의 위치 이동을 식별하여 이동 스크립트를 생성한다. 이동 스크립트는 장면 식별정보, 배역의 고유 식별정보, 타임 스탬프, 그리고 위치 정보를 포함한다. 즉 시간 대별 각 배역의 이동 위치 정보를 생성하는 것이다.
배역 추출 모듈(330)에서 저장하는 배역의 위치 정보는 각 장면의 시작 초기의 배역의 위치 정보이고, 이동 스크립트에 포함되는 위치 정보는 각 장면의 전개 상황에서 각 배역이 초기 위치에서 시간 대별로 이동할 때 그 이동 위치 정보이다. 예를 들면 하나의 장면에서 A 배역이 걸어가거나 뛰어가는 등의 이동이 있는 경우 배역 추출 모듈(330)에서 추출된 위치 정보는 A 배역의 최초 위치의 정보이고, 이동 스크립트에 포함되는 위치 정보는 A 배역의 걸어가거나 뛰어가는 등의 이동에 따른 위치 정보이다.
이동 스크립트 생성 모듈(351)은 이동 스크립트에 포함되는 위치 정보를 산출할 때 배우의 크기에 대한 이동 로봇(130)의 크기의 비율을 고려하여 위치 정보를 산출한다. 즉, 배우의 키가 180cm이고(남자와 여자(남녀의 구분은 음성 특징에 따라 구분할 수 있음)의 키를 배역 구분없이 미리 설정해 놓거나, 남녀 구분없이 키를 미리 설정해 놓을 수 있음) 이동 거리가 90cm이며 이동 로봇(130)의 키가 30cm인 경우, 해당 이동 로봇(130)의 이동 거리는 15cm로 산출한다.
또한 이동 스크립트 생성 모듈(351)은 이동 로봇(130)들이 역할극을 수행할 무대가 있고 그 무대의 가로/세로 길이가 주어졌을 때 장면 크기 대 배우의 이동 거리 비율에 따라 이동 로봇(130)의 무대 내 이동 거리를 산출할 수 있다. 예를 들어, 장면의 가로 길이를 1로 하고, 그 장면 내에서 배우가 0.5만큼 이동하며, 무대의 길이가 3m인 경우, 이동 로봇(130)의 이동 거리로 1.5m를 산출할 수 있다.
모션 스크립트 생성 모듈(353)은 각 장면마다 해당 장면에서 배역들의 움직임, 즉 모션을 분석하여 모션 스크립트를 생성한다. 모션 스크립트는 장면 식별정보, 배역의 고유 식별정보, 타임 스탬프, 그리고 모션에 관한 정보를 포함한다. 즉 시간 대별 각 배역이 고개를 돌리거나, 팔을 드는 등의 움직임에 대한 정보를 생성하는 것이다. 모션 스크립트의 예는 다음과 같다.
SCENE1
@000211 Char1 <neck : right 90>
위 예에서 SCENE1은 장면의 식별정보이고, 000211은 시점을 나타내는 타임 스탬프이며, Char1은 배역의 고유 식별정보, 그리고 <neck : right 90>는 고개를 오른쪽으로 90도 돌리는 것을 나타내는 모션 정보이다.
대본 생성 모듈(355)은 각 장면마다 해당 장면에서 배역들의 음성을 인식하여 대본 정보를 생성한다. 대본 정보는 장면 식별정보, 배역의 고유 식별정보, 타임 스탬프, 그리고 대본 텍스트를 포함한다. 대본 정보의 예는 다음과 같다.
SCENE1
@000211 Char1 : There's nothing to tell. He's just some guy I work with
@000632 Char2 : come on, you're going out with the guy.
위 예에서 SCENE1은 장면의 식별정보이고, 000211, 000632은 시점을 나타내는 타임 스탬프이며, Char1, 2는 배역의 고유 식별정보, 그리고 나머지는 대본 텍스트이다.
도 4는 본 발명의 일 실시예에 따른 역할극 제어 장치의 역할극 서비스 방법을 설명하는 흐름도이다.
도 4를 참조하면, 역할극 제어 장치(110)는 역할극을 위한 동영상 파일의 재생을 시작하고(S401), 첫번째 장면에서 장면 정보를 추출하여 저장한다(S403). 여기서 장면 정보는 타임 스탬프, 배경 이미지를 포함한다.
역할극 제어 장치(110)는 상기 첫번째 장면에서 음성 인식과 얼굴 인식을 수행하여 배역을 추출하고 그 추출한 배역에 대한 정보를 저장한다(S405). 여기서 배역 정보는 배역을 식별하는 고유 식별정보, 배역의 음성 인식 결과인 음성 특징, 얼굴 인식 결과인 얼굴 이미지, 그리고 각 배역 간의 위치 정보를 포함한다. 이때 역할극 제어 장치(110)는 대화가 없거나 대화의 대상이 되지 않는 단역 등은 배역 정보를 추출하지 않는다.
그리고 역할극 제어 장치(110)는 상기 첫번째 장면에서 배역들의 위치 이동을 식별하여 이동 스크립트를 생성한다(S407). 이동 스크립트는 장면 식별정보, 배역의 고유 식별정보, 타임 스탬프, 그리고 위치 정보를 포함한다. 즉 시간 대별 각 배역의 이동 위치 정보를 생성하는 것이다.
이때 역할극 제어 장치(110)는 이동 스크립트에 포함되는 위치 정보를 산출할 때 배우의 크기에 대한 이동 로봇(130)의 크기의 비율을 고려하여 위치 정보를 산출한다. 즉, 배우의 키가 180cm이고 이동 거리가 90cm이며 이동 로봇(130)의 키가 30cm인 경우, 해당 이동 로봇(130)의 이동 거리는 15cm로 산출한다.
또한 역할극 제어 장치(110)는 이동 로봇(130)들이 역할극을 수행할 무대가 있고 그 무대의 가로/세로 길이가 주어졌을 때 장면 크기 대 배우의 이동 거리 비율에 따라 이동 로봇(130)의 무대 내 이동 거리를 산출할 수 있다. 예를 들어, 장면의 가로 길이를 1로 하고, 그 장면 내에서 배우가 0.5만큼 이동하며, 무대의 길이가 3m인 경우, 이동 로봇(130)의 이동 거리로 1.5m를 산출할 수 있다.
다음으로, 역할극 제어 장치(110)는 상기 첫번째 장면에서 배역들의 움직임, 즉 모션을 분석하여 모션 스크립트를 생성한다(S409). 모션 스크립트는 장면 식별정보, 배역의 고유 식별정보, 타임 스탬프, 그리고 모션에 관한 정보를 포함한다. 즉 시간 대별 각 배역이 고개를 돌리거나, 팔을 드는 등의 움직임에 대한 정보를 생성하는 것이다.
또한, 역할극 제어 장치(110)는 상기 첫번째 장면에서 배역들의 음성을 인식하여 대본 정보를 생성한다(S411). 대본 정보는 장면 식별정보, 배역의 고유 식별정보, 타임 스탬프, 그리고 대본 텍스트를 포함한다.
이와 같이 동영상의 첫번째 장면이 시작되면, 역할극 제어 장치(110)는 배역 정보, 이동 스크립트, 모션 스크립트 및 대본 정보를 생성하고, 이러한 과정을 해당 첫번째 장면의 전개 과정에서 계속 수행한다. 이후 장면 전환이 이루어지면 역할극 제어 장치(110)는 동영상 재생이 종료된 것인지 확인하고(S413, S415), 동영상 재생이 종료되지 않고 새로운 장면으로 전환된 경우, 전술한 과정을 반복 수행한다. 따라서 동영상 재생이 완료되면, 각 장면별로 장면 정보, 배역 정보, 이동 스크립트, 모션 스트립트 및 대본 정보가 생성되어 저장된다.
이와 같이 역할극을 위한 데이터의 생성이 완료된 후, 역할극 제어 장치(110)는 사용자로부터 복수의 이동 로봇(130)에 대한 배역 설정 정보를 입력받는다. 이때, 역할극 제어 장치(110)는 복수의 이동 로봇(130)의 리스트 정보를 구비하고 상기 장면별 배역 정보를 토대로 각 이동 로봇(130)에 대한 배역 설정을 위한 배역 리스트를 사용자에게 제공하여 사용자로부터 각 이동 로봇(130)의 배역 설정을 입력받는다.
각 이동 로봇(130)에 대한 배역 설정이 완료되면, 역할극 제어 장치(110)는 그 배역 설정 정보, 그리고 상기 역할극을 위한 데이터, 즉 장면 정보, 배역 정보, 이동 스크립트, 모션 스트립트 및 대본 정보를 복수의 이동 로봇(130)으로 전송한 후 역할극의 시작 및 종료를 제어한다. 복수의 이동 로봇(130)은 자신의 배역 설정 정보를 확인한 후, 상기 역할극을 위한 데이터를 토대로 각 장면마다 자신에게 할당된 배역의 역할을 수행한다. 즉, 타임 스탬프를 참조하여 정해진 시점에 대사를 말하고, 고개를 돌리는 등의 모션을 취하며, 정해진 경로로 이동하는 등의 역할을 수행한다. 역할극 제어 장치(110)는 역할극의 시작시 장면 정보에 기초하여 시간 순서에 따라 각 장면의 배경 이미지를 무대 스크린에 투사할 수 있고, 또는 이동 로봇(130) 중 스태프로 지정된 로봇이 각 장면의 배경 이미지를 무대 스크린에 투사할 수 있다.
이동 로봇(130)은 디스플레이를 구비하여 배역 정보에 포함된 배역의 얼굴 이미지를 상기 디스플레이에 표시할 수 있다. 즉 이동 로봇(130)에 할당된 배역의 얼굴 이미지를 디스플레이에 표시함으로써 관람자들이 이동 로봇(130)의 배역 정보를 확인할 수 있도록 하는 것이다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.
본 명세서는 많은 특징을 포함하는 반면, 그러한 특징은 본 발명의 범위 또는 특허청구범위를 제한하는 것으로 해석되어서는 아니된다. 또한, 본 명세서에서 개별적인 실시예에서 설명된 특징들은 단일 실시예에서 결합되어 구현될 수 있다. 반대로, 본 명세서에서 단일 실시예에서 설명된 다양한 특징들은 개별적으로 다양한 실시예에서 구현되거나, 적절한 부결합(subcombination)에서 구현될 수 있다.
도면에서 동작들이 특정한 순서로 설명되었으나, 그러한 동작들이 도시된 바와 같은 특정한 순서로 수행되는 것으로, 또는 일련의 연속된 순서, 또는 원하는 결과를 얻기 위해 모든 설명된 동작이 수행되는 것으로 이해되어서는 아니된다. 어떤 환경에서, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 아울러, 상술한 실시예에서 다양한 시스템 구성요소의 구분은 모든 실시예에서 그러한 구분을 요구하지 않는 것으로 이해되어야 한다. 상술한 프로그램 구성요소 및 시스템은 일반적으로 단일 소프트웨어 제품 또는 멀티플 소프트웨어 제품에 패키지로 구현될 수 있다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
110 : 역할극 제어 장치 130 : 로봇
202 : 메모리 206 : 프로세서
208 : 주변 인터페이스 212 : 디스플레이
214 : 입력 장치 220 : 통신 회로

Claims (16)

  1. 역할극 제어 장치에 의한 이동 로봇을 이용한 역할극 서비스 방법에 있어서,
    동영상의 제 1 장면을 분석하여 배역 정보를 추출하여 저장하는 단계;
    상기 제 1 장면을 분석하여 배역들의 모션 스크립트를 생성하는 단계;
    상기 제 1 장면을 분석하여 배역들의 대본 정보를 생성하는 단계;
    상기 동영상의 마지막 장면까지 장면마다 상기 단계들을 반복 수행하는 단계; 및
    반복 수행에 따라 생성된, 상기 배역 정보, 상기 모션 스크립트 및 상기 대본 정보를 적어도 하나 이상의 로봇으로 전송하는 단계;를 포함하는 역할극 서비스 방법.
  2. 제 1 항에 있어서,
    상기 반복 수행하는 단계 이전에,
    상기 제 1 장면을 분석하여 배역들의 이동 스크립트를 생성하는 단계;를 더 포함하고,
    상기 전송하는 단계는,
    상기 이동 스크립트를 더 전송하는 것을 특징으로 하는 역할극 서비스 방법.
  3. 제 2 항에 있어서,
    상기 이동 스크립트는,
    장면 식별정보와, 시간에 따른 각 배역별 이동 위치 정보를 포함하는 것을 특징으로 하는 역할극 서비스 방법.
  4. 제 1 항에 있어서,
    상기 배역 정보는,
    장면 식별정보, 배역 식별정보, 배역 간 위치 정보, 배역의 음성 특징을 포함하는 것을 특징으로 하는 역할극 서비스 방법.
  5. 제 4 항에 있어서,
    상기 배역 정보는,
    배역들의 얼굴 이미지를 더 포함하는 것을 특징으로 하는 역할극 서비스 방법.
  6. 제 5 항에 있어서,
    상기 로봇은,
    상기 얼굴 이미지를 디스플레이 장치에 표시하고, 상기 음성 특징을 이용하여 대본을 음성 출력하는 것을 특징으로 하는 역할극 서비스 방법.
  7. 제 1 항에 있어서,
    상기 모션 스크립트는, 장면 식별정보와, 시간에 따른 각 배역별 모션 정보를 포함하고,
    상기 대본 정보는, 장면 식별정보와, 시간에 따른 각 배역별 대본 텍스트를 포함하는 것을 특징으로 하는 역할극 서비스 방법.
  8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 반복 수행하는 단계 이전에,
    상기 제 1 장면의 배경 이미지를 저장하는 단계;를 더 포함하고,
    상기 전송하는 단계 이후에,
    장면의 시간 순서에 따라 스크린에 상기 배경 이미지를 투사하는 단계;를 더 포함하는 것을 특징으로 하는 역할극 서비스 방법.
  9. 하나 이상의 프로세서;
    메모리; 및
    상기 메모리에 저장되어 있으며 상기 하나 이상의 프로세서에 의하여 실행되도록 구성되는 하나 이상의 프로그램을 포함하는 역할극 제어 장치로서,
    상기 프로그램은,
    동영상 파일을 분석하여 장면별 배역 정보를 추출하여 저장하는 배역 추출 모듈;
    상기 동영상 파일을 분석하여 장면별로 배역들의 모션 스크립트를 생성하는 모션 스크립트 생성 모듈; 및
    상기 동영상 파일을 분석하여 장면별로 배역들의 대본 정보를 생성하는 대본 생성 모듈;을 포함하고,
    상기 배역 정보, 상기 모션 스크립트 및 상기 대본 정보를 적어도 하나 이상의 로봇으로 전송하는 것을 특징으로 하는 역할극 제어 장치.
  10. 제 9 항에 있어서,
    상기 프로그램은,
    상기 동영상 파일을 분석하여 장면별로 배역들의 이동 스크립트를 생성하는 이동 스크립트 생성 모듈;을 더 포함하고,
    상기 이동 스크립트를 더 전송하는 것을 특징으로 하는 역할극 제어 장치.
  11. 제 10 항에 있어서,
    상기 이동 스크립트는,
    장면 식별정보와, 시간에 따른 각 배역별 이동 위치 정보를 포함하는 것을 특징으로 하는 역할극 제어 장치.
  12. 제 9 항에 있어서,
    상기 배역 정보는,
    장면 식별정보, 배역 식별정보, 배역 간 위치 정보, 배역의 음성 특징을 포함하는 것을 특징으로 하는 역할극 제어 장치.
  13. 제 12 항에 있어서,
    상기 배역 정보는,
    배역들의 얼굴 이미지를 더 포함하는 것을 특징으로 하는 역할극 제어 장치.
  14. 제 13 항에 있어서,
    상기 로봇은,
    상기 얼굴 이미지를 디스플레이 장치에 표시하고, 상기 음성 특징을 이용하여 대본을 음성 출력하는 것을 특징으로 하는 역할극 제어 장치.
  15. 제 9 항에 있어서,
    상기 모션 스크립트는, 장면 식별정보와, 시간에 따른 각 배역별 모션 정보를 포함하고,
    상기 대본 정보는, 장면 식별정보와, 시간에 따른 각 배역별 대본 텍스트를 포함하는 것을 특징으로 하는 역할극 제어 장치.
  16. 제 9 항 내지 제 15 항 중 어느 한 항에 있어서,
    상기 프로그램은,
    동영상 파일을 분석하여 장면별 배경 이미지를 저장하고, 장면의 시간 순서에 따라 스크린에 상기 배경 이미지를 투사하는 것을 특징으로 하는 역할극 제어 장치.
KR1020130016914A 2013-02-18 2013-02-18 로봇을 이용한 역할극 서비스 방법 및 이를 위한 장치 Withdrawn KR20140103489A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130016914A KR20140103489A (ko) 2013-02-18 2013-02-18 로봇을 이용한 역할극 서비스 방법 및 이를 위한 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130016914A KR20140103489A (ko) 2013-02-18 2013-02-18 로봇을 이용한 역할극 서비스 방법 및 이를 위한 장치

Publications (1)

Publication Number Publication Date
KR20140103489A true KR20140103489A (ko) 2014-08-27

Family

ID=51747751

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130016914A Withdrawn KR20140103489A (ko) 2013-02-18 2013-02-18 로봇을 이용한 역할극 서비스 방법 및 이를 위한 장치

Country Status (1)

Country Link
KR (1) KR20140103489A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160120842A (ko) 2015-04-08 2016-10-19 (주)이산솔루션 로봇을 이용한 공연 시스템
CN119398178A (zh) * 2024-12-31 2025-02-07 北京通用人工智能研究院 一种基于具身智能体系统的教学方法和装置
US12596349B2 (en) 2022-01-26 2026-04-07 Vivek Pai Computer-automated scripted electronic actor control

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160120842A (ko) 2015-04-08 2016-10-19 (주)이산솔루션 로봇을 이용한 공연 시스템
US12596349B2 (en) 2022-01-26 2026-04-07 Vivek Pai Computer-automated scripted electronic actor control
CN119398178A (zh) * 2024-12-31 2025-02-07 北京通用人工智能研究院 一种基于具身智能体系统的教学方法和装置

Similar Documents

Publication Publication Date Title
US11259091B2 (en) Video playing control method and apparatus, and video playing system
US20210029305A1 (en) Method and apparatus for adding a video special effect, terminal device and storage medium
JP2019071048A (ja) 一人称視点でのディープラーニングベースのハンドジェスチャー認識のためのシステムおよび方法
US20210051374A1 (en) Video file playing method and apparatus, and storage medium
WO2023071917A1 (zh) 虚拟对象互动方法、装置、存储介质及计算机程序产品
KR20140111786A (ko) 로봇을 이용한 공연 서비스 방법 및 이를 위한 장치
CN107038246A (zh) 生成逃生路线的方法、移动终端、系统及可读存储介质
JP6721727B1 (ja) 情報処理装置の制御プログラム、情報処理装置の制御方法、及び、情報処理装置
JP2022531055A (ja) インタラクティブ対象の駆動方法、装置、デバイス、及び記録媒体
CN119169157B (zh) 一种虚拟人视频的生成方法、装置、设备及存储介质
KR20140103489A (ko) 로봇을 이용한 역할극 서비스 방법 및 이를 위한 장치
KR20110099414A (ko) 휴대용 단말기에서 애니메이션 효과를 제공하기 위한 장치 및 방법
CN113138765A (zh) 交互方法、装置、设备以及存储介质
KR20210124306A (ko) 인터랙티브 대상의 구동 방법, 장치, 디바이스 및 기록 매체
US20210264673A1 (en) Electronic device for location-based ar linking of object-based augmentation contents and operating method thereof
KR102743338B1 (ko) 비디오 게임 오버레이
KR20220111346A (ko) 경기 영상으로부터 타겟 영상 생성 시 불필요한 영상을 제거하기 위한 컴퓨터 시스템 및 그의 방법
US20170169572A1 (en) Method and electronic device for panoramic video-based region identification
CN115604416B (zh) 一种录播课程生成方法、装置、设备和存储介质
CN118607576A (zh) 多模态数据生成方法、装置、系统、电子设备和存储介质
KR102172611B1 (ko) 정지영상 또는 동영상 인식을 이용한 증강현실 서비스 제공 방법 및 그 시스템
JP7330518B2 (ja) ゲームシステム、ゲームシステムの制御方法及びゲームプログラム
CN113658213A (zh) 形象呈现方法、相关装置及计算机程序产品
EP3477434B1 (en) Information processing device, information processing method, and program
Takatsu et al. A wearable action cueing system for theatrical performance practice

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20130218

PG1501 Laying open of application
PC1203 Withdrawal of no request for examination
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid