KR20120129293A - 증강현실 기반 인터렉티브 컨텐츠 생성 방법 및 시스템 - Google Patents

증강현실 기반 인터렉티브 컨텐츠 생성 방법 및 시스템 Download PDF

Info

Publication number
KR20120129293A
KR20120129293A KR1020110047457A KR20110047457A KR20120129293A KR 20120129293 A KR20120129293 A KR 20120129293A KR 1020110047457 A KR1020110047457 A KR 1020110047457A KR 20110047457 A KR20110047457 A KR 20110047457A KR 20120129293 A KR20120129293 A KR 20120129293A
Authority
KR
South Korea
Prior art keywords
content
image
event
augmented reality
based interactive
Prior art date
Application number
KR1020110047457A
Other languages
English (en)
Inventor
김관식
Original Assignee
주식회사 뉴이레디자인
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 뉴이레디자인 filed Critical 주식회사 뉴이레디자인
Priority to KR1020110047457A priority Critical patent/KR20120129293A/ko
Publication of KR20120129293A publication Critical patent/KR20120129293A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H04N5/7408—Direct viewing projectors, e.g. an image displayed on a video CRT or LCD display being projected on a screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 출력수단을 통해 제공되는 배경 컨텐츠에 참여자의 영상을 합성시키는 한편 컨텐츠 참여자의 동작 및/또는 영상 정보가 배경 컨텐츠의 내용과 상호 작용하여 컨텐츠 참여자가 컨텐츠에 적극적으로 참여할 수 있도록 한 증강현실 기반 인터렉티브 컨텐츠 생성 방법 및 시스템에 관한 것이다. 본 발명의 일 양상에 따른 증강현실 기반 인터렉티브 컨텐츠 생성 방법은 컨텐츠 참여자의 영상과 동작을 추출하는 단계; 컨텐츠 참여자의 영상을 배경 컨텐츠와 실시간으로 합성하여 크로마키 영상을 생성하는 단계; 생성된 크로마키 영상을 출력하는 단계; 동작의 좌표값을 계산하고 좌표값을 키 값으로 변환하는 단계; 및 키 값이 배경 컨텐츠에 포함된 이벤트의 키 값에 해당하는 경우, 크로마키 영상에서 이벤트를 실행하는 단계를 포함한다.

Description

증강현실 기반 인터렉티브 컨텐츠 생성 방법 및 시스템{A METHOD AND A SYSTEM FOR GENERATING INTERACTIVE CONTENTS BASED ON AUGMENTED REALITY}
본 발명은 증강현실 기반 인터렉티브(interactive) 컨텐츠 생성 방법 및 시스템에 관한 것으로서, 더욱 상세하게는 출력수단을 통해 제공되는 배경 컨텐츠에 참여자의 영상을 합성시키는 한편 컨텐츠 참여자의 동작 및/또는 영상 정보가 배경 컨텐츠의 내용과 상호 작용하여 컨텐츠 참여자가 컨텐츠에 적극적으로 참여할 수 있도록 한 증강현실 기반 인터렉티브 컨텐츠 생성 방법 및 시스템에 관한 것이다.
프로젝터(projector)는 영사장치의 한 가지로 사진, 그림, 문자 등의 컨텐츠를 렌즈를 통해서 스크린 위에 확대 투영하여 여러 사람에게 동시에 보여 주는 광학장치이다.
프로젝터는 렌즈와 스크린 사이의 영상 경로를 기준으로 렌즈를 통과한 영상이 스크린에 바로 비추는 방식의 다이렉트 프로젝터(direct projector)와, 렌즈를 통과한 영상이 거울에서 반사된 후 스크린에 비추는 방식의 리플렉션 프로젝터(reflection projector)로 구분된다. 또한, 프로젝터는 렌즈의 위치를 기준으로 오버헤드 프로젝터(overhead projector)와 언더헤드 프로젝터(underhead projector)로 구분되기도 한다.
그런데 종래의 프로젝터에서 스크린을 향해 투사 또는 송출되는 컨텐츠의 대부분은 미리 제작된 상태에서 일방적으로 컨텐츠 체험자들에게 제공되기 때문에 컨텐츠 참여자들이 컨텐츠에 능동적인 참여를 하는 것이 불가능하였다. 그 결과, 컨텐츠 체험자들은 일방적으로 투사 또는 송출되는 컨텐츠를 관람하는 데에 만족해야만 하고, 컨텐츠 체험자들은 자신의 의지와 상관없이 관람하게 되는 디지털 문화 속에서 피로감을 느끼게 되고 쉽게 지루함을 느끼게 되는 문제점이 있다.
대한민국특허청 등록특허공보 10-0611803호 대한민국특허청 등록특허공보 10-0686525호
본 발명은 전술한 바와 같은 종래기술의 제반 문제점을 해결하기 위해서 창안이 된 것으로서, 출력수단을 통해 제공되는 배경 컨텐츠에 참여자의 영상을 합성시키는 한편 컨텐츠 참여자의 동작 및/또는 영상 정보가 배경 컨텐츠의 내용과 상호 작용하여 컨텐츠 참여자가 컨텐츠에 적극적으로 참여할 수 있도록 한 증강현실 기반 인터렉티브 컨텐츠 생성 방법 및 시스템을 제공하는 데 목적이 있다.
본 발명의 다른 목적은 영상출력수단을 통해 제공되는 컨텐츠가 학습용으로 사용될 경우에 컨텐츠 참여자로 하여금 능동적으로 컨텐츠에 참여하여 학습 효과를 높일 뿐만 아니라 학습 과정이 지루하지 않도록 한 증강현실 기반 인터렉티브 컨텐츠 생성 방법 및 시스템을 제공하는 데 있다.
본 발명의 목적은 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 목적의 달성을 위해서 본 발명의 실시 예는 다음과 같이 이루어질 수 있다.
본 발명의 일 양상에 따른 증강현실 기반 인터렉티브 컨텐츠 생성 방법은 컨텐츠 참여자의 영상과 동작을 추출하는 단계; 컨텐츠 참여자의 영상을 배경 컨텐츠와 실시간으로 합성하여 크로마키 영상을 생성하는 단계; 생성된 크로마키 영상을 출력하는 단계; 동작의 좌표값을 계산하고 좌표값을 키 값으로 변환하는 단계; 및 키 값이 배경 컨텐츠에 포함된 이벤트의 키 값에 해당하는 경우, 크로마키 영상에서 이벤트를 실행하는 단계를 포함한다.
상기 컨텐츠 참여자의 동작의 추출은 모션감지센서에 의해 수행될 수 있다.
상기 컨텐츠 참여자의 영상의 추출은 동영상 카메라에 의해 수행될 수 있다.
상기 컨텐츠 참여자의 동작은 아바타로 배경 컨텐츠에 합성이 이루어질 수 있다.
상기 컨텐츠 참여자의 동작은 실제 영상으로 배경 컨텐츠에 합성이 이루어질 수 있다.
상기 이벤트는 배경 컨텐츠에 링크된 화면이 활성화되는 이벤트일 수 있다.
상기 이벤트는 배경 컨텐츠에 링크된 음성 파일이 실행되게 할 수 있다.
본 발명의 다른 양상에 따른 증강현실 기반 인터렉티브 컨텐츠 생성 시스템은 컨텐츠 참여자의 영상과 동작을 추출하기 위한 영상및모션추출유닛; 및 제어용 컴퓨터; 를 포함하고, 상기 제어용 컴퓨터는 컨텐츠 참여자의 영상을 배경 컨텐츠와 실시간으로 합성하여 크로마키 영상을 생성하는 크로마키 영상 생성부; 생성된 크로마키 영상을 출력하는 영상 출력부; 동작의 좌표값을 계산하고 좌표값을 키 값으로 변환하는 좌표값처리부; 키 값이 배경 컨텐츠에 포함된 이벤트의 키 값에 해당하는 경우 크로마키 영상에서 이벤트를 실행하는 이벤트 처리부; 를 포함한다.
상기 영상및모션추출유닛은 모션감지센서일 수 있다.
상기 영상및모션추출유닛은 영상을 추출하기 위한 동영상 카메라와 상기 동작을 추출하기 위한 모션감지센서를 포함할 수 있다.
상기 크로마키 영상 생성부는 컨텐츠 참여자의 동작을 아바타로 배경 컨텐츠와 합성할 수 있다.
상기 크로마키 영상 생성부는 컨텐츠 참여자의 동작의 실제 영상을 상기 배경 컨텐츠와 합성할 수 있다.
상기 이벤트는 배경 컨텐츠에 링크된 화면이 활성화되는 이벤트일 수 있다.
상기 이벤트는 상기 배경 컨텐츠에 링크된 음성 파일이 실행되는 이벤트일 수 있다.
본 발명의 실시 예에 따른 증강현실 기반 인터렉티브 컨텐츠 생성 방법 및 시스템에 의하면 컨텐츠 참여자의 동작 또는 영상이 배경 컨텐츠에 실시간으로 합성되도록 하며 컨텐츠 참여자의 동작 또는 영상이 배경 컨텐츠에 숨겨진 이벤트가 활성화되도록 하는 방식을 통해서 컨텐츠 참여자가 적극적이고 능동적으로 컨텐츠에 참여할 수 있게 하는 효과가 있다.
본 발명의 실시 예에 따른 증강현실 기반 인터렉티브 컨텐츠 생성 방법 및 시스템에 의하면 배경 컨텐츠가 학습용으로 사용될 경우에 컨텐츠 참여자인 학습자들로 하여금 능동적인 참여를 유도할 수 있음에 따라서 학습자들이 지루하지 않고 학습에 집중할 수 있도록 하는 효과가 있다.
본 발명의 실시 예에 따른 증강현실 기반 인터렉티브 컨텐츠 생성 방법 및 시스템에 의하면 체험자들을 컨텐츠의 구성원으로 초대하여 컨텐츠를 직접 컨트롤할 수 있는 동기를 부여하고, 이를 통해 디지털 컨텐츠들이 주는 피로감, 스트레스를 최소화시키고 체험자와 컨텐츠 간의 친밀감을 향상시킬 수 있다.
본 발명의 효과는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1 은 본 발명에 따른 증강현실 기반 인터렉티브 컨텐츠 생성 방법을 설명하기 위한 도면이다.
도 2 는 본 발명에 따른 증강현실 기반 인터렉티브 컨텐츠 생성 시스템을 설명하기 위한 도면이다.
도 3 은 본 발명에 따른 증강현실 기반 인터렉티브 컨텐츠 생성 시스템의 사용 예를 보인 도면이다.
도 4 는 본 발명에 따른 증강현실 기반 인터렉티브 컨텐츠 생성 시스템이 오버헤드 리플렉션 프로젝터에 적용된 상태를 보인 도면이다.
본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 뒤에 설명이 되는 실시 예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐를 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 뒤에 설명되는 용어들은 본 발명에서의 구조, 역할 및 기능 등을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.
그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 오로지 특허청구범위에 기재된 청구항의 범주에 의하여 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…유닛", "…부" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
한편, 본 발명의 실시 예에 있어서, 각 구성요소들, 기능 블록들 또는 수단들은 하나 또는 그 이상의 하부 구성요소로 구성될 수 있으며, 각 구성요소들이 수행하는 전기, 전자, 기계적 기능들은 전자회로, 집적회로, ASIC(Application Specific Integrated Circuit) 등 공지된 다양한 소자들 또는 기계적 요소들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수도 있다.
또한, 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 예컨데, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이하에서는 본 발명의 일 양상에 따른 증강현실 기반 인터렉티브 컨텐츠 생성 방법에 대해서 첨부된 도면을 참조하면서 더욱 구체적으로 설명한다.
도 1 은 본 발명에 따른 증강현실 기반 인터렉티브 컨텐츠 생성 방법을 설명하기 위한 흐름도이다.
도 1 에 도시된 바와 같이 본 발명에 따른 증강현실 기반 인터렉티브 컨텐츠 생성 방법은 컨텐츠 참여자의 영상과 동작을 추출하는 단계(S100), 컨텐츠 참여자의 영상을 배경 컨텐츠에 실시간으로 합성하여 크로마키 영상을 생성하는 단계(S200), 생성된 크로마키 영상을 출력하는 단계(S300), 컨텐츠 참여자의 동작의 좌표값을 계산하고 좌표값을 키 값으로 변환하는 단계(S400), 키 값이 배경 컨텐츠에 포함된 이벤트의 키 값에 해당하는 경우 크로마키 영상에서 이벤트를 실행하는 단계(S500)를 포함하여 이루어질 수 있다.
본 발명의 일 양상에 따른 증강현실 기반 인터렉티브 컨텐츠 생성 방법을 더욱 구체적으로 설명하는 과정에서는 설명의 편의를 위해서 도 2 및 도 3 에 표시된 도면부호들이 인용될 수 있다.
전술한 바와 같은 증강현실 기반 인터렉티브 컨텐츠 생성 방법의 실행을 위한 배경 컨텐츠(C)에는 컨텐츠 제공자에 의해서 사전에 준비된 사진, 영상, 문자 등이 포함될 수 있다.
한편, 전술한 배경 컨텐츠(C)가 출력되는 출력수단(300)으로는 도 3 에 도시된 바와 같이 프로젝트(310)와 스크린(320)으로 이루어지는 출력수단뿐만 아니라 LCD 모니터 등 다양한 형태의 출력수단들이 적용될 수 있다.
컨텐츠 참여자의 동작과 영상을 추출하는 단계(S100)에서 컨텐츠 참여자의 동작의 추출은 도 3 에 도시된 예와 같이 모션감지센서(210)를 통해서 이루어질 수 있다. 상기 모션감지센서(210)는 적외선 카메라 방식으로 피사체의 좌표를 카메라로 읽어 들일 수 있는 장비가 적용될 수 있다. 예를 들면, 마이크로소프트사에서 게임용으로 제작하여 공급하고 있는 키넥트 카메라(kinect camera)가 적용될 수 있다. 이 키넥트 카메라는 피사체의 손, 손가락, 팔다리, 무릎, 허리, 엉덩이의 움직임을 인식하는 모션 트랙킹(motion tracking) 기능을 갖추고 있으며, 피사체로부터 지정된 모션이 인식될 경우에는 그에 해당하는 이벤트(event)를 발생시키는 기능을 갖추고 있다.
한편, 전술한 컨텐츠 참여자의 동작과 영상을 추출하는 단계(S100)에서 컨텐츠 참여자의 영상의 추출은 동영상 카메라(220)에 의해 수행될 수 있도록 할 수 있다. 이와 같은 동영상 카메라(220)를 통해서 컨텐츠 참여자의 영상을 추출하게 될 경우에는 모션감지센서(210)에서 추출되는 컨텐츠 참여자의 영상에 비하여 더 고화질의 영상을 얻을 수 있다. 즉, 이 경우에는 컨텐츠 참여자의 동작은 모션감지센서(210)를 통해 추출하고, 컨텐츠 참여자의 영상은 동영상 카메라(220)를 통해 추출할 수 있다.
전술한 과정에서 추출된 참여자의 동작 및 영상은 크로마키 영상을 생성하는 단계(S200)에서 배경 컨텐츠(C)와 실시간으로 합성이 이루어지게 된다.
크로마키 영상의 생성 단계(S200)에서는 전술한 키넥트 카메라와 연동하여 동작하는 벤투스 솔루션(Ventuz Solution)이 이용될 수 있다. 이 벤투스 솔루션은 키넥트 카메라와 연동하여 여러 다양한 모션과 동작으로 키 값을 발생시킬 수 있게 된다. 즉, 특정 이벤트의 실행이 공간 터치(space touch) 또는 에어 터치(air touch)의 신호로써 가능하게 된다.
한편, 본 발명의 실시 예에 따른 증강현실 기반 인터렉티브 컨텐츠 생성 방법에서는 전술한 벤투스 솔루션을 대신하여 vvvv, orad, so touch, beyond hd 등의 호환가능한 프로그램이 이용될 수도 있다.
전술한 단계에서 생성된 크로마키 영상은 출력수단을 통해서 출력이 된다(S300). 이때, 크로마키 영상은 여러 개의 출력수단을 통해서 동시에 출력될 수도 있다.
그리고 모션감지센서(210)에서 추출된 컨텐츠 참여자의 동작은 아바타로 배경 컨텐츠(C)에 합성이 이루어질 수 있다. 또한, 모션감지센서(210)에서 추출된 컨텐츠 참여자의 동작은 도 3 에 도시된 바와 같이 실제 영상으로 배경 컨텐츠(C)에 포함될 수 있다.
한편, 모션감지센서(210)에서 추출된 컨텐츠 참여자의 동작의 좌표값을 계산하고, 그 좌표값을 키 값으로 변환하는 단계(S400)가 수행된다. 이 단계에서, 컨텐츠 참여자의 동작의 좌표값을 계산하고, 그 좌표값을 키 값으로 변환하는 과정은 벤투스 솔루션과 키넥트 카메라의 연동에 의해서 자동으로 이루어지게 된다.
그리고 구해진 키 값이 배경 컨텐츠(C)에 포함된 이벤트의 키 값에 해당되는 경우에는 크로마키 영상에서 이벤트가 실행이 된다(S500). 이때, 이벤트는 배경 컨텐츠(C)에 링크된 다른 화면이 활성화되는 이벤트로 이루어질 수 있다. 즉, 컨텐츠 참여자의 동작에서 얻어진 키 값이 이벤트의 키 값에 해당하게 되면, 해당 이벤트가 실행이 되면서 링크된 화면이 활성화되어 출력수단(300)으로 출력될 수 있다.
또한, 이벤트는 배경 컨텐츠(C)에 링크된 음성 파일이 실행되도록 하는 이벤트일 수 있다. 즉, 컨텐츠 참여자의 동작에서 얻어진 키 값이 이벤트의 키 값에 해당하게 되면, 해당 이벤트가 실행이 되면서 링크된 음성 파일이 활성화되면서 음성이 출력될 수 있다. 예를 들어, 영어 학습용으로 사용되는 배경 컨텐츠에 이벤트의 하나로써 사과가 표시될 경우, 컨텐츠 참여자의 손이 사과가 위치된 키 값에 해당하는 위치로 향하게 되면 이벤트가 실행이 되면서 "apple"이라는 음성이 출력될 수 있다. 이 경우, 초보 영어 학습자로 하여금 영어단어 학습에 더욱 능동적이고 적극적인 참여를 유도하게 되는 효과를 거둘 수 있다.
이하에서는 본 발명이 다른 양상에 따른 증강현실 기반 인터렉티브 컨텐츠 생성 시스템을 첨부된 도 2 및 도 3 을 참고하면서 더욱 구체적으로 설명한다.
도 2는 본 발명의 다른 양상에 따른 증강현실 기반 인터렉티브 컨텐츠 생성 시스템을 설명하기 위한 도면이고, 도 3 은 본 발명의 다른 양상에 따른 증강현실 기반 인터렉티브 컨텐츠 생성 시스템의 사용 예를 보인 도면이다.
본 발명에 따른 증강현실 기반 인터렉티브 컨텐츠 생성 시스템은 컨텐츠 참여자의 영상과 동작을 추출하기 위한 영상및모션추출유닛(200)과 제어용 컴퓨터(100)를 포함하여 구성된다.
전술한 영상및모션추출유닛(200)은 모션감지센서를 포함하여 이루어질 수 있다.
또한, 영상및모션추출유닛(200)에는 모션감지센서(210) 이외에도 컨텐츠 참여자의 영상을 추출하기 위한 동영상 카메라(220)가 포함될 수 있다. 이와 같은 동영상 카메라(220)를 통해서 컨텐츠 참여자의 영상을 추출하게 될 경우에는 모션감지센서(210)에서 추출되는 컨텐츠 참여자의 영상에 비하여 더 고화질의 영상을 얻을 수 있다.
한편, 제어용 컴퓨터(100)는 컨텐츠 참여자의 영상을 배경 컨텐츠(C)와 실시간으로 합성하여 크로마키 영상을 생성하는 크로마키 영상 생성부(110), 생성된 크로마키 영상을 출력하는 영상 출력부(120), 컨텐츠 참여자의 동작의 좌표값을 계산하고 좌표값을 키 값으로 변환하는 좌표값처리부(130), 구해진 키 값이 배경 컨텐츠(C)에 포함된 이벤트의 키 값에 해당하는 경우 크로마키 영상에서 이벤트를 실행하는 이벤트 처리부(140)를 포함하여 구성될 수 있다.
전술한 크로마키 영상 생성부(110)에서는 모션감지센서(210)에서 입력된 컨텐츠 참여자의 영상을 사전에 제작된 배경 컨텐츠(C)에 실시간으로 합성시켜 크로마키 영상을 생성하게 된다. 이 과정에서 컨텐츠 참여자의 후방에 설치된 블루 스크린(400)의 정보는 제거된다.
한편, 크로마키 영상 생성부(110)는 컨텐츠 참여자의 동작을 아바타로써 배경 컨텐츠(C)에 합성되게 할 수 있다. 또한, 컨텐츠 참여자의 동작은 크로마키 영상 생성부(110)를 통해서 실제 양상으로 배경 컨텐츠(C)에 합성이 이루어질 수 있다.
그리고 전술한 영상 출력부(120)는 프로젝터(310)와 스크린(320)의 조합으로 이루어지는 출력수단(300)으로 이루어질 수도 있지만, LCD 모니터 등과 같은 다양한 출력수단이 사용될 수도 있다.
본 발명의 다른 양상에 따른 증강현실 기반 인터렉티브 컨텐츠 생성 시스템에서 좌표값처리부(130)는 키넥트 카메라와 벤투스 솔루션 등의 연동에 의해서 컨텐츠 참여자의 동작이 이루어지는 좌표값을 구하고, 이 좌표값을 키 값으로 변환되게 할 수 있다. 한편, 본 발명의 실시 예에 따른 증강현실 기반 인터렉티브 컨텐츠 생성 방법에서는 전술한 벤투스 솔루션을 대신하여 vvvv, orad, so touch, beyond hd 등의 호환가능한 프로그램이 이용될 수도 있다.
한편, 본 발명의 다른 양상에 따른 증강현실 기반 인터렉티브 컨텐츠 생성 시스템에서 이벤트 처리부(140)에서는 구해진 키 값이 배경 컨텐츠(C)에 포함된 이벤트의 키 값에 해당될 경우에, 크로마키 영상에서 해당 이벤트가 실행되도록 하는 기능을 하게 된다. 이때, 이벤트는 배경 컨텐츠(C)에 링크된 화면이 활성화되도록 하는 이벤트로 이루어질 수 있다. 즉, 컨텐츠 참여자의 동작에서 얻어진 키 값이 이벤트의 키 값에 해당하게 되면, 해당 이벤트가 실행이 되면서 링크된 화면이 활성화되어 출력수단으로 출력되도록 이루어질 수 있다.
또한, 이때의 이벤트는 배경 컨텐츠에 링크된 음성 파일이 실행되도록 하는 이벤트로 이루어질 수 있다. 즉, 컨텐츠 참여자의 동작에서 얻어진 키 값이 이벤트의 키 값에 해당하게 되면, 해당 이벤트가 실행이 되면서 링크된 음성 파일이 활성화되면서 음성이 출력될 수 있다.
본 발명의 실시 예에 따른 증강현실 기반 인터렉티브 컨텐츠 생성 방법 및 시스템에서의 이벤트는 위의 예에 그치는 것이 아니라 다양한 형태로 적용될 수 있다.
한편, 도3 에 표시된 도면부호 500 은 모션감지센서(210) 및/또는 동영상 카메라(220)를 통해서 컨텐츠 참여자의 동작이 잘 감지되고 촬영될 수 있도록 하기 위한 조명을 나타내는 것이다.
도 4는 본 발명에 따른 증강현실 기반 인터렉티브 컨텐츠 생성 시스템이 오버헤드 리플렉션 프로젝터에 적용된 상태를 보인 도면이다.
도 4에 도시된 바와 같이 출력수단으로써 오버헤드 리플렉션 프로젝터(312)와 스크린(320)이 설치된 공간의 어느 한편에는 컨텐츠 참여자가 연출하기 위한 스테이지가 마련되고, 이 스테이지의 뒤편에는 블루 스크린(400)이 설치된 상태이다. 그리고 모션감지센서(210)로써 키넥트 카메라가 블루 스크린으로부터 소정 간격 떨어진 위치에 설치된 상태를 보인다. 이때, 모션감지센서(210)는 컨텐츠 참여자의 동작 및 영상이 잘 추출될 수 있도록 지면으로부터 소정 높이 떨어진 높이에 위치된다. 또한, 블루 스크린(400)의 전면으로부터 소정 간격 떨어진 위치에는 컨텐츠 참여자의 영상을 촬영하기 위한 동영상 카메라(220)가 설치된 상태를 보인다. 도 4 에서 도면부호 100 은 제어용 컴퓨터이다.
도 4에 도시된 바와 같이 구성된 증강현실 기반 인터렉티브 컨텐츠 생성 시스템은 다음과 같이 구동이 이루어진다. 우선, 컨텐츠 참여자가 동작을 하게 되면, 컨텐츠 참여자의 동작은 모션감지센서(210)와 동영상 카메라(220)를 통해서 동작 및 영상이 제어용 컴퓨터(100)로 입력이 된다. 이렇게 입력된 컨텐츠 참여자의 동작 정보는 제어용 컴퓨터(100)의 크로마키 영상 생성부(110)에서 배경 컨텐츠와 합성된 크로마키 영상으로 생성된다. 이렇게 생성된 크로마키 영상은 영상 출력부(120)를 통해서 출력되어 출력수단의 스크린(320)에 표시된다.
한편, 좌표값처리부(130)에서는 컨텐츠 참여자의 동작으로부터 특정 영역의 좌표 계산이 이루어지고, 이렇게 얻어진 좌표값은 키 값으로 변환시키게 된다. 그리고, 이벤트 처리부(140)에서는 구해진 키 값이 배경 컨텐츠에 포함된 이벤트의 키 값에 해당하는 경우에 상기 크로마키 영상 생성부(110)에서 생성되는 크로마키 영상에서 해당 이벤트가 실행되도록 한다.
전술한 바와 같이, 본 발명의 각 실시 양상에 따른 증강현실 기반 인터렉티브 컨텐츠 생성 방법 및 시스템에 따르면 컨텐츠 참여자로 하여금 컨텐츠에 능동적이고 적극적으로 참여할 수 있도록 한다. 특히, 본 발명의 실시 예에 따른 증강현실 기반 인터렉티브 컨텐츠 생성 방법 및 시스템을 통해 제공되는 컨텐츠가 학습용일 경우에는 컨텐츠가 학습자들과 상호작용할 수 있으므로 학습효과를 더욱 높일 수 있게 된다.
특히, 상기에서 예로 든 키넥트 카메라와 벤투스 솔루션의 조합으로 본 발명의 실시 예에 따른 증강현실 기반 인터렉티브 컨텐트 생성 시스템을 구축할 경우에는, 키넥트 카메라와 벤투스 솔루션 자체에서 인터렉티브 컨텐츠를 생성하기 위한 기능들을 제공하고 있기 때문에 다른 프로그램과 장비를 통한 경우에 비하여 시스템 구축 비용이 절감될 수 있다.
이상에서는 첨부된 도면들을 참조하면서 본 발명의 실시 예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 예를 들어, 당업자는 각 구성요소의 재질, 크기 등을 적용 분야에 따라 변경하거나, 개시된 실시 형태들을 조합 또는 치환하여 본 발명의 실시 예에 명확하게 개시되지 않은 형태로 실시할 수 있으나, 이 역시 본 발명의 범위를 벗어나지 않는 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것으로 한정적인 것으로 이해해서는 안 되며, 이러한 변형된 실시 예들은 본 발명의 특허청구범위에 기재된 기술사상에 포함된다고 하여야 할 것이다.
100 : 제어용 컴퓨터 110 : 크로마키 영상 생성부
120 : 영상 출력부 130 : 좌표값 생성부
140 : 이벤트 처리부 200 : 영상및모션추출유닛
210 : 모션감지센서 220 : 동영상 카메라
300 : 출력수단 310 : 프로젝터
320 : 스크린 400 : 블루 스크린
500 : 조명 C : 배경 컨텐츠

Claims (14)

  1. 컨텐츠 참여자의 영상과 동작을 추출하는 단계;
    상기 컨텐츠 참여자의 영상을 배경 컨텐츠와 실시간으로 합성하여 크로마키 영상을 생성하는 단계;
    상기 생성된 크로마키 영상을 출력하는 단계;
    상기 동작의 좌표값을 계산하고 상기 좌표값을 키 값으로 변환하는 단계; 및
    상기 키 값이 상기 배경 컨텐츠에 포함된 이벤트의 키 값에 해당하는 경우, 상기 크로마키 영상에서 상기 이벤트를 실행하는 단계를 포함하는
    증강현실 기반 인터렉티브 컨텐츠 생성 방법.
  2. 제 1 항에 있어서,
    상기 컨텐츠 참여자의 동작의 추출은 모션감지센서에 의해 수행되는
    증강현실 기반 인터렉티브 컨텐츠 생성 방법.
  3. 제 1 항에 있어서,
    상기 컨텐츠 참여자의 영상의 추출은 동영상 카메라에 의해 수행되는
    증강현실 기반 인터렉티브 컨텐츠 생성 방법.
  4. 제 1 항에 있어서,
    상기 컨텐츠 참여자의 동작은 아바타로 상기 배경 컨텐츠에 합성이 이루어지는
    증강현실 기반 인터렉티브 컨텐츠 생성 방법.
  5. 제 1 항에 있어서,
    상기 컨텐츠 참여자의 동작은 실제 영상으로 상기 배경 컨텐츠에 합성이 이루어지는
    증강현실 기반 인터렉티브 컨텐츠 생성 방법.
  6. 제 1 항에 있어서,
    상기 이벤트는 상기 배경 컨텐츠에 링크된 화면이 활성화되는 이벤트인
    증강현실 기반 인터렉티브 컨텐츠 생성 방법.
  7. 제 1 항에 있어서,
    상기 이벤트는 상기 배경 컨텐츠에 링크된 음성 파일이 실행되는 이벤트인
    증강현실 기반 인터렉티브 컨텐츠 생성 방법.
  8. 컨텐츠 참여자의 영상과 동작을 추출하기 위한 영상및모션추출유닛; 및
    제어용 컴퓨터; 를 포함하고,
    상기 제어용 컴퓨터는,
    상기 컨텐츠 참여자의 영상을 배경 컨텐츠와 실시간으로 합성하여 크로마키 영상을 생성하는 크로마키 영상 생성부;
    상기 생성된 크로마키 영상을 출력하는 영상 출력부;
    상기 동작의 좌표값을 계산하고 상기 좌표값을 키 값으로 변환하는 좌표값처리부;
    상기 키 값이 상기 배경 컨텐츠에 포함된 이벤트의 키 값에 해당하는 경우, 상기 크로마키 영상에서 상기 이벤트를 실행하는 이벤트 처리부; 를 포함하는
    증강현실 기반 인터렉티브 컨텐츠 생성 시스템.
  9. 제 8 항에 있어서,
    상기 영상및모션추출유닛은 모션감지센서인
    증강현실 기반 인터렉티브 컨텐츠 생성 시스템.
  10. 제 8 항에 있어서,
    상기 영상및모션추출유닛은,
    상기 영상을 추출하기 위한 동영상 카메라와 상기 동작을 추출하기 위한 모션감지센서를 포함하는
    증강현실 기반 인터렉티브 컨텐츠 생성 시스템.
  11. 제 8 항에 있어서,
    상기 크로마키 영상 생성부는 상기 컨텐츠 참여자의 동작을 아바타로 상기 배경 컨텐츠와 합성하는
    증강현실 기반 인터렉티브 컨텐츠 생성 시스템.
  12. 제 8 항에 있어서,
    상기 크로마키 영상 생성부는 상기 컨텐츠 참여자의 동작의 실제 영상을 상기 배경 컨텐츠와 합성하는
    증강현실 기반 인터렉티브 컨텐츠 생성 시스템.
  13. 제 8 항에 있어서,
    상기 이벤트는 상기 배경 컨텐츠에 링크된 화면이 활성화되는 이벤트인
    증강현실 기반 인터렉티브 컨텐츠 생성 시스템.
  14. 제 8 항에 있어서,
    상기 이벤트는 상기 배경 컨텐츠에 링크된 음성 파일이 실행되는 이벤트인
    증강현실 기반 인터렉티브 컨텐츠 생성 시스템.
KR1020110047457A 2011-05-19 2011-05-19 증강현실 기반 인터렉티브 컨텐츠 생성 방법 및 시스템 KR20120129293A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110047457A KR20120129293A (ko) 2011-05-19 2011-05-19 증강현실 기반 인터렉티브 컨텐츠 생성 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110047457A KR20120129293A (ko) 2011-05-19 2011-05-19 증강현실 기반 인터렉티브 컨텐츠 생성 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR20120129293A true KR20120129293A (ko) 2012-11-28

Family

ID=47513812

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110047457A KR20120129293A (ko) 2011-05-19 2011-05-19 증강현실 기반 인터렉티브 컨텐츠 생성 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR20120129293A (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101444858B1 (ko) * 2013-09-03 2014-11-03 재단법인 실감교류인체감응솔루션연구단 원격 존재 장치
KR101486488B1 (ko) * 2013-05-10 2015-01-26 모젼스랩(주) 다중 사용자 인식 멀티 터치 인터페이스 방법
KR20150125060A (ko) * 2014-04-29 2015-11-09 주식회사 두드림 체험형 콘텐츠 제공 시스템 및 방법
KR20170059310A (ko) * 2015-11-20 2017-05-30 주식회사 케이티 텔레 프레젠스 영상 송신 장치, 텔레 프레젠스 영상 수신 장치 및 텔레 프레젠스 영상 제공 시스템
JP2019106211A (ja) * 2014-12-17 2019-06-27 富士ゼロックス株式会社 計算処理実行方法、計算処理システム及びプログラム
KR20210029380A (ko) * 2019-09-06 2021-03-16 박연조 식별 코드를 통해 영상 선택이 가능한 합성 방법, 장치 및 컴퓨터-판독가능 기록 매체

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101486488B1 (ko) * 2013-05-10 2015-01-26 모젼스랩(주) 다중 사용자 인식 멀티 터치 인터페이스 방법
KR101444858B1 (ko) * 2013-09-03 2014-11-03 재단법인 실감교류인체감응솔루션연구단 원격 존재 장치
US9332219B2 (en) 2013-09-03 2016-05-03 Center Of Human-Centered Interaction For Coexistence Telepresence device
KR20150125060A (ko) * 2014-04-29 2015-11-09 주식회사 두드림 체험형 콘텐츠 제공 시스템 및 방법
JP2019106211A (ja) * 2014-12-17 2019-06-27 富士ゼロックス株式会社 計算処理実行方法、計算処理システム及びプログラム
KR20170059310A (ko) * 2015-11-20 2017-05-30 주식회사 케이티 텔레 프레젠스 영상 송신 장치, 텔레 프레젠스 영상 수신 장치 및 텔레 프레젠스 영상 제공 시스템
KR20210029380A (ko) * 2019-09-06 2021-03-16 박연조 식별 코드를 통해 영상 선택이 가능한 합성 방법, 장치 및 컴퓨터-판독가능 기록 매체

Similar Documents

Publication Publication Date Title
Schmalstieg et al. Augmented reality: principles and practice
CN106062862B (zh) 用于沉浸式和交互式多媒体生成的系统和方法
US10431006B2 (en) Multisensory augmented reality
CN103119628B (zh) 利用运动特性的显示器上三维用户界面效果
KR20120129293A (ko) 증강현실 기반 인터렉티브 컨텐츠 생성 방법 및 시스템
CN102253711A (zh) 使用深度传感相机来增强演示
US9274606B2 (en) NUI video conference controls
KR101989447B1 (ko) 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템
CN115016642A (zh) 用于混合现实的现实混合器
JP2014238731A (ja) 画像処理装置、画像処理システム、および画像処理方法
CN102540464A (zh) 提供环绕视频的头戴式显示设备
KR20130020337A (ko) 사용자 인터랙션 장치 및 방법
JP2011258159A (ja) プログラム、情報記憶媒体及び画像生成システム
CN110688003B (zh) 基于增强现实的电子绘本系统、显示方法、装置和介质
KR102358997B1 (ko) 다자간 확장현실 체험을 위한 서비스 플랫폼
US11961190B2 (en) Content distribution system, content distribution method, and content distribution program
US20230276020A1 (en) Image processing device, image processing method, and image processing program
KR20160105169A (ko) 체험형 영유아 안전교육 시스템 및 방법
JP2023116432A (ja) アニメーション制作システム
Teubl et al. Spheree: An interactive perspective-corrected spherical 3d display
KR20180074182A (ko) 증강현실 시스템 구현 방법
Miller Overcoming the limitations of commodity augmented reality head mounted displays for use in product assembly
JP7470347B2 (ja) アニメーション制作システム
KR101526049B1 (ko) 가상 생태공원 가시화 시스템
TWM459485U (zh) 結合體感互動與擴增實境技術之舞蹈自學系統

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
SUBM Submission of document of abandonment before or after decision of registration