KR102615580B1 - 사용자의 움직임에 따라 캐릭터의 동작을 제어하는 캐릭터동작 제어장치 및 그 캐릭터동작 제어방법 - Google Patents

사용자의 움직임에 따라 캐릭터의 동작을 제어하는 캐릭터동작 제어장치 및 그 캐릭터동작 제어방법 Download PDF

Info

Publication number
KR102615580B1
KR102615580B1 KR1020230015299A KR20230015299A KR102615580B1 KR 102615580 B1 KR102615580 B1 KR 102615580B1 KR 1020230015299 A KR1020230015299 A KR 1020230015299A KR 20230015299 A KR20230015299 A KR 20230015299A KR 102615580 B1 KR102615580 B1 KR 102615580B1
Authority
KR
South Korea
Prior art keywords
character
user
movement
motion
body part
Prior art date
Application number
KR1020230015299A
Other languages
English (en)
Inventor
박기훈
Original Assignee
주식회사 에이치디엠
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이치디엠 filed Critical 주식회사 에이치디엠
Priority to KR1020230015299A priority Critical patent/KR102615580B1/ko
Application granted granted Critical
Publication of KR102615580B1 publication Critical patent/KR102615580B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/39—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume the picture elements emitting light at places where a pair of light beams intersect in a transparent material

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

사용자의 움직임에 따라 캐릭터를 동작시키는 캐릭터동작 제어장치 및 그 캐릭터동작 제어방법이 개시된다. 본 발명에 따른 캐릭터동작 제어장치는, 적어도 하나의 캐릭터를 선택하는 캐릭터 선택부; 선택된 캐릭터를 빔 프로젝터에 의해 투영체에 투영되는 배경영상에 삽입하는 캐릭터 삽입부; 투영체로부터 설정된 범위 이내로 접근하는 사용자를 촬영하는 사용자 촬영부; 사용자 촬영부에 의해 촬영되는 촬영영상에 기반하여 사용자의 움직임을 감지하는 움직임 감지부; 및 감지되는 사용자의 움직임에 대응하여 배경영상에 삽입되는 캐릭터의 동작을 제어하는 캐릭터동작 제어부;를 포함하는 것을 특징으로 한다.

Description

사용자의 움직임에 따라 캐릭터의 동작을 제어하는 캐릭터동작 제어장치 및 그 캐릭터동작 제어방법{CHARACTER MOTION CONTROL APPARATUS AND METHOD FOR CONTROLLING MOTION OF CHARACTER DEPENDING ON THE USER'S MOVEMENT}
본 발명은 캐릭터동작 제어장치 및 그 캐릭터동작 제어방법에 관한 것으로서, 보다 상세하게는 투영체에 투영되는 영상에 대하여 사용자의 움직임에 따라 영상 내의 캐릭터의 동작을 제어함으로써 유아 또는 어린이가 손쉽게 게임에 참여할 수 있도록 하며, 게임에 참여하는 유아 또는 어린이의 흥미를 유발시켜 활동적인 움직임을 유도할 뿐만 아니라 별도의 센서를 설치할 필요 없이 빔 프로젝터를 통해 간단하게 실행시킬 수 있는, 사용자의 움직임에 따라 캐릭터의 동작을 제어하는 캐릭터동작 제어장치 및 그 캐릭터동작 제어방법에 관한 것이다.
빔 프로젝터를 이용하여 실내의 벽면에 게임영상을 투영하며, 조이스틱(joy stick)을 이용한 사용자의 조작이나 사용자의 운동 동작에 따라 야구공, 골프공 등의 물체가 벽면에 접촉하는 위치, 접촉 강도 등을 감지하고, 이를 게임영상에 반영함으로써 사용자가 실내에서 다양한 게임이나 스포츠를 즐길 수 있도록 하는 인터랙티브(interactive) 장치가 개발되었다.
그러나, 이와 같은 인터랙티브 장치는 사용자의 운동 동작에 따라 물체가 접촉하는 벽면의 위치, 접촉 강도 등을 감지하기 위한 다양한 센서를 설치하여야 하기 때문에 설치가 전문적이고 복잡하다는 문제점이 있다.
또한, 조이스틱을 조작하는 게임의 경우, 그 조작이 복잡하기 때문에 일정한 연령 이상의 사용자를 대상으로 하며, 유아나 어린이는 그 이용이 용이하지 않다는 문제점이 있다.
공개특허공보 제10-2019-0055364호 (공개일자: 2019.05.23)
본 발명은 전술한 문제점을 해결하기 위하여 창안된 것으로서, 투영체에 투영되는 영상에 대하여 사용자의 움직임에 따라 영상 내의 캐릭터의 동작을 제어함으로써 유아 또는 어린이가 손쉽게 게임에 참여할 수 있도록 하며, 게임에 참여하는 유아 또는 어린이의 흥미를 유발시켜 활동적인 움직임을 유도할 뿐만 아니라 별도의 센서를 설치할 필요 없이 빔 프로젝터를 통해 간단하게 실행시킬 수 있는, 사용자의 움직임에 따라 캐릭터의 동작을 제어하는 캐릭터동작 제어장치 및 그 캐릭터동작 제어방법을 제공하는 것을 목적으로 한다.
전술한 목적을 달성하기 위한 본 발명의 일 측면에 따른 캐릭터동작 제어장치는, 적어도 하나의 캐릭터를 선택하는 캐릭터 선택부; 선택된 상기 캐릭터를 빔 프로젝터에 의해 투영체에 투영되는 배경영상에 삽입하는 캐릭터 삽입부; 상기 투영체로부터 설정된 범위 이내로 접근하는 사용자를 촬영하는 사용자 촬영부; 상기 사용자 촬영부에 의해 촬영되는 촬영영상에 기반하여 상기 사용자의 움직임을 감지하는 움직임 감지부; 및 감지되는 상기 사용자의 움직임에 대응하여 상기 배경영상에 삽입되는 캐릭터의 동작을 제어하는 캐릭터동작 제어부;를 포함하는 것을 특징으로 한다.
전술한 캐릭터동작 제어장치는, 상기 촬영영상을 구성하는 복수의 촬영영상 프레임에 기반하여 단위시간 동안의 상기 사용자의 신체부위별 움직임을 추적하는 움직임 추적부; 및 추적되는 상기 사용자의 신체부위별 움직임에 기 설정된 비례상수를 승산하는 비례상수 승산부;를 더 포함할 수 있다. 이 경우, 상기 캐릭터동작 제어부는 상기 비례상수 승산부에 의해 비례상수가 승산된 결과값에 따라 상기 배경영상에 삽입되는 캐릭터의 동작을 제어한다.
전술한 목적을 달성하기 위한 본 발명의 일 측면에 따른 캐릭터동작 제어방법은, 캐릭터동작 제어장치에 의해 수행되는 캐릭터동작 제어방법에 있어서, 적어도 하나의 캐릭터를 선택하는 단계; 선택된 상기 캐릭터를 빔 프로젝터에 의해 투영체에 투영되는 배경영상에 삽입하는 단계; 상기 투영체로부터 설정된 범위 이내로 접근하는 사용자를 촬영하는 단계; 촬영되는 상기 촬영영상에 기반하여 상기 사용자의 움직임을 감지하는 단계; 상기 촬영영상을 구성하는 복수의 촬영영상 프레임에 기반하여 단위시간 동안의 상기 사용자의 신체부위별 움직임을 추적하는 단계; 추적되는 상기 사용자의 움직임에 기 설정된 비례상수를 승산하는 단계; 및 상기 비례상수가 승산된 상기 사용자의 신체부위별 움직임에 따라 상기 캐릭터의 신체부위별 동작을 제어하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 유아 또는 어린이와 같은 사용자가 움직이는 동작만으로 투영체에 투영되는 영상 내의 캐릭터의 동작을 제어하기 때문에 유아 또는 어린이와 같은 사용자가 손쉽게 게임에 참여할 수 있다.
또한, 본 발명에 따르면, 게임에 참여하는 유아 또는 어린이와 같은 사용자의 동작에 따라 캐릭터가 동작하기 때문에 사용자의 흥미를 유발시키며 활동적인 움직임을 유도하여 유아 또는 어린이의 성장을 촉진할 수 있게 된다.
또한, 본 발명에 따르면, 별도의 센서를 설치할 필요 없이 빔 프로젝터를 통해 간단하게 실행시킬 수 있기 때문에 일반가정에서도 손쉽게 사용할 수 있다.
도 1은 본 발명의 실시예에 따른 캐릭터동작 제어장치가 적용되는 시스템을 예시한 도면이다.
도 2는 본 발명의 실시예에 따른 캐릭터동작 제어장치의 구성을 개략적으로 도시한 도면이다.
도 3은 촬영되는 촬영영상 및 해당 촬영영상을 구성하는 영상프레임을 예시한 도면이다.
도 4는 이전의 영상프레임의 사용자의 위치에 대하여 이후의 영상프레임에서의 사용자의 위치가 변동된 예를 나타낸 도면이다.
도 5는 도 4의 사용자의 위치변화에 기반하여 움직임벡터를 생성하는 예를 나타낸 도면이다.
도 6은 단위시간 동안 추적되는 움직임을 움직임벡터로 표시한 예를 나타낸 도면이다.
도 7은 본 발명의 실시예에 따른 캐릭터동작 제어방법을 나타낸 흐름도이다.
이하, 본 발명의 일부 실시 예들을 예시적인 도면을 통해 설명한다. 각 도면의 구성요소들에 참조부호를 기재함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호로 표시한다. 또한, 본 발명의 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시 예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결, 결합 또는 접속될 수 있지만, 그 구성 요소와 그 다른 구성요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 본 발명의 실시예에 따른 캐릭터동작 제어장치가 적용되는 시스템을 예시한 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 캐릭터동작 제어장치(100)는 빔 프로젝터(10)와 연동하며, 빔 프로젝터(10)에 의해 투영체(20)에 투영되는 배경영상에 캐릭터(30)를 삽입하여 표시할 수 있다.
또한, 캐릭터동작 제어장치(100)는 투영체(20)로부터 설정된 거리 범위 이내에 접근하는 사용자(40)를 촬영하며, 촬영되는 사용자(40)에 대한 촬영영상에 기반하여 사용자(40)의 움직임을 분석하고, 분석되는 사용자(40)의 움직임에 따라 캐릭터(30)의 동작을 제어할 수 있다.
여기서, 캐릭터동작 제어장치(100)는 컴퓨터뿐만 아니라 유아나 어린이와 같은 사용자(40)의 보호자에 대응하는 노트북, 스마트 폰(smart phone) 등의 이동통신단말로 구현될 수 있다.
도 2는 본 발명의 실시예에 따른 캐릭터동작 제어장치의 구성을 개략적으로 도시한 도면이다.
도 2를 참조하면, 캐릭터동작 제어장치(100)는 캐릭터 선택부(102), 캐릭터 삽입부(104), 사용자 촬영부(106), 움직임 감지부(108), 캐릭터동작 제어부(110), 움직임 추적부(112) 및 비례상수 승산부(114)를 포함할 수 있다.
캐릭터 선택부(102)는 적어도 하나의 캐릭터를 선택한다. 이때, 캐릭터 선택부(102)는 유아 또는 어린이용 애니메이션에 등장하는 다양한 종류의 캐릭터(character)를 저장할 수 있다. 또한, 캐릭터 선택부(102)는 저장된 다양한 종류의 캐릭터에 대한 캐릭터 선택메뉴를 디스플레이를 통해 제공하며, 제공된 선택메뉴에 대응하여 수신되는 선택신호에 기반하여 캐릭터를 선택할 수 있다.
캐릭터 삽입부(104)는 캐릭터 선택부(102)에 의해 선택된 캐릭터(30)를 빔 프로젝터(10)에 의해 투영체(20)에 투영되는 배경영상에 삽입한다. 이때, 캐릭터 삽입부(104)는 캐릭터 선택부(102)에 의해 선택된 캐릭터(30)의 이미지를 빔 프로젝터(10)에 전송하며, 전송된 캐릭터(30)의 이미지가 빔 프로젝터(10)를 통해 배경영상과 함께 투영체(20)에 투영되도록 제어할 수 있다.
또한, 캐릭터 삽입부(104)는 빔 프로젝터(10)에 의해 투영체(20)에 투영되는 배경영상 내에서의 캐릭터(30)의 위치를 제어할 수 있다.
사용자 촬영부(106)는 투영체(20)로부터 설정된 범위 이내로 접근하는 사용자를 촬영한다. 이때, 사용자 촬영부(106)는 투영체(20)의 방향을 촬영하도록 촬영범위가 고정되며, 고정된 촬영범위 이내로 접근한 사용자를 촬영할 수 있다.
일반적으로 영상은 복수의 영상프레임으로 이루어지며, 하나의 영상프레임은 한 장의 단순한 정지 이미지라고 할 수 있다. 예를 들어, 한국, 미국, 일본 등의 NTSC(National Television System Committee: 국가 텔레비전 시스템 위원회) 시스템 체계의 영상은 1초에 30장의 영상프레임으로 구성된다. 또한, 영화는 보통 1초에 24장의 영상프레임으로 구성된다.
마찬가지로, 사용자 촬영부(106)는 도 3에 도시한 바와 같이, 단위시간(예를 들면, 1초) 동안에 복수의 정지 이미지 즉, 복수의 영상프레임(50)을 연속적으로 촬영함으로써 촬영영상(60)을 형성한다.
움직임 감지부(108)는 사용자 촬영부(106)에 의해 촬영되는 촬영영상에 기반하여 사용자의 움직임을 감지한다. 예를 들어, 사용자 촬영부(106)가 투영체(20)에 접근한 사용자를 연속적으로 촬영하는 경우, 각각의 영상프레임은 도 4에 도시한 바와 같이, 직전의 영상프레임에서의 사용자(40)의 위치와 현재의 영상프레임에서의 사용자(40)의 위치는 다를 수 있다.
이와 같이, 적전의 영상프레임에서의 사용자(40)의 위치와 현재의 영상프레임에서의 사용자(40)의 위치가 달라지는 경우, 움직임 감지부(108)는 각각의 영상프레임에 대한 사용자(40)의 위치변화를 도 5에 도시한 바와 같이, 움직임벡터로 표시할 수 있다.
움직임 감지부(108)는 이러한 방법으로 촬영영상을 구성하는 영상프레임들을 순차적으로 비교하며, 각각의 영상프레임에 대한 사용자(40)의 위치변화를 움직임벡터로 표시하였을 때에 움직임벡터의 크기가 설정된 크기 이상인 경우에 사용자(40)의 움직임이 있는 것으로 감지할 수 있다.
이때, 움직임 감지부(108)는 사용자(40)의 각각의 신체부위 별로 움직임을 감지할 수 있다. 즉, 사용자(40)는 얼굴, 팔, 다리 등의 신체부위 별로 움직임이 다를 수 있다. 이 경우, 움직임 감지부(108)는 각각의 영상프레임에서 사용자(40)의 신체부위 별로 움직임벡터를 분석함으로써 각각의 신체부위에 대한 움직임을 감지할 수 있다.
여기서, 움직임 감지부(108)가 각각의 신체부위를 감지하는 방법은 인간의 기본적인 신체형상을 저장하고, 저장된 신체형상에 대응하여 촬영영상에서 사용자(40)의 신체부위를 추정하는 방법을 사용할 수 있다. 그러나, 움직임 감지부(108)가 촬영영상 내의 사용자(40)의 각각의 신체부위를 판단하는 방법은 공지된 다양한 방법을 이용할 수 있으며, 기재된 방법에 한정되는 것은 아니다.
캐릭터동작 제어부(110)는 움직임 감지부(108)에 의해 감지되는 사용자(40)의 움직임에 대응하여 배경영상에 삽입되는 캐릭터(30)의 동작을 제어한다. 이때, 캐릭터동작 제어부(110)는 사용자(40)의 각각의 신체부위에 대응하여 캐릭터(30)의 각각의 신체부위를 매칭시키며, 사용자(40)의 신체부위의 움직임에 따라 캐릭터(30)의 매칭된 신체부위의 동작을 제어할 수 있다.
움직임 추적부(112)는 사용자 촬영부(106)에 의해 촬영된 촬영영상을 구성하는 복수의 촬영영상 프레임에 기반하여 단위시간 동안의 사용자의 신체부위별 움직임을 추적한다. 이때, 움직임 추적부(112)는 도 6에 도시한 바와 같이, 연속적으로 촬영되는 각각의 영상프레임에 대하여 각각의 신체부위별 위치에 대한 변화를 움직임벡터로 표시함으로써 사용자(40)의 각각의 신체부위별 움직임을 추적할 수 있다.
비례상수 승산부(114)는 움직임 추적부(112)에 의해 추적되는 사용자(40)의 신체부위별 움직임에, 기 설정된 비례상수를 승산한다. 이때, 비례상수 승산부(114)는 사용자(40)의 나이에 따라 서로 다른 비례상수를 승산할 수 있다.
이 경우, 캐릭터동작 제어부(110)는 상기 비례상수 승산부에 의해 비례상수가 승산된 결과값에 따라 배경영상에 삽입되는 캐릭터(30)의 동작을 제어한다.
일반적으로 유아 및 어린이는 그 나이에 따라 단위시간 동안의 움직임의 정도가 다를 수 있다. 이때, 사용자의 나이에 관계없이 동일한 비율로 캐릭터(30)의 동작을 제어한다면 움직임이 적은 유아의 경우에 캐릭터(30)의 제어되는 동작은 크지 않을 수 있다.
이러한 문제를 해결하기 위하여, 비례상수 승산부(114)는 사용자(40)의 나이에 따라 사용자의 움직임에 서로 다른 비례상수를 승산함으로써 유아의 경우에도 캐릭터(30)의 제어되는 동작이 커질 수 있도록 한다.
도 7은 본 발명의 실시예에 따른 캐릭터동작 제어방법을 나타낸 흐름도이다. 본 발명의 실시예에 따른 캐릭터동작 제어방법은 도 2에 나타낸 캐릭터동작 제어장치(100)에 의해 수행될 수 있다.
도 1 내지 도 7을 참조하면, 캐릭터동작 제어장치(100)는 적어도 하나의 캐릭터를 선택한다(S101). 이때, 캐릭터동작 제어장치(100)는 유아 또는 어린이용 애니메이션에 등장하는 다양한 종류의 캐릭터를 저장할 수 있다.
또한, 캐릭터동작 제어장치(100)는 저장된 다양한 종류의 캐릭터에 대한 캐릭터 선택메뉴를 디스플레이를 통해 제공하며, 제공된 선택메뉴에 대응하여 수신되는 선택신호에 기반하여 캐릭터를 선택할 수 있다.
캐릭터동작 제어장치(100)는 선택된 캐릭터(30)를 빔 프로젝터(10)에 의해 투영체(20)에 투영되는 배경영상에 삽입한다(S103). 이때, 캐릭터동작 제어장치(100)는 선택된 캐릭터(30)의 이미지를 빔 프로젝터(10)에 전송하며, 전송된 캐릭터(30)의 이미지가 빔 프로젝터(10)를 통해 배경영상과 함께 투영체(20)에 투영되도록 제어할 수 있다. 또한, 캐릭터동작 제어장치(100)는 빔 프로젝터(10)에 의해 투영체(20)에 투영되는 배경영상 내에서의 캐릭터(30)의 위치를 제어할 수 있다.
캐릭터동작 제어장치(100)는 카메라(도시하지 않음)를 이용하여 투영체(20)로부터 설정된 범위 이내로 접근하는 사용자를 촬영한다(S105). 이때, 캐릭터동작 제어장치(100)는 투영체(20)의 방향을 촬영하도록 촬영범위가 고정되며, 고정된 촬영범위 이내로 접근한 사용자를 촬영할 수 있다.
일반적으로 영상은 복수의 영상프레임으로 이루어지며, 하나의 영상프레임은 한 장의 단순한 정지 이미지라고 할 수 있다. 예를 들어, 한국, 미국, 일본 등의 NTSC 시스템 체계의 영상은 1초에 30장의 영상프레임으로 구성된다.
또한, 영화는 보통 1초에 24장의 영상프레임으로 구성된다. 마찬가지로, 캐릭터동작 제어장치(100)는 단위시간(예를 들면, 1초) 동안에 복수의 정지 이미지 즉, 복수의 영상프레임(50)을 연속적으로 촬영함으로써 촬영영상(60)을 형성한다.
캐릭터동작 제어장치(100)는 촬영되는 촬영영상에 기반하여 사용자의 움직임을 감지한다(S107). 예를 들어, 캐릭터동작 제어장치(100)가 투영체(20)에 접근한 사용자를 연속적으로 촬영하는 경우, 각각의 영상프레임은 직전의 영상프레임에서의 사용자(40)의 위치와 현재의 영상프레임에서의 사용자(40)의 위치는 다를 수 있다.
이와 같이, 적전의 영상프레임에서의 사용자(40)의 위치와 현재의 영상프레임에서의 사용자(40)의 위치가 달라지는 경우, 캐릭터동작 제어장치(100)는 각각의 영상프레임에 대한 사용자(40)의 위치변화를 움직임벡터로 표시할 수 있다.
캐릭터동작 제어장치(100)는 이러한 방법으로 촬영영상을 구성하는 영상프레임들을 순차적으로 비교하며, 각각의 영상프레임에 대한 사용자(40)의 위치변화를 움직임벡터로 표시하였을 때에 움직임벡터의 크기가 설정된 크기 이상인 경우에 사용자(40)의 움직임이 있는 것으로 감지할 수 있다.
캐릭터동작 제어장치(100)는 사용자(40)의 각각의 신체부위 별로 움직임을 감지할 수 있다. 즉, 사용자(40)는 얼굴, 팔, 다리 등의 신체부위 별로 움직임이 다를 수 있다. 이 경우, 캐릭터동작 제어장치(100)는 각각의 영상프레임에서 사용자(40)의 신체부위 별로 움직임벡터를 분석함으로써 각각의 신체부위에 대한 움직임을 감지할 수 있다.
여기서, 캐릭터동작 제어장치(100)가 각각의 신체부위를 감지하는 방법은 인간의 기본적인 신체형상을 저장하고, 저장된 신체형상에 대응하여 촬영영상에서 사용자(40)의 신체부위를 추정하는 방법을 사용할 수 있다.
그러나, 캐릭터동작 제어장치(100)가 촬영영상 내의 사용자(40)의 각각의 신체부위를 판단하는 방법은 공지된 다양한 방법을 이용할 수 있으며, 기재된 방법에 한정되는 것은 아니다.
캐릭터동작 제어장치(100)는 촬영된 촬영영상을 구성하는 복수의 촬영영상 프레임에 기반하여 단위시간 동안의 사용자의 신체부위별 움직임을 추적한다(S109). 이때, 캐릭터동작 제어장치(100)는 연속적으로 촬영되는 각각의 영상프레임에 대하여 각각의 신체부위별 위치에 대한 변화를 움직임벡터로 표시함으로써 사용자(40)의 각각의 신체부위별 움직임을 추적할 수 있다.
캐릭터동작 제어장치(100)는 추적되는 사용자(40)의 신체부위별 움직임에, 기 설정된 비례상수를 승산한다(S111). 이때, 캐릭터동작 제어장치(100)는 사용자(40)의 나이에 따라 서로 다른 비례상수를 승산할 수 있다.
일반적으로 유아 및 어린이는 그 나이에 따라 단위시간 동안의 움직임의 정도가 다를 수 있다. 이때, 사용자의 나이에 관계없이 동일한 비율로 캐릭터(30)의 동작을 제어한다면 움직임이 적은 유아의 경우에 캐릭터(30)의 제어되는 동작은 크지 않을 수 있다.
이러한 문제를 해결하기 위하여, 캐릭터동작 제어장치(100)는 사용자(40)의 나이에 따라 사용자의 움직임에 서로 다른 비례상수를 승산함으로써 유아의 경우에도 캐릭터(30)의 제어되는 동작이 커질 수 있도록 한다.
캐릭터동작 제어장치(100)는 감지되는 사용자(40)의 움직임에 대응하여 배경영상에 삽입되는 캐릭터(30)의 동작을 제어한다(S113). 이때, 캐릭터동작 제어장치(100)는 사용자(40)의 각각의 신체부위에 대응하여 캐릭터(30)의 각각의 신체부위를 매칭시키며, 사용자(40)의 신체부위의 움직임에 따라 캐릭터(30)의 매칭된 신체부위의 동작을 제어할 수 있다. 이 경우, 캐릭터동작 제어장치(100)는 비례상수가 승산된 결과값에 따라 배경영상에 삽입되는 캐릭터(30)의 동작을 제어한다.
이상에서 본 발명에 따른 실시예들이 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 범위의 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 보호 범위는 다음의 특허청구범위뿐만 아니라 이와 균등한 것들에 의해 정해져야 한다.

Claims (3)

  1. 적어도 하나의 캐릭터를 선택하는 캐릭터 선택부;
    선택된 상기 캐릭터를 빔 프로젝터에 의해 투영체에 투영되는 배경영상에 삽입하는 캐릭터 삽입부;
    상기 투영체로부터 설정된 범위 이내로 접근하는 사용자를 촬영하는 사용자 촬영부;
    상기 사용자 촬영부에 의해 촬영되는 촬영영상에 기반하여 상기 사용자의 움직임을 감지하는 움직임 감지부;
    감지되는 상기 사용자의 움직임에 대응하여 상기 배경영상에 삽입되는 캐릭터의 동작을 제어하는 캐릭터동작 제어부;
    상기 촬영영상을 구성하는 복수의 촬영영상 프레임에 기반하여 단위시간 동안의 상기 사용자의 신체부위별 움직임을 추적하는 움직임 추적부; 및
    추적되는 상기 사용자의 신체부위별 움직임에 기 설정된 비례상수를 승산하는 비례상수 승산부;
    를 포함하며,
    상기 움직임 추적부는 연속적으로 촬영되는 각각의 상기 촬영영상 프레임에 대하여 상기 사용자의 각각의 신체부위별 움직임벡터를 분석하여 단위시간 동안의 움직임을 추적하고,
    상기 캐릭터동작 제어부는 상기 비례상수 승산부에 의해 비례상수가 승산된 결과값에 따라 상기 배경영상에 삽입되는 캐릭터의 대응하는 신체부위의 동작을 제어하되,
    상기 비례상수 승산부는 상기 사용자의 나이가 어릴수록 높은 값의 비례상수를 승산하는 것을 특징으로 하는, 사용자의 움직임에 따라 캐릭터의 동작을 제어하는 캐릭터동작 제어장치.
  2. 삭제
  3. 캐릭터동작 제어장치에 의해 수행되는 캐릭터 동작 제어방법에 있어서,
    적어도 하나의 캐릭터를 선택하는 단계;
    선택된 상기 캐릭터를 빔 프로젝터에 의해 투영체에 투영되는 배경영상에 삽입하는 단계;
    상기 투영체로부터 설정된 범위 이내로 접근하는 사용자를 촬영하는 단계;
    상기 촬영되는 촬영영상에 기반하여 상기 사용자의 움직임을 감지하는 단계;
    상기 촬영영상을 구성하는 복수의 촬영영상 프레임에 기반하여 단위시간 동안의 상기 사용자의 신체부위별 움직임을 추적하는 단계;
    추적되는 상기 사용자의 움직임에 기 설정된 비례상수를 승산하는 단계; 및
    상기 비례상수가 승산된 상기 사용자의 신체부위별 움직임에 따라 상기 캐릭터의 신체부위별 동작을 제어하는 단계;
    를 포함하며,
    상기 사용자의 신체부위별 움직임을 추적하는 단계는 연속적으로 촬영되는 각각의 상기 촬영영상 프레임에 대하여 상기 사용자의 각각의 신체부위별 움직임벡터를 분석하여 단위시간 동안의 움직임을 추적하고,
    상기 캐릭터의 신체부위별 동작을 제어하는 단계는 단위시간 동안 추적되는 상기 사용자의 신체부위별 움직임에 따라 상기 캐릭터의 대응하는 신체부위의 동작을 제어하되,
    상기 비례상수를 승산하는 단계는 상기 사용자의 나이가 어릴수록 높은 값의 비례상수를 승산하는 것을 특징으로 하는 캐릭터 동작 제어방법.



KR1020230015299A 2023-02-06 2023-02-06 사용자의 움직임에 따라 캐릭터의 동작을 제어하는 캐릭터동작 제어장치 및 그 캐릭터동작 제어방법 KR102615580B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230015299A KR102615580B1 (ko) 2023-02-06 2023-02-06 사용자의 움직임에 따라 캐릭터의 동작을 제어하는 캐릭터동작 제어장치 및 그 캐릭터동작 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230015299A KR102615580B1 (ko) 2023-02-06 2023-02-06 사용자의 움직임에 따라 캐릭터의 동작을 제어하는 캐릭터동작 제어장치 및 그 캐릭터동작 제어방법

Publications (1)

Publication Number Publication Date
KR102615580B1 true KR102615580B1 (ko) 2023-12-21

Family

ID=89320630

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230015299A KR102615580B1 (ko) 2023-02-06 2023-02-06 사용자의 움직임에 따라 캐릭터의 동작을 제어하는 캐릭터동작 제어장치 및 그 캐릭터동작 제어방법

Country Status (1)

Country Link
KR (1) KR102615580B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004046464A (ja) * 2002-07-10 2004-02-12 Nippon Telegr & Teleph Corp <Ntt> 移動物体３次元位置推定装置及びその方法、プログラム並びにその記録媒体
JP2012069111A (ja) * 2004-04-29 2012-04-05 Microsoft Corp 仮想環境と物理的オブジェクトとの間の対話を可能にするための方法およびシステム
KR20130053466A (ko) * 2011-11-14 2013-05-24 한국전자통신연구원 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치 및 방법
KR20140003448A (ko) * 2010-11-22 2014-01-09 앱슨 노르웨이 리서치 앤드 디벨롭먼트 에이에스 카메라 기반 멀티 터치 상호작용 및 조명 시스템과 방법
KR101715651B1 (ko) * 2016-01-28 2017-03-14 모젼스랩(주) 가상화 클라우드를 이용한 다중 사용자 위치에 따른 컨텐츠 인터렉션 제공 시스템
KR20190055364A (ko) 2017-11-15 2019-05-23 (주)새온 인터렉티브 비디오 게임 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004046464A (ja) * 2002-07-10 2004-02-12 Nippon Telegr & Teleph Corp <Ntt> 移動物体３次元位置推定装置及びその方法、プログラム並びにその記録媒体
JP2012069111A (ja) * 2004-04-29 2012-04-05 Microsoft Corp 仮想環境と物理的オブジェクトとの間の対話を可能にするための方法およびシステム
KR20140003448A (ko) * 2010-11-22 2014-01-09 앱슨 노르웨이 리서치 앤드 디벨롭먼트 에이에스 카메라 기반 멀티 터치 상호작용 및 조명 시스템과 방법
KR20130053466A (ko) * 2011-11-14 2013-05-24 한국전자통신연구원 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치 및 방법
KR101715651B1 (ko) * 2016-01-28 2017-03-14 모젼스랩(주) 가상화 클라우드를 이용한 다중 사용자 위치에 따른 컨텐츠 인터렉션 제공 시스템
KR20190055364A (ko) 2017-11-15 2019-05-23 (주)새온 인터렉티브 비디오 게임 시스템

Similar Documents

Publication Publication Date Title
US8081822B1 (en) System and method for sensing a feature of an object in an interactive video display
CN101739567B (zh) 终端装置和显示控制方法
US20170213385A1 (en) Apparatus and method for generating 3d face model using mobile device
US8847879B2 (en) Motionbeam interaction techniques for handheld projectors
CN113850248B (zh) 运动姿态评估方法、装置、边缘计算服务器及存储介质
US20120170800A1 (en) Systems and methods for continuous physics simulation from discrete video acquisition
US20080058100A1 (en) Information Processing Device For Controlling Movement Of A Game Character By Using A Player Image And Game Character Movement Control Method
CN114078190B (zh) 健身运动的引导设备
KR101829879B1 (ko) 프로골퍼 음성과 영상을 통한 인공지능형 라이브골프자세교정장치 및 방법
KR101962578B1 (ko) Vr을 이용한 피트니스 운동 서비스 제공 시스템
WO2020110323A1 (ja) 動画合成装置、動画合成方法及び記録媒体
US20130069939A1 (en) Character image processing apparatus and method for footskate cleanup in real time animation
CN102196176A (zh) 信息处理设备、信息处理方法和程序
WO2020110322A1 (ja) 動画合成装置、動画合成方法及び記録媒体
CN113453034A (zh) 数据展示方法、装置、电子设备以及计算机可读存储介质
CN106873933B (zh) 显示方法及电子设备
US11557103B2 (en) Storage medium storing information processing program, information processing apparatus, information processing system, and information processing method
Pidaparthy et al. Keep your eye on the puck: Automatic hockey videography
KR101912126B1 (ko) 야구 연습 장치에 이용되는 센싱장치 및 센싱방법과, 이를 이용한 야구 연습 장치 및 이의 제어방법
KR20180090515A (ko) 게임 제어장치 및 이를 포함하는 가상현실 게임 시스템
CN111638798A (zh) 一种ar合影方法、装置、计算机设备及存储介质
CN116310152A (zh) 基于unity平台的步进式虚拟场景搭建、漫游方法及虚拟场景
KR102615580B1 (ko) 사용자의 움직임에 따라 캐릭터의 동작을 제어하는 캐릭터동작 제어장치 및 그 캐릭터동작 제어방법
KR101188286B1 (ko) 골프 시뮬레이션 시스템 및 그 제어방법
KR102476285B1 (ko) 증강현실 인터랙티브 스포츠 장치를 이용한 개인별 운동량 측정 방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
GRNT Written decision to grant