KR20060112426A - 이미지 프로세싱을 이용한 동화 스토리 진행 방법 - Google Patents
이미지 프로세싱을 이용한 동화 스토리 진행 방법 Download PDFInfo
- Publication number
- KR20060112426A KR20060112426A KR1020050034842A KR20050034842A KR20060112426A KR 20060112426 A KR20060112426 A KR 20060112426A KR 1020050034842 A KR1020050034842 A KR 1020050034842A KR 20050034842 A KR20050034842 A KR 20050034842A KR 20060112426 A KR20060112426 A KR 20060112426A
- Authority
- KR
- South Korea
- Prior art keywords
- story
- user
- image
- information
- voice
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000000366 juvenile effect Effects 0.000 title 1
- 230000004044 response Effects 0.000 claims abstract description 12
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 8
- 230000033001 locomotion Effects 0.000 claims description 57
- 230000008859 change Effects 0.000 claims description 29
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000012544 monitoring process Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 3
- 230000003595 spectral effect Effects 0.000 claims description 3
- 230000009471 action Effects 0.000 abstract description 11
- 239000000284 extract Substances 0.000 abstract description 3
- 238000000059 patterning Methods 0.000 description 14
- 238000013500 data storage Methods 0.000 description 11
- 230000035945 sensitivity Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000002250 progressing effect Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/16—Analogue secrecy systems; Analogue subscription systems
- H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Human Resources & Organizations (AREA)
- Primary Health Care (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Marketing (AREA)
- Signal Processing (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 이미지 프로세싱을 이용한 동화 스토리 진행 방법에 관한 것으로, (a) 스토리구현 컴퓨터가 상기 유저인식 장치(100)로 촬영한 유저의 얼굴 이미지 및 유저 정보를 수신하여 환경정보 DB에 등록시키는 단계; (b) 스토리정보 DB로부터 해당 동화 스토리의 부분 스토리를 검색해 추출해내고 해당 유저의 얼굴이미지를 극중 캐릭터에 합성시켜 해당 부분 스토리를 출력시키는 단계; (c) 해당 동화 스토리의 진행 중 스토리 분기 이벤트가 발생하면 상기 스토리정보 DB로부터 해당 부분 스토리의 완료시점에 상응하는 분기이벤트 정보를 추출해 출력시키는 단계; (d) 해당 분기이벤트가 유저동작에 의해 분기경로가 결정되는 분기이벤트인 경우, 상기 유저인식 장치로부터 촬영된 유저측의 영상 이미지들을 순차적으로 저장하고 전후 영상 이미지를 계속적으로 비교하여 그 이미지간 변화 여부로 유저의 동작을 인식하며, 해당 유저의 동작을 미리 정해진 다수의 유저 예상동작 패턴 중 하나와 매칭시키는 단계; (f) 유저측 반응에 따른 패턴 정보를 분기기준 테이블과 비교하여 해당 동화 스토리의 다음 분기스토리 경로를 결정하는 단계; 및 (g) 상기 스토리구현 컴퓨터가 다음 스토리 경로로 결정된 동화의 부분 스토리 정보를 스토리정보 DB로부터 추출해 다음 부분 스토리를 진행시키는 단계; 를 포함하는 것을 특징으로 한다.
Description
도 1은 본 발명의 이미지 프로세싱을 이용한 동화 스토리 진행 방법이 적용되는 시스템을 나타내는 예시도.
도 2는 본 발명의 이미지 프로세싱을 이용한 동화 스토리 진행 방법에 적용되는 시스템의 블록도.
도 3은 본 발명이 적용된 스토리분기 영상을 나타내는 예시도.
도 4는 본 발명의 실시예에 따른 이미지 프로세싱을 이용한 동화 스토리 진행 방법을 나타내는 전체적인 흐름도.
도 5는 본 발명이 적용된 동화 스토리 진행 영상을 나타내는 예시도.
도 6은 본 발명의 실시예에 따른 유저 촬영 및 동작 패턴화 단계를 나타내는 상세 흐름도.
도 7은 본 발명의 실시예에 따른 유저측 음향 수집 및 음성 패턴화 단계를 나타내는 상세 흐름도.
<도면 주요 부분에 대한 부호의 설명>
100 : 유저인식 장치 110 : 카메라 모듈
120 : 마이크 모듈 200 : 스토리구현 컴퓨터
210 : 주제어부 220 : 데이터 저장장치
230 : 외부 인터페이스 240 : 이미지 처리부
241 : 이미지 저장부 242 : 이미지 비교부
243 : 이미지 패턴화부 250 : 보이스 처리부
251 : 보이스 저장부 252 : 보이스 분석부
253 : 보이스 패턴화부 260 : 분기 판별부
270 : 영상 합성부 280 : 음향 출력부
290 : 디스플레이부
본 발명은 이미지 프로세싱을 이용한 동화 스토리 진행 방법에 관한 것으로, 보다 상세하게는 유아기 어린이가 동화와 같은 특정한 스토리의 이야기를 단순히 눈으로 읽고 수동적으로 이해하는데 그치지 않고, 카메라, 마이크 및 PC를 통해 해당 유아가 다양한 동작이나 목소리로서 적극적으로 참여하여 해당 스토리를 받아들이며, 유아의 동작이나 목소리의 다양한 반응에 따라 다양한 스토리로 분기되어 보다 재미있고 직접적으로 유아가 해당 스토리를 이해할 수 있도록 하는 이미지 프로세싱을 이용한 동화 스토리 진행 방법에 관한 것이다.
일반적으로, 최근 다양한 분야에서 각광받고 있는 이미지 프로세싱 기술이란 이미지 장치(예컨데, 디지탈 카메라, 스케너, 피씨 카메라)로 부터 이미지 데이터 를 입력 받아 해당 이미지 데이터를 처리하는 일련의 과정을 의미한다.
대표적으로, 이러한 이미지 프로세싱 기술에는 실영상 이미지를 인공 영상의 이미지와 결합시키거나 변형시켜 컴퓨터 예술이나 광고, 오락 등의 분야에 광범위하게 사용되고 있는 이미지 합성(Image Synthesis) 기술과, 영상 이미지 속에 나타나는 객체를 식별하는 일련의 작업을 일컫는 이미지 분석(Image Analysis) 기술과 그리고 영상 이미지로 주어진 문자나 사람의 지문, 얼굴과 같은 객체를 파악하여 인식하는 작업을 일컫는 이미지 패턴 인식(Image Pattern Recognition) 기술 등이 있다.
한편, 유아기의 어린이들은 다양한 매체 즉, 책이나 만화, 에니매이션, 연극 등을 통해 전래동화나 이솝우화, 위인전 등과 같은 아동용 이야기들을 접하게 된다.
하지만, 최근 PC의 활발한 가정보급과 PC문화의 저변확대에 따라 유아기의 어린이들도 능숙하게 PC를 다루며 PC를 통해 어린이용 게임이나 커뮤니티 문화를 즐기고 있는 것이 사실이다.
따라서 이러한 어린이들에게 이제 기존의 책과 같은 정적인 매체를 통해 동화를 접하는 일은 대단히 무료하고 집중력이 떨어지는 일이 되었으며, 이에 따라 최근에는 유아기 어린이들의 정서함양을 위한 필수 동화들이 예전과 달리 어린이들에게 외면받고 있어, 보다 시대에 맞는 접근방식이 요구되고 있는 실정이다.
본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로서, 그 목적은 책과 같은 기존의 정적인 매체에 대해 어느정도 거부감을 가지고 있는 어린이들에게 동화를 접하게 하는데 있어 카메라, 마이크 및 PC를 통해 해당 유아가 다양한 동작이나 목소리로서 적극적으로 참여하여 해당 스토리를 받아들이고, 유아의 동작이나 목소리의 다양한 반응에 따라 다양한 스토리로 분기되어 보다 재미있고 직접적으로 유아가 해당 스토리를 흥미롭게 이해할 수 있도록 하는 이미지 프로세싱을 이용한 동화 스토리 진행 방법을 제공하는 것이다.
상기 목적을 달성하기 위한 본 발명의 일측면에 따른 이미지 프로세싱을 이용한 동화 스토리 진행 방법은, (a) 스토리구현 컴퓨터가 상기 유저인식 장치(100)로 촬영한 유저의 얼굴 이미지 및 유저 정보를 수신하여 환경정보 DB에 등록시키는 단계; (b) 상기 스토리구현 컴퓨터가 스토리정보 DB로부터 해당 동화 스토리의 부분 스토리를 검색해 추출해내고 해당 유저의 얼굴이미지를 극중 캐릭터에 합성시켜 해당 부분 스토리를 출력시키는 단계; (c) 상기 스토리구현 컴퓨터가 해당 동화 스토리의 진행 중 스토리 분기 이벤트가 발생하면 상기 스토리정보 DB로부터 해당 부분 스토리의 완료시점에 상응하는 분기이벤트 정보를 추출해 출력시키는 단계; (d) 상기 스토리구현 컴퓨터가 해당 분기이벤트가 유저동작에 의해 분기경로가 결정되는 분기이벤트인 경우, 상기 유저인식 장치로부터 촬영된 유저측의 영상 이미지들을 순차적으로 저장하고 전후 영상 이미지를 계속적으로 비교하여 그 이미지간 변화 여부로 유저의 동작을 인식하며, 해당 유저의 동작을 미리 정해진 다수의 유저 예상동작 패턴 중 하나와 매칭시키는 단계; (f) 상기 스토리구현 컴퓨터가 유저측 반응에 따른 패턴 정보를 분기기준 테이블과 비교하여 해당 동화 스토리의 다음 분기스토리 경로를 결정하는 단계; 및 (g) 상기 스토리구현 컴퓨터가 다음 스토리 경로로 결정된 동화의 부분 스토리 정보를 스토리정보 DB로부터 추출해 다음 부분 스토리를 진행시키는 단계; 를 포함하는 것을 특징으로 한다.
바람직하게는, 상기 (f) 단계 이전에, (e) 상기 스토리구현 컴퓨터가 해당 분기이벤트가 유저음성에 의해 분기경로가 결정되는 분기이벤트인 경우, 상기 유저인식 장치로부터 수집된 유저측의 음향 데이터들을 분석하여 유저의 보이스에 대한 음성인식이나 음성톤인식을 수행하고 해당 분석결과를 미리 정해진 다수의 유저 예상음성 패턴 중 하나와 매칭시키는 단계; 를 더 포함하는 것을 특징으로 한다.
더욱 바람직하게는, 상기 (d) 단계는, (d-1) 상기 스토리구현 컴퓨터가 상기 유저인식 장치의 카메라 모듈을 통해 해당 유저측의 영상을 촬영하는 단계; (d-2) 상기 스토리구현 컴퓨터가 상기 촬영된 유저의 영상과 해당 스토리분기이벤트에 따른 영상을 합성하여 디스플레이부를 통해 출력시키는 동시에 해당 촬영 영상 이미지들을 이미지 저장부에 순차적으로 저장시키는 단계; (d-3) 상기 스토리구현 컴퓨터가 순차적으로 저장되는 영상 이미지들에 대하여 전후 영상 이미지의 기설정된 감시영역들만을 계속적으로 상호 비교해 해당 유저의 움직임이 해당 감시영역에 포착되었는지 감시하는 단계; (d-4) 상기 스토리구현 컴퓨터가 다수의 감시영역들간 비교 중 적어도 하나의 감시영역에서 전후간 픽셀값의 변화가 발생하면 해당 이미지 픽셀 변화값을 산정하는 단계; (d-5) 상기 스토리구현 컴퓨터가 상기 픽셀 변화값이 변화 허용폭 이상이면 해당 감시영역의 이미지 변화를 해당 유저의 동작으로 결정하는 단계; 및 (d-6) 상기 스토리구현 컴퓨터가 상기 결정된 유저의 동작을 동작정보 DB에 기저장된 해당 스토리분기시 유저 예상동작 패턴정보와 비교해 유사도에 따라 하나의 패턴과 매칭시키는 단계; 를 포함하는 것을 특징으로 한다.
더욱 바람직하게는, 상기 (e) 단계는, (e-1) 상기 스토리구현 컴퓨터가 상기 유저인식 장치의 마이크 모듈을 통해 해당 유저측의 음향을 수집하는 단계; (e-2) 상기 스토리구현 컴퓨터가 상기 유저인식 장치로부터 수집된 유저측의 음향 데이터를 보이스 저장부에 저장시키는 단계; (e-3) 상기 스토리구현 컴퓨터가 해당 음성분기 이벤트가 음향톤에 따른 분기이벤트인 경우, 해당 유저측에서 수집된 음향의 진동이 갖는 특징으로 해당 유저측 음향의 강약이나 높낮음 정도를 분석하고 분석된 음향의 강약이나 높낮음 정도에 관한 측정치를 산출하여 음향톤의 레벨을 결정하는 단계; (e-4) 상기 스토리구현 컴퓨터가 해당 음성분기 이벤트가 음성인식에 따른 분기이벤트인 경우, 해당 유저측에서 수집된 음향 데이터의 스펙트럼 파형을 분석하고 음향정보 DB 에 기구성된 음성 테이블과 비교 후 해당 음향 데이터의 음성정보를 결정하는 단계; 및 (e-5) 상기 스토리구현 컴퓨터가 상기 결정된 음향톤의 레벨 정보나 음성인식 결과 정보를 음향정보 DB에 기저장된 해당 스토리분기시 유저 예상음성 패턴정보와 비교해 유사도에 따라 하나의 패턴과 매칭시키는 단계; 를 포함하는 것을 특징으로 한다.
더욱 바람직하게는, 상기 (d-3) 단계 이후에, 상기 스토리구현 컴퓨터가 다수의 감시영역들간 비교 중 적어도 하나의 감시영역에서 전후간 픽셀값의 변화가 발생해 변화된 픽셀값이 보조물을 나타내는 미리 지정된 소정 색상의 픽셀값인 경 우, 해당 보조물 감지동작을 동작정보 DB에 기저장된 해당 스토리분기시 유저 예상동작 패턴정보와 비교하여 해당 스토리 분기시의 유저 동작 패턴을 결정하는 단계;를 더 포함하는 것을 특징으로 한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.
이하에서 본 발명은 유아기 어린이가 동화와 같은 특정한 스토리의 이야기를 단순히 눈으로 읽고 수동적으로 이해하는데 그치지 않고, 카메라, 마이크 및 PC를 통해 해당 유아가 다양한 동작이나 목소리로서 적극적으로 참여하여 해당 스토리를 받아들이며, 유아의 동작이나 목소리의 다양한 반응에 따라 다양한 스토리로 분기되어 보다 재미있고 직접적으로 유아가 해당 스토리를 이해할 수 있도록 하는 이미지 프로세싱을 이용한 동화 스토리 진행 방법을 바람직한 실시예로 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
도 1은 본 발명의 이미지 프로세싱을 이용한 동화 스토리 진행 방법이 적용되는 시스템을 나타내는 일예시도이다.
본 발명의 이미지 프로세싱을 이용한 동화 스토리 진행 방법이 적용되는 시스템은 유저의 영상을 촬영하고 유저의 목소리를 채취하는 유저인식 장치(100)와 상기 유저인식 장치(100)로부터 촬영된 유저의 이미지를 동화 캐릭터로 이용해 동화 스토리 영상을 진행시키는 한편 동화 스토리 영상의 진행 중 다양한 스토리 분기점을 유저에게 제시하고 상기 유저인식 장치(100)를 통해 유저의 실제 동작이나 음성을 입력받아 패턴화하여 해당 패턴에 따라 미리 마련된 다양한 스토리 분기를 수행하여 유저에게 해당 동화 스토리를 각인시키는 스토리구현 컴퓨터(200)로 구성된다.
도 1을 참조하여 본 발명의 실시예에 따른 이미지 프로세싱을 이용한 동화 스토리 진행 방법에 대해 좀더 상세하게 설명하면,
상기 유저인식 장치(100)는 해당 동화 스토리의 진행시 해당 유저(예컨데, 적어도 하나 이상의 아동)의 정지영상 이미지나 동영상 이미지를 촬영해 해당 촬영 이미지들을 상기 스토리구현 컴퓨터(200)로 전송하는 한편, 해당 유저측의 음성을 수집해 해당 음성 데이터를 상기 스토리구현 컴퓨터로 전송하는 기능을 수행하는 바, 유저의 이미지 영상을 촬영하는 카메라 모듈(110)과 유저의 음성을 채취하는 마이크 모듈(120)을 포함한다.
이때, 이러한 유저인식 장치(100)는 일반적인 PC에서 별도의 하드웨어적인 기술 없이 즉시 채용 가능한 웹캠(WebCam)(혹은 PC 카메라나 USB 카메라)인 것이 바람직하지만, 촬영된 영상 이미지를 디지털화해 소정 인터페이스를 통해 컴퓨터로 전송하며 내장 마이크를 갖춘 일반적인 디지털 카메라이면 관계없다.
한편, 상기 스토리구현 컴퓨터(200)는 유저에게 동화 스토리를 영상 이미지 및 음향으로 출력하여 제공하며, 해당 동화 스토리의 진행 도중 다수의 스토리 분기점들을 마련해 두고 해당 스토리 분기점에 대한 유저의 반응을 요구하는 한편, 상기 유저인식 장치(100)를 통해 해당 스토리 분기점에 대한 유저의 반응을 영상 및 소리로 받아들임으로써 해당 유저의 행동 및 소리 반응에 따라 다양하게 스토리 를 분기시켜 해당 유저의 능동적인 행동 및 소리 반응에 의해 동화 스토리의 진행이 이루어질 수 있도록 하는 바, 도 2에 도시된 바와 같이 주제어부(210), 데이터 저장장치(220), 외부 인터페이스(230), 이미지 처리부(240), 보이스 처리부(250), 분기 판별부(260), 영상 합성부(270), 음향 출력부(280) 및 디스플레이부(290)를 포함한다.
상기 데이터 저장장치(220)는 해당 동화 스토리를 사용자에게 영상 및 음향으로 출력시키기 위한 스토리 데이터를 저장하는 스토리정보 DB와 해당 동화 스토리를 진행시키기 위한 유저의 기본정보와 동화구현 환경 데이터를 저장하는 환경정보 DB와, 유저의 동작을 인식하기 위한 동작정보 DB와 유저측 음향을 분석하기 위한 음향정보 DB로 구성된다.
이때, 상기 스토리정보 DB는 해당 동화 스토리의 진행 영상, 진행 텍스트, 진행 음향, 진행 나레이션 등을 포함하는 동화 스토리의 진행정보와, 스토리분기 영상, 스토리분기 안내 텍스트, 스토리분기 안내음향, 스토리분기 안내 나레이션 등을 포함하는 동화 스토리 분기이벤트 정보와, 스토리 분기시 사용자의 반응에 따른 분기기준 테이블, 분기영상경로 테이블 등을 포함하는 분기 정보를 포함한다.
이때, 상기 동화 스토리 진행정보에 포함되는 동화 스토리는 다수의 부분 스토리들로 구분되어 있으며, 각 부분 스토리들은 하나의 스토리 분기 이벤트와 연동되게 된다. 이에 따라, 하나의 부분 스토리가 진행되면 하나의 분기 이벤트가 발생하여 해당 분기 이벤트에 대한 유저의 반응에 따라 타 부분 스토리로 이야기진행이 분기되게 되는 구조이다.
그리고, 상기 감시이미지 영역 설정정보라 함은 해당 유저의 행동이 발생하였는지 여부를 판별하기 위한 특정 영역에 대한 설정정보를 의미하게 되며, 이러한 감시이미지 영역 설정정보에 대하여는 이하에서 보다 상세히 기술된다.
또한, 상기 동작정보 DB 는 상기 스토리분기 영상에 상응하는 유저촬영 영상에서의 감시이미지 영역 설정정보와, 스토리분기시 유저 예상동작 패턴정보를 포함한다.
또한, 상기 음향정보 DB 는 스토리분기시 해당 유저측 음향분석을 위한 음향데이터 테이블과 스토리분기시 유저 예상음성 패턴정보를 포함한다.
또한, 상기 환경정보 DB는 해당 동화 스토리의 캐릭터로 삽입시키기 위한 기초 유저이미지를 포함하며, 그리고 동화 스토리의 진행을 위한 환경 데이터를 포함한다.
상기 외부 인터페이스(230)는 상기 유저인식 장치(100)로부터 전송되는 유저 촬영 영상 이미지 데이터 및 유저 음성 데이터를 수신하게 되는데, 이러한 외부 유저인식 장치(100)와 스토리구현 컴퓨터(200) 간 영상 데이터의 원활한 전송을 위해서 고속 데이터 전송이 가능한 USB(Universal Serial Bus) 규격의 인터페이스가 사용되는 것이 바람직하다.
상기 이미지 처리부(240)는 스토리 진행 도중 유저의 행동을 요구하는 스토리분기 장면시 상기 유저인식 장치(100)에서 촬영된 유저측의 영상 이미지들을 순차적으로 저장하고 전후 영상 이미지를 비교하여 그 이미지간 변화 여부를 통해 유저의 동작을 인식하고 이러한 해당 유저의 동작을 미리 정해진 다수의 유저 예상동 작 패턴 중 하나와 매칭시키는 기능을 수행하는 바, 이미지 저장부(241), 이미지 비교부(242), 이미지 패턴화부(243)를 포함한다.
상기 이미지 저장부(241)는 상기 외부 인터페이스(210)를 통해 수신된 촬영 영상 이미지를 저장하게 된다.
이때, 이러한 입력 영상 이미지들을 저장하기 위한 상기 이미지 저장부(230)는 해당 PC의 메모리상의 일정 부분을 사용하게 되는 버퍼로 이루어져 영상 이미지가 입력되는 시간별로 순차적으로 해당 영상 이미지들을 저장하게 되는데, 동영상 이미지의 특성상 원활한 이미지 데이터의 사용을 위해 해당 이미지 저장부(230)는 환형 버퍼(circular buffer)로 구성되는 것이 바람직하다.
그리고, 상기 이미지 비교부(242)는 상기 이미지 저장부(241)에 순차적으로 저장된 영상 이미지들 중 전후 영상 이미지를 서로 비교하여 그 변화 여부로 유저의 움직임을 인식하게 되는데, 이러한 전후 이미지간 비교는 해당 이미지들의 전체 영역을 그 비교대상으로 하지 않고 특정 영역 즉, 소정 감시영역만을 그 비교대상으로 하여 해당 감시영역에 대한 전후 영상 이미지만을 비교해 사용자의 움직임을 인식하게 된다.
이러한 감시영역간 비교 방식에 대해 보다 상세히 설명하면, 동화 스토리의 진행 도중 유저에게 특정한 행동을 요구하여 스토리분기를 꾀하는 장면이 되면, 상기 스토리구현 컴퓨터(200)는 디스플레이부(290)를 통해 해당 유저에 대한 촬영영상과 스토리분기 영상을 도 3a에 도시된 바와 같이 합성하여 출력하게 되는데 이때 해당 유저에게는 해당 스토리분기 안내 나레이션 등을 통해 특정 행동을 요구하게 된다.
이에 따라, 상기 이미지 비교부(242)는 실시간으로 상기 이미지 저장부(241)에 저장되는 유저 촬영 영상 이미지들에서 2개의 감시영역인 A1와 A2 영역에 대해 전후 이미지간 비교를 계속적으로 수행하게 된다. 따라서, 유저가 움직여 해당 감시영역에 신체를 위치이동시키면 상기 이미지 비교부(242)가 해당 감시영역의 변화로 이러한 유저의 움직임을 포착하게 되는 것이다.
이때, 상기 이미지 비교부(242)는 감시영역간 이미지 변화를 판별하기 위해 해당 감시영역과 그 이전 감시영역 비교하여 그 픽셀값의 변화 즉, RGB 값의 변화를 통해 해당 감시영역 간 이미지의 변화 여부를 인식할 수 있게 된다.
일예로, 도 3에 도시된 바와 같이 동화 스토리 진행 도중 스토리분기 장면으로서 용이 왕자를 불로 공격하는 장면에서 유저가 취할 수 있는 행동은 그 불을 팔로 막거나(감시영역 A1으로 포착가능) 뒤로 물러서는(감시영역 A2으로 포착가능) 2가지의 동작이 될 것이다.
이때, 상기 데이터 저장장치(220)의 스토리정보 DB에는 각각의 스토리분기 장면에서 예측되는 유저의 행동에 따른 감시영역 설정정보가 도 3a의 A1 영역과 A2 영역으로서 저장되어 있으며, 상기 이미지 비교부(242)가 해당 감시영역 설정정보에 따라 상기 A1 영역과 A2 영역에 대한 전후 영상 이미지들을 계속적으로 비교하여 해당 감시영역에 대한 변화여부를 인식하게 된다.
그리고, 상기 이미지 패턴화부(243)는 상기 이미지 비교부(242)를 통해 인식된 감시영역 변화를 상기 동작정보 DB 에 저장된 미리 정해진 다수의 유저 예상동 작 패턴 중 하나와 매칭시켜 패턴화시킨다.
즉, 스토리분기 장면에서 예측가능한 유저의 동작을 미리 다양하게 패턴화시키고, 상기 이미지 패턴화부(243)가 실제 스토리분기시 유저의 동작을 기설정된 패턴들 중 가장 유사한 하나의 패턴과 매칭시켜 해당 매칭정보를 출력하게 되는 것이다.
한편, 상기 보이스 처리부(250)는 스토리 진행 도중 유저의 음성을 요구하는 스토리분기 장면시 상기 유저인식 장치(100)에서 수집된 유저측의 음향 데이터를 저장하고 해당 음향 데이터를 분석하여 그 유저의 보이스에 대한 음성언어 직접인식이나 음성톤(고저, 강약)판별 등을 통해 해당 유저측 음향을 미리 정해진 다수의 유저 예상음성 패턴 중 하나와 매칭시키는 기능을 수행하는 바, 보이스 저장부(251), 보이스 분석부(252), 보이스 패턴부(253)를 포함한다.
상기 보이스 저장부(251)는 상기 외부 인터페이스(210)를 통해 상기 유저인식 장치(100)로부터 수신된 음향 데이터를 저장하게 된다.
상기 보이스 분석부(252)는 상기 보이스 저장부(251)에 저장된 유저측의 음향 데이터의 스펙트럼을 분석하여 음향정보 DB의 정형화된 음성 테이블과 비교 후 해당 음향 데이터의 음성을 결정하거나 또는 유저측의 음향 데이터의 음의 강약과 높낮음 등의 음성톤의 진동이 갖는 특징을 디지털 신호로 바꾼 후 분석하여 해당 음향의 강약 또는 고저 정도를 결정하게 된다.
상기 보이스 패턴화부(253)는 상기 보이스 분석부(252)를 통해 결정된 유저측 음향의 언어적 음성의미나 음의 톤(강약, 고저) 정보를 상기 음향정보 DB에 저 장된 미리 정해진 다수의 유저 예상음성 패턴 중 하나와 매칭시켜 패턴화시킨다.
즉, 스토리분기 장면에서 예측가능한 유저의 음성을 미리 다양하게 패턴화시키고, 상기 보이스 패턴화부(253)가 실제 스토리분기시 유저측의 음향을 기설정된 패턴들 중 가장 유사한 하나의 패턴과 매칭시켜 해당 매칭정보를 출력하게 되는 것이다. 이때, 그 유사성의 판별 요소는 해당 유저측 음성에 대한 분석결과인 언어적 의미나 음의 강약정도, 고저정도 등이 될 수 있다.
한편, 상기 분기 판별부(260)는 상기 이미지 패턴화부(243) 및 보이스 패턴화부(253)으로부터 유저측의 동작이나 음성에 따라 결정된 패턴결정 정보를 수신하고 이를 상기 스토리정보 DB의 분기기준 테이블과 비교하여 해당 동화스토리의 다음 분기스토리 경로를 결정해 상기 주제어부(210)로 출력한다.
상기 영상 합성부(270)는 해당 동화 스토리의 영상과 상기 유저인식 장치(100)로부터 촬영된 유저 영상 이미지를 합성하여 동시에 상기 디스플레이부(290)로 출력시킨다.
상기 음향 출력부(280)는 해당 동화 스토리의 진행 중 발생하는 일반 진행효과음이나 나레이션, 안내음향 등을 외부로 출력시키게 된다.
본 발명의 전체적인 흐름을 도 4를 참조하여 설명하면 다음과 같다.
도 4는 본 발명의 실시예에 따른 이미지 프로세싱을 이용한 동화 스토리 진행 방법을 나타내는 전체적인 흐름도이다.
우선, 상기 스토리구현 컴퓨터(200)의 주제어부(210)는 상기 유저인식 장치(100)에서 촬영되는 유저측 이미지에서 유저의 움직임 여부를 판별하는 설정영역인 감시영역에 대한 모션체크 민감도에 대한 설정을 사용자에게 제안하고 해당 유저로부터 입력되는 소정 모션체크 민감도에 관한 사용자 입력 정보를 수신하여 이를 상기 이미지 처리부(240)의 이미지 비교부(243)에 감시영역 비교 기준 정보로서 설정한다(S10).
이때, 상기 모션체크 민감도는 상기 이미지 비교부(243)가 이미지 저장부(241)에 저장되는 유저에 대한 영상 이미지들에서 감시영역들을 순차적으로 계속 비교하여 그 변화 여부(유저의 움직임이 해당 영역에서 체크되었는지 여부)를 판별할 수 있는 기준이 되는 정보로서, 본 실시예에서 이러한 모션체크 민감도는 픽셀값 즉, RGB 값이 될 수 있다. 따라서 유저는 감시영역의 픽셀값의 변화 허용폭을 설정하게 됨으로써 해당 허용폭을 넘어서는 픽셀값의 변화가 발생하면 이를 해당 이미지 비교부(242)가 유저의 동작이 해당 감시영역에서 발생한 것으로 인식하게 된다.
이러한 모션체크 민감도에 대한 유저 설정은 해당 동화 스토리가 진행되는 다양한 환경(사용자 주변 색상, 사용자 옷의 색상)에 따라 해당 모션체크 민감도의 설정에 변화를 줄 수 있게 되어 보다 확실한 영상변화 인식을 가능하게 한다.
일예로, 사용자가 흰 옷을 입고 있고 해당 사용자의 주변 배경이 흰색인 경우에는 사용자의 움직임 여부를 픽셀의 변화로 판단하기에 무리가 있을 수 있으므로 해당 민감도의 변화 허용폭을 보다 적게 설정함으로써 주변환경에 따른 적절한 영상변화의 인식이 가능하게 된다.
다음으로, 상기 주제어부(210)는 해당 동화 스토리를 진행할 유저의 정보를 수신하여 상기 데이터 저장장치(220)의 환경정보 DB에 등록시켜(S20) 해당 동화 스토리의 진행에 사용하게 되는데, 이러한 동화 스토리 진행을 위한 유저의 정보로는 유저 얼굴이미지, 유저이름, 유저선호색 등이 될 수 있다.
이때, 유저 얼굴이미지의 촬영을 위해 상기 주제어부(210)는 디스플레이부(290)로 얼굴 이미지 촬영창을 출력시키고 상기 유저인식 장치(100)로 유저의 얼굴 이미지를 촬영하게 되는데, 이러한 유저의 얼굴 이미지는 도 5에 도시된 바와 같이 해당 동화 스토리의 주인공 캐릭터의 얼굴로 합성되어 동화 스토리의 진행 중 사용되게 된다.
다음으로, 상기 주제어부(210)는 상기 데이터 저장장치(220)의 스토리정보 DB로부터 해당 동화 스토리의 적절한 영상과 음향 등을 검색해 추출해내고 상기 영상 합성부(270)에서 해당 유저의 얼굴이미지를 극중 캐릭터에 합성시켜 합성된 하나의 부분 스토리를 상기 디스플레이부(290) 및 음향 출력부(280)를 통해 영상과 음향으로 출력시킨다(S30).
이후, 상기 주제어부(210)는 해당 동화 스토리의 진행 중 스토리 분기 이벤트가 발생하였는지 여부를 해당 출력중인 부분 스토리의 진행 완료 여부에 따라 판단하여(S40), 분기 이벤트가 발생한 경우, 상기 데이터 저장장치(220)의 스토리 정보 DB 로부터 해당 부분 스토리 완료 시점에 상응하는 분기이벤트 정보를 추출해 상기 디스플레이부(290)와 음향 출력부(280)를 통해 해당 분기이벤트에 관해 안내하게 된다(S50).
이때, 상기 분기이벤트는 유저에게 부분 스토리의 완료 지점에서 해당 스토 리에 대한 특정한 반응을 보이도록 유도하는 것으로, 이러한 유저의 분기이벤트에 대한 반응에 따라 다양한 타부분 스토리로 이야기가 진행되도록 하여 유저의 능동적 참여에 의한 동화 스토리의 진행이 가능하도록 한다.
이러한 분기이벤트는 유저에게 해당 동화 스토리의 진행과 관련된 동작이나 음성을 요구할 수 있으며, 다른 방식으로 특정한 보조물을 해당 유저가 움직이거나 소리내도록 하여 해당 분기이벤트가 진행되도록 할 수도 있다.
상기 보조물이라 함은 해당 동화 스토리의 진행에 영향을 미칠 수 있는 실제 물건으로 상기 이미지 비교부(242)에서 쉽게 판별 가능한 특정한 색과 상기 보이스 분석부(252)에서 쉽게 분석 가능한 특정한 소리를 내는 물건이 될 수 있으며, 일예로 형광색의 마법봉이 가능하다.
상기 주제어부(210)는 준비된 분기이벤트의 내용을 검색하여 해당 분기 이벤트가 유저에게 특정한 동작을 요구하는 동작분기 이벤트인지 또는 유저에게 특정한 음성을 요구하는 음성분기 이벤트인지 여부를 판단한다(S60).
상기 제 S60 단계의 판단결과, 준비된 분기이벤트가 유저에게 특정한 동작을 요구하는 동작분기 이벤트인 경우, 상기 주제어부(210)는 상기 유저인식 장치(100)의 카메라 모듈(110)로부터 촬영된 유저측의 영상 이미지들을 수신하여 해당 스토리분기 영상과 함께 디스플레이부(290)에 출력시키는 한편, 이미지 처리부(240)를 통해 해당 유저측의 영상 이미지들을 순차적으로 저장하고 전후 영상 이미지를 비교하여 그 이미지간 변화 여부로 유저의 동작을 인식하고 이러한 해당 유저의 동작을 미리 정해진 다수의 유저 예상동작 패턴 중 하나와 매칭시킨다(S70).
또한, 상기 제 S60 단계의 판단결과, 준비된 분기이벤트가 유저에게 특정한 음성을 요구하는 음성분기 이벤트인 경우, 상기 주제어부(210)는 상기 유저인식 장치(100)의 마이크 모듈(120)로부터 수집된 유저측의 음향 데이터들을 수신하는 한편, 보이스 처리부(250)를 통해 해당 유저측의 음향 데이터를 저장하고 분석하여 유저의 보이스에 대한 언어 직접인식이나 음성 고저판별 등으로 해당 유저측 음향을 미리 정해진 다수의 유저 예상음성 패턴 중 하나와 매칭시킨다(S80).
다음으로, 상기 주제어부(210)는 상기 이미지 처리부(240) 또는 보이스 처리부(250)를 통해 패턴화된 스토리분기시의 유저측의 반응인 패턴결정 정보를 기저장된 분기기준 테이블과 비교하여 해당 동화 스토리의 다음 분기스토리 경로를 결정한다(S90).
이후, 상기 주제어부(210)는 상기 제 S90 단계를 통해 결정된 다음 분기스토리 경로가 해당 동화 스토리의 결말에 해당하는 부분 스토리인지 여부를 판단해(S100), 다음 분기스토리 경로가 해당 동화 스토리의 결말부분인 경우, 결말에 해당하는 부분 스토리를 상기 스토리 정보 DB로부터 추출해 안내함으로써 모든 동화 스토리의 진행을 마무리하게 된다(S120)
그리고, 상기 제 S100 단계의 판단결과, 다음 분기스토리 경로가 해당 동화 스토리의 결말부분이 아닌 경우, 다음 스토리 경로로 결정된 동화의 부분 스토리에 관한 정보를 상기 스토리 정보 DB로부터 추출해 상기 제 S30 단계로 절차를 이행함으로써 계속적인 동화 스토리의 진행이 이루어지도록 한다(S110).
따라서, 해당 동화 스토리의 진행은 매분기시마다 일어나는 유저측의 동작 및 음성 반응에 따라 다양한 부분 스토리로 이야기가 분기되기 때문에 유저의 능동적인 이야기 개입과 다채로운 이야기 전개가 가능하게 된다.
한편, 상기 제 S70 단계인 유저 촬영 및 동작 패턴화 단계에 대해 도 6을 참조하여 상세하게 설명하면 다음과 같다.
도 6은 본 발명의 실시예에 따른 유저 촬영 및 동작 패턴화 단계를 나타내는 상세 흐름도이다.
우선, 준비된 분기이벤트가 유저에게 특정한 동작을 요구하는 동작분기 이벤트인 경우, 상기 주제어부(210)는 상기 유저인식 장치(100)의 카메라 모듈(110)을 통해 해당 유저의 영상을 촬영하게 된다(S71).
그리고, 상기 주제어부(210)는 상기 유저인식 장치(100)로부터 촬영된 유저의 영상과 해당 스토리분기 영상을 상기 영상 합성부(270)를 통해 합성하여 디스플레이부(290)를 통해 출력시키는 동시에 해당 유저에 대한 촬영 영상 이미지들을 상기 이미지 처리부(240)의 이미지 저장부(240)에 순차적으로 저장시킨다(S72).
상기 주제어부(210)는 상기 이미지 처리부(240)내 이미지 비교부(242)를 통해 해당 이미지 저장부(241)에 순차적으로 저장되는 영상 이미지들에 대하여 전후 영상 이미지의 기설정된 감시영역들만을 계속적으로 상호 비교함으로써 해당 유저의 움직임이 해당 감시영역에 포착되었는지 감시하게 된다(S73).
상기 주제어부(210)는 상기 영상 이미지간 감시영역들만을 계속적으로 비교하는 과정 중 적어도 하나의 감시영역에서 그 감시영역 이미지의 픽셀값에 변화가 발생하였는지 여부를 판단한다(S74).
상기 제 S74 단계의 판단결과, 적어도 하나 이상의 감시영역에서 이미지의 픽셀값 변화가 발생한 경우, 상기 주제어부(210)는 해당 이미지 픽셀 변화값(예컨데, RGB값)을 산정한다(S75).
그리고, 상기 주제어부(210)는 상기 산정된 픽셀값의 변화폭이 기설정된 모션 민감도의 변화 허용폭 이상인지 여부를 판단한다(S76).
상기 제 S76 단계의 판단결과, 산정된 픽셀값의 변화폭이 기설정된 모션 민감도 이상인 경우, 상기 주제어부(210)는 해당 유저측 촬영 영상 이미지에서 감시영역의 이미지 변화를 해당 유저의 동작으로 해당 감시영역에 대한 동작으로 결정한다(S77).
상기 주제어부(210)는 상기 결정된 감시영역들에 대한 유저의 동작을 상기 데이터 저장장치(220)의 동작정보 DB에 기저장된 해당 스토리분기시 유저 예상동작 패턴정보와 비교한다(S78).
상기 주제어부(210)는 동작정보 DB의 유저 예상동작 패턴들 중 해당 유저의 동작인식 결과와 가장 유사한 동작 패턴을 해당 유저의 동작패턴으로 결정한다(S79).
한편, 이러한 동화 스토리의 진행 도중 발생하는 분기점에서 특정한 보조물의 사용을 강요하는 경우 해당 유저는 미리 지급된 특정한 색상을 포함하고 있는 보조물을 사용할 수도 있게 되는데, 이경우, 상기 주제어부(210)는 감시영역에서의 픽셀값 변화를 인식한 후, 해당 변화가 감지된 감시영역에서 미리 지정된 특정한 색상의 보조물, 즉 특정한 색상을 감지하였는지 여부를 판단하고(S74-1), 특정한 색상을 감지한 경우, 해당 감시영역에서의 특정한 색상 감지에 따른 해당 유저의 동작과 상기 데이터 저장장치(220)의 동작정보 DB에 기저장된 해당 스토리분기시 유저 예상동작 패턴정보와 비교하여(S74-2), 그 유저의 해당 스토리 분기시의 동작 패턴을 결정하게 된다.
이때, 특정한 색상을 가진 상기 보조물이라 함은, 해당 동화 스토리의 진행에 영향을 미칠 수 있는 실제 물건으로 상기 이미지 비교부(242)에서 쉽게 판별 가능한 특정한 색을 가진 물건을 의미하며, 또한, 해당 보조물은 상기 보이스 분석부(252)에서 쉽게 분석 가능한 특정한 소리를 내는 물건이 될 수 있으며, 일예로 형광색의 마법봉이 가능하다.
한편, 상기 제 S80 단계인 유저측 음향 수집 및 음성 패턴화 단계에 대해 도 7을 참조하여 상세하게 설명하면 다음과 같다.
도 7은 본 발명의 실시예에 따른 유저측 음향 수집 및 음성 패턴화 단계를 나타내는 상세 흐름도이다.
우선, 준비된 분기이벤트가 유저에게 특정한 음성을 요구하는 음성분기 이벤트인 경우, 상기 주제어부(210)는 상기 유저인식 장치(100)의 마이크 모듈(120)을 통해 해당 유저측의 음향을 수집하게 된다(S81).
그리고, 상기 주제어부(210)는 상기 유저인식 장치(100)로부터 수집된 유저측의 음향 데이터를 상기 보이스 처리부(250)의 보이스 저장부(251)에 저장시킨다(S82).
상기 주제어부(210)는 해당 분기이벤트 정보를 통해 해당 음성분기 이벤트가 음향톤에 따른 분기이벤트인지 또는 음성인식에 따른 분기이벤트인지 여부를 판단하여(S83), 음향톤 분기이벤트인 경우, 상기 보이스 분석부(252)를 통해 해당 유저측에서 수집된 음향의 진동이 갖는 특징으로 강약이나 높낮음 정도를 분석하고(S84), 분석된 음향의 강약이나 고저 정도에 관한 측정치를 산출하여 음향톤의 레벨을 결정한다(S85).
또한, 상기 제 S83 단계의 판단결과, 음성인식 분기이벤트인 경우, 상기 주제어부(210)는 상기 보이스 분석부(252)를 통해 해당 유저측에서 수집된 음향 데이터의 스펙트럼 파형을 분석하고(S86), 상기 데이터 저장장치(220)의 음향정보 DB 에 기구성된 정형화된 음성 테이블과 비교 후 해당 음향 데이터의 음성을 결정한다(S87).
그리고, 상기 주제어부(210)는 상기 결정된 음향톤의 레벨 정보나 음성인식 결과 정보를 상기 데이터 저장장치(220)의 음향정보 DB에 기저장된 해당 스토리분기시 유저 예상음성 패턴정보와 비교한다(S88).
상기 주제어부(210)는 음성정보 DB의 유저 예상음성 패턴들 중 해당 유저의 음향톤 레벨이나 음성인식 결과와 가장 유사한 음성 패턴을 해당 유저의 음성패턴으로 결정한다(S89).
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 한정되는 것이 아니다.
이상에서 살펴본 바와 같이, 본 발명에 나타난 이미지 프로세싱을 이용한 동화 스토리 진행 방법은 책과 같은 기존의 정적인 매체에 대해 어느정도 거부감을 가지고 있는 유아기 어린이가 동화와 같은 특정한 스토리의 이야기를 종래와 같이 단순히 눈으로 읽고 수동적으로 이해하는데 그치지 않고, 카메라, 마이크 및 PC를 통해 해당 유아가 다양한 동작이나 목소리로서 적극적으로 참여하여 해당 스토리를 능동적으로 받아들일 수 있도록 하며, 유아의 동작이나 목소리의 다양한 반응에 따라 다양한 스토리로 분기되어 보다 재미있고 직접적으로 유아가 해당 스토리를 이해할 수 있도록 하는 효과가 있다.
Claims (5)
- (a) 스토리구현 컴퓨터가 상기 유저인식 장치(100)로 촬영한 유저의 얼굴 이미지 및 유저 정보를 수신하여 환경정보 DB에 등록시키는 단계;(b) 상기 스토리구현 컴퓨터가 스토리정보 DB로부터 해당 동화 스토리의 부분 스토리를 검색해 추출해내고 해당 유저의 얼굴이미지를 극중 캐릭터에 합성시켜 해당 부분 스토리를 출력시키는 단계;(c) 상기 스토리구현 컴퓨터가 해당 동화 스토리의 진행 중 스토리 분기 이벤트가 발생하면 상기 스토리정보 DB로부터 해당 부분 스토리의 완료시점에 상응하는 분기이벤트 정보를 추출해 출력시키는 단계;(d) 상기 스토리구현 컴퓨터가 해당 분기이벤트가 유저동작에 의해 분기경로가 결정되는 분기이벤트인 경우, 상기 유저인식 장치로부터 촬영된 유저측의 영상 이미지들을 순차적으로 저장하고 전후 영상 이미지를 계속적으로 비교하여 그 이미지간 변화 여부로 유저의 동작을 인식하며, 해당 유저의 동작을 미리 정해진 다수의 유저 예상동작 패턴 중 하나와 매칭시키는 단계;(f) 상기 스토리구현 컴퓨터가 유저측 반응에 따른 패턴 정보를 분기기준 테이블과 비교하여 해당 동화 스토리의 다음 분기스토리 경로를 결정하는 단계; 및(g) 상기 스토리구현 컴퓨터가 다음 스토리 경로로 결정된 동화의 부분 스토리 정보를 스토리정보 DB로부터 추출해 다음 부분 스토리를 진행시키는 단계; 를 포함하는 것을 특징으로 하는 이미지 프로세싱을 이용한 동화 스토리 진행 방법.
- 제 1항에 있어서,상기 (f) 단계 이전에,(e) 상기 스토리구현 컴퓨터가 해당 분기이벤트가 유저음성에 의해 분기경로가 결정되는 분기이벤트인 경우, 상기 유저인식 장치로부터 수집된 유저측의 음향 데이터들을 분석하여 유저의 보이스에 대한 음성인식이나 음성톤인식을 수행하고 해당 분석결과를 미리 정해진 다수의 유저 예상음성 패턴 중 하나와 매칭시키는 단계; 를 더 포함하는 것을 특징으로 하는 이미지 프로세싱을 이용한 동화 스토리 진행 방법.
- 제 1항 또는 제 2항에 있어서,상기 (d) 단계는,(d-1) 상기 스토리구현 컴퓨터가 상기 유저인식 장치의 카메라 모듈을 통해 해당 유저측의 영상을 촬영하는 단계;(d-2) 상기 스토리구현 컴퓨터가 상기 촬영된 유저의 영상과 해당 스토리분기이벤트에 따른 영상을 합성하여 디스플레이부를 통해 출력시키는 동시에 해당 촬영 영상 이미지들을 이미지 저장부에 순차적으로 저장시키는 단계;(d-3) 상기 스토리구현 컴퓨터가 순차적으로 저장되는 영상 이미지들에 대하여 전후 영상 이미지의 기설정된 감시영역들만을 계속적으로 상호 비교해 해당 유저의 움직임이 해당 감시영역에 포착되었는지 감시하는 단계;(d-4) 상기 스토리구현 컴퓨터가 다수의 감시영역들간 비교 중 적어도 하나의 감시영역에서 전후간 픽셀값의 변화가 발생하면 해당 이미지 픽셀 변화값을 산정하는 단계;(d-5) 상기 스토리구현 컴퓨터가 상기 픽셀 변화값이 변화 허용폭 이상이면 해당 감시영역의 이미지 변화를 해당 유저의 동작으로 결정하는 단계; 및(d-6) 상기 스토리구현 컴퓨터가 상기 결정된 유저의 동작을 동작정보 DB에 기저장된 해당 스토리분기시 유저 예상동작 패턴정보와 비교해 유사도에 따라 하나의 패턴과 매칭시키는 단계; 를 포함하는 것을 특징으로 하는 이미지 프로세싱을 이용한 동화 스토리 진행 방법.
- 제 3항에 있어서,상기 (e) 단계는,(e-1) 상기 스토리구현 컴퓨터가 상기 유저인식 장치의 마이크 모듈을 통해 해당 유저측의 음향을 수집하는 단계;(e-2) 상기 스토리구현 컴퓨터가 상기 유저인식 장치로부터 수집된 유저측의 음향 데이터를 보이스 저장부에 저장시키는 단계;(e-3) 상기 스토리구현 컴퓨터가 해당 음성분기 이벤트가 음향톤에 따른 분기이벤트인 경우, 해당 유저측에서 수집된 음향의 진동이 갖는 특징으로 해당 유저측 음향의 강약이나 높낮음 정도를 분석하고 분석된 음향의 강약이나 높낮음 정도에 관한 측정치를 산출하여 음향톤의 레벨을 결정하는 단계;(e-4) 상기 스토리구현 컴퓨터가 해당 음성분기 이벤트가 음성인식에 따른 분기이벤트인 경우, 해당 유저측에서 수집된 음향 데이터의 스펙트럼 파형을 분석하고 음향정보 DB 에 기구성된 음성 테이블과 비교 후 해당 음향 데이터의 음성정보를 결정하는 단계; 및(e-5) 상기 스토리구현 컴퓨터가 상기 결정된 음향톤의 레벨 정보나 음성인식 결과 정보를 음향정보 DB에 기저장된 해당 스토리분기시 유저 예상음성 패턴정보와 비교해 유사도에 따라 하나의 패턴과 매칭시키는 단계; 를 포함하는 것을 특징으로 하는 이미지 프로세싱을 이용한 동화 스토리 진행 방법.
- 제 3항에 있어서,상기 (d-3) 단계 이후에,상기 스토리구현 컴퓨터가 다수의 감시영역들간 비교 중 적어도 하나의 감시영역에서 전후간 픽셀값의 변화가 발생해 변화된 픽셀값이 보조물을 나타내는 미리 지정된 소정 색상의 픽셀값인 경우, 해당 보조물 감지동작을 동작정보 DB에 기저장된 해당 스토리분기시 유저 예상동작 패턴정보와 비교하여 해당 스토리 분기시의 유저 동작 패턴을 결정하는 단계;를 더 포함하는 것을 특징으로 하는 이미지 프로세싱을 이용한 동화 스토리 진행 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020050034842A KR100715321B1 (ko) | 2005-04-27 | 2005-04-27 | 이미지 프로세싱을 이용한 동화 스토리 진행 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020050034842A KR100715321B1 (ko) | 2005-04-27 | 2005-04-27 | 이미지 프로세싱을 이용한 동화 스토리 진행 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20060112426A true KR20060112426A (ko) | 2006-11-01 |
| KR100715321B1 KR100715321B1 (ko) | 2007-05-04 |
Family
ID=37620708
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020050034842A KR100715321B1 (ko) | 2005-04-27 | 2005-04-27 | 이미지 프로세싱을 이용한 동화 스토리 진행 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100715321B1 (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101434624B1 (ko) * | 2012-03-30 | 2014-08-27 | 단국대학교 산학협력단 | 긴장-이완 감성상태 측정 기반의 영상 저작물 스토리 분석 시스템 및 분석 방법 |
| KR102158676B1 (ko) * | 2019-04-19 | 2020-09-22 | (주)코어센스 | 분기가 있는 시나리오를 위한 시나리오 플레이어 시스템 |
| KR102263659B1 (ko) * | 2019-12-16 | 2021-06-09 | 민광윤 | 스토리 컨텐츠 어플리케이션을 이용한 마미동화 서버 |
| KR102318111B1 (ko) * | 2020-11-17 | 2021-10-27 | 주식회사 일루니 | 사용자의 얼굴을 캐릭터에 반영하는 스티커 제공 스토리북 생성 방법 및 장치 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020019320A (ko) * | 2000-09-05 | 2002-03-12 | 박정래 | 쌍방향통신을 이용한 동화구현서비스 제공 방법 |
| KR20030039211A (ko) * | 2001-11-12 | 2003-05-17 | 이스타뱅크(주) | 사용자 이미지 합성 기능을 갖는 애니메이션 서비스 시스템 |
-
2005
- 2005-04-27 KR KR1020050034842A patent/KR100715321B1/ko not_active IP Right Cessation
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101434624B1 (ko) * | 2012-03-30 | 2014-08-27 | 단국대학교 산학협력단 | 긴장-이완 감성상태 측정 기반의 영상 저작물 스토리 분석 시스템 및 분석 방법 |
| KR102158676B1 (ko) * | 2019-04-19 | 2020-09-22 | (주)코어센스 | 분기가 있는 시나리오를 위한 시나리오 플레이어 시스템 |
| KR102263659B1 (ko) * | 2019-12-16 | 2021-06-09 | 민광윤 | 스토리 컨텐츠 어플리케이션을 이용한 마미동화 서버 |
| KR102318111B1 (ko) * | 2020-11-17 | 2021-10-27 | 주식회사 일루니 | 사용자의 얼굴을 캐릭터에 반영하는 스티커 제공 스토리북 생성 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR100715321B1 (ko) | 2007-05-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101936692B1 (ko) | 댄스 키모션 자동생성을 이용한 댄스 트레이닝 장치 및 방법 | |
| US8113953B2 (en) | Image-linked sound output method and device | |
| CN109637286A (zh) | 一种基于图像识别的口语训练方法及家教设备 | |
| CN110269587B (zh) | 婴幼儿动作分析系统和基于动作的婴幼儿视力分析系统 | |
| WO2008069519A1 (en) | Gesture/speech integrated recognition system and method | |
| KR20150039252A (ko) | 행동 인식 기반의 응용 서비스 제공 장치 및 그 방법 | |
| KR100715321B1 (ko) | 이미지 프로세싱을 이용한 동화 스토리 진행 방법 | |
| JP2005293061A (ja) | ユーザインタフェース装置およびユーザインタフェースプログラム | |
| JP2008012103A (ja) | 三次元位置特定装置および方法、奥行位置特定装置 | |
| KR20020028578A (ko) | 모션 게임 장치의 모션 데이터 디스플레이 방법 및 평가방법 | |
| CN111914763A (zh) | 活体检测方法、装置和终端设备 | |
| CN209486938U (zh) | 一种智能点读棒 | |
| CN113544700B (zh) | 神经网络的训练方法和装置、关联对象的检测方法和装置 | |
| KR102337008B1 (ko) | 컨볼루션 뉴럴 네트워크를 이용한 신생아 고통 감지 방법 | |
| KR101314687B1 (ko) | 시선 경로 제공장치 및 시선 경로 제공방법 | |
| KR20190133361A (ko) | 사용자 영상을 기반으로 하는 정보 입력 장치, 방법, 시스템 및 컴퓨터 판독 가능한 저장 매체 | |
| CN111931510A (zh) | 一种基于神经网络的意图识别方法及装置、终端设备 | |
| JPWO2020065839A1 (ja) | 物体状況判断システム、物体状況判断方法、およびプログラム | |
| KR200239844Y1 (ko) | 인공시각과 패턴인식을 이용한 체감형 게임 장치. | |
| CN112667088B (zh) | 基于vr行走平台的手势应用识别方法及系统 | |
| JP7216176B1 (ja) | 画像解析システム、画像解析方法およびプログラム | |
| CN113283402B (zh) | 一种差分式二维注视点检测方法及装置 | |
| CN118072937A (zh) | 一种基于行为分析的自闭症早期筛查系统 | |
| CN116212362A (zh) | 历史与民族文化互动式体验游戏系统、控制方法及介质 | |
| JP2023076340A (ja) | 画像解析システム、画像解析方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| N231 | Notification of change of applicant | ||
| GRNT | Written decision to grant | ||
| LAPS | Lapse due to unpaid annual fee |