KR101968152B1 - 색칠놀이 기반의 영상분석 및 3d디스플레이 시스템 - Google Patents

색칠놀이 기반의 영상분석 및 3d디스플레이 시스템 Download PDF

Info

Publication number
KR101968152B1
KR101968152B1 KR1020170130208A KR20170130208A KR101968152B1 KR 101968152 B1 KR101968152 B1 KR 101968152B1 KR 1020170130208 A KR1020170130208 A KR 1020170130208A KR 20170130208 A KR20170130208 A KR 20170130208A KR 101968152 B1 KR101968152 B1 KR 101968152B1
Authority
KR
South Korea
Prior art keywords
image
unit
target object
template
content
Prior art date
Application number
KR1020170130208A
Other languages
English (en)
Inventor
강상현
이정우
최주곤
Original Assignee
(주)아이디
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)아이디 filed Critical (주)아이디
Priority to KR1020170130208A priority Critical patent/KR101968152B1/ko
Application granted granted Critical
Publication of KR101968152B1 publication Critical patent/KR101968152B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B11/00—Teaching hand-writing, shorthand, drawing, or painting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/324—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 색칠놀이와 영상처리기술을 접목함으로써 사용자가 채색한 객체를 3D로 구현하여 디스플레이하는 시스템이 관한 것이다.
본 발명은 다음과 같은 효과를 발휘한다.
즉, 색칠놀이를 기초로 하여 아날로그 교육과 흥미, 재미를 유발하는 디지털을 융합한 통한 교육 솔루션을 제공할 수 있는 장점이 있다.

Description

색칠놀이 기반의 영상분석 및 3D디스플레이 시스템 {omitted}
본 발명은 색칠놀이와 영상처리기술을 접목함으로써 사용자가 채색한 객체를 3D로 구현하여 디스플레이하는 시스템이 관한 것이다.
공개특허문헌 제10-2016-0142772호는 색칠놀이를 위한 증강현실 서비스 방법 및 시스템에 관한 것으로서, 보다 상세하게는 인쇄물에 색칠을 하지 않고 서비스 앱 상에서 채색한 후 인쇄물의 마크를 인식하여 사용자가 채색한 이미지에 대응되는 증강현실 서비스를 실행하는 색칠놀이를 위한 증강현실 서비스 방법 및 시스템에 관한 것이다.
상기 문헌에 의한 색칠놀이를 위한 증강현설 서비스 방법은 1) 사용자 단말에서 서비스 앱을 실행하고 서버로부터 색칠할 이미지를 선택하여 다운로드하는 단계; 2) 상기 서비스 앱에서 제공된 툴을 이용하여 다운로드 받은 이미지에 특정 패턴으로 채색하는 단계; 3) 채색된 이미지를 인쇄하는 단계; 4) 상기 서비스 앱을 실행하고 채색된 이미지의 인쇄물을 스캔하여 마커를 인식하고 상기 이미지의 좌표에 따른 색상정보를 추출하는 단계; 5) 추출된 상기 색상정보에 따라 상기 서버에서 제공되는 증강현실 컨텐츠를 채색하여 사용자가 채색한 이미지를 기반으로 하는 채색 증강현실 컨텐츠를 생성하는 단계; 및 7) 상기 사용자 단말의 표시부에 상기 칼라 증강현실컨텐츠를 디스플레이하는 단계;를 포함한다.
공개특허 제10-2016-0142772호 (2016.12.13.)
본 발명에서 해결하고자 하는 과제는 다음과 같다.
즉, 색칠놀이를 기초로 하여 아날로그 교육과 흥미, 재미를 유발하는 디지털을 융합한 통한 교육 솔루션을 제공할 수 있는 시스템을 제시하고자 한다.
본 발명은 위와 같은 과제를 해결하기 위하여,
내부 공간으로 투입된 템플릿카드(20)로부터 대상객체(10)를 추출하는 채색이미지추출장치(400); 채색이미지추출장치(400)로 투입된 템플릿카드(20)를 인식하여 대상객체(10)를 추출한 뒤 이와 대응되는 동적 3D컨텐츠를 생성하는 제어부(200); 제어부(200)에서 생성된 동적 3D컨텐츠를 재생시키는 디스플레이부(100);를 포함하며, 상기 템플릿카드(20)는 대상객체(10)에 대응되는 모양이며 채색되지 않은 대상객체부(21)와 그 이외 영역으로서 채색된 배경(22)으로 구성된 이미지가 인쇄된 카드이며, 사용자가 대상객체부(21)를 채색한 뒤 채색이미지추출장치(400)에 투입하는 것이며, 상기 디스플레이부(100)는 재생컨텐츠생성부의 3D컨텐츠생성부(212)에서 생성된 3D컨텐츠를 평면화면을 통해 재생시키는 2D디스플레이(111)로 구성된 평면구현부(110)를 포함하고, 상기 채색이미지추출장치(400)는 채색이미지추출장치(400)의 내부 천장 중앙에 수직 하방을 찍도록 설치된 카메라(410), 채색이미지추출장치(400)의 전면 일측에 템플릿카드(20)를 투입하도록 채색이미지추출장치(400)의 내외부를 관통하는 구멍으로 형성된 템플릿카드투입구(430), 제어부(200)로 카메라(410)로 촬영한 영상 데이터를 전달하기 위한 단자 또는 통신모듈로 구성된 통신부(460)를 포함하고, 상기 제어부(200)는 대상객체(10)가 3D로 구현된 대상객체모델(233)이 저장되는 컨텐츠저장부(230), 채색이미지추출장치(400)로부터 전달받은 영상 데이터를 이용하여 대상객체(10)를 추출하고 이와 대응되는 대상객체모델(233)을 컨텐츠저장부(230)에서 불러오는 입력영상처리부(220), 입력영상처리부(220)에 의해 불러온 대상객체모델(233)을 이용하여 디스플레이부(100)에서 재생가능한 동적 3D컨텐츠를 생성하는 재생컨텐츠생성부(210)를 포함하는 것을 특징으로 하고,
상기 디스플레이부(100)는 재생컨텐츠생성부의 3D컨텐츠생성부(212)에서 생성된 3D컨텐츠 또는 다시점영상생성부(213)에서 생성된 다시점영상을 입체적으로 재생시키는 입체구현부(120)를 더 포함하고, 상기 컨텐츠저장부(230)에는 대상객체부(21)가 채색되지 않은 템플릿카드(20)와 대응되는 이미지 정보로 구성되는 템플릿이미지(231), 템플릿카드의 배경(22)에 대응되는 동적 3D 영상 정보로 구성되는 템플릿영상(232), 각 템플릿이미지(231)와 템플릿영상(232)은 대상객체모델(233)과 짝을 이루어 저장되며, 상기 입력영상처리부(220)는 채색이미지추출장치의 통신부(460)와 통신하여 카메라(410)로 촬영한 영상 데이터를 획득하는 영상획득부(221), 영상획득부(221)에서 획득한 영상 데이터에서 템플릿카드(20)가 촬영된 부분만 추출하여 직사각형이 되도록 네 모서리 위치를 조정하여 보정하는 영상보정부(223), 영상보정부(223)에서 보정된 영상을 컨텐츠저장부(230)에 저장된 다수의 템플릿이미지(231)와 비교하여 가장 유사한 템플릿이미지(231)를 컨텐츠저장부(230)에서 불러오는 영상분석부(222), 영상분석부(222)에서 불러온 템플릿이미지(231)와 짝을 이루는 대상객체모델(233)과 템플릿영상(232)을 불러오는 영상매칭부(224)를 포함하고, 상기 재생컨텐츠생성부(210)는 영상매칭부(224)에서 불러온 대상객체모델(233)과 템플릿영상(232)을 병합하여 디스플레이부(100)에서 재생 가능한 동적 3D컨텐츠를 생성하는 3D컨텐츠생성부(212), 3D컨텐츠생성부(212)에서 생성된 3D컨텐츠를 이용하여 다시점영상을 생성하는 다시점영상생성부(213)를 포함하는 것을 특징으로 하며,
상기 디스플레이부(100)는 디스플레이부(100)를 이용하는 사용자의 모션을 인식하는 모션인식부(130)를 더 포함하고, 상기 컨텐츠저장부(230)에는 디스플레이부(100)의 모션인식부(130)로부터 입력받은 모션 종류별 대상객체모델(233)의 제어명령으로 구성되는 모션명령(234)을 더 포함하는 것을 특징으로 하는 색칠놀이 기반의 3D디스플레이 시스템을 제시한다.
본 발명은 다음과 같은 효과를 발휘한다.
즉, 색칠놀이를 기초로 하여 아날로그 교육과 흥미, 재미를 유발하는 디지털을 융합한 통한 교육 솔루션을 제공할 수 있는 장점이 있다.
도 1은 본 발명의 전체 구성을 나타낸 도면.
도 2는 본 발명에서 사용되는 템플릿카드의 여러가지 예시를 나타낸 도면.
도 3은 제어부의 구성에 대한 블록도.
도 4는 템플릿카드를 촬영한 영상 및 이를 템플릿이미지와 분석하는 과정을 나타낸 도면.
도 5는 채색이미지추출장치의 구성 예시도.
도 6은 채색이미지추출장치의 내부 천장면에 대한 구성 예시도.
도 7은 채색이미지추출장치의 실시예에 대한 사진.
도 8은 템플릿영상과 대상객체모델이 병합되어 3D컨텐츠로 구현된 것을 나타낸 그림.
도 9는 2D디스플레이에 렌티큘러렌즈를 장착하여 입체영상이 구현되는 것을 나타낸 도면.
이하 첨부된 도면을 바탕으로 본 발명의 바람직한 실시예에 대해 설명한다. 다만 본 발명의 권리범위는 특허청구범위 기재에 의하여 파악되어야 한다. 또한 본 발명의 요지를 모호하게 하는 공지기술의 설명은 생략한다.
본 발명의 색칠놀이 기반의 3D디스플레이 시스템은 도 1과 같이 디스플레이부(100), 제어부(200) 및 채색이미지추출장치(400)로 구성된다. 특히 본 발명은 템플릿카드(20)를 이용하는데, 템플릿카드(20)는 대상객체(10)에 대응되는 모양이며 채색되지 않은 대상객체부(21)와 그 이외 영역으로서 채색된 배경(22)으로 구성된 이미지가 인쇄된 카드로 구성되며, 대상객체부(21)에 사용자가 채색을 한 뒤 채색이미지추출장치(400)에 넣으면 제어부(200)를 거쳐 디스플레이부(100)에 동적 3D 컨텐츠로 구현되는 것이다.
도 2에는 다양한 템플릿카드(20)가 제시되어 있다. 즉, 물고기를 표현한 템플릿카드(20a)는 물고기모양이 채색되지 않은 대상객체부(21a)이고, 차별화된 배경(22a)으로 구성된다. 또한, 거북이를 표현한 템플릿카드(20b)는 거북이모양이 채색되지 않은 대상객체부(21b)이고, 역시 배경(22b)이 여타 템플릿카드와 다르게 구성된다. 이러한 각각의 템플릿카드(20a,20b,...)는 후술하는 제어부 컨텐츠저장부(230)에 저장된 템플릿이미지(231a,231b,...), 템플릿영상(232a,232b,...) 및 대상객체모델(233a,233b,...)에 대응된다.
예를 들면 물고기모양의 템플릿카드(20a)는 물고기모양의 대상객체부(21a)와 대응되는 물고기모양의 대상객체모델(233a), 해당 배경(22a)과 대응되는 템플릿이미지(231a) 및 템플릿영상(232a)이 짝을 이루며 컨텐츠저장부(230)에 저장되고, 거북이모양의 템플릿카드(20b)는 거북이모양의 대상객체부(21b)와 대응되는 거북이모양의 대상객체모델(233b), 해당 배경(22b)과 대응되는 템플릿이미지(231b) 및 템플릿영상(232b)이 짝을 이루며 컨텐츠저장부(230)에 저장되는 것이다.
채색이미지추출장치(400)는 내부 공간으로 투입된 템플릿카드(20)로부터 대상객체(10)를 추출하는 역할을 하며, 이 때 투입되는 템플릿카드(20)는 사용자가 대상객체부(21)를 채색한 뒤 채색이미지추출장치(400)에 투입하는 것이다. 도 5에 도시된 바와 같이 카메라(410), 조명부(420), 템플릿카드투입구(430), 외부조명차단벽(440), 구동버튼(450) 및 통신부(460)로 구성되며, 도 7에 실시예를 제시하였다.
카메라(410)는 채색이미지추출장치(400)의 내부 천장 중앙에 수직 하방을 찍도록 설치되며, 채색이미지추출장치(400)의 내부 바닥에 놓인 템플릿카드(20)를 촬영하게 된다.
조명부(420)는 채색이미지추출장치(400)의 내부 천장 및 카메라(410)의 주변에 조명으로 형성된 것으로서, 채색이미지추출장치(400)의 내부 천장을 도시한 도 6과 같이 띠조명(421)과 확산판(422)으로 구성된다. 카메라(410)에서 선명도 높은 영상을 촬영 할 수 있게 하기 위함이다.
띠조명(421)은 다수개가 카메라(410)를 중심으로 대칭되는 모양으로 배치되는데, 도 6에서는 두 개의 띠조명이 카메라(410)를 중심으로 상하(도 6기준)로 같은 간격을 두고 배치된다.
확산판(422)은 띠조명(421)의 주변에 배치되는 빛 반사 재질의 시트로서 띠조명(421)의 빛을 확산시키는 역할을 하며, 채색이미지추출장치(400)의 내부 천장 전체가 확산판(422)으로 구성될 수도 있고, 도시한 바와 같이 띠조명(421)의 주변 영역만 확산판(422)이 배치되도록 할 수도 있다.
템플릿카드투입구(430)는 채색이미지추출장치(400)의 전면 일측에 템플릿카드(20)를 투입하도록 채색이미지추출장치(400)의 내외부를 관통하는 부분으로서, 가로로 긴 직사각형의 구멍으로 형성될 수 있다.
외부조명차단벽(440)은 템플릿카드투입구(430)를 제외한 채색이미지추출장치(400)의 측면을 이루는 벽으로서 채색이미지추출장치(400)의 바닥부터 천정까지 빛이 투과하지 못하도록 형성된다.
구동버튼(450)은 채색이미지추출장치(400)의 외부 일측에 마련되어 카메라(410)를 구동하는 버튼으로서, 도 7과 같이 채색이미지추출장치(400)를 집 형상으로 구현할 경우 사용자인 유아의 흥미를 유발하기 위해 구동버튼(450)을 굴뚝 형태로 설계할 수 있다.
통신부(460)는 제어부(200)로 카메라(410)로 촬영한 영상 데이터를 전달하기 위한 단자 또는 통신모듈로 구성되며, USB포트 등의 입출력단자를 통해 제어부(200)와 유선통신을 하거나, 블루투스 모듈 등의 무선 통신모듈을 이용하여 제어부(200)와 무선통신을 하도록 구성할 수 있다.
제어부(200)는 채색이미지추출장치(400)로 투입된 템플릿카드(20)를 인식하여 대상객체(10)를 추출한 뒤 이와 대응되는 동적 3D컨텐츠를 생성하는 역할을 하며, 도 3과 같이 재생컨텐츠생성부(210), 입력영상처리부(220) 및 컨텐츠저장부(230)로 구성된다.
컨텐츠저장부(230)는 대상객체(10)가 3D로 구현된 대상객체모델(233)이 저장되는 부분으로서, 템플릿이미지(231), 템플릿영상(232), 대상객체모델(233) 및 모션명령(234)이 저장된다.
템플릿이미지(231)는 대상객체부(21)가 채색되지 않은 템플릿카드(20)와 대응되는 이미지 정보로 구성되는 것이며, 다시 말해 대상객체부(21)가 채색되지 않은 템플릿카드(20)를 전자 이미지화 한 것이다.
템플릿영상(232)은 템플릿카드의 배경(22)에 대응되는 동적 3D 영상 정보로 구성되는데, 물고기모양의 템플릿카드(20a)에 대응되는 템플릿영상(232a)의 경우 물고기모양인 대상객체부(21a)를 제외한 바닷속 배경(22a)이 움직이는 3D 영상으로 구현된 것이다. 움직인다는 것은 템플릿카드(20)에 정적인 그림으로 표현된 사물이 실감있게 움직이는 것을 의미하며, 예를 들면 바닷속 산호초가 물결에 따라 흔들리는 움직임을 반복적으로 재생하는 것이다.
모션명령(234)은 디스플레이부(100)의 모션인식부(130)로부터 입력받은 모션 종류별 대상객체모델(233)의 제어명령으로 구성되는 것으로서, 대상객체모델(233)의 제어명령은 대상객체모델(233)을 제어하기 위한 명령을 의미한다. 예를 들어 대상객체모델(233)이 재생컨텐츠생성부(210)에 의해 디스플레이부(100)에서 구현되는 경우, 디스플레이부(100) 앞의 사용자가 손을 돌리면 모션인식부(130)에서 손을 돌리는 모션을 인식하여 대상객체모델(233)을 회전시키라는 모션명령(234)을 불러와 대상객체모델(233)이 회전하는 움직임을 재생컨텐츠생성부(210)에 의해 디스플레이부(100)에서 구현하는 것이다. 또한 디스플레이부(100) 앞의 사용자가 손을 한쪽방향으로 미는 제스처를 취하면 모션인식부(130)에서 이러한 모션을 인식하여 대상객체모델(233)을 해당 방향으로 이동시키라는 모션명령(234)을 불러와 대상객체모델(233)이 동적으로 헤엄쳐(물고기인 경우) 이동하는 움직임을 재생컨텐츠생성부(210)에 의해 디스플레이부(100)에서 구현하는 것이다. 구현되는 화면 예시는 도 8에 제시하였다.
앞서 언급했듯, 각 템플릿이미지(231a,231b,...)와 템플릿영상(232a,232b,...)은 대상객체모델(233a,233b,...)과 짝을 이루어 저장되며 이는 역시 각 템플릿카드(20a,20b,...)와 대응된다.
입력영상처리부(220)는 채색이미지추출장치(400)로부터 전달받은 영상 데이터를 이용하여 대상객체(10)를 추출하고 이와 대응되는 대상객체모델(233)을 컨텐츠저장부(230)에서 불러오는 역할을 하며, 영상획득부(221), 영상분석부(222), 영상보정부(223) 및 영상매칭부(224)로 구성된다.
영상획득부(221)는 채색이미지추출장치의 통신부(460)와 통신하여 카메라(410)로 촬영한 영상 데이터를 획득하는 역할을 한다. 즉, 채색이미지추출장치(400)와 제어부(200)가 유선 또는 무선으로 연결되어 카메라(410)로 촬영한 영상 데이터가 통신부(460)를 거쳐 영상획득부(221)로 전달되는 것이다.
영상보정부(223)는 영상획득부(221)에서 획득한 영상 데이터에서 템플릿카드(20)가 촬영된 부분만 추출하여 직사각형이 되도록 네 모서리 위치를 조정하여 보정하는 것으로서, 카메라(410)에서 촬영한 템플릿카드(20)가 기울어진 상태이거나 크기가 작거나 휘어지는 등의 상태에 관계없이 일정 크기(해상도)의 바로 놓인 직사각형 틀에 맞춰 해당 영상(이미지)을 추출하는 것이다. Perspective Transform 등 다양한 영성 보정 기법을 활용할 수 있다.
영상분석부(222)는 영상보정부(223)에서 보정된 영상을 컨텐츠저장부(230)에 저장된 다수의 템플릿이미지(231)와 비교하여 가장 유사한 템플릿이미지(231)를 컨텐츠저장부(230)에서 불러오는 역할을 한다. 이 때 템플릿이미지(231)는 템플릿카드(20)의 대상객체부(21)에 대응되는 흰색 부분과 배경(22)에 대응되는 배경이미지로 구성되는데, 도 4와 같이 배경이미지를 영상보정부(223)에서 보정된 영상과 비교하는 것이다. 역시 다양한 영상 매칭 기법을 사용하여 유사율이 가장 높은 템플릿이미지(231)를 선택하게 된다. 한편, 특정 템플릿이미지(231)가 선택되면 템플릿이미지(231)의 흰색(무채색) 영역은 영상보정부(223)에서 보정된 영상으로부터 색을 추출하도록 할 수 있는데 여기서 추출된 색 정보는 영상매칭부(224)에서 대상객체모델(233)에 합성하게 된다.
영상매칭부(224)는 영상분석부(222)에서 불러온 템플릿이미지(231)와 짝을 이루는 대상객체모델(233)과 템플릿영상(232)을 불러오는 역할을 한다. 예를 들어 사용자가 물고기를 표현한 템플릿카드(20a)를 선택하여 물고기모양의 대상객체부(21a)를 채색한 뒤 채색이미지추출장치(400)에 투입하여 이를 촬영한 뒤 제어부의 영상분석부(222)에서 영상 분석을 통해 물고기모양의 템플릿이미지(231a)가 선택된 경우 영상매칭부(224)에서는 이와 짝을 이루는 물고기모양의 대상객체모델(233a)과 해당 템플릿카드(20a)의 배경(22a)과 대응되는 템플릿영상(232a)을 불러오는 것이다. 한편, 영상분석부(222)에서 템플릿이미지(231)의 흰색 영역에 대해 영상보정부(223)에서 보정된 영상으로부터 색 정보를 추출한 경우, 해당 색 정보를 대상객체모델(233)에 합성시켜 실제 사용자가 칠한 색으로 디스플레이부(100)에 구현되도록 할 수 있다. 예를 들어 사용자가 템플릿카드(20)의 대상객체부(21)에 빨간색으로 색칠한 경우, 대상객체모델(233)의 원래 색이 파란색이더라도 사용자가 칠한 색을 영상분석부(222)에서 추출하여 영상매칭부(224)에서 대상객체모델(233)을 해당 색으로 변경하는 것이다.
재생컨텐츠생성부(210)는 입력영상처리부(220)에 의해 불러온 대상객체모델(233)을 이용하여 디스플레이부(100)에서 재생가능한 동적 3D컨텐츠를 생성하는 역할을 하며, 2D컨텐츠생성부(211), 3D컨텐츠생성부(212) 및 다시점영상생성부(213)로 구성된다.
3D컨텐츠생성부(212)는 영상매칭부(224)에서 불러온 대상객체모델(233)과 템플릿영상(232)을 병합하여 디스플레이부(100)에서 재생 가능한 동적 3D컨텐츠를 생성하는 역할을 하며, 3D 모델링으로 구현되는 대상객체모델(233)과 템플릿영상(232)를 병합 및 렌더링하여 동영상으로 제작하게 된다.
다시점영상생성부(213)는 3D컨텐츠생성부(212)에서 생성된 3D컨텐츠를 이용하여 다시점영상을 생성하는 역할을 하며, 다시점영상은 도 9와 같이 평면패널로 구성되는 2D디스플레이(121)에 렌티큘러렌즈(121a)를 부착하였을 때 렌티큘러렌즈에 의해 입체적인 3D영상으로(3D 안경 등의 별도 장비 없이) 보이도록 처리된 영상이다. 통상적으로 좌안용 영상과 우안용 영상으로 분리된 영상이 해당된다.
디스플레이부(100)는 제어부(200)에서 생성된 동적 3D컨텐츠를 재생시키는 역할을 하며, 평면구현부(110), 입체구현부(120) 및 모션인식부(130)로 구성된다.
평면구현부(110)는 재생컨텐츠생성부의 3D컨텐츠생성부(212)에서 생성된 3D컨텐츠를 평면화면을 통해 재생시키는 2D디스플레이(111)로 구성된다. 즉, 일반적인 평면디스플레이를 통해 3D컨텐츠 영상을 재생하는 것이다.
입체구현부(120)는 재생컨텐츠생성부의 3D컨텐츠생성부(212)에서 생성된 3D컨텐츠 또는 다시점영상생성부(213)에서 생성된 다시점영상을 입체적으로 재생시키는데, 재생컨텐츠생성부의 다시점영상생성부(213)에서 생성된 다시점영상을 재생시키고 전면에 해당 다시점영상을 입체화시키는 렌티큘러렌즈(121a)가 부착된 2D디스플레이(121)이거나, 재생컨텐츠생성부의 3D컨텐츠생성부(212)에서 생성된 3D컨텐츠를 입체적으로 재생시키는 VR모듈(122)일 수 있다.
모션인식부(130)는디스플레이부(100)를 이용하는 사용자의 모션을 인식하는 것으로서, 디스플레이부(100)의 일측에 사용자를 향해 설치된다. 모션인식장치인 립모션 모션 디바이스(Leap motion device)를 사용할 수 있다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것은 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경 가능함은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어서 명백할 것이다.
100 : 디스플레이부
110 : 평면구현부
111 : 2D디스플레이
120 : 입체구현부
121 : 2D디스플레이
121a : 렌티큘러렌즈
122 : VR모듈
130 : 모션인식부
200 : 제어부
210 : 재생컨텐츠생성부
212 : 3D컨텐츠생성부
213 : 다시점영상생성부
220 : 입력영상처리부
221 : 영상획득부
222 : 영상분석부
223 : 영상보정부
224 : 영상매칭부
230 : 컨텐츠저장부
231 : 템플릿이미지
232 : 템플릿영상
233 : 대상객체모델
234 : 모션명령
400 : 채색이미지추출장치
410 : 카메라
420 : 조명부
421 : 띠조명
422 : 확산판
430 : 템플릿카드투입구
440 : 외부조명차단벽
450 : 구동버튼
460 : 통신부
10 : 대상객체
20 : 템플릿카드
21 : 대상객체부
22 : 배경

Claims (3)

  1. 내부 공간으로 투입된 템플릿카드(20)로부터 대상객체(10)를 추출하는 채색이미지추출장치(400);
    채색이미지추출장치(400)로 투입된 템플릿카드(20)를 인식하여 대상객체(10)를 추출한 뒤 이와 대응되는 동적 3D컨텐츠를 생성하는 제어부(200);
    제어부(200)에서 생성된 동적 3D컨텐츠를 재생시키는 디스플레이부(100);를 포함하며,

    상기 템플릿카드(20)는
    대상객체(10)에 대응되는 모양이며 채색되지 않은 대상객체부(21)와 그 이외 영역으로서 채색된 배경(22)으로 구성된 이미지가 인쇄된 카드이며,
    사용자가 대상객체부(21)를 채색한 뒤 채색이미지추출장치(400)에 투입하는 것이며,

    상기 디스플레이부(100)는
    재생컨텐츠생성부의 3D컨텐츠생성부(212)에서 생성된 3D컨텐츠를 평면화면을 통해 재생시키는 2D디스플레이(111)로 구성된 평면구현부(110)를 포함하고,

    상기 채색이미지추출장치(400)는
    채색이미지추출장치(400)의 내부 천장 중앙에 수직 하방을 찍도록 설치된 카메라(410),
    채색이미지추출장치(400)의 전면 일측에 템플릿카드(20)를 투입하도록 채색이미지추출장치(400)의 내외부를 관통하는 구멍으로 형성된 템플릿카드투입구(430),
    제어부(200)로 카메라(410)로 촬영한 영상 데이터를 전달하기 위한 단자 또는 통신모듈로 구성된 통신부(460)를 포함하고,

    상기 제어부(200)는
    대상객체(10)가 3D로 구현된 대상객체모델(233)이 저장되는 컨텐츠저장부(230),
    채색이미지추출장치(400)로부터 전달받은 영상 데이터를 이용하여 대상객체(10)를 추출하고 이와 대응되는 대상객체모델(233)을 컨텐츠저장부(230)에서 불러오는 입력영상처리부(220),
    입력영상처리부(220)에 의해 불러온 대상객체모델(233)을 이용하여 디스플레이부(100)에서 재생가능한 동적 3D컨텐츠를 생성하는 재생컨텐츠생성부(210)를 포함하는 것을 특징으로 하는
    색칠놀이 기반의 3D디스플레이 시스템.
  2. 제 1 항에 있어서,
    상기 디스플레이부(100)는
    재생컨텐츠생성부의 3D컨텐츠생성부(212)에서 생성된 3D컨텐츠 또는 다시점영상생성부(213)에서 생성된 다시점영상을 입체적으로 재생시키는 입체구현부(120)를 더 포함하고,

    상기 컨텐츠저장부(230)에는
    템플릿카드(20)와 대응되는 이미지로서, 대상객체부(21)와 대응되는 영역은 채색되지 않은 흰색 이미지로 구성되고, 배경(22)에 대응되는 영역은 이와 대응되는 배경이미지로 구성되는 템플릿이미지(231),
    템플릿카드의 배경(22)에 대응되는 동적 3D 영상 정보로 구성되는 템플릿영상(232)이 저장되되,
    각 템플릿이미지(231)와 템플릿영상(232)은 대상객체모델(233)과 짝을 이루어 저장되며,

    상기 입력영상처리부(220)는
    채색이미지추출장치의 통신부(460)와 통신하여 카메라(410)로 촬영한 영상 데이터를 획득하는 영상획득부(221),
    영상획득부(221)에서 획득한 영상 데이터에서 템플릿카드(20)가 촬영된 부분만 추출하여 직사각형이 되도록 네 모서리 위치를 조정하여 보정하는 영상보정부(223),
    영상보정부(223)에서 보정된 영상에서 템플릿카드(20)의 배경(21)에 해당하는 이미지와 컨텐츠저장부(230)에 저장된 다수의 템플릿이미지(231) 중 배경이미지가 가장 유사한 템플릿이미지(231)를 컨텐츠저장부(230)에서 불러오는 영상분석부(222),
    영상분석부(222)에서 불러온 템플릿이미지(231)와 짝을 이루는 대상객체모델(233)과 템플릿영상(232)을 불러오는 영상매칭부(224)를 포함하고,

    상기 재생컨텐츠생성부(210)는
    영상매칭부(224)에서 불러온 대상객체모델(233)과 템플릿영상(232)을 병합하여 디스플레이부(100)에서 재생 가능한 동적 3D컨텐츠를 생성하는 3D컨텐츠생성부(212),
    3D컨텐츠생성부(212)에서 생성된 3D컨텐츠를 이용하여 다시점영상을 생성하는 다시점영상생성부(213)를 포함하는 것을 특징으로 하는
    색칠놀이 기반의 3D디스플레이 시스템.
  3. 제 2 항에 있어서,
    상기 디스플레이부(100)는
    디스플레이부(100)를 이용하는 사용자의 모션을 인식하는 모션인식부(130)를 더 포함하고,

    상기 컨텐츠저장부(230)에는
    디스플레이부(100)의 모션인식부(130)로부터 입력받은 모션 종류별 대상객체모델(233)의 제어명령으로 구성되는 모션명령(234)을 더 포함하는 것을 특징으로 하는
    색칠놀이 기반의 3D디스플레이 시스템.


KR1020170130208A 2017-10-11 2017-10-11 색칠놀이 기반의 영상분석 및 3d디스플레이 시스템 KR101968152B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170130208A KR101968152B1 (ko) 2017-10-11 2017-10-11 색칠놀이 기반의 영상분석 및 3d디스플레이 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170130208A KR101968152B1 (ko) 2017-10-11 2017-10-11 색칠놀이 기반의 영상분석 및 3d디스플레이 시스템

Publications (1)

Publication Number Publication Date
KR101968152B1 true KR101968152B1 (ko) 2019-04-11

Family

ID=66167295

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170130208A KR101968152B1 (ko) 2017-10-11 2017-10-11 색칠놀이 기반의 영상분석 및 3d디스플레이 시스템

Country Status (1)

Country Link
KR (1) KR101968152B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102152793B1 (ko) * 2020-04-06 2020-09-07 주식회사 라프라스 도색 시뮬레이션 장치
KR102425972B1 (ko) * 2021-12-20 2022-07-29 주식회사 리얼리티 컬러링 북과 연계된 애니메이션 재생 장치 및 방법

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003180679A (ja) * 2001-08-31 2003-07-02 Sogen Boku 医療映像処理システム及び処理方法
US6655056B1 (en) * 2000-08-17 2003-12-02 Steve Wolf Trading card display and storage device
JP2010233654A (ja) * 2009-03-30 2010-10-21 Namco Bandai Games Inc プログラム、情報記憶媒体及びゲーム装置
KR20110070700A (ko) * 2009-12-18 2011-06-24 한국전자통신연구원 사진 배경 합성 방법
KR20120092921A (ko) * 2011-02-14 2012-08-22 김영대 가상 강의실 강의 방법 및 장치
JP2013143141A (ja) * 2012-01-09 2013-07-22 Samsung Electronics Co Ltd ディスプレイ装置、遠隔制御装置およびその検索方法
US20130242262A1 (en) * 2005-10-07 2013-09-19 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
KR20150109960A (ko) * 2014-03-21 2015-10-02 최종일 증강현실 디스플레이 시스템
KR20160134428A (ko) * 2015-05-13 2016-11-23 삼성전자주식회사 이미지를 처리하는 전자 장치 및 그 제어 방법
KR101685505B1 (ko) * 2015-06-22 2016-12-13 주식회사 뷰아이디어 사용자 참여형 3차원 영상 생성방법과 이를 이용한 놀이학습 콘텐츠 제공 시스템 및 방법
KR20160142772A (ko) 2015-06-03 2016-12-13 디에스글로벌 (주) 색칠놀이를 위한 증강현실 서비스 방법 및 시스템
KR101759053B1 (ko) * 2016-11-18 2017-07-18 한기훈 입체감을 갖는 색칠놀이 극장

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6655056B1 (en) * 2000-08-17 2003-12-02 Steve Wolf Trading card display and storage device
JP2003180679A (ja) * 2001-08-31 2003-07-02 Sogen Boku 医療映像処理システム及び処理方法
US20130242262A1 (en) * 2005-10-07 2013-09-19 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
JP2010233654A (ja) * 2009-03-30 2010-10-21 Namco Bandai Games Inc プログラム、情報記憶媒体及びゲーム装置
KR20110070700A (ko) * 2009-12-18 2011-06-24 한국전자통신연구원 사진 배경 합성 방법
KR20120092921A (ko) * 2011-02-14 2012-08-22 김영대 가상 강의실 강의 방법 및 장치
JP2013143141A (ja) * 2012-01-09 2013-07-22 Samsung Electronics Co Ltd ディスプレイ装置、遠隔制御装置およびその検索方法
KR20150109960A (ko) * 2014-03-21 2015-10-02 최종일 증강현실 디스플레이 시스템
KR20160134428A (ko) * 2015-05-13 2016-11-23 삼성전자주식회사 이미지를 처리하는 전자 장치 및 그 제어 방법
KR20160142772A (ko) 2015-06-03 2016-12-13 디에스글로벌 (주) 색칠놀이를 위한 증강현실 서비스 방법 및 시스템
KR101685505B1 (ko) * 2015-06-22 2016-12-13 주식회사 뷰아이디어 사용자 참여형 3차원 영상 생성방법과 이를 이용한 놀이학습 콘텐츠 제공 시스템 및 방법
KR101759053B1 (ko) * 2016-11-18 2017-07-18 한기훈 입체감을 갖는 색칠놀이 극장

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102152793B1 (ko) * 2020-04-06 2020-09-07 주식회사 라프라스 도색 시뮬레이션 장치
KR102425972B1 (ko) * 2021-12-20 2022-07-29 주식회사 리얼리티 컬러링 북과 연계된 애니메이션 재생 장치 및 방법

Similar Documents

Publication Publication Date Title
US7764828B2 (en) Method, apparatus, and computer program for processing image
US20120069180A1 (en) Information presentation apparatus
US20110075922A1 (en) Apparatus and method for removing ink lines and segmentation of color regions of A 2-D image for converting 2-D images into stereoscopic 3-D images
JP2012069074A (ja) 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
JP5574031B2 (ja) 画像処理装置および方法、並びにプログラム
KR20160103897A (ko) 증강현실 영상표시 시스템 및 증강현실 영상표시 방법
KR101968152B1 (ko) 색칠놀이 기반의 영상분석 및 3d디스플레이 시스템
CN107241610A (zh) 一种基于增强现实的虚拟内容插入系统和方法
KR20100118943A (ko) 증강 현실 외국어 체험 학습 시스템
KR20150109960A (ko) 증강현실 디스플레이 시스템
KR101757627B1 (ko) 3차원 모형을 이용한 증강현실 환경의 프로젝션 영역에서의 마커 트래킹 장치 및 그 방법
JP2020532821A (ja) 使用者によって観察される画像の遠近色知覚を改善する照明方法及びシステム
CN112426720A (zh) 一种三维游戏场景内角色绘制与互动系统及其实现方法
KR100422470B1 (ko) 3차원 동화상 모델 얼굴 대체 방법 및 장치
KR101665363B1 (ko) 가상현실, 증강현실 및 홀로그램을 혼합한 인터랙티브 콘텐츠 시스템
KR102013622B1 (ko) 프로젝션 매핑 장치 및 시스템
JP2018022126A (ja) 写真作成ゲーム機および撮影方法
US7127084B1 (en) Method of creating digital composite files of superimposed images
US20230224442A1 (en) Methods for producing visual immersion effects for audiovisual content
KR101643569B1 (ko) 체험자가 채색한 색상이 적용된 입체 오브젝트의 동영상 출력 방법을 이용한 체험 방법
JP2020046958A (ja) コンテンツ作成装置
KR20150067653A (ko) 한자 부수를 이용한 증강현실 한자 학습 교구
US11127212B1 (en) Method of projecting virtual reality imagery for augmenting real world objects and surfaces
KR20050015737A (ko) 조명제어에 의한 사실적 영상합성 방법
KR101895281B1 (ko) 증강현실 환경에서의 막대형 물체를 캡처하기 위한 장치 및 그 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant