KR101949103B1 - 오프라인 스케치 콘텐츠의 3d 동적 활성화 방법 및 3d 동적 활성화 시스템 - Google Patents
오프라인 스케치 콘텐츠의 3d 동적 활성화 방법 및 3d 동적 활성화 시스템 Download PDFInfo
- Publication number
- KR101949103B1 KR101949103B1 KR1020180120564A KR20180120564A KR101949103B1 KR 101949103 B1 KR101949103 B1 KR 101949103B1 KR 1020180120564 A KR1020180120564 A KR 1020180120564A KR 20180120564 A KR20180120564 A KR 20180120564A KR 101949103 B1 KR101949103 B1 KR 101949103B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- modeling
- offline
- paper
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000004913 activation Effects 0.000 title claims abstract description 52
- 230000003993 interaction Effects 0.000 claims abstract description 29
- 238000004040 coloring Methods 0.000 claims abstract description 12
- 239000003086 colorant Substances 0.000 claims abstract description 6
- 238000013507 mapping Methods 0.000 claims description 26
- 239000003550 marker Substances 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 20
- 238000002156 mixing Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 9
- 230000001965 increasing effect Effects 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 4
- 238000001994 activation Methods 0.000 description 40
- 230000006870 function Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 12
- 241000251468 Actinopterygii Species 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004148 unit process Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/503—Blending, e.g. for anti-aliasing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 오프라인의 스케치 용지에 그려지는 스케치 콘텐츠(캐릭터)를 인식하여 가상 환경에 실시간 반영시키면서 채색되는 색채를 표출할 수 있도록 하여 재미와 흥미를 제공하며, 표출되는 콘텐츠가 사용자 터치에 반응하여 인터렉션할 수 있도록 하는 오프라인 스케치 콘텐츠의 3D 동적 활성화 방법 및 3D 동적 활성화 시스템에 관한 것이다. 본 발명에 따르면, 소정 이미지를 갖는 용지를 마련하는 용지 마련 단계; 이미지에 상응하는 3D 모델링 데이터를 구축하는 데이터베이스 구축 단계; 용지를 인식하여 인식된 이미지에 상응하는 3D 모델링을 디스플레이장치의 가상 환경에 실시간으로 표시하는 3D 모델링 단계; 상기 용지에 채색이 이루어지는 경우, 해당 색상을 인식하여 상기 색상 데이터로부터 색상을 읽어들여 가상 환경의 3D 모델링에 실시간으로 반영하는 채색 반영 단계; 상기 채색이 반영된 3D 모델링을 오프라인의 디스플레이부로 전송하여 디스플레이되도록 하되, 3D 모델링이 동적으로 구현되도록 하는 동적 프로그램에 연계되어 3D 모델링이 연동 애니메이션으로 디스플레이되도록 하는 오프라인 디스플레이 단계; 및 상기 오프라인 디스플레이부에서 디스플레이되는 3D 모델링에 대한 터치 여부를 인식하고, 터치가 이루어지는 경우 인터렉션 제어되도록 하는 인터렉션 제어 단계;를 포함하는 것을 특징으로 하는 오프라인 스케치 콘텐츠의 3D 동적 활성화 방법이 제공된다.
Description
본 발명은 오프라인 스케치 콘텐츠의 3D 동적 활성화 방법 및 3D 동적 활성화 시스템에 관한 것으로, 더욱 상세하게는 오프라인의 스케치 용지에 그려지는 스케치 콘텐츠(캐릭터)를 인식하여 가상 환경에 실시간 반영시키면서 채색되는 색채를 표출할 수 있도록 하여 재미와 흥미를 유발하고, 나아가 오프라인의 스크린상에 표출시켜서 사용자가 직접 그리거나 및/또는 채색한 콘텐츠(캐릭터)에 대한 사용자 터치에 반응하여 인터렉션할 수 있도록 하여 상상력과 호기심을 더욱 극대화할 수 있도록 하는 오프라인 스케치 콘텐츠의 3D 동적 활성화 방법 및 3D 동적 활성화 시스템에 관한 것이다.
근래에 인터넷 및 컴퓨터의 대중화로 인하여 경제, 산업, 교육, 엔터테인먼트 등의 분야에서 인터넷과 컴퓨터가 널리 이용되고 있다. 컴퓨터 사용자는 정보 검색을 위하여 인터넷을 통해 정보 제공 역할을 하는 서버에 접근(access)할 수 있고, 서버로부터 필요한 정보를 제공받을 수 있으며, 이러한 기술을 이용하여 컴퓨터 사용자는 인터넷과 컴퓨터를 통해 자신이 필요로 하는 정보를 간편하게 검색하여 얻을 수 있다.
현재 미디어 및 인터넷 관련 기술의 발달로 인하여 컴퓨터 사용자에게 편리하고 컴퓨터 사용자의 이용 효과를 증진시킬 수 있도록 각종 동영상이 구현되는 웹페이지를 구성하는 콘텐츠 구현 방법이 개발되어 실시되고 있으며, 이로 인하여 정적인 이미지 형태에서 벗어나 동적인 이미지가 포함된 형태로 콘텐츠를 구성하여 정보를 제공함으로써 컴퓨터 이용자의 관심과 만족도를 증대시키고 있다.
인터넷을 이용한 서비스는 이제 전자 상거래, 엔터테인먼트, 원격 교육 등의 분야로 그 활용이 증대되고 있으며 이에 따라 각 이용 분야별로 필요한 콘텐츠 정보를 검색하고 제공하는 방법이 개발되고 있다.
특히, 최근 들어 전기전자 기술 및 정보통신 기술의 발전과 스마트폰, 스마트패드를 비롯한 각종 스마트 기기의 대중적 보급에 따라 직관적인 인터페이스 및 터치스크린 기반으로 된 다양한 형태의 편의기기가 일상생활에 밀접한 영향을 주고 있다. 이에 따라 이용자들은 새롭게 변화되는 미디어 디스플레이 환경 속에서 좀 더 새로운 것을 요구하는 한편, 빠른 적응력으로 새로운 편의기기들을 유용하게 이용하고 있다.
이러한 미디어 디스플레이 환경과 관련하여, 이용자들의 조작에 따른 다양한 미디어 디스플레이 환경을 제공하기 위해서는 일반 영상콘텐츠보다는 캐릭터나 게임 등의 영상콘텐츠가 유리한 측면이 있다. 그러나 이용자들의 실시간 즉각적인 상호작용을 반영하는 영상 콘텐츠는 일반적으로 소형 화면사이즈를 갖는 스마트폰이나 스마트패드 등의 스마트 기기에 한정되는 단점이 있었다.
한편, 증강현실(AR, Augmented Reality)은 물리공간과 전자공간이 융합된 공간으로, 실제 환경 또는 실세계의 영상에 컴퓨터 그래픽과 같은 가상의 영상을 혼합하여 사용자의 지각 인식에 가상 정보를 부가함으로써 현실세계를 보강하기 위해 사용된다.
연령층이 낮은 아이들에게 색칠 공부는 아이들의 정서발달에 큰 도움을 주며, 유명 동화나 스토리에 나오는 캐릭터는 아이들에게 친숙함과 상상력을 자극하게 된다. 따라서, 유명 캐릭터에 대한 색칠 공부책이 많이 발간되어 있고 이를 통해 아이들에게 정서적인 만족감을 주고 있다. 하지만, 아이들은 책을 이용한 색칠 공부를 완료한 후에 단순히 색칠이 완료된 캐릭터를 획득하게 될 뿐이고, 한번 색칠된 색칠 공부책은 아이들에게 그림만 제공할 뿐이다.
따라서, 증강현실 기술과 색칠 공부책의 색칠이 완료된 캐릭터를 이용하여 아이들에게 새로운 콘텐츠를 제공하는 경우, 아이들의 상상력과 호기심을 극대화 시킬 수 있으며, 이에 따라 이에 대한 연구가 필요한 실정이다.
따라서, 상기한 종래의 문제점을 해결하기 위한 본 발명은, 오프라인의 스케치 용지에 그려지는 스케치 콘텐츠(캐릭터)를 인식하여 가상 환경에 실시간 반영시키면서 채색되는 색채를 표출할 수 있도록 하여 재미와 흥미를 유발할 수 있도록 하는 오프라인 스케치 콘텐츠의 3D 동적 활성화 방법 및 3D 동적 활성화 시스템을 제공하는데 그 목적이 있다.
또한, 본 발명은 사용자가 직접 그리거나 및/또는 채색한 콘텐츠를 오프라인의 스크린상에 표출시켜서 사용자가 만든 콘텐츠(캐릭터)를 인터렉션할 수 있도록 하여 상상력과 호기심을 더욱 극대화할 수 있도록 하는 오프라인 스케치 콘텐츠의 3D 동적 활성화 방법 및 3D 동적 활성화 시스템을 제공하는데 다른 목적이 있다.
본 발명의 해결과제는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 본 발명의 목적들 및 다른 특징들을 달성하기 위한 본 발명의 일 관점에 따르면, 3D 모델링될 외곽선 이미지와 인식용 마커가 인쇄된 이미지를 갖는 용지를 마련하는 용지 마련 단계; 상기 용지의 이미지에 상응하는 3D 모델링 데이터 및 채색되는 색상에 대한 색상 데이터를 구축하는 데이터베이스 구축 단계; 상기 용지의 마커를 인식하여 인식된 이미지에 상응하는 3D 모델링을 상기 3D 모델링 데이터로부터 읽어들여 디스플레이장치의 가상 환경에 실시간으로 표시하는 3D 모델링 단계; 상기 용지에 채색이 이루어지는 경우, 해당 색상을 인식하여 상기 색상 데이터로부터 색상을 읽어들여 가상 환경의 3D 모델링에 실시간으로 반영하는 채색 반영 단계; 상기 채색이 반영된 3D 모델링을 오프라인의 디스플레이부로 전송하여 디스플레이되도록 하되, 3D 모델링이 동적으로 구현되도록 하는 동적 프로그램에 연계되어 3D 모델링이 연동 애니메이션으로 디스플레이되도록 하는 오프라인 디스플레이 단계; 및 상기 오프라인 디스플레이부에서 디스플레이되는 3D 모델링에 대한 터치 여부를 인식하고, 터치가 이루어지는 경우 인터렉션 제어되도록 하는 인터렉션 제어 단계;를 포함하는 것을 특징으로 하는 오프라인 스케치 콘텐츠의 3D 동적 활성화 방법이 제공된다.
본 발명의 일 관점에 있어서, 상기 용지 마련 단계에서 마련되는 용지는 배경이 되는 배경 이미지 전체나 일부분이 인식 마커로서 이루어질 수 있다.
본 발명의 일 관점에 있어서, 상기 데이터베이스 구축 단계에서 구축되는 데이터베이스에는 이미지를 기준으로 3D 모델링 정보와 텍스쳐(texture), UV좌표 및 연동 애니메이션의 정보가 저장되어 이루어질 수 있다.
본 발명의 일 관점에 있어서, 상기 3D 모델링 단계는 웹캠을 통해 용지의 이미지를 읽어들이는 이미지 입력 단계와, 읽어들인 이미지의 특징점을 추출하거나, 용지 이미지에 부여된 인식 마커를 인식하는 이미지 추출 단계와, 상기 이미지 추출 단계에서 인식된 이미지와 데이터베이스에 저장된 데이터를 비교하는 이미지 비교 단계, 및 상기 이미지 비교 단계에서 비교 판단되어 선택된 이미지에 상응하는 데이터베이스의 3D 모델링을 생성하는 3D 모델링 생성 단계;를 포함하며, 상기 3D 모델링 생성 단계는, 상기 이미지 비교 단계를 거쳐 결정된 모델링을 가상 환경 내에 임의적으로 설정한 위치에 생성하고, 생성된 3D 모델링은 연동 애니메이션의 동작 알고리즘에 연동시켜 가상 환경에서 디스플레이되도록 이루어질 수 있다.
본 발명의 일 관점에 있어서, 상기 3D 모델링 단계는 인식된 이미지에 대하여 결정된 3D 모델링에 그 용지 이미지를 맵핑(mapping)하는 맵핑 단계를 더 포함하며, 상기 맵핑 단계는 웹캠을 통해 입력받은 사다리꼴 모양의 이미지에 왜곡을 주어 맵핑에 요구되는 텍스쳐의 규격을 설정해주고, 이미지별로 설정된 UV좌표를 기준으로 텍스쳐화 된 이미지를 실시간으로 맵핑하도록 이루어질 수 있다.
본 발명의 일 관점에 있어서, 상기 오프라인 디스플레이 단계는 프로젝터를 통해 전송되어 스크린에 디스플레이되도록 이루어지며, 2대 이상의 프로젝터를 사용하여 디스플레이하는 경우, 각 프로젝터가 영사하는 이미지가 서로 맞닿거나 겹쳐지는 면을 처리하기 위한 엣지블랜딩(edge blending)이 실행되어 이루어질 수 있다.
본 발명의 일 관점에 있어서, 상기 인터렉션 제어 단계는 적외선을 이용하여 깊이 데이터를 추출하는 뎁스 센서를 통해 스크린에서 인식된 물체의 깊이 정보를 이용하여 입력 이벤트를 검출하는 이벤트 검출 단계, 및 상기 디스플레이 장치에서 디스플레이되는 영상 내 이미지를 대상으로 입력 이벤트를 전달받아 정합하는 캘리브레이션(calibration) 단계를 포함하고, 상기 이벤트 검출 단계는 상기 뎁스 센서에서 감지되는 깊이 정보 중 실제 입력 이벤트로 처리되도록 설정된 인식 깊이를 기준으로 하고, 뎁스 센서를 통해 감지되는 깊이 정보의 로 데이터(Raw data)를 가공하여 인식률을 높여 인식 노이즈를 필터링하도록 이루어지며, 상기 캘리브레이션 단계는, 프로젝터를 통해 오프라인 디스플레이부인 스크린으로 영사되는 이미지 영역과 입력 영역을 평면 좌표를 기준으로 정합하도록 이루어질 수 있다.
본 발명의 일 관점에 있어서, 상기 이벤트 검출 단계는 상기 뎁스 센서가 물체를 최초 인식 시 상대적으로 작은 크기의 물체를 제거하기 위한 인식값을 조절하여 그 인식값 범위 안의 소형 물체는 인식하더라도 무시하도록 이루어지는 것, 상기 뎁스 센서를 통해 인식된 이미지를 기준으로 실제 콘텐츠 상에서의 터치 이벤트를 전달할 수 있는 영역을 조절하기 위한 기능값을 설정하여 콘텐츠 상에서의 터치 영역을 인위적으로 조정함으로써 이루어지는 것, 및 인식된 이미지 중 손을 제외하고 다른 물체의 이미지를 제거하기 위한 기능값을 조절하여 인식되는 이미지 중 신체나 다른 물체를 제거하고 손만 인식되도록 이루어지는 것 중 적어도 하나가 실행됨으로써 인식률을 증대시키도록 할 수 있다.
본 발명의 다른 관점에 따르면, 외곽선 이미지와 인식용 마커가 인쇄된 2D 이미지를 갖는 오프라인 이미지 용지; 상기 용지의 2D 이미지에 상응하는 3D 모델링 데이터 및 채색될 색상에 대한 색상 데이터가 저장되는 데이터베이스부; 상기 스케치 케이블에 구비되어 용지의 2D 이미지 및 채색되는 색상을 읽어들이는 웹캠; 상기 웹캠에서 읽어들인 용지의 마커를 인식하여 인식된 이미지에 상응하는 3D 모델링을 3D 모델링 데이터로부터 읽어들여 실시간으로 표시하는 디스플레이 장치; 상기 디스플레이 장치와 일체로 구성되고, 그 디스플레이 장치에서 디스플레이되는 3D 모델링을 애니메이션으로 플레이되도록 하는 3D 모델링 애니메이션 구동부; 상기 3D 모델링 애니메이션 구동부로와 연결되어 오프라인의 스크린에 영사시키는 프로젝터; 및 상기 스크린에 디스플레이되는 3D 모델링에 대한 터치 여부를 인식하고, 터치가 이루어지는 경우 인터렉션 제어되도록 하는 인터렉션 제어모듈;을 포함하는 것을 특징으로 하는 오프라인 스케치 콘텐츠의 3D 동적 활성화 시스템이 제공된다.
본 발명의 다른 관점에 있어서, 상기 오프라인 이미지 용지는 배경이 되는 배경 이미지 전체나 일부분이 인식 마커로서 이루어질 수 있다.
본 발명의 다른 관점에 있어서, 상기 데이터베이스부는 2D 이미지를 기준으로 3D 모델링 정보와 텍스쳐(texture), UV좌표 및 연동 애니메이션의 정보가 저장되어 이루어지며, 상기 디스플레이 장치는 웹캠을 통해 읽어들인 이미지의 특징점을 추출하거나, 용지 이미지에 부여된 인식 마커를 인식하는 이미지 추출부와, 상기 이미지 추출부에서 인식된 이미지와 데이터베이스에 저장된 이미지 파일과 비교하는 이미지 비교부, 및 상기 이미지 비교부에서 비교 판단하여 선택된 이미지에 상응하는 데이터베이스의 3D 모델링을 생성하는 3D 모델링 생성부를 포함하여 이루어질 수 있다.
본 발명의 다른 관점에 있어서, 상기 3D 모델링 생성부는 상기 웹캠을 통해 입력받은 사다리꼴 모양의 이미지에 왜곡을 주어 맵핑에 요구되는 텍스쳐의 규격을 설정해 주고, 이미지별로 설정된 UV좌표를 기준으로 텍스쳐화 된 이미지를 실시간으로 맵핑하도록 이루어지고, 상기 프로젝터가 2대 이상 사용되는 경우, 각 프로젝터가 영사하는 이미지가 서로 맞닿거나 겹쳐지는 면을 엣지블랜딩(edge blending) 처리하도록 이루어지고, 상기 인터렉션 제어 모듈은, 적외선을 이용하여 스크린에 대한 깊이 데이터를 추출하는 뎁스 센서와, 상기 뎁스 센서를 통해 추출된 물체의 깊이 정보를 이용하여 입력 이벤트를 검출하는 이벤트 검출부, 및 상기 이벤트 검출부로부터 스크린의 영상 내 이미지를 대상으로 입력 이벤트를 전달받아 정합하는 캘리브레이션(calibration)부를 포함하며, 상기 이벤트 검출부는 뎁스 센서에서 감지되는 깊이 정보 중 실제 입력 이벤트로 처리할 인식 깊이에 대하여 설정된 기준을 벗어난 이벤트는 무시하도록 이루어지며, 상기 뎁스 센서를 통해 감지되는 깊이 정보의 로 데이터(Raw data)를 가공하여 인식 노이즈를 필터링하도록 이루어질 수 있다.
본 발명의 다른 관점에 있어서, 상기 이벤트 검출부는 상기 이벤트 검출 단계는, 상기 뎁스 센서가 물체를 최초 인식 시 상대적으로 작은 크기의 물체를 제거하기 위한 인식값을 조절하여 그 인식값 범위 안의 소형 물체는 인식하더라도 무시하도록 이루어지는 것, 상기 뎁스 센서를 통해 인식된 이미지를 기준으로 실제 콘텐츠 상에서의 터치 이벤트를 전달할 수 있는 영역을 조절하기 위한 기능값을 설정하여 콘텐츠 상에서의 터치 영역을 인위적으로 조정함으로써 이루어지는 것, 및 인식된 이미지 중 손을 제외하고 다른 물체의 이미지를 제거하기 위한 기능값을 조절하여 인식되는 이미지 중 신체나 다른 물체를 제거하고 손만 인식되도록 이루어지는 것 중 적어도 하나가 실행됨으로써 인식률을 증대시키도록 이루어질 수 있다.
본 발명에 따른 오프라인 스케치 콘텐츠의 3D 동적 활성화 방법 및 3D 동적 활성화 시스템에 의하면, 오프라인 스케치 용지에 그려지는 스케치 콘텐츠(캐릭터)를 인식하여 가상 환경에 실시간 반영시키면서 채색되는 색채를 표출할 수 있도록 하여 재미와 흥미를 유발하고, 집중력을 향상시킬 수 있는 효과가 있다.
또한, 본 발명은 사용자가 직접 그리거나 및/또는 채색한 콘텐츠(캐릭터)를 오프라인의 스크린상에 표출시켜서 현실감을 부여할 수 있을 뿐만 아니라, 사용자 자신이 만든 콘텐츠(캐릭터)와 인터렉션할 수 있도록 하여 사용자의 상상력과 호기심을 더욱 극대화할 수 있고, 이에 따라 제품 경쟁력을 향상시킬 수 있는 효과가 있다.
또한, 본 발명은 인터렉션 시 학습 콘텐츠를 부가하여 디스플레이되는 콘텐츠와 연동되게 인터렉션되도록 함으로써 효과적인 학습 기능을 제공할 수 있는 효과가 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해되어 질 수 있을 것이다.
도 1은 본 발명에 따른 오프라인 스케치 콘텐츠의 3D 동적 활성화 과정을 나타내는 플로차트이다.
도 2는 본 발명에 따른 오프라인 스케치 콘텐츠의 3D 동적 활성화 방법에 포함되는 용지 마련 단계에서 마련되는 용지의 일 예를 나타내는 도면이다.
도 3은 본 발명에 따른 오프라인 스케치 콘텐츠의 3D 동적 활성화 방법에 포함되는 3D 모델링 단계에서 3D 모델링을 생성하는 과정을 나타내는 플로차트이다.
도 4는 본 발명에 따른 오프라인 스케치 콘텐츠의 3D 동적 활성화 방법에 포함되는 3D 모델링 단계의 3D 모델링을 생성하는 과정에서 이미지 특징점을 추출하는 일 예시를 나타내는 도면이다.
도 5는 본 발명에 따른 오프라인 스케치 콘텐츠의 3D 동적 활성화 방법에 포함되는 3D 모델링 단계의 3D 모델링을 생성하는 과정에서 3D 모델링에 용지 이미지(2D 이미지)를 맵핑하는 맵핑 과정을 나타내는 도면이다.
도 6은 본 발명에 따른 오프라인 스케치 콘텐츠의 3D 동적 활성화 방법에 포함되는 3D 모델링 단계의 3D 모델링을 생성하는 과정에서 UV좌표를 기준으로 텍스쳐 맵핑하여 표출되는 예시를 나타내는 도면이다.
도 7은 본 발명에 따른 오프라인 스케치 콘텐츠의 3D 동적 활성화 방법의 오프라인 디스플레이 단계의 엣지블랜딩(edge blending) 과정에서 렌더 이미지를 왜곡 설정하는 것을 설명하기 위한 도면이다.
도 8은 본 발명에 따른 오프라인 스케치 콘텐츠의 3D 동적 활성화 방법의 오프라인 디스플레이 단계의 엣지블랜딩(edge blending) 과정에서 겹쳐지는 면을 그라데이션 처리하는 것을 설명하기 위한 도면이다.
도 9는 본 발명에 따른 오프라인 스케치 콘텐츠의 3D 동적 활성화 방법에 포함되는 인터렉션 제어 단계를 나타내는 플로차트이다.
도 10은 본 발명에 따른 오프라인 스케치 콘텐츠의 3D 동적 활성화 시스템의 구성을 개략적으로 나타내는 나타내는 도면이다.
도 2는 본 발명에 따른 오프라인 스케치 콘텐츠의 3D 동적 활성화 방법에 포함되는 용지 마련 단계에서 마련되는 용지의 일 예를 나타내는 도면이다.
도 3은 본 발명에 따른 오프라인 스케치 콘텐츠의 3D 동적 활성화 방법에 포함되는 3D 모델링 단계에서 3D 모델링을 생성하는 과정을 나타내는 플로차트이다.
도 4는 본 발명에 따른 오프라인 스케치 콘텐츠의 3D 동적 활성화 방법에 포함되는 3D 모델링 단계의 3D 모델링을 생성하는 과정에서 이미지 특징점을 추출하는 일 예시를 나타내는 도면이다.
도 5는 본 발명에 따른 오프라인 스케치 콘텐츠의 3D 동적 활성화 방법에 포함되는 3D 모델링 단계의 3D 모델링을 생성하는 과정에서 3D 모델링에 용지 이미지(2D 이미지)를 맵핑하는 맵핑 과정을 나타내는 도면이다.
도 6은 본 발명에 따른 오프라인 스케치 콘텐츠의 3D 동적 활성화 방법에 포함되는 3D 모델링 단계의 3D 모델링을 생성하는 과정에서 UV좌표를 기준으로 텍스쳐 맵핑하여 표출되는 예시를 나타내는 도면이다.
도 7은 본 발명에 따른 오프라인 스케치 콘텐츠의 3D 동적 활성화 방법의 오프라인 디스플레이 단계의 엣지블랜딩(edge blending) 과정에서 렌더 이미지를 왜곡 설정하는 것을 설명하기 위한 도면이다.
도 8은 본 발명에 따른 오프라인 스케치 콘텐츠의 3D 동적 활성화 방법의 오프라인 디스플레이 단계의 엣지블랜딩(edge blending) 과정에서 겹쳐지는 면을 그라데이션 처리하는 것을 설명하기 위한 도면이다.
도 9는 본 발명에 따른 오프라인 스케치 콘텐츠의 3D 동적 활성화 방법에 포함되는 인터렉션 제어 단계를 나타내는 플로차트이다.
도 10은 본 발명에 따른 오프라인 스케치 콘텐츠의 3D 동적 활성화 시스템의 구성을 개략적으로 나타내는 나타내는 도면이다.
본 발명의 추가적인 목적들, 특징들 및 장점들은 다음의 상세한 설명 및 첨부도면으로부터 보다 명료하게 이해될 수 있다.
본 발명의 상세한 설명에 앞서, 본 발명은 다양한 변경을 도모할 수 있고, 여러 가지 실시 예를 가질 수 있는바, 아래에서 설명되고 도면에 도시된 예시들은 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도는 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 명세서에 기재된 "...부", "...유닛", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
이하, 본 발명의 바람직한 실시 예에 따른 오프라인 스케치 콘텐츠의 3D 동적 활성화 방법 및 3D 동적 활성화 시스템에 대하여 첨부 도면을 참조하여 상세히 설명한다.
먼저, 본 발명에 따른 오프라인 스케치 콘텐츠의 3D 동적 활성화 방법에 대하여 도 1을 참조하여 상세히 설명한다. 도 1은 본 발명에 따른 오프라인 스케치 콘텐츠의 3D 동적 활성화 과정을 나타내는 플로차트이다.
본 발명에 따른 오프라인 스케치 콘텐츠의 3D 동적 활성화 방법은, 모형화 될 외곽선 이미지와 인식용 마커가 인쇄된 용지를 마련하는 용지 마련 단계(S100); 상기 용지의 이미지에 상응하는 3D 모델링 데이터 및 색상 데이터가 구축되는 데이터베이스 구축 단계(S200); 상기 용지의 마커를 인식하여 인식된 이미지에 상응하는 3D 모델링을 3D 모델링 데이터로부터 읽어들여 디스플레이장치의 가상 환경에 실시간으로 표시하는 3D 모델링 단계(S300); 상기 용지에 채색이 이루어지는 경우, 해당 색상을 인식하여 색상 데이터로부터 색상을 읽어들여 가상 환경의 3D 모델링에 실시간으로 반영하는 채색 반영 단계(S400); 상기 채색 반영 단계(S400)에서 채색이 반영된 3D 모델링을 오프라인의 디스플레이부로 전송하여 디스플레이되도록 하되, 3D 모델링이 동적으로 구현되도록 하는 동적 프로그램에 연계되어 3D 모델링이 동적 영상(애니메이션)으로 디스플레이되도록 하는 오프라인 디스플레이 단계(S500); 및 상기 오프라인 디스플레이 단계(S500)의 오프라인 디스플레이부에서 디스플레이되는 3D 모델링(채색까지 완료된 3D 모델링)에 대한 터치 여부를 인식하고, 터치가 이루어지는 경우 인터렉션 제어되도록 하는 인터렉션 제어 단계(S600);를 포함한다.
상기 용지 마련 단계(S100)에서 마련되는 용지에 대하여 도 2를 참조하여 설명한다. 도 2는 본 발명에 따른 오프라인 스케치 콘텐츠의 3D 동적 활성화 방법에 포함되는 용지 마련 단계에서 마련되는 용지의 일 예를 나타내는 도면이다.
상기 용지 마련 단계(S100)에서 마련되는 용지는, 도 2에 나타낸 일 실시 예와 같이, 물고기의 이미지(소정 콘텐츠 또는 캐릭터)의 외곽선(1번 적색 점선 원)이 모델링될 이미지로서 이러한 외곽선을 갖는 이미지는 3D 모델링 데이터의 데이터베이스에 저장되어 있다.
이러한 외곽선 이미지를 기준으로 그 외곽선 이미지는 유저가 색상을 채색하기 위한 대상으로 된다. 여기에서, 외곽선 이미지 내에 복수의 내부 라인이 형성될 수 있으며, 유저는 외곽선 이미지 전체를 동일 색상으로 채색하거나, 내부 라인을 구획된 범위를 다른 색상으로 채색할 수 있게 된다.
또한, 상기 용지 마련 단계(S100)에서 마련되는 용지에 있어, 외곽선 이미지의 배경이 되는 배경 이미지 전체나 특징적인 일부분(예를 들면, 2번 적색 점선 원)은 상기 외곽선 이미지를 인식하기 위한 인식 마커로서 기능하도록 이루어진다.
다시 말해서, 이러한 배경 이미지는 이미지(콘텐츠 또는 캐릭터)를 인식하기 위한 매개체(인식 마커)로 활용되며, 이는 일반적인 바코드나 QR코드가 아닌 이미지의 컨셉과 조화를 이룰 수 있는 배경 이미지를 사용함으로써 모델링될 이미지(콘텐츠)의 질을 향상시키고, 또한 동적 3D 모델링이 디스플레이되는 배경과도 조화를 이룰 수 있도록 이루어진다.
다음으로, 상기 데이터베이스 구축 단계(S200)는 용지에 도안된 이미지(콘텐츠 또는 캐릭터)에 상응하는, 즉 용지에 부여되어 있는 인식 마커(배경 이미지 전체 또는 특징적인 일부분)에 상응하여 연계되는 3D 모델링 데이터가 저장되어 있고, 다양한 색상에 대한 색상 데이터가 저장되어 구축된다. 다시 말해서, 아래 3D 모델링 단계(S300)에서 웹캠을 통해 읽어드릴 오프라인 이미지(용지 이미지)들과 비교 기준을 설정하기 그 오프라인 이미지를 데이터베이스화 한다.
구체적으로, 상기 데이터베이스 구축 단계(S200)에서 구축되는 데이터베이스에는 이미지를 기준으로 3D 모델링 정보와 텍스쳐(texture), UV좌표 및 연동 애니메이션 등의 정보가 저장되어 이루어진다.
계속해서, 상기 용지의 마커를 인식하여 인식된 이미지에 상응하는 3D 모델링을 3D 모델링 데이터로부터 읽어들여 디스플레이장치의 가상 환경에 실시간으로 표시하는 3D 모델링 단계(S300)에 대하여 도 3을 참조하여 설명한다. 도 3은 본 발명에 따른 오프라인 스케치 콘텐츠의 3D 동적 활성화 방법에 포함되는 3D 모델링 단계에서 3D 모델링을 생성하는 과정을 나타내는 플로차트이고, 도 4는 본 발명에 따른 오프라인 스케치 콘텐츠의 3D 동적 활성화 방법에 포함되는 3D 모델링 단계의 3D 모델링을 생성하는 과정에서 이미지 특징점을 추출하는 일 예시를 나타내는 도면이다.
상기 3D 모델링 단계(S300)는 웹캠을 통해 용지의 이미지를 읽어들이는 이미지 입력 단계(S310)와, 읽어들인 이미지의 특징점을 추출하거나, 용지 이미지에 부여된 인식 마커를 인식하는 이미지 추출 단계(S320)와, 상기 이미지 추출 단계(S320)에서 인식된 이미지와 데이터베이스에 저장된 이미지 파일과 비교하는 이미지 비교 단계(S330), 및 상기 이미지 비교 단계(S330)에서 비교 판단하여 선택된 이미지에 상응하는 데이터베이스의 3D 모델링을 생성하는 3D 모델링 생성 단계(S340)를 포함한다.
상기 이미지 추출 단계(S320)는 용지 이미지에 부여된 인식 마커를 인식함으로써 해당 이미지에 상응하는 이미지를 데이터베이스로부터 추출하도록 이루어질 수 있다.
또한, 상기 이미지 추출 단계(S320)는 도 4에 나타낸 바와 같이, 용지 이미지를 대상으로 객관화된 데이터를 추출하기 위하여 추상적인 특징점(예를 들면, 외곽선 이미지)를 기준으로 하여 그 외곽선 이미지 및/또는 배경 이미지를 추출하도록 이루어질 수 있다. 이러한 특징점을 기준으로 하는 이미지 추출은 인식 마커의 인식을 통한 추출과 다르게 사용자가 그리는 도안의 이미지를 추출하는데 이용되며, 데이터베이스에는 다양한 이미지가 저장되어 있는 랜덤 이미지데이터가 저장되어 있으며, 이에 따라 사용자가 그리는 도안에 대한 이미지 추출은 특징점을 기준으로 그 외곽선 이미지에 나타내는 이미지를 추출하도록 이루어진다.
또한, 상기 이미지 추출 단계(S320)에서, 용지 이미지는 예를 들면 스케치 테이블에 구비되는 웹캠(PC 일체형)에 의해 읽어들어지는데, 스케치 테이블에는 사용자(유저)가 용지를 놓아야 하는 위치를 그 스케치 테이블에 표시하여 웹캠을 통해 원활하게 읽어들일 수 있도록 한다.
계속해서, 상기 이미지 비교 단계(S330)는 추출된 이미지가 가상 환경 내에 모델링 데이터로 생성할 수 있는지, 모델링 데이터로 생성 가능한 경우, 어떤 모델링 데이터로 생성해야 하는 지를 결정하기 위해 데이터베이스에 저장된 이미지 파일과 비교해 생성할 모델링을 결정하도록 이루어진다.
다음으로, 상기 이미지 비교 단계(S330)에서 비교 판단하여 선택된 이미지에 상응하는 데이터베이스의 3D 모델링을 생성하는 3D 모델링 생성 단계(S340)는, 상기 이미지 비교 단계(S330)에서 데이터베이스의 이미지 파일과의 비교 과정을 거쳐 결정된 모델링을 가상 환경 내에 임의적으로 설정한 위치에 생성하고, 생성된 3D 모델링은 미리 프로그래밍되어 구성된 동작 알고리즘에 따른 소정 애니메이션에 연동시켜 가상 환경에서 재생되어 디스플레이되게 된다.
또한, 상기 3D 모델링 단계(S300)는 인식된 용지 이미지에 대하여 결정된 3D 모델링에 그 용지 이미지를 맵핑(mapping)하는 맵핑 단계(S350)를 더 포함한다. 도 5는 본 발명에 따른 오프라인 스케치 콘텐츠의 3D 동적 활성화 방법에 포함되는 3D 모델링 단계의 3D 모델링을 생성하는 과정에서 3D 모델링에 용지 이미지(2D 이미지)를 맵핑하는 맵핑 과정을 나타내는 도면이며, 도 6은 본 발명에 따른 오프라인 스케치 콘텐츠의 3D 동적 활성화 방법에 포함되는 3D 모델링 단계의 3D 모델링을 생성하는 과정에서 UV좌표를 기준으로 텍스쳐 맵핑하여 표출되는 예시를 나타내는 도면이다.
상기 맵핑 단계(S350)는, 실시간으로 입력되는 용지 이미지를 가상 환경 내 3D 모델링에 맵핑을 하기 위해 이미지 보정 과정을 거치는 것으로, 웹캠을 기준으로 오프라인 상의 스케치 용지를 입력 받을 때(도 5의 (a)), 입력된 이미지의 형태는 도 5의 (b)에 나타낸 바와 같이 사다리꼴 모양으로 인식되므로 맵핑 텍스쳐 데이터로 사용할 수 없게 된다. 따라서, 도 5의 (c)에 나타낸 바와 같이 입력받은 사다리꼴 모양의 이미지에 왜곡을 주어 맵핑에 요구되는 텍스쳐의 규격을 설정해주고, 이미지별로 설정된 UV좌표를 기준으로 텍스쳐화 된 이미지를 실시간으로 맵핑하도록 이루어진다(도 5의 (d)).
상기 채색 반영 단계(S400)는 공지의 방법을 통해 해당 색상을 인식하여 색상 데이터로부터 색상을 읽어들여 가상 환경의 3D 모델링에 실시간으로 반영하도록 이루어진다.
상기 오프라인 디스플레이 단계(S500)는 프로젝터를 통해 전송되어 스크린(오프라인 디스플레이부)에 디스플레이되도록 이루어진다.
여기에서, 본 발명은 오프라인 디스플레이 단계(S500)에 있어서, 2대 이상의 프로젝터를 사용하여 디스플레이하는 경우, 설치되는 환경에 따라 각 프로젝터가 영사하는 이미지가 서로 맞닿거나 겹쳐지는 면을 자연스럽게 처리하기 위한 엣지블랜딩(edge blending) 과정을 더 포함할 수 있다. 도 7은 본 발명에 따른 오프라인 스케치 콘텐츠의 3D 동적 활성화 방법의 오프라인 디스플레이 단계의 엣지블랜딩(edge blending) 과정에서 렌더 이미지를 왜곡 설정하는 것을 설명하기 위한 도면이며, 도 8은 본 발명에 따른 오프라인 스케치 콘텐츠의 3D 동적 활성화 방법의 오프라인 디스플레이 단계의 엣지블랜딩(edge blending) 과정에서 겹쳐지는 면(dpt지)을 그라데이션 처리하는 것을 설명하기 위한 도면이다.
상기 오프라인 디스플레이 단계(S500)에 있어서, 2대 이상의 프로젝터를 사용하여 디스플레이하는 경우에서 엣지블랜딩 과정은, 프로젝터(오프라인 디스플레이부)를 통해 영사되는 이미지의 각 모서리 꼭짓점을 기준으로 이미지 왜곡을 주어 설치 환경에 따라 이미지를 변경한 다음(도 7 참조), 각 화면별로 렌더되는 이미지와 다른 화면의 일부 렌더 이미지를 합해 프로젝터로 영사하고, 다른 화면의 일부 렌더 이미지의 면적은 겹쳐지는 면적을 사용자가 조절하게 되고, 겹쳐지는 면적을 기준으로 다른 화면의 일부 렌더 이미지를 그라데이션으로 처리해 자연스러워 보일 수 있도록 함으로써 이루어진다.
다음으로, 상기 인터렉션 제어 단계(S600)에 대하여 도 9를 참조하여 상세히 설명한다. 도 9는 본 발명에 따른 오프라인 스케치 콘텐츠의 3D 동적 활성화 방법에 포함되는 인터렉션 제어 단계를 나타내는 플로차트이다.
상기 인터렉션 제어 단계(S600)는 오프라인 디스플레이부에서 적외선을 이용하여 깊이 데이터를 추출하는 뎁스 센서를 통해 인식된 물체(예를 들면, 이용자의 손 등)의 깊이 정보를 이용하여 입력 이벤트를 검출하는 이벤트 검출 단계(S610), 및 가상 환경의 영상 내 이미지를 대상으로 입력 이벤트를 전달받아 정합하는 캘리브레이션(calibration) 단계(S620)를 포함한다.
상기 이벤트 검출 단계(S610)는 뎁스 센서에서 감지되는 깊이 정보 중 실제 입력 이벤트로 처리할 인식 깊이의 기준이 설정되어 있고, 오프라인 디스플레이부(영사면)를 기준으로 입력 이벤트로 인식할 깊이 정보 이외에는 이벤트를 받지 않도록 이루어진다.
또한, 상기 이벤트 검출 단계(S610)는 뎁스 센서를 통해 감지되는 깊이 정보의 로 데이터(Raw data)를 가공하여 인식률을 높여 인식 노이즈를 필터링하며, 이에 따라 인식 노이즈의 필터링을 통해 물리적인 설치 환경을 구애받지 않고 원활한 인식률을 확보할 수 있게 된다.
이러한 이벤트 검출 단계(S610)는 뎁스 센서를 통해 인식되는 실제 환경에서 다른 인식 물체(이하 "노이즈"라 칭함)를 제거하거나 최소화하여 실제 유저가 터치한 위치를 명확히 추출함으로써 인식 노이즈를 필터링하여 인식률을 증대시키게 된다.
구체적으로, 상기 이벤트 검출 단계(S610)에서 인식률의 증대는, 인식 영역을 조절하는 것과 인식된 이미지를 가공할 수 있는 기능의 값을 조절하여 인식된 노이즈를 제거하거나 최소화 하게 된다. 인식 영역의 조절은 평면과 깊이 영역을 조절하여 설정한 인식 영역 이외의 물체는 인식되지 않도록 하여 인식률을 개선하고, 설정한 영역 내 인식된 이미지는 다음과 같은 기능을 이용하여 인식 이미지를 가공하게 된다.
먼저, 뎁스 센서가 물체를 최초 인식 시 아주 작은 크기의 물체(인식이 필요 없는)를 제거하기 위한 해당 인식값을 조절하여 그 인식 값 범위 안의 소형 물체는 인식을 하지 않도록, 즉 인식하더라도 무시하도록 이루어질 수 있다.
계속해서, 뎁스 센서를 통해 인식된 이미지를 기준으로 실제 콘텐츠 상에서의 터치 이벤트를 전달할 수 있는 영역을 조절하기 위한 해당 기능값을 설정하여 콘텐츠 상에서의 터치 영역을 인위적으로 조정함으로써 이루어질 수 있다.
그리고 인식된 이미지 중 손을 제외하고 다른 물체의 이미지를 제거하기 위한 해당 기능값을 조절하여 인식되는 이미지 중 신체나 다른 물체를 제거하고 손만 인식될 수 있도록 함으로써 이루어질 수 있다.
이러한 세가지 방법은 하나 또는 조합되게 이루어져 인식률이 더욱 향상될 수 있도록 하며, 상기 언급한 과정을 거쳐 인식된 이미지를 가공하고, 오프라인 영역의 디스플레이부에 디스플레이된 이미지를 터치한 가상 오브젝트나 캐릭터에 대한 피드백을 보다 정확하고 정밀하게 인터렉션할 수 있게 된다.
그리고 상기 캘리브레이션 단계(S620)는, 프로젝터를 통해 오프라인 디스플레이부로 영사되는 이미지 영역과 입력 영역을 평면 좌표를 기준으로 정합하도록 이루어지며, 상기 화면/입력 영역 정합 단계(S621)에서 입력 영역 이외의 영역에서는 이벤트를 받지 않도록 함으로써 캘리브레이션 하게 된다.
한편, 본 발명은 3D 모델링에 상응하는 한글 또는 영어 등의 학습데이터 콘텐츠가 저장되는 학습데이터 데이터베이스가 구축되고, 상기 오프라인 디스플레이 단계에서 디스플레이되는 이미지(콘텐츠 또는 캐릭터)가 디스플레이될 때, 사용자 명령(학습 선택 버튼)에 의해 해당 이미지에 상응하는 학습 콘텐츠가 함께 디스플레이되도록 하는 것을 더 포함할 수 있다.
이에 따라, 상기 인터렉션 제어 단계에서 해당 이미지를 선택(터치)한 후, 학습 콘텐츠를 터치한 경우(예를 들면, 물고기 이미지를 터치한 후, "물고기" 또는 "fish"를 터치하는 경우, 물고기 이미지와 해당 학습 콘텐츠가 사라지도록 이루어질 수 있다.
다음으로, 본 발명에 따른 오프라인 스케치 콘텐츠의 3D 동적 활성화 시스템에 대하여 도 10을 참조하여 설명한다. 도 10은 본 발명에 따른 오프라인 스케치 콘텐츠의 3D 동적 활성화 시스템의 구성을 개략적으로 나타내는 도면이다.
본 발명에 따른 오프라인 스케치 콘텐츠의 3D 동적 활성화 시스템은, 스케치 테이블(11)에 놓이며, 모델링될 외곽선 이미지와 인식용 마커가 인쇄된 이미지를 갖는 오프라인 이미지 용지(10); 상기 용지의 이미지에 상응하는 3D 모델링 데이터 및 색상 데이터가 저장되는 데이터베이스부(미도시); 상기 스케치 케이블에 구비되어 용지의 이미지를 읽어들이는 웹캠(110); 상기 웹캠(110)에서 읽어들인 용지의 마커를 인식하여 인식된 이미지에 상응하는 3D 모델링을 3D 모델링 데이터로부터 읽어들여 실시간으로 표시하는 디스플레이 장치(120); 상기 디스플레이 장치(120)와 일체로 구성되어 그 디스플레이 장치(120)에서 디스플레이되는 3D 모델링을 동적으로 구현되도록 동적 프로그램에 연계되어 3D 모델링이 동적 영상(애니메이션)으로 플레이되도록 하는 3D 모델링 애니메이션 구동부(미도시); 상기 3D 모델링 애니메이션 구동부로와 연결되어 오프라인의 스크린(131)에 영사시키는 프로젝터(130); 및 상기 프로젝터(130)에서 영사되어 상기 스크린(131)에서 디스플레이되는 콘텐츠(3D 모델링)에 대한 터치 여부를 인식하고, 터치가 이루어지는 경우 인터렉션 제어되도록 하는 인터렉션 제어모듈(미도시);를 포함한다.
상기 오프라인 이미지 용지(10)는 도 2에 나타낸 바와 같이, 예를 들면 물고기의 이미지(소정 콘텐츠 또는 캐릭터)의 외곽선(1번 적색 점선 원)이 모델링될 이미지로서, 이러한 외곽선을 갖는 이미지는 상기 데이터베이스부의 3D 모델링 데이터에 저장되어 있다.
이러한 외곽선 이미지를 기준으로 그 외곽선 이미지는 유저가 색상을 채색하기 위한 대상으로 되고, 외곽선 이미지 내에 복수의 내부 라인이 형성될 수 있으며, 유저는 외곽선 이미지 전체를 동일 색상으로 채색하거나, 내부 라인을 구획된 범위를 다른 색상으로 채색할 수 있게 된다.
여기에서, 채색된 색상은 색상 웹캠(110)을 통해 읽어들어지고, 상기 디스플레이 장치(120)에 구성되는 색상 비교인식부를 통해 상기 데이터베이스부의 색상 데이터와 비교 인식하여 해당 색상이 표출되도록 이루어진다.
또한, 상기 용지의 이미지는 외곽선 이미지의 배경이 되는 배경 이미지 전체나 특징적인 일부분(예를 들면, 2번 적색 점선 원)이 상기 외곽선 이미지를 인식하기 위한 인식 마커로서 기능하도록 이루어진다.
다시 말해서, 용지의 이미지에서 배경 이미지는 이미지(콘텐츠 또는 캐릭터)를 인식하기 위한 매개체(인식 마커)로 활용되며, 이는 일반적인 바코드나 QR코드가 아닌 이미지의 컨셉과 조화를 이룰 수 있는 배경 이미지를 사용함으로써 모델링될 이미지(콘텐츠)의 질을 향상시키고, 또한 동적 3D 모델링이 디스플레이되는 배경과도 조화를 이룰 수 있도록 이루어진다.
다음으로, 상기 데이터베이스부는 용지에 도안된 이미지(콘텐츠 또는 캐릭터)에 상응하는, 즉 용지에 부여되어 있는 인식 마커(배경 이미지 전체 또는 특징적인 일부분)에 상응하여 연계되는 3D 모델링 데이터베이스, 및 색상 데이터가 저장되어 있는 색상 데이터베이스를 포함한다.
여기에서, 상기 3D 모델링 데이터베이스는 이미지를 기준으로 3D 모델링 정보와 텍스쳐(texture), UV좌표 및 연동 애니메이션 등의 정보를 포함하여 이루어진다.
다음으로, 상기 디스플레이 장치(110)는 웹캠(10)을 통해 읽어들인 이미지의 특징점을 추출하거나, 용지 이미지에 부여된 인식 마커를 인식하는 이미지 추출부와, 상기 이미지 추출부에서 인식된 이미지와 데이터베이스에 저장된 이미지 파일과 비교하는 이미지 비교부, 및 상기 이미지 비교부에서 비교 판단하여 선택된 이미지에 상응하는 데이터베이스의 3D 모델링을 생성하는 3D 모델링 생성부를 포함한다.
상기 이미지 추출부는 용지 이미지에 부여된 인식 마커를 인식함으로써 해당 이미지에 상응하는 이미지를 데이터베이스로부터 추출하도록 이루어질 수 있다.
또한, 상기 이미지 추출부는 도 4에 나타낸 바와 같이, 용지 이미지를 대상으로 객관화된 데이터를 추출하기 위하여 추상적인 특징점(예를 들면, 외곽선 이미지)를 기준으로 하여 그 외곽선 이미지와 배경 이미지를 추출하도록 이루어질 수 있다. 이러한 특징점을 기준으로 하는 이미지 추출은 인식 마커의 인식을 통한 추출과 다르게 앞서 설명한 바와 같은 사용자가 그리는 도안의 이미지를 추출하는데 이용될 수 있다.
계속해서, 상기 이미지 비교부는 추출된 이미지가 디스플레이 장치(120)에서 모델링 데이터로 생성할 수 있는지, 모델링 데이터로 생성 가능한 경우, 어떤 모델링 데이터로 생성해야 하는 지를 결정하기 위해 데이터베이스부에 저장된 이미지 파일과 비교해 생성할 모델링을 결정하도록 이루어진다.
상기 3D 모델링 생성부는 상기 이미지 비교부에서 데이터베이스의 이미지 파일과의 비교 과정을 거쳐 결정된 모델링을 임의적으로 설정한 위치에 생성하고, 생성된 3D 모델링은 미리 프로그래밍되어 구성된 동작 알고리즘에 따른 상기 3D 모델링 애니메이션 구동부와 연동하여 디스플레이되도록 이루어진다.
또한, 상기 3D 모델링 생성부는 인식된 용지 이미지에 대하여 결정된 3D 모델링에 그 용지 이미지를 맵핑(mapping)하도록 이루어질 수 있다.
구체적으로, 상기 3D 모델링 생성부에서의 맵핑은 실시간으로 입력되는 용지 이미지를 3D 모델링에 맵핑을 하기 위해 이미지를 보정하는 것으로, 웹캠을 기준으로 오프라인 상의 스케치 용지를 입력 받을 때(도 5의 (a)), 입력된 이미지의 형태는 도 5의 (b)에 나타낸 바와 같이 사다리꼴 모양으로 인식되므로 맵핑 텍스쳐 데이터로 사용할 수 없게 되는데, 도 5의 (c)에 나타낸 바와 같이 입력받은 사다리꼴 모양의 이미지에 왜곡을 주어 맵핑에 요구되는 텍스쳐의 규격을 설정해주고, 이미지별로 설정된 UV좌표를 기준으로 텍스쳐화 된 이미지를 실시간으로 맵핑하도록 이루어진다(도 5의 (d)).
다음으로, 본 발명은 프로젝터(130)가 2대 이상 사용될 수 있는데, 설치되는 환경에 따라 각 프로젝터가 영사하는 이미지가 서로 맞닿거나 겹쳐지는 면을 자연스럽게 처리하기 위한 엣지블랜딩(edge blending) 할 수 있게 이루어진다.
구체적으로, 2대 이상의 프로젝터를 사용하여 스크린(131)에 디스플레이하는 경우에서, 두 대의 프로젝터(130)를 통해 영사되는 이미지의 각 모서리 꼭짓점을 기준으로 이미지 왜곡을 주어 설치 환경에 따라 이미지를 변경한 다음, 각 화면별로 렌더되는 이미지와 다른 화면의 일부 렌더 이미지를 합해 프로젝터로 영사하고, 다른 화면의 일부 렌더 이미지의 면적은 겹쳐지는 면적을 사용자가 조절하게 되고, 겹쳐지는 면적을 기준으로 다른 화면의 일부 렌더 이미지를 그라데이션으로 처리해 자연스러워 보일 수 있도록 하게 된다.
다음으로, 상기 인터렉션 제어 모듈은, 적외선을 이용하여 스크린에 대한 깊이 데이터를 추출하는 뎁스 센서(141)와, 상기 뎁스 센서(141)를 통해 추출된 물체(예를 들면, 이용자의 손 등)의 깊이 정보를 이용하여 입력 이벤트를 검출하는 이벤트 검출부, 및 상기 이벤트 검출부로부터 스크린(131)의 영상 내 이미지를 대상으로 입력 이벤트를 전달받아 정합하는 캘리브레이션(calibration)부를 포함한다.
상기 이벤트 검출부는 뎁스 센서(141)에서 감지되는 깊이 정보 중 실제 입력 이벤트로 처리할 인식 깊이의 기준이 설정되어 있고, 스크린을 기준으로 입력 이벤트로 인식할 깊이 정보 이외에는 이벤트를 받지 않도록 이루어진다.
또한, 상기 이벤트 검출부는 뎁스 센서(141)를 통해 감지되는 깊이 정보의 로 데이터(Raw data)를 가공하여 인식률을 높여 인식 노이즈를 필터링하고, 가공된 데이터를 저장하도록 이루어진다. 이러한 인식 노이즈의 필터링을 통해 물리적인 설치 환경을 구애 받지 않고 원활한 인식률을 확보할 수 있게 된다.
상기 이벤트 검출부는 뎁스 센서에서 감지되는 깊이 정보 중 실제 입력 이벤트로 처리할 인식 깊이의 기준이 설정되어 있고, 오프라인 디스플레이부(영사면)를 기준으로 입력 이벤트로 인식할 깊이 정보 이외에는 이벤트를 받지 않도록 이루어진다.
또한, 상기 이벤트 검출부는 뎁스 센서를 통해 감지되는 깊이 정보의 로 데이터(Raw data)를 가공하여 인식률을 높여 인식 노이즈를 필터링하며, 이에 따라 인식 노이즈의 필터링을 통해 물리적인 설치 환경을 구애받지 않고 원활한 인식률을 확보할 수 있게 된다.
이러한 이벤트 검출부는 뎁스 센서를 통해 인식되는 실제 환경에서 다른 인식 물체(이하 "노이즈"라 칭함)를 제거하거나 최소화하여 실제 유저가 터치한 위치를 명확히 추출함으로써 인식 노이즈를 필터링하여 인식률을 증대시키게 된다.
구체적으로, 상기 이벤트 검출부에서 인식률의 증대는, 인식 영역을 조절하는 것과 인식된 이미지를 가공할 수 있는 기능의 값을 조절하여 인식된 노이즈를 제거하거나 최소화 하게 된다. 인식 영역의 조절은 평면과 깊이 영역을 조절하여 설정한 인식 영역 이외의 물체는 인식되지 않도록 하여 인식률을 개선하고, 설정한 영역 내 인식된 이미지는 다음과 같은 기능을 이용하여 인식 이미지를 가공하게 된다.
먼저, 뎁스 센서가 물체를 최초 인식 시 아주 작은 크기의 물체(인식이 필요 없는)를 제거하기 위한 해당 인식값을 조절하여 그 인식 값 범위 안의 소형 물체는 인식을 하지 않도록, 즉 인식하더라도 무시하도록 이루어질 수 있다.
계속해서, 뎁스 센서를 통해 인식된 이미지를 기준으로 실제 콘텐츠 상에서의 터치 이벤트를 전달할 수 있는 영역을 조절하기 위한 해당 기능값을 설정하여 콘텐츠 상에서의 터치 영역을 인위적으로 조정함으로써 이루어질 수 있다.
그리고 인식된 이미지 중 손을 제외하고 다른 물체의 이미지를 제거하기 위한 해당 기능값을 조절하여 인식되는 이미지 중 신체나 다른 물체를 제거하고 손만 인식될 수 있도록 함으로써 이루어질 수 있다.
이러한 세가지 방법은 하나 또는 조합되게 이루어져 인식률이 더욱 향상될 수 있도록 하며, 상기 언급한 과정을 거쳐 인식된 이미지를 가공하고, 오프라인 영역의 디스플레이부에 디스플레이된 이미지를 터치한 가상 오브젝트나 캐릭터에 대한 피드백을 보다 정확하고 정밀하게 인터렉션할 수 있게 된다.
다음으로, 상기 캘리브레이션부는, 프로젝터(130)를 통해 스크린으로 영사되는 이미지 영역과 입력 영역을 평면 좌표를 기준으로 정합하도록 이루어지며, 입력 영역 이외의 영역에서는 이벤트를 받지 않도록 함으로써 캘리브레이션 하게 된다.
한편, 본 발명의 시스템에서, 상기 데이터베이스부는 3D 모델링에 상응하는 한글 또는 영어 등의 학습데이터 콘텐츠가 저장되는 학습데이터 데이터베이스를 더 포함하고, 상기 디스플레이 장치(120)는 플레이되는 이미지(콘텐츠 또는 캐릭터)가 디스플레이될 때, 사용자 명령(학습 선택 버튼)에 의해 해당 이미지에 상응하는 학습 콘텐츠가 함께 디스플레이되도록 이루어지며, 상기 인터렉션 제어모듈은 해당 이미지를 선택(터치)한 후, 학습 콘텐츠를 터치한 경우(예를 들면, 물고기 이미지를 터치한 후, "물고기" 또는 "fish"를 터치하는 경우, 물고기 이미지와 해당 학습 콘텐츠가 사라지도록 이루어질 수 있다.
이상에서 설명한 바와 같은 본 발명에 따른 오프라인 스케치 콘텐츠의 3D 동적 활성화 방법 및 3D 동적 활성화 시스템에 의하면, 오프라인 스케치 용지에 그려지는 스케치 콘텐츠(캐릭터)를 인식하여 가상 환경에 실시간 반영시키면서 채색되는 색채를 표출할 수 있도록 하여 재미와 흥미를 유발하고, 집중력을 향상시킬 수 있는 이점이 있다.
또한, 본 발명에 의하면, 사용자가 직접 그리거나 및/또는 채색한 콘텐츠(캐릭터)를 오프라인의 스크린 상에 표출시켜서 현실감을 부여할 수 있을 뿐만 아니라, 사용자 자신이 만든 콘텐츠(캐릭터)와 인터렉션할 수 있도록 하여 사용자의 상상력과 호기심을 더욱 극대화할 수 있고, 이에 따라 제품 경쟁력을 향상시킬 수 있으며, 인터렉션 시 학습 콘텐츠를 부가하여 디스플레이되는 콘텐츠와 연동되게 인터렉션되도록 함으로써 효과적인 학습 기능을 제공할 수 있는 이점이 있다.
본 명세서에서 설명되는 실시 예와 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 예시적으로 설명하는 것에 불과하다. 따라서, 본 명세서에 개시된 실시 예는 본 발명의 기술적 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이므로, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아님은 자명하다. 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시 예는 모두 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10: 오프라인 이미지 용지
11: 스케치 테이블
110: 웹캠
120: 디스플레이 장치
130: 프로젝터
131: 스크린
141: 뎁스 센서
S100: 용지 마련 단계
S200: 데이터베이스 구축 단계
S300: 3D 모델링 단계
S310: 이미지 입력 단계
S320: 이미지 추출 단계
S330: 이미지 비교 단계
S340: 3D 모델링 생성 단계
S350: 맵핑 단계
S400: 채색 반영 단계
S500: 오프라인 디스플레이 단계
S600: 인터렉션 제어 단계
S610: 이벤트 검출 단계
S620: 캘리브레이션(calibration) 단계
11: 스케치 테이블
110: 웹캠
120: 디스플레이 장치
130: 프로젝터
131: 스크린
141: 뎁스 센서
S100: 용지 마련 단계
S200: 데이터베이스 구축 단계
S300: 3D 모델링 단계
S310: 이미지 입력 단계
S320: 이미지 추출 단계
S330: 이미지 비교 단계
S340: 3D 모델링 생성 단계
S350: 맵핑 단계
S400: 채색 반영 단계
S500: 오프라인 디스플레이 단계
S600: 인터렉션 제어 단계
S610: 이벤트 검출 단계
S620: 캘리브레이션(calibration) 단계
Claims (13)
- 3D 모델링될 외곽선 이미지와 인식용 마커가 인쇄된 이미지를 갖는 용지를 마련하는 용지 마련 단계;
상기 용지의 이미지에 상응하는 3D 모델링 데이터 및 채색되는 색상에 대한 색상 데이터를 구축하는 데이터베이스 구축 단계;
상기 용지의 마커를 인식하여 인식된 이미지에 상응하는 3D 모델링을 상기 3D 모델링 데이터로부터 읽어들여 디스플레이장치의 가상 환경에 실시간으로 표시하는 3D 모델링 단계;
상기 용지에 채색이 이루어지는 경우, 해당 색상을 인식하여 상기 색상 데이터로부터 색상을 읽어들여 가상 환경의 3D 모델링에 실시간으로 반영하는 채색 반영 단계;
상기 채색이 반영된 3D 모델링을 오프라인의 디스플레이부로 전송하여 디스플레이되도록 하되, 3D 모델링이 동적으로 구현되도록 하는 동적 프로그램에 연계되어 3D 모델링이 연동 애니메이션으로 디스플레이되도록 하는 오프라인 디스플레이 단계; 및
상기 오프라인 디스플레이부에서 디스플레이되는 3D 모델링에 대한 터치 여부를 인식하고, 터치가 이루어지는 경우 인터렉션 제어되도록 하는 인터렉션 제어 단계;를 포함하고,
상기 인터렉션 제어 단계는 적외선을 이용하여 깊이 데이터를 추출하는 뎁스 센서를 통해 스크린에서 인식된 물체의 깊이 정보를 이용하여 입력 이벤트를 검출하는 이벤트 검출 단계, 및 상기 디스플레이 장치에서 디스플레이되는 영상 내 이미지를 대상으로 입력 이벤트를 전달받아 정합하는 캘리브레이션(calibration) 단계를 포함하고,
상기 이벤트 검출 단계는 상기 뎁스 센서에서 감지되는 깊이 정보 중 실제 입력 이벤트로 처리되도록 설정된 인식 깊이를 기준으로 하고, 뎁스 센서를 통해 감지되는 깊이 정보의 로 데이터(Raw data)를 가공하여, 인식률을 높이도록 인식 노이즈를 필터링하도록 이루어지며,
상기 캘리브레이션 단계는, 프로젝터를 통해 오프라인 디스플레이부인 스크린으로 영사되는 이미지 영역과 입력 영역을 평면 좌표를 기준으로 정합하도록 이루어지는 것을 특징으로 하는
오프라인 스케치 콘텐츠의 3D 동적 활성화 방법.
- 제1항에 있어서,
상기 용지 마련 단계에서 마련되는 용지는 배경이 되는 배경 이미지 전체나 일부분이 인식 마커로서 이루어지는 것을 특징으로 하는
오프라인 스케치 콘텐츠의 3D 동적 활성화 방법.
- 제1항에 있어서,
상기 데이터베이스 구축 단계에서 구축되는 데이터베이스에는 이미지를 기준으로 3D 모델링 정보와 텍스쳐(texture), UV좌표 및 연동 애니메이션의 정보가 저장되어 이루어지는 것을 특징으로 하는
오프라인 스케치 콘텐츠의 3D 동적 활성화 방법.
- 제1항에 있어서,
상기 3D 모델링 단계는 웹캠을 통해 용지의 이미지를 읽어들이는 이미지 입력 단계와, 읽어들인 이미지의 특징점을 추출하거나, 용지 이미지에 부여된 인식 마커를 인식하는 이미지 추출 단계와, 상기 이미지 추출 단계에서 인식된 이미지와 데이터베이스에 저장된 데이터를 비교하는 이미지 비교 단계, 및 상기 이미지 비교 단계에서 비교 판단되어 선택된 이미지에 상응하는 데이터베이스의 3D 모델링을 생성하는 3D 모델링 생성 단계;를 포함하며,
상기 3D 모델링 생성 단계는, 상기 이미지 비교 단계를 거쳐 결정된 모델링을 가상 환경 내에 임의적으로 설정한 위치에 생성하고, 생성된 3D 모델링은 연동 애니메이션의 동작 알고리즘에 연동시켜 가상 환경에서 디스플레이되도록 이루어지는 것을 특징으로 하는
오프라인 스케치 콘텐츠의 3D 동적 활성화 방법.
- 제1항 또는 제4항에 있어서,
상기 3D 모델링 단계는 인식된 이미지에 대하여 결정된 3D 모델링에 그 용지 이미지를 맵핑(mapping)하는 맵핑 단계를 더 포함하며,
상기 맵핑 단계는 웹캠을 통해 입력받은 사다리꼴 모양의 이미지에 왜곡을 주어 맵핑에 요구되는 텍스쳐의 규격을 설정해주고, 이미지별로 설정된 UV좌표를 기준으로 텍스쳐화 된 이미지를 실시간으로 맵핑하도록 이루어지는 것을 특징으로 하는
오프라인 스케치 콘텐츠의 3D 동적 활성화 방법.
- 제1항에 있어서,
상기 오프라인 디스플레이 단계는 프로젝터를 통해 전송되어 스크린에 디스플레이되도록 이루어지며,
2대 이상의 프로젝터를 사용하여 디스플레이하는 경우, 각 프로젝터가 영사하는 이미지가 서로 맞닿거나 겹쳐지는 면을 처리하기 위한 엣지블랜딩(edge blending)이 실행되어 이루어지는 것을 특징으로 하는
오프라인 스케치 콘텐츠의 3D 동적 활성화 방법.
- 삭제
- 제1항에 있어서,
상기 이벤트 검출 단계는,
상기 뎁스 센서가 물체를 최초 인식 시 상대적으로 작은 크기의 물체를 제거하기 위한 인식값을 조절하여 그 인식값 범위 안의 소형 물체는 인식하더라도 무시하도록 이루어지는 것, 상기 뎁스 센서를 통해 인식된 이미지를 기준으로 실제 콘텐츠 상에서의 터치 이벤트를 전달할 수 있는 영역을 조절하기 위한 기능값을 설정하여 콘텐츠 상에서의 터치 영역을 인위적으로 조정함으로써 이루어지는 것, 및 인식된 이미지 중 손을 제외하고 다른 물체의 이미지를 제거하기 위한 기능값을 조절하여 인식되는 이미지 중 신체나 다른 물체를 제거하고 손만 인식되도록 이루어지는 것 중 적어도 하나가 실행됨으로써 인식률을 증대시키도록 하는 것을 특징으로 하는
오프라인 스케치 콘텐츠의 3D 동적 활성화 방법.
- 외곽선 이미지와 인식용 마커가 인쇄된 2D 이미지를 갖는 오프라인 이미지 용지;
상기 용지의 2D 이미지에 상응하는 3D 모델링 데이터 및 채색될 색상에 대한 색상 데이터가 저장되는 데이터베이스부;
상기 용지가 놓이는 스케치 테이블에 구비되어 용지의 2D 이미지 및 채색되는 색상을 읽어들이는 웹캠;
상기 웹캠에서 읽어들인 용지의 마커를 인식하여 인식된 이미지에 상응하는 3D 모델링을 3D 모델링 데이터로부터 읽어들여 실시간으로 표시하는 디스플레이 장치;
상기 디스플레이 장치와 일체로 구성되고, 그 디스플레이 장치에서 디스플레이되는 3D 모델링을 애니메이션으로 플레이되도록 하는 3D 모델링 애니메이션 구동부;
상기 3D 모델링 애니메이션 구동부로와 연결되어 오프라인의 스크린에 영사시키는 프로젝터; 및
상기 스크린에 디스플레이되는 3D 모델링에 대한 터치 여부를 인식하고, 터치가 이루어지는 경우 인터렉션 제어되도록 하는 인터렉션 제어모듈;을 포함하고,
상기 데이터베이스부는 2D 이미지를 기준으로 3D 모델링 정보와 텍스쳐(texture), UV좌표 및 연동 애니메이션의 정보가 저장되어 이루어지며,
상기 디스플레이 장치는 웹캠을 통해 읽어들인 이미지의 특징점을 추출하거나, 용지 이미지에 부여된 인식 마커를 인식하는 이미지 추출부와, 상기 이미지 추출부에서 인식된 이미지와 데이터베이스에 저장된 이미지 파일과 비교하는 이미지 비교부, 및 상기 이미지 비교부에서 비교 판단하여 선택된 이미지에 상응하는 데이터베이스의 3D 모델링을 생성하는 3D 모델링 생성부를 포함하여 이루어지고,
상기 3D 모델링 생성부는 상기 웹캠을 통해 입력받은 사다리꼴 모양의 이미지에 왜곡을 주어 맵핑에 요구되는 텍스쳐의 규격을 설정 해 주고, 이미지별로 설정된 UV좌표를 기준으로 텍스쳐화 된 이미지를 실시간으로 맵핑하도록 이루어지고,
상기 프로젝터가 2대 이상 사용되는 경우, 각 프로젝터가 영사하는 이미지가 서로 맞닿거나 겹쳐지는 면을 엣지블랜딩(edge blending) 처리하도록 이루어지고,
상기 인터렉션 제어 모듈은, 적외선을 이용하여 스크린에 대한 깊이 데이터를 추출하는 뎁스 센서와, 상기 뎁스 센서를 통해 추출된 물체의 깊이 정보를 이용하여 입력 이벤트를 검출하는 이벤트 검출부, 및 상기 이벤트 검출부로부터 스크린의 영상 내 이미지를 대상으로 입력 이벤트를 전달받아 정합하는 캘리브레이션(calibration)부를 포함하며,
상기 이벤트 검출부는 뎁스 센서에서 감지되는 깊이 정보 중 실제 입력 이벤트로 처리할 인식 깊이에 대하여 설정된 기준을 벗어난 이벤트는 무시하도록 이루어지며, 상기 뎁스 센서를 통해 감지되는 깊이 정보의 로 데이터(Raw data)를 가공하여 인식 노이즈를 필터링하도록 이루어지는 것을 특징으로 하는
오프라인 스케치 콘텐츠의 3D 동적 활성화 시스템.
- 제9항에 있어서,
상기 오프라인 이미지 용지는 배경이 되는 배경 이미지 전체나 일부분이 인식 마커로서 이루어지는 것을 특징으로 하는
오프라인 스케치 콘텐츠의 3D 동적 활성화 시스템.
- 삭제
- 삭제
- 제9항에 있어서,
상기 이벤트 검출부는
상기 뎁스 센서가 물체를 최초 인식 시 상대적으로 작은 크기의 물체를 제거하기 위한 인식값을 조절하여 그 인식값 범위 안의 소형 물체는 인식하더라도 무시하도록 이루어지는 것, 상기 뎁스 센서를 통해 인식된 이미지를 기준으로 실제 콘텐츠 상에서의 터치 이벤트를 전달할 수 있는 영역을 조절하기 위한 기능값을 설정하여 콘텐츠 상에서의 터치 영역을 인위적으로 조정함으로써 이루어지는 것, 및 인식된 이미지 중 손을 제외하고 다른 물체의 이미지를 제거하기 위한 기능값을 조절하여 인식되는 이미지 중 신체나 다른 물체를 제거하고 손만 인식되도록 이루어지는 것 중 적어도 하나가 실행됨으로써 인식률을 증대시키도록 이루어지는 것을 특징으로 하는
오프라인 스케치 콘텐츠의 3D 동적 활성화 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180120564A KR101949103B1 (ko) | 2018-10-10 | 2018-10-10 | 오프라인 스케치 콘텐츠의 3d 동적 활성화 방법 및 3d 동적 활성화 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180120564A KR101949103B1 (ko) | 2018-10-10 | 2018-10-10 | 오프라인 스케치 콘텐츠의 3d 동적 활성화 방법 및 3d 동적 활성화 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101949103B1 true KR101949103B1 (ko) | 2019-05-21 |
Family
ID=66676108
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180120564A Active KR101949103B1 (ko) | 2018-10-10 | 2018-10-10 | 오프라인 스케치 콘텐츠의 3d 동적 활성화 방법 및 3d 동적 활성화 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101949103B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112328075A (zh) * | 2020-11-03 | 2021-02-05 | 上海镱可思多媒体科技有限公司 | 三维空间绘画方法、系统、终端以及介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120044783A (ko) * | 2010-10-28 | 2012-05-08 | 주식회사 세바비드코어 | 프로젝터를 이용한 터치 스크린 장치 및 그 터치 스크린 장치의 터치 위치 검출방법 |
| US20130181972A1 (en) * | 2012-01-16 | 2013-07-18 | Autodesk, Inc. | Three dimensional contriver tool for modeling with multi-touch devices |
| KR20150011559A (ko) * | 2013-07-23 | 2015-02-02 | (주)셀빅 | 단일의 모션센서를 이용한 다중 플레이어 게임 제공 방법 |
| KR20160013451A (ko) | 2014-07-25 | 2016-02-04 | 한상선 | 증강현실 애플리케이션을 접목한 제품현시시스템 |
| KR20160068186A (ko) * | 2014-12-05 | 2016-06-15 | 주식회사 서머너즈엔터테인먼트 | 증강 현실 컨텐츠 제공 장치 및 방법 |
| KR20160084583A (ko) * | 2015-01-06 | 2016-07-14 | 주식회사 인디고엔터테인먼트 | 인터랙티브 증강현실 구현 시스템 및 방법 |
| KR101682626B1 (ko) | 2016-06-20 | 2016-12-06 | (주)라온스퀘어 | 인터랙티브 콘텐츠 제공 시스템 및 방법 |
| KR20170048863A (ko) | 2015-10-27 | 2017-05-10 | (주)쓰리알컨텐츠 | 증강현실을 통한 스토리북 애니메이션 제공시스템 및 그 방법 |
| KR20170082907A (ko) * | 2016-01-07 | 2017-07-17 | 한국전자통신연구원 | 프로젝션 기반 증강현실 제공장치 및 그 방법 |
| KR101853006B1 (ko) * | 2016-12-19 | 2018-04-30 | 동의대학교 산학협력단 | 깊이영상에서 코 검출을 이용한 얼굴 인식 |
| KR20180088886A (ko) | 2015-12-02 | 2018-08-07 | 데바 엔터테인먼트 리미티드 | 증강 현실 환경을 생성하기 위한 디바이스를 제어하는 방법 |
-
2018
- 2018-10-10 KR KR1020180120564A patent/KR101949103B1/ko active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120044783A (ko) * | 2010-10-28 | 2012-05-08 | 주식회사 세바비드코어 | 프로젝터를 이용한 터치 스크린 장치 및 그 터치 스크린 장치의 터치 위치 검출방법 |
| US20130181972A1 (en) * | 2012-01-16 | 2013-07-18 | Autodesk, Inc. | Three dimensional contriver tool for modeling with multi-touch devices |
| KR20150011559A (ko) * | 2013-07-23 | 2015-02-02 | (주)셀빅 | 단일의 모션센서를 이용한 다중 플레이어 게임 제공 방법 |
| KR20160013451A (ko) | 2014-07-25 | 2016-02-04 | 한상선 | 증강현실 애플리케이션을 접목한 제품현시시스템 |
| KR20160068186A (ko) * | 2014-12-05 | 2016-06-15 | 주식회사 서머너즈엔터테인먼트 | 증강 현실 컨텐츠 제공 장치 및 방법 |
| KR20160084583A (ko) * | 2015-01-06 | 2016-07-14 | 주식회사 인디고엔터테인먼트 | 인터랙티브 증강현실 구현 시스템 및 방법 |
| KR20170048863A (ko) | 2015-10-27 | 2017-05-10 | (주)쓰리알컨텐츠 | 증강현실을 통한 스토리북 애니메이션 제공시스템 및 그 방법 |
| KR20180088886A (ko) | 2015-12-02 | 2018-08-07 | 데바 엔터테인먼트 리미티드 | 증강 현실 환경을 생성하기 위한 디바이스를 제어하는 방법 |
| KR20170082907A (ko) * | 2016-01-07 | 2017-07-17 | 한국전자통신연구원 | 프로젝션 기반 증강현실 제공장치 및 그 방법 |
| KR101682626B1 (ko) | 2016-06-20 | 2016-12-06 | (주)라온스퀘어 | 인터랙티브 콘텐츠 제공 시스템 및 방법 |
| KR101853006B1 (ko) * | 2016-12-19 | 2018-04-30 | 동의대학교 산학협력단 | 깊이영상에서 코 검출을 이용한 얼굴 인식 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112328075A (zh) * | 2020-11-03 | 2021-02-05 | 上海镱可思多媒体科技有限公司 | 三维空间绘画方法、系统、终端以及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9619104B2 (en) | Interactive input system having a 3D input space | |
| US10192364B2 (en) | Augmented reality product preview | |
| US9652895B2 (en) | Augmented reality image transformation | |
| KR101423536B1 (ko) | 인쇄매체 기반 혼합현실 구현 장치 및 방법 | |
| EP2410401B1 (en) | Method for selection of an object in a virtual environment | |
| TWI654539B (zh) | 虛擬實境交互方法、裝置與系統 | |
| CN101031866B (zh) | 交互式系统和方法 | |
| US20150123966A1 (en) | Interactive augmented virtual reality and perceptual computing platform | |
| WO2013028279A1 (en) | Use of association of an object detected in an image to obtain information to display to a user | |
| US20120249762A1 (en) | Interactive input system having a 3d input space | |
| US20210081104A1 (en) | Electronic apparatus and controlling method thereof | |
| CN110308832A (zh) | 显示控制设备及其控制方法和存储介质 | |
| KR101949103B1 (ko) | 오프라인 스케치 콘텐츠의 3d 동적 활성화 방법 및 3d 동적 활성화 시스템 | |
| WO2016031254A1 (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
| KR101743888B1 (ko) | 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치 및 컴퓨터 구현 방법 | |
| US20240185546A1 (en) | Interactive reality computing experience using multi-layer projections to create an illusion of depth | |
| CN109461203B (zh) | 手势三维图像生成方法、装置、计算机设备及存储介质 | |
| US20230334791A1 (en) | Interactive reality computing experience using multi-layer projections to create an illusion of depth | |
| US20230334790A1 (en) | Interactive reality computing experience using optical lenticular multi-perspective simulation | |
| KR101986210B1 (ko) | 스마트종이를 이용한 pdf 문서 기반의 3d객체 제어 및 멀티미디어 구현을 위한 시스템 | |
| KR20110136040A (ko) | 사용자 시선 기반 증강현실 기능이 구비된 단말 | |
| KR20140078083A (ko) | 증강 현실이 구현된 만화책 | |
| KR102412992B1 (ko) | 레이저 센서를 이용한 인터렉티브 전시 영상 구현 시스템 | |
| US20230082420A1 (en) | Display of digital media content on physical surface | |
| Letellier et al. | Providing adittional content to print media using augmented reality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20181010 |
|
| PA0201 | Request for examination | ||
| PA0302 | Request for accelerated examination |
Patent event date: 20181011 Patent event code: PA03022R01D Comment text: Request for Accelerated Examination Patent event date: 20181010 Patent event code: PA03021R01I Comment text: Patent Application |
|
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20181204 Patent event code: PE09021S01D |
|
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20190209 |
|
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20190211 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20190211 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20220114 Start annual number: 4 End annual number: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20221226 Start annual number: 5 End annual number: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20240109 Start annual number: 6 End annual number: 6 |
|
| PR1001 | Payment of annual fee |
Payment date: 20250106 Start annual number: 7 End annual number: 7 |