KR102649670B1 - 실감형 콘텐츠 제공 시스템 및 그 방법 - Google Patents

실감형 콘텐츠 제공 시스템 및 그 방법 Download PDF

Info

Publication number
KR102649670B1
KR102649670B1 KR1020230114450A KR20230114450A KR102649670B1 KR 102649670 B1 KR102649670 B1 KR 102649670B1 KR 1020230114450 A KR1020230114450 A KR 1020230114450A KR 20230114450 A KR20230114450 A KR 20230114450A KR 102649670 B1 KR102649670 B1 KR 102649670B1
Authority
KR
South Korea
Prior art keywords
arco
image
area
preset
markers
Prior art date
Application number
KR1020230114450A
Other languages
English (en)
Inventor
박희찬
Original Assignee
(주)코드쓰리
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)코드쓰리 filed Critical (주)코드쓰리
Application granted granted Critical
Publication of KR102649670B1 publication Critical patent/KR102649670B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 실감형 콘텐츠 제공 시스템 및 그 방법을 개시한다. 즉, 본 발명은 복수의 아르코 마커와 객체가 인쇄된 도안에서 사용자 입력에 따른 해당 객체에 대한 채색을 포함하는 용지를 촬영하여 영상을 획득하고, 획득된 영상에 포함된 복수의 아르코 마커를 근거로 미리 설정된 추출 영역을 확인하고, 확인된 추출 영역을 변환하여 해당 채색된 객체를 포함하는 사각형의 이미지를 추출하고, 추출된 사각형의 이미지를 3D 그래픽용 텍스처 이미지 파일로 저장한 후 3D 오브젝트에 매핑하고, 매핑된 3D 오브젝트를 빔 프로젝터를 통해 해당 용지를 촬영한 지점에 투사한 후, 매핑된 3D 오브젝트를 해당 지점부터 미리 설정된 위치로 이동하도록 투사함으로써, 콘텐츠에 대한 흥미를 유발하고, 이용하는 사용자의 몰입도를 높일 수 있다.

Description

실감형 콘텐츠 제공 시스템 및 그 방법{System for providing immersive contents and method thereof}
본 발명은 실감형 콘텐츠 제공 시스템 및 그 방법에 관한 것으로서, 특히 복수의 아르코 마커와 객체가 인쇄된 도안에서 사용자 입력에 따른 해당 객체에 대한 채색을 포함하는 용지를 촬영하여 영상을 획득하고, 획득된 영상에 포함된 복수의 아르코 마커를 근거로 미리 설정된 추출 영역을 확인하고, 확인된 추출 영역을 변환하여 해당 채색된 객체를 포함하는 사각형의 이미지를 추출하고, 추출된 사각형의 이미지를 3D 그래픽용 텍스처 이미지 파일로 저장한 후 3D 오브젝트에 매핑하고, 매핑된 3D 오브젝트를 빔 프로젝터를 통해 해당 용지를 촬영한 지점에 투사한 후, 매핑된 3D 오브젝트를 해당 지점부터 미리 설정된 위치로 이동하도록 투사하는 실감형 콘텐츠 제공 시스템 및 그 방법에 관한 것이다.
인간은 양안에 구현된 영상의 차이에 의해 원근감을 느끼며 입체감을 느낀다.
이때, 원근감과 입체감의 경우, 2차원 콘텐츠에서는 적용이 어려우며, 3D 콘텐츠의 경우 입체 안경 등을 이용해서 입체감을 체험하거나, 3차원 디스플레이 장치를 이용한 스테레오스코픽 영상 재생을 통해 입체감을 체험할 수 있다.
이러한 3차원 디스플레이 장치를 통한 입체감 체험의 경우, 장시간 시청 시, 눈의 피로감과 불편함이 증가한다.
한국등록특허 제10-1551492호 [제목: 입체 동화상 처리 장치 및 방법 그리고 프로그램]
본 발명의 목적은 복수의 아르코 마커와 객체가 인쇄된 도안에서 사용자 입력에 따른 해당 객체에 대한 채색을 포함하는 용지를 촬영하여 영상을 획득하고, 획득된 영상에 포함된 복수의 아르코 마커를 근거로 미리 설정된 추출 영역을 확인하고, 확인된 추출 영역을 변환하여 해당 채색된 객체를 포함하는 사각형의 이미지를 추출하고, 추출된 사각형의 이미지를 3D 그래픽용 텍스처 이미지 파일로 저장한 후 3D 오브젝트에 매핑하고, 매핑된 3D 오브젝트를 빔 프로젝터를 통해 해당 용지를 촬영한 지점에 투사한 후, 매핑된 3D 오브젝트를 해당 지점부터 미리 설정된 위치로 이동하도록 투사하는 실감형 콘텐츠 제공 시스템 및 그 방법을 제공하는 데 있다.
본 발명의 다른 목적은 복수의 다른 아르코 마커가 인쇄된 도안에서 사용자 입력에 따른 특정 객체와 해당 특정 객체에 대한 채색을 포함하는 용지를 촬영하여 영상을 획득하고, 획득된 영상에 포함된 복수의 다른 아르코 마커를 근거로 미리 설정된 추출 영역을 확인하고, 확인된 추출 영역을 변환하여 해당 채색된 특정 객체를 포함하는 사각형의 이미지를 추출하고, 추출된 사각형의 이미지에 포함된 특정 객체의 종류를 확인하고, 미리 저장된 복수의 객체별 3D 오브젝트 중에서 상기 확인된 특정 객체의 종류에 대응하는 3D 오브젝트를 확인하고, 추출된 사각형의 이미지를 3D 그래픽용 텍스처 이미지 파일로 저장한 후 3D 오브젝트에 매핑하고, 매핑된 3D 오브젝트를 빔 프로젝터를 통해 해당 용지를 촬영한 지점에 투사한 후, 매핑된 3D 오브젝트를 해당 지점부터 미리 설정된 위치로 이동하도록 투사하는 실감형 콘텐츠 제공 시스템 및 그 방법을 제공하는 데 있다.
본 발명의 실시예에 따른 실감형 콘텐츠 제공 시스템은 복수의 아르코 마커와 사용자 입력에 따라 채색된 객체를 포함하는 용지를 촬영하여 영상 정보를 획득하는 카메라부; 및 상기 획득된 영상 정보에 포함된 복수의 아르코 마커를 근거로 미리 설정된 추출 영역을 확인하고, 상기 획득된 영상에서 확인된 추출 영역을 변환하여, 상기 채색된 객체를 포함하는 사각형의 이미지를 추출하고, 상기 추출된 사각형의 이미지를 3D 그래픽용 텍스처 이미지 파일로 저장하고, 3D 오브젝트에 매핑하고, 상기 매핑된 3D 오브젝트를 빔 프로젝터를 통해, 상기 용지를 촬영한 지점에 투사하고, 상기 용지에 투사되는 3D 오브젝트를 상기 지점부터 미리 설정된 위치로 이동하도록 상기 3D 오브젝트를 연속으로 투사하는 제어부를 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 복수의 아르코 마커는, 미리 설정된 영역을 구성하는 복수의 위치에 서로 다른 정보를 포함하는 아르코 마커로 구성되며, 상기 영역의 제 1 위치에 구성된 제 1 아르코 마커는 도안의 그림 종류에 대한 정보를 포함하고, 상기 영역의 제 2 위치에 구성된 제 2 아르코 마커는 해당 영역의 미리 설정된 방향을 파악하기 위한 정보를 포함하고, 상기 영역의 제 3 위치에 구성된 제 3 아르코 마커는 도안 고유 번호에 대한 정보를 포함하고, 상기 영역의 제 4 위치에 구성된 제 4 아르코 마커는 다른 도안 고유 번호에 대한 정보를 포함할 수 있다.
본 발명의 실시예에 따른 실감형 콘텐츠 제공 방법은 카메라부에 의해, 복수의 아르코 마커와 사용자 입력에 따라 채색된 객체를 포함하는 용지를 촬영하여 영상 정보를 획득하는 단계; 제어부에 의해, 상기 획득된 영상 정보에 포함된 복수의 아르코 마커를 근거로 미리 설정된 추출 영역을 확인하는 단계; 상기 제어부에 의해, 상기 획득된 영상에서 확인된 추출 영역을 변환하여, 상기 채색된 객체를 포함하는 사각형의 이미지를 추출하는 단계; 상기 제어부에 의해, 상기 추출된 사각형의 이미지를 3D 그래픽용 텍스처 이미지 파일로 저장하고, 3D 오브젝트에 매핑하는 단계; 상기 제어부에 의해, 상기 매핑된 3D 오브젝트를 빔 프로젝터를 통해, 상기 용지를 촬영한 지점에 투사하는 단계; 및 상기 제어부에 의해, 상기 빔 프로젝터와 연동하여, 상기 용지에 투사되는 3D 오브젝트를 상기 지점부터 미리 설정된 위치로 이동하도록 상기 3D 오브젝트를 연속으로 투사하는 단계를 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 미리 설정된 추출 영역을 확인하는 단계는, OpenCV 아르코 마커 인식기 통해, 상기 획득된 영상 정보에 포함된 복수의 아르코 마커를 인식하는 과정; 상기 인식된 복수의 아르코 마커에 대해서 상기 복수의 아르코 마커의 위치를 해석하여, 상기 복수의 아르코 마커를 정렬하는 과정; 및 상기 정렬된 복수의 아르코 마커를 미리 설정된 순서대로 연결하여, 상기 추출 영역을 확인하는 과정을 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 채색된 객체를 포함하는 사각형의 이미지를 추출하는 단계는, 상기 확인된 추출 영역을 OpenCV을 이용해서 트랜스폼 변환하여, 상기 채색된 객체를 포함하는 사각형의 이미지를 추출할 수 있다.
본 발명과 관련된 일 예로서 상기 추출된 사각형의 이미지를 3D 그래픽용 텍스처 이미지 파일로 저장하고, 3D 오브젝트에 매핑하는 단계는, 상기 인식된 복수의 아르코 마커 중에서 미리 설정된 도안의 그림 종류를 나타내는 특정 아르코 마커를 근거로 상기 추출된 사각형의 이미지를 3D 그래픽용 텍스처 이미지 파일로 저장하는 과정; 및 도안의 그림 종류와 관련한 3D 오브젝트에 상기 추출된 사각형의 이미지를 매핑하는 과정을 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 용지를 촬영한 지점에 투사하는 단계는, 상기 카메라부에서 촬영하는 촬영 영역에 대한 정보를 근거로 상기 용지 내에 포함된 객체의 위치를 확인하는 과정; 및 상기 확인된 해당 용지 내에 포함된 객체의 위치에 상기 매핑된 3D 오브젝트를 상기 빔 프로젝터를 통해 투사하는 과정을 포함할 수 있다.
본 발명과 관련된 일 예로서 센서부에 의해 미리 설정된 사용자의 동작이 감지될 때, 상기 제어부에 의해, 상기 빔 프로젝터를 통해 상기 감지된 동작에 대응하여 미리 설정된 애니메이션 효과를 상기 투사 중인 3D 오브젝트에 적용하여 투사하는 단계를 더 포함할 수 있다.
본 발명의 실시예에 따른 실감형 콘텐츠 제공 방법은 카메라부에 의해, 복수의 다른 아르코 마커와 사용자 입력에 따라 그려지고 채색된 특정 객체를 포함하는 다른 용지를 촬영하여 다른 영상 정보를 획득하는 단계; 제어부에 의해, 상기 획득된 다른 영상 정보에 포함된 복수의 다른 아르코 마커를 근거로 미리 설정된 다른 추출 영역을 확인하는 단계; 상기 제어부에 의해, 상기 획득된 다른 영상에서 확인된 다른 추출 영역을 변환하여, 상기 채색된 특정 객체를 포함하는 사각형의 이미지를 추출하는 단계; 상기 제어부에 의해, 상기 추출된 사각형의 이미지에 포함된 특정 객체의 종류를 확인하는 단계; 상기 제어부에 의해, 저장부에 미리 저장된 복수의 객체별 3D 오브젝트 중에서 상기 확인된 특정 객체의 종류에 대응하는 3D 오브젝트를 확인하는 단계; 상기 제어부에 의해, 상기 추출된 사각형의 이미지를 3D 그래픽용 텍스처 이미지 파일로 저장하고, 3D 오브젝트에 매핑하는 단계; 상기 제어부에 의해, 상기 매핑된 3D 오브젝트를 빔 프로젝터를 통해, 상기 다른 용지를 촬영한 지점에 투사하는 단계; 및 상기 제어부에 의해, 상기 빔 프로젝터와 연동하여, 상기 다른 용지에 투사되는 3D 오브젝트를 상기 지점부터 미리 설정된 위치로 이동하도록 상기 3D 오브젝트를 연속으로 투사하는 단계를 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 추출된 사각형의 이미지에 포함된 특정 객체의 종류를 확인하는 단계는, 영상 분석 기능 또는 인공지능에 의한 학습 기능을 통해 상기 추출된 사각형의 이미지에 포함된 특정 객체의 종류를 확인할 수 있다.
본 발명은 복수의 아르코 마커와 객체가 인쇄된 도안에서 사용자 입력에 따른 해당 객체에 대한 채색을 포함하는 용지를 촬영하여 영상을 획득하고, 획득된 영상에 포함된 복수의 아르코 마커를 근거로 미리 설정된 추출 영역을 확인하고, 확인된 추출 영역을 변환하여 해당 채색된 객체를 포함하는 사각형의 이미지를 추출하고, 추출된 사각형의 이미지를 3D 그래픽용 텍스처 이미지 파일로 저장한 후 3D 오브젝트에 매핑하고, 매핑된 3D 오브젝트를 빔 프로젝터를 통해 해당 용지를 촬영한 지점에 투사한 후, 매핑된 3D 오브젝트를 해당 지점부터 미리 설정된 위치로 이동하도록 투사함으로써, 콘텐츠에 대한 흥미를 유발하고, 이용하는 사용자의 몰입도를 높일 수 있는 효과가 있다.
또한, 본 발명은 복수의 다른 아르코 마커가 인쇄된 도안에서 사용자 입력에 따른 특정 객체와 해당 특정 객체에 대한 채색을 포함하는 용지를 촬영하여 영상을 획득하고, 획득된 영상에 포함된 복수의 다른 아르코 마커를 근거로 미리 설정된 추출 영역을 확인하고, 확인된 추출 영역을 변환하여 해당 채색된 특정 객체를 포함하는 사각형의 이미지를 추출하고, 추출된 사각형의 이미지에 포함된 특정 객체의 종류를 확인하고, 미리 저장된 복수의 객체별 3D 오브젝트 중에서 상기 확인된 특정 객체의 종류에 대응하는 3D 오브젝트를 확인하고, 추출된 사각형의 이미지를 3D 그래픽용 텍스처 이미지 파일로 저장한 후 3D 오브젝트에 매핑하고, 매핑된 3D 오브젝트를 빔 프로젝터를 통해 해당 용지를 촬영한 지점에 투사한 후, 매핑된 3D 오브젝트를 해당 지점부터 미리 설정된 위치로 이동하도록 투사함으로써, 콘텐츠에 대한 관심을 높일 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 실감형 콘텐츠 제공 시스템의 구성을 나타낸 블록도이다.
도 2는 본 발명의 실시예에 따른 단말의 구성을 나타낸 블록도이다.
도 3은 본 발명의 실시예에 따른 복수의 아르코 마커가 형성된 용지의 예를 나타낸 도이다.
도 4는 본 발명의 제 1 실시예에 따른 실감형 콘텐츠 제공 방법을 나타낸 흐름도이다.
도 5 내지 도 14는 본 발명의 실시예에 따른 3D 오브젝트에 대한 영상 처리 과정의 예를 나타낸 도이다.
도 15는 본 발명의 제 2 실시예에 따른 실감형 콘텐츠 제공 방법을 나타낸 흐름도이다.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
도 1은 본 발명의 실시예에 따른 실감형 콘텐츠 제공 시스템(10)의 구성을 나타낸 블록도이다.
도 1에 도시한 바와 같이, 실감형 콘텐츠 제공 시스템(10)은 단말(100) 및 빔 프로젝터(200)로 구성된다. 도 1에 도시된 실감형 콘텐츠 제공 시스템(10)의 구성 요소 모두가 필수 구성 요소인 것은 아니며, 도 1에 도시된 구성 요소보다 많은 구성 요소에 의해 실감형 콘텐츠 제공 시스템(10)이 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 실감형 콘텐츠 제공 시스템(10)이 구현될 수도 있다.
상기 단말(100)은 스마트 폰(Smart Phone), 휴대 단말기(Portable Terminal), 이동 단말기(Mobile Terminal), 폴더블 단말기(Foldable Terminal), 개인 정보 단말기(Personal Digital Assistant: PDA), PMP(Portable Multimedia Player) 단말기, 텔레매틱스(Telematics) 단말기, 내비게이션(Navigation) 단말기, 개인용 컴퓨터(Personal Computer), 노트북 컴퓨터, 슬레이트 PC(Slate PC), 태블릿 PC(Tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(Wearable Device, 예를 들어, 워치형 단말기(Smartwatch), 글래스형 단말기(Smart Glass), HMD(Head Mounted Display) 등 포함), 와이브로(Wibro) 단말기, IPTV(Internet Protocol Television) 단말기, 스마트 TV, 디지털방송용 단말기, AVN(Audio Video Navigation) 단말기, A/V(Audio/Video) 시스템, 플렉시블 단말기(Flexible Terminal), 디지털 사이니지 장치 등과 같은 다양한 단말기에 적용될 수 있다.
도 2에 도시한 바와 같이, 상기 단말(100)은 카메라부(110), 통신부(120), 저장부(130), 표시부(140), 음성 출력부(150) 및 제어부(160)로 구성된다. 도 2에 도시된 단말(100)의 구성 요소 모두가 필수 구성 요소인 것은 아니며, 도 2에 도시된 구성 요소보다 많은 구성 요소에 의해 단말(100)이 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 단말(100)이 구현될 수도 있다.
상기 카메라부(또는 촬영부)(110)는 임의의 대상체(예를 들어 용지, 사람, 객체, 개체 등 포함)가 위치하게 될 공간(또는 영역/촬영 영역)을 커버하도록 해당 공간 주변의 측면(또는 벽면), 천장, 바닥 등의 일측에 배치(또는 구성/형성)한다.
또한, 상기 카메라부(110)는 상기 공간 내에 위치하는 대상체의 전면, 후면, 측면, 하면, 상면 등을 포함하는 전면을 촬영할 수 있도록 하나 이상의 이미지 센서(카메라 모듈 또는 카메라)로 구성한다. 이때, 상기 카메라부(110)는 360도 전방향에 대한 영상 정보를 획득할 수 있는 스테레오 카메라, 깊이 카메라 등으로 구성할 수도 있다.
또한, 상기 카메라부(110)는 상기 제어부(160)의 제어에 의해, 해당 카메라부(110)가 위치한 영역(또는 해당 카메라부(110)의 방향에 따른 커버리지 영역)과 관련해서, 하나 이상의 대상체를 포함하는 하나 이상의 영상 정보를 획득(또는 촬영)한다.
즉, 상기 하나 이상의 카메라부(110)는 영상 통화 모드, 촬영 모드, 영상회의 모드 등에서 이미지 센서(카메라 모듈 또는 카메라)에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 즉, 코덱(CODEC)에 따라 상기 이미지 센서에 의해 얻어지는 해당 화상 데이터들을 각 규격에 맞도록 인코딩/디코딩한다. 일 예로, 상기 카메라부(110)는 객체(또는 피사체)를 촬영하고, 그 촬영된 영상(피사체 영상)에 대응하는 비디오 신호를 출력한다.
또한, 상기 카메라부(110)에서 처리된 화상 프레임(또는 영상 정보)은 디지털 비디오 레코더(Digital video recorder: DVR)에 저장되거나, 상기 저장부(130)에 저장되거나, 상기 통신부(120)를 통해 외부 서버 등에 전송될 수 있다.
또한, 상기 카메라부(110)는 프리뷰 항목(또는 뷰파인더 항목)에 표시되는 영상(또는 영상 정보)을 획득(또는 촬영)한다.
또한, 상기 카메라부(110)는 복수의 아르코 마커와 사용자 입력에 따라 채색된 객체(또는 그림)를 포함하는 용지를 촬영하여 영상 정보(또는 영상)를 획득(또는 촬영)한다. 여기서, 상기 카메라부(110)는 상기 빔 프로젝터(200)를 통해 가이드라인 영상이 투사되는 해당 가이드라인 내에 위치한 상기 용지를 촬영하여 영상 정보를 획득할 수도 있다. 이때, 상기 카메라부(110)는 미리 설정된 촬영 영역을 커버할 수 있도록 구성(또는 배치/설치)하며, 해당 촬영 영역 내에 존재하는 용지를 실시간으로 촬영할 수 있다. 또한, 상기 복수의 아르코 마커(Aruco marker)는 미리 설정된 영역을 구성하는 복수의 위치(또는 귀퉁이)에 서로 다른 정보를 포함하는 아르코 마커로 구성되며, 해당 영역의 제 1 위치에 구성된 제 1 아르코 마커는 도안의 그림 종류에 대한 정보를 포함하고, 해당 영역의 제 2 위치에 구성된 제 2 아르코 마커는 해당 영역의 미리 설정된 방향(예를 들어 우상단 방향)을 파악하기 위한 정보를 포함하고, 해당 영역의 제 3 위치에 구성된 제 3 아르코 마커는 해당 도안 고유 번호(예를 들어 1 ~ 100 사이의 고유 번호)에 대한 정보를 포함하고, 해당 영역의 제 4 위치에 구성된 제 4 아르코 마커는 해당 도안 고유 번호(예를 들어 101 ~ 9900 사이의 고유 번호)에 대한 정보를 포함한다. 여기서, 상기 복수의 아르코 마커의 개수는 추출하고자 추출 영역의 형태(예를 들어 삼각형, 사각형, 원형 등 포함)에 따라 설계자의 설계에 의해 다양하게 설정할 수 있다. 또한, 상기 용지는 종이뿐만 아니라, 천, 플라스틱, 나무 등의 다양한 재질로 구성할 수 있으며, 상기 복수의 아르코 마커, 미리 설정된 객체 등이 인쇄된 상태이며, 해당 객체에 대해서 사용자 입력에 따른 해당 객체를 구성하는 복수의 구성요소별로 각각 채색된 상태일 수 있다.
또한, 상기 카메라부(110)는 복수의 다른 아르코 마커와 사용자 입력에 따라 그려지고 채색된 특정 객체를 포함하는 다른 용지를 촬영하여 다른 영상 정보(또는 다른 영상)를 획득(또는 촬영)한다. 여기서, 상기 카메라부(110)는 상기 빔 프로젝터(200)를 통해 가이드라인 영상이 투사되는 해당 가이드라인 내에 위치한 상기 다른 용지를 촬영하여 영상 정보를 획득할 수도 있다. 이때, 상기 카메라부(110)는 미리 설정된 촬영 영역을 커버할 수 있도록 구성(또는 배치/설치)하며, 해당 촬영 영역 내에 존재하는 다른 용지를 실시간으로 촬영할 수 있다. 또한, 상기 복수의 다른 아르코 마커는 미리 설정된 다른 영역을 구성하는 복수의 다른 위치(또는 귀퉁이)에 서로 다른 정보를 포함하는 아르코 마커로 구성되며, 해당 다른 영역의 제 1 위치에 구성된 제 1 아르코 마커는 해당 다른 영역의 미리 설정된 제 1 방향(예를 들어 좌상단 방향/11시 방향)을 파악하기 위한 정보를 포함하고, 해당 다른 영역의 제 2 위치에 구성된 제 2 아르코 마커는 해당 다른 영역의 미리 설정된 제 2 방향(예를 들어 우상단 방향/1시 방향)을 파악하기 위한 정보를 포함하고, 해당 다른 영역의 제 3 위치에 구성된 제 3 아르코 마커는 해당 다른 영역의 미리 설정된 제 3 방향(예를 들어 우하단 방향/5시 방향)을 파악하기 위한 정보를 포함하고, 해당 다른 영역의 제 4 위치에 구성된 제 4 아르코 마커는 해당 다른 영역의 미리 설정된 제 4 방향(예를 들어 좌하단 방향/7시 방향)을 파악하기 위한 정보를 포함한다. 여기서, 상기 복수의 다른 아르코 마커의 개수는 추출하고자 추출 영역의 형태(예를 들어 삼각형, 사각형, 원형 등 포함)에 따라 설계자의 설계에 의해 다양하게 설정할 수 있다. 또한, 상기 다른 용지는 종이뿐만 아니라, 천, 플라스틱, 나무 등의 다양한 재질로 구성할 수 있으며, 상기 복수의 다른 아르코 마커, 사용자가 그린 특정 객체, 해당 특정 객체에 대해서 사용자 입력에 따른 해당 특정 객체를 구성하는 복수의 구성요소별로 각각 채색된 상태일 수 있다.
상기 통신부(120)는 유/무선 통신망을 통해 내부의 임의의 구성 요소 또는 외부의 임의의 적어도 하나의 단말기와 통신 연결한다. 이때, 상기 외부의 임의의 단말기는 상기 빔 프로젝터(200) 등을 포함할 수 있다. 여기서, 무선 인터넷 기술로는 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 등이 있으며, 상기 통신부(120)는 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다. 또한, 근거리 통신 기술로는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등이 포함될 수 있다. 또한, 유선 통신 기술로는 전력선 통신(Power Line Communication: PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등이 포함될 수 있다.
또한, 상기 통신부(120)는 유니버설 시리얼 버스(Universal Serial Bus: USB)를 통해 임의의 단말과 정보를 상호 전송할 수 있다.
또한, 상기 통신부(120)는 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국, 상기 빔 프로젝터(200) 등과 무선 신호를 송수신한다.
또한, 상기 통신부(120)는 상기 제어부(160)의 제어에 의해, 상기 빔 프로젝터(200)로 3D 콘텐츠 등을 전송한다.
상기 저장부(130)는 다양한 사용자 인터페이스(User Interface: UI), 그래픽 사용자 인터페이스(Graphic User Interface: GUI) 등을 저장한다.
또한, 상기 저장부(130)는 상기 단말(100)이 동작하는데 필요한 데이터와 프로그램 등을 저장한다.
즉, 상기 저장부(130)는 상기 단말(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 단말(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한, 이러한 응용 프로그램 중 적어도 일부는 단말(100)의 기본적인 기능을 위하여 출고 당시부터 단말(100) 상에 존재할 수 있다. 한편, 응용 프로그램은 상기 저장부(130)에 저장되고, 단말(100)에 설치되어, 제어부(160)에 의하여 상기 단말(100)의 동작(또는 기능)을 수행하도록 구동될 수 있다.
또한, 상기 저장부(130)는 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), 자기 메모리, 자기 디스크, 광디스크, 램(Random Access Memory: RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory: ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 중 적어도 하나의 저장매체를 포함할 수 있다. 또한, 단말(100)은 인터넷(internet)상에서 저장부(130)의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영하거나, 또는 상기 웹 스토리지와 관련되어 동작할 수도 있다.
또한, 상기 저장부(130)는 상기 제어부(160)의 제어에 의해 상기 3D 콘텐츠 등을 저장한다.
상기 표시부(140)는 상기 제어부(160)의 제어에 의해 상기 저장부(130)에 저장된 사용자 인터페이스 및/또는 그래픽 사용자 인터페이스를 이용하여 다양한 메뉴 화면 등과 같은 다양한 콘텐츠를 표시할 수 있다. 여기서, 상기 표시부(140)에 표시되는 콘텐츠는 다양한 텍스트 또는 이미지 데이터(각종 정보 데이터 포함)와 아이콘, 리스트 메뉴, 콤보 박스 등의 데이터를 포함하는 메뉴 화면 등을 포함한다. 또한, 상기 표시부(140)는 터치 스크린 일 수 있다.
또한, 상기 표시부(140)는 액정 디스플레이(Liquid Crystal Display: LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display: TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode: OLED), 플렉시블 디스플레이(Flexible Display), 3차원 디스플레이(3D Display), 전자잉크 디스플레이(e-ink display), LED(Light Emitting Diode) 중에서 적어도 하나를 포함할 수 있다.
또한, 상기 표시부(140)는 상기 제어부(160)의 제어에 의해 상기 3D 콘텐츠 등을 표시한다.
상기 음성 출력부(150)는 상기 제어부(160)에 의해 소정 신호 처리된 신호에 포함된 음성 정보를 출력한다. 여기서, 상기 음성 출력부(150)에는 리시버(receiver), 스피커(speaker), 버저(buzzer) 등이 포함될 수 있다.
또한, 상기 음성 출력부(150)는 상기 제어부(160)에 의해 생성된 안내 음성을 출력한다.
또한, 상기 음성 출력부(150)는 상기 제어부(160)의 제어에 의해 상기 3D 콘텐츠 등에 대응하는 음성 정보(또는 음향 효과)를 출력한다.
상기 제어부(controller, 또는 MCU(microcontroller unit)(160)는 상기 단말(100)의 전반적인 제어 기능을 실행한다.
또한, 상기 제어부(160)는 상기 저장부(130)에 저장된 프로그램 및 데이터를 이용하여 단말(100)의 전반적인 제어 기능을 실행한다. 상기 제어부(160)는 RAM, ROM, CPU, GPU, 버스를 포함할 수 있으며, RAM, ROM, CPU, GPU 등은 버스를 통해 서로 연결될 수 있다. CPU는 상기 저장부(130)에 액세스하여, 상기 저장부(130)에 저장된 O/S를 이용하여 부팅을 수행할 수 있으며, 상기 저장부(130)에 저장된 각종 프로그램, 콘텐츠, 데이터 등을 이용하여 다양한 동작을 수행할 수 있다.
또한, 상기 제어부(160)는 3D 콘텐츠(또는 3차원 콘텐츠)를 생성하기 위해 서버(미도시) 등으로부터 제공되는 전용 앱인 3차원 그래픽스 콘텐츠 장면 저작 도구(scene authoring tool)를 해당 단말(100)에 설치한다.
또한, 상기 제어부(160)는 상기 단말(100)에 설치된 3차원 그래픽스 콘텐츠 장면 저작 도구를 이용해서 사용자 입력(또는 사용자 선택/터치/제어)에 따라 깊이감 있는 공간에 배치된 객체(또는 오브젝트)와 관련해서 3D 오브젝트(또는 해당 3D 오브젝트를 포함하는 3D 콘텐츠)를 생성한다. 여기서, 상기 3D 콘텐츠(또는 실감형 콘텐츠/이미지)는 깊이감(또는 원근감)이 있는 공간(또는 3D 공간)에 해당 단말(100)의 사용자 설정(또는 설계/선택/제어)에 따른 깊이감(또는 깊이감 정도)이 각각 설정된 복수의 3D 오브젝트(또는 하나 이상의 3D 오브젝트)를 포함(또는 구성)한다.
즉, 상기 제어부(160)는 상기 3차원 그래픽스 콘텐츠 장면 저작 도구(또는 해당 단말(100)에 미리 설치된 전용 앱/전용 툴)을 이용해서, 해당 단말(100)의 사용자 입력(또는 사용자 선택/터치/제어)에 따라 하나 이상의 3D 콘텐츠 객체(또는 오브젝트)를 상기 표시부(140)에 표시되는 장면(또는 깊이감 있는 공간) 내의 임의의 위치에 배치(또는 구성/형성)한다. 이때, 상기 장면 내의 임의의 위치에 배치되는 3D 객체(또는 3D 오브젝트)는 개별 오브젝트에 각각 설정된 깊이감(또는 3차원의 깊이감 정도/깊이감 정보)에 따라 미리 설정된 기준면을 기준으로 해당 개별 오브젝트의 크기, 선명도 등에 의한 원근감이 적용된 상태일 수 있다.
또한, 상기 제어부(160)는 상기 배치된 해당 깊이감이 각각 설정된 복수의 3D 오브젝트(또는 해당 복수의 3D 오브젝트를 포함하는 상기 3D 콘텐츠)를 생성한다.
또한, 상기 제어부(160)는 상기 생성된 3D 오브젝트(또는 해당 3D 오브젝트를 포함하는 3D 콘텐츠), 해당 단말(100)의 식별 정보 등을 상기 통신부(120)를 통해 상기 빔 프로젝터(200)에 전송한다. 여기서, 상기 단말(100)의 식별 정보는 MDN(Mobile Directory Number), 모바일 IP, 모바일 MAC, Sim(subscriber identity module: 가입자 식별 모듈) 카드 고유정보, 시리얼번호 등을 포함한다.
본 발명의 실시예에서 설명하는 용지에 인쇄된(또는 그려진/배치된/설치된/부착된) 복수의 아르코 마커(Aruco Marker)는 다음과 같은 구조로 구성(또는 형성)한다.
즉, 도 3에 도시된 바와 같이, 상기 복수의 아르코 마커는 해당 용지의 미리 설정된 영역을 구성하는 복수의 위치(또는 귀퉁이)에 서로 다른 정보를 포함하도록 구성한다.
또한, 상기 도 3에 도시된 바와 같이, 해당 영역의 제 1 위치에 구성된 제 1 아르코 마커는 도안의 그림 종류에 대한 정보를 포함한다. 여기서, 상기 제 1 위치는 좌상단 방향(또는 좌상단 위치/11시 방향)에 대응하는 위치일 수 있다.
예를 들어, 해당 제 1 아르코 마커가 11을 포함하면, 무당벌레 도안으로, 무당벌레 3D 모델(또는 3D 오브젝트)에 매핑이 구분된 상태일 수 있다.
또한, 상기 도 3에 도시된 바와 같이, 해당 영역의 제 2 위치에 구성된 제 2 아르코 마커는 해당 영역의 미리 설정된 방향(예를 들어 우상단 방향)을 파악하기 위한 정보를 포함하며, 미리 설정된 고정된 고정 번호(예를 들어 99번)를 포함한다. 여기서, 상기 제 2 위치는 우상단 방향(또는 우상단 위치/1시 방향)에 대응하는 위치일 수 있다.
또한, 상기 도 3에 도시된 바와 같이, 해당 영역의 제 3 위치에 구성된 제 3 아르코 마커는 해당 도안 고유 번호(예를 들어 1 ~ 100 사이의 고유 번호)에 대한 정보를 포함하며, 미리 설정된 고정된 다른 번호를 포함한다. 여기서, 상기 제 3 위치는 우하단 방향(또는 우하단 위치/5시 방향)에 대응하는 위치일 수 있다.
또한, 상기 도 3에 도시된 바와 같이, 해당 영역의 제 4 위치에 구성된 제 4 아르코 마커는 해당 도안 고유 번호(예를 들어 101 ~ 9900 사이의 고유 번호)에 대한 정보를 포함하며, 미리 설정된 고정된 또 다른 번호를 포함한다. 여기서, 상기 제 4 위치는 좌하단 방향(또는 좌하단 위치/7시 방향)에 대응하는 위치일 수 있다.
이와 같이, 아래 2개의 도안으로 각 도안은 10000개의 구분 번호를 가지므로, 무작위 부여시 대부분의 사용자는 중복없이 자신의 그림에 대해 고유 번호를 가지며, 스캔한 이미지의 소유자를 구분이 가능할 수 있다.
본 발명의 실시예에서는, 사각형의 꼭짓점에 각각 배치된 4개의 아르코 마커에 대해서 주로 설명하고 있으나, 이에 한정되는 것은 아니며, 상기 복수의 아르코 마커의 개수는 추출하고자 추출 영역의 형태(예를 들어 삼각형, 사각형, 원형 등 포함)에 따라 설계자의 설계에 의해 다양하게 설정할 수 있다.
이와 같이, 상기 아르코 마커는 스캔 인식(또는 촬영)되는 방향을 구분하기 위해서 사용된다.
또한, 상기 아르코 마커의 형상은 왜곡된 캠 영상에서 직사각형(또는 사각형)의 정렬된 도안 이미지를 추출하는 용도로 사용한다.
또한, 상기 복수의 아르코 마커 중 일부는 도안의 종류를 인식하는데 사용되고, 다른 일부는 각 도안 인쇄물의 고유번호를 인식하는데 사용된다.
또한, 상기 복수의 아르코 마커가 인쇄된 용지에서, 각 도안 인쇄물에 고유번호를 부여함으로써, 사용자의 장난(abusing)을 막고, 작품별로 고유하게 해당 객체를 인식할 수 있다.
또한, 상기 제어부(160)는 상기 빔 프로젝터(200)와 연동하여, 상기 카메라부(110)를 통해 용지, 다른 용지 등을 촬영할 수 있는 미리 설정된 촬영 영역(또는 스캔 위치/영역)에 대한 가이드라인, 가이드라인에 대한 설명 등을 포함하는 가이드 영상을 투사(또는 출력/표시)한다.
즉, 상기 제어부(160)는 상기 빔 프로젝터(200)와 연동하여, 상기 촬영 영역 내에 위치하는 용지, 다른 용지 등을 상기 카메라부(110)를 통해 정상적으로 촬영할 수 있도록, 해당 용지, 다른 용지 등이 위치할 일면에 상기 가이드 영상을 투사(또는 출력/표시)한다.
또한, 상기 제어부(160)는 상기 획득된 영상 정보에 포함된 복수의 아르코 마커를 근거로 미리 설정된 추출 영역을 확인한다.
즉, 상기 제어부(160)는 해당 단말(100)에 미리 설치된 OpenCV 아르코 마커 인식기(미도시)를 통해, 상기 획득된 영상 정보에 포함된 복수의 아르코 마커를 인식한다.
또한, 상기 제어부(160)는 상기 인식된 복수의 아르코 마커에 대해서 해당 복수의 아르코 마커의 위치를 해석하여, 해당 복수의 아르코 마커를 정렬한다. 이때, 상기 제어부(160)는 상기 획득된 영상 정보에 포함된 복수의 아르코 마커가 굴곡 등으로 인해서 왜곡된 상태인 경우, 해당 복수의 아르코 마커의 위치를 해석하여, 해당 복수의 아르코 마커를 동일 평면상에 위치하도록 정렬할 수 있다.
또한, 상기 제어부(160)는 상기 정렬된 복수의 아르코 마커를 미리 설정된 순서대로 연결하여, 상기 추출 영역을 확인한다. 이때, 상기 추출 영역은 삼각형, 사각형, 원형 등으로 구성될 수 있다.
또한, 상기 제어부(160)는 상기 획득된 영상에서 확인된 추출 영역을 변환하여, 해당 채색된 객체를 포함하는 사각형의 이미지(또는 해당 추출 영역에 대응하는 형태의 이미지)를 추출한다.
즉, 상기 제어부(160)는 상기 확인된 추출 영역을 OpenCV을 이용해서 트랜스폼 변환하여, 해당 채색된 객체를 포함하는 사각형의 이미지(또는 해당 추출 영역에 대응하는 형태의 이미지)를 추출한다.
또한, 상기 제어부(160)는 상기 추출된 사각형의 이미지(또는 해당 채색된 객체를 포함하는 사각형의 이미지/해당 추출 영역에 대응하는 형태의 이미지)를 3D 그래픽용 텍스처 이미지 파일로 저장하고, 3D 오브젝트에 매핑(또는 적용/반영)한다.
즉, 상기 제어부(160)는 상기 인식된 복수의 아르코 마커 중에서 미리 설정된 도안의 그림 종류를 나타내는 특정 아르코 마커를 근거로 상기 추출된 사각형의 이미지(또는 해당 추출 영역에 대응하는 형태의 이미지)를 3D 그래픽용 텍스처 이미지 파일로 저장한 후, 해당 도안의 그림 종류와 관련한 3D 오브젝트(또는 해당 채색된 객체에 대응하는 3D 오브젝트)에 상기 추출된 사각형의 이미지(또는 해당 채색된 객체를 포함하는 사각형의 이미지/해당 추출 영역에 대응하는 형태의 이미지)를 매핑한다. 이때, 상기 제어부(160)는 해당 객체를 구성하는 복수의 구성요소별로 각각 채색된 상태의 객체를 근거로 해당 도안의 그림 종류와 관련한 3D 오브젝트를 구성하는 복수의 구성요소별로 각각 채색 상태를 설정(또는 매핑)할 수 있다.
또한, 상기 제어부(160)는 상기 매핑된 3D 오브젝트(또는 해당 객체에 대응하는 3D 오브젝트/해당 3D 오브젝트를 포함하는 실감형 콘텐츠/3D 콘텐츠)를 빔 프로젝터(200)를 통해, 해당 용지를 촬영한 지점(또는 해당 용지 내에서 객체가 위치한 지점/위치)에 투사(또는 투영/출력/표시)한다.
즉, 상기 제어부(160)는 상기 빔 프로젝터(200)와 연동하여, 해당 카메라부(110)에서 촬영하는 촬영 영역에 대한 정보(예를 들어 좌표 정보 등 포함)를 근거로 해당 용지 내에 포함된 객체의 위치를 확인(또는 특정)하고, 상기 확인된 해당 용지 내에 포함된 객체의 위치에 상기 매핑된 3D 오브젝트(또는 해당 객체에 대응하는 3D 오브젝트)를 투사한다.
또한, 상기 제어부(160)는 상기 빔 프로젝터(200)와 연동하여, 해당 용지에 투사되는 3D 오브젝트를 해당 지점부터 미리 설정된 위치(또는 해당 빔 프로젝터(200)가 투사할 수 있는 영역 중에서 랜덤하게 선택되는 위치)로 이동하도록 해당 3D 오브젝트를 연속으로 투사한다. 이때, 상기 제어부(160)는 상기 용지에서부터 비평면 또는 평면의 대형 구조의 스크린(또는 벽면 등 포함)(미도시)에 상기 3D 오브젝트를 연속하여 투사한다. 여기서, 상기 3D 오브젝트(또는 해당 3D 오브젝트를 포함하는 실감형 콘텐츠/3D 콘텐츠)는 해당 제어부(160)의 제어에 의해, 애니메이션 효과 등이 적용된 상태일 수 있다.
또한, 제어부(160)는 상기 획득된 다른 영상 정보에 포함된 복수의 다른 아르코 마커를 근거로 미리 설정된 다른 추출 영역을 확인한다.
즉, 상기 제어부(160)는 해당 단말(100)에 미리 설치된 OpenCV 아르코 마커 인식기(미도시)를 통해, 상기 획득된 다른 영상 정보에 포함된 복수의 다른 아르코 마커를 인식한다.
또한, 상기 제어부(160)는 상기 인식된 복수의 다른 아르코 마커에 대해서 해당 복수의 다른 아르코 마커의 위치를 해석하여, 해당 복수의 다른 아르코 마커를 정렬한다. 이때, 상기 제어부(160)는 상기 획득된 다른 영상 정보에 포함된 복수의 다른 아르코 마커가 굴곡 등으로 인해서 왜곡된 상태인 경우, 해당 복수의 다른 아르코 마커의 위치를 해석하여, 해당 복수의 다른 아르코 마커를 동일 평면상에 위치하도록 정렬할 수 있다.
또한, 상기 제어부(160)는 상기 정렬된 복수의 다른 아르코 마커를 미리 설정된 순서대로 연결하여, 상기 다른 추출 영역을 확인한다. 이때, 상기 다른 추출 영역은 삼각형, 사각형, 원형 등으로 구성될 수 있다.
또한, 상기 제어부(160)는 상기 획득된 다른 영상에서 확인된 다른 추출 영역을 변환하여, 해당 채색된 특정 객체를 포함하는 사각형의 이미지(또는 해당 다른 추출 영역에 대응하는 형태의 이미지)를 추출한다.
즉, 상기 제어부(160)는 상기 확인된 다른 추출 영역을 OpenCV을 이용해서 트랜스폼 변환하여, 해당 채색된 특정 객체를 포함하는 사각형의 이미지(또는 해당 다른 추출 영역에 대응하는 형태의 이미지)를 추출한다.
또한, 상기 제어부(160)는 상기 추출된 사각형의 이미지에 포함된 특정 객체의 종류를 확인한다.
즉, 상기 제어부(160)는 영상 분석 기능을 통해 해당 추출된 사각형의 이미지에서 사용자가 그린 특정 객체의 종류를 확인한다. 이때, 상기 제어부(160)는 기계 학습을 통한 인공지능(또는 기계 학습)을 통해서, 상기 추출된 사각형의 이미지에 포함된 특정 객체의 종류를 확인할 수도 있다.
또한, 상기 제어부(160)는 저장부(130)에 미리 저장된 복수의 객체별 3D 오브젝트 중에서 상기 확인된 특정 객체의 종류에 대응하는 3D 오브젝트를 확인(또는 검색)한다.
즉, 상기 확인 결과, 상기 추출된 사각형의 이미지에 포함된 특정 객체의 종류가 확인되는 경우, 상기 제어부(160)는 상기 저장부(130)에 미리 저장된 복수의 객체별 3D 오브젝트 중에서 상기 확인된 특정 객체의 종류에 대응하는 3D 오브젝트를 확인(또는 검색)한다.
또한, 상기 확인 결과, 해당 추출된 사각형의 이미지에 포함된 특정 객체의 종류가 확인되지 않는 경우(또는 해당 이미지에 포함된 특정 객체의 종류를 인식할 수 없는 경우), 상기 제어부(160)는 사용자 입력에 따라 새롭게 객체를 그리고, 새롭게 그린 객체에 대한 채색을 완료하도록 안내/유도하기 위해서, 해당 다른 용지에 포함된 특정 객체의 종류 확인이 불가함을 나타내는 정보를 표시부(140) 및/또는 음성 출력부(150)를 통해 출력한다.
이에 따라, 상기 제어부(160)는 사용자 입력에 따라 새로운 용지를 통해서 사용자가 새로 그린 객체와 해당 객체에 대해서 채색된 상태의 새로운 영상 정보를 상기 카메라부(110)를 통해 획득하고, 획득된 새로운 영상 정보를 통해서 추출 영역 확인 및 확인된 추출 영역 내에 존재하는 새롭게 그린 객체의 종류를 확인하는 과정을 반복 수행할 수 있다.
또한, 상기 제어부(160)는 상기 추출된 사각형의 이미지(또는 해당 추출된 사각형의 이미지 내에 포함된 특정 객체)를 3D 그래픽용 텍스처 이미지 파일로 저장하고, 3D 오브젝트에 매핑(또는 적용/반영)한다.
즉, 상기 제어부(160)는 상기 추출된 사각형의 이미지(또는 해당 추출된 사각형의 이미지 내에 포함된 특정 객체)를 3D 그래픽용 텍스처 이미지 파일로 저장한 후, 상기 추출된 사각형의 이미지(또는 해당 추출된 사각형의 이미지 내에 포함된 특정 객체)를 상기 확인된 특정 객체의 종류에 대응하는 3D 오브젝트(또는 해당 특정 객체에 대응하는 3D 오브젝트)에 매핑(또는 적용/반영)한다. 이때, 상기 제어부(160)는 해당 특정 객체를 구성하는 복수의 구성요소별로 각각 채색된 상태의 특정 객체를 근거로 해당 3D 오브젝트를 구성하는 복수의 구성요소별로 각각 채색 상태를 설정(또는 매핑)할 수 있다.
또한, 상기 제어부(160)는 상기 매핑된 3D 오브젝트(또는 해당 특정 객체에 대응하는 3D 오브젝트/해당 3D 오브젝트를 포함하는 실감형 콘텐츠/3D 콘텐츠)를 빔 프로젝터(200)를 통해, 해당 다른 용지를 촬영한 지점(또는 해당 다른 용지 내에서 특정 객체가 위치한 지점/위치)에 투사(또는 출력/표시)한다.
즉, 상기 제어부(160)는 상기 빔 프로젝터(200)와 연동하여, 해당 카메라부(110)에서 촬영하는 촬영 영역에 대한 정보(예를 들어 좌표 정보 등 포함)를 근거로 해당 다른 용지 내에 포함된 특정 객체의 위치를 확인(또는 특정)하고, 상기 확인된 해당 다른 용지 내에 포함된 특정 객체의 위치에 상기 매핑된 3D 오브젝트(또는 해당 특정 객체에 대응하는 3D 오브젝트)를 투사한다.
또한, 상기 제어부(160)는 상기 빔 프로젝터(200)와 연동하여, 해당 다른 용지에 투사되는 3D 오브젝트를 해당 지점부터 미리 설정된 위치(또는 해당 빔 프로젝터(200)가 투사할 수 있는 영역 중에서 랜덤하게 선택되는 위치)로 이동하도록 해당 3D 오브젝트를 연속으로 투사한다. 이때, 상기 제어부(160)는 상기 다른 용지에서부터 비평면 또는 평면의 대형 구조의 스크린(또는 벽면 등 포함)(미도시)에 상기 3D 오브젝트를 연속하여 투사한다. 여기서, 상기 3D 오브젝트(또는 해당 3D 오브젝트를 포함하는 실감형 콘텐츠/3D 콘텐츠)는 해당 제어부(160)의 제어에 의해, 애니메이션 효과 등이 적용된 상태일 수 있다.
이와 같이, 상기 제어부(160)는 기존 스캔 장치와 콘텐츠가 분리되어, 자신이 스캔한 그림을 콘텐츠에서 찾아야 하는 불편함을 해소하여, 스캔 영역(또는 촬영된 영상 정보)과 콘텐츠가 혼합되어 자신이 스캔한(또는 촬영한/추출한) 그림이 콘텐츠에 연결되어 투사될 수 있다.
또한, 상기 제어부(160)는 상기 카메라부(110)를 통해 획득되는 사용자를 포함하는 영상 정보에서 해당 사용자를 추출하고, 상기 추출된 사용자를 3D 오브젝트로 변환한 후, 상기 변환된 사용자의 3D 오브젝트와 상기 용지(또는 다른 용지)로부터 추출된 객체(또는 특정 객체)에 대응하는 3D 오브젝트를 포함하는 실감형 콘텐츠(또는 3D 콘텐츠)를 생성하고, 상기 사용자의 3D 오브젝트와 상기 객체(또는 특정 객체)에 대응하는 3D 오브젝트를 포함하는 실감형 콘텐츠(또는 3D 콘텐츠)를 상기 빔 프로젝터(200)를 통해 투사할 수도 있다.
예를 들어, 상기 제어부(160)는 상기 사용자의 3D 오브젝트 주변으로 상기 객체(또는 특정 객체)에 대응하는 3D 오브젝트가 이동하는(또는 날아가는/움직이는) 실감형 콘텐츠(또는 3D 콘텐츠)를 생성하고, 상기 생성된 실감형 콘텐츠(또는 3D 콘텐츠)를 상기 빔 프로젝터(200)를 통해 투사한다.
또한, 상기 제어부(160)는 상기 3D 오브젝트(또는 해당 3D 오브젝트를 포함하는 실감형 콘텐츠/3D 콘텐츠)를 사용자 입력(또는 사용자 선택/터치/제어)에 따른 이메일 주소로 전송하는 기능, 문자 메시지 형태로 전송하는 기능, 해당 사용자와 관련한 소셜 네트워크 서비스의 계정에 등록하는 기능 등을 수행하여, 해당 3D 오브젝트(또는 해당 3D 오브젝트를 포함하는 실감형 콘텐츠/3D 콘텐츠)를 공유할 수 있다.
본 발명의 실시예에서는, 상기 제어부(160)에서 상기 획득된 영상 정보 내에서 추출되는 이미지(또는 해당 이미지에 포함된 객체)에 대응하는 3D 오브젝트를 해당 빔 프로젝터(200)를 통해 투사하는 것을 주로 설명하고 있으나, 이에 한정되는 것은 아니며, 상기 제어부(160)는 상기 추출되는 이미지에 대응하는 3D 오브젝트와 해당 저장부(130)에 미리 저장된 복수의 시나리오 중 해당 3D 오브젝트와 관련한 특정 시나리오를 선택하고, 상기 선택된 특정 시나리오에 상기 3D 오브젝트를 적용한 실감형 콘텐츠(또는 3D 콘텐츠)를 생성하고, 상기 생성된 실감형 콘텐츠(또는 3D 콘텐츠)를 상기 빔 프로젝터(200)를 통해 투사할 수도 있다.
또한, 상기 단말(100)에 포함된 센서부(미도시)(또는 상기 카메라부(110))에 의해 미리 설정된 사용자의 동작(또는 움직임)이 감지되는 경우, 상기 제어부(160)는 상기 빔 프로젝터(200)와 연동하여, 해당 감지된 동작에 대응하여 미리 설정된 애니메이션 효과를 상기 투사 중인 3D 오브젝트(또는 해당 3D 오브젝트를 포함하는 실감형/3D 콘텐츠)에 적용하여 투사(또는 표시/출력)한다. 여기서, 상기 미리 설정된 사용자의 동작은 사용자의 손이 시계 방향(또는 반시계 방향)으로 원을 그리는 움직임(또는 회전하는 움직임), 사용자가 위/아래 방향(또는 상/하 방향, 좌/우 방향/대각선 방향)으로의 움직임, 사용자가 미리 설정된 시간 이내에 미리 설정된 각도 이상으로의 좌/우로의 기울임 등을 포함한다. 또한, 상기 미리 설정된 애니메이션 효과는 해당 사용자의 손의 시계/반시계 방향으로 원을 그리는 움직임에 대응하여 불꽃이 터지는 애니메이션 효과, 사용자가 위/아래 방향으로의 움직임에 대응하여 해당 스크린에 투사되는 3D 오브젝트에 형광 테두리 적용 애니메이션 효과, 사용자가 미리 설정된 시간 이내에 미리 설정된 각도 이상으로의 좌/우로의 기울임에 대응하여 해당 투사되는 3D 오브젝트 주변에 조명 애니메이션 효과 등을 포함한다.
여기서, 상기 센서부는 해당 센서부가 위치한 전면, 후면, 측면 등에 위치한 객체(또는 사용자)의 움직임을 감지하는 동작 인식 센서(Motion Recognition Sensor)를 포함한다. 여기서, 상기 동작 인식 센서는 물체의 움직임이나 위치를 인식하는 센서, 지자기 센서(Geomagnetism Sensor), 가속도 센서(Acceleration Sensor), 자이로 센서(Gyro Sensor), 관성 센서(Inertial Sensor), 고도계(Altimeter), 진동 센서, 레이저 거리 센서(Lidar Sensor) 등의 센서를 포함하며, 동작 인식에 관련된 센서들이 추가로 포함될 수 있다.
또한, 상기 센서부는 해당 스크린(또는 상기 카메라부(1100) 주변에 위치한 사용자를 감지(또는 확인)한다.
또한, 해당 스크린 주변에 위치한 사용자가 감지(또는 확인)되는 경우, 상기 센서부는 미리 설정된 사용자의 동작(또는 움직임)을 감지한다. 이때, 상기 미리 설정된 사용자의 동작은 사용자의 손이 시계 방향(또는 반시계 방향)으로 원을 그리는 움직임(또는 회전하는 움직임), 사용자가 위/아래 방향(또는 상/하 방향, 좌/우 방향/대각선 방향)으로의 움직임, 사용자가 미리 설정된 시간 이내에 미리 설정된 각도 이상으로의 좌/우로의 기울임 등을 포함한다. 여기서, 상기 감지되는 정보들(예를 들어 원을 그리는 움직임, 위/아래 방향, 상/하 방향, 좌/우 방향, 대각선 방향으로의 움직임, 좌/우로의 기울임 등 포함)은 디지털 신호 처리 과정을 통해 디지털화되어, 상기 디지털화된 정보들이 상기 제어부(160)에 전달된다.
상기 빔 프로젝터(200)는 상기 단말(100) 등과 통신한다. 여기서, 상기 빔 프로젝터(200)는 공연, 학회 등을 위한 다양한 장소에 설치(또는 배치)한다.
또한, 상기 빔 프로젝터(200)는 상기 단말(100)을 구성하는 상기 카메라부(110), 상기 통신부(120), 상기 저장부(130), 상기 표시부(140), 상기 음성 출력부(150), 상기 제어부(160)에 대응하는 각 구성 요소를 포함하여 구성할 수 있다.
또한, 상기 빔 프로젝터(200)는 상기 단말(100)로부터 전송되는 3D 오브젝트(또는 3D 콘텐츠/실감형 콘텐츠), 상기 단말(100)의 식별 정보 등을 수신한다.
또한, 상기 빔 프로젝터(200)는 상기 단말(100)의 제어에 의해(또는 상기 단말(100)과 연동하여), 상기 수신된 3D 오브젝트(또는 3D 콘텐츠/실감형 콘텐츠)를 비평면 또는 평면의 대형 구조의 스크린(또는 벽면 등 포함)(미도시)에 투사(또는 출력/표시)한다.
또한, 상기 빔 프로젝터(200)는 상기 단말(100)의 제어에 의해, 상기 용지(또는 다른 용지)에서 인식된 객체(또는 특정 객체)가 위치한 지점(또는 위치)부터 미리 설정된 위치까지 해당 객체(또는 특정 객체)가 연속적으로 움직이는(또는 이동하는) 3D 오브젝트(또는 3D 콘텐츠/실감형 콘텐츠)를 투사한다.
또한, 상기 단말(100)에 포함된 센서부(미도시)에 의해 미리 설정된 사용자의 동작(또는 움직임)이 감지되는 경우, 상기 빔 프로젝터(200)는 상기 단말(100)과 연동하여, 해당 감지된 동작에 대응하여 미리 설정된 애니메이션 효과를 상기 스크린에 투사 중인 3D 오브젝트(또는 3D 콘텐츠/실감형 콘텐츠)에 적용하여 투사(또는 표시/출력)한다. 여기서, 상기 미리 설정된 사용자의 동작은 사용자의 손이 시계 방향(또는 반시계 방향)으로 원을 그리는 움직임(또는 회전하는 움직임), 사용자가 위/아래 방향(또는 상/하 방향, 좌/우 방향/대각선 방향)으로의 움직임, 사용자가 미리 설정된 시간 이내에 미리 설정된 각도 이상으로의 좌/우로의 기울임 등을 포함한다. 또한, 상기 미리 설정된 애니메이션 효과는 해당 사용자의 손의 시계/반시계 방향으로 원을 그리는 움직임에 대응하여 불꽃이 터지는 애니메이션 효과, 사용자가 위/아래 방향으로의 움직임에 대응하여 해당 스크린에 투사되는 3D 오브젝트에 형광 테두리 적용 애니메이션 효과, 사용자가 미리 설정된 시간 이내에 미리 설정된 각도 이상으로의 좌/우로의 기울임에 대응하여 해당 투사되는 3D 오브젝트 주변에 조명 애니메이션 효과 등을 포함한다.
본 발명의 실시예에서는 상기 단말(100) 및 상기 빔 프로젝터(200)를 분리된 구성으로 주로 설명하고 있으나, 이에 한정되는 것은 아니며, 상기 단말(100) 및 상기 빔 프로젝터(200)는 일체형으로 구성할 수도 있다. 이때, 상기 빔 프로젝터(200)가 상기 단말(100)에 구성된 구성 요소들을 모두 포함하도록 구성할 수 있다.
이와 같이, 복수의 아르코 마커와 객체가 인쇄된 도안에서 사용자 입력에 따른 해당 객체에 대한 채색을 포함하는 용지를 촬영하여 영상을 획득하고, 획득된 영상에 포함된 복수의 아르코 마커를 근거로 미리 설정된 추출 영역을 확인하고, 확인된 추출 영역을 변환하여 해당 채색된 객체를 포함하는 사각형의 이미지를 추출하고, 추출된 사각형의 이미지를 3D 그래픽용 텍스처 이미지 파일로 저장한 후 3D 오브젝트에 매핑하고, 매핑된 3D 오브젝트를 빔 프로젝터를 통해 해당 용지를 촬영한 지점에 투사한 후, 매핑된 3D 오브젝트를 해당 지점부터 미리 설정된 위치로 이동하도록 투사할 수 있다.
또한, 이와 같이, 복수의 다른 아르코 마커가 인쇄된 도안에서 사용자 입력에 따른 특정 객체와 해당 특정 객체에 대한 채색을 포함하는 용지를 촬영하여 영상을 획득하고, 획득된 영상에 포함된 복수의 다른 아르코 마커를 근거로 미리 설정된 추출 영역을 확인하고, 확인된 추출 영역을 변환하여 해당 채색된 특정 객체를 포함하는 사각형의 이미지를 추출하고, 추출된 사각형의 이미지에 포함된 특정 객체의 종류를 확인하고, 미리 저장된 복수의 객체별 3D 오브젝트 중에서 상기 확인된 특정 객체의 종류에 대응하는 3D 오브젝트를 확인하고, 추출된 사각형의 이미지를 3D 그래픽용 텍스처 이미지 파일로 저장한 후 3D 오브젝트에 매핑하고, 매핑된 3D 오브젝트를 빔 프로젝터를 통해 해당 용지를 촬영한 지점에 투사한 후, 매핑된 3D 오브젝트를 해당 지점부터 미리 설정된 위치로 이동하도록 투사할 수 있다.
이하에서는, 본 발명에 따른 실감형 콘텐츠 제공 방법을 도 1 내지 도 15를 참조하여 상세히 설명한다.
도 4는 본 발명의 제 1 실시예에 따른 실감형 콘텐츠 제공 방법을 나타낸 흐름도이다.
먼저, 제어부(160)는 빔 프로젝터(200)와 연동하여, 카메라부(110)를 통해 용지를 촬영할 수 있는 미리 설정된 촬영 영역(또는 스캔 위치/영역)에 대한 가이드라인, 가이드라인에 대한 설명 등을 포함하는 가이드 영상을 투사(또는 출력/표시)한다.
즉, 상기 제어부(160)는 상기 빔 프로젝터(200)와 연동하여, 상기 촬영 영역 내에 위치하는 용지를 상기 카메라부(110)를 통해 정상적으로 촬영할 수 있도록, 해당 용지가 위치할 일면에 상기 가이드 영상을 투사(또는 출력/표시)한다.
일 예로, 도 4에 도시된 바와 같이, 제 1 제어부(160)는 상기 빔 프로젝터(200)를 통해 가이드라인, 가이드라인에 대한 설명(예를 들어 색칠한 그림을 사각형 위치에 놓으세요) 등을 포함하는 제 1 가이드 영상을 책상 일면에 투사한다(S410).
이후, 상기 카메라부(110)는 복수의 아르코 마커와 사용자 입력에 따라 채색된 객체를 포함하는 용지를 촬영하여 영상 정보(또는 영상)를 획득(또는 촬영)한다. 여기서, 상기 카메라부(110)는 상기 가이드라인 영상이 투사되는 해당 가이드라인 내에 위치한 상기 용지를 촬영하여 영상 정보를 획득할 수도 있다. 이때, 상기 카메라부(110)는 미리 설정된 촬영 영역을 커버할 수 있도록 구성(또는 배치/설치)하며, 해당 촬영 영역 내에 존재하는 용지를 실시간으로 촬영할 수 있다. 또한, 상기 복수의 아르코 마커(Aruco marker)는 미리 설정된 영역을 구성하는 복수의 위치(또는 귀퉁이)에 서로 다른 정보를 포함하는 아르코 마커로 구성되며, 해당 영역의 제 1 위치에 구성된 제 1 아르코 마커는 도안의 그림 종류에 대한 정보를 포함하고, 해당 영역의 제 2 위치에 구성된 제 2 아르코 마커는 해당 영역의 미리 설정된 방향(예를 들어 우상단 방향)을 파악하기 위한 정보를 포함하고, 해당 영역의 제 3 위치에 구성된 제 3 아르코 마커는 해당 도안 고유 번호(예를 들어 1 ~ 100 사이의 고유 번호)에 대한 정보를 포함하고, 해당 영역의 제 4 위치에 구성된 제 4 아르코 마커는 해당 도안 고유 번호(예를 들어 101 ~ 9900 사이의 고유 번호)에 대한 정보를 포함한다. 여기서, 상기 복수의 아르코 마커의 개수는 추출하고자 추출 영역의 형태(예를 들어 삼각형, 사각형, 원형 등 포함)에 따라 설계자의 설계에 의해 다양하게 설정할 수 있다. 또한, 상기 용지는 종이뿐만 아니라, 천, 플라스틱, 나무 등의 다양한 재질로 구성할 수 있으며, 상기 복수의 아르코 마커, 미리 설정된 객체 등이 인쇄된 상태이며, 해당 객체에 대해서 사용자 입력에 따른 해당 객체를 구성하는 복수의 구성요소별로 각각 채색된 상태일 수 있다.
일 예로, 도 6에 도시된 바와 같이, 제 1 카메라부(110)는 제 1 아르코 마커 내지 제 4 아르코 마커와, 사용자 입력에 따라 제 1 객체인 무당벌레를 구성하는 복수의 구성요소별로 각각 채색된 제 1 객체를 포함하는 제 1 용지를 촬영하여 제 1 영상 정보(600)를 획득한다(S420).
이후, 상기 제어부(160)는 상기 획득된 영상 정보에 포함된 복수의 아르코 마커를 근거로 미리 설정된 추출 영역을 확인한다.
즉, 상기 제어부(160)는 해당 단말(100)에 미리 설치된 OpenCV 아르코 마커 인식기(미도시)를 통해, 상기 획득된 영상 정보에 포함된 복수의 아르코 마커를 인식한다.
또한, 상기 제어부(160)는 상기 인식된 복수의 아르코 마커에 대해서 해당 복수의 아르코 마커의 위치를 해석하여, 해당 복수의 아르코 마커를 정렬한다. 이때, 상기 제어부(160)는 상기 획득된 영상 정보에 포함된 복수의 아르코 마커가 굴곡 등으로 인해서 왜곡된 상태인 경우, 해당 복수의 아르코 마커의 위치를 해석하여, 해당 복수의 아르코 마커를 동일 평면상에 위치하도록 정렬할 수 있다.
또한, 상기 제어부(160)는 상기 정렬된 복수의 아르코 마커를 미리 설정된 순서대로 연결하여, 상기 추출 영역을 확인한다. 이때, 상기 추출 영역은 삼각형, 사각형, 원형 등으로 구성될 수 있다.
일 예로, 도 7에 도시된 바와 같이, 상기 제 1 제어부는 상기 OpenCV 아르코 마커 인식기(미도시)를 통해, 상기 획득된 제 1 영상 정보(600)에 포함된 제 1 아르코 마커(710) 내지 제 4 아르코 마커(740)를 각각 인식한다.
또한, 도 8에 도시된 바와 같이, 상기 제 1 제어부는 상기 인식된 제 1 아르코 마커(710) 내지 제 4 아르코 마커(740)의 위치를 해석하여, 해당 제 1 아르코 마커(710) 내지 제 4 아르코 마커(740)의 위치를 정렬한다.
또한, 도 9에 도시된 바와 같이, 상기 제 1 제어부는 상기 정렬된 제 1 아르코 마커(710)와 상기 제 2 아르코 마커(720)를 연결하고, 상기 제 2 아르코 마커(720)와 상기 제 3 아르코 마커(730)를 연결하고, 상기 제 3 아르코 마커(730)와 상기 제 4 아르코 마커(740)를 연결하고, 상기 제 4 아르코 마커(740)와 상기 제 1 아르코 마커(710)를 연결하여, 사각형 형태의 제 1 추출 영역(900)을 확인한다(S430).
이후, 상기 제어부(160)는 상기 획득된 영상에서 확인된 추출 영역을 변환하여, 해당 채색된 객체를 포함하는 사각형의 이미지(또는 해당 추출 영역에 대응하는 형태의 이미지)를 추출한다.
즉, 상기 제어부(160)는 상기 확인된 추출 영역을 OpenCV을 이용해서 트랜스폼 변환하여, 해당 채색된 객체를 포함하는 사각형의 이미지(또는 해당 추출 영역에 대응하는 형태의 이미지)를 추출한다.
일 예로, 도 10에 도시된 바와 같이, 상기 제 1 제어부는 상기 확인된 제 1 추출 영역(900)을 OpenCV을 이용해서 트랜스폼 변환하여, 복수의 구성요소별로 각각 채색된 제 1 객체인 무당벌레를 포함하는 사각형 형태의 제 1 이미지(1000)를 추출한다(S440).
이후, 상기 제어부(160)는 상기 추출된 사각형의 이미지(또는 해당 채색된 객체를 포함하는 사각형의 이미지/해당 추출 영역에 대응하는 형태의 이미지)를 3D 그래픽용 텍스처 이미지 파일로 저장하고, 3D 오브젝트에 매핑(또는 적용/반영)한다.
즉, 상기 제어부(160)는 상기 인식된 복수의 아르코 마커 중에서 미리 설정된 도안의 그림 종류를 나타내는 특정 아르코 마커를 근거로 상기 추출된 사각형의 이미지(또는 해당 추출 영역에 대응하는 형태의 이미지)를 3D 그래픽용 텍스처 이미지 파일로 저장한 후, 해당 도안의 그림 종류와 관련한 3D 오브젝트(또는 해당 채색된 객체에 대응하는 3D 오브젝트)에 상기 추출된 사각형의 이미지(또는 해당 채색된 객체를 포함하는 사각형의 이미지/해당 추출 영역에 대응하는 형태의 이미지)를 매핑한다. 이때, 상기 제어부(160)는 해당 객체를 구성하는 복수의 구성요소별로 각각 채색된 상태의 객체를 근거로 해당 도안의 그림 종류와 관련한 3D 오브젝트를 구성하는 복수의 구성요소별로 각각 채색 상태를 설정(또는 매핑)할 수 있다.
일 예로, 도 11에 도시된 바와 같이, 상기 제 1 제어부는 상기 인식된 제 1 아르코 마커를 근거로 해당 도안에 도시된 객체가 무당벌레인 것을 확인하고, 상기 추출된 제 1 객체인 무당벌레를 포함하는 제 1 이미지(1000)를 3D 그래픽용 텍스처 이미지 파일로 저장하고, 해당 제 1 제어부에서 관리 중인 복수의 3D 오브젝트 중에서 상기 무당벌레에 대응하는 제 1 3D 오브젝트(1100)에 상기 제 1 이미지(1000)를 매핑한다(S450).
이후, 상기 제어부(160)는 상기 매핑된 3D 오브젝트(또는 해당 객체에 대응하는 3D 오브젝트/해당 3D 오브젝트를 포함하는 실감형 콘텐츠/3D 콘텐츠)를 빔 프로젝터(200)를 통해, 해당 용지를 촬영한 지점(또는 해당 용지 내에서 객체가 위치한 지점/위치)에 투사(또는 출력/표시)한다.
즉, 상기 제어부(160)는 상기 빔 프로젝터(200)와 연동하여, 해당 카메라부(110)에서 촬영하는 촬영 영역에 대한 정보(예를 들어 좌표 정보 등 포함)를 근거로 해당 용지 내에 포함된 객체의 위치를 확인(또는 특정)하고, 상기 확인된 해당 용지 내에 포함된 객체의 위치에 상기 매핑된 3D 오브젝트(또는 해당 객체에 대응하는 3D 오브젝트)를 투사한다.
일 예로, 상기 제 1 제어부는 상기 제 1 카메라부에서 상기 제 1 영상 정보를 획득한 지점에 대한 정보를 근거로 상기 제 1 용지 내에서 무당벌레가 위치한 제 1 위치 정보를 확인하고, 도 12에 도시된 바와 같이, 상기 빔 프로젝터(200)를 통해 상기 확인된 제 1 위치 정보에 대응하는 제 1 위치에 상기 제 1 3D 오브젝트(1100)를 투사한다(S460).
이후, 상기 제어부(160)는 상기 빔 프로젝터(200)와 연동하여, 해당 용지에 투사되는 3D 오브젝트를 해당 지점부터 미리 설정된 위치(또는 해당 빔 프로젝터(200)가 투사할 수 있는 영역 중에서 랜덤하게 선택되는 위치)로 이동하도록 해당 3D 오브젝트를 연속으로 투사한다. 이때, 상기 제어부(160)는 상기 용지에서부터 비평면 또는 평면의 대형 구조의 스크린(또는 벽면 등 포함)(미도시)에 상기 3D 오브젝트를 연속하여 투사한다. 여기서, 상기 3D 오브젝트(또는 해당 3D 오브젝트를 포함하는 실감형 콘텐츠/3D 콘텐츠)는 해당 제어부(160)의 제어에 의해, 애니메이션 효과 등이 적용된 상태일 수 있다.
일 예로, 도 13 및 도 14에 도시된 바와 같이, 상기 제 1 제어부는 상기 제 1 위치에 투사되는 제 1 3D 오브젝트(1100)에 대해서, 해당 무당벌레가 날아가는 애니메이션 효과를 적용하여, 상기 제 1 위치에서부터 위로 날아가는 형태의 제 1 3D 오브젝트(또는 해당 제 1 3D 오브젝트를 포함하는 실감형 콘텐츠/3D 콘텐츠)를 상기 빔 프로젝터(200)을 통해 투사한다(S470).
도 15는 본 발명의 제 2 실시예에 따른 실감형 콘텐츠 제공 방법을 나타낸 흐름도이다.
먼저, 제어부(160)는 빔 프로젝터(200)와 연동하여, 카메라부(110)를 통해 용지를 촬영할 수 있는 미리 설정된 촬영 영역(또는 스캔 위치/영역)에 대한 가이드라인, 가이드라인에 대한 설명 등을 포함하는 가이드 영상을 투사(또는 출력/표시)한다.
즉, 상기 제어부(160)는 상기 빔 프로젝터(200)와 연동하여, 상기 촬영 영역 내에 위치하는 용지를 상기 카메라부(110)를 통해 정상적으로 촬영할 수 있도록, 해당 용지가 위치할 일면에 상기 가이드 영상을 투사(또는 출력/표시)한다.
일 예로, 제 1 제어부(160)는 상기 빔 프로젝터(200)를 통해 가이드라인, 가이드라인에 대한 설명(예를 들어 색칠한 그림을 사각형 위치에 놓으세요) 등을 포함하는 제 11 가이드 영상을 책상 일면에 투사한다(S1510).
이후, 상기 카메라부(110)는 복수의 다른 아르코 마커와 사용자 입력에 따라 그려지고 채색된 특정 객체를 포함하는 다른 용지를 촬영하여 다른 영상 정보(또는 다른 영상)를 획득(또는 촬영)한다. 여기서, 상기 카메라부(110)는 상기 가이드라인 영상이 투사되는 해당 가이드라인 내에 위치한 상기 다른 용지를 촬영하여 다른 영상 정보를 획득할 수도 있다. 이때, 상기 카메라부(110)는 미리 설정된 촬영 영역을 커버할 수 있도록 구성(또는 배치/설치)하며, 해당 촬영 영역 내에 존재하는 다른 용지를 실시간으로 촬영할 수 있다. 또한, 상기 복수의 다른 아르코 마커는 미리 설정된 다른 영역을 구성하는 복수의 다른 위치(또는 귀퉁이)에 서로 다른 정보를 포함하는 아르코 마커로 구성되며, 해당 다른 영역의 제 1 위치에 구성된 제 1 아르코 마커는 해당 다른 영역의 미리 설정된 제 1 방향(예를 들어 좌상단 방향/11시 방향)을 파악하기 위한 정보를 포함하고, 해당 다른 영역의 제 2 위치에 구성된 제 2 아르코 마커는 해당 다른 영역의 미리 설정된 제 2 방향(예를 들어 우상단 방향/1시 방향)을 파악하기 위한 정보를 포함하고, 해당 다른 영역의 제 3 위치에 구성된 제 3 아르코 마커는 해당 다른 영역의 미리 설정된 제 3 방향(예를 들어 우하단 방향/5시 방향)을 파악하기 위한 정보를 포함하고, 해당 다른 영역의 제 4 위치에 구성된 제 4 아르코 마커는 해당 다른 영역의 미리 설정된 제 4 방향(예를 들어 좌하단 방향/7시 방향)을 파악하기 위한 정보를 포함한다. 여기서, 상기 복수의 다른 아르코 마커의 개수는 추출하고자 추출 영역의 형태(예를 들어 삼각형, 사각형, 원형 등 포함)에 따라 설계자의 설계에 의해 다양하게 설정할 수 있다. 또한, 상기 다른 용지는 종이뿐만 아니라, 천, 플라스틱, 나무 등의 다양한 재질로 구성할 수 있으며, 상기 복수의 다른 아르코 마커, 사용자가 그린 특정 객체, 해당 특정 객체에 대해서 사용자 입력에 따른 해당 특정 객체를 구성하는 복수의 구성요소별로 각각 채색된 상태일 수 있다.
일 예로, 제 1 카메라부(110)는 제 11 아르코 마커 내지 제 14 아르코 마커와, 사용자 입력에 따른 제 11 객체인 호랑나비와, 해당 호랑나비를 구성하는 복수의 구성요소별로 각각 채색된 제 11 객체를 포함하는 제 2 용지를 촬영하여 제 11 영상 정보를 획득한다(S1520).
이후, 상기 제어부(160)는 상기 획득된 다른 영상 정보에 포함된 복수의 다른 아르코 마커를 근거로 미리 설정된 다른 추출 영역을 확인한다.
즉, 상기 제어부(160)는 해당 단말(100)에 미리 설치된 OpenCV 아르코 마커 인식기(미도시)를 통해, 상기 획득된 다른 영상 정보에 포함된 복수의 다른 아르코 마커를 인식한다.
또한, 상기 제어부(160)는 상기 인식된 복수의 다른 아르코 마커에 대해서 해당 복수의 다른 아르코 마커의 위치를 해석하여, 해당 복수의 다른 아르코 마커를 정렬한다. 이때, 상기 제어부(160)는 상기 획득된 다른 영상 정보에 포함된 복수의 다른 아르코 마커가 굴곡 등으로 인해서 왜곡된 상태인 경우, 해당 복수의 다른 아르코 마커의 위치를 해석하여, 해당 복수의 다른 아르코 마커를 동일 평면상에 위치하도록 정렬할 수 있다.
또한, 상기 제어부(160)는 상기 정렬된 복수의 다른 아르코 마커를 미리 설정된 순서대로 연결하여, 상기 다른 추출 영역을 확인한다. 이때, 상기 다른 추출 영역은 삼각형, 사각형, 원형 등으로 구성될 수 있다.
일 예로, 제 1 제어부(160)는 상기 OpenCV 아르코 마커 인식기를 통해, 상기 획득된 제 11 영상 정보에 포함된 제 11 아르코 마커 내지 제 14 아르코 마커를 각각 인식한다.
또한, 상기 제 1 제어부는 상기 인식된 제 11 아르코 마커 내지 제 14 아르코 마커의 위치를 해석하여, 해당 제 11 아르코 마커 내지 제 14 아르코 마커의 위치를 정렬한다.
또한, 상기 제 1 제어부는 상기 정렬된 제 11 아르코 마커와 상기 제 12 아르코 마커를 연결하고, 상기 제 12 아르코 마커와 상기 제 13 아르코 마커를 연결하고, 상기 제 13 아르코 마커와 상기 제 14 아르코 마커를 연결하고, 상기 제 14 아르코 마커와 상기 제 11 아르코 마커를 연결하여, 사각형 형태의 제 11 추출 영역을 확인한다(S1530).
이후, 상기 제어부(160)는 상기 획득된 다른 영상에서 확인된 다른 추출 영역을 변환하여, 해당 채색된 특정 객체를 포함하는 사각형의 이미지(또는 해당 다른 추출 영역에 대응하는 형태의 이미지)를 추출한다.
즉, 상기 제어부(160)는 상기 확인된 다른 추출 영역을 OpenCV을 이용해서 트랜스폼 변환하여, 해당 채색된 특정 객체를 포함하는 사각형의 이미지(또는 해당 다른 추출 영역에 대응하는 형태의 이미지)를 추출한다.
일 예로, 상기 제 1 제어부는 상기 확인된 제 11 추출 영역을 OpenCV을 이용해서 트랜스폼 변환하여, 복수의 구성요소별로 각각 채색된 제 11 객체인 호랑나비를 포함하는 사각형 형태의 제 11 이미지를 추출한다(S1540).
이후, 상기 제어부(160)는 상기 추출된 사각형의 이미지에 포함된 특정 객체의 종류를 확인한다.
즉, 상기 제어부(160)는 영상 분석 기능을 통해 해당 추출된 사각형의 이미지에서 사용자가 그린 특정 객체의 종류를 확인한다. 이때, 상기 제어부(160)는 기계 학습을 통한 인공지능(또는 기계 학습)을 통해서, 상기 추출된 사각형의 이미지에 포함된 특정 객체의 종류를 확인할 수도 있다.
일 예로, 상기 제 1 제어부는 영상 분석 기능을 통해 상기 추출된 제 11 이미지에 포함된 제 11 객체의 종류(예를 들어 호랑나비)를 확인한다(S1550).
이후, 상기 제어부(160)는 저장부(130)에 미리 저장된 복수의 객체별 3D 오브젝트 중에서 상기 확인된 특정 객체의 종류에 대응하는 3D 오브젝트를 확인(또는 검색)한다.
즉, 상기 확인 결과, 상기 추출된 사각형의 이미지에 포함된 특정 객체의 종류가 확인되는 경우, 상기 제어부(160)는 상기 저장부(130)에 미리 저장된 복수의 객체별 3D 오브젝트 중에서 상기 확인된 특정 객체의 종류에 대응하는 3D 오브젝트를 확인(또는 검색)한다.
일 예로, 상기 제 11 이미지에 포함된 제 11 객체의 종류(예를 들어 호랑나비)가 확인될 때, 상기 제 1 제어부는 제 1 저장부(130)에 미리 저장된 복수의 객체별 3D 오브젝트 중에서 상기 확인된 제 11 객체의 종류(예를 들어 호랑나비)에 대응하는 제 11 3D 오브젝트를 확인한다(S1560).
이후, 상기 제어부(160)는 상기 추출된 사각형의 이미지(또는 해당 추출된 사각형의 이미지 내에 포함된 특정 객체)를 3D 그래픽용 텍스처 이미지 파일로 저장하고, 3D 오브젝트에 매핑(또는 적용/반영)한다.
즉, 상기 제어부(160)는 상기 추출된 사각형의 이미지(또는 해당 추출된 사각형의 이미지 내에 포함된 특정 객체)를 3D 그래픽용 텍스처 이미지 파일로 저장한 후, 상기 추출된 사각형의 이미지(또는 해당 추출된 사각형의 이미지 내에 포함된 특정 객체)를 상기 확인된 특정 객체의 종류에 대응하는 3D 오브젝트(또는 해당 특정 객체에 대응하는 3D 오브젝트)에 매핑(또는 적용/반영)한다. 이때, 상기 제어부(160)는 해당 특정 객체를 구성하는 복수의 구성요소별로 각각 채색된 상태의 특정 객체를 근거로 해당 3D 오브젝트를 구성하는 복수의 구성요소별로 각각 채색 상태를 설정(또는 매핑)할 수 있다.
일 예로, 상기 제 1 제어부는 사용자가 그린 제 11 객체가 호랑나비인 것을 확인하고, 상기 추출된 제 11 객체인 호랑나비를 포함하는 제 11 이미지를 3D 그래픽용 텍스처 이미지 파일로 저장하고, 상기 확인된 제 11 객체의 종류(예를 들어 호랑나비)에 대응하는 제 11 3D 오브젝트에 상기 제 11 이미지를 매핑한다(S1570).
이후, 상기 제어부(160)는 상기 매핑된 3D 오브젝트(또는 해당 특정 객체에 대응하는 3D 오브젝트/해당 3D 오브젝트를 포함하는 실감형 콘텐츠/3D 콘텐츠)를 빔 프로젝터(200)를 통해, 해당 다른 용지를 촬영한 지점(또는 해당 다른 용지 내에서 특정 객체가 위치한 지점/위치)에 투사(또는 출력/표시)한다.
즉, 상기 제어부(160)는 상기 빔 프로젝터(200)와 연동하여, 해당 카메라부(110)에서 촬영하는 촬영 영역에 대한 정보(예를 들어 좌표 정보 등 포함)를 근거로 해당 다른 용지 내에 포함된 특정 객체의 위치를 확인(또는 특정)하고, 상기 확인된 해당 다른 용지 내에 포함된 특정 객체의 위치에 상기 매핑된 3D 오브젝트(또는 해당 특정 객체에 대응하는 3D 오브젝트)를 투사한다.
일 예로, 상기 제 1 제어부는 상기 제 1 카메라부에서 상기 제 11 영상 정보를 획득한 지점에 대한 정보를 근거로 상기 제 2 용지 내에서 호랑나비가 위치한 제 11 위치 정보를 확인하고, 상기 빔 프로젝터(200)를 통해 상기 확인된 제 11 위치 정보에 대응하는 제 11 위치에 상기 제 11 3D 오브젝트를 투사한다(S1580).
이후, 상기 제어부(160)는 상기 빔 프로젝터(200)와 연동하여, 해당 다른 용지에 투사되는 3D 오브젝트를 해당 지점부터 미리 설정된 위치(또는 해당 빔 프로젝터(200)가 투사할 수 있는 영역 중에서 랜덤하게 선택되는 위치)로 이동하도록 해당 3D 오브젝트를 연속으로 투사한다. 이때, 상기 제어부(160)는 상기 다른 용지에서부터 비평면 또는 평면의 대형 구조의 스크린(또는 벽면 등 포함)(미도시)에 상기 3D 오브젝트를 연속하여 투사한다. 여기서, 상기 3D 오브젝트(또는 해당 3D 오브젝트를 포함하는 실감형 콘텐츠/3D 콘텐츠)는 해당 제어부(160)의 제어에 의해, 애니메이션 효과 등이 적용된 상태일 수 있다.
일 예로, 상기 제 1 제어부는 상기 제 11 위치에 투사되는 제 11 3D 오브젝트에 대해서, 해당 호랑나비가 날아가는 애니메이션 효과를 적용하여, 상기 제 11 위치에서부터 위로 날아가는 형태의 제 11 3D 오브젝트(또는 해당 제 11 3D 오브젝트를 포함하는 실감형 콘텐츠/3D 콘텐츠)를 상기 빔 프로젝터(200)를 통해 투사한다(S1590).
본 발명의 실시예는 앞서 설명된 바와 같이, 복수의 아르코 마커와 객체가 인쇄된 도안에서 사용자 입력에 따른 해당 객체에 대한 채색을 포함하는 용지를 촬영하여 영상을 획득하고, 획득된 영상에 포함된 복수의 아르코 마커를 근거로 미리 설정된 추출 영역을 확인하고, 확인된 추출 영역을 변환하여 해당 채색된 객체를 포함하는 사각형의 이미지를 추출하고, 추출된 사각형의 이미지를 3D 그래픽용 텍스처 이미지 파일로 저장한 후 3D 오브젝트에 매핑하고, 매핑된 3D 오브젝트를 빔 프로젝터를 통해 해당 용지를 촬영한 지점에 투사한 후, 매핑된 3D 오브젝트를 해당 지점부터 미리 설정된 위치로 이동하도록 투사하여, 콘텐츠에 대한 흥미를 유발하고, 이용하는 사용자의 몰입도를 높일 수 있다.
또한, 본 발명의 실시예는 앞서 설명된 바와 같이, 복수의 다른 아르코 마커가 인쇄된 도안에서 사용자 입력에 따른 특정 객체와 해당 특정 객체에 대한 채색을 포함하는 용지를 촬영하여 영상을 획득하고, 획득된 영상에 포함된 복수의 다른 아르코 마커를 근거로 미리 설정된 추출 영역을 확인하고, 확인된 추출 영역을 변환하여 해당 채색된 특정 객체를 포함하는 사각형의 이미지를 추출하고, 추출된 사각형의 이미지에 포함된 특정 객체의 종류를 확인하고, 미리 저장된 복수의 객체별 3D 오브젝트 중에서 상기 확인된 특정 객체의 종류에 대응하는 3D 오브젝트를 확인하고, 추출된 사각형의 이미지를 3D 그래픽용 텍스처 이미지 파일로 저장한 후 3D 오브젝트에 매핑하고, 매핑된 3D 오브젝트를 빔 프로젝터를 통해 해당 용지를 촬영한 지점에 투사한 후, 매핑된 3D 오브젝트를 해당 지점부터 미리 설정된 위치로 이동하도록 투사하여, 콘텐츠에 대한 관심을 높일 수 있다.
전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10: 실감형 콘텐츠 제공 시스템 100: 단말
200: 빔 프로젝터 110: 카메라부
120: 통신부 130: 저장부
140: 표시부 150: 음성 출력부
160: 제어부

Claims (10)

  1. 복수의 아르코 마커와 사용자 입력에 따라 채색된 객체를 포함하는 용지를 촬영하여 영상 정보를 획득하는 카메라부; 및
    상기 획득된 영상 정보에 포함된 복수의 아르코 마커를 근거로 미리 설정된 추출 영역을 확인하고, 상기 획득된 영상에서 확인된 추출 영역을 변환하여, 상기 채색된 객체를 포함하는 상기 추출 영역에 대응하는 형태의 이미지를 추출하고, 상기 추출된 상기 추출 영역에 대응하는 형태의 이미지를 3D 그래픽용 텍스처 이미지 파일로 저장하고, 3D 오브젝트에 매핑하고, 상기 매핑된 3D 오브젝트를 빔 프로젝터를 통해, 상기 용지를 촬영한 지점에 투사하고, 상기 용지에 투사되는 3D 오브젝트를 상기 지점부터 미리 설정된 위치로 이동하도록 상기 3D 오브젝트를 연속으로 투사하는 제어부를 포함하며,
    상기 카메라부는,
    상기 빔 프로젝터를 통해 가이드라인 및 가이드라인에 대한 설명을 포함하는 가이드라인 영상이 투사되는 상기 가이드라인 내에 위치한 상기 용지를 촬영하여 상기 영상 정보를 획득하며,
    상기 복수의 아르코 마커는,
    미리 설정된 영역을 구성하는 복수의 위치에 서로 다른 정보를 포함하는 아르코 마커로 구성되며, 상기 영역의 제 1 위치에 구성된 제 1 아르코 마커는 도안의 그림 종류에 대한 정보를 포함하고, 상기 영역의 제 2 위치에 구성된 제 2 아르코 마커는 해당 영역의 미리 설정된 방향을 파악하기 위한 정보를 포함하고, 상기 영역의 제 3 위치에 구성된 제 3 아르코 마커는 도안 고유 번호에 대한 정보를 포함하고, 상기 영역의 제 4 위치에 구성된 제 4 아르코 마커는 다른 도안 고유 번호에 대한 정보를 포함하며,
    상기 제어부는,
    상기 확인된 추출 영역을 OpenCV를 이용해서 트랜스폼 변환하여, 상기 채색된 객체를 포함하는 상기 추출 영역에 대응하는 형태의 이미지를 추출하며,
    상기 용지에 투사되는 3D 오브젝트를 상기 지점부터 상기 빔 프로젝터가 투사할 수 있는 영역 중에서 랜덤하게 선택되는 상기 미리 설정된 위치로 이동하도록 상기 3D 오브젝트를 연속으로 투사하는 것을 특징으로 하는 실감형 콘텐츠 제공 시스템.
  2. 삭제
  3. 카메라부에 의해, 복수의 아르코 마커와 사용자 입력에 따라 채색된 객체를 포함하는 용지를 촬영하여 영상 정보를 획득하는 단계;
    제어부에 의해, 상기 획득된 영상 정보에 포함된 복수의 아르코 마커를 근거로 미리 설정된 추출 영역을 확인하는 단계;
    상기 제어부에 의해, 상기 획득된 영상에서 확인된 추출 영역을 OpenCV를 이용해서 트랜스폼 변환하여, 상기 채색된 객체를 포함하는 상기 추출 영역에 대응하는 형태의 이미지를 추출하는 단계;
    상기 제어부에 의해, 상기 추출된 상기 추출 영역에 대응하는 형태의 이미지를 3D 그래픽용 텍스처 이미지 파일로 저장하고, 3D 오브젝트에 매핑하는 단계;
    상기 제어부에 의해, 상기 매핑된 3D 오브젝트를 빔 프로젝터를 통해, 상기 용지를 촬영한 지점에 투사하는 단계; 및
    상기 제어부에 의해, 상기 빔 프로젝터와 연동하여, 상기 용지에 투사되는 3D 오브젝트를 상기 지점부터 상기 빔 프로젝터가 투사할 수 있는 영역 중에서 랜덤하게 선택되는 미리 설정된 위치로 이동하도록 상기 3D 오브젝트를 연속으로 투사하는 단계를 포함하며,
    상기 영상 정보를 획득하는 단계는,
    상기 빔 프로젝터를 통해 가이드라인 및 가이드라인에 대한 설명을 포함하는 가이드라인 영상이 투사되는 상기 가이드라인 내에 위치한 상기 용지를 촬영하여 상기 영상 정보를 획득하며,
    상기 복수의 아르코 마커는,
    미리 설정된 영역을 구성하는 복수의 위치에 서로 다른 정보를 포함하는 아르코 마커로 구성되며, 상기 영역의 제 1 위치에 구성된 제 1 아르코 마커는 도안의 그림 종류에 대한 정보를 포함하고, 상기 영역의 제 2 위치에 구성된 제 2 아르코 마커는 해당 영역의 미리 설정된 방향을 파악하기 위한 정보를 포함하고, 상기 영역의 제 3 위치에 구성된 제 3 아르코 마커는 도안 고유 번호에 대한 정보를 포함하고, 상기 영역의 제 4 위치에 구성된 제 4 아르코 마커는 다른 도안 고유 번호에 대한 정보를 포함하는 것을 특징으로 하는 실감형 콘텐츠 제공 방법.
  4. 제 3 항에 있어서,
    상기 미리 설정된 추출 영역을 확인하는 단계는,
    OpenCV 아르코 마커 인식기 통해, 상기 획득된 영상 정보에 포함된 복수의 아르코 마커를 인식하는 과정;
    상기 인식된 복수의 아르코 마커에 대해서 상기 복수의 아르코 마커의 위치를 해석하여, 상기 복수의 아르코 마커를 정렬하는 과정; 및
    상기 정렬된 복수의 아르코 마커를 미리 설정된 순서대로 연결하여, 상기 추출 영역을 확인하는 과정을 포함하는 것을 특징으로 하는 실감형 콘텐츠 제공 방법.
  5. 삭제
  6. 제 4 항에 있어서,
    상기 추출된 상기 추출 영역에 대응하는 형태의 이미지를 3D 그래픽용 텍스처 이미지 파일로 저장하고, 3D 오브젝트에 매핑하는 단계는,
    상기 인식된 복수의 아르코 마커 중에서 미리 설정된 도안의 그림 종류를 나타내는 특정 아르코 마커를 근거로 상기 추출된 상기 추출 영역에 대응하는 형태의 이미지를 3D 그래픽용 텍스처 이미지 파일로 저장하는 과정; 및
    도안의 그림 종류와 관련한 3D 오브젝트에 상기 추출된 상기 추출 영역에 대응하는 형태의 이미지를 매핑하는 과정을 포함하는 것을 특징으로 하는 실감형 콘텐츠 제공 방법.
  7. 제 3 항에 있어서,
    상기 용지를 촬영한 지점에 투사하는 단계는,
    상기 카메라부에서 촬영하는 촬영 영역에 대한 정보를 근거로 상기 용지 내에 포함된 객체의 위치를 확인하는 과정; 및
    상기 확인된 해당 용지 내에 포함된 객체의 위치에 상기 매핑된 3D 오브젝트를 상기 빔 프로젝터를 통해 투사하는 과정을 포함하는 것을 특징으로 하는 실감형 콘텐츠 제공 방법.
  8. 제 3 항에 있어서,
    센서부에 의해 미리 설정된 사용자의 동작이 감지될 때, 상기 제어부에 의해, 상기 빔 프로젝터를 통해 상기 감지된 동작에 대응하여 미리 설정된 애니메이션 효과를 상기 투사 중인 3D 오브젝트에 적용하여 투사하는 단계를 더 포함하는 것을 특징으로 하는 실감형 콘텐츠 제공 방법.
  9. 카메라부에 의해, 복수의 다른 아르코 마커와 사용자 입력에 따라 그려지고 채색된 특정 객체를 포함하는 다른 용지를 촬영하여 다른 영상 정보를 획득하는 단계;
    제어부에 의해, 상기 획득된 다른 영상 정보에 포함된 복수의 다른 아르코 마커를 근거로 미리 설정된 다른 추출 영역을 확인하는 단계;
    상기 제어부에 의해, 상기 획득된 다른 영상에서 확인된 다른 추출 영역을 OpenCV를 이용해서 트랜스폼 변환하여, 상기 채색된 특정 객체를 포함하는 상기 다른 추출 영역에 대응하는 형태의 이미지를 추출하는 단계;
    상기 제어부에 의해, 상기 추출된 상기 다른 추출 영역에 대응하는 형태의 이미지에 포함된 특정 객체의 종류를 확인하는 단계;
    상기 제어부에 의해, 저장부에 미리 저장된 복수의 객체별 3D 오브젝트 중에서 상기 확인된 특정 객체의 종류에 대응하는 3D 오브젝트를 확인하는 단계;
    상기 제어부에 의해, 상기 추출된 상기 다른 추출 영역에 대응하는 형태의 이미지를 3D 그래픽용 텍스처 이미지 파일로 저장하고, 3D 오브젝트에 매핑하는 단계;
    상기 제어부에 의해, 상기 매핑된 3D 오브젝트를 빔 프로젝터를 통해, 상기 다른 용지를 촬영한 지점에 투사하는 단계; 및
    상기 제어부에 의해, 상기 빔 프로젝터와 연동하여, 상기 다른 용지에 투사되는 3D 오브젝트를 상기 지점부터 상기 빔 프로젝터가 투사할 수 있는 영역 중에서 랜덤하게 선택되는 미리 설정된 위치로 이동하도록 상기 3D 오브젝트를 연속으로 투사하는 단계를 포함하며,
    상기 다른 영상 정보를 획득하는 단계는,
    상기 빔 프로젝터를 통해 가이드라인 및 가이드라인에 대한 설명을 포함하는 가이드라인 영상이 투사되는 상기 가이드라인 내에 위치한 상기 다른 용지를 촬영하여 상기 다른 영상 정보를 획득하며,
    상기 복수의 다른 아르코 마커는,
    미리 설정된 다른 영역을 구성하는 복수의 다른 위치에 서로 다른 정보를 포함하는 아르코 마커로 구성되며, 상기 다른 영역의 제 1 위치에 구성된 제 1 아르코 마커는 해당 다른 영역의 미리 설정된 제 1 방향을 파악하기 위한 정보를 포함하고, 해당 다른 영역의 제 2 위치에 구성된 제 2 아르코 마커는 해당 다른 영역의 미리 설정된 제 2 방향을 파악하기 위한 정보를 포함하고, 해당 다른 영역의 제 3 위치에 구성된 제 3 아르코 마커는 해당 다른 영역의 미리 설정된 제 3 방향을 파악하기 위한 정보를 포함하고, 해당 다른 영역의 제 4 위치에 구성된 제 4 아르코 마커는 해당 다른 영역의 미리 설정된 제 4 방향을 파악하기 위한 정보를 포함하며,
    상기 추출된 상기 다른 추출 영역에 대응하는 형태의 이미지에 포함된 특정 객체의 종류를 확인하는 단계는,
    인공지능에 의한 학습 기능을 통해 상기 추출된 상기 다른 추출 영역에 대응하는 형태의 이미지에 포함된 특정 객체의 종류를 확인하는 것을 특징으로 하는 실감형 콘텐츠 제공 방법.
  10. 삭제
KR1020230114450A 2023-07-28 2023-08-30 실감형 콘텐츠 제공 시스템 및 그 방법 KR102649670B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020230098720 2023-07-28
KR20230098720 2023-07-28

Publications (1)

Publication Number Publication Date
KR102649670B1 true KR102649670B1 (ko) 2024-03-20

Family

ID=90483161

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230114450A KR102649670B1 (ko) 2023-07-28 2023-08-30 실감형 콘텐츠 제공 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102649670B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101551492B1 (ko) 2008-03-26 2015-09-08 후지필름 가부시키가이샤 입체 동화상 처리 장치 및 방법 그리고 프로그램
KR20160068186A (ko) * 2014-12-05 2016-06-15 주식회사 서머너즈엔터테인먼트 증강 현실 컨텐츠 제공 장치 및 방법
KR20190079247A (ko) * 2017-12-27 2019-07-05 재단법인대구경북과학기술원 프로젝터, 투사 이미지 생성 방법 및 이미지 투사 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101551492B1 (ko) 2008-03-26 2015-09-08 후지필름 가부시키가이샤 입체 동화상 처리 장치 및 방법 그리고 프로그램
KR20160068186A (ko) * 2014-12-05 2016-06-15 주식회사 서머너즈엔터테인먼트 증강 현실 컨텐츠 제공 장치 및 방법
KR20190079247A (ko) * 2017-12-27 2019-07-05 재단법인대구경북과학기술원 프로젝터, 투사 이미지 생성 방법 및 이미지 투사 시스템

Similar Documents

Publication Publication Date Title
US9661214B2 (en) Depth determination using camera focus
TWI533162B (zh) 用於擴充實境啓用裝置之使用者介面
JP6179592B2 (ja) 画像認識装置、その処理方法、およびプログラム
US9269009B1 (en) Using a front-facing camera to improve OCR with a rear-facing camera
EP3448020A1 (en) Method and device for three-dimensional presentation of surveillance video
WO2020048441A1 (zh) 通信连接方法、终端设备及无线通信系统
CN113545030B (zh) 通过移动相机自动生成全焦图像的方法、用户设备以及系统
US20200304713A1 (en) Intelligent Video Presentation System
CN111383167A (zh) 成像环境中的半球立方体贴图投影格式
KR20210097559A (ko) 3차원 가상 공간을 구축하기 위한 방법, 컴퓨터 판독 가능한 기록 매체, 컴퓨터 프로그램 및 장치
KR101731425B1 (ko) 클라우드 시스템 및 클라우드 시스템에서 컨텐츠를 디스플레이하는 방법
US20220351425A1 (en) Integrating overlaid digital content into data via processing circuitry using an audio buffer
US9262689B1 (en) Optimizing pre-processing times for faster response
EP3007098A1 (en) Method, device and system for realizing visual identification
KR102649670B1 (ko) 실감형 콘텐츠 제공 시스템 및 그 방법
KR101259147B1 (ko) 위치정보에 기반하여 과거 및 미래 영상을 보여주는 증강현실 모바일 애플리케이션 장치
KR20110136026A (ko) 증강현실 데이터 최적화 시스템
US20230292011A1 (en) Information processing system, image-capturing device, and display method
KR102292595B1 (ko) Qr 코드와 워터마크를 통합한 이미지를 이용한 워터마크 인식 장치 및 그 방법
KR20220057388A (ko) Ar 버츄얼 단말 및 그의 제어 방법
KR101525409B1 (ko) 이미지 인식모듈을 이용한 컨텐츠 증강방법
KR102661074B1 (ko) 실감형 콘텐츠 제공 시스템 및 그 방법
CN112989092A (zh) 一种图像处理方法及相关装置
KR20210112345A (ko) 멀티-영역 이미지 스캐닝
KR20210003659A (ko) 명함에 관련된 증강 현실 영상을 제공하는 컴퓨터 프로그램, 전자 장치, 및 방법

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant