KR101983233B1 - 깊이맵을 활용한 증강현실 영상표시 시스템 및 그 방법 - Google Patents

깊이맵을 활용한 증강현실 영상표시 시스템 및 그 방법 Download PDF

Info

Publication number
KR101983233B1
KR101983233B1 KR1020170125717A KR20170125717A KR101983233B1 KR 101983233 B1 KR101983233 B1 KR 101983233B1 KR 1020170125717 A KR1020170125717 A KR 1020170125717A KR 20170125717 A KR20170125717 A KR 20170125717A KR 101983233 B1 KR101983233 B1 KR 101983233B1
Authority
KR
South Korea
Prior art keywords
image
virtual
augmented reality
virtual character
space
Prior art date
Application number
KR1020170125717A
Other languages
English (en)
Other versions
KR20190036614A (ko
Inventor
김기태
최용철
원정연
Original Assignee
주식회사 토즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 토즈 filed Critical 주식회사 토즈
Priority to KR1020170125717A priority Critical patent/KR101983233B1/ko
Publication of KR20190036614A publication Critical patent/KR20190036614A/ko
Application granted granted Critical
Publication of KR101983233B1 publication Critical patent/KR101983233B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/06—Foreign languages
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 깊이맵을 활용한 증강현실 영상표시 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 가상캐릭터 및 가상 공간을 실제공간 이미지에 보다 현실감 있게 구현할 수 있는 깊이맵을 활용한 증강현실 영상표시 시스템 및 그 방법에 관한 것이다.
이를 위해 본 발명은, 증강현실을 구현하기 위한 공간을 촬영하여 실제공간 이미지를 생성하는 영상촬영 카메라;와, 증강현실 마커를 인식하여 구현되는 가상캐릭터 이미지가 미리 저장되고, 상기 증강현실 마커를 인식하여 이에 상응하는 가상캐릭터 이미지를 호출하는 가상캐릭터 이미지 생성장치;와, 가상캐릭터 이미지가 배치되는 가상공간 이미지를 형성하되, 상기 실제공간 이미지에서 추출된 특징점에 대응하는 가상 오브젝트를 상기 가상공간 이미지에 투명화(透明化)처리하여 생성하는 가상공간 이미지 생성장치;와, 가상공간 이미지와 실제공간 이미지를 합성하여 증강현실영상 이미지를 생성하는 증강현실영상 제작장치;와, 증강현실영상 이미지를 화면상에 표시하는 증강현실영상 디스플레이;와, 증강현실영상 제작 장치에 가상캐릭터의 동작 제어신호를 전송하여 증강현실영상 디스플레이에 표시되는 가상캐릭터의 동작을 실시간으로 조절하는 가상캐릭터 컨트롤러;를 포함하여 이루어진다.

Description

깊이맵을 활용한 증강현실 영상표시 시스템 및 그 방법{Augmented reality image display system and method using depth map}
본 발명은 깊이맵을 활용한 증강현실 영상표시 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 가상캐릭터 및 가상 공간을 실제공간 이미지에 보다 현실감 있게 구현할 수 있는 깊이맵을 활용한 증강현실 영상표시 시스템 및 그 방법에 관한 것이다.
증강현실(Augmentation Reality)이란 사용자가 눈으로 보는 현실 세계에 가상의 물체를 겹쳐 보여주는 기술로, 현실 세계에 실시간으로 부가 정보를 갖는 가상 세계를 합쳐 하나의 영상으로 보여주므로 혼합현실(Mixed Reality, MR)이라고도 한다.
증강현실은 가상현실과 서로 비슷한 듯 하지만 주체가 허상이냐 실상이냐에 따라 명확히 구분된다. 컴퓨터 게임으로 예를 들면, 가상현실 격투 게임은 나를 대신하는 캐릭터가 가상의 공간에서 가상의 적과 대결하지만, 증강현실 격투 게임은 현실의 내가 현실의 공간에서 가상의 적과 대결을 벌이는 형태가 된다. 때문에 증강현실이 가상현실에 비해 현실감이 뛰어나다는 특징이 있다.
이러한 증강현실은 사용자가 실제 환경을 볼 수 있게 하여 보다 나은 현실감과 부가정보를 제공할 수 있기 때문에, 예를 들어 모바일 기기 카메라로 주변을 비추면 인근에 있는 상점의 위치 및 전화 번호 등의 정보가 표기되도록 하는 서비스를 제공할 수 있다.
한편, 종래의 증강현실 기술은 3차원적으로 물체의 깊이감을 인식 못하고 실제 사물과 가상캐릭터 간에 이미지가 매칭되지 않는 등의 사실감 저하의 문제점과 교감 없이 단순히 보여 주는 정도에 그쳐 사용자의 흥미가 저하되는 문제점이 있다.
즉, 등록특허 제10-1429341호(2014.08.05. 등록)에서는 ‘증강 현실을 이용한 사격 게임 방법 및 이를 이용하는 모바일 기기와 시스템’을 제안한 바 있다.
상기 종래기술은 장난감 총을 이용한 사격 게임을 구현하되, 장난감 총의 동작 상태(방아쇠 발사 상태)를 실시간으로 감지할 수 있는 센서가 내장되고, 모바일 기기와 다양한 통신 방식을 통해 유,무선으로 연결되고 모바일 기기의 화면에 저격 목표물이 표시되며, 표시된 저격 목표물을 조준하는 조준점을 장난감 총 또는 이와 연결된 모바일 기기를 움직여 이동시킨 후 장난감 총 또는 이와 연결된 모바일 기기의 화면을 조작하여 사격하는 것이다.
그러나, 상기 종래기술은 촬영된 이미지를 분석한 후 그 위에 저격 목표물을 배치하는 것으로, 촬영된 이미지에 따라 배치될 수 있는 저격 목표물이 제한적이다.
즉, 예를 들어 촬영된 이미지에서 건축물이 촬영되는 경우 건축물의 뒤편에서 나타나는 저격 목표물은 건축물의 뒤에서 앞으로 나타나는 것이 아니라 나타나야할 부분만이 화면에 투명으로 설정된 뒤 이벤트 발생 시간에 맞추어 화면에 표시되는 것이다.
따라서, 촬영된 이미지에 가상의 캐릭터가 배치되어도 현실감이 떨어지기 때문에 사용자의 흥미가 저하되는 문제점을 해결할 수 없었다.
0001. 대한민국 등록특허 제10-1429341호(2014.08.05. 등록)
본 발명은 상기와 같은 문제점을 해결하기 위해 제안된 것으로, 모바일 단말기를 통해 촬영된 이미지에 가상캐릭터을 배치하되, 상기 가상캐릭터는 3D 가상 공간에 배치된 상태로 실제공간 이미지에 배치됨으로써 깊이를 갖는 3D 가상 공간에서 가상캐릭터가 배치된 후 동작함으로써 다양한 연출이 가능한 깊이맵을 활용한 증강현실 영상표시 시스템 및 그 방법을 제공하는데 목적이 있다.
상기의 목적을 달성하기 위하여 본 발명은, 증강현실을 구현하기 위한 공간을 촬영하여 실제공간 이미지를 생성하는 영상촬영 카메라;와, 증강현실 마커를 인식하여 구현되는 가상캐릭터 이미지가 미리 저장되고, 상기 증강현실 마커를 인식하여 이에 상응하는 가상캐릭터 이미지를 호출하는 가상캐릭터 이미지 생성장치;와, 가상캐릭터 이미지가 배치되는 가상공간 이미지를 형성하되, 상기 실제공간 이미지에서 추출된 특징점에 대응하는 가상 오브젝트를 상기 가상공간 이미지에 투명화(透明化)처리하여 생성하는 가상공간 이미지 생성장치;와, 가상공간 이미지와 실제공간 이미지를 합성하여 증강현실영상 이미지를 생성하는 증강현실영상 제작장치;와, 증강현실영상 이미지를 화면상에 표시하는 증강현실영상 디스플레이;와, 증강현실영상 제작 장치에 가상캐릭터의 동작 제어신호를 전송하여 증강현실영상 디스플레이에 표시되는 가상캐릭터의 동작을 실시간으로 조절하는 가상캐릭터 컨트롤러;를 포함하여 이루어진다.
또한, 상기 증강현실영상 제작장치는, 상기 실제공간 이미지를 인식하고 특징점을 추출한 후 가상공간 이미지를 합성하고, 상기 실제공간 이미지의 움직임을 실시간으로 추적하여 가상공간 이미지에 배치된 가상 오브젝트 및 가상캐릭터 이미지의 형태를 그에 맞게 변화시키는 것을 특징으로 한다.
또한, 상기 가상캐릭터 컨트롤러는, 상기 가상캐릭터 이미지가 향하는 방향과 이동 방향을 제어하는 방향 버튼과, 가상캐릭터 이미지의 미리 설정된 행동을 실행시키는 실행 버튼을 포함하여 이루어지되, 무선 게임 컨트롤러, 무선 키보드, 유선 키보드, 유선 또는 무선 마우스, 스마트폰의 입력 버튼 중 어느 하나이거나 이들의 조합으로 이루어진 것을 특징으로 한다.
나아가, 상기 가상캐릭터 이미지 생성장치는, 상기 실제공간 이미지에서 증강현실 마커가 인식되면 인식된 증강현실 마커에 상응하는 가상캐릭터 이미지를 호출하되, 상기 증강현실 마커는, 컴퓨터 비전 기술로 인식하기 용이한 약속된 특정 형태의 표식이거나, 문자, 번호 또는 이들의 조합으로 이루어진 식별코드를 입력하거나, 일반적인 잡지, 포스터 등의 그래픽 정보에서 특징을 인식하고 그 구성분포를 추출하는 방식 중 어느 하나인 것을 특징으로 한다.
또한, 상기 가상캐릭터 컨트롤러는, 상기 가상캐릭터 이미지 또는 가상공간 이미지를 따라 색칠을 하거나, 문자, 숫자 등을 입력하여 사용자가 가상캐릭터 이미지 또는 가상공간 이미지를 통해 색칠공부, 단어학습, 연산학습 등을 할 수 있도록 구성되거나, 상기 가상캐릭터 이미지를 화면상에서 터치하면 음악이 재생되도록 하거나, 상기 가상캐릭터 이미지에 대응된 외국어 단어의 녹음파일이 재생되도록 이루어지는 것을 특징으로 한다.
또한, 본 발명은, 증강현실 마커에 해당하는 가상캐릭터 이미지를 미리 저장하는 제1단계;와, 영상촬영 카메라를 통해 가상캐릭터 이미지를 표시하고 싶은 실제 공간을 촬영하여 실제공간 이미지를 획득하는 제2단계와;와, 영상촬영 카메라를 통해 증강현실 마커를 촬영하여 해당하는 가상캐릭터 이미지를 호출하는 제3단계;와, 상기 실제영상 이미지에서 추출된 특징점에 대응하는 가상 오브젝터를 투명화하여 형성하고, 상기 가상캐릭터 이미지에 대응하는 가상공간 이미지를 형성한 후 상기 가상 오브젝터를 가상공간 이미지에 배치하는 제4단계;와, 상기 가상공간 이미지와 실제공간 이미지를 합성하여 증강현실영상 이미지를 생성하는 제5단계;와, 합성된 증강현실영상 이미지에 가상캐릭터 이미지를 배치하는 제6단계;와, 가상캐릭터 이미지가 배치된 증강현실영상 이미지를 증강현실영상 디스플레이에 표시하는 제7단계;와, 증강현실영상 디스플레이에 표시된 가상캐릭터 이미지를 회전 또는 이동하도록 제어하거나, 상기 가상공간 이미지를 동작시킬 수 있도록 제어하는 제8단계를 포함하여 이루어진다.
상기와 같이 이루어진 본 발명은, 가상 오브젝트를 가상공간 이미지에 배치하여 가상캐릭터 이미지가 가상공간 이미지에 기준점을 갖는 형태로 배치되고, 상기 가상 오브젝트에 실제공간 이미지를 매핑하여 가상캐릭터 이미지가 가상 오브젝트와 함께 다양한 동작을 연출할 수 있어 사용자가 가상캐릭터 이미지와 상호 교감하는 효과를 증대시키고 사용자의 흥미를 유발할 수 있는 장점이 있다.
또한, 가상캐릭터 이미지 또는 가상공간 이미지를 통해 색칠공부, 단어학습, 연산학습, 외국어 학습 등을 할 수 있도록 구현되어 학습교재로서도 사용이 가능한 장점이 있다.
도 1은 본 발명에 따른 깊이맵을 활용한 증강현실 영상표시 시스템을 도시한 개략도.
도 2는 본 발명에 따른 깊이맵을 활용한 증강현실 영상표시 시스템의 동작 상태를 도시한 개략도.
도 3은 본 발명에 따른 깊이맵을 활용한 증강현실 영상표시 방법을 도시한 흐름도.
도 4는 본 발명에 따른 가상캐릭터 이미지의 동작 상태를 도시한 상태도.
도 5는 본 발명에 따른 깊이맵을 활용한 증강현실 영상표시 방법을 설명하기 위한 플로우챠트이다.
이하, 상기 목적 외에 본 발명의 다른 목적 및 특징들은 첨부 도면을 참조한 실시 예에 대한 설명을 통하여 명백히 드러나게 될 것이다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 깊이맵을 활용한 증강현실 영상표시 시스템 및 그 방법의 바람직한 구현예를 설명하도록 한다.
도 1 및 도 2에 도시된 바와 같이, 본 발명에 따른 깊이맵을 활용한 증강현실 영상표시 시스템(1)은, 증강현실을 구현하기 위한 공간을 촬영하여 실제공간 이미지(11)를 생성하는 영상촬영 카메라(10)와,
증강현실 마커(21)를 인식하여 구현되는 가상캐릭터 이미지(22)가 미리 저장되고 상기 증강현실 마커(21)를 인식하여 이에 상응하는 가상캐릭터 이미지를 호출하는 가상캐릭터 이미지 생성장치(20)와,
가상캐릭터 이미지(22)가 배치되는 가상공간 이미지(31)를 형성하되, 상기 실제공간 이미지(11)에서 추출된 특징점에 대응하는 가상 오브젝트(32)를 상기 가상공간 이미지(31)에 투명화(透明化)처리하여 생성하는 가상공간 이미지 생성장치(30)와,
가상공간 이미지(31)와 실제공간 이미지(11)를 합성하여 증강현실영상 이미지(41)를 생성하는 증강현실영상 제작장치(40)와,
증강현실영상 이미지(41)를 화면상에 표시하는 증강현실영상 디스플레이(50)와,
증강현실영상 제작장치(40)에 가상캐릭터의 동작 제어신호를 전송하여 증강현실영상 디스플레이(50)에 표시되는 가상캐릭터의 동작을 실시간으로 조절하는 가상캐릭터 컨트롤러(60)를 포함하여 이루어진다.
상기 영상촬영 카메라(10)는, 증강현실을 구현하기 위한 공간을 촬영하여 실제공간 이미지(11)를 생성한다.
여기서 영상촬영 카메라는, 스마트폰, 테블릿PC, 노트북 및 PC 에 연결된 웹캠 등으로 구현할 수 있다.
상기 가상캐릭터 이미지 생성장치(20)는, 증강현실 마커(21)를 인식하여 구현되는 가상캐릭터 이미지(22)가 미리 저장되고, 실제공간 이미지(11)에서 증강현실 마커(21)가 인식되면 인식된 증강현실 마커(21)에 상응하는 가상캐릭터 이미지(22)를 호출한다.
여기서 상기 증강현실 마커(21)는, 컴퓨터 비전 기술로 인식하기 용이한 임의의 물체를 의미하는 것으로, 주로 검정색 바탕의 특이한 색상이나 문양 또는 기하학적인 형태나 3차원 객체를 사용하기도 한다. 예를 들어 최근에 사용되고 있는 QR코드가 있다.
또한, 증강현실 마커(21)를 인식하는 방법으로는 영상촬영 카메라(10)를 이용하여 촬영하거나 문자, 번호 또는 이들의 조합으로 이루어진 식별코드를 입력하는 형태로 구현될 수 있다.
나아가, 상기 증강현실 마커(21)는, 상술한 바와 같이 약속된 형태의 문양을 사용하는 방식이 아니라, 일반적인 잡지, 포스터 등의 그래픽 정보를 그대로 사용할 수도 있는데, 이를 위해서 선택된(촬영된) 영상에서 특징을 인식하고 그 구성분포를 추출하는 선 작업(특징점 추출)이 필요하며, 상기 선 작업은 가상캐릭터 이미지 생성장치(20)에 프로그램화되어 구현될 수 있다.
이때, 상기 가상캐릭터 이미지 생성장치(20)는, 스마트폰, 테블릿PC, 노트북, PC 등으로 구현될 수 있으며, 가상캐릭터 이미지(22)는 사람, 동물, 사물 등 다양한 캐릭터를 이용할 수 있다.
상기 가상공간이미지 생성장치(30)는, 3차원객체(21)를 통해서 호출된 가상캐릭터(22)가 배치되는 가상공간이미지(31)를 생성하는 것으로, 상기 실제공간 이미지(11)에서 추출된 특징점에 대응하는 가상 오브젝트(32)를 생성한 후 투명화 처리하여 가상공간에 배치한다. 상기 가상오브젝트(32)를 기준으로 3차원 좌표계를 구성하고, 기준이 되는 실제공간 이미지의 움직임을 실시간으로 추적하여 합성할 가상오브젝트(32) 및 가상캐릭터이미지의 형상 및 위치를 그에 맞게 변화시킨다.
여기서 상기 가상공간 이미지(31)는 X,Y,Z축을 갖는 깊이맵(depth map)으로 이루어지고, 상기 가상 오브젝트(32)는 X,Y,Z 축의 값을 가지는 좌표이거나 복수의 좌표가 연결된 물체로 형성된 것으로, 상기 실제공간 이미지(11)에서 추출된 특징점에 대응하는 형태를 갖는 것이 바람직하다.
즉, 실제공간이미지(11)에서 원통형 3차원 객체가 추출되었다면, 이 특징점과 일치하거나 유사성이 가장 높은 형태의 가상오브젝트(32)를 가상의 공간에 배치되고, 상기 배치된 가상오브젝트(32)는 화면상에서 사용자에게 직접 노출되지 않도록 투명화처리된다.
그리고, 투명화 처리된 가상 오브젝트(32)는 상기 실제공간 이미지(11)에서 배치되는 위치의 이미지 즉, 추출된 3차원객체가 매핑(mapping)된다. 즉, 가상 오브젝트(32)는 투명화 처리된 상태에서 사용자에게 직접 노출되지 않고, 실제공간 이미지(11), 즉 추출된 특징점이 매핑된 상태에서 사용자에게 노출 된다. 매핑을 통해서 평면의 이미지는 공간좌표를 가지는 3차원객체를 포함하는 가상공간이미지로 변환된다.
이를 통해 상기 가상캐릭터 이미지(22)는 가상공간 이미지(31)에서 가상 오브젝트(32)를 기준으로 배치되어 가상공간 이미지(31) 내에서 자유롭게 이동이 가능함으로써 다양한 연출이 가능한 것이다.
즉, 가상캐릭터 이미지(22)가 가상 오브젝트(32)의 전,후,좌,우 및 상,하로 이동하거나 가상 오브젝트(32)의 뒤에 숨은 후 일정시간이 지난 후 또는 사용자의 조작에 의해 앞으로 이동하는 등과 같은 동작의 연출이 가능하고, 예를 들어 실제공간 이미지(11)에서 추출된 이미지가 경사진 나뭇가지 또는 경사로이고, 가상캐릭터 이미지(22)가 달팽이로 구성되는 경우 달팽이가 나뭇가지를 기어오를 때 사용자가 나뭇가지 또는 달팽이를 화면상에서 터치하여 달팽이를 떨어뜨리는 등의 연출이 가능한 것이다.
상술한 바와 같이, 본 발명의 가상공간 이미지 생성장치(30)는 종래의 단순한 3차원 좌표계를 갖는 공간을 형성하는 것에서 발전된 것으로, 가상캐릭터 이미지(22)의 배치 기준점이 되는 가상 오브젝트(32)가 생성 및 배치되며 가상 오브젝트(32)와 가상캐릭터 이미지(22)가 연동하여 동작하도록 구성됨으로써 다양한 연출이 가능한 장점이 있는 것이다.
이때, 상기 가상공간 이미지 생성장치(30)는, 스마트폰, 테블릿PC, 노트북, PC 등으로 구현될 수 있으며, 가상 오브젝트(32)는 사람, 동물, 사물 등 다양한 캐릭터를 이용할 수 있다.
상기 증강현실영상 제작장치(40)는, 가상공간 이미지(31)와 실제공간 이미지(11)를 합성하여 증강현실영상 이미지(41)를 생성하는 것으로, 상기 가상공간 이미지 생성장치(30)를 통해 형성된 가상공간 이미지(31)와 상기 영상촬영 카메라(10)를 통해 촬영된 실제공간 이미지(11)를 합성하여 가상공간 이미지(31)가 촬영된 실제공간과 동일하게 느껴지도록 하는 것이다.
여기서 상기 증강현실영상 제작장치(40)의 특징은 '지표상의 절대값'이라는 좌표계가 없기 때문에 인식 및 추출된 실제공간 이미지를 기준으로 하여 가상공간 이미지(31)를 합성한 후 실제공간 이미지(11)의 움직임을 실시간으로 추적하여 가상공간 이미지(31)에 배치된 가상 오브젝트(32) 및 가상캐릭터 이미지(22)의 형체를 그에 맞게 변화시켜 보다 현실적인 증강현실영상 이미지를 형성할 수 있는 것이다.
이때, 실제공간 이미지(11)의 움직임은 스마트폰의 기울기, 흔들기, 이동 등과 같은 동작에 의해 증강현실영상 디스플레이(50)에 표시되는 실제공간 이미지(11)가 변화하는 것일 수 있고, 이러한 움직임에 따라 가상공간 이미지(31)에 배치된 가상캐릭터 이미지 및 가상 오브젝트(32)의 형상이 변화되는 것이다.
즉, 처음 인식된 실제공간 이미지(11)의 위치에서 이동한 시점이 인식되면 처음 인식된 실제공간 이미지(11)를 기준으로 이동한 이미지의 위치 변화를 추출하고, 추출된 이동위치에 대하여 가상 오브젝트(32) 및 가상캐릭터 이미지(22)의 크기 및 위치 등을 변화시킨다.
여기서 상기 증강현실영상 제작장치(40)는, 스마트폰, 테블릿PC, 노트북, PC 등으로 구현될 수 있다.
상기 증강현실영상 디스플레이(50)는, 증강현실영상 이미지(41)를 화면상에 표시한다. 여기서 증강현실영상 디스플레이(50)는, 스마트폰의 화면, 테블릿PC 화면, 노트북 모니터, PC 모니터 등으로 구현될 수 있으며, 가상캐릭터를 캐릭터의 실제 크기와 비슷한 크기로 나타내기 위해 대형 텔레비전이나 프로젝터 등의 큰 화면으로 보여주도록 구현하여도 무방하다.
상기 가상캐릭터 컨트롤러(60)는, 증강현실영상 제작장치(40)에 가상캐릭터의 동작 제어신호를 전송하여 증강현실영상 디스플레이(50)에 표시되는 가상캐릭터의 동작을 실시간으로 조절한다. 구체적으로 가상캐릭터 컨트롤러(60)는, 가상캐릭터 이미지가 향하는 방향과 이동 방향을 제어하는 방향 버튼과, 가상캐릭터 이미지의 미리 설정된 행동을 실행시키는 실행 버튼을 포함하여 이루어지는 것이 바람직하다.
즉, 증강현실영상으로 보여준 가상캐릭터와 영상 속에서 사용자가 상호 교감을 하도록 무선 게임용 조이패드나 키보드 또는 스마트폰의 화면에 형성된 방향 버튼 또는 실행 버튼 등을 통해 가상캐릭터를 조정하여 영상 속에서 사용자는 자신의 행동이 교감을 하는 것처럼 더욱 현실감을 느끼게 된다.
여기서, 상기 가상캐릭터 컨트롤러(60)는 무선 게임 컨트롤러, 무선 키보드, 유선 키보드, 유선 또는 무선 마우스, 스마트폰의 입력 버튼 등으로 구현할 수 있다.
한편, 도 2를 참조하면, 본 발명의 실시예에 따른 깊이맵을 활용한 증강현실 영상표시 방법을 설명하되, 스마트폰을 이용하는 방법을 예로 설명한다.
먼저, 영상촬영 카메라(10)를 통해 촬영된 실제공간 이미지(11)는 이미지 DB(12)에 저장되며 이때 이미지 DB(12)에는 실제공간 이미지(11)와 여기서 추출된 특징점이 연계되어 저장된다.
여기서 상기 이미지 DB(12)는 스마트폰의 내부 메모리 또는 외부 메모리에 설정된 영역일 수 있고, 클라우드 스토리지(cloud storage) 등으로 구현될 수 있다.
상기 이미지 DB(12)는 저장된 실제공간 이미지(11) 및 특징점을 증강현실영상 제작장치(40)에 전송한다.
또, 상기 영상촬영 카메라(10)를 이용한 증강현실 마커(21)의 촬영에 의하거나 고유의 식별코드가 입력되면, 이에 상응하는 가상캐릭터 이미지(22) 및 가상공간 이미지(31)가 각각 가상캐릭터 이미지 생성장치(20)와 가상공간 이미지 생성장치(30)에 의해 호출 또는 생성되며, 생성된 가상공간 이미지(31)에 가상캐릭터 이미지(22)가 배치된다.
여기서 가상캐릭터 이미지 생성장치(20)와 가상공간 이미지 생성장치(30) 및 증강현실영상 제작장치(40)는 스마트폰의 내부에 설치된 상태인 것이 바람직하다.
호출 또는 생성된 가상캐릭터 이미지(22) 및 가상공간 이미지(31)는 증강현실영상 제작장치(40)에서 실제공간 이미지(11)에 배치되되 여기서 가상공간 이미지(31)는 실제공간 이미지(11)와 합성되어 이질감을 없애며 가상캐릭터 이미지(22)는 가상공간 이미지(31)에 형성된 가상 오브젝트(32)를 기준점으로 하여 배치된다.
증강현실영상 제작장치(40)에서 생성된 증강현실영상 이미지(41)는 증강현실영상 디스플레이(50) 즉, 스마트폰의 화면을 통해서 표시되고, 사용자는 스마트폰의 화면을 터치하거나 스마트폰을 기울이거나 흔들어서 가상캐릭터를 조작하게 된다.
이때, 가상캐릭터 컨트롤러(60)는 스마트폰의 화면일 수 있으며, 스마트폰에 구비된 동작인식 센서 더 정확하게는 가속도 센서, 자이로스코프 센서, 근접 센서, 중력 센서 일 수 있으며, 광원을 인식하는 조도 센서, 제스처 센서 일 수 있고, 나아가 현재 사용자의 위치를 감지하여 위치에 따라 각각 다른 동작이 가능하도록 하는 GPS 센서, 디지털 나침반, 지자기 센서, 가압 센서 등이 사용될 수 있으며, 스마트폰의 외부 환경 또는 사용자의 신체 활동을 감지하는 온도/습도 센서, 심박수 센서 등으로 구성될 수 있다.
상기의 방법을 통해 제공된 깊이맵을 활용한 증강현실 영상표시 방법은 가상캐릭터의 사실감을 높일 수 있으며, 가상캐릭터의 동작이 가상공간에서 이루어지기 때문에 보다 다양한 동작을 구현할 수 있고, 사용자는 가상캐릭터와의 교감을 통해 흥미를 높일 수 있다.
특히, 가상캐릭터가 가상공간에 배치되며, 이때 가상공간에는 가상 오브젝트가 구현되어 가상캐릭터가 가상 오브젝트를 기준점으로 하여 이동 및 동작함으로써 다양한 연출이 가능한 장점이 있는 것이다.
그리고, 상기 가상캐릭터 컨트롤러(60)는 가상캐릭터 이미지(22) 또는 가상공간 이미지(31)에 따라 색칠을 하거나, 문자, 숫자 등을 입력할 수 있도록 구현될 수 있으며, 이를 통해 사용자는 가상캐릭터 이미지(22) 또는 가상공간 이미지(31)를 통해 색칠공부, 단어학습, 연산학습 등의 교재로서도 사용이 가능한 장점이 있다.
또한, 가상캐릭터 이미지(22)를 화면상에서 터치하면 음악이 재생되도록 하거나, 가상캐릭터 이미지(22)에 대응된 외국어 단어의 녹음파일이 재생되도록 하여 외국어의 교재로도 사용이 가능한 장점이 있다.
도 5는 본 발명에 따른 깊이맵을 활용한 증강현실 영상표시 방법을 설명하기 위한 플로우챠트이다.
도 5에 도시된 바와 같이, 본 발명의 일 실시예에 따른 깊이맵을 활용한 증강현실 영상표시 방법은 다음과 같은 단계로 이루어진다.
먼저, 증강현실 마커(21)에 해당하는 가상캐릭터 이미지(22)를 미리 저장하는 제1단계(S110);와,
영상촬영 카메라(10)를 통해 가상캐릭터 이미지(22)를 표시하고 싶은 실제 공간을 촬영하여 실제공간 이미지(11)를 획득하는 제2단계와(S120);와,
영상촬영 카메라(10)를 통해 증강현실 마커(21)를 촬영하여 해당하는 가상캐릭터 이미지(22)를 호출하는 제3단계(S130);와,
상기 실제공간 이미지에서 추출된 특징점에 대응하는 가상 오브젝터를 투명화하여 형성하고, 상기 가상캐릭터 이미지(22)에 대응하는 가상공간 이미지(31)를 형성한 후 상기 가상 오브젝트(32)를 가상공간 이미지(31)에 배치하는 제4단계(S140);와,
상기 가상공간 이미지(31)와 실제공간 이미지(11)를 합성하여 증강현실영상 이미지를 생성하는 제5단계(S150);와,
합성된 증강현실영상 이미지(41)에 가상캐릭터 이미지(22)를 배치하는 제6단계(S160);와,
가상캐릭터 이미지(22)가 배치된 증강현실영상 이미지(41)를 증강현실영상 디스플레이(50)에 표시하는 제7단계(S170);와,
증강현실영상 디스플레이(50)에 표시된 가상캐릭터 이미지(22)를 회전 또는 이동하도록 제어하거나, 상기 가상공간 이미지(31)를 동작시킬 수 있도록 제어하는 제8단계(S180)를 포함하여 이루어진다.
상기와 같이 이루어진 본 발명은 가상 오브젝트를 가상공간 이미지에 배치하여 가상캐릭터 이미지가 가상공간 이미지에 기준점을 갖는 형태로 배치되고, 상기 가상 오브젝트에 실제공간 이미지를 매핑하여 가상캐릭터 이미지가 가상 오브젝트와 함께 다양한 동작을 연출할 수 있어 사용자가 가상캐릭터 이미지와 상호 교감하는 효과를 증대시키고 사용자의 흥미를 유발할 수 있는 장점이 있다.
또한, 가상캐릭터 이미지 또는 가상공간 이미지를 통해 색칠공부, 단어학습, 연산학습, 외국어 학습 등을 할 수 있도록 구현되어 학습교재로서도 사용이 가능한 장점이 있다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
1 : 본 발명에 따른 깊이맵을 활용한 증강현실 영상표시 시스템
10 : 영상촬영 카메라 20 : 가상캐릭터 이미지 생성장치
30 : 가상공간 이미지 생성장치 40 : 증강현실영상 제작장치
50 : 증강현실영상 디스플레이 60 : 가상캐릭터 컨트롤러

Claims (6)

  1. 증강현실을 구현하기 위한 공간을 촬영하여 실제공간 이미지(11)를 생성하는 영상촬영 카메라(10);와,
    상기 실제공간이미지(11) 상의 3차원 객체를 인식하여 이에 상응하는 기 저장된 가상캐릭터 이미지를 호출하는 가상캐릭터 이미지 생성장치(20);와,
    실제공간이미지(11)에서 추출된 특징점에 대응하는 입체형상의 가상오브젝트(32)를 투명화(透明化)처리하여 X,Y,Z축을 갖는 깊이맵으로 이루어진 가상공간 상에 배치하고, 상기 가상오브젝트는 실제공간이미지에서 배치되는 위치의 이미지가 매핑됨으로써 3차원 공간정보를 갖는 가상공간이미지(31)를 생성하는 가상공간이미지 생성장치(30);
    상기 가상공간 이미지(31)와 실제공간 이미지(11)를 합성하여 증강현실영상 이미지(41)를 생성하는 증강현실영상 제작장치(40);와,
    증강현실영상 이미지(41)를 화면상에 표시하는 증강현실영상 디스플레이(50);와,
    증강현실영상 제작장치(40)에 가상캐릭터의 동작 제어신호를 전송하여 증강현실영상 디스플레이(50)에 표시되는 가상캐릭터의 동작을 실시간으로 조절하는 가상캐릭터 컨트롤러(60);를 포함하는 깊이맵을 활용한 증강현실 영상표시 시스템.
  2. 제1항에 있어서, 상기 증강현실영상 제작장치(40)는,
    상기 실제공간 이미지(11)를 인식하고 특징점을 추출한 후 가상공간 이미지(31)를 합성하고,
    상기 실제공간 이미지(11)의 움직임을 실시간으로 추적하여 가상공간 이미지(31)에 배치된 가상 오브젝트(32) 및 가상캐릭터 이미지(22)의 형태를 그에 맞게 변화시키는 것을 특징으로 하는 깊이맵을 활용한 증강현실 영상표시 시스템.
  3. 제1항에 있어서, 상기 가상캐릭터 컨트롤러(60)는,
    상기 가상캐릭터 이미지(22)가 향하는 방향과 이동 방향을 제어하는 방향 버튼과, 가상캐릭터 이미지의 미리 설정된 행동을 실행시키는 실행 버튼을 포함하여 이루어지되,
    무선 게임 컨트롤러, 무선 키보드, 유선 키보드, 유선 또는 무선 마우스, 스마트폰의 입력 버튼 중 어느 하나이거나 이들의 조합으로 이루어진 것을 특징으로 하는 깊이맵을 활용한 증강현실 영상표시 시스템.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 가상캐릭터 이미지 생성장치(20)는,
    상기 실제공간 이미지(11)에서 증강현실 마커(21)가 인식되면 인식된 증강현실 마커(21)에 상응하는 가상캐릭터 이미지(22)를 호출하되,
    상기 증강현실 마커(21)는, 컴퓨터 비전 기술로 인식하기 용이한 약속된 특정 형태의 표식이거나,
    문자, 번호 또는 이들의 조합으로 이루어진 식별코드를 입력하거나,
    일반적인 잡지, 포스터 등의 그래픽 정보에서 특징을 인식하고 그 구성분포를 추출하는 방식 중 어느 하나인 것을 특징으로 하는 깊이맵을 활용한 증강현실 영상표시 시스템.
  5. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 가상캐릭터 컨트롤러(60)는,
    상기 가상캐릭터 이미지(22) 또는 가상공간 이미지(31)를 따라 색칠을 하거나, 문자, 숫자 등을 입력하여 사용자가 가상캐릭터 이미지(22) 또는 가상공간 이미지(31)를 통해 색칠공부, 단어학습, 연산학습 등을 할 수 있도록 구성되거나,
    상기 가상캐릭터 이미지(22)를 화면상에서 터치하면 음악이 재생되도록 하거나,
    상기 가상캐릭터 이미지(22)에 대응된 외국어 단어의 녹음파일이 재생되도록 이루어지는 것을 특징으로 하는 깊이맵을 활용한 증강현실 영상표시 시스템.
  6. 증강현실 마커(21)에 의해서 호출될 수 있도록 가상캐릭터이미지(22)를 미리 저장하는 제1단계(S110);,
    영상촬영카메라(10)를 통해 실제공간을 촬영하여 실제공간이미지(11)를 획득하는 제2단계(S120);,
    실제공간이미지(11)에 나타난 증강현실 마커(21)를 인식하여 기저장된 가상캐릭터이미지(22)를 호출하는 제3단계(S130);와,
    실제공간이미지(11)에서 추출된 특징점에 대응하는 입체형상의 가상오브젝트(32)를 투명화(透明化)처리하여 X,Y,Z축을 갖는 깊이맵으로 이루어진 가상공간 상에 배치하고, 상기 가상오브젝트는 실제공간이미지에서 배치되는 위치의 이미지가 매핑됨으로써 3차원 공간정보를 갖는 가상공간이미지(31)를 생성하는 제4단계(S140);와,
    상기 가상공간이미지(31)와 실제공간 이미지(11)를 합성하여 증강현실영상 이미지를 생성하는 제5단계(S150);와,
    합성된 증강현실영상이미지(41)에 가상캐릭터 이미지(22)를 배치하는 제6단계(S160);와,
    가상캐릭터 이미지(22)가 배치된 증강현실영상 이미지(41)를 증강현실영상 디스플레이(50)에 표시하는 제7단계(S170);와,
    증강현실영상 디스플레이(50)에 표시된 가상캐릭터이미지(22)를 회전 또는 이동하도록 제어하거나, 상기 가상공간이미지(31)를 동작시킬 수 있도록 제어하는 제8단계(S180)를 포함하여 이루어진 깊이맵을 활용한 증강현실 영상표시 방법.
KR1020170125717A 2017-09-28 2017-09-28 깊이맵을 활용한 증강현실 영상표시 시스템 및 그 방법 KR101983233B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170125717A KR101983233B1 (ko) 2017-09-28 2017-09-28 깊이맵을 활용한 증강현실 영상표시 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170125717A KR101983233B1 (ko) 2017-09-28 2017-09-28 깊이맵을 활용한 증강현실 영상표시 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20190036614A KR20190036614A (ko) 2019-04-05
KR101983233B1 true KR101983233B1 (ko) 2019-05-28

Family

ID=66103836

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170125717A KR101983233B1 (ko) 2017-09-28 2017-09-28 깊이맵을 활용한 증강현실 영상표시 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101983233B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102481987B1 (ko) * 2021-10-20 2022-12-27 주식회사 일리소프트 다각형 실물 교보재를 이용한 ar 교육 콘텐츠 제공 장치 및 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102605342B1 (ko) * 2019-08-06 2023-11-22 엘지전자 주식회사 오브젝트 인식 기반의 정보 제공 방법 및 장치와 이를 위한 매핑 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101135186B1 (ko) * 2010-03-03 2012-04-16 광주과학기술원 상호작용형 실시간 증강현실 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101429341B1 (ko) 2012-07-18 2014-08-13 한국과학기술원 증강 현실을 이용한 사격 게임 방법 및 이를 이용하는 모바일 기기와 시스템
KR101692335B1 (ko) * 2015-02-25 2017-01-03 이은미 증강현실 영상표시 시스템 및 증강현실 영상표시 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101135186B1 (ko) * 2010-03-03 2012-04-16 광주과학기술원 상호작용형 실시간 증강현실 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102481987B1 (ko) * 2021-10-20 2022-12-27 주식회사 일리소프트 다각형 실물 교보재를 이용한 ar 교육 콘텐츠 제공 장치 및 방법

Also Published As

Publication number Publication date
KR20190036614A (ko) 2019-04-05

Similar Documents

Publication Publication Date Title
US11238619B1 (en) Multi-device interaction with an immersive environment
KR20210047278A (ko) Ar 장면 이미지 처리 방법, 장치, 전자 기기 및 저장 매체
US10324293B2 (en) Vision-assisted input within a virtual world
US9659381B2 (en) Real time texture mapping for augmented reality system
KR20210046591A (ko) 증강 현실 데이터 제시 방법, 장치, 전자 기기 및 저장 매체
CN105981076B (zh) 合成增强现实环境的构造
JP5602618B2 (ja) 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
CN111158469A (zh) 视角切换方法、装置、终端设备及存储介质
KR101692335B1 (ko) 증강현실 영상표시 시스템 및 증강현실 영상표시 방법
CN111766937B (zh) 虚拟内容的交互方法、装置、终端设备及存储介质
JP2022505998A (ja) 拡張現実データの提示方法、装置、電子機器及び記憶媒体
US11023035B1 (en) Virtual pinboard interaction using a peripheral device in artificial reality environments
CN110442245A (zh) 基于物理键盘的显示方法、装置、终端设备及存储介质
US10976804B1 (en) Pointer-based interaction with a virtual surface using a peripheral device in artificial reality environments
JP2018147002A (ja) 画像処理プログラム、画像処理システム、画像処理装置および画像処理方法
CN107924586B (zh) 搜索图像内容的方法、装置以及计算机可读存储介质
JP7150894B2 (ja) Ａｒシーン画像処理方法及び装置、電子機器並びに記憶媒体
CN111083463A (zh) 虚拟内容的显示方法、装置、终端设备及显示系统
CN112313605A (zh) 增强现实环境中对象的放置和操纵
CN109564703A (zh) 信息处理装置、方法及计算机程序
KR101983233B1 (ko) 깊이맵을 활용한 증강현실 영상표시 시스템 및 그 방법
KR101638550B1 (ko) 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
CN110140100A (zh) 三维增强现实对象用户界面功能
CN113359983A (zh) 增强现实数据呈现方法、装置、电子设备及存储介质
US11023036B1 (en) Virtual drawing surface interaction using a peripheral device in artificial reality environments

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant