KR20140078083A - 증강 현실이 구현된 만화책 - Google Patents

증강 현실이 구현된 만화책 Download PDF

Info

Publication number
KR20140078083A
KR20140078083A KR1020120147016A KR20120147016A KR20140078083A KR 20140078083 A KR20140078083 A KR 20140078083A KR 1020120147016 A KR1020120147016 A KR 1020120147016A KR 20120147016 A KR20120147016 A KR 20120147016A KR 20140078083 A KR20140078083 A KR 20140078083A
Authority
KR
South Korea
Prior art keywords
virtual model
augmented reality
user
marker
sensor
Prior art date
Application number
KR1020120147016A
Other languages
English (en)
Inventor
이재천
Original Assignee
이재천
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이재천 filed Critical 이재천
Priority to KR1020120147016A priority Critical patent/KR20140078083A/ko
Publication of KR20140078083A publication Critical patent/KR20140078083A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B42—BOOKBINDING; ALBUMS; FILES; SPECIAL PRINTED MATTER
    • B42D—BOOKS; BOOK COVERS; LOOSE LEAVES; PRINTED MATTER CHARACTERISED BY IDENTIFICATION OR SECURITY FEATURES; PRINTED MATTER OF SPECIAL FORMAT OR STYLE NOT OTHERWISE PROVIDED FOR; DEVICES FOR USE THEREWITH AND NOT OTHERWISE PROVIDED FOR; MOVABLE-STRIP WRITING OR READING APPARATUS
    • B42D1/00—Books or other bound products
    • B42D1/009—Books or other bound products characterised by printed matter not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 일 실시예에 따른 현실용 만화 콘텐츠 제작 장치는 만화 콘텐츠에 있는 마커를 인식하는 마커 인식부, 기 구축된 데이터베이스에서 상기 마커에 해당하는 3차원 가상 모델을 추출하여 로딩하는 3차원 가상 모델 로딩부 및 상기 마커 인식부에 의해 마커가 인식되면 상기 마커에 3차원 가상 모델을 로딩하도록 모델 로딩부를 제어하고, 사용자 조작에 따라 상기 3차원 가상 모델의 형상을 변경하여 로딩하도록 모델 로딩부를 제어하고, 사용자 인터랙티브를 위해 상기 3차원 가상 모델이 반응할 속성을 부여하여 증강 현실용 만화 콘텐츠를 생성하는 증강 현실 구현 제어부를 포함한다. 따라서, 본 발명은 만화 콘텐츠에 있는 기하학 모양의 마커를 인식하여 관련된 가상영상을 표현하고, 사용자의 몰입감 향상을 위해 마커를 기반으로 보여지는 다양한 가상영상들을 제어할 수 있는 증강현실 콘텐츠를 저작자가 프로그래밍 지식을 보유하지 않아도 쉽게 저작할 수 있도록 하고, 본 저작도구를 통해 증강현실 콘텐츠의 개발 비용을 낮추고 개발기간을 줄일 수가 있어서 증강현실 기술의 상용화가 가능하도록 한다.

Description

증강 현실이 구현된 만화책{METHOD OF MANUFACTURING CARTOON CONTENTS FOR AUGEMENTED REALITY AND APPARATUS PERFORMING THE SAME}
본 발명은 증강 현실용 만화 콘텐츠 제작 방법 및 이를 실행하는 장치에 관한 것이다.
일반적으로 증강현실(AR; Augmented Reality)은 증강 현실(VR; Virtual Reality)의 변화된 형태로서, 사용자가 보고 있는 실사 영상에 컴퓨터에서 생성한 가상 영상을 정합시키는 사용자 인터페이스 기술을 말한다. 비전 기반 증강현실은 광학기반 시스템이나 영상기반 시스템을 통하여 구현될 수 있다. 광학기반 시스템의 경우, 증강현실은 반투명 스크린인 HMD(Head Mounted Display)를 이용하여 실제 환경에 가상 물체를 투영시킴으로써 구현된다.
반면, 영상기반 시스템의 경우, 증강현실은 카메라를 통하여 취득된 영상에 가상의 정보를 합성시킴으로써 구현된다. 이러한 증강현실은 사용자에게 보다 향상된 현실감과 인지도를 제공하기에 현재 의학, 산업, 오락, 군사 분야 등에서 다양하게 응용되고 있다.
증강현실을 구현하기 위해 카메라 또는 추적 대상체의 움직임을 정확하게 추정하는 것은 매우 중요하다. 종래 일반적인 증강현실의 구현방법은 크게 다음과 같다. 첫째, 실세계에 존재하는 물체로부터 수집된 특징점들을 이용하여 증강현실을 구현한다. 이 방법은 매 프레임마다 영상을 전체 검색함으로써 특징점을 인식하고 이에 따라 추적 기능을 수행하게 된다. 따라서, 제공되는 이미지가 많거나 텍스처가 매우 복잡할 경우 인식 속도나 추적 속도가 급격히 저하되어 증강현실 구현에 많은 시간이 소요되는 문제점이 발생된다. 게다가, 수집된 특징점이 적거나 조명과 같은 환경 조건이 불안정한 경우에는 성능이 크게 떨어지는 문제점도 발생된다.
둘째, AR 마커(AR marker)를 이용하여 증강현실을 구현한다. AR 마커는 추적 대상체의 위치와 방위를 정확하게 추정하기 위해 인위적으로 실세계에 삽입되는데, 종래의 이러한 AR 마커는 인식 및 추적이 가능하도록 임의로 지정된 고유 아이디(unique ID)를 필요로 하였다. 이에 따라 종래에는 영상을 전체 검색하여 고유 아이디를 추출하고 이를 해석해야만 마커의 위치를 찾아내고 증강시킴이 가능하였다.
이러한 증강현실을 구현하는 방법에는, 만화 콘텐츠의 페이지를 펼쳐 이를 카메라를 통해 촬영하고 촬영된 실시간 영상을 화면에 디스플레이함에 있어서, 페이지 내에 특정 마커(marker)가 기록되어 있음에 따라 촬영된 영상 내에서 특정 마커가 인지되면 해당 마커에 연결된 3차원 가상 모델을 실제 영상, 즉 페이지를 촬영한 영상 위에 그려주는 방법이 있다. 여기서의 마커란 실제로 2차원 평면 위에 존재하면서, 자신과 연결된 3차원 그래픽모델이 그려질 크기, 방향 및 위치 정보를 제공하는 것을 말한다.
본 발명의 일 실시예는 만화 콘텐츠에 있는 기하학 모양의 마커를 인식하여 관련된 가상영상을 표현하고, 사용자의 몰입감 향상을 위해 마커를 기반으로 보여지는 다양한 가상영상들을 제어할 수 있는 증강현실 콘텐츠를 저작자가 프로그래밍 지식을 보유하지 않아도 쉽게 저작할 수 있도록 하고, 본 저작도구를 통해 증강현실 콘텐츠의 개발 비용을 낮추고 개발기간을 줄일 수가 있어서 증강현실 기술의 상용화가 가능한 증강 현실용 만화 콘텐츠 제작 방법 및 이를 실행하는 장치를 제공하고자 한다.
본 발명의 일 실시예는 증강현실 서비스를 보다 다채롭게 제공하기 위하여 사용자와 사용자 주변 환경에 대한 정보를 파악하여 3차원 가상 모델이 반응하도록 하고, 사용자의 조작 또는 음성에 따라 3차원 가상 모델이 반응하도록 함으로써 증강 현실 서비스의 사실감을 극대화할 수 있는 증강 현실용 만화 콘텐츠 제작 방법 및 이를 실행하는 장치를 제공하고자 한다.
본 발명의 일 실시예는 3차원 가상 모델이 반응하는 증강 현실용 만화 콘텐츠가 증강되는 동안에 사용자의 조작에 따라 특정 웹 페이지로 이동시킴으로써 사용자 편의성을 제공할 수 있는 증강 현실용 만화 콘텐츠 제작 방법 및 이를 실행하는 장치를 제공하고자 한다.
본 발명의 일 실시예는 휴대 단말 상에 구현되는 증강현실 기반의 인터페이스를 통해 사용자에게 3차원 가상 모델에 해당하는 대응하는 상품 혹은 서비스를 제공하는 장소에 대한 정보를 제공함으로써 특정 상품에 대한 광고 효과를 향상시킬 수 있는 증강 현실용 만화 콘텐츠 제작 방법 및 이를 실행하는 장치를 제공하고자 한다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
실시예들 중에서, 증강 현실용 만화 콘텐츠 제작 장치는 만화 콘텐츠에 있는 마커를 인식하는 마커 인식부, 기 구축된 데이터베이스에서 상기 마커에 해당하는 3차원 가상 모델을 추출하여 로딩하는 3차원 가상 모델 로딩부 및 상기 마커 인식부에 의해 마커가 인식되면 상기 마커에 3차원 가상 모델을 로딩하도록 모델 로딩부를 제어하고, 사용자 조작에 따라 상기 3차원 가상 모델의 형상을 변경하여 로딩하도록 모델 로딩부를 제어하고, 사용자 인터랙티브를 위해 상기 3차원 가상 모델이 반응할 속성을 부여하여 증강 현실용 만화 콘텐츠를 생성하는 증강 현실 구현 제어부를 포함한다.
일 실시예에서, 상기 증강 현실 구현 제어부는 사용자에 의해 휴대 단말이 회전되어 센서가 휴대 단말의 회전을 감지하면 상기 3차원 가상 모델의 방향 회전(rotation)을 제어하고, 상기 사용자에 의한 위치 이동 명령에 따라 상기 3차원 가상 모델의 위치 이동(translation)을 제어하고, 상기 사용자에 의한 크기 조정 명령에 따라 상기 3차원 가상 모델의 방향 회전(rotation)을 제어하고, 상기 센서는 자이로 센서, 회전 감지 센서 및 움직임 감지 센서 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 상기 증강 현실 구현 제어부는 상기 사용자 조작 및 상기 센서에 의한 데이터에 따라 상기 3차원 가상 모델의 행위 및 음성 중 적어도 하나와 관련된 속성을 부여하여 3차원 가상 모델이 속성에 따라 반응하도록 제어하고, 상기 센서는 온도 감지 센서, 습도 감지 센서 및 소리 감지 센서 중 적어도 하나를 포함하고, 상기 사용자 조작은 터치, 드래그 앤 드롭(drag-and-drop) 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 상기 3차원 가상 모델은 특정 페이지로 이동하기 위한 주소 정보를 포함하고, 상기 증강 현실 구현 제어부는 3차원 가상 모델이 반응하는 증강 현실용 만화 콘텐츠가 증강되는 동안에 사용자의 터치가 입력되면 특정 페이지로 이동되도록 제어할 수 있다.
실시예들 중에서, 증강 현실용 만화 콘텐츠 제작 장치에서 실행되는 증강 현실용 만화 콘텐츠 제작 방법은 만화 콘텐츠에 있는 마커를 인식하면 기 구축된 데이터베이스에서 상기 마커에 해당하는 3차원 가상 모델을 추출하여 로딩하는 단계, 사용자 인터랙티브를 위해 상기 3차원 가상 모델이 반응할 속성을 부여하여 3차원 가상 모델이 속성에 따라 반응하도록 하는 증강 현실용 만화 콘텐츠를 생성하는 단계 및 상기 3차원 가상 모델이 반응하는 증강 현실용 만화 콘텐츠가 증강되는 영상을 디스플레이하고, 상기 영상이 디스플레이되는 동안에 사용자 조작이 수신되면 상기 사용자 조작에 따라 3차원 가상 모델의 형상을 변경하여 로딩하는 단계를 포함한다.
일 실시예에서, 상기 3차원 가상 모델의 형상을 변경하여 로딩하는 단계는 사용자에 의해 휴대 단말이 회전되어 센서가 휴대 단말의 회전을 감지하면 상기 3차원 가상 모델의 방향 회전(rotation)을 제어하는 단계, 상기 사용자에 의한 위치 이동 명령에 따라 상기 3차원 가상 모델의 위치 이동(translation)을 제어하는 단계 및 상기 사용자에 의한 크기 조정 명령에 따라 상기 3차원 가상 모델의 방향 회전(rotation)을 제어하는 단계를 포함하고, 상기 센서는 자이로 센서, 회전 감지 센서 및 움직임 감지 센서 중 적어도 하나를 포함하고, 상기 사용자 조작은 터치, 드래그 앤 드롭(drag-and-drop) 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 기 3차원 가상 모델이 속성에 따라 반응하도록 하는 증강 현실용 만화 콘텐츠를 생성하는 단계는 상기 사용자 조작 및 상기 센서에 의한 데이터에 따라 상기 3차원 가상 모델의 행위 및 음성 중 적어도 하나와 관련된 속성을 부여하여 3차원 가상 모델이 속성에 따라 반응하도록 하는 증강 현실용 만화 콘텐츠를 생성하는 단계를 포함하고, 상기 센서는 온도 감지 센서, 습도 감지 센서 및 소리 감지 센서 중 적어도 하나를 포함하고, 상기 사용자 조작은 터치, 드래그 앤 드롭(drag-and-drop) 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 상기 3차원 가상 모델은 특정 페이지로 이동하기 위한 주소 정보를 포함하고, 3차원 가상 모델이 반응하는 증강 현실용 만화 콘텐츠가 증강되는 영상이 디스플레이되는 동안에 사용자의 터치가 입력되면 특정 페이지로 이동시키는 단계를 더 포함할 수 있다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 첨부 도면들에 포함되어 있다.
본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.
본 발명의 일 실시예에 따르면, 만화 콘텐츠에 있는 기하학 모양의 마커를 인식하여 관련된 가상영상을 표현하고, 사용자의 몰입감 향상을 위해 마커를 기반으로 보여지는 다양한 가상영상들을 제어할 수 있는 증강현실 콘텐츠를 저작자가 프로그래밍 지식을 보유하지 않아도 쉽게 저작할 수 있도록 하고, 본 저작도구를 통해 증강현실 콘텐츠의 개발 비용을 낮추고 개발기간을 줄일 수가 있어서 증강현실 기술의 상용화가 가능하도록 한다.
본 발명의 일 실시예에 따르면, 증강현실 서비스를 보다 다채롭게 제공하기 위하여 사용자와 사용자 주변 환경에 대한 정보를 파악하여 3차원 가상 모델이 반응하도록 하고, 사용자의 조작 또는 음성에 따라 3차원 가상 모델이 반응하도록 함으로써 증강 현실 서비스의 사실감을 극대화할 수 있다.
본 발명의 일 실시예에 따르면, 3차원 가상 모델이 반응하는 증강 현실용 만화 콘텐츠가 증강되는 동안에 사용자의 조작에 따라 특정 웹 페이지로 이동시킴으로써 사용자 편의성을 제공할 수 있다.
본 발명의 일 실시예에 따르면, 휴대 단말 상에 구현되는 증강현실 기반의 인터페이스를 통해 사용자에게 3차원 가상 모델에 해당하는 대응하는 상품 혹은 서비스를 제공하는 장소에 대한 정보를 제공함으로써 특정 상품에 대한 광고 효과를 향상시킬 수 있다.
도 1은 발명의 일 실시예에 따른 증강 현실용 만화 콘텐츠 구현 장치를 설명하기 위한 블록도이다.
도 2는 본 발명에 따른 증강 현실용 만화 콘텐츠 제작 방법의 일 실시예를 설명하는 도면이다.
도 3 내지 도 6은 도 2의 실행 과정을 설명하기 위한 도면이다.
이하에서는 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 한다.
본 발명에 따른 증강 현실용 만화 콘텐츠 제작 방법 및 이를 실행하는 장치
를 설명하기에 앞서서 이를 구현하기 위한 기술의 개요를 설명한다.
증강 현실을 구현하기 위한 기본적인 기술은, 레지스트레이션(registration), 트래킹(Tracking), 그리고 카메라 보정(Camera calibration)을 포함한다. 레지스트레이션이란 가상 환경에서 가상 객체를 증강시킬 위치와 증강될 가상 객체를 등록하는 과정을 말한다. 통상적으로는 레지스트레이션을 위하여 현실 환경에 가상 객체를 표상하는 마커(2차원적인 마커, 3차원 이미지, 또는 2차원 이미지를 사용할 수 있음)를 위치시킨 후 해당 마커를 식별하도록 한다.
이를 일반화하여 설명하면, 레지스트레이션을 위하여 현실 세계의 어떤 지점의 3차원 좌표가 필요하며 이 좌표는 카메라를 기준으로 카메라 좌표로 계산될 수 있다. 이러한 3차원 좌표를 얻기 위해서 카메라 입력 영상으로부터 특이점(즉, 마커)을 획득하고 이 특이점의 3차원 좌표를 추적한다. 이를 트래킹이라 하며, 매 영상 프레임 마다 위치를 추적하여 움직이는 카메라의 영상입력에서도 가상의 그래픽 객체의 증강을 가능하게 한다.
한편, 카메라 입력 영상으로부터 획득된 특이점과 카메라의 정확한 상관관계를 계산하기 위해서는 카메라 파라미터를 획득해야 한다. 이 과정을 카메라 보정이라 부른다. 카메라 보정은 카메라의 초점거리 등 내부 변수와 외부 변수를 계산해 내어 카메라 모델을 형성한다.
증강 현실의 저작은 시각 저작, 청각 저작, 촉각 저작, 및 이벤트 저작을 포함할 수 있다. 시각 저작은 독자에게 보여줄 3D 모델의 배치, 이동, 회전, 크기/색상 조작 과정을 거쳐 장면(scene)을 생성한다. 청각 저작은 제작된 장면에 필요한 음향효과를 삽입하는 과정이며 배경음악과 이벤트에 따른 음향 등을 필요한 시기에 들릴 수 있도록 저작한다. 촉각 저작은 독자가 햅틱 장치로 물체를 만졌을 때, 느껴야 하는 재질감, 무게감 등을 입히는 작업이다. 이벤트저작은 조건문을 이용하여 어떠한 조건하에 어떠한 시각적이거나 청각적인 효과가 나타날 것인지를 저작하는 것이다.
도 1은 발명의 일 실시예에 따른 증강 현실용 만화 콘텐츠 구현 장치를 설명하기 위한 블록도이다.
도 1을 참조하면, 증강 현실용 만화 콘텐츠 구현 장치(100)는 촬영된 영상 내의 마커 위에 그 마커와 관련된 각종 정보를 합성해서 표시한다. 예컨대, 본 실시예에 따른 증강 현실용 만화 콘텐츠 구현 장치(100)는 이미지 프로세싱 기반으로 영상 내의 마커를 인식하고 인식된 마커에 대응되는 각종 증강 현실 데이터를 사용자에게 제공하는 것이 가능하다.
본 실시예에 따른 증강 현실용 만화 콘텐츠 구현 장치(100)는 카메라 모듈과 디스플레이 모듈이 구비된 휴대 단말(예컨대, 스마트 폰) 또는 이러한 휴대 단말과 통신 가능하게 연결되는 서버에 적용될 수 있다. 예컨대, 휴대 단말이 어떤 영상을 촬영해서 그 영상 데이터를 서버로 전송하면, 서버는 그 영상 데이터를 처리하고 객체를 인식한 후, 그 객체에 대한 증강 현실 데이터를 휴대 단말로 전송해서 휴대 단말에 증강 현실이 표시되도록 하는 것이 가능하다. 또한, 휴대 단말은 서버의 관여 없이 휴대 단말이 단독으로 증강 현실 데이터를 추출하고 증강 현실을 표시하는 것도 가능하다. 이하에서는, 설명의 편의를 위해서 휴대 단말이 서버의 관여 없이 단독으로 증강 현실 데이터를 추출하고 증강 현실을 표시하는 것을 설명하기로 한다.
증강 현실용 만화 콘텐츠 구현 장치(100)는 영상 획득부(110), 3차원 가상 모델 로딩부(120), 3차원 가상 모델 데이터베이스(130) 및 증강 현실 구현 제어부(140)를 포함하고, 실시예에 따라 센서(150) 및 디스플레이부(160)를 더 포함할 수 있다.
영상 획득부(110)는 실제 환경의 영상을 취득하는 기능을 수행한다. 여기서 실제 환경은 마커를 포함한 실제 만화 콘텐츠일 수 있다. 마커는 전술한 바와 같이 2차원 도안으로 표현된 2차원 마커, 2차원 이미지, 또는 3차원 이미지일 수 있다. 또한, 마커는 문자, 숫자, 기호, 그림 또는 이들의 조합을 이용하여 다양한 형태로 설정될수 있다. 이러한, 마커는 다양한 방식으로 만화 콘텐츠내에 포함될 수 있다.
3차원 가상 모델 로딩부(120)는 선택된 마커에 3차원 가상 모델을 로딩시킨다.
일 실시예에서, 3차원 가상 모델 로딩부(120)는 증강시킬 3차원 가상 모델이 저장된 3차원 가상 모델 데이터베이스(130)를 검색하여 원하는 3차원 가상 모델을 추출하여 로딩시킬 수 있다. 예를 들어, 3차원 가상 모델 로딩부(120)는 3차원 가상 모델 데이터베이스(130)에서 마커에 해당하는 3차원 가상 모델을 추출하여 로딩시킬 수 있다.
3차원 가상 모델 데이터베이스(130)에는 마커에 해당하는 3차원 가상 모델이 저장된다.
일 실시예에서, 3차원 가상 모델 데이터베이스(130)에는 만화 콘텐츠 별로 3차원 가상 모델이 저장될 수 있다. 예를 들어, 3차원 가상 모델 데이터베이스(130)에는 유아 교육용 만화 콘텐츠를 위해서 뽀로로 캐릭터에 대한 3차원 가상 모델이 저장될 수 있다. 다른 예를 들어, 3차원 가상 모델 데이터베이스(130)에는 맥주 광고용 만화 콘텐츠를 위해서 맥주에 대한 3차원 가상 모델이 저장될 수 있다.
증강 현실 구현 제어부(140)는 영상 획득부(110)로부터 입력된 만화 콘텐츠에서 마커를 트래킹하여 증강될 3차원 가상 모델의 저작을 위한 기준 좌표계를 설정하고 수동 조작 장치로부터 입력된 신호를 바탕으로 증강될 가상 객체의 선택과 속성 변경 및 저작이 이루어지도록 하는 기능을 수행한다.
일 실시예에서, 증강 현실 구현 제어부(140)는 영상 획득부(110)로부터 입력된 만화 콘텐츠에서 마커가 존재하면 해당 마커에 대응하여 기 설정된 증강현실구현기능(예를 들어, 3D의 그래픽 모델 렌더링)을 수행하여 3차원 가상 모델을 증상하여 출력하도록 한다.
증강 현실 구현 제어부(140)는 센서(150)에 의한 센싱 데이터를 이용하여 3차원 가상 모델의 형상을 변형하여 로딩하도록 3차원 가상 모델 로딩부(120)를 제어할 수 있다.
일 실시예에서, 증강 현실 구현 제어부(140)는 3차원 가상 모델의 방향 회전(rotation)을 제어할 수 있다. 예를 들어, 증강 현실 구현 제어부(140)는 사용자의 조작에 의해 휴대 단말이 왼쪽으로 회전되어 휴대 단말의 센서(예를 들어, 자이로 센서, 회전 감지 센서 및 움직임 감지 센서)가 휴대 단말의 회전을 감지하면 3차원 가상 모델을 왼쪽 방향으로 회전시킬 수 있다. 다른 예를 들어, 증강 현실 구현 제어부(140)는 사용자의 조작에 의해 휴대 단말이 오른쪽으로 회전되면 3차원 가상 모델을 오른쪽 방향으로 회전시킬 수 있다.
증강 현실 구현 제어부(140)는 사용자의 조작에 따라 3차원 가상 모델의 형상을 변형하여 로딩하도록 3차원 가상 모델 로딩부(120)를 제어할 수 있다.
일 실시예에서, 증강 현실 구현 제어부(140)는 3차원 가상 모델의 위치 이동(translation)을 제어할 수 있다. 보다 구체적으로, 증강 현실 구현 제어부(140)는 사용자 손의 이동 경로의 실제좌표정보를 가상 좌표 정보에 맵핑시키고, 맵핑된 가상좌표정보에 따라 3차원 가상 모델을 이동시킬 수 있다. 예를 들어, 사용자에 의해 휴대 단말 상의 3차원 가상 모델이 터치된 상태에서 왼쪽으로 드레그된 후 드롭된 경우, 증강 현실 구현 제어부(140)는 3차원 가상 모델의 위치를 왼쪽으로 이동시킬 수 있다. 다른 예를 들어, 사용자에 의해 휴대 단말 상의 3차원 가상 모델이 터치된 상태에서 오른쪽으로 드레그된 후 드롭된 경우, 증강 현실 구현 제어부(140)는 3차원 가상 모델의 위치를 오른쪽으로 이동시킬 수 있다.
또 다른 일 실시예에서, 증강 현실 구현 제어부(140)는 3차원 가상 모델의 크기 조정(scale)을 제어할 수 있다. 증강 현실 구현 제어부(140)는 사용자의 조작에 의해 모델 크기 확대 명령이 입력되면 3차원 가상 모델의 크기를 확대시킬 수 있다.
따라서, 증상현실 콘텐츠의 화면상에 존재하는 3차원 가상 모델을 이동시키고자 하는 사용자는 손과 같은 일상적인 도구를 이용하여 증상현실 콘텐츠의 화면상에 존재하는 3차원 가상 모델을 지시/이동시킴으로써 3차원 가상 모델의 위치를 조작할 수 있다.
증강 현실 구현 제어부(140)는 사용자의 조작에 따른 3차원 가상 모델이 반응할 속성을 부여하여 3차원 가상 모델이 속성에 따라 반응하도록 제어할 수 있다.
일 실시예에서, 증강 현실 구현 제어부(140)는 3차원 가상 모델의 행위와 관련된 속성을 부여할 수 있다. 예를 들어, 사용자가 3차원 가상 모델에서 문을 열기 위해 휴대 단말의 화면을 터치하는 경우, 증강 현실 구현 제어부(140)는 3차원 가상 모델에 “문이 열리는 동작을 수행” 하는 속성을 부여할 수 있다.
증강 현실 구현 제어부(140)는 3차원 가상 모델이 반응할 속성을 부여하여 3차원 가상 모델이 속성에 따라 반응하도록 제어할 수 있다.
일 실시예에서, 증강 현실 구현 제어부(140)는 3차원 가상 모델의 음성과 관련된 속성을 부여하여 3차원 가상 모델이 음성 출력을 하도록 제어할 수 있다. 예를 들어, 증강 현실 구현 제어부(140)는 만화 콘텐츠의 텍스트 “안녕? 날씨가 춥지”를 음성으로 출력하도록 3차원 가상 모델에 속성을 부여하여 3차원 가상 모델이 음성 출력을 하도록 제어할 수 있다.
다른 일 실시예에서, 증강 현실 구현 제어부(140)는 3차원 가상 모델의 행위와 관련된 속성을 부여할 수 있다. 예를 들어, 증강 현실 구현 제어부(140)는 3차원 가상 모델에 “손을 흔드는 동작을 수행”하는 속성을 부여하여 3차원 가상 모델이 손을 흔드는 행위를 하도록 제어할 수 있다. 다른 예를 들어, 증강 현실 구현 제어부(140)는 3차원 가상 모델에 “텍스트를 출력하는 동작을 수행”하는 속성을 부여하여 만화 콘텐츠의 말풍선안의 텍스트를 출력하는 행위를 하도록 제어할 수 있다.
증강 현실 구현 제어부(140)는 센서(150)에 의한 센싱 데이터를 이용하여 3차원 가상 모델이 반응할 속성을 부여하여 3차원 가상 모델이 속성에 따라 반응하도록 제어할 수 있다.
일 실시예에서, 증강 현실 구현 제어부(140)는 센서(150)에 의해 온도 정보가 센싱되면 해당 온도 정보에 따라 3차원 가상 모델이 반응하도록 속성을 부여할 수 있다. 예를 들어, 온도 감지 센서에 의한 온도 정보가 0도 이하인 경우, 증강 현실 구현 제어부(140)는 3차원 가상 모델이 “추워서 떠는 동작을 수행”하는 속성을 부여할 수 있다.
다른 일 실시예에서, 증강 현실 구현 제어부(140)는 센서(150)에 의해 소리 정보가 센싱되면 해당 소리 정보에 따라 3차원 가상 모델이 반응하도록 속성을 부여할 수 있다. 예를 들어, 소리 감지 센서에 의한 소리 정보가 특정 레벨 이상인 경우, 증강 현실 구현 제어부(140)는 3차원 가상 모델이 “귀를 막는 동작을 수행”하는 속성을 부여할 수 있다.
증강 현실 구현 제어부(140)는 사용자의 음성에 따른 3차원 가상 모델이 반응할 속성을 부여하여 3차원 가상 모델이 속성에 따라 반응하도록 제어할 수 있다.
일 실시예에서, 증강 현실 구현 제어부(140)는 기 설정된 음성 데이터베이스에서 사용자 음성에 해당하는 답변 음성을 추출하여 3차원 가상 모델이 해당 음성을 출력을 하도록 제어할 수 있다. 예를 들어, 3차원 가상 모델로서 가방이 증강하는 중에 사용자가 “어디서 샀어?”라는 발언을 한 경우, 증강 현실 구현 제어부(140)는 “AAA 몰에서 샀어”라는 음성을 출력하도록 제어할 수 있다.
증강 현실 구현 제어부(140)는 3차원 가상 모델이 반응하는 증강 현실용 만화 콘텐츠의 증강과 함께 재생될 배경 음악 또는 효과 음악을 설정할 수 있다. 예를 들어, 3 차원 가상 모델로서 맥주가 증강하는 경우, 증강 현실 구현 제어부(140)는 맥주와 함께 거품 소리 효과음이 나도록 설정할 수 있다.
증강 현실 구현 제어부(140)는 3차원 가상 모델이 반응하는 증강 현실용 만화 콘텐츠의 내용에 따라 휴대 단말이 진동을 발생시키도록 진동 발생부(미도시됨)을 제어할 수 있다.
일 실시예에서, 증강 현실 구현 제어부(140)는 증강 현실용 만화 콘텐츠의 내용에 따라 휴대 단말이 서로 다른 크기의 진동을 발생시키도록 진동 발생부를 제어할 수 있다. 예를 들어, 3차원 가상 모델이 회전되는 경우, 증강 현실 구현 제어부(140)는 작은 진동을 발생시키도록 진동 발생부를 제어할 수 있다.
다른 일 실시예에서, 증강 현실 구현 제어부(140)는 증강 현실용 만화 콘텐츠의 내용에 따라 휴대 단말이 서로 다른 주기의 진동을 발생시키도록 진동 발생부를 제어할 수 있다. 3차원 가상 모델이 이동하는 경우, 증강 현실 구현 제어부(140)는 작은 주기의 진동을 발생시키도록 진동 발생부를 제어할 수 있다.
증강 현실 구현 제어부(140)는 3차원 가상 모델이 반응하는 증강 현실용 만화 콘텐츠가 증강되는 동안에 사용자의 터치가 입력되면 특정 페이지로 이동되도록 제어할 수 있다. 예를 들어, 가방에 대한 3차원 가상 모델이 증강하는 중에 사용자의 터치가 입력되면, 증강 현실 구현 제어부(140)는 가방을 구매할 수 있는 페이지로 이동시킬 수 있다.
일 실시예에서, 증강 현실 구현 제어부(140)는 사용자의 위치를 기준으로 특정 반경에 있는 상점 정보를 포함하는 페이지로 이동되도록 제어할 수 있다. 예를 들어, 맥주에 대한 3차원 가상 모델이 증강하는 중에 사용자의 터치가 입력되면, 증강 현실 구현 제어부(140)는 사용자의 위치를 기준으로 특정 반경 내에 있는 호프 집, 마트, 백화점 등을 포함하는 페이지로 이동시킬 수 있다.
증강 현실 구현 제어부(140)는 3차원 가상 모델이 반응하는 증강 현실용 만화 콘텐츠가 증강되는 동안에 사용자 조작에 상관없이 증강 현실용 만화 콘텐츠가 디스플레이되도록 제어할 수 있다.
일 실시예에서, 증강 현실 구현 제어부(140)는 3차원 가상 모델이 반응하는 증강 현실용 만화 콘텐츠가 증강되는 동안에 사용자에 의한 휴대 단말이 이동되더라도 증강 현실용 만화 콘텐츠가 디스플레이되고 내장된 카메라 모듈에 의해 인식된 배경이 디스플레이 되도록 제어할 수 있다.
다른 일 실시예에서, 증강 현실 구현 제어부(140)는 3 차원 가상 모델이 반응하는 증강 현실용 만화 콘텐츠가 증강과 내장된 카메라 모듈에 의해 배경이 인식이 동시에 수행되는 중에 사용자 조작에 의해 카메라 촬영이 발생되면 촬영되도록 제어할 수 있다.
센서(150)는 사용자의 휴대 단말 등에 부착된 모바일 센서와 서비스 제공과 관련된 장소에 미리 설치된 환경 센서 등을 포함할 수 있다. 이들 센서는 주변 환경으로부터 데이터, 예를 들면 온도, 습도, 위치, 밝기, 시간 등의 데이터를 수집한다. 한편, 이들 센서는 센싱된 값을 센서의 ID, 센서의 종류, 센서의 상태에 관한 정보를 포함하는 메타 데이터로 변환하는 것이 바람직하다.
디스플레이부(160)는 증강 현실 구현 제어부(140)의 제어에 따라 3차원 가상 모델이 반응하는 증강 현실용 만화 콘텐츠가 증강되는 영상을 디스플레이한다. 이에 따라, 사용자는 디스플레이부(160)를 보면서 3차원 가상 모델이 컨텍스트 정보에 적절한 반응을 보이는지 여부를 확인할 수 있다.
이하에서는 도 2 내지 도 6을 참조하여 증강 현실용 만화 콘텐츠 제작 방법에 대하여 설명한다. 후술할 증강 현실용 만화 콘텐츠 제작 방법은 전술한 증강 현실용 만화 콘텐츠 제작 장치(100)에서 수행되므로, 서로 상응하는 내용에 대해서는 중복하여 설명하지 않으나, 당업자는 전술한 기재로부터 본 발명에 따른 증강 현실용 만화 콘텐츠 제작 방법의 일 실시예를 이해할 수 있을 것이다.
도 2는 본 발명에 따른 증강 현실용 만화 콘텐츠 제작 방법의 일 실시예를 설명하는 도면이다. 도 3 내지 도 6은 도 2의 실행 과정을 설명하기 위한 도면이다. 도 2의 일 실시예는 증강 현실용 만화 콘텐츠를 생성할 수 있는 실시예에 관한 것이다.
도2 내지 도 6을 참조하면, 증강 현실용 만화 콘텐츠 구현 장치(100)는 만화 콘텐츠(300, 400, 500, 600)에 있는 마커(310, 410, 510, 610)를 인식한다(단계 S210). 증강 현실용 만화 콘텐츠 구현 장치(100)는 기 구축된 데이터베이스에서 마커(310, 410, 510, 610)에 해당하는 3차원 가상 모델을 추출하여 로딩한다(단계 S220). 증강 현실용 만화 콘텐츠 구현 장치(100)는 사용자 인터랙티브를 위해 3차원 가상 모델이 반응할 속성을 부여하여 3차원 가상 모델이 속성에 따라 반응하도록 하는 증강 현실용 만화 콘텐츠를 생성한다(단계 S230). 증강 현실용 만화 콘텐츠 구현 장치(100)는 3차원 가상 모델이 반응하는 증강 현실용 만화 콘텐츠가 증강되는 영상을 디스플레이한다(단계 S240).
본 발명의 실시예들은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
지금까지 본 발명에 따른 구체적인 실시예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허 청구의 범위뿐 아니라 이 특허 청구의 범위와 균등한 것들에 의해 정해져야 한다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
이하에서는 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 한다.
본 발명에 따른 증강 현실용 만화 콘텐츠 제작 방법 및 이를 실행하는 장치
를 설명하기에 앞서서 이를 구현하기 위한 기술의 개요를 설명한다.
증강 현실을 구현하기 위한 기본적인 기술은, 레지스트레이션(registration), 트래킹(Tracking), 그리고 카메라 보정(Camera calibration)을 포함한다. 레지스트레이션이란 가상 환경에서 가상 객체를 증강시킬 위치와 증강될 가상 객체를 등록하는 과정을 말한다. 통상적으로는 레지스트레이션을 위하여 현실 환경에 가상 객체를 표상하는 마커(2차원적인 마커, 3차원 이미지, 또는 2차원 이미지를 사용할 수 있음)를 위치시킨 후 해당 마커를 식별하도록 한다.
이를 일반화하여 설명하면, 레지스트레이션을 위하여 현실 세계의 어떤 지점의 3차원 좌표가 필요하며 이 좌표는 카메라를 기준으로 카메라 좌표로 계산될 수 있다. 이러한 3차원 좌표를 얻기 위해서 카메라 입력 영상으로부터 특이점(즉, 마커)을 획득하고 이 특이점의 3차원 좌표를 추적한다. 이를 트래킹이라 하며, 매 영상 프레임 마다 위치를 추적하여 움직이는 카메라의 영상입력에서도 가상의 그래픽 객체의 증강을 가능하게 한다.
한편, 카메라 입력 영상으로부터 획득된 특이점과 카메라의 정확한 상관관계를 계산하기 위해서는 카메라 파라미터를 획득해야 한다. 이 과정을 카메라 보정이라 부른다. 카메라 보정은 카메라의 초점거리 등 내부 변수와 외부 변수를 계산해 내어 카메라 모델을 형성한다.
증강 현실의 저작은 시각 저작, 청각 저작, 촉각 저작, 및 이벤트 저작을 포함할 수 있다. 시각 저작은 독자에게 보여줄 3D 모델의 배치, 이동, 회전, 크기/색상 조작 과정을 거쳐 장면(scene)을 생성한다. 청각 저작은 제작된 장면에 필요한 음향효과를 삽입하는 과정이며 배경음악과 이벤트에 따른 음향 등을 필요한 시기에 들릴 수 있도록 저작한다. 촉각 저작은 독자가 햅틱 장치로 물체를 만졌을 때, 느껴야 하는 재질감, 무게감 등을 입히는 작업이다. 이벤트저작은 조건문을 이용하여 어떠한 조건하에 어떠한 시각적이거나 청각적인 효과가 나타날 것인지를 저작하는 것이다.
도 1은 발명의 일 실시예에 따른 증강 현실용 만화 콘텐츠 구현 장치를 설명하기 위한 블록도이다.
도 1을 참조하면, 증강 현실용 만화 콘텐츠 구현 장치(100)는 촬영된 영상 내의 마커 위에 그 마커와 관련된 각종 정보를 합성해서 표시한다. 예컨대, 본 실시예에 따른 증강 현실용 만화 콘텐츠 구현 장치(100)는 이미지 프로세싱 기반으로 영상 내의 마커를 인식하고 인식된 마커에 대응되는 각종 증강 현실 데이터를 사용자에게 제공하는 것이 가능하다.
본 실시예에 따른 증강 현실용 만화 콘텐츠 구현 장치(100)는 카메라 모듈과 디스플레이 모듈이 구비된 휴대 단말(예컨대, 스마트 폰) 또는 이러한 휴대 단말과 통신 가능하게 연결되는 서버에 적용될 수 있다. 예컨대, 휴대 단말이 어떤 영상을 촬영해서 그 영상 데이터를 서버로 전송하면, 서버는 그 영상 데이터를 처리하고 객체를 인식한 후, 그 객체에 대한 증강 현실 데이터를 휴대 단말로 전송해서 휴대 단말에 증강 현실이 표시되도록 하는 것이 가능하다. 또한, 휴대 단말은 서버의 관여 없이 휴대 단말이 단독으로 증강 현실 데이터를 추출하고 증강 현실을 표시하는 것도 가능하다. 이하에서는, 설명의 편의를 위해서 휴대 단말이 서버의 관여 없이 단독으로 증강 현실 데이터를 추출하고 증강 현실을 표시하는 것을 설명하기로 한다.
증강 현실용 만화 콘텐츠 구현 장치(100)는 영상 획득부(110), 3차원 가상 모델 로딩부(120), 3차원 가상 모델 데이터베이스(130) 및 증강 현실 구현 제어부(140)를 포함하고, 실시예에 따라 센서(150) 및 디스플레이부(160)를 더 포함할 수 있다.
영상 획득부(110)는 실제 환경의 영상을 취득하는 기능을 수행한다. 여기서 실제 환경은 마커를 포함한 실제 만화 콘텐츠일 수 있다. 마커는 전술한 바와 같이 2차원 도안으로 표현된 2차원 마커, 2차원 이미지, 또는 3차원 이미지일 수 있다. 또한, 마커는 문자, 숫자, 기호, 그림 또는 이들의 조합을 이용하여 다양한 형태로 설정될수 있다. 이러한, 마커는 다양한 방식으로 만화 콘텐츠내에 포함될 수 있다.
3차원 가상 모델 로딩부(120)는 선택된 마커에 3차원 가상 모델을 로딩시킨다.
일 실시예에서, 3차원 가상 모델 로딩부(120)는 증강시킬 3차원 가상 모델이 저장된 3차원 가상 모델 데이터베이스(130)를 검색하여 원하는 3차원 가상 모델을 추출하여 로딩시킬 수 있다. 예를 들어, 3차원 가상 모델 로딩부(120)는 3차원 가상 모델 데이터베이스(130)에서 마커에 해당하는 3차원 가상 모델을 추출하여 로딩시킬 수 있다.
3차원 가상 모델 데이터베이스(130)에는 마커에 해당하는 3차원 가상 모델이 저장된다.
일 실시예에서, 3차원 가상 모델 데이터베이스(130)에는 만화 콘텐츠 별로 3차원 가상 모델이 저장될 수 있다. 예를 들어, 3차원 가상 모델 데이터베이스(130)에는 유아 교육용 만화 콘텐츠를 위해서 뽀로로 캐릭터에 대한 3차원 가상 모델이 저장될 수 있다. 다른 예를 들어, 3차원 가상 모델 데이터베이스(130)에는 맥주 광고용 만화 콘텐츠를 위해서 맥주에 대한 3차원 가상 모델이 저장될 수 있다.
증강 현실 구현 제어부(140)는 영상 획득부(110)로부터 입력된 만화 콘텐츠에서 마커를 트래킹하여 증강될 3차원 가상 모델의 저작을 위한 기준 좌표계를 설정하고 수동 조작 장치로부터 입력된 신호를 바탕으로 증강될 가상 객체의 선택과 속성 변경 및 저작이 이루어지도록 하는 기능을 수행한다.
일 실시예에서, 증강 현실 구현 제어부(140)는 영상 획득부(110)로부터 입력된 만화 콘텐츠에서 마커가 존재하면 해당 마커에 대응하여 기 설정된 증강현실구현기능(예를 들어, 3D의 그래픽 모델 렌더링)을 수행하여 3차원 가상 모델을 증상하여 출력하도록 한다.
증강 현실 구현 제어부(140)는 센서(150)에 의한 센싱 데이터를 이용하여 3차원 가상 모델의 형상을 변형하여 로딩하도록 3차원 가상 모델 로딩부(120)를 제어할 수 있다.
일 실시예에서, 증강 현실 구현 제어부(140)는 3차원 가상 모델의 방향 회전(rotation)을 제어할 수 있다. 예를 들어, 증강 현실 구현 제어부(140)는 사용자의 조작에 의해 휴대 단말이 왼쪽으로 회전되어 휴대 단말의 센서(예를 들어, 자이로 센서, 회전 감지 센서 및 움직임 감지 센서)가 휴대 단말의 회전을 감지하면 3차원 가상 모델을 왼쪽 방향으로 회전시킬 수 있다. 다른 예를 들어, 증강 현실 구현 제어부(140)는 사용자의 조작에 의해 휴대 단말이 오른쪽으로 회전되면 3차원 가상 모델을 오른쪽 방향으로 회전시킬 수 있다.
증강 현실 구현 제어부(140)는 사용자의 조작에 따라 3차원 가상 모델의 형상을 변형하여 로딩하도록 3차원 가상 모델 로딩부(120)를 제어할 수 있다.
일 실시예에서, 증강 현실 구현 제어부(140)는 3차원 가상 모델의 위치 이동(translation)을 제어할 수 있다. 보다 구체적으로, 증강 현실 구현 제어부(140)는 사용자 손의 이동 경로의 실제좌표정보를 가상 좌표 정보에 맵핑시키고, 맵핑된 가상좌표정보에 따라 3차원 가상 모델을 이동시킬 수 있다. 예를 들어, 사용자에 의해 휴대 단말 상의 3차원 가상 모델이 터치된 상태에서 왼쪽으로 드레그된 후 드롭된 경우, 증강 현실 구현 제어부(140)는 3차원 가상 모델의 위치를 왼쪽으로 이동시킬 수 있다. 다른 예를 들어, 사용자에 의해 휴대 단말 상의 3차원 가상 모델이 터치된 상태에서 오른쪽으로 드레그된 후 드롭된 경우, 증강 현실 구현 제어부(140)는 3차원 가상 모델의 위치를 오른쪽으로 이동시킬 수 있다.
또 다른 일 실시예에서, 증강 현실 구현 제어부(140)는 3차원 가상 모델의 크기 조정(scale)을 제어할 수 있다. 증강 현실 구현 제어부(140)는 사용자의 조작에 의해 모델 크기 확대 명령이 입력되면 3차원 가상 모델의 크기를 확대시킬 수 있다.
따라서, 증상현실 콘텐츠의 화면상에 존재하는 3차원 가상 모델을 이동시키고자 하는 사용자는 손과 같은 일상적인 도구를 이용하여 증상현실 콘텐츠의 화면상에 존재하는 3차원 가상 모델을 지시/이동시킴으로써 3차원 가상 모델의 위치를 조작할 수 있다.
증강 현실 구현 제어부(140)는 사용자의 조작에 따른 3차원 가상 모델이 반응할 속성을 부여하여 3차원 가상 모델이 속성에 따라 반응하도록 제어할 수 있다.
일 실시예에서, 증강 현실 구현 제어부(140)는 3차원 가상 모델의 행위와 관련된 속성을 부여할 수 있다. 예를 들어, 사용자가 3차원 가상 모델에서 문을 열기 위해 휴대 단말의 화면을 터치하는 경우, 증강 현실 구현 제어부(140)는 3차원 가상 모델에 “문이 열리는 동작을 수행” 하는 속성을 부여할 수 있다.
증강 현실 구현 제어부(140)는 3차원 가상 모델이 반응할 속성을 부여하여 3차원 가상 모델이 속성에 따라 반응하도록 제어할 수 있다.
일 실시예에서, 증강 현실 구현 제어부(140)는 3차원 가상 모델의 음성과 관련된 속성을 부여하여 3차원 가상 모델이 음성 출력을 하도록 제어할 수 있다. 예를 들어, 증강 현실 구현 제어부(140)는 만화 콘텐츠의 텍스트 “안녕? 날씨가 춥지”를 음성으로 출력하도록 3차원 가상 모델에 속성을 부여하여 3차원 가상 모델이 음성 출력을 하도록 제어할 수 있다.
다른 일 실시예에서, 증강 현실 구현 제어부(140)는 3차원 가상 모델의 행위와 관련된 속성을 부여할 수 있다. 예를 들어, 증강 현실 구현 제어부(140)는 3차원 가상 모델에 “손을 흔드는 동작을 수행”하는 속성을 부여하여 3차원 가상 모델이 손을 흔드는 행위를 하도록 제어할 수 있다. 다른 예를 들어, 증강 현실 구현 제어부(140)는 3차원 가상 모델에 “텍스트를 출력하는 동작을 수행”하는 속성을 부여하여 만화 콘텐츠의 말풍선안의 텍스트를 출력하는 행위를 하도록 제어할 수 있다.
증강 현실 구현 제어부(140)는 센서(150)에 의한 센싱 데이터를 이용하여 3차원 가상 모델이 반응할 속성을 부여하여 3차원 가상 모델이 속성에 따라 반응하도록 제어할 수 있다.
일 실시예에서, 증강 현실 구현 제어부(140)는 센서(150)에 의해 온도 정보가 센싱되면 해당 온도 정보에 따라 3차원 가상 모델이 반응하도록 속성을 부여할 수 있다. 예를 들어, 온도 감지 센서에 의한 온도 정보가 0도 이하인 경우, 증강 현실 구현 제어부(140)는 3차원 가상 모델이 “추워서 떠는 동작을 수행”하는 속성을 부여할 수 있다.
다른 일 실시예에서, 증강 현실 구현 제어부(140)는 센서(150)에 의해 소리 정보가 센싱되면 해당 소리 정보에 따라 3차원 가상 모델이 반응하도록 속성을 부여할 수 있다. 예를 들어, 소리 감지 센서에 의한 소리 정보가 특정 레벨 이상인 경우, 증강 현실 구현 제어부(140)는 3차원 가상 모델이 “귀를 막는 동작을 수행”하는 속성을 부여할 수 있다.
증강 현실 구현 제어부(140)는 사용자의 음성에 따른 3차원 가상 모델이 반응할 속성을 부여하여 3차원 가상 모델이 속성에 따라 반응하도록 제어할 수 있다.
일 실시예에서, 증강 현실 구현 제어부(140)는 기 설정된 음성 데이터베이스에서 사용자 음성에 해당하는 답변 음성을 추출하여 3차원 가상 모델이 해당 음성을 출력을 하도록 제어할 수 있다. 예를 들어, 3차원 가상 모델로서 가방이 증강하는 중에 사용자가 “어디서 샀어?”라는 발언을 한 경우, 증강 현실 구현 제어부(140)는 “AAA 몰에서 샀어”라는 음성을 출력하도록 제어할 수 있다.
증강 현실 구현 제어부(140)는 3차원 가상 모델이 반응하는 증강 현실용 만화 콘텐츠의 증강과 함께 재생될 배경 음악 또는 효과 음악을 설정할 수 있다. 예를 들어, 3 차원 가상 모델로서 맥주가 증강하는 경우, 증강 현실 구현 제어부(140)는 맥주와 함께 거품 소리 효과음이 나도록 설정할 수 있다.
증강 현실 구현 제어부(140)는 3차원 가상 모델이 반응하는 증강 현실용 만화 콘텐츠의 내용에 따라 휴대 단말이 진동을 발생시키도록 진동 발생부(미도시됨)을 제어할 수 있다.
일 실시예에서, 증강 현실 구현 제어부(140)는 증강 현실용 만화 콘텐츠의 내용에 따라 휴대 단말이 서로 다른 크기의 진동을 발생시키도록 진동 발생부를 제어할 수 있다. 예를 들어, 3차원 가상 모델이 회전되는 경우, 증강 현실 구현 제어부(140)는 작은 진동을 발생시키도록 진동 발생부를 제어할 수 있다.
다른 일 실시예에서, 증강 현실 구현 제어부(140)는 증강 현실용 만화 콘텐츠의 내용에 따라 휴대 단말이 서로 다른 주기의 진동을 발생시키도록 진동 발생부를 제어할 수 있다. 3차원 가상 모델이 이동하는 경우, 증강 현실 구현 제어부(140)는 작은 주기의 진동을 발생시키도록 진동 발생부를 제어할 수 있다.
증강 현실 구현 제어부(140)는 3차원 가상 모델이 반응하는 증강 현실용 만화 콘텐츠가 증강되는 동안에 사용자의 터치가 입력되면 특정 페이지로 이동되도록 제어할 수 있다. 예를 들어, 가방에 대한 3차원 가상 모델이 증강하는 중에 사용자의 터치가 입력되면, 증강 현실 구현 제어부(140)는 가방을 구매할 수 있는 페이지로 이동시킬 수 있다.
일 실시예에서, 증강 현실 구현 제어부(140)는 사용자의 위치를 기준으로 특정 반경에 있는 상점 정보를 포함하는 페이지로 이동되도록 제어할 수 있다. 예를 들어, 맥주에 대한 3차원 가상 모델이 증강하는 중에 사용자의 터치가 입력되면, 증강 현실 구현 제어부(140)는 사용자의 위치를 기준으로 특정 반경 내에 있는 호프 집, 마트, 백화점 등을 포함하는 페이지로 이동시킬 수 있다.
증강 현실 구현 제어부(140)는 3차원 가상 모델이 반응하는 증강 현실용 만화 콘텐츠가 증강되는 동안에 사용자 조작에 상관없이 증강 현실용 만화 콘텐츠가 디스플레이되도록 제어할 수 있다.
일 실시예에서, 증강 현실 구현 제어부(140)는 3차원 가상 모델이 반응하는 증강 현실용 만화 콘텐츠가 증강되는 동안에 사용자에 의한 휴대 단말이 이동되더라도 증강 현실용 만화 콘텐츠가 디스플레이되고 내장된 카메라 모듈에 의해 인식된 배경이 디스플레이 되도록 제어할 수 있다.
다른 일 실시예에서, 증강 현실 구현 제어부(140)는 3 차원 가상 모델이 반응하는 증강 현실용 만화 콘텐츠가 증강과 내장된 카메라 모듈에 의해 배경이 인식이 동시에 수행되는 중에 사용자 조작에 의해 카메라 촬영이 발생되면 촬영되도록 제어할 수 있다.
센서(150)는 사용자의 휴대 단말 등에 부착된 모바일 센서와 서비스 제공과 관련된 장소에 미리 설치된 환경 센서 등을 포함할 수 있다. 이들 센서는 주변 환경으로부터 데이터, 예를 들면 온도, 습도, 위치, 밝기, 시간 등의 데이터를 수집한다. 한편, 이들 센서는 센싱된 값을 센서의 ID, 센서의 종류, 센서의 상태에 관한 정보를 포함하는 메타 데이터로 변환하는 것이 바람직하다.
디스플레이부(160)는 증강 현실 구현 제어부(140)의 제어에 따라 3차원 가상 모델이 반응하는 증강 현실용 만화 콘텐츠가 증강되는 영상을 디스플레이한다. 이에 따라, 사용자는 디스플레이부(160)를 보면서 3차원 가상 모델이 컨텍스트 정보에 적절한 반응을 보이는지 여부를 확인할 수 있다.
이하에서는 도 2 내지 도 6을 참조하여 증강 현실용 만화 콘텐츠 제작 방법에 대하여 설명한다. 후술할 증강 현실용 만화 콘텐츠 제작 방법은 전술한 증강 현실용 만화 콘텐츠 제작 장치(100)에서 수행되므로, 서로 상응하는 내용에 대해서는 중복하여 설명하지 않으나, 당업자는 전술한 기재로부터 본 발명에 따른 증강 현실용 만화 콘텐츠 제작 방법의 일 실시예를 이해할 수 있을 것이다.
도 2는 본 발명에 따른 증강 현실용 만화 콘텐츠 제작 방법의 일 실시예를 설명하는 도면이다. 도 3 내지 도 6은 도 2의 실행 과정을 설명하기 위한 도면이다. 도 2의 일 실시예는 증강 현실용 만화 콘텐츠를 생성할 수 있는 실시예에 관한 것이다.
도2 내지 도 6을 참조하면, 증강 현실용 만화 콘텐츠 구현 장치(100)는 만화 콘텐츠(300, 400, 500, 600)에 있는 마커(310, 410, 510, 610)를 인식한다(단계 S210). 증강 현실용 만화 콘텐츠 구현 장치(100)는 기 구축된 데이터베이스에서 마커(310, 410, 510, 610)에 해당하는 3차원 가상 모델을 추출하여 로딩한다(단계 S220). 증강 현실용 만화 콘텐츠 구현 장치(100)는 사용자 인터랙티브를 위해 3차원 가상 모델이 반응할 속성을 부여하여 3차원 가상 모델이 속성에 따라 반응하도록 하는 증강 현실용 만화 콘텐츠를 생성한다(단계 S230). 증강 현실용 만화 콘텐츠 구현 장치(100)는 3차원 가상 모델이 반응하는 증강 현실용 만화 콘텐츠가 증강되는 영상을 디스플레이한다(단계 S240).
본 발명의 실시예들은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
지금까지 본 발명에 따른 구체적인 실시예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허 청구의 범위뿐 아니라 이 특허 청구의 범위와 균등한 것들에 의해 정해져야 한다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (8)

  1. 만화 콘텐츠에 있는 마커를 인식하는 마커 인식부;
    기 구축된 데이터베이스에서 상기 마커에 해당하는 3차원 가상 모델을 추출하여 로딩하는 3차원 가상 모델 로딩부; 및
    상기 마커 인식부에 의해 마커가 인식되면 상기 마커에 3차원 가상 모델을 로딩하도록 모델 로딩부를 제어하고, 사용자 조작에 따라 상기 3차원 가상 모델의 형상을 변경하여 로딩하도록 모델 로딩부를 제어하고, 사용자 인터랙티브를 위해 상기 3차원 가상 모델이 반응할 속성을 부여하여 증강 현실용 만화 콘텐츠를 생성하는 증강 현실 구현 제어부를 포함하는 증강 현실용 만화 콘텐츠 제작 장치.
  2. 제1항에 있어서, 상기 증강 현실 구현 제어부는
    사용자에 의해 휴대 단말이 회전되어 센서가 휴대 단말의 회전을 감지하면 상기 3차원 가상 모델의 방향 회전(rotation)을 제어하고, 상기 사용자에 의한 위치 이동 명령에 따라 상기 3차원 가상 모델의 위치 이동(translation)을 제어하고, 상기 사용자에 의한 크기 조정 명령에 따라 상기 3차원 가상 모델의 방향 회전(rotation)을 제어하고,
    상기 센서는 자이로 센서, 회전 감지 센서 및 움직임 감지 센서 중 적어도 하나를 포함하는 것을 특징으로 하는 증강 현실용 만화 콘텐츠 제작 장치.
  3. 제1항에 있어서, 상기 증강 현실 구현 제어부는
    상기 사용자 조작 및 상기 센서에 의한 데이터에 따라 상기 3차원 가상 모델의 행위 및 음성 중 적어도 하나와 관련된 속성을 부여하여 3차원 가상 모델이 속성에 따라 반응하도록 제어하고,
    상기 센서는 온도 감지 센서, 습도 감지 센서 및 소리 감지 센서 중 적어도 하나를 포함하고,
    상기 사용자 조작은 터치 및 드래그 앤 드롭(drag-and-drop) 중 적어도 하나를 포함하는 것을 특징으로 하는 증강 현실용 만화 콘텐츠 제작 장치.
  4. 제1항에 있어서,
    상기 3차원 가상 모델은 특정 페이지로 이동하기 위한 주소 정보를 포함하고,
    상기 증강 현실 구현 제어부는 3차원 가상 모델이 반응하는 증강 현실용 만화 콘텐츠가 증강되는 동안에 사용자의 터치가 입력되면 특정 페이지로 이동되도록 제어하는 것을 특징으로 하는 증강 현실용 만화 콘텐츠 제작 장치.
  5. 증강 현실용 만화 콘텐츠 제작 장치에서 실행되는 증강 현실용 만화 콘텐츠 제작 방법에 있어서,
    만화 콘텐츠에 있는 마커를 인식하면 기 구축된 데이터베이스에서 상기 마커에 해당하는 3차원 가상 모델을 추출하여 로딩하는 단계;
    사용자 인터랙티브를 위해 상기 3차원 가상 모델이 반응할 속성을 부여하여 3차원 가상 모델이 속성에 따라 반응하도록 하는 증강 현실용 만화 콘텐츠를 생성하는 단계; 및
    상기 3차원 가상 모델이 반응하는 증강 현실용 만화 콘텐츠가 증강되는 영상을 디스플레이하고, 상기 영상이 디스플레이되는 동안에 사용자 조작이 수신되면 상기 사용자 조작에 따라 3차원 가상 모델의 형상을 변경하여 로딩하는 단계를 포함하는 증강 현실용 만화 콘텐츠 제작 방법
  6. 제5항에 있어서, 상기 3차원 가상 모델의 형상을 변경하여 로딩하는 단계는
    사용자에 의해 휴대 단말이 회전되어 센서가 휴대 단말의 회전을 감지하면 상기 3차원 가상 모델의 방향 회전(rotation)을 제어하는 단계;
    상기 사용자에 의한 위치 이동 명령에 따라 상기 3차원 가상 모델의 위치 이동(translation)을 제어하는 단계; 및
    상기 사용자에 의한 크기 조정 명령에 따라 상기 3차원 가상 모델의 방향 회전(rotation)을 제어하는 단계를 포함하고,
    상기 센서는 자이로 센서, 회전 감지 센서 및 움직임 감지 센서 중 적어도 하나를 포함하고,
    상기 사용자 조작은 터치 및 드래그 앤 드롭(drag-and-drop) 중 적어도 하나를 포함하는 것을 특징으로 하는 증강 현실용 만화 콘텐츠 제작 방법
  7. 제5항에 있어서, 상기 3차원 가상 모델이 속성에 따라 반응하도록 하는 증강 현실용 만화 콘텐츠를 생성하는 단계는
    상기 사용자 조작 및 상기 센서에 의한 데이터에 따라 상기 3차원 가상 모델의 행위 및 음성 중 적어도 하나와 관련된 속성을 부여하여 3차원 가상 모델이 속성에 따라 반응하도록 하는 증강 현실용 만화 콘텐츠를 생성하는 단계를 포함하고,
    상기 센서는 온도 감지 센서, 습도 감지 센서 및 소리 감지 센서 중 적어도 하나를 포함하고,
    상기 사용자 조작은 터치 및 드래그 앤 드롭(drag-and-drop) 중 적어도 하나를 포함하는 것을 특징으로 하는 증강 현실용 만화 콘텐츠 제작 장치.
  8. 제5항에 있어서,
    상기 3차원 가상 모델은 특정 페이지로 이동하기 위한 주소 정보를 포함하고,
    3차원 가상 모델이 반응하는 증강 현실용 만화 콘텐츠가 증강되는 영상이 디스플레이되는 동안에 사용자의 터치가 입력되면 특정 페이지로 이동시키는 단계를 더 포함하는 것을 특징으로 하는 증강 현실용 만화 콘텐츠 제작 장치.
KR1020120147016A 2012-12-17 2012-12-17 증강 현실이 구현된 만화책 KR20140078083A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120147016A KR20140078083A (ko) 2012-12-17 2012-12-17 증강 현실이 구현된 만화책

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120147016A KR20140078083A (ko) 2012-12-17 2012-12-17 증강 현실이 구현된 만화책

Publications (1)

Publication Number Publication Date
KR20140078083A true KR20140078083A (ko) 2014-06-25

Family

ID=51129763

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120147016A KR20140078083A (ko) 2012-12-17 2012-12-17 증강 현실이 구현된 만화책

Country Status (1)

Country Link
KR (1) KR20140078083A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101630404B1 (ko) * 2015-01-29 2016-06-14 네이버 주식회사 만화 데이터 표시 장치 및 방법
KR101682215B1 (ko) 2015-05-26 2016-12-02 (주)펀퍼니브라더스 가상현실 vr 웹툰의 제공 장치 및 방법
KR20190061696A (ko) * 2017-11-28 2019-06-05 주식회사 디앤피코퍼레이션 스마트 폰의 움직임 구동에 의한 인터랙티브 ａｒ／ｍｒ 구현 장치 및 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101630404B1 (ko) * 2015-01-29 2016-06-14 네이버 주식회사 만화 데이터 표시 장치 및 방법
WO2016122095A1 (ko) * 2015-01-29 2016-08-04 네이버 주식회사 만화 데이터 표시 장치 및 방법
US10698576B2 (en) 2015-01-29 2020-06-30 Naver Corporation Device and method for displaying layers of cartoon data based on detected conditions
KR101682215B1 (ko) 2015-05-26 2016-12-02 (주)펀퍼니브라더스 가상현실 vr 웹툰의 제공 장치 및 방법
KR20190061696A (ko) * 2017-11-28 2019-06-05 주식회사 디앤피코퍼레이션 스마트 폰의 움직임 구동에 의한 인터랙티브 ａｒ／ｍｒ 구현 장치 및 방법

Similar Documents

Publication Publication Date Title
US9437038B1 (en) Simulating three-dimensional views using depth relationships among planes of content
US9224237B2 (en) Simulating three-dimensional views using planes of content
US9591295B2 (en) Approaches for simulating three-dimensional views
JP7337104B2 (ja) 拡張現実によるモデル動画多平面インタラクション方法、装置、デバイス及び記憶媒体
CN105637564B (zh) 产生未知对象的扩增现实内容
Romli et al. Mobile augmented reality (AR) marker-based for indoor library navigation
Ha et al. Digilog book for temple bell tolling experience based on interactive augmented reality
CN102270275B (zh) 在虚拟环境中选择对象的方法和多媒体终端
JP7008730B2 (ja) 画像に挿入される画像コンテンツについての影生成
US20190369742A1 (en) System and method for simulating an interactive immersive reality on an electronic device
US8983184B2 (en) Vision image information storage system and method thereof, and recording medium having recorded program for implementing method
US20140002443A1 (en) Augmented reality interface
TW201816548A (zh) 虛擬實境交互方法、裝置與系統
CN113721804A (zh) 一种显示方法、装置、电子设备及计算机可读存储介质
US20220335661A1 (en) System and method for playback of augmented reality content triggered by image recognition
CN113359986B (zh) 增强现实数据展示方法、装置、电子设备及存储介质
US20210271883A1 (en) Methods and apparatus for projecting augmented reality enhancements to real objects in response to user gestures detected in a real environment
KR102171691B1 (ko) 증강현실 기반 3d 프린터 유지보수 방법 및 시스템
CN113867531A (zh) 交互方法、装置、设备及计算机可读存储介质
CN114514493A (zh) 增强设备
KR20140078083A (ko) 증강 현실이 구현된 만화책
CN109582134A (zh) 信息显示的方法、装置及显示设备
Feitl et al. Accessible electrostatic surface haptics: towards an interactive audiotactile map interface for people with visual impairments
CN117897682A (zh) 在物理表面上显示数字媒体内容
KR102388715B1 (ko) 문화유적복원 실감 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application