KR101543287B1 - 현실 객체의 물리적 동작-증강 현실 상호작용형 전자책 시스템 및 구현 방법 - Google Patents

현실 객체의 물리적 동작-증강 현실 상호작용형 전자책 시스템 및 구현 방법 Download PDF

Info

Publication number
KR101543287B1
KR101543287B1 KR1020130044798A KR20130044798A KR101543287B1 KR 101543287 B1 KR101543287 B1 KR 101543287B1 KR 1020130044798 A KR1020130044798 A KR 1020130044798A KR 20130044798 A KR20130044798 A KR 20130044798A KR 101543287 B1 KR101543287 B1 KR 101543287B1
Authority
KR
South Korea
Prior art keywords
information
image
real
unit
virtual object
Prior art date
Application number
KR1020130044798A
Other languages
English (en)
Other versions
KR20140126529A (ko
Inventor
우운택
길경원
김재인
시정곤
이형묵
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020130044798A priority Critical patent/KR101543287B1/ko
Publication of KR20140126529A publication Critical patent/KR20140126529A/ko
Application granted granted Critical
Publication of KR101543287B1 publication Critical patent/KR101543287B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 현실 객체의 물리적 동작-증강 현실 상호작용형 전자책 시스템 및 구현 방법은, 사용자가 제공하는 현실 객체의 물리적 동작과 전자책이 표상하는 객체의 정보를 종합적으로 분석하고, 분석된 결과에 대응되는 가상 객체를 포함하는 증강 현실을 제공하여, 사용자의 참여를 유도하고 직관적인 방법으로 사용 가능한 전자책 시스템 및 구현 방법을 제공함으로써, 사용자의 편의를 극대화시키고, 사용자 행위에 즉각적으로 대응한다는 측면에서 어린이/청소년 사용자들의 흥미를 유발하고, 높은 몰입갑을 제공함으로써 인지적 능력을 향상시키는 긍정적 교육 효과를 가진다.

Description

현실 객체의 물리적 동작-증강 현실 상호작용형 전자책 시스템 및 구현 방법{Physical Movement of Object on Reality-Augmented Reality Interaction System and Implementation Method for Electronic book}
본 발명은 물리적 공간(physical space) 현실에서의 객체의 물리적 동작-증강 현실 상호작용형 전자책 시스템 및 구현 방법에 관한 것으로, 사용자가 제공하는 객체의 물리적 동작과 전자책이 표상하는 객체의 정보를 종합적으로 분석하고, 분석된 결과에 대응되는 가상 객체를 포함하는 증강 현실을 제공하는, 사용자의 참여를 유도하고 직관적인 방법으로 사용 가능한 전자책 시스템 및 구현 방법에 관한 것이다.
최근 무선 통신망의 발달과 모바일 기기의 보급에 따라 종이책에 대한 수요는 감소하는 반면, 전자책(e-book)에 대한 수요는 급속도로 증가하고 있다(노준석, "세계 전자책(e-book) 시장의 현황과 이슈 분석", 12호(통권 60호), 한국 콘텐츠 진흥원, 2012). 미국 시장의 경우, 종이책에 비해 전자책 시장의 성장률이 높게 나타나며, 특히 어린이/청소년을 위한 전자책의 시장은 매우 높은 성장률을 나타내고 있다(S. Andi, "Publishing industry has strong January revenue growth in print books and ebooks for all audience", Association of American Publishers, 2010). 이에 따라 교육 콘텐츠 업계의 전자책에 대한 관심이 점점 커지고 있으며, 아이들을 위한 전자책 콘텐츠의 연구 개발에 대한 필요성 또한 더욱 증대되고 있는 상황이다.
한편, 컴퓨터 그래픽 기술을 기반으로 하는 증강 현실에 관한 기술이 발전함에 따라, 증강 현실 시스템과 전자책 콘텐츠를 결합한 다양한 전자책 제작이 시도되었다. 주로 전자책에 특수한 형태를 가지는 마커를 삽입하거나, 그림의 특징(feature)을 이용하여 전자책의 그림을 인식한 후, 대응되는 가상 객체를 현실 영상에 중첩하여 디스플레이 장치를 통해 보여주는 방식이 사용되었다.
그러나 기존의 증강 현실 시스템과 융합된 전자책 콘텐츠를 살펴보면, '브루즈 시리즈', '신데렐라'와 같이 사용자와의 상호작용에 있어 단순히 태블릿 PC를 터치하는 방법이 사용되거나, 사용자가 모바일 기기의 카메라를 통해 책을 비추면 움직이는 그림이나 비디오가 재생되는 방법이 사용되어, 사용자에게 직관적인 입력 환경을 제공할 수 없으며, 특히 사용자의 참여가 중요한 요소인 어린이/청소년용 콘텐츠에 있어 효과적인 사용자의 참여를 이끌어낼 수 없다는 문제점이 제기되어 왔다.
상기와 같은 문제점을 해결하기 위하여 본 발명은, 사용자의 참여를 유도할 수 있고, 직관적인 방법으로 사용 가능한 전자책 시스템 및 구현 방법을 제공하는 것을 그 목적으로 한다.
상기 목적을 달성하기 위해 본 발명은, 물리적으로 동작할 수 있는 현실 객체와 전자책을 포함한 실제 환경에 대한 영상을 획득하는 영상 획득부;
상기 영상 획득부에서 획득된 상기 영상으로부터 상기 현실 객체의 물리적 동작 정보를 추출하는 물리적 동작 정보 추출부;
상기 영상 획득부에서 획득된 상기 영상으로부터 상기 전자책 정보를 추출하는 전자책 정보 추출부;
상기 물리적 동작 정보 추출부에서 추출된 상기 물리적 동작 정보와 상기 전자책 정보 추출부에서 추출된 상기 전자책 정보를 종합한 후, 대응되는 가상 객체를 상기 실제 환경에 중첩하여 디스플레이 가능한 신호로 변환하는 증강 현실 제공부; 및
상기 증강 현실 제공부로부터 상기 신호를 전송받아 디스플레이하는 디스플레이부를 포함하는 것을 특징으로 하는 전자책 시스템을 제공한다.
본 발명의 일실시예에 따르면, 상기 영상 획득부는 RGB-D 카메라 센서를 이용한 영상 획득 장치를 통해 영상을 획득하는 것을 특징으로 한다.
본 발명의 일실시예에 따르면, 상기 물리적 동작 정보 추출부는 현실 객체가 존재하지 않았을 때의 배경 영상과 현실 객체가 존재하는 상황에서의 영상의 디지털 신호의 차이를 통해, 배경 영상으로부터 현실 객체의 영상 정보를 분리(segmentation)하고, 분리된 현실 객체의 영상 정보에 대응되는 객체 정보를 추출하는 것을 특징으로 한다.
이때, 상기 물리적 동작 정보 추출부는 영상 획득부로부터 전달받은 영상으로부터 현실 객체가 포함된 영역을 분리하는 전처리 단계를 더 포함할 수 있다.
또한, 상기 객체 정보는 객체의 움직임에 관한 정보를 더 포함할 수 있다.
상기 객체 정보를 추출하는 방법으로는 상기 분리된 현실 객체의 바운더리(boundary) 정보가 사용될 수 있다.
본 발명의 일실시예에 따르면, 상기 전자책 정보 추출부는 상기 영상 획득부로부터 전달받은 영상으로부터 전자책이 포함된 영역을 분리한 후, 상기 전자책에 대응되는 객체 정보를 추출하는 것을 특징으로 한다.
이때, 상기 객체 정보를 추출하는 방법으로는 마커 인식 방법 또는 프레임 매칭 방법이 사용될 수 있다.
본 발명의 일실시예에 따르면, 상기 증강 현실 제공부는 상기 물리적 동작 정보 추출부에서 추출된 상기 물리적 동작 정보와 상기 전자책 정보 추출부에서 추출된 상기 전자책 정보를 비교한 후, 대응되는 가상 객체가 동일한 경우 상기 대응되는 가상 객체를 상기 실제 환경에 중첩하여 디스플레이 가능한 영상 신호로 변환하는 것을 특징으로 한다.
본 발명의 일실시예에 따르면, 상기 디스플레이부는 시각 디스플레이 장치 및 청각 디스플레이 장치 중 어느 하나 이상의 장치를 포함하는 것을 특징으로 한다.
본 발명의 일실시예에 따르면, 상기 시각 디스플레이 장치는 실제 환경에 3차원 가상 객체가 증강된 영상을 출력하는 것을 특징으로 한다.
본 발명의 일실시예에 따르면, 상기 전자책 시스템은 상기 현실 객체가 움직임을 가지는 경우 상기 현실 객체의 움직임에 관한 정보를 상기 대응되는 가상 객체에 실시간으로 반영시키는 것을 특징으로 한다.
본 발명의 일실시예에 따르면, 상기 전자책 시스템은 상기 물리적 동작 정보 추출 과정과 상기 전자책 정보 추출 과정이 2 개의 쓰레드(thread)를 통해 동시에 이루어지는 것을 특징으로 한다.
또한 상기 목적을 달성하기 위해 본 발명은, 현실 객체의 물리적 동작-증강 현실 상호작용형 전자책 구현 방법에 있어서,
물리적으로 동작할 수 있는 현실 객체와 전자책을 포함한 실제 환경에 대한 영상을 획득하는 단계;
상기 획득된 영상으로부터 상기 현실 객체의 물리적 동작 정보를 추출하는 단계;
상기 획득된 영상으로부터 상기 전자책 정보를 추출하는 단계;
상기 물리적 동작 정보와 상기 전자책 정보를 종합한 후, 대응되는 가상 객체를 상기 실제 환경에 중첩하여 디스플레이 가능한 신호로 변환하는 단계; 및
상기 신호를 전송받아 디스플레이하는 단계를 포함하는 것을 특징으로 하는 전자책 구현 방법을 제공한다.
본 발명에 따른 전자책 시스템 및 구현 방법은, 사용자가 제공하는 현실 객체의 물리적 동작을 분석하고, 분석된 정보에 대응되는 가상 객체를 포함하는 증강 현실을 제공함으로써, 사용자의 참여를 유도하고 직관적인 방법으로 사용 가능하게 하여, 사용자의 편의를 극대화시키는 효과가 있다. 또한, 사용자 행위에 즉각적으로 대응한다는 측면에서 어린이/청소년 사용자들의 흥미를 유발하고, 높은 몰입갑을 제공함으로써 인지적 능력을 향상시키는 긍정적 교육 효과를 가진다.
도 1은 본 발명의 일실시예에 따른 전자책 시스템의 구성을 개략적으로 나타낸 구성도이다.
도 2는 본 발명의 일실시예에 따른 현실 객체의 물리적 동작-증강 현실 상호작용형 전자책 시스템을 나타낸 사진이다.
도 3은 본 발명의 일실시예에 따른 현실 객체의 물리적 동작-증강 현실 상호작용형 전자책 시스템의 동작 방식을 나타낸 흐름도이다.
도 4는 본 발명의 일실시예에 따른 현실 객체의 물리적 동작 정보 추출 방식을 나타낸 그림이다.
도 5는 본 발명의 일실시예에 따른 디스플레이부의 디스플레이 장면을 나타낸 사진이다.
도 6은 본 발명의 일실시예에 따른 현실 객체의 물리적 동작-증강 현실 상호작용형 전자책 구현 방법의 동작 방식을 나타낸 흐름도이다.
도 7은 본 발명의 일실시예에 따른 현실 객체의 물리적 동작 정보 추출 단계의 구체적인 동작 방식을 나타낸 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 객체의 물리적 동작-증강 현실 상호작용형 전자책 시스템 및 구현 방법을 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 전자책 시스템의 구성을 개략적으로 나타낸 구성도이다. 상기 구성도를 참조하면, 본 발명의 일실시예에 따른 전자책 시스템은, 영상 획득부(110), 물리적 동작 정보 추출부(120), 전자책 정보 추출부(130), 증강 현실 제공부(140) 및 디스플레이부(150)를 포함한다.
영상 획득부(110)는 물리적으로 동작할 수 있는 현실 객체(112)와 전자책(114)을 포함한 실제 환경(116)에 대한 영상을 획득한다. 이때, 상기 현실 객체(112)에는 구체적인 형태를 지닌 유형물로 움직임을 표현할 수 있는 것이라면 모두 포함되는 것으로, 예를 들어 사물이나 사람의 손이 포함될 수 있으며, 특정 사물의 모습을 묘사하거나 움직임을 표현하는 방식으로 사용될 수 있다. 다만, 상기 현실 객체(112)는 사물과 사람을 모두 포함할 수 있는 것으로, 전술한 바에 한정되는 것은 아니다.
상기 전자책(114)은 인쇄 매체 또는 전자 매체일 수 있다. 상기 인쇄 매체에는 2차원 또는 3차원으로 표현된 도안이 포함될 수 있으며, 상기 전자 매체에는 타블렛 PC 등의 2차원 또는 3차원으로 도안을 표현할 수 있는 전자 기기가 포함될 수 있다. 이때, 전자책(114)의 상기 도안에는 가상 객체를 표상하는 마커가 구비되어 있을 수 있다. 상기 마커는 가상 객체를 표상하기 위하여 전자책(114)에 구비되는 것으로, 2차원 도안으로 표현된 2차원 마커, 2차원 이미지, 3차원 이미지, 비가시적 마커(Invisible Marker) 중 어느 하나일 수 있다. 다만, 전자책(114)의 도안을 인식하는 방법으로, 마커를 사용하지 않고 도안의 프레임 매칭을 통해 도안이 표상하는 가상 객체를 인식하는 방법이 사용될 수 있으므로, 상기 마커가 반드시 포함되는 것은 아니다.
상기 영상 획득은 영상 획득 장치(118)를 통해 이루어지며, 상기 영상 획득 장치(118)는 물리적으로 동작할 수 있는 현실 객체(112)와 전자책(114)을 포함한 실제 환경(116)에 대한 영상을 획득하여 물리적 동작 정보 추출부(120)와 전자책 정보 추출부(130)로 전달하는 기능을 수행한다. 상기 영상 획득 장치(118)로는, 카메라 또는 캠코더가 사용될 수 있으며, 예를 들어 영상의 RGB값을 측정하는 외에도 깊이(Depth) 값을 측정할 수 있는 RGB-D 센서를 이용한 카메라가 사용될 수 있다. 상기 영상 획득 장치(118)로는, 실제 환경(116)의 영상을 전자 신호로 변환할 수 있는 장비라면 어떤 장비라도 사용될 수 있으므로 전술한 바에 한정되는 것은 아니다.
물리적 동작 정보 추출부(120)와 전자책 정보 추출부(130)는 상기 영상 획득부(110)로부터 전달받은 영상 정보로부터 현실 객체(112)의 물리적 동작에 관한 정보와 전자책(114)의 도안에 관한 정보를 분리하여, 증강 현실 제공부(140)로 전달한다. 이때, 상기 물리적 동작 정보 추출부(120)의 물리적 동작 정보 추출 과정와 전자책 정보 추출부(130)의 전자책 정보 추출 과정은, 1 개의 쓰레드(thread)를 이용하여 순차적으로 이루어질 수 있으며, 2 개의 쓰레드(thread)를 이용하여 동시에 이루어질 수도 있다. 상기 쓰레드(thread)는 컴퓨터 프로그램 수행 시 프로세스 내부에 존재하는 수행 경로를 의미하는 것으로, 2 개의 쓰레드(thread)가 하나의 운영 체제 내에서 동시에 수행될 수 있다.
물리적 동작 정보 추출부(120)가 상기 영상 정보로부터 현실 객체(112)의 물리적 동작에 관한 정보를 추출하기 위한 방법으로는, 영상 정보로부터 현실 객체(112)가 포함된 영역을 분리한 후, 현실 객체가(112) 존재하지 않았을 때의 영상 정보와 현실 객체가(112)가 존재하는 상황에서의 영상 정보의 디지털 신호의 차이를 통해, 해당 영역의 영상 정보로부터 현실 객체(112)에 대한 영상 정보를 분리(segmentation)하는 방법이 사용될 수 있다. 이때, 영상 정보로부터 현실 객체(112)가 포함된 영역을 분리하는 방법으로는, 사용자가 미리 영상의 일정 부분을 현실 객체(112)가 포함된 영역으로 설정해 둔 후, 해당되는 영역을 분리하는 방법이 사용되거나, 전체 영상 정보로부터 현실 객체(112)가 존재하는 영역을 인식한 후, 현실 객체(112)를 포함하는 주변 영역을 자동으로 분리하는 방법이 사용될 수 있으나, 이에 제한되는 것은 아니다.
상기 영상 정보를 분리(segmentation)한 후에는, 해당 영상 정보로부터 특징(feature) 값을 추출(extraction)하는 과정이 더 포함될 수 있다. 상기 특징(feature) 값으로는, 추출된 분리된 현실 객체(112)에 대한 영상의 바운더리(boundary) 정보가 사용될 수 있는데, 구체적으로는 바운더리(boundary) 정보의 꼭지점 개수가 사용될 수 있으며, 예를 들어 Convex Hull Algorithm을 이용하여 구해진 껍질(hull)의 개수와 결점(defect)의 개수가 사용될 수 있다. 이때, 상기 물리적 동작 정보 추출부(120)가 추출하는 상기 물리적 동작 정보는, 상기 추출(extraction)된 특징(feature) 값에 대응하는 객체 정보와, 객체의 움직임에 대한 정보를 포함할 수 있으며, 상기 움직임에 대한 정보는 상기 분리된 현실 객체(112)가 포함된 영역에서의 분리된 현실 객체(112)의 상대적 위치 정보일 수 있다. 다만, 상기 Convex Hull Algorithm은 빠른 속도로 현실 객체(112)의 특징(feature) 값을 추출하기 위하여 선택된 하나의 알고리즘에 불과한 것으로, 상기 물리적 동작 정보를 추출하는 방법으로는 현실 객체(112)의 특징(feature)을 나타내는 방법이라면 어떤 방법이라도 사용될 수 있으며, 따라서 전술한 바에 한정되는 것은 아니다.
전자책 정보 추출부(130)는 인쇄 매체 또는 전자 매체의 도안에 대한 정보를 추출한다. 만약 상기 도안에 가상 객체를 표상하는 마커가 구비되어 있다면, 마커 인식 방법이 사용될 수 있으며, 마커 인식 방법은 상기 마커에 직접적으로 대응되는 객체 정보를 데이터베이스로부터 찾아내는 방식으로 수행될 수 있다. 마커가 구비되어 있지 않을 경우에는, 도안의 프레임 매칭 방법을 통해 대응되는 객체 정보를 찾아낼 수 있다. 상기 프레임 매칭을 하는 방법으로는, SIFT(Scale Invariant Feature Transform) 알고리즘을 사용하여 도안의 특징(feature) 값을 추출(extraction)한 후 특징(feature) 값을 데이터베이스에 저장되어 있는 것과 비교한 후, 가장 높은 상관관계를 가지는 객체를 탐색하는 방법이 사용될 수 있다. 상기 마커 또는 프레임 매칭을 통해 도안에 대응하는 객체 탐색이 완료되면, 해당 객체의 정보를 증강 현실 제공부(140)로 전달할 수 있다. 따라서 상기 전자책 정보 추출부(130)에 의해 추출되는 도안에 대한 정보는, 상기 마커 또는 프레임 매칭 결과에 대응하는 객체 정보와, 도안의 상대적 위치 정보를 포함할 수 있다. 다만, 상기 SIFT(Scale Invariant Feature Transform) 알고리즘은 현실 객체(112)의 특징(feature) 값을 추출하기 위하여 선택된 하나의 알고리즘에 불과한 것으로, 그 외에도 SURF(Speeded Up Robust Feature) 알고리즘, PCA-SIFT(Principal Component Analysis based SIFT) 알고리즘, FAST(Feature from Accelerated Segment Test) 알고리즘 등이 사용될 수 있는 것으로, 전술한 바에 한정되는 것은 아니다.
증강 현실 제공부(140)는 상기 물리적 동작 정보 추출부(120)와 전자책 정보 추출부(130)로부터 전달받은 정보를 종합하여 표상하는 가상 객체를 찾아낸 후, 가상 객체를 상기 실제 환경(116)에 중첩하여 디스플레이 가능한 신호로 변환하여 디스플레이부(150)로 전달하는 기능을 수행한다.
상기 증강 현실 제공부(140)가 상기 물리적 동작 정보 추출부(120)로부터 전달 받는 정보에는, 현실 객체(112)에 대응되는 객체 정보와 현실 객체의 위치 정보가 포함될 수 있으며, 상기 증강 현실 제공부(140)가 상기 전자책 정보 추출부(130)로부터 전달받은 정보에는 전자책(114)의 도안에 대응되는 객체 정보와 도안의 위치 정보가 포함될 수 있다.
상기 증강 현실 제공부(140)는 상기 물리적 동작 정보 추출부(120)에서 전달받은 객체 정보와, 상기 전자책 정보 추출부(130)에서 전달받은 객체 정보를 비교한 후, 양 객체 정보가 동일한 경우에만 해당 객체 정보가 표상하는 가상 객체를 상기 실제 환경(116)에 중첩하여 디스플레이 가능한 신호로 변환하여 디스플레이부(150)로 전달할 수 있다. 이때, 상기 가상 객체는, 상기 증강 현실 제공부(140)가 전달받은 현실 객체(112)의 위치 정보 또는 전자책(114)의 위치 정보에 대응하는 위치에 중첩될 수 있으나, 사용자가 원하는 어느 위치에도 중첩될 수 있는 것으로 이에 제한되는 것은 아니다. 만약 양 객체 정보가 동일하지 않거나, 상기 물리적 동작 정보 추출부(120) 또는 상기 전자책 정보 추출부(130)로부터 대응하는 객체 정보를 전달받지 못하여 표상하는 가상 객체를 찾을 수 없는 경우에는, 가상 객체를 중첩시키지 않은 실제 환경(116)에 대한 영상 정보만 디스플레이 가능한 신호로 변환하여 디스플레이부(150)로 전달할 수 있다.
상기 물리적 동작 정보 추출부(120), 전자책 정보 추출부(130), 증강 현실 제공부(140)는 기능에 따라 구분한 것이고, 각 구성은 하나의 소프트웨어의 모듈로 구현 가능하나, 이에 제한되는 것은 아니다.
디스플레이부(150)는 시각 디스플레이 장치(152) 및 청각 디스플레이 장치(154) 중 적어도 어느 하나를 포함한다. 상기 시각 디스플레이 장치(152)로는 상기 영상 획득부(110)에서 획득된 실제 환경(116)에, 상기 증강 현실 제공부(140)에 의하여 제공되는 2차원 또는 3차원 이미지, 홀로그램(hologram), 혹은 동영상 형태의 가상 객체가 증강되어 출력된다. 상기 시각 디스플레이 장치(152)는 예를 들어 LCD 모니터이거나, 빔 프로젝터와 스크린일 수 있으며, 가상 객체를 시각적으로 표현할 수 있는 장치라면 모두 포함되는 것으로, 전술한 바에 한정되는 것은 아니다. 현실 객체(112)가 움직이는 경우, 상기 가상 객체는 현실 객체(112)의 움직임에 따라 다른 위치에서 증강되어 출력될 수 있다. 상기 청각 디스플레이 장치(154)로는 가상 객체 또는 그 움직임에 대응하는 청각적 음향 효과가 출력될 수 있다.
도 2는 본 발명의 일실시예에 따른 현실 객체의 물리적 동작-증강 현실 상호작용형 전자책 시스템을 나타낸 사진이다.
이하에서는, 설명의 편의를 위해 현실 객체(112)의 동작이 손 동작인 경우로 가정하여 설명한다. 그러나 본 발명의 현실 객체(112)가 손인 경우로 한정되는 것은 아니다.
본 발명의 일실시예에 따르면, 상기 현실 객체(112)로서 사람의 손 동작(210)이 사용될 수 있으며, 상기 전자책(114)으로는 타블렛 PC의 전자책 콘텐츠(220)가 사용될 수 있다. 상기 사람의 손 동작(210)과 타블렛 PC의 전자책 콘텐츠(220)는 영상 획득 장치인 Kinect RGB-D 카메라(230)에 의해 촬영될 수 있으며, 상기 물리적 동작 정보 추출부(120) 및 전자책 정보 추출부(130)에서 상기 촬영된 영상으로부터 객체 정보를 추출한 후, 여러 사람이 볼 수 있는 디스플레이 장치(240)를 통해 상기 추출된 객체가 표상하는 3차원 객체를 중첩하여 디스플레이 하는 방식으로 작동될 수 있다.
도 3은 본 발명의 일실시예에 따른 현실 객체의 물리적 동작-증강 현실 상호작용형 전자책 시스템의 동작 방식을 나타낸 흐름도이다.
도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 전자책 시스템은 객체를 증강하는 과정(310)과, 물리적 동작과 상호작용하는 과정(320)을 포함할 수 있다.
본 발명의 일실시예에 따르면, 영상 획득부(110)로부터 획득되는 실제 환경(116)의 현실 객체(112)는 사람의 손일 수 있으며, 따라서 영상 획득부(110)는 사람의 손 동작과 전자책이 포함된 영상을 획득하여 물리적 동작 정보 추출부(120)와 전자책 정보 추출부(130)로 전송할 수 있다(310a).
물리적 동작 정보 추출부(120)는 상기 영상 획득부(110)로부터 획득된 영상으로부터 손 동작이 포함된 영역을 분리한 후, 손 동작에 대한 정보를 추출할 수 있으며(310b), 손 동작에 대응되는 특정 객체가 존재할 경우, 물리적 동작 정보 추출부(120)는 해당 객체에 대한 정보를 증강 현실 제공부(140)로 전달할 수 있다(310c). 만일, 손 동작이 특정 객체와 매칭이 되지 않을 경우, 특정 객체가 매칭 될 수 있는 손 동작이 존재할 때까지, 상기 영상 획득부(110)로부터 영상을 전송받고, 손 동작에 대한 정보를 추출한 후, 특정 객체와 대응지는지 여부를 확인하는 과정을 반복할 수 있다(310d).
한편, 전자책 정보 추출부(130)는 상기 영상 획득부(110)로부터 획득된 영상으로부터 전자책이 포함된 영역을 분리한 후, 전자책에 대한 정보를 추출할 수 있으며(210e), 전자책 도안에 대응되는 특정 객체가 존재할 경우, 전자책 추출부(130)는 해당 객체에 대한 정보를 증강 현실 제공부(140)로 전달할 수 있다(310f). 만일 상기 영상 획득부(110)로부터 인식된 전자책의 도안이 특정 객채와 매칭이 되지 않을 경우, 특정 객체와 매칭될 때까지, 상기 영상 획득부(110)로부터 영상을 전송받고, 전자책 도안에 대한 정보를 추출한 후, 특정 객체와 대응되는지 여부를 확인하는 과정을 반복할 수 있다(310g).
증강 현실 제공부(140)는 물리적 동작 정보 추출부(120)와 전자책 정보 추출부(130)로부터 전달받은 객체의 정보를 비교한 후(210h), 양 정보가 표상하는 객체가 동일한 경우에만 3차원 가상 객체를 상기 실제 환경(116)에 중첩시켜 증강하는 방식으로 작동될 수 있다(310i).
상기 물리적 동작 정보 추출부(320)는 손 동작에 대응되는 객체 정보 외에도, 손 동작의 동적 움직임에 대한 정보를 추가적으로 추출할 수 있으며(320a), 손 동작의 동적 움직임이 인식되는 경우 객체의 색상을 변화시키거나(320b), 상기 3차원 가상 객체의 위치를 변화시키는 방식으로 작동될 수 있다(320c). 이때, 상기 가상 객체의 위치 변화는, 손 동작의 동적 움직임이 적어도 5회 이상 인식되는 경우에 한하여 표현되는 방식으로 수행될 수 있다.
도 4는 본 발명의 일실시예에 따른 물리적 동작 정보 추출부(120)의 현실 객체(112)의 물리적 동작 정보 추출 방식을 나타낸 그림이다.
본 발명의 일실시예에 따르면, 손 동작으로 특정 객체가 표현된 경우, 손 동작을 포함한 영상을 분리시킨 후, 미리 확보해 둔 손 동작이 존재하지 않는 실제 환경(116)에 대한 배경 영상과, 손 동작이 존재하였을 때의 영상의 디지털 신호 값의 차이를 통해 손 동작이 포함된 영상으로부터 정확한 손 동작의 위치를 구분해낼 수 있다. 손이 존재하는 부분의 바운더리(boundary)로부터 Convex Hull Algorithm을 이용하여 구해진 껍질(hull)의 개수와 결점(defect)의 개수는, 손 동작의 특징(feature) 값으로 사용될 수 있다.
예컨대, 도 4의 첫 번째 열의 그림들의 경우, 달팽이 형태의 손 동작이 표현된 경우로, 검정색으로 표현되는 손 부분의 바운더리 정보로부터 8개의 껍질(hull)과 3 개의 결점(defect)이 도출되며, 해당 정보가 손 동작의 특징(feature)으로 사용되는 경우를 나타낸 그림이다. 이 경우, 물리적 동작 정보 추출부(220)는 데이터베이스로부터 8개의 껍질(hull)과 3개의 결점(defect)이라는 특징(feature)에 대응되는 객체 정보를 탐색한 후, '달팽이' 라는 객체 정보에 대응될 수 있음을 찾아내게 되며, 증강 현실 제공부(140)로 이를 전달한다. 도 4의 두 번째 열의 그림들의 경우, 객체 정보로 '새'가 탐색된 경우이며, 도 4의 세 번째 열의 그림들의 경우 객체 정보로 '늑대'가 탐색된 경우이다. 이때, 상기 특징(feature)에 대응되는 객체 정보를 탐색하는 방법으로는, 정확한 껍질(hull)과 결점(defect)에 대응되는 객체 정보를 탐색하는 방법이 사용될 수 있으며, 손 동작이 정확한 형태로만 구현될 수 없음을 고려하여 폭넓은 오차 범위를 허용하여 탐색하는 방법이 사용될 수 있다. 이러한 특징(feature) 값을 추출하기 위해서 openCV library를 사용할 수 있다.
도 5는 본 발명의 일실시예에 따른 디스플레이부(150)의 디스플레이 장면을 나타낸 사진이다.
본 발명의 일실시예에 따르면, 상기 디스플레이부(150)는 시각 디스플레이 장치(152)인 LCD 모니터일 수 있으며, 상기 영상 획득부(110)에서 획득된 실제 환경(116)에, 상기 증강 현실 제공부(140)에 의하여 제공되는 3차원 객체 이미지가 증강되어 출력될 수 있다. 예컨대, 도 5의 첫 번째 사진은 새가, 두 번째 사진은 달팽이가, 세 번째 사진은 늑대가 증강되어 나타낸 디스플레이부(150)의 디스플레이 사진이다. 상기 증강된 3차원 객체는 실제 환경(116)의 현실 객체(112)를 움직이거나, 그 형태를 변화시킴으로써, 색상을 변하게 하거나 움직임을 가질 수 있다.
도 6은 본 발명의 일실시예에 따른 현실 객체의 물리적 동작-증강 현실 상호작용형 전자책 구현 방법의 동작 방식을 나타낸 흐름도이다.
본 발명의 일실시예에 따른 전자책 구현 방법은, 영상 획득 단계(S610), 현실 객체의 물리적 동작 정보 추출 단계(S620), 전자책 정보 추출 단계(S630), 증강 현실 제공 단계(S640), 디스플레이 단계(S650)을 포함할 수 있으며, 종료여부 판단(S660) 단계를 추가적으로 포함할 수 있다.
영상 획득 단계(S610)는, 물리적으로 동작할 수 있는 현실 객체(112)와 전자책(114)을 포함한 실제 환경(116)에 대한 영상을 획득하는 단계를 포함하며, 현실 객체의 물리적 동작 정보 추출 단계(S620)와 전자책 정보 추출 단계(S630)는, 상기 영상 획득 단계(S610)로부터 획득된 영상으로부터 현실 객체(112)의 물리적 동작 정보와 전자책(114)의 도안에 관한 정보를 분리하여, 증강 현실 제공 단계(S640)으로 전달한다. 이때, 상기 도안에 관한 정보는 현실 객체(112)의 위치 정보를 포함할 수 있다.
증강 현실 제공 단계(S640)는 상기 가상 객체의 물리적 동작 정보 추출 단계(S620)와 전자책 정보 추출 단계(S630)에서 전달된 정보를 종합하여 표상하는 가상 객체를 찾아낸 후, 가상 객체를 상기 실제 환경(116)에 중첩하여 디스플레이 가능한 신호로 변환하여 디스플레이 단계(S650)로 전달하는 기능을 수행한다. 이때, 상기 증강 현실 제공 단계(S640)는 상기 현실 객체의 물리적 동작 정보 추출 단계(S620)에서 전달받은 객체 정보와, 상기 전자책 정보 추출 단계(S630)에서 전달받은 객체 정보를 비교한 후, 양 객체 정보가 동일한 경우에만 해당 객체 정보가 표상하는 가상 객체를 상기 실제 환경(116)에 중첩하여 디스플레이 가능한 신호로 변환하여 디스플레이 단계(S650)로 전달할 수 있다.
상기 가상 객체는 종료 여부 판단(S660) 단계를 통해, 종료 신호가 발생하기 전까지 상기 영상 획득 단계(S610), 현실 객체의 물리적 동작 정보 추출 단계(S620), 전자책 정보 추출 단계(S63), 증강 현실 제공 단계(S640), 디스플레이 단계(S650)을 반복할 수 있다. 종료 신호가 발생하면 각 프로세스를 종료한다. 이때, 종료 신호는 사용자가 종료 시기를 사전에 지정해 두는 형태로 구현될 수 있으며, 특정 신호를 종료 신호로 인식하도록 설정해 두거나, 외부 장치 입력을 통해 발생시킬 수도 있으나, 이에 제한되는 것은 아니다.
도 7은 본 발명의 일실시예에 따른 현실 객체의 물리적 동작 정보 추출 단계(S620)의 구체적인 동작 방식을 나타낸 흐름도이다.
도 7의 현실 객체의 물리적 동작 정보 추출 단계(S620)는, 영상 정보로부터 현실 객체(112)가 포함된 영역을 분리하는 단계(S710), 현실 객체가(112) 존재하지 않았을 때의 영상 정보와 현실 객체가(112)가 존재하는 상황에서의 영상 정보의 디지털 신호의 차이를 통해, 해당 영역의 영상 정보로부터 현실 객체(112)에 대한 영상 정보를 분리(segmentation)하는 단계(S720), 상기 영상 정보를 분리(segmentation)한 후, 해당 영상 정보로부터 특징(feature) 값을 추출(extraction)하는 단계(S730)를 포함할 수 있다.
상기 영상 획득 단계(S610), 현실 객체의 물리적 동작 정보 추출 단계(S620), 전자책 정보 추출 단계(S630), 증강 현실 제공 단계(S640), 디스플레이 단계(S650)는, 각각 상기 영상 획득부(110), 물리적 동작 정보 추출부(120), 전자책 정보 추출부(130), 증강 현실 제공부(140) 및 디스플레이부(150)의 기능을 수행하는 단계를 포함할 수 있으나, 이에 제한되는 것은 아니다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 또한, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 따라서, 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (14)

  1. 현실 객체의 물리적 동작-증강 현실 상호작용형 전자책 시스템에 있어서,
    물리적으로 동작할 수 있는 현실 객체와 전자책을 포함한 실제 환경에 대한 영상을 획득하는 영상 획득부;
    상기 영상 획득부에서 획득된 상기 영상으로부터 상기 현실 객체의 형태를 추출하여 추출된 형태에 대응되는 가상 객체(상기 현실 객체의 형태와 매칭되는 다른 객체) 정보 및 상기 가상 객체 정보를 추출한 현실 객체의 위치 정보를 추출하는 물리적 동작 정보 추출부;
    상기 영상 획득부에서 획득된 상기 영상으로부터 상기 전자책에 대응되는 가상 객체 정보 및 위치 정보를 추출하는 전자책 정보 추출부;
    상기 물리적 동작 정보 추출부에서 추출된 상기 현실 객체의 형태에 대응되는 가상 객체 정보 및 상기 현실 객체의 위치 정보와 상기 전자책 정보 추출부에서 추출된 상기 전자책에 대응되는 가상 객체 정보 및 위치 정보를 연관하여 비교한 후, 상기 물리적 동작 정보 추출부에서 추출된 상기 현실 객체의 형태에 대응되는 가상 객체 정보 및 상기 현실 객체의 위치 정보와 상기 전자책 정보 추출부에서 추출된 상기 전자책에 대응되는 가상 객체 정보 및 위치 정보가 동일한 경우 동일한 상기 가상 객체 정보가 표상하는 가상 객체를 상기 실제 환경에 중첩하여 디스플레이 가능한 신호로 변환하는 증강 현실 제공부; 및
    상기 증강 현실 제공부로부터 상기 신호를 전송받아 디스플레이하는 디스플레이부를 포함하는 것을 특징으로 하는 전자책 시스템.
  2. 제1항에 있어서,
    상기 영상 획득부는, RGB-D 카메라 센서를 이용한 영상 획득 장치를 통해 영상을 획득하는 것을 특징으로 하는 전자책 시스템.
  3. 제1항에 있어서,
    상기 물리적 동작 정보 추출부는, 현실 객체가 존재하지 않았을 때의 배경 영상과 현실 객체가 존재하는 상황에서의 영상의 디지털 신호의 차이를 통해, 배경 영상으로부터 현실 객체의 영상 정보를 분리(segmentation)하고, 분리된 현실 객체의 영상 정보에 대응되는 객체 정보를 추출하는 것을 특징으로 하는 전자책 시스템.
  4. 제3항에 있어서,
    상기 물리적 동작 정보 추출부는, 영상 획득부로부터 전달받은 영상으로부터 현실 객체가 포함된 영역을 분리하는 전처리 단계를 더 포함하는 것을 특징으로 하는 전자책 시스템.
  5. 제3항에 있어서,
    상기 객체 정보는, 객체의 움직임에 관한 정보를 포함하는 것을 특징으로 하는 전자책 시스템.
  6. 제3항에 있어서,
    상기 객체 정보를 추출하는 방법으로는, 상기 분리된 현실 객체의 바운더리(boundary) 정보가 사용되는 것을 특징으로 하는 전자책 시스템.
  7. 제1항에 있어서,
    상기 전자책 정보 추출부는, 상기 영상 획득부로부터 전달받은 영상으로부터 전자책이 포함된 영역을 분리한 후, 상기 전자책에 대응되는 객체 정보를 추출하는 것을 특징으로 하는 전자책 시스템.
  8. 제7항에 있어서,
    상기 객체 정보를 추출하는 방법으로는, 마커 인식 방법 또는 프레임 매칭 방법이 사용되는 것을 특징으로 하는 전자책 시스템.
  9. 제1항에 있어서,
    상기 증강 현실 제공부는, 상기 물리적 동작 정보 추출부에서 추출된 상기 물리적 동작 정보와 상기 전자책 정보 추출부에서 추출된 상기 전자책 정보를 비교한 후, 상기 물리적 동작 정보와 상기 전자책 정보에 대응되는 가상 객체 정보가 동일한 경우 동일한 상기 가상 객체 정보가 표상하는 가상 객체를 상기 실제 환경에 중첩하여 디스플레이 가능한 영상 신호로 변환하는 것을 특징으로 하는 전자책 시스템.
  10. 제1항에 있어서,
    상기 디스플레이부는, 시각 디스플레이 장치 및 청각 디스플레이 장치 중 어느 하나 이상의 장치를 포함하는 것을 특징으로 하는 전자책 시스템.
  11. 제10항에 있어서,
    상기 시각 디스플레이 장치는, 실제 환경에 3차원 가상 객체가 증강된 영상을 출력하는 것을 특징으로 하는 전자책 시스템.
  12. 제1항에 있어서,
    상기 증강 현실 제공부는, 상기 물리적 동작 정보 추출부에서 추출된 현실 객체가 움직임을 가지는 경우 상기 현실 객체의 움직임에 관한 정보를 상기 물리적 동작 정보 추출부에서 추출된 상기 현실 객체의 형태에 대응되는 가상 객체 정보 및 상기 현실 객체의 위치 정보와 상기 전자책 정보 추출부에서 추출된 상기 전자책에 대응되는 가상 객체 정보 및 위치정보가 동일한 경우 동일한 상기 가상 객체 정보가 표상하는 가상 객체에 실시간으로 반영시키는 것을 특징으로 하는 전자책 시스템.
  13. 제1항에 있어서,
    상기 전자책 시스템은, 상기 물리적 동작 정보 추출부의 추출 과정과 상기 전자책 정보 추출부의 추출 과정이 2 개의 쓰레드(thread)를 통해 동시에 이루어지는 것을 특징으로 하는 전자책 시스템.
  14. 현실 객체의 물리적 동작-증강 현실 상호작용형 전자책 구현 방법에 있어서,
    물리적으로 동작할 수 있는 현실 객체와 전자책을 포함한 실제 환경에 대한 영상을 획득하는 단계;
    상기 획득된 영상으로부터 상기 현실 객체의 형태를 추출하여 추출된 형태에 대응되는 가상 객체(상기 현실 객체의 형태와 매칭되는 다른 객체) 정보 및 상기 가상 객체 정보를 추출한 현실 객체의 위치 정보를 추출하는 단계;
    상기 획득된 영상으로부터 상기 전자책에 대응되는 가상 객체 정보 및 위치 정보를 추출하는 단계;
    상기 현실 객체의 형태에 대응되는 가상 객체 정보 및 상기 현실 객체의 위치 정보와 상기 전자책에 대응되는 가상 객체 정보 및 위치 정보를 연관하여 비교한 후, 상기 현실 객체의 형태에 대응되는 가상 객체 정보와 및 상기 현실 객체의 위치 정보와 상기 전자책에 대응되는 가상 객체 정보 및 위치 정보가 동일한 경우 동일한 상기 가상 객체 정보가 표상하는 가상 객체를 상기 실제 환경에 중첩하여 디스플레이 가능한 신호로 변환하는 단계; 및
    상기 신호를 전송받아 디스플레이하는 단계를 포함하는 것을 특징으로 하는 전자책 구현 방법.
KR1020130044798A 2013-04-23 2013-04-23 현실 객체의 물리적 동작-증강 현실 상호작용형 전자책 시스템 및 구현 방법 KR101543287B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130044798A KR101543287B1 (ko) 2013-04-23 2013-04-23 현실 객체의 물리적 동작-증강 현실 상호작용형 전자책 시스템 및 구현 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130044798A KR101543287B1 (ko) 2013-04-23 2013-04-23 현실 객체의 물리적 동작-증강 현실 상호작용형 전자책 시스템 및 구현 방법

Publications (2)

Publication Number Publication Date
KR20140126529A KR20140126529A (ko) 2014-10-31
KR101543287B1 true KR101543287B1 (ko) 2015-08-11

Family

ID=51995768

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130044798A KR101543287B1 (ko) 2013-04-23 2013-04-23 현실 객체의 물리적 동작-증강 현실 상호작용형 전자책 시스템 및 구현 방법

Country Status (1)

Country Link
KR (1) KR101543287B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018048000A1 (ko) * 2016-09-12 2018-03-15 주식회사 딥픽셀 단일 카메라 기반의 3차원 영상 해석 장치 및 방법, 3차원 영상 해석을 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 매체
CN106485956A (zh) * 2016-09-29 2017-03-08 珠海格力电器股份有限公司 一种演示电子设备功能的方法、装置和智能终端
EP3340187A1 (en) * 2016-12-26 2018-06-27 Thomson Licensing Device and method for generating dynamic virtual contents in mixed reality
CN108648538B (zh) * 2018-05-04 2020-07-31 早上六点（北京）教育科技有限公司 一种便携式智能交互仪及其使用方法
KR102520445B1 (ko) * 2022-08-18 2023-04-11 주식회사 에스오씨 인화된 한장의 사진이미지와 연계된 맵핑 컨텐츠 실시간 스트리밍 표출장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101002785B1 (ko) * 2009-02-06 2010-12-21 광주과학기술원 증강 현실 환경에서의 공간 상호 작용 방법 및 시스템
KR101211178B1 (ko) * 2010-10-20 2012-12-12 에스케이플래닛 주식회사 증강 현실 컨텐츠 재생 시스템 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101002785B1 (ko) * 2009-02-06 2010-12-21 광주과학기술원 증강 현실 환경에서의 공간 상호 작용 방법 및 시스템
KR101211178B1 (ko) * 2010-10-20 2012-12-12 에스케이플래닛 주식회사 증강 현실 컨텐츠 재생 시스템 및 방법

Also Published As

Publication number Publication date
KR20140126529A (ko) 2014-10-31

Similar Documents

Publication Publication Date Title
CN109618222B (zh) 一种拼接视频生成方法、装置、终端设备及存储介质
CN106355153A (zh) 一种基于增强现实的虚拟对象显示方法、装置以及系统
US20180232953A1 (en) System and Method for Defining an Augmented Reality View in a Specific Location
KR101543287B1 (ko) 현실 객체의 물리적 동작-증강 현실 상호작용형 전자책 시스템 및 구현 방법
US9807300B2 (en) Display apparatus for generating a background image and control method thereof
WO2021213067A1 (zh) 物品显示方法、装置、设备及存储介质
KR20130099317A (ko) 인터랙티브 증강현실 구현 시스템 및 증강현실 구현 방법
CN106325509A (zh) 三维手势识别方法及系统
KR20140082610A (ko) 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치
US11232636B2 (en) Methods, devices, and systems for producing augmented reality
KR20150039252A (ko) 행동 인식 기반의 응용 서비스 제공 장치 및 그 방법
CN111491187A (zh) 视频的推荐方法、装置、设备及存储介质
Manikandan et al. Hand gesture detection and conversion to speech and text
KR20180032059A (ko) 3차원 컨텐츠 제공 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
CN112232260A (zh) 字幕区域识别方法、装置、设备及存储介质
CN106293099A (zh) 手势识别方法及系统
US20160110909A1 (en) Method and apparatus for creating texture map and method of creating database
US11106949B2 (en) Action classification based on manipulated object movement
Nagori et al. Communication interface for deaf-mute people using microsoft kinect
CN105635784A (zh) 一种音像同步显示方法及系统
CN117333645A (zh) 一种环形全息交互系统及其设备
CN112288876A (zh) 远距离ar识别服务器及系统
KR20200123988A (ko) Vr 영상 콘텐츠의 자막 처리 기기
KR101850134B1 (ko) 3차원 동작 모델 생성 방법 및 장치
KR102412992B1 (ko) 레이저 센서를 이용한 인터렉티브 전시 영상 구현 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180725

Year of fee payment: 4