KR101443427B1 - 홈 미디어용 4ｄ 이펙트 구현 시스템 및 방법 - Google Patents

홈 미디어용 4ｄ 이펙트 구현 시스템 및 방법 Download PDF

Info

Publication number
KR101443427B1
KR101443427B1 KR1020110118375A KR20110118375A KR101443427B1 KR 101443427 B1 KR101443427 B1 KR 101443427B1 KR 1020110118375 A KR1020110118375 A KR 1020110118375A KR 20110118375 A KR20110118375 A KR 20110118375A KR 101443427 B1 KR101443427 B1 KR 101443427B1
Authority
KR
South Korea
Prior art keywords
effect
media
information
layer
home
Prior art date
Application number
KR1020110118375A
Other languages
English (en)
Other versions
KR20130053504A (ko
Inventor
이근호
고선우
권수태
김광신
Original Assignee
전주대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전주대학교 산학협력단 filed Critical 전주대학교 산학협력단
Priority to KR1020110118375A priority Critical patent/KR101443427B1/ko
Publication of KR20130053504A publication Critical patent/KR20130053504A/ko
Application granted granted Critical
Publication of KR101443427B1 publication Critical patent/KR101443427B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/23—Reproducing arrangements
    • H04N1/2307—Circuits or arrangements for the control thereof, e.g. using a programmed control device, according to a measured quantity
    • H04N1/2361—Selecting a particular reproducing device from amongst a plurality of devices, e.g. high or low resolution devices

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Marketing (AREA)
  • Signal Processing (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 홈 미디어용 4D 이펙트 구현 시스템에 관한 것으로서, 보다 구체적으로는 기존의 극장용으로 개발되고 있는 4D 콘텐츠를 가정에서 구현할 수 있도록 이펙트를 설계하고 구현할 수 있는 구현 시스템 및 방법에 관한 것으로,
상기 시스템은 적어도 하나의 이펙트 구현 디바이스를 통해 홈 미디어용 4D 콘텐츠를 재생할 수 있는 홈 미디어용 4D 이펙트 구현 시스템은, 입력 콘텐츠를 분석하여 영상 DB, 오디오 DB, 이펙트 라이브러리를 생성하는 이펙트 연동부; 및 상기 이펙트 구현 디바이스를 통해 구현 가능 이펙트를 파악하고, 상기 구현 가능 이펙트를 상기 이펙트 구현 디바이스의 디바이스 특성에 따라 재설계하는 이펙트 저작부를 포함할 수 있다.

Description

홈 미디어용 4Ｄ 이펙트 구현 시스템 및 방법{system and method for realizing 4D effects for home media service}
본 발명은 홈 미디어용 4D 이펙트 구현 시스템에 관한 것으로서, 보다 구체적으로는 기존의 극장용으로 개발되고 있는 4D 콘텐츠를 가정에서 구현할 수 있도록 이펙트(Effect )를 설계하고 구현할 수 있는 구현 시스템 및 방법에 관한 것이다.
유비쿼터스 IT(Information Technology) 시대에는 인간의 오감을 만족시키는 실감 기술과 디바이스 간 자율 협업을 기반으로 하는 지능형 기술이 미디어에 복합적으로 적용될 것이다. 이와 같은 기술을 구현하기 위해서는 하나의 디바이스에서 미디어를 재현하는 방식으로는 구현이 어렵다. 즉, 실감을 내기 위한 다양한 디바이스와 미디어가 연동하고 미디어의 정보에 따라 디바이스가 작동되어야 가능하다.
현재의 미디어 서비스는 하나의 미디어가 하나의 디바이스에서 재현되는 SMSD(Single Media Single Device) 기반의 서비스가 주를 이루고 있으나, 유비쿼터스 홈에서의 미디어 재현효과를 극대화하기 위해서는 하나의 미디어가 복수 개의 디바이스와 연동하여 재현되는 SMMD(Single Media Multi Devices) 기반의 서비스가 되어야 한다.
이미, MS(Microsoft)에서는 지능형 환경 구축을 위해 프로토타입 구조 및 기술 개발을 위해 "Easy Living" 프로젝트를 진행중에 있으며, 소니(SONY)와 인텔(Intel)에서는 서비스, 콘텐츠 등이 사용자가 원하는 형태로 제공되는 유비쿼터스 홈을 구현하기 위한 기술을 개발 중에 있다.
실감 재현 시스템(Single Media Multi Device: SMMD) 기술은 기존의 A/V 및 텍스트 위주의 미디어에 디바이스 동기 및 제어 신호를 부가한 신개념의 미디어를 다양한 주변 디바이스와 연동하여 실감 있는 미디어 서비스를 제공하는 기술이다.
SMMD에 기술과 관련된 종래의 기술(논문: 'Architecture of the SMMD Media Service System', E-ACTIVITES, 2007)에서는, 하나의 미디어에 실감 효과 메타 데이터를 추가하여 단일 ne-미디어가 생성된다. 단일 ne-미디어는 하나의 파일로 제작되어, 홈 서버에 저장된다. 홈 서버는 ne-미디어 파일을 읽어 들여 실감효과 메타데이터를 추출하고, 미디어와 동기화를 맞추어 실감효과 디바이스를 제어함으로써, 실감효과를 극대화하는 서비스 구조를 제공한다.
국내의 경우, 디지털 홈과 유비쿼터스 IT에 관련하여 삼성 전자의 스마트 홈으로 연결한 거주 환경인 "Digital Home", "LG CNS"의 유비쿼터스 컴퓨팅 구현에 필요한 핵심 솔루션 개발, "대림I&S"의 유비쿼터스 기반의 디지털 홈(아파트) 사업이 추진되고 있으며, 미디어 서비스와 관련하여 KT, SKT 등에서는 단순 가전제어, 홈오토, IPTV, TV 포털 등의 상용 서비스 제공을 추진하고 있다.
그러나, 이러한 개발은 미디어의 효과적 재현을 배제한 상태에서 DMB, Wibro 등 정보통신망을 이용한 미디어의 휴대성만이 고려되었고, 디지털 홈을 위해 개발된 고가의 디지털 디바이스가 이동성을 제공하지 않기 때문에 유비쿼터스 홈으로의 진화가 어렵다.
실감/지능형 유비쿼터스 홈 기술은 유무선 홈 네트워크 기술, 디바이스 간 연동/협업 기술, 디바이스 동기/제어 기술, 상황인지 기술, 디바이스의 위치/식별/인증 기술 등 다양한 첨단 기술들을 복합적으로 요구하며, 향후 원천기술확보에 대한 국가간 경쟁이 치열해 질 것이다.
실감/지능형 유비쿼터스 홈 미디어 서비스를 구현하기 위해서는 기본적으로 미디어가 다양한 디지털 디바이스와 함께 재현되어야 하나, 기존의 미디어 재현 방식이나 디지털 디바이스 작동 방식으로는 구현이 불가능하다.
유비쿼터스 시대의 미디어는 영상, 음성, 텍스트 등과 같은 미디어에서 실감, 홀로그램과 같은 진화된 미디어의 형태로 발전할 것이며, 언제 어디서나 어떠한 디바이스를 통해서도 재현이 가능해야 한다.
현재 미디어에 추가된 다양한 부가정보(메타데이터)를 이용한 양방향 서비스나 사용자 맞춤형 서비스를 지향하고 있는 가운데, 디스플레이 등의 한계에도 불구하고 의료, 교육, 엔터테인먼트 등의 분야에 핸드폰, PDA, PMP 등의 휴대용 디바이스를 통한 킬러 어플리케이션이 등장하고 있다.
SMMD에 기술과 관련된 또 다른 종래의 기술(한국 특허 출원 공개 번호 10-2008-0016393, 'SMMD 기반 유비쿼터스 홈 미디어 서비스 장치 및 방법과 그를 이용한 홈 미디어 서비스 시스템 및 그 방법')에서는, 동영상, 오디오 및 텍스트로 이루어진 기존의 미디어에 실감 서비스를 위한 디바이스 제어 및 동기화 정보를 추가할 수 있는 새로운 구조의 미디어(ne-미디어)를 생성한다.
국내출원번호 제10-2008-0016393호를 참고하면, ne-미디어는 메타데이터뿐만 아니라 실감 정보를 재생하기 위한 소프트웨어 및 디바이스 제어를 위한 소프트웨어가 저장되는 'Neo-data' 레이어; 오디오, 비디오, 텍스트로 구성된 미디어뿐만이 아니라 객체형 미디어, 체험형 미디어, 실감형 미디어와 같은 미디어 정보가 저장되는 'Media' 레이어; ne-미디어를 실감 있게 재현하기 위한 디바이스의 제어 정보 및 동기화 정보가 기록되는 'Control/Sync' 레이어; ne-미디어에 의해 동작할 수 있는 디바이스 정보(ID)가 기록되는 'Location' 레이어; 및 ne-미디어 전송을 위한 프로토콜 및 ne-미디어 재현을 위한 환경정보가 기록되는 'Base' 레이어를 포함하여 구성됨을 알 수 있다.
이에 국내출원번호 제10-2008-0016393호는 외부의 ne-미디어 제공 서버로 ne-미디어를 요청하여 해당 ne-미디어를 전송받는 단계; 상기 전송받은 ne-미디어를 'neo-data', 오디오/비디오/텍스트로 구성된 미디어, 각 디바이스의 동기화/제어 정보 및 위치(ID) 정보로 분리하는 단계; 주변의 디바이스 정보를 수집하여 연동할 디바이스 그룹을 생성하고, 상기 ne-미디어 처리 수단에서 분리한 ne-미디어의 동기화 정보를 이용하여 미디어와 디바이스 간의 동기화 신호를 생성한 후 ne-미디어에 기록하는 단계; 상기 생성한 정보들을 기록한 ne-미디어를 주변 디바이스(재현 장치 및 재현 보조장치)로 전송하는 단계; 상기 전송한 주변 디바이스와 동기를 맞춰 ne-미디어를 재생하는 단계; 상기 재현 장치가 전송받은 ne-미디어 재현을 위한 자원이 부족할 경우 자원을 공유하는 단계를 구비함으로써, 생성한 ne-미디어에 개인의 취향 및 주변 디바이스 환경에 맞는 실감 재현정보를 입력한 후 주변 디바이스로 전송함으로써, 가정, 사무실, 공공장소 등 사용자의 물리적 위치에 관계없이 주변의 다양한 기능을 가진 디바이스들이 ne-미디어를 통해 자율적으로 융합하여 사용자에게 실감있는 미디어 서비스를 제공할 수 있도록 한다.
다만, 향후 지속적 발전과 시장 확대를 위해서는 이펙트 자극에 대한 4D 콘텐츠 이용자의 반응 연구를 통하여 상황별 최적 이펙트 조합을 설계할 수 있는 새로운 개념의 시스템이 필요하다.
본 발명에서는 이펙트 자극에 대한 4D 콘텐트 이용자의 반응 연구를 통하여 상황별 최적 이펙트 조합을 설계할 수 있는 이펙트 디자인 시스템을 제공하고자 한다. 특히, 극장용으로 개발되고 있는 4D 콘텐츠를 가정에서 구현할 수 있는 홈 미디어용 4D 이펙트 구현 시스템 및 방법을 제공하고자 한다.
또한, 극장용 4D 콘텐츠 이외에 2D 또는 3D 콘텐츠도 홈 미디어용 4D 콘텐츠로 변환할 수 잇도록 하는 홈 미디어용 4D 이펙트 구현 시스템 및 방법을 제공하고자 한다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 메타데이터뿐만 아니라 실감 정보를 재생하기 위한 소프트웨어 및 디바이스 제어를 위한 소프트웨어가 저장되는 'Neo-data' 레이어; 오디오, 비디오, 텍스트로 구성된 미디어뿐만이 아니라 객체형 미디어, 체험형 미디어, 실감형 미디어와 같은 미디어 정보가 저장되는 'Media' 레이어; ne-미디어를 실감 있게 재현하기 위한 디바이스의 제어 정보 및 동기화 정보가 기록되는 'Control/Sync' 레이어; ne-미디어에 의해 동작할 수 있는 디바이스 정보가 기록되는 'Location' 레이어; 및 ne-미디어 전송을 위한 프로토콜 및 ne-미디어 재현을 위한 환경정보가 기록되는 'Base' 레이어로 구성되는 ne-미디어를 입력 콘텐츠로 입력받으며, 적어도 하나의 이펙트 구현 디바이스를 통해 홈 미디어용 4D 콘텐츠를 재생할 수 있는 홈 미디어용 4D 이펙트 구현 시스템에 있어서, 상기 입력 콘텐츠에 포함된 'Media' 레이어에 저장된 객체형 미디어, 체험형 미디어, 실감형 미디어와 같은 정보를 기반으로 입력 콘텐츠를 통해 재현하고자 하는 이펙트 종류를 파악하고, 상기 파악된 이펙트 종류에 대한 정보를 가지는 라이브러리를 생성하는 이펙트 연동부; 및 'Location' 레이어에 저장된 디바이스 정보와 상기 이펙트 구현 디바이스의 정보를 비교하여 동일한 디바이스 정보를 가지는 이펙트 구현 디바이스에 의해 구현되는 이펙트를 구현 가능한 이펙트로 파악한 후, 'Control/Sync' 레이어에 기재된 ne-미디어를 실감있게 재현하기 위한 디바이스의 제어 정보 및 동기화 정보를 기반으로 상기 구현 가능 이펙트에 대응되는 이펙트 구현 디바이스의 제어 정보 및 동기화 정보를 파악하는 이펙트 저작부를 포함하는 홈 미디어용 4D 이펙트 구현 시스템을 제공한다.
상기 이펙트 저작부는 상기 입력 콘텐츠를 재생하면서, 사용자로부터 이펙트 각각에 대한 제어 정보 및 동기화 정보 조정값을 입력받아 이펙트 각각에 대한 이펙트 강도를 조정하는 기능을 더 포함하는 것을 특징으로 한다.
상기 이펙트 저작부는 상기 이펙트 구현 디바이스 각각의 제어 정보 및 동기화 정보 획득 동작과 상기 구현 가능 이펙트의 구현 강도 조정 동작을 수행하는 이펙트 설계부; 및 상기 이펙트 설계부를 통해 획득 및 조정된 이펙트를 기반으로 홈 미디어용 4D 콘텐츠를 재생하는 이펙트 실행부를 포함하는 것을 특징으로 한다.
삭제
상기 이펙트 연동부는 상기 입력 콘텐츠의 'Media' 레이어에 저장된 오디오, 비디오, 텍스트로 구성된 미디어로부터 영상 데이터와 오디오 데이터를 추출하는 기능을 더 포함하는 것을 특징으로 하는 한다.
삭제
상기 이펙트 구현 디바이스는 향기 발향 기능을 가지는 후각 자극 디바이스, 피부 감각 자극 기능을 가지는 피부 감각 자극 디바이스, 심부 근육이나 건 자극 기능을 가지는 심부 감각 자극 디바이스, 및 평형 감각 자극 기능을 가지는 평형 감각 자극 디바이스 중 적어도 하나로 구현되는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따르면, 메타데이터뿐만 아니라 실감 정보를 재생하기 위한 소프트웨어 및 디바이스 제어를 위한 소프트웨어가 저장되는 'Neo-data' 레이어; 오디오, 비디오, 텍스트로 구성된 미디어뿐만이 아니라 객체형 미디어, 체험형 미디어, 실감형 미디어와 같은 미디어 정보가 저장되는 'Media' 레이어; ne-미디어를 실감 있게 재현하기 위한 디바이스의 제어 정보 및 동기화 정보가 기록되는 'Control/Sync' 레이어; ne-미디어에 의해 동작할 수 있는 디바이스 정보가 기록되는 'Location' 레이어; 및 ne-미디어 전송을 위한 프로토콜 및 ne-미디어 재현을 위한 환경정보가 기록되는 'Base' 레이어로 구성되는 ne-미디어를 입력 콘텐츠로 입력받으며, 적어도 하나의 이펙트 구현 디바이스를 통해 홈 미디어용 4D 콘텐츠를 재생할 수 있는 홈 미디어용 4D 이펙트 구현 방법에 있어서, 상기 입력 콘텐츠에 포함된 'Media' 레이어에 저장된 객체형 미디어, 체험형 미디어, 실감형 미디어와 같은 정보를 기반으로 입력 콘텐츠를 통해 재현하고자 하는 이펙트 종류를 파악하고, 상기 파악된 이펙트 종류에 대한 정보를 가지는 라이브러리를 생성하는 단계; 'Location' 레이어에 저장된 디바이스 정보와 상기 이펙트 구현 디바이스의 정보를 비교하여 동일한 디바이스 정보를 가지는 이펙트 구현 디바이스에 의해 구현되는 이펙트를 구현 가능한 이펙트로 파악하는 단계; 및 'Control/Sync' 레이어에 기재된 ne-미디어를 실감있게 재현하기 위한 디바이스의 제어 정보 및 동기화 정보를 기반으로 상기 구현 가능 이펙트에 대응되는 이펙트 구현 디바이스의 제어 정보 및 동기화 정보를 파악하는 단계를 포함할 수 있다.
상기 홈 미디어용 4D 이펙트 구현 방법은, 상기 입력 콘텐츠를 재생하면서, 사용자로부터 이펙트 각각에 대한 제어 정보 및 동기화 정보 조정값을 입력받아 이펙트 각각에 대한 이펙트 강도를 조정하는 단계를 더 포함하는 것을 특징으로 한다.
3D 기술 이후 미래시장 개척 및 콘텐트 사용자 만족도 향상을 위한 대안 기술로 선도적인 역할을 수행하는 것이 가능하다. 재생산된 사용자 맞춤형 콘텐츠를 관련 시장에서 재활용할 수 있어 홈 미디어 시장을 개척할 수 있다.
도1은 본 발명의 일 실시예에 따른 홈 미디어용 4D 이펙트 구현 시스템을 도시한 도면이다.
도2 및 도3은 본 발명의 일 실시예에 따른 홈 미디어용 4D 이펙트 구현 방법을 설명하기 위한 도면이다.
이하 첨부된 도면을 참조하여 본 발명에 대해 구체적으로 살펴보기로 한다.
다만, 본 발명을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 용어가 동일하더라도 표시하는 부분이 상이하면 도면 부호가 일치하지 않음을 미리 말해두는 바이다.
그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 설정된 용어들로서 이는 실험자 및 측정자와 같은 사용자의 의도 또는 관례에 따라 달라질 수 있으므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 명세서에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하 첨부된 도면을 참조하여 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명의 기본적인 개념은 다음과 같다.
종래에 사용하여 오던 각 이펙트(Effect )에 대해 의도된 이펙트 효과와 4D 이용자가 실제로 느끼는 이펙트 효과의 차이를 분석한다.
본 발명에서는 시각 이펙트, 청각 이펙트, 후각 이펙트, 피부감각 이펙트, 평형감각 이펙트, 심부감각 이펙트의 6개의 기본 이펙트의 효과 및 자극 양식을 제시한다. 각 이펙트 들의 조합에 대한 반응 연구를 통한 효과를 반영한다.
또한, 이펙트 데이터베이스의 설계 및 업데이트 기술이 적용된 시스템을 활용한다. 홈 미디어에 적합하도록 영상 및 사운드 컨버팅이 필요하다. 또한, 홈 미디어에서 사용자 요구를 반영하여 이펙트 설계 단계가 필요하다.
이때 사용자의 개별 특성을 반영한 이펙트 효과의 강도 조절 작업을 수행하고, 설계된 콘텐츠의 각종 이펙트 별 동기화 작업을 수행한다.
예를 들어, 여러가지 루트를 통해 습득할 수 있는 2D 혹은 3D 콘텐츠에 시각, 촉각 또는 후각 등의 실감형 기술을 첨가하여 4D 콘텐츠로 재생산하고, 이를 가정에서 가볍게 사용하는 것이 가능하다.
도1은 본 발명의 일 실시예에 따른 홈 미디어용 4D 이펙트 구현 시스템을 도시한 도면이다.
도1에 도시된 바와 같이, 본 발명에서 제공하는 홈 미디어용 4D 이펙트 구현 시스템은 이펙트 연동부(100), 데이터베이스부(200), 이펙트 저작부(300), 홈 서버(400) 등을 포함하여, 종래의 극장 등에서 제공되는 오감 체험 기술(IMAX, 4D)을 이펙트 구현 디바이스(531~534)를 통해 구현할 수 있도록 한다.
보다 구체적으로는 기존의 극장용으로 개발되고 있는 4D 콘텐츠를 가정에서 구현할 수 있도록 이펙트를 설계하고 구현할 수 있는 구현 시스템에 관한 것이다.
이하, 각 구성요소의 기능을 살펴보면 다음과 같다.
이펙트 연동부(100)는 영상 추출부(110), 오디오 추출부(120), 이펙트 추출부(130)를 구비하여, ne-미디어 형태의 입력 콘텐츠를 수신 및 분석하여 홈 미디어용 4D 콘텐츠로 변환하기 위한 로우 데이터(row data)를 생성한다.
이때, 입력 콘텐츠는 셋톱 박스와 같은 통신 장치를 통해 외부 네트워크망으로부터 입력되는 콘텐츠로, 4D 콘텐츠 뿐 만 아니라 2D 또는 3D 콘텐츠일 수 있다.
영상 추출부(110)는 입력 콘텐츠의 'Media' 레이어에 저장된 오디오, 비디오, 텍스트로 구성된 미디어로부터 영상 데이터만을 추출한다. 오디오 추출부(120)는 입력 콘텐츠의 'Media' 레이어에 저장된 오디오, 비디오, 텍스트로 구성된 미디어로부터 오디오 데이터만을 추출한다. 입력 콘텐츠에서 오디오 데이터만을 추출한다. 그리고 이펙트 추출부(130)는 입력 콘텐츠에 포함된 'Media' 레이어에 저장된 객체형 미디어, 체험형 미디어, 실감형 미디어와 같은 정보를 기반으로 입력 콘텐츠 재생을 통해 구현될 수 있는 이펙트 종류를 파악하고, 파악된 이펙트 종류에 대한 정보를 가지는 이펙트 라이브러리(230)을 생성한다. 그리고 'Location' 레이어에 저장된 디바이스 정보와 이펙트 구현 디바이스(531~534)의 정보를 비교하여 동일한 디바이스 정보를 가지는 디바이스에 의해 구현되는 이펙트를 이펙트 구현 디바이스(531~534)를 통해 구현 가능한 이펙트로 파악한다. 이펙트 라이브러리(230)는 객체형 미디어, 체험형 미디어, 실감형 미디어의 재생을 통해 제공될 수 있는 이펙트인, 시각 이펙트, 청각 이펙트, 후각 이펙트, 피부감각 이펙트, 평형감각 이펙트, 심부감각 이펙트 등으로 분류되어 저장되어 있는 데이터베이스로 구성된다. 입력되는 콘텐츠의 내용에 따라 이펙트 라이브러리로부터 추가할 이펙트들을 추출하여 사용하게 된다.
데이터베이스부(200)는 영상 추출부(110), 오디오 추출부(120)이 제공하는 정보를 데이터베이스화하여 영상 DB(210), 오디오 DB(220)를 생성 및 저장할 뿐 만 아니라, 이펙트 추출부(130)이 제공하는 이펙트 라이브러리(230)도 함께 저장한다.
이펙트 저작부(300)는 이펙트 설계부(310), 이펙트 실행부(320), 미스 매칭 이펙트 DB(330) 등을 이용하여, 입력 콘텐츠의 실감 구현을 위해 제작된 이펙트 데이터를 이펙트 구현 디바이스들(531~534)가 구현할 수 있는 것과 없는 것으로 구분하고, 특정 이펙트 구현 디바이스들(531~534)가 특정 시간 동안 연동되도록 디바이스의 제어정보(파라메타(설정값), 제어값), 동기화 정보(동작 타이밍) 등을 생성한다.
이를 위해, 이펙트 설계부(310)는 'Location' 레이어에 저장된 디바이스 정보와 이펙트 구현 디바이스(531~534)의 정보를 비교하여 동일한 디바이스 정보를 가지는 디바이스에 의해 구현되는 이펙트를 이펙트 구현 디바이스(531~534)를 통해 구현 가능한 이펙트(이하, 매칭 이펙트)로 설정한다. 'Location' 레이어에만 존재하는 디바이스 정보를 가지는 디바이스에 의해 구현되는 이펙트를 구현 불가능한 이펙트(이하, 미스 매칭 이펙트)를 구분한다. 즉, 이펙트 구현 디바이스들(531~534)의 디바이스 특성(즉, 디바이스 정보)과 이펙트 라이브러리(230)에 등록된 디바이스 정보와 비교하여, 일치하는 디바이스 정보를 가지는 이펙트 구현 디바이스가 있으면, 해당 이펙트 구현 디바이스가 구현할 수 있는 이펙트를 구현 가능한 이펙트(이하, 매칭 이펙트)로, 일치하는 디바이스 정보를 가지는 이펙트 구현 디바이스가 없으면 이에 대응되는 이펙트를 구현 불가능한 이펙트(이하, 미스 매칭 이펙트)로 설정하도록 한다. 그리고 'Control/Sync' 레이어에 기재된 ne-미디어를 실감있게 재현하기 위한 디바이스의 제어 정보 및 동기화 정보를 기반으로 구현 가능 이펙트에 대응되는 이펙트 구현 디바이스들(531~534) 각각의 제어 정보(파라메타(설정값), 제어값) 및 동기화 정보(동작 타이밍)등을 파악한다.
예를 들어, 장미꽃을 선사하는 동영상 장면에서 장미꽃을 내미는 순간 이펙트 구현 디바이스(예를 들어, 후각 자극 디바이스)가 동작하여 일정한 시간 동안 장미 향기를 내도록 하는 후각 이펙트 정보를 생성할 수 있다. 이때, 후각 자극 디바이스(501)의 동작시간과 지속시간, 기기의 발향 강도 등의 정보도 추가 생성될 수 있다.
또한, 본 발명의 이펙트 연동부(100) 및 이펙트 설계부(310)는 각종 이펙트 데이터들이 딜레마 없이 같은 시퀀스로 구현되도록 체크하는 기능을 추가 구비할 수 있다.
이펙트 실행부(320)는 이펙트 설계부(310)에 의해 결정된 이펙트 구현 디바이스들(531~534) 각각의 동작 타이밍, 파라메타(설정값), 제어값을 홈 서버(400)로 전송하고, 홈 서버(400)는 이를 해당 이펙트 구현 디바이스들(531~534)으로 전달하여 홈 미디어용 4D 이펙트 구현 시스템에 입력된 콘텐츠가 홈 미디어용 4D 형태로 재생되도록 한다.
또한, 이펙트 설계부(310)는 이펙트 구현 디바이스들(531~534)을 통해 구현되는 이펙트 각각에 대한 제어 정보 및 동기화 정보 등을 조절할 수 있는 메뉴를 제공하고, 이를 통해 획득된 사용자 입력값에 따라 이펙트 구현 디바이스들(531~534) 각각의 제어 정보(파라메타(설정값), 제어값) 및 동기화 정보(동작 타이밍) 등을 개별적으로 조절할 수 있다. 즉, 이펙트 설계부(310)는 사용자로부터 이펙트 각각에 대한 이펙트 반응 특성을 피드백받아 이펙트 각각에 대한 이펙트 강도를 능동적으로 조절할 수 있도록 한다.
미스 매칭 이펙트 DB(330)는 홈 미디어용 4D 이펙트 구현 시스템에 구비된 이펙트 구현 디바이스들(531~534)를 통해 구현할 수 없는 미스 매칭 이펙트에 대한 정보를 데이터베이스화하여 저장한다. 또한, 필요한 경우, 미스 매칭 이펙트 대신에 매칭 이펙트에 대한 정보를 데이터베이스화하여 저장할 수도 있다.
홈서버(400)는 IP망, 방송망, 지그비(ZigBee), IEEE 1394 등 다양한 유,무선 환경에서 연결 관리를 하기 위한 관리자로서, 서버와 이펙트 구현 디바이스 및 출력 디바이스 사이의 세션을 유지/관리하기 위한 세션 관리 모듈, 편집된 이펙트를 특정 위치의 디바이스로 라우팅하기 위한 라우팅 모듈, 네트워크 전송의 부하를 관리하기 위한 부하 분산 관리 모듈, 고용량의 미디어를 디바이스에 맞게 용량을 줄여 전송하기 위한 트랜스코딩 모듈을 포함한다.
홈 미디어 장치들(500)은 기존의 영상 재생 장치(510) 및 오디오 재생 장치(520) 이외에 사용자의 오감을 다양한 방식으로 자극할 수 있는 이펙트 구현 디바이스(531~534)를 추가 구비한다.
이펙트 구현 디바이스(531~534)는 각종 향기를 발향할 수 있는 후각 자극 디바이스(531), 사용자의 피부 감각을 자극할 수 피부 감각 자극 디바이스(532), 사용자의 심부에 있는 근육이나 건 등을 자극할 수 있는 심부 감각 자극 디바이스(533), 및 사용자의 평형 감각을 자극할 수 있는 평형 감각 자극 디바이스(534) 등을 포함하여 구성될 수 있다.
더하여, 상기의 이펙트 구현 디바이스(531~534)는 독립적인 장치로 구현될 수도 있으나, 의자와 같은 물리적 객체와 결합되는 형태로 구현될 수 있다.
도2 및 도3은 본 발명의 일 실시예에 따른 홈 미디어용 4D 이펙트 구현 방법을 설명하기 위한 도면이다.
먼저, 외부에서 홈 미디어용 4D 이펙트 구현 시스템으로 콘텐츠가 입력되면(S1), 이펙트 연동부(100)를 통해 콘텐츠로부터 영상, 오디오, 메타데이터를 추출하고, 이를 이용하여 홈 미디어용 4D 이펙트 구현 시스템에서 사용 가능한 영상 DB, 오디오 DB, 이펙트 라이브러리를 생성하고 데이터베이스부(200)에 저장한다(S2).
그리고 나서, 이펙트 저작부(300)를 통해 홈 미디어용 4D 이펙트 구현 시스템에서 매칭 이펙트와 미스 매칭 이펙트를 구분한 후(S3), 매칭 이펙트를 기반으로 이펙트 구현 디바이스들(531~534) 각각의 제어 정보 및 동기화 정보 등을 생성한다(S4).
그리고 나서, 매칭 이펙트를 홈 미디어 장치들(500)를 통해 구현한 후, 사용자로부터 이에 대한 피드백을 입력받도록 한다(S5).
만약, 사용자가 이에 응답하여 특정 이펙트의 효과를 증가 또는 감소시키기 위한 조정값을 입력하면(S6), 이펙트 저작부(300)는 조정값을 고려하여 해당 이펙트의 강도를 조정해준다. 즉, 사용자의 요청에 따라 특정 이펙트의 강도를 능동적으로 조정해준다(S7).
이와 같이, 본 발명에 따르면 홈 미디어용 4D 이펙트 구현 시스템에서는 외부로부터 입력되는 콘텐츠를 홈 미디어용 4D 콘텐츠로 변환하고, 더 나아가 사용자의 취향에 따라 이펙트 각각의 강도를 조절할 수 있도록 한다. 즉, 홈 미디어용 4D 콘텐츠를 생산하고, 더 나아가 이를 사용자의 요청에 따라 편집할 수 있도록 한다.
그 결과, 본 발명의 홈 미디어용 4D 이펙트 구현 시스템은 사용자에게 최적화된 홈 미디어용 4D 콘텐츠를 제공할 수 있다.
본 발명은 상기와 같은 실시예에 의해 권리범위가 한정되는 것은 아니며, 본 발명의 기술적인 사상을 가지고 있다면 모두 본 발명의 권리범위에 해당된다고 볼 수 있으며, 본 발명은 특허청구범위에 의해 권리범위가 정해짐을 밝혀둔다.

Claims (9)

  1. 메타데이터뿐만 아니라 실감 정보를 재생하기 위한 소프트웨어 및 디바이스 제어를 위한 소프트웨어가 저장되는 'Neo-data' 레이어; 오디오, 비디오, 텍스트로 구성된 미디어뿐만이 아니라 객체형 미디어, 체험형 미디어, 실감형 미디어와 같은 미디어 정보가 저장되는 'Media' 레이어; ne-미디어를 실감 있게 재현하기 위한 디바이스의 제어 정보 및 동기화 정보가 기록되는 'Control/Sync' 레이어; ne-미디어에 의해 동작할 수 있는 디바이스 정보가 기록되는 'Location' 레이어; 및 ne-미디어 전송을 위한 프로토콜 및 ne-미디어 재현을 위한 환경정보가 기록되는 'Base' 레이어로 구성되는 ne-미디어를 입력 콘텐츠로 입력받으며, 적어도 하나의 이펙트 구현 디바이스를 통해 홈 미디어용 4D 콘텐츠를 재생할 수 있는 홈 미디어용 4D 이펙트 구현 시스템에 있어서,
    상기 입력 콘텐츠에 포함된 'Media' 레이어에 저장된 객체형 미디어, 체험형 미디어, 실감형 미디어와 같은 정보를 기반으로 입력 콘텐츠를 통해 재현하고자 하는 이펙트 종류를 파악하고, 상기 파악된 이펙트 종류에 대한 정보를 가지는 라이브러리를 생성하는 이펙트 연동부; 및
    'Location' 레이어에 저장된 디바이스 정보와 상기 이펙트 구현 디바이스의 정보를 비교하여 동일한 디바이스 정보를 가지는 이펙트 구현 디바이스에 의해 구현되는 이펙트를 구현 가능한 이펙트로 파악한 후, 'Control/Sync' 레이어에 기재된 ne-미디어를 재현하기 위한 디바이스의 제어 정보 및 동기화 정보를 기반으로 상기 구현 가능 이펙트에 대응되는 이펙트 구현 디바이스의 제어 정보 및 동기화 정보를 파악하는 이펙트 저작부를 포함하는 홈 미디어용 4D 이펙트 구현 시스템.
  2. 제1항에 있어서, 상기 이펙트 저작부는
    상기 입력 콘텐츠를 재생하면서, 사용자로부터 이펙트 각각에 대한 제어 정보 및 동기화 정보 조정값을 입력받아 이펙트 각각에 대한 이펙트 강도를 조정하는 기능을 더 포함하는 것을 특징으로 하는 홈 미디어용 4D 이펙트 구현 시스템.
  3. 제2항에 있어서, 상기 이펙트 저작부는
    상기 이펙트 구현 디바이스 각각의 제어 정보 및 동기화 정보 획득 동작과 상기 구현 가능 이펙트의 구현 강도 조정 동작을 수행하는 이펙트 설계부; 및
    상기 이펙트 설계부를 통해 획득 및 조정된 이펙트를 기반으로 홈 미디어용 4D 콘텐츠를 재생하는 이펙트 실행부를 포함하는 것을 특징으로 하는 홈 미디어용 4D 이펙트 구현 시스템.
  4. 제1항에 있어서, 상기 이펙트 연동부는
    상기 입력 콘텐츠의 'Media' 레이어에 저장된 오디오, 비디오, 텍스트로 구성된 미디어로부터 영상 데이터와 오디오 데이터를 추출하는 기능을 더 포함하는 것을 특징으로 하는 홈 미디어용 4D 이펙트 구현 시스템.
  5. 제1항에 있어서, 상기 이펙트 구현 디바이스는
    향기 발향 기능을 가지는 후각 자극 디바이스, 피부 감각 자극 기능을 가지는 피부 감각 자극 디바이스, 심부 근육이나 건 자극 기능을 가지는 심부 감각 자극 디바이스, 및 평형 감각 자극 기능을 가지는 평형 감각 자극 디바이스 중 적어도 하나로 구현되는 것을 특징으로 하는 홈 미디어용 4D 이펙트 구현 시스템.
  6. 메타데이터뿐만 아니라 실감 정보를 재생하기 위한 소프트웨어 및 디바이스 제어를 위한 소프트웨어가 저장되는 'Neo-data' 레이어; 오디오, 비디오, 텍스트로 구성된 미디어뿐만이 아니라 객체형 미디어, 체험형 미디어, 실감형 미디어와 같은 미디어 정보가 저장되는 'Media' 레이어; ne-미디어를 실감 있게 재현하기 위한 디바이스의 제어 정보 및 동기화 정보가 기록되는 'Control/Sync' 레이어; ne-미디어에 의해 동작할 수 있는 디바이스 정보가 기록되는 'Location' 레이어; 및 ne-미디어 전송을 위한 프로토콜 및 ne-미디어 재현을 위한 환경정보가 기록되는 'Base' 레이어로 구성되는 ne-미디어를 입력 콘텐츠로 입력받으며, 적어도 하나의 이펙트 구현 디바이스를 통해 홈 미디어용 4D 콘텐츠를 재생할 수 있는 홈 미디어용 4D 이펙트 구현 방법에 있어서,
    상기 입력 콘텐츠에 포함된 'Media' 레이어에 저장된 객체형 미디어, 체험형 미디어, 실감형 미디어와 같은 정보를 기반으로 입력 콘텐츠를 통해 재현하고자 하는 이펙트 종류를 파악하고, 상기 파악된 이펙트 종류에 대한 정보를 가지는 라이브러리를 생성하는 단계;
    'Location' 레이어에 저장된 디바이스 정보와 상기 이펙트 구현 디바이스의 정보를 비교하여 동일한 디바이스 정보를 가지는 이펙트 구현 디바이스에 의해 구현되는 이펙트를 구현 가능한 이펙트로 파악하는 단계; 및
    'Control/Sync' 레이어에 기재된 ne-미디어를 재현하기 위한 디바이스의 제어 정보 및 동기화 정보를 기반으로 상기 구현 가능 이펙트에 대응되는 이펙트 구현 디바이스의 제어 정보 및 동기화 정보를 파악하는 단계를 포함하는 홈 미디어용 4D 이펙트 구현 방법.
  7. 제6항에 있어서,
    상기 입력 콘텐츠를 재생하면서, 사용자로부터 이펙트 각각에 대한 제어 정보 및 동기화 정보 조정값을 입력받아 이펙트 각각에 대한 이펙트 강도를 조정하는 단계를 더 포함하는 것을 특징으로 하는 홈 미디어용 4D 이펙트 구현 방법.
  8. 삭제
  9. 삭제
KR1020110118375A 2011-11-14 2011-11-14 홈 미디어용 4ｄ 이펙트 구현 시스템 및 방법 KR101443427B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110118375A KR101443427B1 (ko) 2011-11-14 2011-11-14 홈 미디어용 4ｄ 이펙트 구현 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110118375A KR101443427B1 (ko) 2011-11-14 2011-11-14 홈 미디어용 4ｄ 이펙트 구현 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20130053504A KR20130053504A (ko) 2013-05-24
KR101443427B1 true KR101443427B1 (ko) 2014-09-29

Family

ID=48662694

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110118375A KR101443427B1 (ko) 2011-11-14 2011-11-14 홈 미디어용 4ｄ 이펙트 구현 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101443427B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102217414B1 (ko) 2019-12-24 2021-02-19 광운대학교 산학협력단 4d 영화 이펙트 자동 생성장치

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101654009B1 (ko) * 2014-09-30 2016-09-06 (주)메쏘드소프트 4d 데이터 재생 방법 및 시스템
US10315125B2 (en) * 2014-12-30 2019-06-11 Cj 4Dplex Co., Ltd. Motion chair and motion chair control system
KR101643943B1 (ko) * 2015-06-05 2016-08-01 주식회사 포리얼 가정용 4d 플랫폼 및 가정용 4d 시스템
KR101706595B1 (ko) * 2015-07-14 2017-02-15 주식회사 메딕션 발향 장치가 구비된 실감 미디어 콘텐츠 구현 시스템
KR101687799B1 (ko) * 2015-09-14 2017-01-02 건국대학교 산학협력단 다감을 이용한 자연환경 구현 시스템 및 방법
KR101996442B1 (ko) * 2017-05-26 2019-07-04 주식회사 롤랩스 콘텐츠를 제공하는 서비스 방법과 그 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080016393A (ko) * 2006-08-17 2008-02-21 한국전자통신연구원 Ｓｍｍｄ 기반 유비쿼터스 홈 미디어 서비스 장치 및방법과 그를 이용한 홈 미디어 서비스 시스템 및 그 방법
KR20090057878A (ko) * 2007-12-03 2009-06-08 한국전자통신연구원 단일 미디어 다중 디바이스 기반 유비쿼터스 홈 미디어재현 방법 및서비스 방법
KR20090099501A (ko) * 2008-03-17 2009-09-22 한국전자통신연구원 Ｓｍｍｄ 기반의 확장형 미디어 서비스 제어장치 및 그 방법
KR20110073161A (ko) * 2009-12-21 2011-06-29 한국전자통신연구원 사용자 맞춤형 실감 컨텐츠 서비스 제공 장치 및 제공 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080016393A (ko) * 2006-08-17 2008-02-21 한국전자통신연구원 Ｓｍｍｄ 기반 유비쿼터스 홈 미디어 서비스 장치 및방법과 그를 이용한 홈 미디어 서비스 시스템 및 그 방법
KR20090057878A (ko) * 2007-12-03 2009-06-08 한국전자통신연구원 단일 미디어 다중 디바이스 기반 유비쿼터스 홈 미디어재현 방법 및서비스 방법
KR20090099501A (ko) * 2008-03-17 2009-09-22 한국전자통신연구원 Ｓｍｍｄ 기반의 확장형 미디어 서비스 제어장치 및 그 방법
KR20110073161A (ko) * 2009-12-21 2011-06-29 한국전자통신연구원 사용자 맞춤형 실감 컨텐츠 서비스 제공 장치 및 제공 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102217414B1 (ko) 2019-12-24 2021-02-19 광운대학교 산학협력단 4d 영화 이펙트 자동 생성장치

Also Published As

Publication number Publication date
KR20130053504A (ko) 2013-05-24

Similar Documents

Publication Publication Date Title
KR101443427B1 (ko) 홈 미디어용 4ｄ 이펙트 구현 시스템 및 방법
KR102518703B1 (ko) 스마트 휴대 기기를 이용한 스마트 기기와 로봇의 개인 맞춤형 서비스 운용 시스템 및 방법
US20080046944A1 (en) Ubiquitous home media service apparatus and method based on smmd, and home media service system and method using the same
Yoon et al. MPEG-V: Bridging the virtual and real world
CN112995706A (zh) 基于人工智能的直播方法、装置、设备及存储介质
CN104380682A (zh) 由松散协调的媒体呈现设备形成媒体网络的系统及方法
US20100104255A1 (en) System and method for orchestral media service
JP2005523612A (ja) データ受信器と制御装置の方法及び装置
KR20090038834A (ko) 실감 미디어 생성 및 소비 방법 및 그 장치
Saleme et al. Coping with the challenges of delivering multiple sensorial media
KR100871840B1 (ko) Ｓｍｍｄ 기반 유비쿼터스 홈 미디어 서비스 장치 및 방법과, 그를 이용한 홈 미디어 서비스 시스템 및 그 방법
Oh et al. How 4D effects cause different types of presence experience?
KR20160135552A (ko) 가상 현실 장치 및 피드백 장치, 실감형 서비스 제공 시스템 및 방법
KR20190034035A (ko) 롤플레잉 기반 가상현실을 이용한 대리체험 서비스 제공 방법
KR100881723B1 (ko) 미디어 실감 재현을 위한 디바이스 연동/제어 정보 생성장치 및 방법
CN116152020A (zh) 一种基于元宇宙的物联网教育平台及其构建方法
CN206075594U (zh) 基于录播和互动的远程课堂系统
Jost et al. PRIM Project: Playing and Recording with Interactivity and Multisensoriality
Li et al. Toward a Metaverse Era: a Study on the Design of Smart Home Entertainment Scene Experience for Empty-Nest Youth
Lucke et al. 3D Interactions between Virtual Worlds and Real Life in an E‐Learning Community
KR102009575B1 (ko) 스터디 테마카페 제공 방법, 스터디 테마카페 제공 프로그램을 기록한 컴퓨터로 판독가능한 기록매체, 이를 탑재한 모듈 및 시스템
Panchanathan et al. Smart stadia as testbeds for smart cities: Enriching fan experiences and improving accessibility
KR20070105770A (ko) 감각 데이터의 가공 시스템 및 그 가공 방법
KR20120000215A (ko) 학습 미디어 제공 시스템 및 방법
CN115081488A (zh) 一种基于全息投影技术的场景控制方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170907

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171213

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190916

Year of fee payment: 6