KR20080080777A - 촉감 정보 저작 방법과 장치, 및 컴퓨터로 판독가능한 기록매체 - Google Patents
촉감 정보 저작 방법과 장치, 및 컴퓨터로 판독가능한 기록매체 Download PDFInfo
- Publication number
- KR20080080777A KR20080080777A KR1020070020930A KR20070020930A KR20080080777A KR 20080080777 A KR20080080777 A KR 20080080777A KR 1020070020930 A KR1020070020930 A KR 1020070020930A KR 20070020930 A KR20070020930 A KR 20070020930A KR 20080080777 A KR20080080777 A KR 20080080777A
- Authority
- KR
- South Korea
- Prior art keywords
- tactile
- video
- information
- tactile video
- authoring
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000006870 function Effects 0.000 claims description 19
- 230000002123 temporal effect Effects 0.000 claims description 7
- 238000012790 confirmation Methods 0.000 claims description 2
- 230000007774 longterm Effects 0.000 claims 1
- 230000015541 sensory perception of touch Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 230000003155 kinesthetic effect Effects 0.000 description 1
- 230000005577 local transmission Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/014—Force feedback applied to GUI
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
Claims (18)
- 촉감 제시 장치의 구동자 어레이의 구동 강도 정보를 픽셀의 인텐시티 값으로 표현하는 촉감 비디오를 저작하는 장치에 있어서,상기 촉감 비디오를 저작하기 위한 환경을 설정하는 환경 설정부; 및상기 촉감 비디오 저작의 바탕이 되는 동영상 또는 텍스트와 같은 시청각 미디어 정보를 프레임 단위로 출력하는 동영상 재생창과, 상기 촉감 비디오의 각 픽셀에 대한 인텐시티 값을 그리기 형식으로 입력하는 촉감비디오 입력창을 구비하는 촉감 비디오 저작부를 포함하는 촉감 비디오 생성부를 구비하여 상기 촉감 비디오를 프레임 단위로 생성하는 촉감 정보 저작 장치.
- 제 1 항에 있어서,상기 환경 설정부는,상기 촉감 비디오 입력창에 표시되는 상기 촉감 비디오의 프레임 크기를 설정하는 촉감 비디오 크기 설정부와,상기 촉감 비디오 입력창에 촉감 정보를 입력하기 위한 입력 수단을 설정하는 입력수단 설정부, 및상기 촉감 비디오의 프레임 비율을 결정하는 동영상 설정부를 추가로 포함하는 것을 특징으로 하는 촉감 정보 저작 장치.
- 제 2 항에 있어서,상기 입력 수단 설정부는, 상기 픽셀의 인텐시티 값을 설정하여 마우스 또는 키보드로 입력하도록 설정하거나, 타블렛 펜의 입력 압력에 따라 상기 픽셀의 인텐시티 값을 입력하도록 설정하는 것을 특징으로 하는 촉감 정보 저작 장치.
- 제 2 항에 있어서,상기 환경 설정부는,상기 시청각 미디어의 경로 정보 및 상기 촉감 미디어의 경로 정보를 설정하는 파일 경로 설정부를 추가로 포함하는 것을 특징으로 하는 촉감 정보 저작 장치.
- 제 1 항에 있어서,상기 동영상 재생창과 상기 촉감비디오 입력창은 겹쳐지는 형태로 출력됨을 특징으로 하는 촉감 정보 저작 장치.
- 제 1 항에 있어서,상기 촉감 비디오 저작부에는 상기 동영상 재생창에 출력된 프레임의 전후 프레임을 표시하는 서브 프레임 표시창을 추가로 포함하며, 상기 동영상 설정부에는 상기 서브 프레임 표시창에 출력되는 프레임의 수를 설정하는 서브 프레임 설정부가 구비되는 것을 특징으로 하는 촉감 정보 저작 장치.
- 제 1 항에 있어서,상기 촉감 비디오 생성부에는 촉감 재생 버튼이 구비되어 상기 촉감 재생 버튼을 작동시킬 경우 상기 촉감 비디오를 상기 촉감 제시 장치로 전달하여 촉감을 재생하는 것을 특징으로 하는 촉감 정보 저작 장치.
- 제 1 항에 있어서,상기 촉감 비디오 저작부에는,상기 동영상 재생창에 표시되는 프레임의 출력을 제어하기 위한 조작 버튼과, 상기 입력 수단을 이용하여 상기 촉감 비디오 입력창에 입력하는 그리기 기능을 설정하는 그리기 설정 버튼과, 상기 입력 수단의 입력 상태를 변경하는 입력 보조 버튼, 및 촉감 비디오 입력을 확인하는 확인 버튼을 포함하는 기능 버튼이 구비된 것을 특징으로 하는 촉감 정보 저작 장치.
- 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,상기 시청각 미디어를 저장하는 미디어 저장부;상기 촉감비디오 생성부에서 생성된 촉감 비디오를 저장하는 촉감 비디오 저장부; 및상기 시청각 미디어와 이를 바탕으로 생성된 상기 촉감 비디오의 시간적 관계를 기술하는 장면기술자를 생성하는 장면기술자 생성부를 추가로 포함하는 것을 특징으로 하는 촉감 정보 저작 장치.
- 제 9 항에 있어서,상기 장면기술자는,상기 촉감 비디오의 위치를 나타내는 url 필드와, 상기 촉감 비디오의 플레이 시작을 나타내는 시작 시각 필드, 및 상기 촉감 비디오의 플레이 종료를 나타내는 종료 시각 필드를 포함하는 노드를 포함하는 것을 특징으로 하는 촉감 정보 저작 장치.
- 제 9 항에 있어서,상기 시청각 미디어와 상기 촉감 비디오와 상기 장면기술자를 인코딩하여 하나의 파일로 생성하는 파일 생성기를 추가로 포함하는 것을 특징으로 하는 촉감 정보 저작 장치.
- 촉감 제시 장치의 구동자 어레이의 구동 강도 정보를 픽셀의 인텐시티 값으로 표현하는 촉감 비디오를 저작하는 방법에 있어서,(a) 상기 촉감 비디오의 크기, 상기 촉감 비디오의 바탕이 되는 시청각 미디어, 촉감 비디오의 프레임 비율을 포함하는 상기 촉감 비디오를 저작하기 위한 환경을 설정하는 단계;(b) 동영상 재생창에 상기 시청각 미디어 정보를 프레임 단위로 출력하고 상 기 촉감 비디오를 저작하기 위한 촉감 비디오 입력창을 생성하는 단계; 및(c) 상기 촉감 비디오 입력창에 입력 수단을 이용하여 상기 촉감 비디오의 각 픽셀의 인텐시티 값을 그리기 방식으로 입력하는 단계를 포함하는 것을 특징으로 하는 촉감 정보 저작 방법.
- 제 12 항에 있어서,상기 (c) 단계는,소정의 인텐시티 값을 지닌 점, 라인 또는 면의 형태로 상기 촉감비디오 입력창에 마우스 또는 키보드를 이용하여 입력하거나, 타블렛 펜의 입력 압력에 따라 인텐시티 값을 입력하는 것을 특징으로 하는 촉감 정보 저작 방법.
- 제 12 항에 있어서,상기 (b)단계에서, 상기 동영상 재생창과 상기 촉감비디오 입력창은 겹쳐진 형태로 출력됨을 특징으로 하는 촉감 정보 저작 방법.
- 제 12 항에 있어서,(d) 저작이 완료된 상기 촉감 비디오를 저장하는 단계; 및(e) 상기 시청각 미디어와 상기 촉감 비디오의 시간적 관계를 기술하는 장면기술자를 생성하는 단계를 추가로 포함하는 것을 특징으로 하는 촉감 정보 저작 방법.
- 제 15 항에 있어서,장기 장면기술자는 상기 촉감 비디오의 위치를 나타내는 url 필드와, 상기 촉감 비디오의 플레이 시작을 나타내는 시작 시각 필드, 및 상기 촉감 비디오의 플레이 종료를 나타내는 종료 시각 필드를 포함하는 노드를 포함하는 것을 특징으로 하는 촉감 정보 저작 방법.
- 제 15 항에 있어서,(f) 상기 촉감 비디오와 상기 시청각 미디어 및 상기 장면기술자를 인코딩하여 다중화하여 하나의 파일로 생성하는 단계를 추가로 포함하는 것을 특징으로 하는 촉감 정보 저작 방법.
- 제 11 항 내지 제 17 항 중 어느 하나의 방법을 이용하여 촉감 정보를 저작하는 프로그램을 저장하는 컴퓨터로 판독가능한 기록 매체.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020070020930A KR100860547B1 (ko) | 2007-03-02 | 2007-03-02 | 촉감 정보 저작 방법과 장치, 및 컴퓨터로 판독가능한 기록매체 |
US12/303,367 US20090309827A1 (en) | 2007-03-02 | 2008-02-29 | Method and apparatus for authoring tactile information, and computer readable medium including the method |
PCT/KR2008/001199 WO2008108560A1 (en) | 2007-03-02 | 2008-02-29 | Method and apparatus for authoring tactile information, and computer readable medium including the method |
EP08723237A EP2132619A4 (en) | 2007-03-02 | 2008-02-29 | METHOD AND DEVICE FOR CONSTITUING TOUCH INFORMATION AND THE COMPUTER READABLE MEDIUM CONTAINING THE METHOD |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020070020930A KR100860547B1 (ko) | 2007-03-02 | 2007-03-02 | 촉감 정보 저작 방법과 장치, 및 컴퓨터로 판독가능한 기록매체 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20080080777A true KR20080080777A (ko) | 2008-09-05 |
KR100860547B1 KR100860547B1 (ko) | 2008-09-26 |
Family
ID=39738404
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020070020930A KR100860547B1 (ko) | 2007-03-02 | 2007-03-02 | 촉감 정보 저작 방법과 장치, 및 컴퓨터로 판독가능한 기록매체 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20090309827A1 (ko) |
EP (1) | EP2132619A4 (ko) |
KR (1) | KR100860547B1 (ko) |
WO (1) | WO2008108560A1 (ko) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011071275A2 (ko) * | 2009-12-11 | 2011-06-16 | 광주과학기술원 | 컨트롤 정보를 이용한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템 |
WO2011071352A2 (ko) * | 2009-12-11 | 2011-06-16 | 광주과학기술원 | 데이터 포멧의 정의를 통한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템 |
WO2011071351A2 (ko) * | 2009-12-11 | 2011-06-16 | 광주과학기술원 | 감각 정보의 구분을 통한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2945642A1 (fr) * | 2009-05-15 | 2010-11-19 | Alcatel Lucent | Gant et ecran tactile permettant de lire des informations par le toucher |
EP2521484A4 (en) * | 2010-01-08 | 2013-05-15 | Dayton Technologies Ltd | CONTROL APPARATUS THAT CAN BE WORN ON A HAND |
EP3286621A4 (en) * | 2015-04-21 | 2018-12-12 | Immersion Corporation | Dynamic rendering of etching input |
US10147460B2 (en) | 2016-12-28 | 2018-12-04 | Immersion Corporation | Haptic effect generation for space-dependent content |
CN106993231B (zh) * | 2017-04-01 | 2020-02-18 | 锐达互动科技股份有限公司 | 一种视频选段播放的方法以及系统 |
US10194128B2 (en) * | 2017-06-12 | 2019-01-29 | Amazon Technologies, Inc. | Systems and processes for generating a digital content item |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06161348A (ja) * | 1992-09-22 | 1994-06-07 | Sony Corp | アミューズメント装置および記録媒体 |
WO1996006392A1 (en) * | 1994-08-18 | 1996-02-29 | Interval Research Corporation | Content-based haptic input device for video |
US6300936B1 (en) * | 1997-11-14 | 2001-10-09 | Immersion Corporation | Force feedback system including multi-tasking graphical host environment and interface device |
US6161126A (en) * | 1995-12-13 | 2000-12-12 | Immersion Corporation | Implementing force feedback over the World Wide Web and other computer networks |
US6167350A (en) * | 1996-04-12 | 2000-12-26 | Sony Corporation | Method and apparatus for selecting information signal range and editing apparatus for information signal |
DE69925813T2 (de) * | 1998-02-06 | 2006-05-04 | Wisconsin Alumni Research Foundation, Madison | Auf der zunge gelegt tastausgabevorrichtung |
US6659773B2 (en) * | 1998-03-04 | 2003-12-09 | D-Box Technology Inc. | Motion transducer system |
KR100324824B1 (ko) * | 1999-12-22 | 2002-02-28 | 장긍덕 | 맹인용 영상정보 인식 시스템 및 그 제어방법 |
DE10021452A1 (de) * | 2000-05-03 | 2002-03-07 | Thomson Brandt Gmbh | Verfahren und Vorrichtung zur Übertragung, Aufzeichnung und Wiedergabe von Videosignalen sowie Imformationsträger für Videosignale |
US7159008B1 (en) * | 2000-06-30 | 2007-01-02 | Immersion Corporation | Chat interface with haptic feedback functionality |
EP1499406A1 (en) * | 2002-04-22 | 2005-01-26 | Intellocity USA, Inc. | Method and apparatus for data receiver and controller |
US6930590B2 (en) * | 2002-06-10 | 2005-08-16 | Ownway Biotronics, Inc. | Modular electrotactile system and method |
US7073127B2 (en) * | 2002-07-01 | 2006-07-04 | Arcsoft, Inc. | Video editing GUI with layer view |
WO2004051451A2 (en) * | 2002-12-04 | 2004-06-17 | Koninklijke Philips Electronics N.V. | Graphic user interface having touch detectability |
DE10340188A1 (de) * | 2003-09-01 | 2005-04-07 | Siemens Ag | Bildschirm mit einer berührungsempfindlichen Bedienoberfläche zur Befehlseingabe |
KR100581060B1 (ko) | 2003-11-12 | 2006-05-22 | 한국전자통신연구원 | 오감 데이터 동기화 전송 장치 및 그 방법과 그를 이용한실감형 멀티미디어 데이터 제공 시스템 및 그 방법 |
US7765333B2 (en) * | 2004-07-15 | 2010-07-27 | Immersion Corporation | System and method for ordering haptic effects |
JP4860625B2 (ja) * | 2004-10-08 | 2012-01-25 | イマージョン コーポレーション | タッチ式入力装置におけるボタンおよびスクロール動作シミュレーション用の触覚フィードバック |
KR20060079813A (ko) * | 2005-01-03 | 2006-07-06 | 삼성전자주식회사 | 감각데이터 구현기능을 갖는 전자기기 |
KR20060092416A (ko) * | 2005-02-17 | 2006-08-23 | 홍광석 | 촉감정보를 표현하는 방법 및 이를 부호화하는 방법 |
-
2007
- 2007-03-02 KR KR1020070020930A patent/KR100860547B1/ko active IP Right Grant
-
2008
- 2008-02-29 EP EP08723237A patent/EP2132619A4/en not_active Withdrawn
- 2008-02-29 US US12/303,367 patent/US20090309827A1/en not_active Abandoned
- 2008-02-29 WO PCT/KR2008/001199 patent/WO2008108560A1/en active Application Filing
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011071275A2 (ko) * | 2009-12-11 | 2011-06-16 | 광주과학기술원 | 컨트롤 정보를 이용한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템 |
WO2011071352A2 (ko) * | 2009-12-11 | 2011-06-16 | 광주과학기술원 | 데이터 포멧의 정의를 통한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템 |
WO2011071351A2 (ko) * | 2009-12-11 | 2011-06-16 | 광주과학기술원 | 감각 정보의 구분을 통한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템 |
WO2011071351A3 (ko) * | 2009-12-11 | 2011-11-10 | 광주과학기술원 | 감각 정보의 구분을 통한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템 |
WO2011071352A3 (ko) * | 2009-12-11 | 2011-11-10 | 광주과학기술원 | 데이터 포멧의 정의를 통한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템 |
WO2011071275A3 (ko) * | 2009-12-11 | 2011-11-10 | 광주과학기술원 | 컨트롤 정보를 이용한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템 |
US20120092146A1 (en) * | 2009-12-11 | 2012-04-19 | Gwangju Institute Of Science And Technology | Method for expressing haptic information using control information, and system for transmitting haptic information |
US9030305B2 (en) * | 2009-12-11 | 2015-05-12 | Gwangju Institute Of Science And Technology | Method for expressing haptic information using control information, and system for transmitting haptic information |
Also Published As
Publication number | Publication date |
---|---|
EP2132619A4 (en) | 2010-08-18 |
US20090309827A1 (en) | 2009-12-17 |
EP2132619A1 (en) | 2009-12-16 |
KR100860547B1 (ko) | 2008-09-26 |
WO2008108560A1 (en) | 2008-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100860547B1 (ko) | 촉감 정보 저작 방법과 장치, 및 컴퓨터로 판독가능한 기록매체 | |
KR100835297B1 (ko) | 촉감 정보 표현을 위한 노드 구조 및 이를 이용한 촉감정보 전송 방법과 시스템 | |
Danieau et al. | Enhancing audiovisual experience with haptic feedback: a survey on HAV | |
Danieau et al. | Framework for enhancing video viewing experience with haptic effects of motion | |
KR20140082266A (ko) | 혼합현실 콘텐츠 시뮬레이션 시스템 | |
Kim et al. | A tactile glove design and authoring system for immersive multimedia | |
KR20180030515A (ko) | 사용자 햅틱 공간(HapSpace)에 기초하여 햅틱 피드백 및 인터액티비티를 제공하는 방법 및 장치 | |
Cha et al. | A Framework for Haptic Broadcasting. | |
KR20160118859A (ko) | 증강현실 기반 인터렉티브 저작 서비스 제공 시스템 | |
KR102186607B1 (ko) | 증강현실을 통한 발레 공연 시스템 및 방법 | |
JP6683864B1 (ja) | コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム | |
CN112673400A (zh) | 化身动画 | |
Kim et al. | Construction of a haptic-enabled broadcasting system based on the MPEG-V standard | |
JP7047168B1 (ja) | コンテンツ提供システム、コンテンツ提供方法、及びコンテンツ提供プログラム | |
Cha et al. | An authoring/editing framework for haptic broadcasting: passive haptic interactions using MPEG-4 BIFS | |
WO2017037952A1 (ja) | プログラム、記録媒体、コンテンツ提供装置及び制御方法 | |
KR101239830B1 (ko) | 데이터 포멧의 정의를 통한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템 | |
JP6892478B2 (ja) | コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム | |
KR20180098936A (ko) | 위치센서 기반 hmd 워킹 가상현실 콘텐츠 체험시스템 | |
Cha et al. | Haptic interaction in realistic multimedia broadcasting | |
JP2021009351A (ja) | コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム | |
KR20100052023A (ko) | 교습용 디지털 스케치북 | |
JP7011746B1 (ja) | コンテンツ配信システム、コンテンツ配信方法、及びコンテンツ配信プログラム | |
KR20110040128A (ko) | 헵틱 콘텐츠 스트리밍 시스템 | |
US20240104870A1 (en) | AR Interactions and Experiences |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
AMND | Amendment | ||
J201 | Request for trial against refusal decision | ||
B701 | Decision to grant | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20130710 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20140703 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20150730 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20160912 Year of fee payment: 9 |
|
FPAY | Annual fee payment |
Payment date: 20170825 Year of fee payment: 10 |
|
FPAY | Annual fee payment |
Payment date: 20180625 Year of fee payment: 11 |