RU2008104856A - Способ и устройство пользовательского ввода в терминале мобильной связи - Google Patents
Способ и устройство пользовательского ввода в терминале мобильной связи Download PDFInfo
- Publication number
- RU2008104856A RU2008104856A RU2008104856/09A RU2008104856A RU2008104856A RU 2008104856 A RU2008104856 A RU 2008104856A RU 2008104856/09 A RU2008104856/09 A RU 2008104856/09A RU 2008104856 A RU2008104856 A RU 2008104856A RU 2008104856 A RU2008104856 A RU 2008104856A
- Authority
- RU
- Russia
- Prior art keywords
- pointer
- video
- screen
- predefined
- user
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
- H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
- H04B1/40—Circuits
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Telephone Function (AREA)
- Processing Or Creating Images (AREA)
Abstract
1. Cпособ пользовательского ввода в терминале мобильной связи, содержащий этапы на которых ! отображают экран с меню, содержащий изображения, связанные с функцией каждой клавиши и функцией меню, необходимые для управления терминалом, в зависимости от установленного в настоящее время режима работы; ! обнаруживают предустановленный указатель из видео, которое сфотографировано камерой, когда установлен режим ввода расширенной реальности (AR), синтезируют в реальном времени обнаруженный предустановленный указатель с экраном с меню и отображают синтезированный экран; ! и в состоянии, в котором предопределенное изображение, одно из упомянутых изображений, и указатель накладываются друг на друга на синтезированном экране, при обнаружении предустановленного пользовательского действия, связанного с выбором из сфотографированного камерой видео, выполняют операцию, на основании функции, связанной с упомянутым изображением. ! 2. Способ по п.1, в котором предустановленный указатель является объектом, распознанным как элемент ввода терминала мобильной связи из сфотографированного камерой видео при выполнении режима ввода расширенной реальности. ! 3. Способ по п.1, в котором этапы обнаружения, синтезирования и отображения содержат этапы, на которых ! устанавливают режим ввода расширенной реальности в ответ на пользовательский запрос, и активизируют камеру; ! обнаруживают предустановленный указатель из сфотографированного камерой видео; ! и синтезируют в реальном времени обнаруженный предустановленный указатель с экраном с меню и отображают синтезированный экран. ! 4. Способ по п.1, в котором указатель устанавливают как
Claims (19)
1. Cпособ пользовательского ввода в терминале мобильной связи, содержащий этапы на которых
отображают экран с меню, содержащий изображения, связанные с функцией каждой клавиши и функцией меню, необходимые для управления терминалом, в зависимости от установленного в настоящее время режима работы;
обнаруживают предустановленный указатель из видео, которое сфотографировано камерой, когда установлен режим ввода расширенной реальности (AR), синтезируют в реальном времени обнаруженный предустановленный указатель с экраном с меню и отображают синтезированный экран;
и в состоянии, в котором предопределенное изображение, одно из упомянутых изображений, и указатель накладываются друг на друга на синтезированном экране, при обнаружении предустановленного пользовательского действия, связанного с выбором из сфотографированного камерой видео, выполняют операцию, на основании функции, связанной с упомянутым изображением.
2. Способ по п.1, в котором предустановленный указатель является объектом, распознанным как элемент ввода терминала мобильной связи из сфотографированного камерой видео при выполнении режима ввода расширенной реальности.
3. Способ по п.1, в котором этапы обнаружения, синтезирования и отображения содержат этапы, на которых
устанавливают режим ввода расширенной реальности в ответ на пользовательский запрос, и активизируют камеру;
обнаруживают предустановленный указатель из сфотографированного камерой видео;
и синтезируют в реальном времени обнаруженный предустановленный указатель с экраном с меню и отображают синтезированный экран.
4. Способ по п.1, в котором указатель устанавливают как указатель, который выбран пользователем из множества предварительно сохраненных указателей.
5. Способ по п.4, в котором предварительно сохраненный указатель содержит одно из следующего: палец пользователя, ручку, ручку с выводом через инфракрасный луч, зрачок или лицо.
6. Способ по п.1, в котором действие пользователя предварительно определяют в связке с разнообразием команд, которые пользователь может вводить в терминал мобильной связи.
7. Способ по п.1, дополнительно содержащий этап, на котором
в состоянии, в котором полоса прокрутки экрана дисплея и указатель накладываются друг на друга на синтезированном экране, при обнаружении предустановленного пользовательского действия, связанного с выбором из сфотографированного камерой видео, выполняют функцию прокрутки в зависимости от действия указателя.
8. Способ по п.1, дополнительно содержащий этап, на котором
в состоянии, в котором экран с меню частично отображен, при обнаружении предустановленного пользовательского действия прокрутки из сфотографированного камерой видео, прокручивают и отображают содержимое на экране с меню в ответ на действие указателя.
9. Способ пользовательского ввода в терминале мобильной связи, содержащий этапы, на которых
отображают экран распознавания символов и запускают сфотографированное камерой видео, предоставленное в терминал мобильной связи;
обнаруживают предустановленный указатель из сфотографированного видео, синтезируют в реальном времени обнаруженный предустановленный указатель с экраном с меню и отображают синтезированный экран;
при обнаружении из сфотографированного видео предустановленного пользовательского действия начала ввода символов отображают геометрическое место точек на основании действия указателя на экране распознавания символов;
и при обнаружении из сфотографированного видео предустановленного пользовательского действия окончания ввода символов прекращают отображать геометрическое место точек на основании действия указателя и распознают отображенное геометрическое место точек как символ.
10. Способ пользовательского ввода в терминале мобильной связи, содержащий этапы, на которых
во время вызова отображают экран с видеовызовом, содержащий видео вызываемой стороны, видео, сфотографированное пользователем, и множество меню виртуальных действий;
обнаруживают предустановленный указатель из сфотографированного видео, синтезируют в реальном времени обнаруженный предустановленный указатель с экраном с видеовызовом и отображают синтезированный экран с видеовызовом;
и в состоянии, в котором предопределенное меню виртуальных действий и указатель накладываются друг на друга на синтезированном экране с видеовызовом, при обнаружении пользовательского действия выбора передают код действия, связанный с предопределенным меню виртуальных действий, в терминал вызываемой стороны, синтезируют виртуальное изображение, связанное с предопределенным меню виртуальных действий, с видео вызываемой стороны, и отображают синтезированное видео.
11. Способ по п.10, дополнительно содержащий этапы, на которых
при приеме предопределенного кода действия от терминала вызываемой стороны осуществляют поиск меню виртуальных действий, связанных с принятым кодом действия, синтезируют виртуальное изображение, связанное с меню виртуальных действий, с пользовательским видео, и отображают синтезированное видео.
12. Пользовательское устройство ввода данных терминала мобильной связи, содержащее
устройство отображения;
камеру;
видеопроцессор для совмещения в реальном времени указателя, обнаруженного из сфотографированного камерой видео, со сфотографированным видео и виртуальным видео, состоящим из предварительно сохраненного изображения, исправления ошибки, и отображения совмещенного результата на устройстве отображения в двух или трех измерениях;
и контроллер для управления видеопроцессором и устройством отображения для отображения экрана с меню, содержащего изображения, связанные с функцией каждой клавиши и функцией меню, необходимые для управления терминалом, на устройстве отображения в зависимости от установленного в настоящее время режима работы, управления видеопроцессором при установке режима ввода расширенной реальности для обнаружения предустановленного указателя из сфотографированного камерой видео, синтезирования в реальном времени обнаруженного указателя с экраном с меню и отображения синтезированного экрана, и в состоянии, в котором предопределенное одно из изображений и указатель накладываются друг на друга на синтезированном экране, при обнаружении предустановленного пользовательского действия, связанного с выбором из сфотографированного видео, выполнения операции на основании функции, связанной с упомянутым изображением.
13. Устройство по п.12, в котором указатель является объектом, распознанным как элемент ввода терминала мобильной связи из сфотографированного камерой видео при выполнении режима ввода расширенной реальности.
14. Устройство по п.12, в котором контроллер устанавливает режим ввода расширенной реальности в ответ на пользовательский запрос и активизирует камеру, а также управляет видеопроцессором для обнаружения предустановленного указателя из сфотографированного камерой видео, синтезирования в реальном времени обнаруженного предустановленного указателя с экраном с меню и отображения синтезированного экрана.
15. Устройство по п.12, в котором указатель установлен как указатель, который выбран пользователем из множества предварительно сохраненных указателей.
16. Устройство по п.15, в котором предварительно сохраненный указатель содержит одно из следующего: палец пользователя, ручку, ручку с выводом через инфракрасный луч, зрачок или лицо.
17. Устройство по п.12, в котором пользовательское действие предварительно определено в связке с разнообразием команд, которые пользователь может ввести в терминал мобильной связи.
18. Устройство по п.12, в котором в состоянии, в котором полоса прокрутки экрана дисплея и указатель накладываются друг на друга на синтезированном экране, при обнаружении предустановленного пользовательского действия, связанного с выбором из сфотографированного камерой видео, контроллер выполняет функцию прокрутки в зависимости от действия указателя.
19. Устройство по п.12, в котором, когда экран с меню частично отображен, при обнаружении предварительно определенного действия прокрутки из сфотографированного камерой видео, контроллер прокручивает и отображает содержимое на экране с меню в ответ на действие указателя.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020050073797A KR100987248B1 (ko) | 2005-08-11 | 2005-08-11 | 이동 통신 단말의 사용자 입력 방법 및 장치 |
KR10-2005-0073797 | 2005-08-11 |
Publications (2)
Publication Number | Publication Date |
---|---|
RU2008104856A true RU2008104856A (ru) | 2009-08-20 |
RU2381544C2 RU2381544C2 (ru) | 2010-02-10 |
Family
ID=37433819
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2008104856/09A RU2381544C2 (ru) | 2005-08-11 | 2006-08-11 | Способ и устройство пользовательского ввода в терминале мобильной связи |
Country Status (7)
Country | Link |
---|---|
US (1) | US7898563B2 (ru) |
EP (1) | EP1752861A1 (ru) |
JP (1) | JP2007052780A (ru) |
KR (1) | KR100987248B1 (ru) |
CN (1) | CN1913545A (ru) |
RU (1) | RU2381544C2 (ru) |
WO (1) | WO2007018416A1 (ru) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2562125C2 (ru) * | 2009-11-13 | 2015-09-10 | Самсунг Электроникс Ко., Лтд. | Мобильный терминал, устройство отображения и способ управления ими |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7697827B2 (en) | 2005-10-17 | 2010-04-13 | Konicek Jeffrey C | User-friendlier interfaces for a camera |
KR100858358B1 (ko) * | 2006-09-29 | 2008-09-11 | 김철우 | 손의 움직임 인식을 이용한 사용자인터페이스 장치 및 방법 |
KR100798447B1 (ko) * | 2007-03-15 | 2008-01-28 | 에스케이 텔레콤주식회사 | 화상 통화 시스템에서의 가상 액션 서비스 방법과 이를위한 이동통신 단말기 |
KR100868732B1 (ko) * | 2007-11-05 | 2008-11-13 | 광주과학기술원 | 증강현실을 이용한 멀티미디어 명함정보 제공 시스템 및 그제공방법 |
KR100868733B1 (ko) * | 2007-11-05 | 2008-11-13 | 광주과학기술원 | 증강현실 기반의 게임이 가능한 이동 단말기 및 이동단말기를 이용하여 증강현실 기반의 게임을 제공하는 방법 |
KR20090061792A (ko) * | 2007-12-12 | 2009-06-17 | 주식회사 엘지텔레콤 | 대기 화면 서비스의 번호 Key 매핑을 통한 Quick실행 방법 및 장치 |
US8159458B2 (en) | 2007-12-13 | 2012-04-17 | Apple Inc. | Motion tracking user interface |
KR100963238B1 (ko) | 2008-02-12 | 2010-06-10 | 광주과학기술원 | 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템과증강현실을 이용한 상호작용방법 |
KR20100009023A (ko) * | 2008-07-17 | 2010-01-27 | (주)마이크로인피니티 | 움직임을 인식하는 장치 및 방법 |
JP4927808B2 (ja) | 2008-11-26 | 2012-05-09 | 京セラ株式会社 | カメラ付き機器 |
KR101390045B1 (ko) * | 2008-12-24 | 2014-04-30 | 에릭슨엘지엔터프라이즈 주식회사 | 통화 장치 및 그 제어 장치 |
KR101641063B1 (ko) | 2009-03-26 | 2016-07-22 | 삼성전자주식회사 | 단말 제어 장치 및 방법 |
US8499257B2 (en) * | 2010-02-09 | 2013-07-30 | Microsoft Corporation | Handles interactions for human—computer interface |
JP5534183B2 (ja) | 2010-03-23 | 2014-06-25 | ソニー株式会社 | 電子機器および情報処理プログラム |
KR101156753B1 (ko) * | 2010-04-26 | 2012-06-14 | 팬터로그인터액티브 주식회사 | 휴대용 단말 장치 및 이를 이용한 피사체 모션 검출 방법 |
KR101118010B1 (ko) * | 2010-07-16 | 2012-06-12 | 텔코웨어 주식회사 | 증강 현실을 이용한 영상 통화 서비스 방법 및 그 시스템, 및 기록매체 |
US9727128B2 (en) | 2010-09-02 | 2017-08-08 | Nokia Technologies Oy | Methods, apparatuses, and computer program products for enhancing activation of an augmented reality mode |
KR101219933B1 (ko) | 2010-09-13 | 2013-01-08 | 현대자동차주식회사 | 증강현실을 이용한 차량 내 디바이스 제어 시스템 및 그 방법 |
WO2012047206A1 (en) * | 2010-10-05 | 2012-04-12 | Hewlett-Packard Development Company, L.P. | Entering a command |
KR101726224B1 (ko) * | 2010-10-06 | 2017-04-12 | 엘지전자 주식회사 | 이동 단말기 및 그 제어 방법 |
KR101282292B1 (ko) * | 2011-01-24 | 2013-07-10 | 주식회사 코세이프 | 증강현실을 이용한 광고 서비스 시스템 및 그 방법 |
KR101235224B1 (ko) * | 2011-01-28 | 2013-02-20 | 한림대학교 산학협력단 | 광학 펜을 이용한 입력을 제공하는 포터블 장치 및 그 방법 |
US8606645B1 (en) | 2012-02-02 | 2013-12-10 | SeeMore Interactive, Inc. | Method, medium, and system for an augmented reality retail application |
US9921648B2 (en) * | 2013-02-22 | 2018-03-20 | University Of Seoul Industry Cooperation Foundation | Apparatuses, methods and recording medium for control portable communication terminal and its smart watch |
CN103294347B (zh) * | 2013-06-24 | 2016-09-07 | 贝壳网际(北京)安全技术有限公司 | 移动终端浏览器视频播放的操作控制方法、装置及浏览器 |
CN103777753A (zh) * | 2013-11-12 | 2014-05-07 | 广州新节奏智能科技有限公司 | 新型便携式肢体感应操控装置及其应用方法 |
WO2016080572A1 (ko) * | 2014-11-20 | 2016-05-26 | 엘지전자 주식회사 | 단말 장치, 영상 제어 시스템 및 단말 장치의 제어 방법 |
CN108075940A (zh) * | 2016-11-18 | 2018-05-25 | 天津嘉深保科技发展有限公司 | 一种会议服务用网络通信联通测试仪 |
CN107124658B (zh) * | 2017-05-02 | 2019-10-11 | 北京小米移动软件有限公司 | 视频直播方法及装置 |
JPWO2021038786A1 (ru) * | 2019-08-29 | 2021-03-04 | ||
US11275945B2 (en) * | 2020-03-26 | 2022-03-15 | Varjo Technologies Oy | Imaging system and method for producing images with virtually-superimposed functional elements |
US11638872B1 (en) * | 2021-10-18 | 2023-05-02 | Electronic Arts Inc. | Videographer mode in online games |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5903668A (en) * | 1992-05-27 | 1999-05-11 | Apple Computer, Inc. | Method and apparatus for recognizing handwritten words |
DE4408737A1 (de) * | 1994-03-15 | 1995-09-21 | Sel Alcatel Ag | Telekommunikationsendgerät |
KR19990011180A (ko) * | 1997-07-22 | 1999-02-18 | 구자홍 | 화상인식을 이용한 메뉴 선택 방법 |
AU8682498A (en) | 1997-07-31 | 1999-02-22 | Reality Fusion, Inc. | Systems and methods for software control through analysis and interpretation of video information |
US6222465B1 (en) * | 1998-12-09 | 2001-04-24 | Lucent Technologies Inc. | Gesture-based computer interface |
JP2002290529A (ja) | 2001-03-28 | 2002-10-04 | Matsushita Electric Ind Co Ltd | 携帯通信端末、情報表示装置、制御入力装置および制御入力方法 |
US6943774B2 (en) * | 2001-04-02 | 2005-09-13 | Matsushita Electric Industrial Co., Ltd. | Portable communication terminal, information display device, control input device and control input method |
US7064742B2 (en) * | 2001-05-31 | 2006-06-20 | Siemens Corporate Research Inc | Input devices using infrared trackers |
US7215322B2 (en) * | 2001-05-31 | 2007-05-08 | Siemens Corporate Research, Inc. | Input devices for augmented reality applications |
WO2003077553A1 (fr) * | 2002-03-08 | 2003-09-18 | Mitsubishi Denki Kabushiki Kaisha | Dispositif de communication mobile, procede de commande d'affichage pour un dispositif de communication mobile et programme correspondant |
US7301547B2 (en) | 2002-03-22 | 2007-11-27 | Intel Corporation | Augmented reality system |
RU2227930C2 (ru) | 2002-07-04 | 2004-04-27 | Межрегиональная благотворительная общественная организация инвалидов "ГЕРОНТ" | Способ бесконтактного ввода информации в компьютер и система для его осуществления |
KR100651508B1 (ko) | 2004-01-30 | 2006-11-29 | 삼성전자주식회사 | 증강현실을 이용한 지역 정보 제공 방법 및 이를 위한지역 정보 서비스 시스템 |
US7692627B2 (en) * | 2004-08-10 | 2010-04-06 | Microsoft Corporation | Systems and methods using computer vision and capacitive sensing for cursor control |
-
2005
- 2005-08-11 KR KR1020050073797A patent/KR100987248B1/ko not_active IP Right Cessation
-
2006
- 2006-08-08 US US11/501,136 patent/US7898563B2/en not_active Expired - Fee Related
- 2006-08-09 JP JP2006217335A patent/JP2007052780A/ja active Pending
- 2006-08-10 EP EP06118739A patent/EP1752861A1/en not_active Withdrawn
- 2006-08-11 RU RU2008104856/09A patent/RU2381544C2/ru not_active IP Right Cessation
- 2006-08-11 WO PCT/KR2006/003165 patent/WO2007018416A1/en active Application Filing
- 2006-08-11 CN CNA2006101154977A patent/CN1913545A/zh active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2562125C2 (ru) * | 2009-11-13 | 2015-09-10 | Самсунг Электроникс Ко., Лтд. | Мобильный терминал, устройство отображения и способ управления ими |
US9740451B2 (en) | 2009-11-13 | 2017-08-22 | Samsung Electronics Co., Ltd. | Mobile terminal, display apparatus and control method thereof |
US9769421B2 (en) | 2009-11-13 | 2017-09-19 | Samsung Electronics Co., Ltd. | Mobile terminal, display apparatus and control method thereof |
US10009578B2 (en) | 2009-11-13 | 2018-06-26 | Samsung Electronics Co., Ltd. | Mobile terminal, display apparatus and control method thereof |
RU2670603C2 (ru) * | 2009-11-13 | 2018-10-24 | Самсунг Электроникс Ко., Лтд. | Мобильный терминал, устройство отображения и способ управления ими |
RU2670603C9 (ru) * | 2009-11-13 | 2018-11-21 | Самсунг Электроникс Ко., Лтд. | Мобильный терминал, устройство отображения и способ управления ими |
US10230921B2 (en) | 2009-11-13 | 2019-03-12 | Samsung Electronics Co., Ltd. | Mobile terminal, display apparatus and control method thereof |
Also Published As
Publication number | Publication date |
---|---|
US20070064091A1 (en) | 2007-03-22 |
WO2007018416A1 (en) | 2007-02-15 |
CN1913545A (zh) | 2007-02-14 |
KR100987248B1 (ko) | 2010-10-12 |
EP1752861A1 (en) | 2007-02-14 |
US7898563B2 (en) | 2011-03-01 |
JP2007052780A (ja) | 2007-03-01 |
KR20070019849A (ko) | 2007-02-15 |
RU2381544C2 (ru) | 2010-02-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2008104856A (ru) | Способ и устройство пользовательского ввода в терминале мобильной связи | |
US9448620B2 (en) | Input method and apparatus of portable device for mapping segments of a hand to a plurality of keys | |
KR102649254B1 (ko) | 디스플레이 제어 방법, 저장 매체 및 전자 장치 | |
KR100783552B1 (ko) | 휴대 단말기의 입력 제어 방법 및 장치 | |
US10133438B2 (en) | User interface for augmented reality | |
US10621439B2 (en) | Method, apparatus, and storage medium for searching for object using augmented reality (AR) | |
KR101493603B1 (ko) | 외부 표시 장치와 접속가능한 표시 단말 장치 및 방법 | |
US9823779B2 (en) | Method and device for controlling a head-mounted display by a terminal device | |
EP3053014B1 (en) | Method of recognizing multi-gaze and apparatus therefor | |
US20120231853A1 (en) | Information terminal and input control program | |
US20110037731A1 (en) | Electronic device and operating method thereof | |
US20230124173A1 (en) | Information terminal device and application operation mode control method of same | |
CN110519517B (zh) | 临摹引导方法、电子设备及计算机可读存储介质 | |
US8970483B2 (en) | Method and apparatus for determining input | |
JPH0784714A (ja) | コマンド処理装置 | |
CN111045628A (zh) | 一种信息传输方法及电子设备 | |
US10441890B2 (en) | Game apparatus | |
JP2002297280A (ja) | 表示装置 | |
CN111522488B (zh) | 一种手机端唤起任务面板的交互方法 | |
JP2003140830A (ja) | プロジェクタシステム、ポインタ装置、プロジェクタ装置及び制御信号出力装置 | |
US20230359338A1 (en) | Screen content magnification method and device, and computer readable storage medium | |
CN116627567A (zh) | 虚拟界面的调节方法和电子设备 | |
CN116501226A (zh) | 截图方法、装置 | |
CN117331429A (zh) | 信息输入方法、装置、电子设备及可读存储介质 | |
KR20060104607A (ko) | 캠코더 기능을 이용한 유저 인터페이스 기능을 가진 휴대폰및 유저 인터페이스 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20190812 |