KR101367060B1 - 시각적 보상을 위한 방법 및 장치 - Google Patents

시각적 보상을 위한 방법 및 장치 Download PDF

Info

Publication number
KR101367060B1
KR101367060B1 KR1020127016133A KR20127016133A KR101367060B1 KR 101367060 B1 KR101367060 B1 KR 101367060B1 KR 1020127016133 A KR1020127016133 A KR 1020127016133A KR 20127016133 A KR20127016133 A KR 20127016133A KR 101367060 B1 KR101367060 B1 KR 101367060B1
Authority
KR
South Korea
Prior art keywords
image
processor
glasses
font size
visual
Prior art date
Application number
KR1020127016133A
Other languages
English (en)
Other versions
KR20120096527A (ko
Inventor
윌리암 피. 알버스
Original Assignee
모토로라 모빌리티 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 모토로라 모빌리티 엘엘씨 filed Critical 모토로라 모빌리티 엘엘씨
Publication of KR20120096527A publication Critical patent/KR20120096527A/ko
Application granted granted Critical
Publication of KR101367060B1 publication Critical patent/KR101367060B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001Teaching or communicating with blind persons
    • G09B21/008Teaching or communicating with blind persons using visual presentation of the information for the partially sighted
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Educational Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

시각적 보상을 위한 방법(300) 및 장치는 이미저(imager)를 사용하여 이미지를 캡처하고(330), 이미지에 안경이 존재하는지 여부를 검출하며(360), 이미지 내에 안경이 존재하는 것으로 검출되지 않은 경우, 전자 시각적 디스플레이를 더 큰 폰트 크기로 설정한다(363). 이미지 내에 안경이 존재하는 것으로 검출되는 경우, 전자 시각적 디스플레이는 보통 폰트 크기로 설정된다(367). 방법 및 장치는 (예를 들어) 착신 통화 또는 메시지에 의해, 터치 스크린 활성화, 키 누름에 의해, 또는 장치의 감지된 움직임에 의해 트리거될 수 있다(320). 방법은 최초 이미지 캡처 후에 사용자가 안경을 착용했는지(또는 안경을 벗었는지) 여부를 검출하기 위해 가끔 반복될 수 있다. 방법 및 장치는 간헐적으로 안경을 착용하는 노안(및 일부 다른 유형의 시각적 장애)을 가진 사용자들을 보상한다.

Description

시각적 보상을 위한 방법 및 장치{METHOD AND DEVICE FOR VISUAL COMPENSATION}
본 발명은 일반적으로 전자 시각적 디스플레이(electronic visual display)를 갖는 장치들에 관한 것이고, 더 구체적으로는 가끔 안경을 착용하는 사용자들을 위해 문자 및 이미지들을 디스플레이하는 것에 관한 것이다.
전자 시각적 디스플레이들을 갖는 장치들의 일부 사용자는 가까운 물체에 초점을 맞추는 데 곤란함을 유발하는 노안(presbyopia)에 시달린다. 이것은 가까운 거리에서 문자를 읽거나 이미지를 볼 때, 눈의 피로를 초래할 수 있다. 일반적으로, 노안은 독서용 안경과 같은 교정용 렌즈들을 사용하여 처치된다. 때때로, 이러한 독서용 안경은 간헐적으로 착용된다. 사용자가 갑자기 전자 시각적 디스플레이를 봐야할 경우, 독서용 안경이 간편하게 사용할 수 없을 수 있다. 예를 들어, 모바일 전화가 울려 사용자가 발신자 ID를 읽고 싶어하지만, 그 사용자의 독서용 안경은 다른 방 또는 손가방에 있다.
전자 시각적 디스플레이들을 갖는 다수의 장치들이 더 큰 폰트 크기들을 사용하여 문자를 디스플레이하도록 조절될 수 있는 설정들을 갖긴 하지만, 사용자는 우선 "보통" 폰트 크기들을 사용하여 디스플레이되는 메뉴를 통해 탐색하여야 한다. 따라서, 역설적이게도, 읽는 어려움을 해결하기 위해 폰트 크기를 늘리는 프로세스가 부담스럽게 된다.
사용자가 때로는 더 큰 폰트 크기들을 원하고 때로는 더 작은 폰트 크기들을 원하는 경우, 더 복잡한 문제가 생긴다. 따라서, 전자 시각적 디스플레이들이 더 읽혀지기 쉽도록, 노안을 가진 사용자들의 편의를 도모할 기회가 있다.
별개의 도면들 전체에서 유사한 참조 번호들이 동일하거나 기능적으로 유사한 구성요소들을 가리키는 첨부 도면들은, 이하의 상세한 설명과 함께 본 명세서에 포함되어 그 일부를 구성하며, 청구된 발명을 포함하는 개념들의 실시예를 더 예시하고, 그러한 실시예들의 다양한 원리들 및 이점들을 설명하는 역할을 한다.
도 1 내지 2는 실시예에 따른 시각적 보상을 위한 장치의 사용을 도시한다.
도 3은 실시예에 따른 시각적 보상 방법에 대한 흐름도를 도시한다.
도 4는 도 1 내지 2에 도시된 장치에 대한 기본적인 개략도를 도시한다.
숙련된 기술자들은 도면들 내의 구성요소들이 단순성 및 명료성을 위해 예시된 것이며, 반드시 비율에 따라 그려진 것은 아니라는 점을 이해할 것이다. 예를 들어, 본 발명의 실시예들의 이해의 개선을 돕기 위해, 도면들 내의 구성요소들 중 일부의 치수들이 다른 구성요소들에 비하여 과장될 수 있다.
적절한 경우, 장치 및 방법 컴포넌트들은 도면들에서 종래의 기호들에 의해 표시되어, 본 명세서의 혜택을 받는 기술 분야의 통상의 지식을 가진 자들이 쉽게 알 수 있을 세부사항들로 본 명세서를 모호하게 하지 않도록, 본 발명의 실시예들의 이해에 관련된 특정 세부사항들만을 보여준다.
시각적 보상을 위한 방법 및 장치는 장치의 사용자의 이미지를 캡처하기 위해 디지털 카메라를 사용한다. 장치 내의 얼굴 인식 엔진은 이미지 내에 얼굴이 존재하는지 여부 및 안경이 존재하는지 부재하는지 여부를 검출한다. 안경이 이미지 내에 없는 경우, 장치의 전자 시각적 디스플레이는 안경이 검출된 경우보다 더 큰 폰트 크기를 사용한다. 본 방법 및 장치는 가끔 안경을 착용하는 노안을 가진 사용자를 위해 시각적으로 보상하는 것을 돕는다. 이미지에서 검출되는 대로 사용자가 독서용 안경을 착용하고 있는 경우, 디스플레이는 보통 폰트 크기를 사용한다. 그러나, 이미지에서 독서용 안경이 없는 경우, 디스플레이는 더 큰 폰트 크기를 사용하여 사용자가 문자를 읽는 데 도움을 준다.
이러한 방법 및 장치는 또한 심각한 근시를 가진 사용자를 위해서도 유용할 수 있다. 다른 상황에서, 일반적으로 안경을 착용하는 사용자는 시계로서 사용하기 위해 모바일 전화기를 침실용 탁자에 올려놓는다. 사용자가 한밤 중에 깨어나서 모바일 전화기를 터치하여 사용자 상호작용 트리거를 유발하는 경우, 본 방법 및 장치는 (아마도 노출 부족(underexposure)을 야기하는 어둠 속에서) 이미지를 캡처하고, 사용자가 안경을 착용하고 있음을 검출하지 못하여, 시계 디스플레이의 폰트 크기를 증가시켜 표시된 시간의 가독성을 개선한다.
도 1 내지 2는 실시예에 따른 시각적 보상을 위한 장치(100)의 사용을 도시한다. 도 1 내지 2의 장치(100)는 모바일 전화기로 도시되었지만, 장치는 컴퓨터들(데스크탑 또는 랩탑), 전자 책들, PDA 또는 개인용 디지털 오거나이저, 또는 팔 길이(즉, 1 미터) 이하에서 보도록 의도된 전자 시각적 디스플레이를 갖는 다른 장치들을 포함하는, 전자 시각적 디스플레이(electronic visual display)(110)를 갖는 임의의 수의 장치일 수 있다.
장치(100)는 디스플레이(110)와 실질적으로 동일한 방향을 향하는 디지털 카메라(120) 또는 다른 유형의 이미저(imager)를 포함한다. 일부 구현들에서, 이미저는 디스플레이 자체 내에 통합되거나, 또는 디스플레이 뒤에 (장치(100)의 내부를 향해) 위치될 수 있다. 카메라는, 사용자 상호작용 트리거(user interaction trigger)를 수신하는 경우 이미지를 캡처한다. 사용자 상호작용 트리거는 (예를 들어) 착신 통화 또는 메시지, 터치 스크린 상호작용 또는 키 누름, 또는 장치(100)의 검출된 움직임일 수 있다. 장치들의 정교함이 증가할수록, 다른 사용자 상호작용 트리거들이 개발될 수 있다. 일반적으로 사용자 상호작용 트리거는 디스플레이가 활성화되게 하는 것이고, 따라서 장치와 사용자 간의 시각적 상호작용에 선행하는 임의의 신호이다.
아마도, 카메라(120)가 이미지를 캡처하고 있는 시점에서, 사용자는 디스플레이(110)의 정면에 있고, 이미지는 사용자의 얼굴의 수용가능한 묘사(depiction)를 포함할 것이다. 간단한 얼굴 인식 엔진을 갖는 프로세서(도시되지 않음)는 이미지 내에 얼굴이 존재하는지 여부를 검출한다. 얼굴 인식 엔진이 얼굴을 전혀 검출할 수 없는 경우, 프로세서는 대체 이미지를 캡처하려고 시도할 수 있다. 얼굴 인식이 얼굴을 검출한 경우, 그것은 안경이 존재하는지 여부를 결정한다. 도 1에서, 사용자(190)는 안경을 착용하고 있지 않다. 이러한 상황에서, 얼굴 인식 엔진은 안경이 없는 얼굴을 검출하였다. 이에 응답하여, 프로세서는 전자 시각적 디스플레이(110) 상에 디스플레이되는 문자의 폰트 크기를 큰 폰트 크기로 설정한다. 특정 폰트 크기가 사용자에 의해 미리 선택될 수 있다.
도 2에서, 사용자(190)는 안경(195)을 착용하고 있다. 이러한 상황에서, 얼굴 인식 엔진은 안경을 갖는 얼굴을 검출하며, 전자 시각적 디스플레이(110) 상에 디스플레이되는 문자는, 사용자에 의해 미리 선택되거나 제조사 또는 소프트웨어 애플리케이션에 의해 미리 결정된 대로 보통 폰트 크기로 설정된다.
이미지 캡처, 이미지 분석 및 폰트 크기 설정 프로세스는 가끔 반복될 수 있다. 최초 사용자 상호작용 트리거가 안경 없는 얼굴 이미지의 캡처를 유발한 경우, 디스플레이되는 폰트 크기는 보통보다 더 크게 설정될 것이다. 사용자는 나중에 안경을 착용할 수 있으며, 이후의 이미지 캡처, 이미지 분석 및 폰트 설정 프로세스는 디스플레이 상에서 보통 폰트 크기를 유발할 것이다. 그 반복은 디스플레이가 활성화되는 동안의 시간(예를 들어, 매 60초마다)에 기초할 수 있거나, 추가의 사용자 상호작용 트리거들에 기초할 수 있거나, 또는 시간 및 추가의 사용자 상호작용 트리거들 둘 다의 조합에 기초할 수 있다. 반복 시간은 (예를 들어, 15초에서 30초로, 그리고 60초로) 변하고/변하거나, 중단될 수 있다(예를 들어, 5분 동안 반복한 후 프로세스가 정지하고, 폰트 크기는 일정하게 유지됨).
도시된 장치(100)는 오디오 스피커(150), 키패드(130) 및 마이크로폰(140)과 같이, 모바일 전화기들에서 일반적으로 발견되는 다른 컴포넌트들을 포함한다. 물론, 다른 컴포넌트들은 다른 버전의 장치들로 구현될 수 있다.
도 3은 실시예에 따른 시각적 보상 방법에 대한 흐름도(300)를 도시한다. 처음에, (도 1 내지 2의 장치(100)와 같은) 시각적 보상을 위한 장치는 시각적 보상 모드(310)로 설정된다. 시각적 보상 모드는 원래 노안을 가진 사용자들을 위해 개발되었지만, 사용자가 때로는 안경을 착용하고 때로는 안경을 착용하지 않는 경우, (심각한 근시와 같은) 다른 유형의 시각적 문제들을 가진 사용자들에 대해서도 적합할 수 있다. 어쨌든, 사용자는 그 모드를 장치 설정으로서 활성화시킬 수 있으며, 시각적 보상 모드가 비활성화될 때까지 장치는 그러한 모드로 지속될 것이다.
장치가 사용자 상호작용 트리거를 수신하면(320), 장치 내의 이미저가 (그것이 미리 활성화되지 않았다면) 활성화되고(325), 이미지를 캡처한다(330). 사용자 상호작용 트리거는 디스플레이가 활성화되게 하는 임의의 신호일 수 있다. 사용자 상호작용 트리거들의 예들은, 착신 통화 또는 메시지 신호들, 터치 스크린 상호작용들, 키 누름, 또는 가속도계를 사용하여 검출된 장치의 움직임이다. 일부 상황에서 수신 단계(320) 및 활성화 단계(325)는 선택적인데, 왜냐하면 시각적 보상 모드(310)로 들어서면 캡처 단계(330)는 자동적이기 때문이다. 그러나 모바일 전화기 구현에 있어서, 소정의 상황들에서만 이미지들을 캡처(330)함으로써 전력 절약이 달성될 수 있다.
이미지가 캡처된 후, 장치의 프로세서 내에 구현된 얼굴 인식 엔진은 이미지에 대해 기본적 얼굴 인식 알고리즘을 수행한다(340). 얼굴 인식 엔진은 이미지 내에서 얼굴이 검출되는지를 판정한다(350). 얼굴이 존재하지 않는 경우(또는 얼굴이 검출될 수 없는 경우), 흐름은 대체 이미지를 획득하기 위해 이미지를 캡처하는 단계(330)로 복귀한다. 얼굴이 존재하는 경우, 얼굴 인식 엔진은 얼굴에서 안경이 검출되는지 여부를 판정한다(360). 안경이 검출되지 않은 경우, 프로세서는 디스플레이 폰트 크기를 큰 폰트 크기로 설정한다(363). 이것은, 노안을 가진 사용자가 착신 통화 또는 메시지를 수신하고, 먼저 안경을 착용하지 않고 장치를 집어드는 경우에 유익하다. 얼굴이 검출되지 않은 경우(350), 흐름은 디스플레이 폰트 크기를 크게 설정하는 단계(363)로 바로 진행할 수 있다. 이러한 대체 경로는, 이미지가 얼굴을 검출하기에 너무 어두운 상황(또는 너무 밝은 상황 또는 너무 흐릿한 상황), 또는 사용자가 디스플레이를 바라보도록 위치하기 전에 카메라가 이미지를 캡처한 상황에서 유용할 수 있다. 이러한 상황들에서, 장치는 큰 폰트 크기가 디폴트로 되며, 이후에 흐름도(300)를 통한 이후의 반복 동안, 또는 특정 사용자 커맨드를 통해 보통 폰트 크기로 변경될 수 있다.
이미지가 촬영되는 시점에서 사용자가 안경을 착용하고 있는 경우, 프로세서는 디스플레이 폰트 크기를 보통 폰트 크기로 설정한다(367). 디스플레이 폰트 크기가 설정된 후(363, 367), 선택적 타이머가 확인된다. 타이머는 이미지를 캡처한(330) 직후에 설정된다(335). 타이머는 일정하거나(예를 들어, 60초), 가변적(최초 15초, 다음 30초, 다음 30초, 다음 60초 등)일 수 있다. 타이머가 경과한(370) 후, 흐름은 이미지를 캡처하는 단계(330)로 되돌아가고, 프로세서는 필요에 따라 반복된다. 따라서, 사용자가 독서용 안경을 착용하거나 벗음에 따라, 다양한 시간들에서 캡처된 이미지들이 안경을 착용한 얼굴들을 포함하는 것으로 검출되는지 여부에 기초하여 폰트 크기가 동적으로 변경될 수 있다.
일부 구현들은, 안경이 착용된 후, 사용자가 그것을 벗지 않을 것이라고 가정할 수 있다. 이 경우, 프로세스는 디스플레이 폰트 크기를 보통으로 설정한(367) 후에 종료될 수 있다. 일부 구현들은, 미리 정해진 수의 반복(예를 들어 10회 반복)에서, 또는 미리 정해진 기간(예를 들어 10분) 이후에, 이미지 캡처 및 이미지 분석의 결과에 변화가 발생하지 않은 경우, 더 이상의 변화가 예상되지 않는다고 가정할 수 있다. 그 경우, 프로세스는 미리 정해진 횟수의 반복, 또는 미리 정해진 기간의 경과 후에 종료될 수 있다.
도 4는 도 3에 도시된 흐름도를 구현할 수 있는, 도 1 내지 2에 도시된 장치(100)에 대한 기본적 개략도를 도시한다. 앞에서 언급된 바와 같이, 도시된 구현은 모바일 전화기에 대한 것이며, 따라서 장치(100)는 안테나(495), 및 무선 신호들을 수신하고 송신하기 위한 적어도 하나의 송수신기(490)를 포함한다. 장치는 또한 (여러 가지 중에서) 착신 통화 신호들 및 착신 메시지 신호들을 수신하기 위한 송수신기(490)에 전기적으로 연결된 적어도 하나의 프로세서(460)를 포함한다. 프로세서(460)는, 판독 전용 메모리, 랜덤 액세스 메모리, 및/또는 사용자 레벨의 데이터뿐만 아니라 운영 체제 및 소프트웨어 애플리케이션들을 저장하기 위한 다른 유형의 메모리일 수 있는 메모리(480)에 전기적으로 연결된다. 전원(power supply)(475)은 필요에 따라 프로세서(460)(및 장치(100) 내의 다른 컴포넌트들)를 지원한다.
전자 시각적 디스플레이(410)는 프로세서(460)에 연결되며, 프로세서는 디스플레이의 출력을 제어한다. 디스플레이는 출력 전용 디스플레이일 수 있으며, 또는 그것은 터치 스크린, 또는 입력도 받아들이는 다른 유형의 디스플레이일 수 있다. 이미저(420)는 또한 프로세서(460)에 연결된다. 이미저는 디스플레이를 바라보는 사용자의 이미지를 캡처하기 위해 디스플레이와 동일한 방향을 향하는 디지털 카메라일 수 있다. 프로세서(460) 내에 구현된 얼굴 인식 엔진(465)은 얼굴에 대해 캡처된 이미지, 및 얼굴이 안경을 착용하고 있는지 여부를 분석한다.
가속도계(470)는 장치(100)와의 사용자 상호작용을 검출하는 데 유용하다. 사용자가 전화번호로 전화를 걸거나 메시지를 생성할 것을 예상하고 장치를 집어들면, 가속도계가 그 움직임을 검출하고 도 3에서 개관된 프로세스를 트리거할 수 있다. 다른 센서들 또는 입력 컴포넌트들(예를 들어, 키패드(430)의 키들, 터치 스크린 또는 터치 패드의 터치 센서, 또는 심지어는 마이크로폰(440) 또는 오디오 스피커(450)의 활성화)도 도 3의 흐름도(300)를 트리거하기 위해 사용될 수 있다.
시각적 보상을 위한 방법 및 장치는 폰트 크기를 동적으로 전환하는 편리한 방식을 제공하는데, 이는 노안 및 일부 다른 유형의 시각적 장애들을 가진 사용자들에게 도움이 된다. 디지털 카메라 및 간단한 얼굴 인식 엔진을 사용하여, 안경이 있거나 없는 얼굴들이 장치에 의해 검출될 수 있다. 장치가 안경을 착용한 얼굴을 검출한 경우, 교정된 시력이 가정되고 디스플레이는 보통의 폰트를 사용한다. 장치가 안경을 착용하지 않은 얼굴을 검출한 경우(또는 얼굴을 전혀 검출할 수 없는 경우), 교정되지 않은 시력이 가정되고 디스플레이는 더 큰 폰트를 사용한다. 안경이 착용됨(또는 벗겨짐)에 따라 폰트 크기를 동적으로 변경하기 위해, 이미지 캡처 및 이미지 분석의 프로세스가 가끔 반복될 수 있다.
앞의 상세한 설명에서 구체적인 실시예들이 설명되었다. 그러나, 본 기술분야의 통상의 지식을 가진 자는 이하의 청구항들에서 제시된 발명의 범위를 벗어나지 않고 다양한 수정들 및 변경들이 만들어질 수 있다는 것을 인식한다. 따라서, 상세한 설명 및 도면들은 한정적 의미보다는 예시적 의미로 고려될 것이며, 모든 그러한 수정들은 본 교시들의 범위에 포함되는 것으로 의도된다.
이득들, 이점들, 문제에 대한 해법들, 및 임의의 이득, 이점 또는 해법이 생겨나거나 더 현저해지게 할 수 있는 임의의 구성요소(들)는 임의의 또는 모든 청구항들의 핵심적이거나 필수적이거나 본질적인 특징들 또는 구성요소들로서 해석되어서는 안 된다. 본 발명은 오직 본 출원이 계속되는 동안 행해진 임의의 보정들을 포함하는 첨부된 청구항들, 및 등록된 그 청구항들의 모든 균등물에 의해서만 정의된다.
용어 "포함한다(comprises)", "포함하는(comprising)", "가진다(has)", "갖는(having)", "포함한다(includes)", "포함하는(including)", "포함한다(contains)", "포함하는(containing)" 또는 그것들의 임의의 다른 변형은 배타적이지 않은 포함을 포괄하도록 의도되어, 일련의 구성요소들을 포함하고 갖는(comprises, includes, contains, has) 프로세스, 방법, 물건 또는 장치가 그러한 구성요소들만을 포함하는 것이 아니라, 명시적으로 나열되지 않았거나 또는 그러한 프로세스, 방법, 물건 또는 장치에 고유한 다른 구성요소들을 포함할 수 있게 한다. "...을 포함한다(comprises...a)", "...을 가진다(has...a)", "...을 포함한다(includes...a), "...을 포함한다(contains...a)"가 뒤따르는 구성요소는, 더 이상의 제약없이는, 그 구성요소를 포함하고 갖는 프로세스, 방법, 물건 또는 장치 내의 추가적인 동일한 구성요소들의 존재를 배제하지 않는다. 용어 "a", "an"은 여기에서 명시적으로 다르게 언급되지 않는 한, 하나 이상으로 정의된다.
용어 "실질적으로", "본질적으로", "근사적으로", "대략" 또는 그것들의 임의의 다른 형태는 본 기술분야의 통상의 지식을 가진 자에 의해 이해되는 것에 가까운 것으로 정의되며, 그 용어는, 한 비제한적인 실시예에서는 10% 이내인 것으로, 다른 실시예에서는 5% 이내인 것으로, 다른 실시예에서는 1% 이내인 것으로, 그리고 다른 실시예에서는 0.5% 이내인 것으로 정의된다. 여기에서 사용되는 바와 같은 용어 "연결된"은, 반드시 직접적이고 반드시 기계적이지 않더라도 접속된 것으로 정의된다. 소정의 방식으로 "구성되는" 장치 또는 구조는 적어도 그 방법으로 구성되지만, 나열되지 않은 방식들로도 구성될 수 있다.
일부 실시예들은 마이크로프로세서, 디지털 신호 프로세서, 주문제작형 프로세서, 및 FPGA(field programmable gate array)와 같은 하나 이상의 일반적인 또는 특수화된 프로세서(또는 "처리 장치"), 및 소정의 비-프로세서 회로들과 함께 여기에 설명된 방법 및/또는 장치의 기능의 일부, 대부분 또는 전부를 구현하기 위해 하나 이상의 프로세서를 제어하는 (소프트웨어 및 펌웨어 둘 다를 포함하는) 고유의 저장된 프로그램 명령어들로 구성될 수 있다. 대안적으로, 일부 또는 모든 기능들은 저장된 프로그램 명령어들을 갖지 않는 상태 머신에 의해, 또는 하나 이상의 ASIC(application specific integrated circuit) 내에서 구현될 수 있는데, 여기에서 각각의 기능 또는 소정 기능들의 일부 조합은 커스텀 로직으로서 구현된다. 물론, 두 가지 접근법의 조합이 사용될 수 있다.
또한, 실시예는 여기에서 설명되고 청구된 바와 같은 방법을 수행하도록 (예를 들어, 프로세서를 포함하는) 컴퓨터를 프로그래밍하기 위해 저장된 컴퓨터 판독가능한 코드를 가지는 컴퓨터 판독가능한 저장 매체로서 구현될 수 있다. 그러한 컴퓨터 판독가능한 저장 매체의 예들은 하드 디스크, CD-ROM, 광학 저장 장치, 자기 저장 장치, ROM(Read Only Memory), PROM(Programmable Read Only Memory), EPROM(Erasable Programmable Read Only Memory), EEPROM(Electrically Erasable Programmable Read Only Memory) 및 플래시 메모리를 포함한다(이에 한정되지 않음). 또한, 아마도 상당한 노력, 및 예를 들어 가용 시간, 현재 기술 및 경제적 고려사항들에 의해 동기가 부여되는 다수의 설계 선택들에도 불구하고, 통상의 지식을 가진 자는 여기에서 개시된 개념들 및 원리들에 의해 인도되면, 최소한의 실험으로 그러한 소프트웨어 명령어들 및 프로그램들 및 IC들을 쉽게 만들어낼 수 있을 것으로 예상된다.
독자가 기술적 개시사항의 본질을 신속하게 확인할 수 있게 하기 위해 명세서의 요약이 제공된다. 그것은 청구항들의 범위 또는 의미를 해석하거나 한정하기 위해 사용되지 않을 것이라는 이해 하에 제출된다. 추가로, 앞의 상세한 설명에서, 본 명세서를 간소화할 목적으로 다양한 특징들이 다양한 실시예들에서 함께 그룹지어진다는 것을 알 수 있다. 본 명세서의 이러한 방법은 청구된 실시예들이 각각의 청구항에 명시적으로 인용된 것보다 더 많은 특징들을 요구한다는 의도를 반영하는 것으로 해석되어서는 안 된다. 그보다는, 이하의 청구항들이 반영하는 바와 같이, 발명의 주제는 단일의 개시된 실시예의 모든 특징들보다 적은 것들에 있다. 따라서, 이하의 청구항들이 이에 의해 상세한 설명에 포함되어, 각각의 청구항이 별개로 청구된 발명의 주제로서의 지위를 갖는다.

Claims (18)

  1. 시각적 보상(visual compensation)을 위한 방법으로서,
    이미저(imager)를 사용하여 이미지를 캡처하는 단계;
    상기 이미지 내에 안경이 존재하는지 여부를 프로세서가 검출하는 단계; 및
    상기 이미지 내에 안경이 존재하지 않는 것으로 검출된 경우, 상기 프로세서가 전자 시각적 디스플레이(electronic visual display)를 더 큰 폰트 크기로 설정하는 단계
    를 포함하는 시각적 보상 방법.
  2. 제1항에 있어서,
    상기 이미지 내에 안경이 존재하는 것으로 검출되는 경우, 상기 프로세서가 상기 전자 시각적 디스플레이를 보통의 폰트 크기로 설정하는 단계
    를 더 포함하는 시각적 보상 방법.
  3. 제1항에 있어서,
    상기 캡처하는 단계 이전에 상기 프로세서가 사용자 상호작용 트리거를 수신하는 단계
    를 더 포함하는 시각적 보상 방법.
  4. 제3항에 있어서,
    상기 사용자 상호작용 트리거는 착신 통화 또는 메시지인, 시각적 보상 방법.
  5. 제3항에 있어서,
    상기 사용자 상호작용 트리거는 터치 스크린 활성화인 것인, 시각적 보상 방법.
  6. 제5항에 있어서,
    상기 터치 스크린 활성화는 잠금해제 커맨드인 것인, 시각적 보상 방법.
  7. 제3항에 있어서,
    상기 사용자 상호작용 트리거는 상기 전자 시각적 디스플레이의 가속의 검출인 것인, 시각적 보상 방법.
  8. 제3항에 있어서,
    상기 사용자 상호작용 트리거는 키 누름의 검출인 것인, 시각적 보상 방법.
  9. 제1항에 있어서,
    상기 캡처하는 단계 이전에 상기 프로세서가 디지털 이미저를 활성화하는 단계
    를 더 포함하는 시각적 보상 방법.
  10. 제1항에 있어서,
    상기 캡처하는 단계 이전에, 상기 전자 시각적 디스플레이와 동일한 방향을 향하도록 상기 프로세서가 상기 이미저를 정렬하는 단계
    를 더 포함하는 시각적 보상 방법.
  11. 시각적 보상을 위한 장치로서,
    이미지를 캡처하기 위한 이미저(imager);
    상기 이미저에 연결된 프로세서 - 상기 프로세서는, 상기 이미지 내에 안경이 있는지 여부를 검출하고, 상기 이미지 내에서 안경이 검출되지 않는 경우, 폰트 크기를 "크게(large)"로 설정함 -;
    상기 프로세서에 연결되어 상기 폰트 크기를 사용하여 디스플레이하기 위한 전자 시각적 디스플레이(electronic visual display)
    를 포함하는 시각적 보상 장치.
  12. 제11항에 있어서,
    상기 프로세서는 또한 상기 이미지 내에서 안경이 검출되는 경우, 상기 폰트 크기를 "보통(normal)"으로 설정하는, 시각적 보상 장치.
  13. 제11항에 있어서,
    상기 프로세서에 연결되어 착신 통화 또는 메시지 신호를 수신하기 위한 수신기
    를 더 포함하는 시각적 보상 장치.
  14. 제11항에 있어서,
    상기 프로세서에 연결되어 상기 장치의 움직임을 검출하기 위한 가속도계
    를 더 포함하는 시각적 보상 장치.
  15. 제11항에 있어서,
    상기 프로세서에 연결되어 "크게"인 상기 폰트 크기의 설정을 저장하기 위한 메모리
    를 더 포함하는 시각적 보상 장치.
  16. 제15항에 있어서,
    상기 메모리는 "보통"인 상기 폰트 크기의 설정을 또한 저장하는 것인, 시각적 보상 장치.
  17. 제11항에 있어서,
    상기 프로세서는 상기 검출을 위한 얼굴 인식 엔진을 포함하는, 시각적 보상 장치.
  18. 시각적 보상을 위한 방법으로서,
    이미저를 사용하여 이미지를 캡처하는 단계;
    상기 이미지 내에 안경이 존재하는지 여부를 프로세서를 이용하여 검출하는 단계; 및
    상기 이미지 내에 안경이 존재하는 것으로 검출된 경우, 상기 프로세서가 전자 시각적 디스플레이를 보통 폰트 크기로 설정하는 단계
    를 포함하는 시각적 보상 방법.
KR1020127016133A 2009-12-23 2010-12-21 시각적 보상을 위한 방법 및 장치 KR101367060B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/645,557 US8305433B2 (en) 2009-12-23 2009-12-23 Method and device for visual compensation
US12/645,557 2009-12-23
PCT/US2010/061425 WO2011079093A1 (en) 2009-12-23 2010-12-21 Method and device for visual compensation

Publications (2)

Publication Number Publication Date
KR20120096527A KR20120096527A (ko) 2012-08-30
KR101367060B1 true KR101367060B1 (ko) 2014-02-24

Family

ID=43587366

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127016133A KR101367060B1 (ko) 2009-12-23 2010-12-21 시각적 보상을 위한 방법 및 장치

Country Status (8)

Country Link
US (2) US8305433B2 (ko)
EP (2) EP2711810B1 (ko)
KR (1) KR101367060B1 (ko)
CN (2) CN102754046A (ko)
AU (1) AU2010333769B2 (ko)
BR (1) BR112012015502B1 (ko)
RU (1) RU2550540C2 (ko)
WO (1) WO2011079093A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018131928A1 (ko) * 2017-01-12 2018-07-19 삼성전자주식회사 적응적인 사용자 인터페이스를 제공하기 위한 장치 및 방법

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110298829A1 (en) * 2010-06-04 2011-12-08 Sony Computer Entertainment Inc. Selecting View Orientation in Portable Device via Image Analysis
US20120210277A1 (en) * 2011-02-11 2012-08-16 International Business Machines Corporation Usage based screen management
US8881058B2 (en) * 2011-04-01 2014-11-04 Arthur Austin Ollivierre System and method for displaying objects in a user interface based on a visual acuity of a viewer
US20130002722A1 (en) * 2011-07-01 2013-01-03 Krimon Yuri I Adaptive text font and image adjustments in smart handheld devices for improved usability
US20130286049A1 (en) * 2011-12-20 2013-10-31 Heng Yang Automatic adjustment of display image using face detection
US20130321617A1 (en) * 2012-05-30 2013-12-05 Doron Lehmann Adaptive font size mechanism
US9245497B2 (en) 2012-11-01 2016-01-26 Google Technology Holdings LLC Systems and methods for configuring the display resolution of an electronic device based on distance and user presbyopia
US20140137054A1 (en) * 2012-11-14 2014-05-15 Ebay Inc. Automatic adjustment of font on a visual display
US9016857B2 (en) * 2012-12-06 2015-04-28 Microsoft Technology Licensing, Llc Multi-touch interactions on eyewear
EP2770403A1 (en) * 2013-02-25 2014-08-27 BlackBerry Limited Device with glasses mode
JP6307805B2 (ja) * 2013-07-24 2018-04-11 富士通株式会社 画像処理装置、電子機器、眼鏡特性判定方法および眼鏡特性判定プログラム
CN103531094A (zh) * 2013-09-22 2014-01-22 明基材料有限公司 自动调整影像焦距的显示系统及方法
WO2015044830A1 (en) * 2013-09-27 2015-04-02 Visuality Imaging Ltd Methods and system for improving the readability of text displayed on an electronic device screen
CN103731745A (zh) * 2013-11-27 2014-04-16 乐视致新电子科技(天津)有限公司 一种字符输出控制方法和装置
CN103648042A (zh) * 2013-11-27 2014-03-19 乐视致新电子科技(天津)有限公司 一种字符输出控制方法和装置
JP2016057855A (ja) * 2014-09-10 2016-04-21 Necパーソナルコンピュータ株式会社 情報処理装置、情報処理システム及びプログラム
CN105653016A (zh) * 2014-11-14 2016-06-08 阿尔卡特朗讯 一种用于自动调整呈现样式的方法与设备
US9367129B1 (en) * 2015-02-05 2016-06-14 Wipro Limited Method and system for controlling display of content to user
CA2901477C (en) 2015-08-25 2023-07-18 Evolution Optiks Limited Vision correction system, method and graphical user interface for implementation on electronic devices having a graphical display
CN105808190B (zh) * 2016-03-14 2019-01-25 Oppo广东移动通信有限公司 一种显示屏的显示控制方法及终端设备
GB2567971B (en) * 2016-07-04 2022-03-09 Plano Pte Ltd Apparatus and method for monitoring use of a device
CN106339086B (zh) * 2016-08-26 2018-03-02 珠海格力电器股份有限公司 一种调节屏幕字体方法、装置以及电子设备
CN106980448A (zh) * 2017-02-20 2017-07-25 上海与德通讯技术有限公司 一种显示方法及移动终端
CN107818569B (zh) * 2017-11-09 2018-07-17 广州爱尔眼科医院有限公司 一种视力损伤监控报警方法
US10776135B2 (en) * 2017-11-20 2020-09-15 International Business Machines Corporation Automated setting customization using real-time user data
CA3021636A1 (en) 2018-10-22 2020-04-22 Evolution Optiks Limited Light field display, adjusted pixel rendering method therefor, and vision correction system and method using same
US11693239B2 (en) 2018-03-09 2023-07-04 Evolution Optiks Limited Vision correction system and method, light field display and light field shaping layer and alignment therefor
US11353699B2 (en) 2018-03-09 2022-06-07 Evolution Optiks Limited Vision correction system and method, light field display and light field shaping layer and alignment therefor
CN108514421A (zh) * 2018-03-30 2018-09-11 福建幸福家园投资管理有限公司 提升混合现实与日常健康监测的方法
US10860099B2 (en) 2018-10-22 2020-12-08 Evolution Optiks Limited Light field display, adjusted pixel rendering method therefor, and adjusted vision perception system and method using same addressing astigmatism or similar conditions
US10636116B1 (en) 2018-10-22 2020-04-28 Evolution Optiks Limited Light field display, adjusted pixel rendering method therefor, and vision correction system and method using same
US11500460B2 (en) 2018-10-22 2022-11-15 Evolution Optiks Limited Light field device, optical aberration compensation or simulation rendering
US11966507B2 (en) 2018-10-22 2024-04-23 Evolution Optiks Limited Light field vision testing device, adjusted pixel rendering method therefor, and vision testing system and method using same
US11327563B2 (en) 2018-10-22 2022-05-10 Evolution Optiks Limited Light field vision-based testing device, adjusted pixel rendering method therefor, and online vision-based testing management system and method using same
US10936064B2 (en) 2018-10-22 2021-03-02 Evolution Optiks Limited Light field display, adjusted pixel rendering method therefor, and adjusted vision perception system and method using same addressing astigmatism or similar conditions
US10761604B2 (en) 2018-10-22 2020-09-01 Evolution Optiks Limited Light field vision testing device, adjusted pixel rendering method therefor, and vision testing system and method using same
US11500461B2 (en) 2019-11-01 2022-11-15 Evolution Optiks Limited Light field vision-based testing device, system and method
US11789531B2 (en) 2019-01-28 2023-10-17 Evolution Optiks Limited Light field vision-based testing device, system and method
CA3134744A1 (en) 2019-04-23 2020-10-29 Evolution Optiks Limited Digital display device comprising a complementary light field display or display portion, and vision correction system and method using same
US11902498B2 (en) 2019-08-26 2024-02-13 Evolution Optiks Limited Binocular light field display, adjusted pixel rendering method therefor, and vision correction system and method using same
US11823598B2 (en) 2019-11-01 2023-11-21 Evolution Optiks Limited Light field device, variable perception pixel rendering method therefor, and variable perception system and method using same
US11487361B1 (en) 2019-11-01 2022-11-01 Evolution Optiks Limited Light field device and vision testing system using same

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009081239A1 (en) 2007-12-20 2009-07-02 Sony Ericsson Mobile Communications Ab System and method for dynamically changing a display

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6819783B2 (en) 1996-09-04 2004-11-16 Centerframe, Llc Obtaining person-specific images in a public venue
US6603491B2 (en) 2000-05-26 2003-08-05 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
EP1426919A1 (en) 2002-12-02 2004-06-09 Sony International (Europe) GmbH Method for operating a display device
US20040246272A1 (en) 2003-02-10 2004-12-09 Artoun Ramian Visual magnification apparatus and method
US20050054381A1 (en) * 2003-09-05 2005-03-10 Samsung Electronics Co., Ltd. Proactive user interface
KR100680191B1 (ko) * 2003-09-05 2007-02-08 삼성전자주식회사 감정 있는 에이전트를 갖는 사전 행동적 사용자 인터페이스 시스템
CN100542260C (zh) * 2005-08-23 2009-09-16 凌阳科技股份有限公司 一种对电视进行智能控制的方法及其智能控制装置
JP4445454B2 (ja) 2005-10-20 2010-04-07 アイシン精機株式会社 顔中心位置検出装置、顔中心位置検出方法、及び、プログラム
US7517086B1 (en) * 2006-03-16 2009-04-14 Adobe Systems Incorporated Compensating for defects in human vision while displaying text and computer graphics objects on a computer output device
US20080002964A1 (en) * 2006-06-30 2008-01-03 Motorola, Inc. Method and system for a digital reading glass
CN100477692C (zh) * 2006-10-13 2009-04-08 中山大学 一种手机画面自动调整的方法及其调整系统
CN101515959B (zh) * 2008-02-18 2011-08-31 纬创资通股份有限公司 手机及其操作方法
US8734247B2 (en) 2008-05-21 2014-05-27 Igt Systems, methods, and apparatus for controlling a gaming machine display
CN101301236B (zh) * 2008-06-27 2011-02-16 北京中星微电子有限公司 基于三维摄像的视力保护系统及方法
CN101458560B (zh) * 2008-12-25 2011-06-29 南京壹进制信息技术有限公司 一种计算机智能节能方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009081239A1 (en) 2007-12-20 2009-07-02 Sony Ericsson Mobile Communications Ab System and method for dynamically changing a display

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018131928A1 (ko) * 2017-01-12 2018-07-19 삼성전자주식회사 적응적인 사용자 인터페이스를 제공하기 위한 장치 및 방법
US10852904B2 (en) 2017-01-12 2020-12-01 Samsung Electronics Co., Ltd. Apparatus and method for providing adaptive user interface

Also Published As

Publication number Publication date
BR112012015502A2 (pt) 2016-05-03
KR20120096527A (ko) 2012-08-30
US9104233B2 (en) 2015-08-11
BR112012015502B1 (pt) 2021-01-05
CN102754046A (zh) 2012-10-24
AU2010333769B2 (en) 2014-01-30
EP2517087B1 (en) 2013-11-20
AU2010333769A1 (en) 2012-07-12
US8305433B2 (en) 2012-11-06
WO2011079093A1 (en) 2011-06-30
EP2711810B1 (en) 2015-09-02
CN107102720A (zh) 2017-08-29
RU2012131230A (ru) 2014-01-27
US20120268366A1 (en) 2012-10-25
EP2711810A1 (en) 2014-03-26
RU2550540C2 (ru) 2015-05-10
EP2517087A1 (en) 2012-10-31
US20110149059A1 (en) 2011-06-23

Similar Documents

Publication Publication Date Title
KR101367060B1 (ko) 시각적 보상을 위한 방법 및 장치
US9860844B2 (en) Method and apparatus of temperature control
US20210247723A1 (en) Information processing apparatus, control method, and program
US10606374B2 (en) Watch-type mobile terminal
JPWO2014084224A1 (ja) 電子機器および視線入力方法
KR20130115174A (ko) 디지털 베젤을 제공하기 위한 장치 및 방법
US10019220B2 (en) Control method and apparatus thereof
CN106802741B (zh) 屏幕边缘触控事件的确定方法及装置和移动终端
KR20170022967A (ko) 아이콘 배지 표시 방법, 장치, 프로그램 및 저장매체
CN108200279B (zh) 背光调节方法、装置和设备
CN112748814A (zh) 环境光检测方法及装置、终端
US9996186B2 (en) Portable device and method for defining restricted area within touch panel
JP2020017215A (ja) 電子機器、制御プログラム及び表示制御方法
CN107273173B (zh) 指纹传感器的控制方法、装置及存储介质
JP2018160239A (ja) タッチ入力装置及びその制御方法
US9503643B1 (en) Electronic device and method of controlling same for capturing digital images
JP2017079001A (ja) 情報処理装置、表示装置の輝度制御方法、及びコンピュータが実行可能なプログラム
CN106250043A (zh) 移动终端、移动终端显示控制系统及方法
CN114115768A (zh) 控制方法及装置
CN104793722B (zh) 一种显示方法及使用其的移动终端设备
JP2020017218A (ja) 電子機器、制御プログラム及び表示制御方法
CN115691439A (zh) 亮度调整方法、亮度调整装置及存储介质
CN111596825A (zh) 应用程序的更新方法、装置及电子设备
KR20140051612A (ko) 단말기 및 그 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170215

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180206

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190208

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200212

Year of fee payment: 7