KR101260287B1 - 증강 현실을 이용한 안경 렌즈 비교 시뮬레이션 방법 - Google Patents

증강 현실을 이용한 안경 렌즈 비교 시뮬레이션 방법 Download PDF

Info

Publication number
KR101260287B1
KR101260287B1 KR1020120044226A KR20120044226A KR101260287B1 KR 101260287 B1 KR101260287 B1 KR 101260287B1 KR 1020120044226 A KR1020120044226 A KR 1020120044226A KR 20120044226 A KR20120044226 A KR 20120044226A KR 101260287 B1 KR101260287 B1 KR 101260287B1
Authority
KR
South Korea
Prior art keywords
image
user
lens image
information
tablet computer
Prior art date
Application number
KR1020120044226A
Other languages
English (en)
Inventor
권혁제
Original Assignee
(주)뷰아이텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)뷰아이텍 filed Critical (주)뷰아이텍
Priority to KR1020120044226A priority Critical patent/KR101260287B1/ko
Priority to US13/526,612 priority patent/US8823742B2/en
Priority to EP12174705.9A priority patent/EP2657912A3/en
Priority to PCT/KR2013/000184 priority patent/WO2013162156A1/en
Application granted granted Critical
Publication of KR101260287B1 publication Critical patent/KR101260287B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Abstract

본 발명의 일 실시예는 본 발명의 일 실시예에 따른 증강 현실을 이용한 사용자 맞춤형 안경 렌즈 시뮬레이션 방법에 관한 것으로서, 이에 따르면 시력 교정 제품을 구매하고자 하는 사용자는 가상 체험을 통해 컴퓨터 기기를 통해 정밀 교정된 안경 렌즈를 착용할 수 있고, 수많은 안경 렌즈를 수시로 교체하며 검사를 받아야 하는 번거로움이 상당히 감소하고, 다양한 시력 교정 제품을 짧은 시간 내에 많이 착용해 보는 효과를 경험할 수 있고, 최적화된 맞춤형 시력 교정 제품을 선택할 수 있을 것으로 기대된다. 특히, 누진 다-초점 렌즈, 코팅 렌즈, 칼라 렌즈, 근시 진행 억제 렌즈, 눈 피로 저하렌즈 등 제조 단계가 복잡하고 정밀 검사가 요구되는 기능성 안경 렌즈 제작에 있어서, 정밀한 제품을 제작할 수 있을 뿐만 아니라 그 제작 시간도 크게 단축할 수 있을 것으로 기대된다.

Description

증강 현실을 이용한 안경 렌즈 비교 시뮬레이션 방법{Method for simulating spectacle lens image using augmented reality}
본 발명은 가상 체험을 위한 증강 현실을 이용한 안경 렌즈 시뮬레이션 방법에 관한 것이다.
기존 시력 교정 제품의 경우 착용자의 시력에 관한 처방 정보, 예를 들어 도수, 난시, 좌우 눈 사이의 거리, 기타 정보 등이 파악되고, 이러한 정보를 기초로 이미 제작된 검사용 안경 렌즈를 통해 적절한 안경 렌즈가 선택되는 것이 일반적이었다. 그런데, 상기 착용자의 시력에 관한 처방 정보를 파악한 후 안경 렌즈를 제작하는 과정은 상당히 복잡하고, 번거로우며, 상당히 정밀한 작업이 요구되는 실정이다. 예를 들어, 의료 전문가에 의해 착용자의 시력에 관한 정보가 파악된 후라도 별도의 수많은 측정 기기를 통해 적절한 안경 렌즈가 선택되는데, 이 경우 상기 선택된 안경 렌즈가 적절치 않으면 이미 제작된 안경 렌즈는 폐기되어야 하고, 적절한 안경 렌즈를 추가 제작해야 하는 문제가 있다. 특히, 이러한 문제점은 누진 렌즈, 다-초점 렌즈, 근시 진행 억제 렌즈, 눈 피로 저하 렌즈, 변색 렌즈, 편광 렌즈 등 복잡한 구조를 갖는 기능성 렌즈를 제작하는 과정에서 더욱 문제되고 있는 실정이다. 이러한 문제점을 해결하기 위하여, 본 발명자는 안경 렌즈 제작 과정을 크게 간소화하고, 안경 렌즈의 정밀도와 안경 렌즈 수요자의 편의성을 상당히 개선한 증강 현실을 이용한 안경 렌즈 시뮬레이션 방법을 고안하였다.
본 발명의 일 실시예는 기존 안경 렌즈 제작 과정을 간소화하고, 안경 렌즈의 정밀도 실현, 더 나아가 안경 렌즈 수요자의 편의성을 상당히 개선한 증강 현실을 이용한 안경 렌즈 시뮬레이션 방법을 제안하고자 한다.
본 발명의 일 실시예는 입력 및 출력 기능을 갖는 스크린 모듈, 주변 환경을 실시간으로 촬영할 수 있는 카메라 모듈, 사용자 조작에 의한 동작 패턴을 감지할 수 있는 동작 센서 모듈, 및 상기 스크린 모듈, 카메라 모듈, 및 동작 센서 모듈로부터 입력된 정보를 저장 및/또는 가공할 수 있는 연산 모듈이 적용된 휴대용 태블릿(tablet) 컴퓨터를 이용하는 것으로서; 상기 카메라 모듈을 통해 실제 주변 환경을 촬영하여 실제 주변 환경 이미지 정보를 획득하는 단계; 상기 동작 센서 모듈을 통해 사용자 조작에 의한 동작 패턴을 감지하여 사용자의 사물 시각 인지 동작에 관한 정보를 획득하는 단계; 상기 연산 모듈을 통해 사용자의 상기 사물 시각 인지 동작에 관한 정보를 기초로 가상의 사용자 맞춤형 안경 렌즈 이미지를 생성하는 단계; 및 상기 스크린 모듈을 통해 상기 실제 주변 환경 이미지에 상기 가상의 사용자 맞춤형 안경 렌즈 이미지를 중첩 배치시켜 상기 가상의 사용자 맞춤형 안경 렌즈 이미지에 의한 시력 조절 효과 이미지를 출력하는 단계를 포함하는, 증강 현실을 이용한 안경 렌즈 시뮬레이션 방법을 제공한다.
본 발명의 일 실시예에 있어서,
상기 사용자의 사물 시각 인지 동작에 관한 정보를 획득하는 단계는 사용자가 상기 스크린 모듈에 출력된 이미지를 확인하기 위하여 사용자 안구를 상기 휴대용 태블릿 컴퓨터 방향으로 접근하거나 또는 상기 휴대용 태블릿 컴퓨터를 사용자 안구 방향으로 당기는 동작 패턴을 감지하여 사용자 안구와 상기 휴대용 태블릿 컴퓨터 간의 거리에 관한 정보를 획득하는 단계, 및/또는 사용자가 상기 스크린 모듈에 출력된 이미지를 확인하기 위하여 사용자 얼굴을 상하 또는 좌우로 움직이는 동작 패턴을 감지하여 사용자 얼굴 위치에 관한 정보를 획득하는 단계를 포함할 수 있다.
또한, 상기 가상의 사용자 맞춤형 안경 렌즈 이미지는 2차원(2-Dimension, 2D) 또는 3차원(3-Dimension, 3D) 형태로 구현될 수 있다.
또한, 상기 가상의 사용자 맞춤형 안경 렌즈 이미지는 누진 렌즈 이미지, 누진 다-초점 렌즈 이미지, 구면 렌즈 이미지, 비-구면 렌즈 이미지, 양면 비-구면 렌즈 이미지, 근시 진행 억제 렌즈 이미지, 눈 피로 저하 렌즈 이미지, 칼라 렌즈 이미지, 및 코팅 렌즈 이미지로 이루어진 군으로부터 선택될 수 있다.
또한, 상기 가상의 사용자 맞춤형 안경 렌즈 이미지에 의한 시력 조절 효과 이미지를 출력하는 단계는 상기 휴대용 태블릿 컴퓨터에 저장된 가공 배경 이미지 또는 기능 조작 버튼 이미지를 추가로 출력하는 단계를 포함할 수 있다.
또한, 상기 휴대용 태블릿 컴퓨터는 광 감지 센서 모듈이 추가 적용될 수 있다.
또한, 상기 광 감지 센서 모듈은 상기 휴대용 태블릿 컴퓨터 내장형, 또는 상기 휴대용 태블릿 컴퓨터의 오디오 연결 포트에 장착되는 외장형으로 구현될 수 있다.
또한, 상기 광 감지 센서 모듈을 통해 외부 광을 감지하여 외부 광에 관한 정보를 획득하는 단계를 더 포함하고, 상기 연산 모듈을 통해 상기 외부 광에 관한 정보를 기초로 가상의 사용자 맞춤형 안경 렌즈 이미지를 생성하는 단계를 더 포함할 수 있다.
또한, 상기 가상의 사용자 맞춤형 안경 렌즈 이미지는 변색 렌즈 이미지 또는 편광 렌즈 이미지일 수 있다.
본 발명의 일 실시예에 따른 증강 현실을 이용한 안경 렌즈 시뮬레이션 방법에 의하면, 시력 교정 제품을 구매하고자 하는 사용자는 가상 체험을 통해 컴퓨터 기기를 통해 정밀 교정된 안경 렌즈를 착용할 수 있고, 수많은 안경 렌즈를 수시로 교체하며 검사를 받아야 하는 번거로움이 상당히 감소하고, 다양한 시력 교정 제품을 짧은 시간 내에 많이 착용해 보는 효과를 경험할 수 있고, 최적화된 맞춤형 시력 교정 제품을 선택할 수 있을 것으로 기대된다. 특히, 누진 다-초점 렌즈, 코팅 렌즈, 칼라 렌즈, 근시 진행 억제 렌즈, 눈 피로 저하렌즈 등 제조 단계가 복잡하고 정밀 검사가 요구되는 기능성 안경 렌즈 제작에 있어서, 정밀한 제품을 제작할 수 있을 뿐만 아니라 그 제작 시간도 크게 단축할 수 있을 것으로 기대된다.
도 1 내지 2는 본 발명의 일 실시예을 구현하기 위해 요구되는 휴대용 태블릿 컴퓨터의 구성 모듈을 도시한다.
도 3 내지 4는 본 발명의 일 실시예에 따른 증강 현실을 이용한 안경 렌즈 시뮬레이션 방법을 구현하기 위한 일련의 과정을 도시한다.
도 5는 본 발명의 일 실시예를 구현하기 위한 실제 주변 환경 이미지 정보 획득 단계(S1)를 도시한다.
도 6는 본 발명의 일 실시예를 구현하기 위한 사물 시각 인지 동작 정보 획득 단계(S2)를 도시한다.
도 7은 본 발명의 일 실시예를 구현하기 위한 외부 광 정보 획득 단계(S2')를 도시한다.
도 8은 본 발명의 일 실시예를 구현하기 위한 가상의 사용자 맞춤형 안경 렌즈 이미지 생성 단계(S3)를 도시한다.
도 9는 본 발명의 일 실시예를 구현하기 위한 시력 조절 효과 이미지 출력 단계(S4)를 도시한다.
도 10은 선택적인 단계로서, 본 발명의 일 실시예에 따른 시뮬레이션 방법에 의해 사용자 맞춤형 안경 렌즈 제작 단계(S5)를 도시한다.
도 11은 실제 주변 환경 배경 이미지에 일반 렌즈 이미지를 중첩 배치한 증강 현실 이미지의 출력 상태를 도시한다.
도 12는 실제 주변 환경 배경 이미지에 변색 렌즈 이미지를 중첩 배치한 증강 현실 이미지의 출력 상태를 도시한다.
도 13 내지 21은 실제 주변 환경 배경 이미지에 전부 또는 일부 그라데이션(gradation) 효과를 적용한 변색 렌즈 이미지를 중첩 배치한 증강 현실 이미지의 출력 상태를 도시한다.
도 22 내지 24는 근거리, 중거리, 및 원거리에 해당하는 실제 주변 환경 배경 이미지에 누진 다-초점 렌즈 이미지를 중첩 배치한 증강 현실 이미지의 출력 상태를 도시한다.
도 25 내지 26은 실제 주변 환경 배경 이미지에 일반 및 편광 선글라스 렌즈 이미지(Brown 계통)를 중첩 배치한 증강 현실 이미지의 출력 상태를 도시한다.
도 27 내지 28은 실제 주변 환경 배경 이미지에 일반 및 편광 선글라스 렌즈 이미지(Rayban 계통)를 중첩 배치한 증강 현실 이미지의 출력 상태를 도시한다.
이하, 첨부 도면을 참조하여 본 발명에 따른 실시예들을 상세하게 설명한다. 이하 설명은 본 발명에 따른 일 실시예를 용이하게 이해하기 위한 것일 뿐이며, 보호범위를 제한하기 위한 것은 아니다.
도 1 내지 2는 본 발명의 일 실시예을 구현하기 위해 요구되는 휴대용 태블릿 컴퓨터의 구성 모듈을 도시한다.
도 1에 따르면, 본 발명의 일 실시예에 따른 증강 현실을 이용한 안경 렌즈 시뮬레이션 방법은 휴대용 태블릿(tablet) 컴퓨터(100)를 기반으로 한다. 상기 휴대용 태블릿 컴퓨터(100)는 iOS 기반의 iPad, 안드로이드 OS 기반의 갤럭시 탭(tab), Windows 기반의 태플릿 제품 등과 같이, 터치 스크린 기반의 휴대용 컴퓨터를 의미한다. 본 발명의 일 실시예에 있어서, 휴대용 태블릿 컴퓨터(100)는 다양하게 선택될 수 있으나, 적어도 입력 및 출력 기능을 갖는 스크린 모듈(10), 주변 환경을 실시간으로 촬영할 수 있는 카메라 모듈(20), 사용자 조작에 의한 동작 패턴을 감지할 수 있는 동작 센서 모듈(30), 및 상기 스크린 모듈, 카메라 모듈, 및 동작 센서 모듈로부터 입력된 정보를 저장 및/또는 가공할 수 있는 연산 모듈(40)이 적용된 기기를 모두 포함하는 것을 전제로 한다. 상기 "적용"이라 함은 상기 스크린 모듈(10), 카메라 모듈(20), 동작 센서 모듈(30), 및 연산 모듈(40)이 상기 휴대용 태블릿 컴퓨터(100)에 내장되어 각 기능을 수행하는 것뿐만 아니라 적어도 1 이상의 모듈이 상기 휴대용 태블릿 컴퓨터(100)와 구동가능하게 연결되어 각 기능이 상기 휴대용 태블릿 컴퓨터(100)에서 구현될 수 있는 경우를 모두 포함한다. 예를 들어, 상기 스크린 모듈(10)은 사용자 조작에 의한 입력 및 출력 기능을 갖는 것으로서, 통상적으로 휴대용 태블릿 컴퓨터(100)의 전면에 배치되지만, 화면을 확대하기 위하여 또는 다른 공간에 배치된 디스플레이기에서 출력할 필요가 있을 경우 상기 휴대용 태블릿 컴퓨터(100)에 외부 스크린 모듈이 연결되어 구동될 수 있고, 상기 카메라 모듈(20)은 주변 환경을 실시간으로 촬영할 수 있는 것으로서, 통상적으로 휴대용 태블릿 컴퓨터(100)의 전면 또는 후면의 일 부분에 배치되지만, 더 정교한 촬영이 필요하거나 시력 검사용 전문 카메라 촬영이 필요한 경우 상기 휴대용 태블릿 컴퓨터(100)에 외부 카메라 모듈이 연결되어 구동될 수 있다. 상기 동작 센서 모듈(30)은 사용자가 상기 휴대용 태블릿 컴퓨터(100)를 소지한 상태에서 임의의 동작을 수행할 경우 사용자 조작에 의한 동작 패턴을 감지할 수 있는 모듈로서, 예를 들어 가속도 센서가 있는데, 상기 가속도 센서는 사용자의 상하 또는 좌우 동작(그에 따른 휴대용 태블릿 컴퓨터의 상하 또는 좌우 동작)을 감지하여 사용자와 휴대용 태블릿 컴퓨터(100) 간의 거리, 기울기 등의 파라미터를 감지할 수 있다. 상기 연산 모듈(40)은 상기 스크린 모듈, 카메라 모듈, 및 동작 센서 모듈로부터 입력된 정보를 저장 및/또는 가공할 수 있는 것으로서, 그 이외에 휴대용 태블릿 컴퓨터(100) 자체에 저장된 정보 또는 근거리/원거리 통신망을 통해 수신한 정보도 함께 저장 및/또는 가공할 수 있는 모듈을 말한다. 본 명세서에 있어서, 상기 연산 모듈(40)은 상기 스크린 모듈(10), 카메라 모듈(20), 및 동작 센서 모듈(30)을 통해 획득한 정보, 기타 사용자 맞춤형 안경 렌즈를 제작하기 위한 이미 저장된 정보를 가공하여 사용자 맞춤형 안경 렌즈 이미지를 생성하고, 더 나아가 실제 주변 환경 이미지에 가상의 사용자 맞춤형 안경 렌즈 이미지가 중첩 배치된 증강 현실 이미지를 생성하는 역할을 수행한다. 한편, 도 2에 따르면, 상기 휴대용 태블릿 컴퓨터(100)는 광 감지 센서(50)가 추가 적용될 수 있다. 상기 광 감지 센서(50)라 함은 외부의 광(light)의 광량(광 세기), 즉 가시광선 영역, 자외선 영역, 또는 적외선 영역 등의 광량(광 세기)을 감지할 수 있는 모든 센서를 통칭한다. 상기 광 감지 센서(50)는 상기 휴대용 태블릿 컴퓨터(100)에 내장된 내장형(50a), 및/또는 상기 휴대용 태블릿 컴퓨터(100)의 임의의 연결 포트, 예를 들어 오디오 연결 포트(60) 등에 장착 연결되는 외장형(50b)으로 구현될 수 있고, 자체 전원 공급 장치를 구비하거나 또는 상기 휴대용 태블릿 컴퓨터(100)로부터 전원을 공급받을 수 있다.
도 3 내지 4는 본 발명의 일 실시예에 따른 증강 현실을 이용한 안경 렌즈 시뮬레이션 방법을 구현하기 위한 일련의 과정을 도시한다. 도 3에 따르면, 본 발명의 일 실시예에 따른 증강 현실을 이용한 안경 렌즈 시뮬레이션 방법은 크게 4단계(S1 내지 S4)로 구분되고, 도 4에 따르면, 도 3에 따른 방법은 제2 단계(S2) 및 제3 단계(S3)에 몇몇 주요 단계가 추가될 수 있다. 다만, 본 발명의 일 실시예에 따른 증강 현실을 이용한 안경 렌즈 시뮬레이션 방법은 사용자 맞춤형 안경 렌즈 제작 단계(S5)와 연계될 수 있다.
제1 단계(S1)는 상기 휴대용 태블릿 컴퓨터(100)의 카메라 모듈(20)을 통해 실제 주변 환경을 촬영하여 실제 주변 환경 이미지 정보를 획득하는 단계이다(도 5 참조). 이 경우 상기 실제 주변 환경 이미지 정보는 이미 촬영된 실제 주변 환경 이미지 정보뿐만 아니라 실시간으로 촬영한 실제 주변 환경 동영상 정보를 포함한다. 상기 실제 주변 환경 이미지 정보는 상기 연산 모듈(40)에 임시 또는 영구적으로 저장될 수 있고, 필요에 따라 가공될 수 있음은 물론이다.
제2 단계(S2)는 상기 휴대용 태블릿 컴퓨터(100)의 동작 센서 모듈(30)을 통해 사용자 조작에 의한 동작 패턴을 감지하여 사용자(1)의 사물 시각 인지 동작에 관한 정보를 획득하는 단계이다. 상기 동작 센서 모듈(30)은 사용자(1), 특히 사용자(1)의 얼굴(안구 또는 안구 주변 포함)의 다양한 동작 패턴을 감지할 수 있다. 예를 들어, 상기 동작 센서 모듈(30)은 사용자(1)가 상기 스크린 모듈(10)에 출력된 이미지(초점 "+" 이미지)를 확인하기 위하여 사용자(1) 안구를 상기 휴대용 태블릿 컴퓨터(100) 방향으로 접근하거나 또는 상기 휴대용 태블릿 컴퓨터(100)를 사용자(1) 안구 방향으로 당기는 동작 패턴을 감지하여 사용자(1) 안구와 상기 휴대용 태블릿 컴퓨터(100) 간의 거리에 관한 정보를 획득할 수 있다. 이 경우 사용자(1) 안구와 상기 휴대용 태블릿 컴퓨터(100) 간의 거리 정보는 근거리, 중거리 및 원거리 등으로 구분되어 굴절력(근시, 난시, 원시, 노안, 가입도, 축 등)이 적용된 사용자(1) 맞춤형 안경 렌즈 이미지 제작의 기초 자료로 활용될 수 있다. 또한, 상기 동작 센서 모듈(30)은 사용자(1)가 상기 스크린 모듈에 출력된 이미지(초점 "+" 이미지)를 확인하기 위하여 사용자(1) 얼굴을 상하 또는 좌우로 움직이는 동작 패턴(소위, "사용자 시 습관" 또는 "사용자 독서 습관"이라고도 함)을 감지하여 사용자(1) 얼굴 위치에 관한 정보를 획득할 수 있다. 이 경우 사용자(1)의 얼굴이 상하로 움직이는 동작 패턴을 감지함으로써 사용자 고개 숙임 각도에 관한 정보를 획득할 수 있고, 사용자(1) 얼굴이 좌우로 움직이는 동작 패턴을 감지함으로써 사용자(1) 고개 수평 이동 각도에 관한 정보를 획득할 수 있고, 더 나아가 이를 종합적으로 고려하여 사용자(1)의 안구 회전각(eye rotation) 및 누진대 길이(length of corridor)에 관한 정보를 획득하여 사용자(1)의 시 습관(독서 습관) 패턴이 적용된 사용자(1) 맞춤형 안경 렌즈 이미지 제작의 기초 자료로 활용될 수 있다. 한편, 제2 단계(S2)는 상기 광 감지 센서 모듈(50)을 통해 외부 광을 감지하여 외부 광에 관한 정보를 획득하는 단계(S2')가 더 포함될 수 있다. 앞서 설명된 바와 같이, 본 발명의 일 실시예에 따른 휴대용 태블릿 컴퓨터(100)는 광 감지 센서(50)가 추가 적용될 수 있기 때문에(도 2 참조), 상기 광 감지 센서(50)는 외부 광을 감지함으로써 외부 광에 관한 정보를 획득하여, 이는 변색 또는 편광이 적용된 사용자(1) 맞춤형 안경 렌즈 이미지 제작의 기초 자료로 활용될 수 있다. 도 6은 본 발명의 일 실시예를 구현하기 위한 사물 시각 인지 동작 정보 획득 단계(S2)를 도시하고, 도 7은 본 발명의 일 실시예를 구현하기 위한 외부 광 정보 획득 단계(S2')를 도시한다. 한편, 상기 사물 시각 인지 동작 정보 및 외부 광 정보는 이하 상세하게 설명될 가상의 사용자 맞춤형 안경 렌즈 이미지 생성에 있어서, 각각 또는 조합되어 기초자료로 활용될 수 있음은 물론이다.
제3 단계(S3)는 상기 연산 모듈(40)을 통해 사용자의 상기 사물 시각 인지 동작에 관한 정보를 기초로 가상의 사용자 맞춤형 안경 렌즈 이미지(Lens image)를 생성하는 단계이다. 한편, 제3 단계(S3)는 상기 연산 모듈(40)을 통해 상기 외부 광에 관한 정보를 기초로 가상의 사용자 맞춤형 안경 렌즈 이미지(Lens image)를 생성하는 단계(S3')가 더 포함할 수 있다. 상기 사용자 맞춤형 안경 렌즈 이미지(Lens image)는 앞서 설명한 상기 사물 시각 인지 동작에 관한 정보 및/또는 상기 외부 광에 관한 정보를 기초로 상기 연산 모듈(40)에 의해 가공되어 생성되고, 선택적으로 상기 스크린 모듈(10)을 통해 1 이상 출력될 수 있다. 상기 사용자 맞춤형 안경 렌즈 이미지(Lens image)는 필요에 따라 2차원(2-Dimension, 2D) 또는 3차원(3-Dimension, 3D) 형태로 구현될 수 있다. 따라서, 상기 사용자 맞춤형 안경 렌즈 이미지(Lens image)는 사용자의 시력 상태에 따라 누진 렌즈 이미지, 누진 다-초점 렌즈 이미지, 구면 렌즈 이미지, 비-구면 렌즈 이미지, 양면 비-구면 렌즈 이미지, 근시 진행 억제 렌즈 이미지, 눈 피로 저하 렌즈 이미지, 칼라 렌즈 이미지, 코팅 렌즈 이미지, 변색 렌즈 이미지, 편광 렌즈 이미지 등으로 구현될 수 있다. 도 8은 본 발명의 일 실시예를 구현하기 위한 가상의 사용자 맞춤형 안경 렌즈 이미지 생성 단계(S3)를 도시한다.
제4 단계(S4)는 상기 스크린 모듈(10)을 통해 상기 실제 주변 환경 이미지에 상기 가상의 사용자 맞춤형 안경 렌즈 이미지(Lens image)를 중첩 배치시켜 상기 가상의 사용자 맞춤형 안경 렌즈 이미지(Lens image)에 의한 시력 조절 효과 이미지를 출력하는 단계이다. 즉 제4 단계(S4)는 실제 주변 환경 이미지에 상기 가상의 사용자 맞춤형 안경 렌즈 이미지(Lens image)가 중첩된 증강 현실 이미지를 구현하는 단계이다. 상기 시력 조절 효과 이미지라 함은 사용자가 자신의 시력 상태를 토대로 제작된 실제 시력 교정 제품, 예를 들어 안경 또는 소프트 렌즈 또는 하드 렌즈 등을 착용했을 때 시력 교정 상태와 동일한 이미지를 의미한다. 즉, 본 발명의 일 실시예에 따른 증강 현실 이미지는 상기 스크린 모듈(10)을 통해 상기 실제 주변 환경 이미지에 상기 가상의 사용자 맞춤형 안경 렌즈 이미지(Lens image)를 중첩 배치시켜 상기 가상의 사용자 맞춤형 안경 렌즈 이미지(Lens image)에 의한 시력 조절 효과 이미지를 출력함으로써, 사용자가 실제 시력 교정 제품을 착용했을 때와 동일한 상황을 연출하여 사용자에게 가상 체험을 수행할 수 있게 한다. 도 9는 본 발명의 일 실시예를 구현하기 위한 시력 조절 효과 이미지 출력 단계(S4)를 도시한다. 한편, 상기 가상의 사용자 맞춤형 안경 렌즈 이미지에 의한 시력 조절 효과 이미지를 출력하는 단계(S4)는 상기 휴대용 태블릿 컴퓨터(100)에 저장된 가공 배경 이미지 또는 기능 조작 버튼 이미지를 추가로 출력하는 단계를 포함할 수 있는데, 이 경우 사용자는 실제 주변 환경 이미지뿐만 아니라 이미 제작된 가공 배경 이미지를 배경으로 가상의 사용자 맞춤형 안경 렌즈 이미지가 중첩 배치된 증강 현실 이미지를 확인할 수 있고, 다양한 가상의 사용자 맞춤형 안경 렌즈 이미지 또는 배경 이미지를 상기 스크린 모듈(10)을 통해 조작, 예를 들어 특정 이미지의 선택, 조작, 비교, 확대/축소 등을 하여 시력 검사의 효율성을 배가시킬 수 있다.
제5 단계(S5)는 선택적이고 추가적인 단계로서, 상기 출력된 시력 조절 효과 이미지를 확인한 사용자에 의해 상기 가상의 사용자 맞춤형 안경 렌즈 이미지(Lens image)가 선택되는 경우 상기 선택된 가상의 사용자 맞춤형 안경 렌즈 이미지(Lens image)에 해당하는 사용자 맞춤형 안경 렌즈를 제작하는 단계이다. 도 10은 본 발명의 일 실시예를 구현하기 위한 사용자 맞춤형 안경 렌즈 제작 단계(S5)를 도시한다.
위 단계들을 거침으로써, 시력 교정 제품을 구매하고자 하는 사용자는 가상 체험을 통해 컴퓨터 기기를 통해 정밀 교정된 안경 렌즈를 착용할 수 있고, 수많은 안경 렌즈를 수시로 교체하며 검사를 받아야 하는 번거로움이 상당히 감소하고, 다양한 시력 교정 제품을 짧은 시간 내에 많이 착용해 보는 효과를 경험할 수 있고, 최적화된 맞춤형 시력 교정 제품을 선택할 수 있을 것으로 기대된다. 특히, 누진 다-초점 렌즈, 코팅 렌즈, 칼라 렌즈, 근시 진행 억제 렌즈, 눈 피로 저하렌즈 등 제조 단계가 복잡하고 정밀 검사가 요구되는 기능성 안경 렌즈 제작에 있어서, 정밀한 제품을 제작할 수 있을 뿐만 아니라 그 제작 시간도 크게 단축할 수 있을 것으로 기대된다.
이하, 도 11 내지 28은 본 발명의 일 실시예에 따른 증강 현실을 이용한 사용자 맞춤형 안경 렌즈를 제작하는 과정에서 휴대용 태블릿 컴퓨터(100)의 스크린 모듈(10)에 구현된 다양한 증강 현실 이미지를 도시한다. 구체적으로, 도 11은 실제 주변 환경 배경 이미지에 일반 렌즈 이미지를 중첩 배치한 증강 현실 이미지의 출력 상태를 도시하고, 도 12는 실제 주변 환경 배경 이미지에 변색 렌즈 이미지를 중첩 배치한 증강 현실 이미지의 출력 상태를 도시하고, 도 13 내지 21은 실제 주변 환경 배경 이미지에 전부 또는 일부 그라데이션(gradation) 효과를 적용한 변색 렌즈 이미지를 중첩 배치한 증강 현실 이미지의 출력 상태를 도시하고, 도 22 내지 24는 근거리, 중거리, 및 원거리에 해당하는 실제 주변 환경 배경 이미지에 누진 다-초점 렌즈 이미지를 중첩 배치한 증강 현실 이미지의 출력 상태를 도시하고, 도 25 내지 26은 실제 주변 환경 배경 이미지에 일반 및 편광 선글라스 렌즈 이미지(Brown 계통)를 중첩 배치한 증강 현실 이미지의 출력 상태를 도시하고, 도 27 내지 28은 실제 주변 환경 배경 이미지에 일반 및 편광 선글라스 렌즈 이미지(Rayban 계통)를 중첩 배치한 증강 현실 이미지의 출력 상태를 도시한다.

Claims (9)

  1. 입력 및 출력 기능을 갖는 스크린 모듈, 주변 환경을 실시간으로 촬영할 수 있는 카메라 모듈, 사용자 조작에 의한 동작 패턴을 감지할 수 있는 동작 센서 모듈, 및 상기 스크린 모듈, 카메라 모듈, 및 동작 센서 모듈로부터 입력된 정보를 저장 및/또는 가공할 수 있는 연산 모듈이 적용된 휴대용 태블릿(tablet) 컴퓨터를 이용하는 것으로서;
    상기 카메라 모듈을 통해 실제 주변 환경을 촬영하여 실제 주변 환경 이미지 정보를 획득하는 단계;
    상기 동작 센서 모듈을 통해 사용자 조작에 의한 동작 패턴을 감지하여 사용자의 사물 시각 인지 동작에 관한 정보를 획득하는 단계;
    상기 연산 모듈을 통해 사용자의 상기 사물 시각 인지 동작에 관한 정보를 기초로 가상의 사용자 맞춤형 안경 렌즈 이미지를 생성하는 단계; 및
    상기 스크린 모듈을 통해 상기 실제 주변 환경 이미지에 상기 가상의 사용자 맞춤형 안경 렌즈 이미지를 중첩 배치시켜 상기 가상의 사용자 맞춤형 안경 렌즈 이미지에 의한 시력 조절 효과 이미지를 출력하는 단계를 포함하되,
    상기 사용자의 사물 시각 인지 동작에 관한 정보를 획득하는 단계는,
    사용자가 상기 스크린 모듈에 출력된 이미지를 확인하기 위하여 사용자 안구를 상기 휴대용 태블릿 컴퓨터 방향으로 접근하거나 또는 상기 휴대용 태블릿 컴퓨터를 사용자 안구 방향으로 당기는 동작 패턴을 감지하여 사용자 안구와 상기 휴대용 태블릿 컴퓨터 간의 거리에 관한 정보를 획득하는 단계, 및 사용자가 상기 스크린 모듈에 출력된 이미지를 확인하기 위하여 사용자 얼굴을 상하 또는 좌우로 움직이는 동작 패턴을 감지하여 사용자 얼굴 위치에 관한 정보를 획득하는 단계 중 적어도 하나를 포함하는 것을 특징으로 하는 증강 현실을 이용한 안경 렌즈 시뮬레이션 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 가상의 사용자 맞춤형 안경 렌즈 이미지는 2차원(2-Dimension, 2D) 또는 3차원(3-Dimension, 3D) 형태로 구현되는 것을 특징으로 하는 방법.
  4. 제1항에 있어서,
    상기 가상의 사용자 맞춤형 안경 렌즈 이미지는 누진 렌즈 이미지, 누진 다-초점 렌즈 이미지, 구면 렌즈 이미지, 비-구면 렌즈 이미지, 양면 비-구면 렌즈 이미지, 근시 진행 억제 렌즈 이미지, 눈 피로 저하 렌즈 이미지, 칼라 렌즈 이미지, 및 코팅 렌즈 이미지로 이루어진 군으로부터 선택되는 것을 특징으로 하는 방법.
  5. 제1항에 있어서,
    상기 가상의 사용자 맞춤형 안경 렌즈 이미지에 의한 시력 조절 효과 이미지를 출력하는 단계는 상기 휴대용 태블릿 컴퓨터에 저장된 가공 배경 이미지 또는 기능 조작 버튼 이미지를 추가로 출력하는 단계를 포함하는 것을 특징으로 하는 방법.
  6. 제1항에 있어서,
    상기 휴대용 태블릿 컴퓨터는 광 감지 센서 모듈이 추가 적용된 것을 특징으로 하는 방법.
  7. 제6항에 있어서,
    상기 광 감지 센서 모듈은 상기 휴대용 태블릿 컴퓨터 내장형, 또는 상기 휴대용 태블릿 컴퓨터의 오디오 연결 포트에 장착되는 외장형으로 구현되는 것으로 특징으로 하는 방법.
  8. 제6항에 있어서,
    상기 광 감지 센서 모듈을 통해 외부 광을 감지하여 외부 광에 관한 정보를 획득하는 단계를 더 포함하고, 상기 연산 모듈을 통해 상기 외부 광에 관한 정보를 기초로 가상의 사용자 맞춤형 안경 렌즈 이미지를 생성하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  9. 제5항에 있어서,
    상기 가상의 사용자 맞춤형 안경 렌즈 이미지는 변색 렌즈 이미지 또는 편광 렌즈 이미지인 것을 특징으로 하는 방법.
KR1020120044226A 2012-04-27 2012-04-27 증강 현실을 이용한 안경 렌즈 비교 시뮬레이션 방법 KR101260287B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020120044226A KR101260287B1 (ko) 2012-04-27 2012-04-27 증강 현실을 이용한 안경 렌즈 비교 시뮬레이션 방법
US13/526,612 US8823742B2 (en) 2012-04-27 2012-06-19 Method of simulating lens using augmented reality
EP12174705.9A EP2657912A3 (en) 2012-04-27 2012-07-03 Method of simulating lens using augmented reality
PCT/KR2013/000184 WO2013162156A1 (en) 2012-04-27 2013-01-09 Method of simulating lens using augmented reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120044226A KR101260287B1 (ko) 2012-04-27 2012-04-27 증강 현실을 이용한 안경 렌즈 비교 시뮬레이션 방법

Publications (1)

Publication Number Publication Date
KR101260287B1 true KR101260287B1 (ko) 2013-05-03

Family

ID=46640544

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120044226A KR101260287B1 (ko) 2012-04-27 2012-04-27 증강 현실을 이용한 안경 렌즈 비교 시뮬레이션 방법

Country Status (4)

Country Link
US (1) US8823742B2 (ko)
EP (1) EP2657912A3 (ko)
KR (1) KR101260287B1 (ko)
WO (1) WO2013162156A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150057048A (ko) * 2013-11-18 2015-05-28 한국전자통신연구원 시력 기반의 가상화면을 이용한 안경 장치
KR20170010985A (ko) 2015-07-21 2017-02-02 (주)월드트렌드 증강현실을 이용한 안경착용 시뮬레이션 방법
KR101704442B1 (ko) * 2016-11-04 2017-02-09 한국프라임제약주식회사 Vr 기기를 이용한 시력측정시스템
WO2017030266A1 (ko) * 2015-08-18 2017-02-23 권혁제 가상현실 헤드셋을 이용한 안경 렌즈 비교 시뮬레이션 시스템 및 그 방법

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2901477C (en) 2015-08-25 2023-07-18 Evolution Optiks Limited Vision correction system, method and graphical user interface for implementation on electronic devices having a graphical display
US11160688B2 (en) * 2016-11-10 2021-11-02 Samsung Electronics Co., Ltd. Visual aid display device and method of operating the same
US10930709B2 (en) 2017-10-03 2021-02-23 Lockheed Martin Corporation Stacked transparent pixel structures for image sensors
US10510812B2 (en) 2017-11-09 2019-12-17 Lockheed Martin Corporation Display-integrated infrared emitter and sensor structures
US10413172B2 (en) 2017-12-11 2019-09-17 1-800 Contacts, Inc. Digital visual acuity eye examination for remote physician assessment
US11616941B2 (en) 2018-02-07 2023-03-28 Lockheed Martin Corporation Direct camera-to-display system
US10951883B2 (en) 2018-02-07 2021-03-16 Lockheed Martin Corporation Distributed multi-screen array for high density display
US10690910B2 (en) 2018-02-07 2020-06-23 Lockheed Martin Corporation Plenoptic cellular vision correction
US10979699B2 (en) 2018-02-07 2021-04-13 Lockheed Martin Corporation Plenoptic cellular imaging system
US10594951B2 (en) 2018-02-07 2020-03-17 Lockheed Martin Corporation Distributed multi-aperture camera array
US10838250B2 (en) 2018-02-07 2020-11-17 Lockheed Martin Corporation Display assemblies with electronically emulated transparency
US10652529B2 (en) 2018-02-07 2020-05-12 Lockheed Martin Corporation In-layer Signal processing
CA3021636A1 (en) 2018-10-22 2020-04-22 Evolution Optiks Limited Light field display, adjusted pixel rendering method therefor, and vision correction system and method using same
US11693239B2 (en) 2018-03-09 2023-07-04 Evolution Optiks Limited Vision correction system and method, light field display and light field shaping layer and alignment therefor
US11353699B2 (en) 2018-03-09 2022-06-07 Evolution Optiks Limited Vision correction system and method, light field display and light field shaping layer and alignment therefor
US10597042B2 (en) * 2018-03-27 2020-03-24 Intel Corporation User gesture directed object detection and recognition in a vehicle
US10860099B2 (en) 2018-10-22 2020-12-08 Evolution Optiks Limited Light field display, adjusted pixel rendering method therefor, and adjusted vision perception system and method using same addressing astigmatism or similar conditions
US10936064B2 (en) 2018-10-22 2021-03-02 Evolution Optiks Limited Light field display, adjusted pixel rendering method therefor, and adjusted vision perception system and method using same addressing astigmatism or similar conditions
US11287883B2 (en) 2018-10-22 2022-03-29 Evolution Optiks Limited Light field device, pixel rendering method therefor, and adjusted vision perception system and method using same
US11500460B2 (en) 2018-10-22 2022-11-15 Evolution Optiks Limited Light field device, optical aberration compensation or simulation rendering
US10636116B1 (en) 2018-10-22 2020-04-28 Evolution Optiks Limited Light field display, adjusted pixel rendering method therefor, and vision correction system and method using same
US11327563B2 (en) 2018-10-22 2022-05-10 Evolution Optiks Limited Light field vision-based testing device, adjusted pixel rendering method therefor, and online vision-based testing management system and method using same
US10761604B2 (en) 2018-10-22 2020-09-01 Evolution Optiks Limited Light field vision testing device, adjusted pixel rendering method therefor, and vision testing system and method using same
US10866413B2 (en) 2018-12-03 2020-12-15 Lockheed Martin Corporation Eccentric incident luminance pupil tracking
US11500461B2 (en) 2019-11-01 2022-11-15 Evolution Optiks Limited Light field vision-based testing device, system and method
US11789531B2 (en) 2019-01-28 2023-10-17 Evolution Optiks Limited Light field vision-based testing device, system and method
US10698201B1 (en) 2019-04-02 2020-06-30 Lockheed Martin Corporation Plenoptic cellular axis redirection
WO2020219446A1 (en) 2019-04-23 2020-10-29 Evolution Optiks Limited Digital display device comprising a complementary light field display or display portion, and vision correction system and method using same
WO2021038422A2 (en) 2019-08-26 2021-03-04 Evolution Optiks Limited Binocular light field display, adjusted pixel rendering method therefor, and vision correction system and method using same
US11487361B1 (en) 2019-11-01 2022-11-01 Evolution Optiks Limited Light field device and vision testing system using same
US11823598B2 (en) 2019-11-01 2023-11-21 Evolution Optiks Limited Light field device, variable perception pixel rendering method therefor, and variable perception system and method using same
FR3124070B1 (fr) * 2021-06-18 2023-05-19 Acep France Procédé de simulation de produits optiques

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009230699A (ja) * 2008-03-25 2009-10-08 Seiko Epson Corp シミュレーション装置、シミュレーションプログラムおよびシミュレーションプログラムを記録した記録媒体

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0619616A (ja) * 1992-06-29 1994-01-28 Canon Inc 情報処理装置
AUPQ842800A0 (en) * 2000-06-28 2000-07-20 Aivision Pty Ltd Flat screen vision testing
JP4014438B2 (ja) * 2001-06-20 2007-11-28 株式会社ビジョンメガネ 眼鏡・コンタクトレンズ度数決定システムおよびその方法
CA2472384A1 (en) * 2002-01-04 2003-07-17 Vision Optic Co., Ltd. Spectacle and contact lens selecting system and method thereof
JP2007089658A (ja) * 2005-09-27 2007-04-12 Matsushita Electric Ind Co Ltd 視力回復訓練装置
WO2007056795A1 (en) * 2005-11-15 2007-05-24 Carl Zeiss Vision Australia Holdings Limited Ophthalmic lens simulation system and method
US7889212B2 (en) * 2006-09-07 2011-02-15 Apple Inc. Magnifying visual information using a center-based loupe
KR20090040839A (ko) * 2007-10-22 2009-04-27 이문기 증강현실 컴퓨터 장치
US8583406B2 (en) * 2008-11-06 2013-11-12 Hoya Lens Manufacturing Philippines Inc. Visual simulator for spectacle lens, visual simulation method for spectacle lens, and computer readable recording medium recording computer readable visual simulation program for spectacle lens
US20100275122A1 (en) * 2009-04-27 2010-10-28 Microsoft Corporation Click-through controller for mobile interaction
GB201015282D0 (en) * 2010-09-14 2010-10-27 Univ Aston Apparatus to measure accommodation of the eye
US20120122570A1 (en) * 2010-11-16 2012-05-17 David Michael Baronoff Augmented reality gaming experience
US20120200667A1 (en) * 2011-02-08 2012-08-09 Gay Michael F Systems and methods to facilitate interactions with virtual content

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009230699A (ja) * 2008-03-25 2009-10-08 Seiko Epson Corp シミュレーション装置、シミュレーションプログラムおよびシミュレーションプログラムを記録した記録媒体

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150057048A (ko) * 2013-11-18 2015-05-28 한국전자통신연구원 시력 기반의 가상화면을 이용한 안경 장치
KR102160017B1 (ko) * 2013-11-18 2020-09-25 한국전자통신연구원 시력 기반의 가상화면을 이용한 안경 장치
KR20170010985A (ko) 2015-07-21 2017-02-02 (주)월드트렌드 증강현실을 이용한 안경착용 시뮬레이션 방법
WO2017030266A1 (ko) * 2015-08-18 2017-02-23 권혁제 가상현실 헤드셋을 이용한 안경 렌즈 비교 시뮬레이션 시스템 및 그 방법
KR101808852B1 (ko) * 2015-08-18 2017-12-13 권혁제 가상현실 헤드셋을 이용한 안경 렌즈 비교 시뮬레이션 시스템 및 그 방법
KR101704442B1 (ko) * 2016-11-04 2017-02-09 한국프라임제약주식회사 Vr 기기를 이용한 시력측정시스템

Also Published As

Publication number Publication date
US20130286045A1 (en) 2013-10-31
WO2013162156A1 (en) 2013-10-31
EP2657912A3 (en) 2017-08-02
US8823742B2 (en) 2014-09-02
EP2657912A2 (en) 2013-10-30

Similar Documents

Publication Publication Date Title
KR101260287B1 (ko) 증강 현실을 이용한 안경 렌즈 비교 시뮬레이션 방법
US10983368B2 (en) Systems and methods for creating eyewear with multi-focal lenses
US11495002B2 (en) Systems and methods for determining the scale of human anatomy from images
CN103558909B (zh) 交互投射显示方法及交互投射显示系统
CN103605208B (zh) 内容投射系统及方法
CN106802486A (zh) 一种调节焦距的方法及头戴显示器
CN106125309A (zh) 一种家庭用虚拟现实眼镜
CA3085733A1 (en) System and method of obtaining fit and fabrication measurements for eyeglasses using simultaneous localization and mapping
WO2018154272A1 (en) Systems and methods for obtaining information about the face and eyes of a subject
JP6576639B2 (ja) 電子眼鏡および電子眼鏡の制御方法
JP2017191546A (ja) 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法
JP2016200753A (ja) 画像表示装置
US20230084541A1 (en) Compact imaging optics using spatially located, free form optical components for distortion compensation and image clarity enhancement
JP6479835B2 (ja) 入出力装置、入出力プログラム、および入出力方法
CA3088248C (en) Image generating device, eyeglass lens selection system, method for image generation and program
KR20220002280A (ko) 자연스럽게 바라보는 자세로 있는 대상자의 머리에 대한 유향 3d 표현을 구현하는 방법
KR20240040727A (ko) 광학 제품 시뮬레이션 방법
JP6479836B2 (ja) 入出力装置、入出力プログラム、および入出力方法
WO2023049066A1 (en) Identifying lens characteristics using reflections
JP2016133541A (ja) 電子眼鏡および電子眼鏡の制御方法
WO2022234077A1 (en) Method, processing device and system for determining at least one centration parameter for aligning spectacle lenses in a spectacle frame to eyes of a wearer

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160427

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180426

Year of fee payment: 6