KR20110103676A - 증강현실 기반의 얼굴인식을 이용한 사용자인증 및 상호작용 시스템 - Google Patents
증강현실 기반의 얼굴인식을 이용한 사용자인증 및 상호작용 시스템 Download PDFInfo
- Publication number
- KR20110103676A KR20110103676A KR1020100022854A KR20100022854A KR20110103676A KR 20110103676 A KR20110103676 A KR 20110103676A KR 1020100022854 A KR1020100022854 A KR 1020100022854A KR 20100022854 A KR20100022854 A KR 20100022854A KR 20110103676 A KR20110103676 A KR 20110103676A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- augmented reality
- character
- information
- information terminal
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 68
- 230000003993 interaction Effects 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 26
- 230000000694 effects Effects 0.000 claims abstract description 4
- 238000005360 mashing Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000007664 blowing Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 6
- 230000010365 information processing Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 239000011324 bead Substances 0.000 description 1
- 239000000411 inducer Substances 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
- G06Q50/265—Personal security, identity or safety
Landscapes
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Computer Security & Cryptography (AREA)
- Human Resources & Organizations (AREA)
- Educational Administration (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 증강현실 기반의 서비스 제공에 있어 증강현실정보단말의 카메라를 이용한 얼굴인식 계정인증을 실현하여 서비스 서버에 로그인하지 않은 타인에 대하여서도 증강현실 서비스 기반의 상호작용을 실현하는 시스템 및 그 방법에 관한 것이다.
본 발명은 로그인하지 않은 대상사용자의 계정인증을 위하여 증강현실정보단말의 카메라를 통하여 해당 사용자의 계정을 인증하고 서버로부터 해당 사용자의 캐릭터 및 부속캐릭터정보를 수신받아 증강현실정보단말의 카메라화상과 캐릭터모델정보를 매쉬업(Mashup)하여 증강현실정보단말의 디스플레이에 출력해주고, 대상사용자의 계정인증시 해당 사용자에 메시지알람(애플리케이션의 정보수신을 통한 진동,효과음,메시지팝업,단문메시지)을 전송하여 대상사용자가 상호작용에 참여할 것인지를 결정하도록 한다. 만일, 대상사용자가 메시지알람을 수신하고도 상호작용에 참여하지 않을 경우 요청사용자는 해당 사용자의 캐릭터 및 부속캐릭터를 확인할 수 있고, 실시간 상호작용은 불가능하나 쪽지전송 및 메시지 보내기 등의 제한적인 기능을 수행할 수 있다.
만일, 대상사용자가 메시지알람을 수신하고 상호작용에 참여할 경우 두 사용자는 서로의 캐릭터 및 부속캐릭터를 증강현실정보단말을 통하여 볼 수 있게되며, 증강현실정보단말에 각 사용자는 액션(터치,기울기,불기,흔들기 등)을 수행할 때 블루투스를 이용한 상호 통신 및 동기화 기술을 통하여 상호작용을 수행하게 된다.
이렇게 상호작용을 수행하는 중 블루투스의 수신거리를 서로 벗어날 경우 두 사용자의 상호작용이 종료되고 서비스에 가입되어있는 다른 사용자의 얼굴인식을 하면 해당 사용자와 상호작용이 시작된다.
상기와 같은 발명을 통하여 즉시성이 요구되는 증강현실 기반의 서비스에 다양한 형태의 서비스 및 사용자간 상호작용을 실현한다.
본 발명은 로그인하지 않은 대상사용자의 계정인증을 위하여 증강현실정보단말의 카메라를 통하여 해당 사용자의 계정을 인증하고 서버로부터 해당 사용자의 캐릭터 및 부속캐릭터정보를 수신받아 증강현실정보단말의 카메라화상과 캐릭터모델정보를 매쉬업(Mashup)하여 증강현실정보단말의 디스플레이에 출력해주고, 대상사용자의 계정인증시 해당 사용자에 메시지알람(애플리케이션의 정보수신을 통한 진동,효과음,메시지팝업,단문메시지)을 전송하여 대상사용자가 상호작용에 참여할 것인지를 결정하도록 한다. 만일, 대상사용자가 메시지알람을 수신하고도 상호작용에 참여하지 않을 경우 요청사용자는 해당 사용자의 캐릭터 및 부속캐릭터를 확인할 수 있고, 실시간 상호작용은 불가능하나 쪽지전송 및 메시지 보내기 등의 제한적인 기능을 수행할 수 있다.
만일, 대상사용자가 메시지알람을 수신하고 상호작용에 참여할 경우 두 사용자는 서로의 캐릭터 및 부속캐릭터를 증강현실정보단말을 통하여 볼 수 있게되며, 증강현실정보단말에 각 사용자는 액션(터치,기울기,불기,흔들기 등)을 수행할 때 블루투스를 이용한 상호 통신 및 동기화 기술을 통하여 상호작용을 수행하게 된다.
이렇게 상호작용을 수행하는 중 블루투스의 수신거리를 서로 벗어날 경우 두 사용자의 상호작용이 종료되고 서비스에 가입되어있는 다른 사용자의 얼굴인식을 하면 해당 사용자와 상호작용이 시작된다.
상기와 같은 발명을 통하여 즉시성이 요구되는 증강현실 기반의 서비스에 다양한 형태의 서비스 및 사용자간 상호작용을 실현한다.
Description
본 발명은 증강현실기술과 얼굴인식기술을 이용한 사용자인증 및 해당 사용자의 캐릭터표시를 통한 사용자 간의 상호작용에 관한 것으로, 증강현실을 지원하는 정보단말의 카메라를 통해 타인의 얼굴을 인식하여 해당 사용자의 캐릭터 및 부속캐릭터를 정보단말에 표시하고 해당 캐릭터 및 부속캐릭터와 자신과 상호작용할 수 있는 방법에 관한 것이다.
종래의 사용자 계정인증 방식은 아이디와 패스워드 입력, 지문, 얼굴인식, 정맥인식, 홍체인식 등의 기술을 통하여 자신의 계정인증을 수행하였으며 서비스를 이용하는 사용자 간의 상호작용을 위해서는 각각의 사용자가 별도의 정보단말을 통하여 계정인증을 수행하고 해당 서비스 및 정보를 제공하는 서버에 로그인하여 상호작용을 할 수 있다.
상기와 같은 계정인증 방식은 서비스 서버에 접속하지 않은 사용자에 대하여 로그인한 사용자가 상호작용을 할 수 없는 문제점을 가지고 있으며, 즉시성이 요구되는 증강현실 기반의 캐릭터 상호작용 등의 서비스에 많은 제약을 가지고 온다.
따라서 증강현실 기반의 캐릭터 상호작용 등의 즉시성을 요구하는 서비스를 위한 상대방 사용자의 계정인증 방법이 요구되고 있다.
본 발명은 상기와 같은 증강현실 기반의 캐릭터 상호작용 등의 즉시성을 요구하는 서비스에 있어, 서비스 서버에 로그인하지 않은 상대방 사용자의 계정인증을 수행하여 해당 사용자의 캐릭터 및 부속캐릭터 등을 정보단말에 표시하고 상호작용할 수 있는 방법을 고안해 내는 것을 목적으로 한다.
본 발명은 상기와 같은 목적을 달성하기 위하여 증강현실을 지원하는 단말기의 카메라를 통하여 서비스 서버에 로그인하지 않은 상대방 사용자의 얼굴을 인식하고 해당 사용자의 계정인증을 하여 사용자의 캐릭터 및 부속캐릭터 등을 자신의 정보단말에 표시하여 증강현실 기반의 캐릭터 상호작용 등의 즉시성을 요구하는 서비스에 대응하도록 하며, 로그인 되지 않은 상태의 사용자의 계정정보가 액세스 되면 해당 사용자에 근거리 무선네트워크 및 문자메시지 등의 방법으로 계정정보가 액세스 된 사실을 알려 주도록 하여 서비스 로그인 의사를 묻고, 서비스 참여시 먼저 계정을 액세스한 사용자와 직접 상호작용을 할 수 있도록 하며, 서비스 로그인을 거절할 경우, 먼저 계정을 액세스한 사용자는 제한된 서비스를 이용하도록 한다.
상기와 같이 얼굴인식과 계정인증, 캐릭터 및 부속캐릭터 등의 화면표시, 로그인 의사전달의 방법을 통하여 즉시성을 요구하는 증강현실 기반의 캐릭터 상호작용 시스템을 구현할 수 있다.
본 발명을 통하여 증강현실 기반의 사용자 계정정보 획득이 쉬워짐에 따라 즉시성을 요구하는 다양한 증강현실 서비스에 활용될 수 있으며, 특히 사용자 계정정보를 통해 연동되는 캐릭터 및 부속캐릭터 등을 통한 상호작용은 증강현실 기반의 다양한 서비스 실현에 도움을 준다.
도 1. 시스템 개념도 : 전체 시스템의 개념 및 구성을 표시하는 도면
도 2. 계정인증 절차 : 증강현실단말의 카메라로 부터 획득된 얼굴이미지를 통해 계정인증을 수행하는 절차 도면
도 3. 캐릭터정보 처리절차 : 인증된 계정의 캐릭터 및 부속캐릭터에 대한 정보를 처리하는 절차 도면
도 4. 증강현실단말 표시절차 : 계정인증 후 수신된 캐릭터정보를 증강현실 단말에 화상과 함께 매쉬업(Mashup)해주는 단계의 절차 도면
도 5. 상호작용 절차 : 본 발명을 이용하여 사용자간 상호작용을 하는 절차 도면
도 2. 계정인증 절차 : 증강현실단말의 카메라로 부터 획득된 얼굴이미지를 통해 계정인증을 수행하는 절차 도면
도 3. 캐릭터정보 처리절차 : 인증된 계정의 캐릭터 및 부속캐릭터에 대한 정보를 처리하는 절차 도면
도 4. 증강현실단말 표시절차 : 계정인증 후 수신된 캐릭터정보를 증강현실 단말에 화상과 함께 매쉬업(Mashup)해주는 단계의 절차 도면
도 5. 상호작용 절차 : 본 발명을 이용하여 사용자간 상호작용을 하는 절차 도면
본 발명은 증강현실정보단말을 이용하여 얼굴인식, 계정인증요청, 캐릭터정보가공 및 수신, 정보매쉬업(Mashup) 및 디스플레이출력, 블루투스 통신을 이용한 상호작용을 수행하는 것으로, 다음과 같이 상세 실시절차를 수행한다.
1) 증강현실정보단말에서 본 발명으로 구현된 증강현실정보단말용 애플리케이션 실행
2) 증강현실정보단말의 카메라를 통하여 대상 사용자의 얼굴을 비춤(110)
3) 인식된 얼굴의 비트맵정보를 계정인증 서버로 전송(120)
4) 계정인증 서버의 계정 데이터베이스로 부터 해당 얼굴에 매칭되는 정보를 검색하여 정보존재시 캐릭터정보를 요청하고 존재하지 않을 경우 인증을 종료
5) 계정존재시 캐릭터정보 및 부속캐릭터정보를 요청하면, 캐릭터정보 및 부속캐릭터 데이터베이스에서 해당 계정의 캐릭터모델을 획득하고 패킷의 형태로 가공(230,260)
6) 가공된 캐릭터모델 패킷을 서버로부터 증강현실정보단말로 전송(240)
7) 증강현실정보단말은 서버로부터 캐릭터모델 패킷을 수신(310)
8) 캐릭터모델 및 부속캐릭터모델 패킷이 존재하는 경우 증강현실정보단말의 카메라화상과 캐릭터모델 패킷을 매쉬업(Mashup)(330,360)
9) 카메라화상과 캐릭터모델 패킷의 매쉬업(Mashup)된 정보를 증강현실정보단말의 디스플레이에 출력(331,361)
10) 대상사용자에 요청사용자가 계정정보인증을 하였음을 메시지(애플리케이션 통신을 통한 효과음, 메시지창, 진동, 단문메시지 등)를 전송(424)
11) 대상사용자의 메시지확인 후 상호작용을 동의할 경우 양 사용자의 증강현실정보단말을 통해 상호작용 시작
12) 사용자의 증강현실정보단말의 블루투스의 프로파일 스캔을 통하여 대상사용자가 서비스 이용 범위 안에 있는지 검사(430)
13) 지속적으로 대상사용자가 서비스 이용 범위 안에 있는 경우, 대상사용자를 타겟오브젝트로 두어 인식시 사용된 얼굴의 주변의 포인트를 중심으로 대상사용자의 이동시 추적을 수행(450)
14) 대상사용자가 이동할 경우 대상사용자의 이동 위치에 캐릭터모델정보를 변경출력해 줌(460)
15) 사용자가 증강현실정보단말에 터치 및 바람을 불어넣는 등의 액션을 취할 경우 해당 간섭액션을 사용자의 증강현실정보단말에서 처리(470)
16) 사용자의 액션유발에 따른 정보를 대상사용자의 증강현실정보단말로 블루투스 통신을 통하여 전송 및 정보동기화(480)
17) 블루투스 프로파일 스캔을 통하여 대상사용자가 범위 내에 있는지 검사하고 범위 밖으로 벗어난 경우 대상사용자 상호작용 종료(499)
100 : 계정인증시작 - 계정인증절차의 시작
110 : 얼굴이미지 인식 - 증강현실단말의 카메라를 통하여 사용자의 얼굴을 인식하는 단계
120 : 비드맵전송 - 인식된 얼굴의 비트맵을 계정인증 서버로 전송하는 단계
130 : 인식결과수신 - 비트맵전송의 결과로 해당 계정의 존재여부를 수신하는 단계
140 : 계정존재확인 - 수신결과 계정존재여부를 확인하는 단계
150 : 캐릭터정보요청 - 계정존재시 해당 계정의 캐릭터 정보를 서버에 요청하는 단계
199 : 계정인증종료 - 계정인증절차의 종료
200 : 캐릭터정보시작 - 캐릭터정보처리의 시작
210 : 캐릭터정보검색 - 캐릭터정보를 서버의 데이터베이스로부터 검색하는 단계
220 : 계정의캐릭터존재확인 - 서버의 데이터베이스로부터 계정의 캐릭터정보를 검색한 결과를 확인하는 단계
221 : 기본모델정보전송 - 계정은 존재하나 캐릭터정보가 존재하지 않을 경우 기본모델정보를 전송하는단계
230 : 모델정보획득가공 - 서버의 데이터베이스로부터 획득된 모델의 정보를 패킷형태로 가공하는 단계
240 : 모델정보전송 - 패킷형태로 가공된 모델정보를 증강현실정보단말로 전송하는 단계
250 : 계정의부속캐릭터존재확인 - 서버의 데이터베이스로부터 계정의 부속캐릭터정보를 검색한 결과를 확인하는 단계
260 : 부속모델정보획득가공 - 서버의 데이터베이스로부터 획득된 모델의 정보를 패킷형태로 가공하는 단계
270 : 부속모델정보전송 - 패킷형태로 가공된 모델정보를 증강현실정보단말로 전송하는 단계
299 : 캐릭터정보종료 - 캐릭터정보처리의 종료
300 : 표시절차시작 - 증강현실정보단말에 수신된 캐릭터정보를 매쉬업(Mashup)하여 표시하는 절차의 시작
310 : 캐릭터정보수신 - 서버로 부터 패킷형태로 캐릭터모델의 정보를 수신하는 단계
320 : 캐릭터존재확인 - 캐릭터모델 정보수신시 모델의 존재유무를 확인하는 단계
330 : 카메라화상매쉬업(Mashup) - 증강현실정보단말의 카메라를 통해 입력되는 화상과 수신된 캐릭터모델을 매쉬업(Mashup)하는 단계
331 : 디스플레이출력 - 증강현실정보단말의 카메라화상과 캐릭터모델정보를 매쉬업(Mashup)한 결과물을 증강현실정보단말의 디스플레이에 출력해주는 단계
340 : 부속캐릭터정보수신 - 서버로 부터 패킷형태로 부속캐릭터모델의 정보를 수신하는 단계
350 : 부속캐릭터존재확인 - 부속캐릭터모델 정보수신시 모델의 존재유무를 확인하는 단계
360 : 카메라화상매쉬업(Mashup) - 증강현실정보단말의 카메라를 통해 입력되는 화상과 수신된 부속캐릭터모델을 매쉬업(Mashup)하는 단계
361 : 디스플레이출력 - 증강현실정보단말의 카메라화상과 캐릭터모델정보를 매쉬업(Mashup)한 결과물을 증강현실정보단말의 디스플레이에 출력해주는 단계
399 : 표시절차종료 - 증강현실정보단말에 수신된 캐릭터정보를 매쉬업(Mashup)하여 표시하는 절차의 종료
400 : 상호작용 시작 - 증강현실정보단말을 통한 사용자간 상호작용의 절차 시작
410 : 얼굴인식 - 증강현실정보단말의 카메라를 통해 사용자의 얼굴을 인식하는 단계
420 : 계정인증요청 - 인식된 얼굴정보 비트맵을 계정인증 서버로 전송하여 해당 사용자가 존재하는지 요청하는 단계
421 : 계정존재확인 - 요청된 얼굴정보 비트맵을 분석하여 해당 사용자가 서버의 데이터베이스 존재하는지 확인하는 단계
422 : 캐릭터정보수신 - 계정정보존재시 해당 계정의 캐릭터모델 패킷을 서버로부터 수신하는 단계
423 : 캐릭터정보매쉬업(Mashup) 디스플레이출력 - 수신된 캐릭터모델 패킷과 증강현실정보단말의 카메라를 통해 입력된 화살을 매쉬업(Mashup)한 결과물을 증강현실정보단말의 디스플레이에 출력하는 단계
424 : 대상사용자메시지알람전송 - 인증된 대상사용자에 요청사용자의 계정정보 인증사실을 메시지(애플리케이션에 통신으로 전송, 진동 및 효과음 송출, 단문메시지 발송 등의 방법) 알림
430 : 블루투스스캔 - 인증된 사용자가 증강현실정보단말의 특정범위 내에 존재하는지 증강현실정보단말에 내장된 블루투스의 프로파일 스캔을 통하여 검사하는 단계
440 : 대상사용자존재확인 - 인증된 대상 사용자가 블루투스 통신반경 내에 존재하는지 확인하는 단계
450 : 타겟오브젝트추적 - 대상 사용자가 이동할 때 얼굴인식시 인식된 얼굴과 얼굴주변의 포인트들이 움직이는 방향을 추적하여 사용자의 캐릭터 및 부속캐릭터를 증강현실정보단말의 디스플레이에 위치시켜주는 단계
460 : 캐릭터정보매쉬업(Mashup) 디스플레이출력 - 수신된 캐릭터모델 패킷과 증강현실정보단말의 카메라를 통해 입력된 화살을 매쉬업(Mashup)한 결과물을 증강현실정보단말의 디스플레이에 출력하는 단계
470 : 화면터치시간섭액션처리 - 증강현실정보단말의 액정화면 터치 등의 사용자 액션이 발생시 해당 액션을 액션유발자의 정보단말에서 처리하는 단계
480 : 블루투스액션정보통신 - 액션유발자의 정보단말에서 처리 및 변경된 정보를 블루투스를 이용하여 대상 사용자의 증강현실정보단말에 전송하는 단계
499 : 상호작용종료 - 대상 사용자가 블루투스 수신 범위를 벗어난 경우 상호작용을 종료하는 단계
110 : 얼굴이미지 인식 - 증강현실단말의 카메라를 통하여 사용자의 얼굴을 인식하는 단계
120 : 비드맵전송 - 인식된 얼굴의 비트맵을 계정인증 서버로 전송하는 단계
130 : 인식결과수신 - 비트맵전송의 결과로 해당 계정의 존재여부를 수신하는 단계
140 : 계정존재확인 - 수신결과 계정존재여부를 확인하는 단계
150 : 캐릭터정보요청 - 계정존재시 해당 계정의 캐릭터 정보를 서버에 요청하는 단계
199 : 계정인증종료 - 계정인증절차의 종료
200 : 캐릭터정보시작 - 캐릭터정보처리의 시작
210 : 캐릭터정보검색 - 캐릭터정보를 서버의 데이터베이스로부터 검색하는 단계
220 : 계정의캐릭터존재확인 - 서버의 데이터베이스로부터 계정의 캐릭터정보를 검색한 결과를 확인하는 단계
221 : 기본모델정보전송 - 계정은 존재하나 캐릭터정보가 존재하지 않을 경우 기본모델정보를 전송하는단계
230 : 모델정보획득가공 - 서버의 데이터베이스로부터 획득된 모델의 정보를 패킷형태로 가공하는 단계
240 : 모델정보전송 - 패킷형태로 가공된 모델정보를 증강현실정보단말로 전송하는 단계
250 : 계정의부속캐릭터존재확인 - 서버의 데이터베이스로부터 계정의 부속캐릭터정보를 검색한 결과를 확인하는 단계
260 : 부속모델정보획득가공 - 서버의 데이터베이스로부터 획득된 모델의 정보를 패킷형태로 가공하는 단계
270 : 부속모델정보전송 - 패킷형태로 가공된 모델정보를 증강현실정보단말로 전송하는 단계
299 : 캐릭터정보종료 - 캐릭터정보처리의 종료
300 : 표시절차시작 - 증강현실정보단말에 수신된 캐릭터정보를 매쉬업(Mashup)하여 표시하는 절차의 시작
310 : 캐릭터정보수신 - 서버로 부터 패킷형태로 캐릭터모델의 정보를 수신하는 단계
320 : 캐릭터존재확인 - 캐릭터모델 정보수신시 모델의 존재유무를 확인하는 단계
330 : 카메라화상매쉬업(Mashup) - 증강현실정보단말의 카메라를 통해 입력되는 화상과 수신된 캐릭터모델을 매쉬업(Mashup)하는 단계
331 : 디스플레이출력 - 증강현실정보단말의 카메라화상과 캐릭터모델정보를 매쉬업(Mashup)한 결과물을 증강현실정보단말의 디스플레이에 출력해주는 단계
340 : 부속캐릭터정보수신 - 서버로 부터 패킷형태로 부속캐릭터모델의 정보를 수신하는 단계
350 : 부속캐릭터존재확인 - 부속캐릭터모델 정보수신시 모델의 존재유무를 확인하는 단계
360 : 카메라화상매쉬업(Mashup) - 증강현실정보단말의 카메라를 통해 입력되는 화상과 수신된 부속캐릭터모델을 매쉬업(Mashup)하는 단계
361 : 디스플레이출력 - 증강현실정보단말의 카메라화상과 캐릭터모델정보를 매쉬업(Mashup)한 결과물을 증강현실정보단말의 디스플레이에 출력해주는 단계
399 : 표시절차종료 - 증강현실정보단말에 수신된 캐릭터정보를 매쉬업(Mashup)하여 표시하는 절차의 종료
400 : 상호작용 시작 - 증강현실정보단말을 통한 사용자간 상호작용의 절차 시작
410 : 얼굴인식 - 증강현실정보단말의 카메라를 통해 사용자의 얼굴을 인식하는 단계
420 : 계정인증요청 - 인식된 얼굴정보 비트맵을 계정인증 서버로 전송하여 해당 사용자가 존재하는지 요청하는 단계
421 : 계정존재확인 - 요청된 얼굴정보 비트맵을 분석하여 해당 사용자가 서버의 데이터베이스 존재하는지 확인하는 단계
422 : 캐릭터정보수신 - 계정정보존재시 해당 계정의 캐릭터모델 패킷을 서버로부터 수신하는 단계
423 : 캐릭터정보매쉬업(Mashup) 디스플레이출력 - 수신된 캐릭터모델 패킷과 증강현실정보단말의 카메라를 통해 입력된 화살을 매쉬업(Mashup)한 결과물을 증강현실정보단말의 디스플레이에 출력하는 단계
424 : 대상사용자메시지알람전송 - 인증된 대상사용자에 요청사용자의 계정정보 인증사실을 메시지(애플리케이션에 통신으로 전송, 진동 및 효과음 송출, 단문메시지 발송 등의 방법) 알림
430 : 블루투스스캔 - 인증된 사용자가 증강현실정보단말의 특정범위 내에 존재하는지 증강현실정보단말에 내장된 블루투스의 프로파일 스캔을 통하여 검사하는 단계
440 : 대상사용자존재확인 - 인증된 대상 사용자가 블루투스 통신반경 내에 존재하는지 확인하는 단계
450 : 타겟오브젝트추적 - 대상 사용자가 이동할 때 얼굴인식시 인식된 얼굴과 얼굴주변의 포인트들이 움직이는 방향을 추적하여 사용자의 캐릭터 및 부속캐릭터를 증강현실정보단말의 디스플레이에 위치시켜주는 단계
460 : 캐릭터정보매쉬업(Mashup) 디스플레이출력 - 수신된 캐릭터모델 패킷과 증강현실정보단말의 카메라를 통해 입력된 화살을 매쉬업(Mashup)한 결과물을 증강현실정보단말의 디스플레이에 출력하는 단계
470 : 화면터치시간섭액션처리 - 증강현실정보단말의 액정화면 터치 등의 사용자 액션이 발생시 해당 액션을 액션유발자의 정보단말에서 처리하는 단계
480 : 블루투스액션정보통신 - 액션유발자의 정보단말에서 처리 및 변경된 정보를 블루투스를 이용하여 대상 사용자의 증강현실정보단말에 전송하는 단계
499 : 상호작용종료 - 대상 사용자가 블루투스 수신 범위를 벗어난 경우 상호작용을 종료하는 단계
Claims (7)
- 증강현실정보단말의 카메라를 통하여 서비스 서버에 접속하지 않은 사용자에 대하여 얼굴인식을 통한 계정정보 액세스방법에 있어서
증강현실정보단말의 카메라를 통하여 서비스 서버에 접속하지 않은 사용자의 얼굴을 인식하는 방법;
서비스 서버에 접속하지 않은 사용자의 인식된 얼굴을 서비스 서버에서 검색하여 계정정보를 인증해주는 단계;
계정정보의 사용자의 캐릭터정보 및 부속캐릭터정보를 데이터베이스로부터 추출하여 패킷으로 가공하는 단계;
가공된 캐릭터모델 패킷을 증강현실정보단말로 전송하는 단계;
사용자의 증강현실정보단말로 수신된 캐릭터모델 패킷을 사용자의 증강현실정보단말의 카메라를 통하여 입력되는 화상과 매쉬업(Mashup)하여 조합하는 단계;
조합된 정보를 증강현실정보단말의 디스플레이에 표시하는 단계;
- 제1항에 있어서, 계정정보의 사용자의 캐릭터정보 혹은 부속캐릭터정보가 존재하지 않을 경우 기본캐릭터모델정보를 패킷으로 가공하여 전송하는 단계;
- 제1항에 있어서, 대상사용자의 계정정보인증시 대상사용자에 메시지알람(애플리케이션의 통신에 의한 쪽지, 메시지, 진동, 효과음, 단문메시지 등)을 전송하는 단계;
대상사용자가 메시지알람을 수신하고 증강현실정보단말의 본 발명 애플리케이션을 실행하여 요청사용자와 상호작용하는 단계;
- 증강현실정보단말의 디스플레이에 대상사용자의 캐릭터모델정보 및 부속캐릭터모델정보를 수신하여 매쉬업(Mashup) 된 정보를 출력하는 단계에 있어,
대상사용자의 움직임이 있을 경우 해당 사용자의 움직임에 따라 캐릭터의 위치가 변경되는 단계;
증강현실정보단말의 블루투스 기능을 통하여 대상사용자와 요청사용자의 상호작용의 동기화를 위한 통신을 하는 단계;
- 제4항에 있어, 대상사용자의 움직임은 초기 대상사용자의 얼굴인식시 얼굴의 인접부분의 포인트 이동을 추적하는 알고리즘을 통하여 타켓오브젝트 추적을 구현하는 단계;
- 제4항에 있어, 대상사용자의 위치가 변경 될 때, 해당 사용자의 캐릭터의 위치가 인접된 포인트를 중심으로 이동되도록 하는 단계;
- 제4항에 있어, 증강현실정보단말의 블루투스 기능을 통하여 불루투스 수신거리를 벗어날 경우 사용자간 상호작용이 종료되는 단계;
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100022854A KR20110103676A (ko) | 2010-03-15 | 2010-03-15 | 증강현실 기반의 얼굴인식을 이용한 사용자인증 및 상호작용 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100022854A KR20110103676A (ko) | 2010-03-15 | 2010-03-15 | 증강현실 기반의 얼굴인식을 이용한 사용자인증 및 상호작용 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20110103676A true KR20110103676A (ko) | 2011-09-21 |
Family
ID=44954805
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100022854A KR20110103676A (ko) | 2010-03-15 | 2010-03-15 | 증강현실 기반의 얼굴인식을 이용한 사용자인증 및 상호작용 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20110103676A (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013087352A1 (en) * | 2011-12-13 | 2013-06-20 | Navteq B.V. | Augmented reality personalization |
| WO2013116117A1 (en) * | 2012-01-31 | 2013-08-08 | Google Inc. | Facial recognition streamlined login |
| GB2522606A (en) * | 2013-11-25 | 2015-08-05 | Marvin Johnson | User authentication system |
| CN118071359A (zh) * | 2024-04-17 | 2024-05-24 | 交通银行股份有限公司江西省分行 | 一种金融虚拟身份验证方法及系统 |
-
2010
- 2010-03-15 KR KR1020100022854A patent/KR20110103676A/ko not_active Application Discontinuation
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013087352A1 (en) * | 2011-12-13 | 2013-06-20 | Navteq B.V. | Augmented reality personalization |
| US9230367B2 (en) | 2011-12-13 | 2016-01-05 | Here Global B.V. | Augmented reality personalization |
| US9858723B2 (en) | 2011-12-13 | 2018-01-02 | Here Global B.V. | Augmented reality personalization |
| US10127734B2 (en) | 2011-12-13 | 2018-11-13 | Here Global B.V. | Augmented reality personalization |
| WO2013116117A1 (en) * | 2012-01-31 | 2013-08-08 | Google Inc. | Facial recognition streamlined login |
| GB2522606A (en) * | 2013-11-25 | 2015-08-05 | Marvin Johnson | User authentication system |
| CN118071359A (zh) * | 2024-04-17 | 2024-05-24 | 交通银行股份有限公司江西省分行 | 一种金融虚拟身份验证方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11082504B2 (en) | Networked device authentication, pairing and resource sharing | |
| KR101952987B1 (ko) | 개인 디바이스들을 이용한 공공 디스플레이들의 제어 | |
| WO2019101097A1 (zh) | 扫码方法、扫码装置及移动终端 | |
| CN103098441B (zh) | 设备通信 | |
| US9071967B1 (en) | Wireless credential sharing | |
| US20160057139A1 (en) | Communication session transfer between devices | |
| US20150088760A1 (en) | Automatic injection of security confirmation | |
| US11063935B2 (en) | Systems and methods for providing remote desktop access | |
| TW201521504A (zh) | 一種穿戴式設備之間的互動方法 | |
| WO2015055095A1 (en) | Identity authentication method and device and storage medium | |
| KR20150023230A (ko) | 장치 사이에서의 계정 전송 | |
| US20130031260A1 (en) | Method and apparatus for establishing an ad-hoc bi-directional network with an optical identifier | |
| CN111935802A (zh) | 设备配网方法、装置及计算机可读存储介质 | |
| WO2018161777A1 (zh) | 一种身份验证的方法、终端设备、服务器和存储介质 | |
| CN1305333C (zh) | 识别系统、便携终端及识别方法 | |
| KR102308859B1 (ko) | 생체 정보 기반 대리 인증 서비스 시스템 및 방법 | |
| CN113784337B (zh) | 数据传输方法及装置、数据传输系统 | |
| KR20110103676A (ko) | 증강현실 기반의 얼굴인식을 이용한 사용자인증 및 상호작용 시스템 | |
| CN111966991A (zh) | 设备解锁方法、装置、设备及存储介质 | |
| US11784834B2 (en) | Electronic devices and corresponding methods for verifying device security prior to use | |
| US20130263286A1 (en) | A method of authenticating a user of a terminal with a service provider | |
| CN111291337B (zh) | 一种创建关联关系的方法、装置及存储介质 | |
| CN110992014A (zh) | 一种支付方法及电子设备 | |
| US9391983B2 (en) | Method and system for access control | |
| CN114124418B (zh) | 一种基于区块链的数据处理方法、装置、系统及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |