KR20180061819A - 다중 생체 인증 장치 또는 다중 생체 인증 시스템, 그리고 이를 사용한 다중 생체 인증 방법 - Google Patents

Abstract

본 발명은 생체(biometric) 신호의 획득 및 처리 장치 및 시스템 그리고, 이를 이용한 다중 생체 인증 방법에 관한 것으로, 사용자의 신원의 식별과 검증을 위한 장치 및 시스템, 이를 사용한 다중 생체 인증 방법에 관한 을 포함하며, 다양한 생체(biometric) 신호, 바람직하게는 적어도 2가지 종류 이상의 생체 신호를 획득하여, 사용자를 인식하거나 인증할 수 있는 생체 인증 장치 및 이러한 장치가 모바일 디바이스와 같은 다양한 디바이스 혹은 서버와 결합된 시스템, 그리고 이러한 장치 혹은 시스템을 사용하여 사용자의 신원을 식별하거나 검증하는 방법을 제공하고자 한다.

Description

다중 생체 인증 장치 또는 다중 생체 인증 시스템, 그리고 이를 사용한 다중 생체 인증 방법{Multiple biometric identity authentication apparatus and authentication system, multiple biometric identity authentication method therewith}

본 발명은 생체(biometric) 신호의 획득(혹은 인식) 및 처리(혹은 인증) 장치 및 인증 시스템 그리고, 이를 이용한 다중 생체 (인식을 포함한) 인증 방법에 관한 것으로, 사용자의 신원의 식별과 검증을 위한 장치 및 시스템, 이를 사용한 다중 생체 인증 방법에 관한 것이다.

본 발명은 생체 전기 신호 획득, 처리 및 분석에 의하여 사용자의 신원의 생체(biometric) 식별과 검증(이하, '인증'이라 하며, 이는 '인식' 과정을 포함한다)을 위한 시스템 및 방법을 제공한다.

일반적인 생체 인증은, 자동 뱅킹 서비스, 상거래(e-commerce), 뱅킹(e-banking), 투자(e-investing), 데이터보호(e-data protection), 자원에의 원격 액세스, 트랜잭션(e-transaction), 작업 보안, 도난 방지 장치, 범죄자 식별, 보안 진입 및 엔트리 등록(entry registration)을 포함하는 생활의 다방면에서 중요한 역할을 차지한다.

단독으로 사용되거나 스마트카드, 암호화 키 및 디지털 서명과 같은 다른 기술과 결합하여, 생체는 경제와 우리 일상생활의 거의 모든 면에 널리 퍼질 것으로 기대된다.

종래의 컴퓨터화된 시스템은 사용자 인증을 위하여 패스워드 및 사용자 식별 번호(Personal Identification Number; PIN)를 사용하는데, 보안을 유지하기 위해서, 패스워드는 정기적으로 변경되어야 하는데, 이것은 사용자에게 상당한 부담으로 적용하게 된다.

사용자의 신원의 생체 식별과 검증을 위하여 몇 가지 진보된 기술이 발전되어 왔으며, 그 중 대표적인 예로 지문 인증, 망막과 홍채 인증, 안면 인증 및 음성 인증 등을 들 수 있다. 하지만 이러한 기술은, 복잡하고 친숙하지 않은 획득 양식, 조명 조건과 배경 잡음과 같은 환경 파라미터에의 민감도 및 고비용으로 인하여, 제한적으로 시장에 활용되고 있다.

지문 인증은 잘 정립되어 있고 가장 성숙한 기술이지만, 몇 가지 단점을 갖는다.

즉, 시스템은 지문 소유자가 물리적으로 존재하는지 여부를 증명할 수 없어 위조 지문을 통해 위조가 가능하므로, 온라인 응용을 위한 적합성이 떨어지고, 광센서는 비교적 고가이면서도 물리적으로 손상되기 쉽기 때문에 통상적인 소매 시장에 대하여 적합하지 않으며, 범죄와 관련된 부정적인 이미지로 인해 대중화에 어려움을 겪고 있다.

망막 스캔 기술은 고도로 정밀한 광센서를 필요로 하고, 머리 자세의 조작을 요구하며, 매우 민감한 기관인 사람의 눈을 통해서 동작하기 때문에 사용자 친화적이지 않으며, 역시 비싸고 손상되지 쉽다.

홍채 및 안면 인증 시스템은 비교적 멀리서 사진을 찍기 때문에, 보다 사용자 친화적인 기술이다. 그러나, 이는 디지털 사진 장비를 요구하고, 동공 크기 변화와 안면 표정에 각각 민감할 뿐만 아니라, 조명 조건에도 민감하다. 또한, 홍채 인식 성능은 어두운 안경 및 컨택트 렌즈(contact lens) 사용으로 인해 열화되고, 안면 인식은 분장에 의해서 위변조될 가능성이 여전히 존재한다.

음성 인증은 가장 친화적인 기술이지만, 낮은 잡음 설정을 요구하고, 억양을 포함하는 본질적으로 변하는 언어 파라미터들(speech parameters)에 매우 민감하다. 또한, 언어 기반의 인식 시스템을 속이기하기 위하여 기존의 종래의 녹음 기술이 사용될 수 있다.

따라서, 현재의 보안 시스템과의 통합뿐만 아니라 독립형(stand alone) 응용을 위해서도, 신뢰할 수 있고, 강인하고, 속이기하기 어렵고(온라인 및 오프라인), 저가이고, 사용자 친화적인 인증 기술에 대한 필요가 존재한다.

본 발명은 다양한 생체(biometric) 신호, 바람직하게는 적어도 2가지 종류 이상의 생체 신호를 획득하여, 사용자를 인식하거나 인증할 수 있는 생체 인증 장치 및 이러한 장치가 모바일 디바이스와 같은 다양한 디바이스와 결합된 인증 시스템, 그리고 이러한 장치 혹은 시스템을 사용하여 사용자의 신원을 식별하거나 검증하는 인증 방법을 제공하고자 한다.

본 발명의 일 실시 형태에 따른 다중 생체 인식 방법은, 적어도 두 가지 이상의 생체 신호들을 수신하는 단계; 상기 적어도 두 가지 이상의 생체 신호들의 각각으로부터 생체적 특징들을 추출하는 단계; 및 상기 추출된 생체적 특징들에 기초하여, 상기 적어도 두 가지 이상의 생체 신호들이 동일한 생체에서 발생하였는지 여부를 판단하는 단계;를 포함한다.

본 발명의 다른 실시 형태는, 적어도 두 가지 이상의 생체 신호들을 수신하는 센서; 및 상기 적어도 두 가지 이상의 생체 신호들의 각각으로부터 생체적 특징들을 추출하고, 상기 생체적 특징에 기초하여, 상기 적어도 두 가지 이상의 생체 신호들이 동일한 생체에서 발생하였는지 여부를 판단하는 프로세서;를 포함하는 생체 인증 장치를 들 수 있다.

본 발명의 또 다른 실시 형태는, 적어도 두 가지 이상의 생체 신호들을 수신하는 센서; 상기 적어도 두 종류의 생체 신호들의 각각으로부터 생체적 특징들을 추출하는 수단; 및 상기 추출된 생체적 특징에 기초하여, 상기 적어도 두 종류의 생체 신호들이 동일한 생체에서 발생하였는지 여부를 판단하는 서버;를 포함하는 생체 인증 시스템을 들 수 있다.

본 발명 다양한 종류의 생체 신호를 획득함으로써, 보다 간편하고 정확하게 사용자 사용자를 식별하거나 인증할 수 있고, 사용자마다 고유의 건강 정보 등을 실시간으로 축척 및 데이터베이스화가 가능하게 되어 언제 어디서나 개별 사용자를 접촉할 수 있는 유비쿼터스 네트워크 환경을 통해 사용자의 건강 상태를 언제 어디서나 확인하는 것도 가능하다.

또한, u-health 시스템이 대두되고 있는 현재의 상황에 비추어 볼 때, 개개 사용자의 고유한 생체 신호 특히 심전도 파형 특성을 이용하여 사용자를 식별할 수 있기 때문에 사람이 위치한 장소에 구애 없이 사용자에게서 측정되는 심전도 신호를 이용하여 사용자를 식별할 수 있음을 물론 이에 따른 사용자의 건강 정보를 구축, 건강 상태를 모니터링하는 것도 가능하다.

그리고 본 발명의 다중 생체 인증 장치 및 시스템은, 적어도 두가지 이상의 생체 신호를 통해 사용자 사용자를 인식 및 인증하기 때문에, 원천적으로 위조가 불가능하고, 인증 대상자의 동작 변화 혹은 속임수 등에 의해 인증 결과가 달라지지 않는 장점이 있어, 본 발명에 따른 다중 생체 인식 시스템은 각종 보안 시스템에 적용하여 신뢰성을 향상하고 위조를 원천적으로 방지할 수 있는 장점이 있다.

도 1은 본 발명의 제1 실시예에 따른 생체 인식 장치를 도식적으로 나타낸 그림이다.
도 2은 본 발명의 제2 실시예에 따른 심전도를 이용한 실시간 사용자 인증방법을 나타낸 블록도이다.
도 3은 본 발명의 제2 실시예에 따른 심전도를 이용한 실시간 사용자 인증방법에 따른 심전도 신호에서 추출된 비교 파형의 결과를 나타낸 그래프이다.
도 4와 도 5는 본 발명의 제2 실시예에 따른 심전도를 이용한 실시간 사용자 인증방법을 이용한 대표 파형의 비교 결과를 보여주는 그래프이다.
도 6은 본 발명의 제3 실시예에 의한 심전도를 이용한 생체 인식 시스템의 구성을 나타내는 블록도이다.
도 7은 본 발명의 제3 실시예에 의한 전극으로부터 특정 전압 파형의 아날로그 ECG 전기적 신호를 나타내는 그래프이다.
도 8은 본 발명의 제3 실시예에 의한 특정 전압 파형의 아날로그 ECG 전기적 신호를 양자화 하여 사용자키 및 공동키를 생성하는 디지털 코드를 나타내는 개념도이다.
도 9는 본 발명의 제3 실시예 의한 다양한 실시 형태에 대한 디지털 코드의 유형을 나타내는 개념도이다.
도 10은 본 발명의 제3 실시예에 의한 ECG 생체 인증을 나타내는 과정을 나타내는 순서도이다.
도 11은 본 발명의 제4 실시예에 따른 생체인증 방법의 흐름도를 도시한 것이다.
도 12는 본 발명의 제4 실시예에 따른, 생체 인증 장치가 적어도 두 종류의 생체 신호들(bio signal)가 동일한 실제 생체(real living body)에서 발생하였는지 여부를 판단하는 예시적 흐름도를 도시한 것이다.
도 13은 본 발명의 제4 실시예에 따른, 생체 인증 장치가 적어도 두 종류의 생체신호들이 동일한 실제 생체에서 발생 하였는지 여부를 판단하는 다른 예시적 흐름도를 도시한 것이다.
도 14는 본 발명의 제4 실시예에 따른, 생체 인증 방법의 또 다른 예시적 흐름도를 도시한 것이다.
도 15는 본 발명의 제4 실시예에 따른, 생체 인증 장치가 적어도 두 종류의 생체신호들에 기초하여 인증 또는 식별을 수행하는 예시적 흐름도를 도시한 것이다.
도 16은 본 발명의 제5 실시예에 따른 생체인식 시스템을 나타내는 블럭도이다.
도 17(a)는 측정된 심전도 신호의 파형을 나타내고, 도 17(b)는 심전도 신호에 P, T 파형이 제거된 파형을 나타내는 예시도이다.
도 18는 심전도 리드 파형의 문턱값을 나타내는 예시도이다.
도 19은 기저선의 위치에 따라 2가지 타입의 심전도 리드 파형을 나타내는 예시도이다.
도 20은 생체인식을 위한 특징 파라메타를 나타내는 도면이다.
도 21은 본 발명의 제5 실시예에 따른 생체인식 방법을 나타내는 흐름도이다.
도 22는 심전도 리드 파형의 검출을 위한 알고리즘 검증화면을 나타내는 도면이다.
도 23은 다층 퍼셉트론 신경회로망의 학습방법을 나타내는 도면이다.
도 24은 오류 역전파 알고리즘을 나타내는 흐름도이다.
도 25는 사용자의 정적인 상태 및 운동 직후의 심전도 파형을 나타내는 도면이다.
도 26은 본 발명의 제5 실시예의 다른 실시 형태에 따른 심전도 생체인식과 지문인식(멀티 모달 생체인식)을 포함한 생체인식 시스템의 블럭도이다.
도 27은 본 발명의 제5 실시예의 다른 실시예에 따른 생체인식 방법을 나타내는 흐름도이다.
도 28은 멀티전극 및 일반전극으로 측정된 심전도 파형을 나타내는 도면이다.
도 29는 본 발명의 제6 실시예에 따른 인증 장치를 나타낸 블록도이다.
도 30는 본 발명의 제6 실시예에 따른 습도 레벨에 따른 지문 정보 및 심전도 파형의 품질을 설명하기 위한 도면이다.
도 31은 본 발명의 제6 실시예에 따른 습도 레벨에 따른 제1 유사도 및 제2 유사도의 임계값을 설명하기 위한 도면이다.
도 32는 본 발명의 제6 실시예에 따른 습도 레벨에 따른 정보를 포함하는 룩업 테이블을 설명하기 위한 도면이다.
도 33은 본 발명의 제6 실시예의 또 다른 실시 형태에 따른 인증 장치를 나타낸 블록도이다.
도 34는 본 발명의 제6 실시예에 따른 인증 장치의 일례를 설명하기 위한 도면이다.
도 35는 본 발명의 제6 실시예에 따른 또 다른 실시 형태에 따른 인증 장치의 일례를 설명하기 위한 도면이다.
도 36은 본 발명의 제6 실시예의 또 다른 일 실시 형태에 따른 인증 장치의 일례를 설명하기 위한 도면이다.
도 37은 본 발명의 제6 실시예에 따른 인증 방법을 나타낸 동작 흐름도이다.
도 38은본 발명의 제6 실시예의 또 다른 일 실시 형태에 따른 인증 방법을 나타낸 동작 흐름도이다.
도 39는 본 발명의 제7 실시예에 따른 모바일 디바이스를 설명하기 위한 블록도이다.
도 40 및 도 41은 본 발명의 제7 실시예와 관련된 모바일 디바이스의 일 예를 서로 다른 방향에서 바라본 개념도이다.
도 42는 본 발명의 제7 실시예에 따른 변형 가능한 모바일 디바이스의 다른 예를 설명하기 위한 개념도이다.
도 43은 본 발명의 제7 실시예의 다른 실시 형태와 관련된 시계 타입의 모바일 디바이스의 일 예를 보인 사시도이다.
도 44는 본 발명의 제7 실시예의 또 다른 일 실시 예와 관련된 글래스 타입의 모바일 디바이스의 일 예를 보인 사시도이다.
도 45는 본 발명의 제7 실시예의 또 다른 실시 형태에 따른 모바일 디바이스의 구성도이다.
도 46은 본 발명의 제7 실시예의 다른 실시 형태에 따른 모바일 디바이스의 제어 방법의 순서도이다.
도 47과 도 48은 본 발명의 제7 실시 예에 따른 모바일 디바이스의 제어 방법의 순서도이다.
도 49는 본 발명의 제7 실시예에 따른 심전도 신호에 기초하여 인증을 수행하는 방법의 개념을 도시한 도면이다.
도 50은 본 발명의 제8 실시예에 따른 모바일 디바이스의 블록 구성도(block diagram)이다.
도 51은 본 발명의 제8 실시예에 따른 모바일 디바이스의 전면도이다.
도 52와 도 53은 본 발명의 제8 실시예에 따른 모바일 디바이스의 우측면도이다.
도 54와 도 55는 본 발명의 제8 실시예에 따른 모바일 디바이스의 전면도의 하단부를 보여준다.
도 56은 본 발명의 제8 실시예에 따른 모바일 디바이스에 연결되는 인체 감지 악세사리를 보여준다.
도 57은 본 발명의 제8 실시예에 따른 모바일 디바이스의 회로의 일부를 보여주는 블록도이다.
도 58 내지 도 61은 각각 본 발명의 다양한 실시 형태에 따른 노이즈 필터의 블록도이다.
도 62는 본 발명의 실시예에 따른 이어잭 타입 PPG 센서를 보여준다.
도 63은 본 발명의 일 실시예에 따른 모바일 디바이스의 추가 구성 요소를 보여주는 블록도이다.
도 64는 본 발명의 제8 실시예에 따른 모드 변경 방법의 흐름도이다.
도 65은 본 발명의 실시예에 따른 복수의 모드와 심전도 신호와의 관계를 나타내는 그래프이다.
도 66은 본 발명의 일 실시예에 따른 모드 천이도이다
도 67은 본 발명의 실시예에 따른 심전도 패턴을 보여준다.
도 68은 본 발명의 일 실시예에 따라 심전도 신호로부터 감지된 감정을 통해 평가 대상을 평가하는 방법을 보여주는 래더 다이어그램이다.
도 69은 본 발명의 제8 실시예에 따른 모바일 디바이스의 데이터 전송 방법을 보여주는 흐름도이다

이하에서는 본 발명의 다양한 실시 형태 혹은 구현 방법을 구체적인 예를 통해 좀 더 자세히 설명하고자 한다. 하지만, 이러한 구체적인 예는 단순히 본 발명의 기술적 사상을 좀 더 쉽게 이해할 수 있도록 하기 위한 예시에 불과한 것으로, 본 발명의 기술적 사상 및 보호 범위가 이에 한정되는 것은 아님을 미리 밝혀 두며, 각각의 실시예들의 통상의 기술자 수준에서의 선택적인 조합과 결합이 가능한 범위까지 포함되는 것임을 당연하다 할 것이다.

[ 실시예 1] 사용자의 심장 박동 패턴을 사용한 생체 인식 장치 및 방법

본 발명의 일 실시형태에 따르면, 특정 사용자의 심장 박동 패턴의 표현과 복수 사용자의 심장박동 패턴의 공통 특징의 저장된 표현 사이의 차이를 계산함으로써, 특정 사용자를 식별하는 제 1 생체 서명(signature)을 생성 및 저장하는 단계; 생성 단계 후, 선택된 사용자의 심장박동 패턴의 표현을 획득하고, 선택된 사용자의 심장박동 패턴과 복수의 사용자들의 심장박동 패턴의 공통 특징의 저장된 표현 사이의 차이를 계산함으로써 제 2 생체 서명을 생성하는 단계; 및 선택된 사용자가 특정 사용자인지 결정하기 위하여, 제 2 생체 서명을 제 1 생체 서명과 비교하는 단계;를 포함한다.

복수 사용자의 심장박동 패턴의 공통 특징의 저장된 표현은, 그러한 표현을 측정 및 저장하고 이후 모든 저장된 표현을 평균하거나, 주요 성분 분석(principle component analysis), 웨이블릿 분해(wavelet decomposition) 등과 같은 기술을 채택함으로써 얻어질 수 있다.

본 발명의 일 실시형태에 따른 장치는, 사용자의 신원을 인식하기 위하여 사용자 고유의 생체 신호의 자동 추출을 수행할 수 있으며, 이러한 장치는 다양한 종류의 장치 및 시스템에 적용될 수 있는데, 예를 들면, 스마트카드; 여권; 운전면허증 장치; 생체 로그온 식별 장치; 팜 파일럿(palm pilot); 세포 내장(cellular embedded) 식별장치; 도난 방지 장치; ECG 감시용 장치, 뱅킹 장치, 트랜잭션 장치; 애완동물 식별 장치; 물리적 접근 장치; 논리적 접근 장치; 혹은 ECG 와 지문 감시를 조합한 장치;등과 이들이 다양한 형태로 조합된 장치를 들 수 있으며, 특별히 이들에 제한되는 것은 아니다.

본 실시 형태에 따른 장치는 계속적으로 또는 요구에 대응하여 동작할 수 있는데, 선택된 사용자의 손 또는 발에 접촉되는 전극을 포함함으로써, 선택된 사용자의 심장박동 패턴의 표현을 얻도록 구성될 수 있다.

스마트카드에 제공된 경우에, 카드는 성공적인 인식 이후에 제한된 시간 기간 동안 가동되고, 그 이후 다음 성공적인 인식이 수행될 때까지 가동되지 않을 수 있다. 장치는 암호화 키 또는 디지털 서명으로 동작되도록 구성될 수 있다.

본 발명의 일 실시예에 따른 장치는 손목에 찬 시계에 적용될 수 있으며, 시계가 채워진 손목과 착용자의 다른 손목 사이에서 신호가 측정된다. 시계의 후면은 손목의 뒤와 접촉하는 도체 매체(예를 들면, 금속 평판)로 만들어 질 수 있고, 시계의 앞면에는 다른 손의 손가락으로 만질 필요가 있는 다른 금속 접촉자가 제공될 수 있다. 시계는 그 착용자의 신원의 확인을 나타내는 신호 및/또는 문, 컴퓨터, 금고 등과 같은 논리적으로 또는 물리적으로 잠긴 장치를 가동시키는 신호를 송신할 수 있다. 대안적으로, 시계는 그 착용자에 관한 사용자 정보를 송신할 수 있다.

본 실시예에서는 심전도 신호 구별에 기초한다. 심장박동과 동기적으로 분석이 수행되고, 일반적인 사용자군에 공통인 특징을 제거하고, 가공하지 않은 심전도 신호에 있어서 정상적으로는 검출 불가능한 생체 서명을 구성하는 사용자 고유의 특징을 강화한다.

본 실시예에 따른 방법은 유일한 생체 서명으로 변환되는 생체전기신호의 획득에 기초한다. 생체 서명의 유일성(uniqueness)은 본 발명에 따른 시스템을 속이거나 속이기하기 어렵게 만들고, 그 내재적인 강인함은 원격 및 온라인 응용뿐만 아니라 국부적 응용에 대해서도 이상적이다. 또한, 본 실시예에 따른 시스템은 높은 인식 성능을 특징으로 하며, 개방 및 폐쇄 탐색 모드 모두를 지원한다. 개방 탐색은 많은 저장된 서명이 하나의 사용자를 식별하기 위하여 탐색되는 것이고, 폐쇄 탐색은 하나의 저장된 서명이 하나의 사용자의 신원인지 검증하기 위해 조사되는 것이다.

본 발명에 따른 생체 시스템의 중요한 장점은 간단하고 명료한 획득 기술이며, 이것은 낮은 비용과, 사용자 친화적인 획득 장치 및 숙련된 조작자가 필요하지 않음을 의미하며, 새로운 심전도신호 획득, 처리 및 분석에 기초한다. 일반적으로, 심장에 의해 발생된 전기 신호는, 보통 사용자의 가슴에 탑재된 종래의 평면 전극을 사용하여 포착될 수 있다. 신호는 각 심장 박동 동안의 다른 기능적인 단계를 나타내는 몇 가지 성분으로 구성되어 있고, 발생하는 조직의 전기 배향(electric orientation)에 따라서 산출된다. 전극 배치의 작은 변화조차도, 분명한 신호 성분이 출현 또는 소멸하는 정도까지, 수신 신호 형태(morphology)에 있어서의 상당한 변화를 일으킬 수 있다.

본 발명은 사용자 고유의 일관된 신호를 생성하는 전극 배치 지점이 존재하고, 그 지점 내에서는 전극의 배치 변화에 완전히 강인하다는 사실을 이용한다. 이러한 지점은 팔과 다리(손가락과 발가락을 포함함)이고, 일관되고 재생산 가능한 심전도 신호를 제공한다. 이러한 지점 내의 전극 배치에 있어서의 위치 변화에 대한 강인함은, 전극이 사지의 말단에 가깝게 남아 있는 한 변하지 않는 일정한 심전도신호가 산출되는 것에 기인한다.

심전도 신호는 잘 알려진 심전도 수정인자인 맥박 속도에 있어서의 변화에 영향을 받는다. 맥박 속도 변화는, 심전도 신호의 'QRS'성분(이러한 성분은 도 5에 나타남)에 대한 'P' 및 'T'성분의 지연(latency) 변화를 야기할

수 있다. 그러나, 맥박 속도 변화는, 신호 복합체(signal complex)의 소급적, 맥박 속도 구동형 조절(retrospective, pulse rate driven adjustment)에 의해서 자동적으로 보상된다. 더구나, 시스템의 적응적인 동작 모드는 맥박 수에 의해서 야기된 변화를 추적하고 보상할 수 있다. 이것은, 심장박동 파형의 한 사이클의 타임 스케일을 압축 또는 신장함으로써 할 수 있다. 파형 특징(예를 들면 S-T, P-Q 세그먼트(segment) 기간)과 맥박 속도 사이의 관계를 기술하는 보다 더 복잡한 공식이 사용될 수 있다.

타 사용자들은, 사지로부터 측정된 심전도 신호에 영향을 미치는 심장 조직 구조, 심장 배향 및 전기 조직 배향에 있어서의 정상적인 편차로 인해, 사용자 고유의 상세를 그 심전도 신호 내에 나타낸다. 그러나 심전도 신호에 있어서, 사용자 고유의 상세는 일반적인 사용자군의 공통적인 주요 심전도 특징에 의하여 명료해진다.

본 발명에 따라, 이러한 공통 특징을 제거함으로써, 심전도 신호로부터 얻은 식별 서명(identification signature)을 유일한 생체전기 서명으로서 사용하여, 사용자 고유의 상세가 드러나고, 사람의 고성능 인식이 가능하게 된다.

본 발명에 따른 생체 식별(Biometric Identification) 시스템은 도 1과 같이 도시될 수 있다. 본 실시예에서는, 복수 사용자의 심장박동 패턴의 공통 특징의 저장된 표현은 복수의 사용자의 심장박동 패턴의 평균이다. 그러나 다른 실시예는, 예를 들면 주요 성분 분석 또는 웨이블릿 분해로서 얻을 수 있는 것과 같은 다른 종류의 공통 특징의 저장된 표현을 이용할 수 있다.

바람직한 실시예에 따른 시스템의 기본 구성요소는 단일 하우징(housing)에 구현된 신호 획득 모듈(112), 신호 처리 모듈(114) 및 출력 모듈(116)을 포함한다. 다른 바람직한 실시예에서는, 신호 획득, 처리 및 출력을 위한 기능적인 구성 요소를 분리함으로써 국부적으로 획득된 생체 신호의 원격 분석이 구현될 수 있다.

도 1에 도시된 각 요소는, 본 발명과 조합하여 당해 기술에서 이미 잘 알려진 원리 및 기술에 기초하여, 통상의 기술자에 의해서 손쉽게 구현될 수 있다. 상기 도 1에는 E-BioID 시스템에 있어서 신호 획득 모듈(112)의 바람직한 구성 형태를 포함하고 있다. 신호 획득 모듈(112)은, 한 쌍의 센서(122), 전치증폭기(124), 대역통과 필터(126) 및 아날로그-디지털(Analog-to-Digital; AD) 변환기(128)를 포함하는 것이 바람직하다. 이러한 구성 요소 각각은, 본 발명과 조합하여 당해 기술에서 이미 잘 알려진 원리 및 기술에 기초하여, 통상의 기술자에 의해서 쉽게 구현될 수 있다.

센서(122)는 심장박동 패턴을 검출할 수 있는 어떠한 종류일 수 있고, 예를 들면, 통상적인 컴퓨터 키보드 상에 "부가장치(add-on)"로서 연결될 수 있는 금속 평판 센서일 수 있다. 사용자는 두 손가락으로 센서를 건드리속이기 하면 된다.

상기 도 1은 E-BioID 시스템에 있어서 신호 처리 모듈(114)의 바람직한 구성요소를 포함하고 있다. 신호 처리 모듈은 디지털 신호처리기(Digital Signal Processor; DSP; 132), 이중 포트 램(Dual Port Ram; DPR; 134), 전기적 소거 및 프로그램 가능한 메모리 장치(136) 및 I/O 포트(138)를 포함하는 것이 바람직하다. 이러한 구성 요소 각각은, 본 발명과 조합하여 당해 기술에서 이미 잘 알려진 원리 및 기술에 기초하여, 통상의 기술자에 의해서 쉽게 구현될 수 있다. 신호 처리 모듈(114)은 포트(138)를 통하여 신호 획득 모듈(112) 및 출력 모듈(116)과 연결된다.

대안적인 실시예에 있어서, 신호 처리 모듈은, 집, 사무실 또는 기관/사업장 환경에서 기존의 컴퓨팅 시설로 시스템이 간단히 통합되도록 하는, 유연한 계산 플랫폼(platform)인, 사용자용 컴퓨터상에 적절한 프로그래밍과 함께 구현 될 수 있다.

출력 모듈(116)은, LCD 또는 CRT 모니터와 같은 전용 표시부로 구성되는 것이 바람직하고, 잠금 기구(locking mechanism)와 같은 외부 전기 장치의 가동을 위한 중계기(relay)를 포함할 수 있다. 대안적으로, 출력 모듈은 추가적인 동작을 위해 인식 결과를 원격 지점으로 중계하는 통신선을 포함할 수 있다.

( 1)신호 획득, 처리 및 분석

생체 신호 또는 심장박동 신호는, 사용자로 하여금 두 개의 금속 평판(122)을 몇 분 동안 만지도록 하는 간단한 방법으로 얻어진다. 금속 평판은 생체 신호를 증폭기(124)로 안내하고, 증폭기(124)는 생체 신호를 바람직한 전압 범위로 증폭한다. 바람직한 실시예에 있어서, 전압 범위는 0에서 5V이다.

증폭된 신호는 필터(126)를 통과시킴으로써, 4Hz - 40Hz의 바람직한 주파수 범위 이외의 부분을 제거한다. 대안적으로, 0.1Hz - 100Hz의 더 넓은 범위가 주요 주파수 간섭(50/60Hz)을 제거하기 위한 노치(notch) 필터와 함께 사용될 수도 있다. 신호의 계수화는 바람직하게는 약 250Hz의 샘플링 주파수에서, 12-비트 A/D 변환기(128)에

의해 수행되는 것이 좋다.

신호 처리 모듈(114)에서는, 거의 외인적인(exogenic) 전기적 성질과 관련된 신호치 변화를 고려하기 위하여, 신호를 'R' 피크치에 의해서 정규화한다. 정규화된 데이터는 생체 서명으로 변환되고, 이것은 미리 저장된 생체 서명 템플릿과 비교된다. 비교의 결과는, 계량화되고, 필요에 따라 신뢰값(confidence value)이 할당되고, 이후 출력 모듈(116)로 송신되어서, E-BioID 시스템의 사용자에게 인식 피드백을 제공하고, 또한 자물쇠 또는 사이렌과 같은 외부 장치, 네트워크 로그인과 같은 가상장치 또는 통신 링크를 가동시킬 수 있다.

다른 실시 형태로, 상기 E-BioID 시스템은 완전히 통합된 컴팩트 장치로서 구현될 수 있고, 많은 기능적인 구성 요소가 ASIC 기반의 시스템 상에 구현된다.

( 2)동작의 원리

생체 인식을 위해서는, 새로이 획득한 생체 서명이 등기(registering)된 또는 등록(enrolling)된 생체 서명 템플릿 데이터베이스 내의 템플릿과 비교되어야 한다. 이를 위해 두 단계의 시스템 동작 즉, 등록 및 인식이 요청 된다.

( 3)등록 단계

바람직한 실시형태로, 각 새로운 사용자는 각 손마다 하나씩의, 두 손가락으로 금속 평판들을 만지도록 지시된다. 대안적인 실시 형태로는, 사용자가 손 또는 다리의 다른 부분으로 금속 평판들을 만질 수도 있다. 시스템은 사용자의 맥박 속도를 감시하고, 기록을 개시하고, 바람직하게는 적어도 20분 동안 지속한다. 요구되는 정확도에 따라 더 짧은 간격이 사용될 수도 있다. 기록이 완성되면, 시스템은, 서명의 일관성(consistency)을 검증하기 위하여, 등기된 세그먼트(segment)의 두 부분으로부터 얻어진 적어도 두 개의 생체 서명을 비교함으로써 자가 테스트를 수행한다. 두 부분은 두 개의 절반 또는 더 큰 겹치는 세그먼트이어도 좋다. 두 부분은 두 생체 서명을 얻기 위해 사용된다. 자가 테스트 결과가 성공적이면, 사용자의 등록이 완성되고, 성공적이지 않으면, 절차가 반복된다. 성공적인 기록은, 심전도 신호 또는 일련의 심전도 신호의 구성을 위해 사용되고, 이러한 심전도 신호들은 심전도 신호 데이터베이스에 추가된다.

심전도 신호는, 데이터 집합에 포함되는 모든 사용자에게 공통인 특징을 제거함으로써, 생체 서명 템플릿의 집합으로 변환되어서, 사용자 고유의 구별되는 특징을 강화한다.

바람직한 실시 형태에 있어서, 시스템은 대평균 심전도 템플릿을 생성하는데, 이것은 사용자의 전체 풀(pool)의 정규화된 심전도 신호를 동기적으로 평균함으로써 계산된다. 대평균은 전술한 공통 특징을 나타내며 각 심전도 신호로부터 대평균을 뺌으로써 별개의 사용자 고유의 생체 템플릿 서명을 산출한다.

대안적인 실시 형태에 있어서는, 주요 성분 분석 또는 웨이블릿 분해와 같은, 공통 특징을 제거하기 위한 다른 수단이 사용될 수 있다.

다른 바람직한 실시 형태에 있어서, 위의 데이터베이스를 몇 개의 부분집합(서브셋: subset)으로 분할하여 부분집합내(intra-subset) 유사성과 부분집합간(inter-subset) 상이성을 최대화함으로써, 몇 개의 분명한 대평균을 산출한다. 부분집합으로의 분할은, 선형분류기, 베이지안(bayesian) 분류기, 퍼지(fuzzy) 분류기 또는 신경망(neural network)과 같은 통상적인 패턴 분류 기술을 이용하여 수행될 수 있다. 부분집합으로의 분할은 대규모의 데이터베이스의 경우에 유용한데, 심전도 신호 사이에서의 유사성의 적절한 표현으로서 대평균의 유효성을 보증하는 것뿐만 아니라 탐색 절차를 단순하고 짧게 할 수 있다.

( 4)인식 단계

인식 단계에서는, 등록 단계에서의 방법과 유사한 방법으로, 사용자가 시스템과 상호 작용하지만, 몇 분 단위의 더 짧은 기록 시간으로 충분하다.

바람직한 실시 형태에 있어서, 시스템은 검증 절차(폐쇄 탐색)를 실행한다. 즉, 시스템은 획득한 신호를 처리하고, 생체 사용자 서명을 형성하고, 서명을 맥박 속도에 따라 조절하고, 조절된 생체 서명을 사용자의 등록된 생체 서명 템플릿과 비교한다.

다른 실시 형태에 있어서, 시스템은 식별 절차(개방 탐색)를 실행한다. 즉, 시스템은 비교 처리를 전체 또는 분할된 데이터베이스에 대하여 반복하여, 매칭되는 신원의 식별을 제공한다.

(5) 비교 처리

바람직한 실시 형태에 있어서, 생체 서명 s_j과 생체 서명 템플릿 F_i사이의 상관 계수 r의 계산에 의하여 다음과 같이 비교가 실행 된다.

상관 계수는 제곱되고, 그 원래의 부호를 유지한다. 즉, h=sign(r)^*|r|². 대안적인 실시 형태에 있어서는, 생체 서명 사이의 RMS 에러와 같은 다른 유사성 측정에 기초할 수도 있다.

폐쇄 탐색 또는 개방 탐색과 같은 동작 모드에 따라서는, 비교는 하나 또는 몇 개의 상관 계수를 만들 수 있다.

폐쇄 탐색 모드에서는, 부호가 유지된 제곱 상관 계수 h가 인식 결정을 위하여 사용된다. 즉, 미리 설정된 임계치보다 큰 값은 양(+)의 식별 또는 매칭으로 간주되고; 경계선, 임계치 근접 값은 확장된 또는 반복된 기록에 대한 필요성을 나타낼 수 있다. 개방 탐색 모드에서는, 가장 높은 계수가 선택된 임계치 이상이라면, 모든 부호가 유지된 제곱 상관 계수 가운데 가장 큰 부호 유지 제곱 상관 계수가 가장 적당한 사용자 식별자를 제공한다.

미리 설정된 임계치는 요구되는 신뢰 레벨로부터 얻어진다. 즉, 더 높은 희망 신뢰 레벨은 더 높은 임계치를 요구한다. 일 실시 형태에서, 0.8보다 큰 부호 유지 제곱 상관 값은 매칭의 특징이고, 0.7보다 낮은 값은 비매칭의 특징이다. 따라서, 0.8보다 큰 부호 유지 제곱 상관 값은 진정한 매칭으로 간주되고, 0.7보다 작은 값은 비매칭으로 간주될 수있다.

대안적인 실시 형태에 있어서, 하나 이상의 거리측정을 이용하는 다중 파라미터 기술(예를 들면, 퍼지 논리 기술)과 같은 보다 복잡한 결정 기술이 사용될 수 있고, 예를 들면, 다중 상관 값은 세그먼트화 데이터 분석(segmented data analysis)으로부터 얻어질 수 있다.

바람직한 실시 형태에 있어서, 심전도 신호에 있어서 변화가 발생하였을 경우 심전도 신호를 사용자의 데이터베이스 파일에 추가함으로써, 시간에 따른 시스템의 성능을 향상시킬 수 있다. 이어지는 인식에서, 시스템은 새로이 얻어진 신호를 처리하고, 맥박 속도를 계산하고, 생체 사용자 서명을 형성하고, 가장 유사한 맥박 속도를 가지는 등록 생체 서명 템플릿을 선택하고, 새로운 생체 서명을 선택된 등록 생체 서명 템플릿과 비교한다.

다른 바람직한 실시 형태에 있어서, 시스템은 등록 사용자 심전도 신호에서의 가능한 변화를 추적하기 위하여, 장기간의 시스템 동작 동안 얻어지는 신호를 이용하고, 일관된 변화가 발생하는 경우, 이러한 변화를 반영하기 위해 등록 신호는 자동적으로 조절된다. 이러한 추적 절차는 장기간에 걸쳐서의 심전도 신호의 점진적인 변화를 보상하지만, 임상의 심장 조건과 관련되어 기대되는 것과 같은 빠르고 급격한 변화는 보상하지 않는다. 다른 실시 형태에 있어서, 그러한 급격한 변화는 사용자에게 의학 자문에 대한 필요성을 나타내도록 보고될 것이다.

생체 신원 인식을 위한 심전도 신호의 획득, 처리 및 분석 방법 및 장치는 후속하는 등록 및 인식 단계의 어떠한 부분집합도 포함할 수 있다.

(6)등록(ENROLLMENT)

사용자로부터의 심전도 신호의 획득, 계수화 및 저장하는 단계로, 심전도 신호 데이터베이스의 형성; 심전도 신호 유사성에 기초하여 템플릿 데이터베이스를 몇 개의 부분 집합으로 분할; 하나 이상의 대평균을 생성; 및 사용자 고유의 생체 서명을 유도하는 단계를 포함한다.

(7) 검증(VERIFICATION)

새로이 포착된 생체 서명은 사용자 고유의 등록 생체 서명 템플릿과 비교되는 단계로, 새로이 포착된 사용자 생체 서명을 관련 저장 생체 서명 템플릿과 상관 및 신뢰(confidence) 분석; 및 인식 결과의 표시 및 등기 및/또는 물리적 또는 가상 근거리/원거리 기구의 가동;을 포함한다.

(8) 식별(IDENTIFICATION)

새로이 포착된 생체 서명은 데이터베이스에 참여하는 모든 생체 서명 템플릿과 비교되는데, 새로이 포착된 사용자 생체 서명을 모든 저장된 생체 서명 템플릿과 상관 및 신뢰(confidence)분석; 및 인식 결과의 표시 및 등기 및/또는 물리적 또는 가상 근거리/원거리 기구의 가동;을 포함한다.

[ 실시예 2] 심전도를 이용한 실시간 사용자 인증

도 2는 본 발명의 제2 실시예에 따른 심전도 생체 신호를 이용한 실시간 사용자 인증 방법의 흐름을 나타낸 도면이다.

도 2에 나타낸 바와 같이, 본 발명의 제2 실시예에 따른 심전도 생체 신호를 이용한 실시간 사용자 인증방법은, (a) 다수 사용자의 심전도(ECG) 신호의 특정 RR구간 동안의 등록파형을 데이터베이스에 등록 저장하는 단계; (b) 입력된 인증 사용자의 실시간 심전도 신호를 전처리하는 단계; (c) 전처리된 상기 심전도 신호를 통해 R 피크를 검출하고, 상기 R 피크에 대한 다수의 RR 구간 중 대표 파형을 선택하는 단계; (d) 선택된 상기 대표 파형을 상기 등록파형의 RR구간과 동일한 간격으로 보간처리(interpolation)하는 단계; (e) 상기 보간처리(interpolation)된 파형을 상기 데이터베이스의 다수의 상기 등록파형과 비교하는 단계; 및 (f) 상기 보간처리된 파형과 상기 다수의 등록파형의 차이의 합을 나타내는 다수 유사도(S)를 이용하여 사용자 인증하는 단계를 포함한다.

이처럼 본 발명의 제2 실시예에 따라 사용자 인증을 하기 위해서 전처리가 된 ECG 파형으로부터 대표 파형을 선택하고, R-peak 점들을 검출한 후, 각 RR 간격으로부터 서로 간의 차이를 통한 유사도를 구한 후 유사도로부터 대표 파형을 선택하여 인증하는 방법을 제안한다.

먼저, 도 2에 나타낸 바와 같이, (a) 단계로서, 생체신호인 심전도(ECG) 신호를 이용하여 사용자인증을 하기 위해서 먼저, 다수의 등록 사용자의 심전도 신호의 등록파형을 데이터 베이스에 등록 저장시킨다. 이와 같은 등록 저장된 등록파형을 기반으로 실시간 사용자의 인증을 위해 심전도를 측정하고, 측정된 데이터를 상기 데이터 베이스에 저장된 등록파형과 본 발명의 실시예에 따른 인증방법으로 비교하여 인증하게 된다. 여기서 실시간 사용자의 심전도 신호의 입력은, 심전도 측정장치를 사용하는 것도 가능하고, 소형 포터블 디바이스를 이용하여 심전도 신호를 측정하고 입력하는 것이 가능하다.

그리고 나서 (b) 단계로서, 입력된 사용자의 실시간 입력된 심전도 신호는 전처리를 수행하게 되는데, 일반적으로 ECG신호의 기저선은 지속적으로 변화한다. 일반적으로 MIT-BIH 신호의 기저선은 불규칙적으로 변화하는 데, 이러한 이유로 본 실시예에서는 ECG 신호에 대해 버터워스(Butterworth) 필터를 사용하여 저주파 신호를 제거함으로써 전처리하는 것이 바람직하다. 이러한 버터워스 필터는 통과대역 밖의 원하지 않는 주파수를 감쇠시켜 아무런 리플(ripple)도 발생시키지 않으므로 ECG 신호의 R-피크점의 검출을 용이하게 한다.

그리고 (c) 단계에서, 전처리된 신호로부터 R-peak 점을 찾아낸 후 RR 구간을 획득해낼 수 있으며, 이러한 RR 간격들 중 하나를 대표 파형으로 선택을 해야 한다. 하지만 RR간격은 항상 같다고 보장될 수 없다. 파형의 유사도를 고려하기 위해서, 각 구간의 시간길이를 같게 만들어주는 보간처리가 사용이 되어야 하며, 이를 통해 신호가 압축이 되면서 수행시간도 줄어들게 된다. (d) 단계에서, 하기의 식 (1)을 사용하여 전처리된 대표 파형을 보간처리 하게 된다.

식 (1)

상기 식 (1)은 1차 선형 보간에 대한 식으로서, 기존 데이터가 (t1, t2,...,tn)과 같이 n개의 시간값과 (y1,y2,...,yn)과 같이 전위값으로 이루어졌을 때 이를 N개의 데이터가 되도록 보간을 하는 방법은 다음과 같다.

보간하고자 하는 곳의 시간값이 t일 때 t가 속하는 구간 (ti, ti+1)과 그 때의 전위값을 (yi, yi+1) 이라고 할 때 t에 대응되는 전위값 y는 [수학식 1]과 같이 구해진다.

두 파형의 시간간격이 매칭이 되고 난 후, 유사도는 두 파형의 차이의 합을 사용함으로써 측정된다.

그리고, 두 파형 (x1,...,xn1)과 (y1,...,yn2)의 유사도(S)를 구하기 위해서 다음의 식 (2)를 이용한다. 먼저 1차 선형 보간을 취하여 (x1,...,xN) 및 (y1,...,yN)과 과 같이 데이터 개수를 일치시킨다. 보간이 된 데이터에 대해 성분 별 차의 절대값의 합을 구하여 유사도를 측정한다. 이와 같이 측정된 유사도는 두 파형이 일치할수록 성분 별 차가 0에 가까워지기 때문에 S값이 낮을수록 두 파형이 유사하다.

식 (2)

데이터베이스에 속한 사용자들 간의 유사도를 모두 측정한 후, 가장 매칭이 잘 되는 사용자를 찾을 수 있게 된다. 그리고 상기 유사도의 최소값을 통해 매칭을 인정하고 인증하는 것도 가능하고, 다수의 유사도 측정의 결과에서 나타난 사용자 인증의 최적 유사도 값의 최대값을 선택하여, 이 최대값을 유사도 인증의 설정하고 산출된 다수의 유사도(S) 값의 최소값 중에서 상기 인증 최대값 이하인 경우에만 최종 인증하는 것도 가능하다.

이와 같은 최소인증 범위 제한은 인증에 있어서 파형의 매칭에 의한 최소값만을 인증 등록파형으로 인정하게 되면, 자신이 아닌 유사한 파형을 갖는 타인을 인증하는 경우가 발생할 수 있기 때문에 이를 보완 하기 위해서, 수많은 인증 데이터를 통해 최적 유사도 최대값을 산출하고, 이를 통해 인증을 인정할 수 있는 유사도(S) 값의 최대값의 범위를 설정하여 인증 정확도를 높이기 위함이다.

구체예로 본 실시예 2에 따른 실험은 다음과 같은 조건에서 실행이 되었다. Intel Core i7-4770 3.4GHz CPU, 8GB RAM, and MATLAB R2011a.

본 발명의 실시예 2에서 MIT-BIH 데이터베이스를 사용하여 실험을 하였으며, 신호의 전영역을 사용하게 될 경우 신호의 형태가 지속적으로 변하기 때문에 대표 파형을 결정하기가 매우 힘들다. 따라서 본 발명의 실시예 2에서는 MIT-BIH 신호에서 해당 대표 파형과 유사한 영역 일부분을 취하여 실험을 하였다. 또한 R-peak 데이터도 MIT-BIH에서 제공하는 정보를 사용하여 실험하였다.

실험은 100회 진행되었으며 입력신호는 각 데이터베이스의 랜덤하게 선택된 25%구간에서 선택된다. 그리고 대표 파형은 데이터베이스의 전구간에서 선택된다.

도 3는 본 발명의 실시예 2에 따른 사용자 인증방법을 사용하여 심전도 신호에서 추출된 비교 파형의 결과를 나타낸 그래프이다. 매번 각 매칭이 잘되었는지 아닌지를 체크한 후 그 결과를 나타낸다. 예를 들어 첫번째 데이터는 100번이 세어졌으며, 이는 첫번째 데이터는 완벽히 인증이 된 것을 의미한다. 그리고 30번째 데이터는 26번이 세어졌으며 이는 30번 데이터는 인증하기 매우 어려움을 의미한다. 도 3의 결과를 통해 39개의 데이터는 자기 자신과 완벽히 매칭이 되었으며 4개의 데이터는 90% 이상 매칭이 되었음을 보인다.

도 4와 5는 본 발명의 실시예 2에 따른 심전도 생체정보를 이용한 실시간 사용자 인증방법을 이용해 대표 파형의 비교를 나타낸 그래프이다. 도 4와 5에 나타낸 바와 같이, 본 발명의 실시예 2에서는 기저선의 불규칙적인 변화와 대표 파형의 선택이 매우 중요하다는 것을 알 수 있었다. 이것은 ECG 기기의 성능과 관련이 있음을 나타내고, 고성능 ECG 측정 기기에 따라 더욱 검출 및 인증성능이 높아질 수 있음을 나타낸다.

이와 같은 본 발명의 실시예 2에 따른 심전도 생체정보를 이용한 실시간 사용자 인증방법을 처리하는 수행시간은 매우 짧았고, 두 대표 파형간의 계산은 평균적으로 0.11ms가 걸렸으며 47개 전체 데이터간의 비교에 걸리는 시간은 5.5ms가 걸렸다. 따라서 이는 실시간 사용자인증에 적용하기에 매우 적합함을 알 수 있었다.

[ 실시예 3] 심전도를 이용한 생체 인식

도 6에는 본 발명의 제3 실시예에 따른 심전도 생체 인증 단말기가 키 관리 서버와 네트워크 연결되어 심전도 생체 인증하는 시스템의 구성이 블록도로 도시되어 있다.

상기 도 6을 참조하면, 본 발명의 제3 실시례에 따른 심전도 생체 인증 시스템(300)은, 하나 이상의 클라이언트 단말기(310), 및 심전도 생체 신호를 이용하여 클라이언트의 생체 인증을 실시하는 키 관리 서버(KMS, 320)를 포함한다. 본 실시예에서는 여러 가지 다양한 생체 인증(뇌전도, 심전도, 근전도, 안전도 등)이 있지만, 그 중에서도 심장 박동 횟수에 따른 전기적 변화를 표시함으로써 일상에서도 용이하게 취득 가능하고 특히 복제가 어려운 심전도(electrocardiogram: ECG) 인증을 이용하고자 한다.

클라이언트 단말기(310)는, ECG 측정 센서(312), ECG 신호 획득부(314), ECG 신호 처리부(316), 및 ECG 신호 통신부(318)를 포함한다.

ECG 측정 센서(312)는, 하나 이상의 생체 전극으로 구성된다. 생체 전극은, 클라이언트의 피부 자극 없이 장시간 사용 가능한 스냅 전극으로 구성될 수 있다.

ECG 신호 획득부(314)는, ECG 측정 센서(312)와 유선으로 연결되어 생체 전극으로부터 ECG 신호를 수집하고 처리한다. ECG 신호 획득부(114)에서 수집되는 ECG 신호는 아날로그 전기적 신호이다. 도 6에 도시된 바와 같이 생체 전극으로부터 특정 전압 파형의 아날로그 전기적 신호가 제공된다.

ECG 신호 획득부(314)는, ECG 신호를 측정하여 생체 인증에 필요한 디지털 코드로 전환할 필요성이 있다고 판단할 때 실시간으로 측정 시점을 결정하는 스위치(314a)를 포함할 수 있다. 혹은 주기적으로 측정이 필요할 때 측정 주기를 결정할 수 있는 타이머(314b)를 포함할 수 있다.

가령, ECG 측정은 휴식 상태에서 실시하는 것과 운동 후에 실시하는 것, 누워서 측정하는 것과 앉아서 측정하는 것, 혹은 식사/음료 전에 측정하는 것과 식사/음료 후에 측정하는 것에 약간의 차이가 발생할 수 있다. 이에 스위치(314a) 혹은 타이머(314b)를 이용하여 적절한 측정 시점을 선택하거나 혹은 일정한 시간 혹은 반복 측정을 통하여 획득된 정보의 평균값을 이용하여 생체 인증을 실시하여 인증 에러를 방지할 수 있다.

ECG 신호 처리부(316)는 연속적인 시간 축 상에 연속적으로 변화하는 진폭(전압 레벨)을 가지는 아날로그 전기적 신호를 소정 단위로 정수배로 변화하는 비연속적인 디지털 신호(코드)로 변환하는 기능을 수행한다.

이를 위하여, ECG 신호 처리부(316)는 아날로드 신호 증폭 모듈(316a)을 통하여 1차적으로 아날로그 전기적 신호의 크기를 증폭한다. 양자화 모듈(316b)을 통하여 도 8에 도시된 바와 같이 특정 파형의 아날로그 전기적 신호를 양자화 한다. 이와 같이 연속적인 아날로그 전기적 신호는 일정한 전압 레벨을 기준으로 양자화(Quantization) 되어 P(+0.37100), Q(-0.22010), R(+0.98010), S(-0.41010), T(+0.28100), QRS(+0.34990) 등으로 표시될 수 있다. 이때 QRS = (Q + R + S)로 표시된다. 디질털 코드화 모듈(316c)을 통하여 양자화 결과는 "1(혹은 high)", "O(혹은 middle)" 과 "-1(혹은 low)"만으로 이루어지는 소수 5자리, 양자화 디지털 코드(Quantum Code)로 출력될 수 있다.

심장은 2 심방과 2 심실로 이루어져 있어 일정 주기마다 미세 전기를 발생시켜, P, QRS, T 순서대로 박동된다. 이와 같이, 심장은 소정 심박에서 다음 심박까지 심장 주기를 갖게 되는데, 이러한 심장 주기는 심방 수축기, 심실 수축기, 및 심방/심실 이완기로 구분된다. 심방 수축기에서 좌심방 및 우심방이 수축하고, 좌심실 및 우심실이 이완되며, 심실 수축기에서 좌심방 및 우심방이 이완되고, 좌심실 및 우심실이 수축되고, 심방/심실 이완기에서 좌우 심방 및 좌우 심실이 모두 이완된다.

도 7을 참조하면, ECG는 심장 수축에 따른 활동 전류 및 활동 전위차를 파상 곡선으로 기록한 파형(wave frequence)으로 표현된다. 이러한 ECG 파형은 상향 펄스와 하향 펄스가 교대로 반복하는데, 이들 펄스는 순서대로 P 웨이브, Q 웨이브, R 웨이브, S 웨이브, 및 T 웨이브라고 명명하기로 한다.

여기서 도 7의 P 웨이브는 좌우 심방의 수축 과정을 기록한 파형이고, QRS 콤플렉스는 좌우 심실의 수축 과정을 기록한 파형이며, T 웨이브는 좌우 심실이 이완되는 과정을 기록한 파형으로서, P 웨이브는 심방의 탈분극 시기에 발생하고, QRS 콤플렉스는 심실 탈분극 시기에 발생하며, T 웨이브는 심실 재분극 시기에 발생한다.

이러한 심장의 심방 및 심실 탈분극과 심실 재분극은 클라이언트의 피부 표면에서 측정될 수 있다. 따라서 본 실시예에서는 심전도 측정 센서(312)를 이용하여 이와 같은 탈분극과 재분극의 영향을 클라이언트 단말기(310)를 이용하여 측정하고자 한다.

도 8를 참조하면, 이러한 아날로그 ECG 파형은 양자화 과정을 거쳐 바이너리 디지털 코드로 변경된다. ECG 디지털 정보는, P 웨이브 정보(32비트), Q 웨이브 정보(32비트), R 웨이브 정보(32비트), S 웨이브 정보(32비트), T 웨이브 정보(32비트), QRS 콤플렉스 정보(32비트), PIN 정보(64비트)의 양자화 디지털 코드로 구성되어 256비트 정보를 표현할 수 있다.

또 다른 경우로, 도 9에 도시된 바와 같이, P 웨이브, Q 웨이브, R 웨이브, S 웨이브, T 웨이브, 및 QRS 콤플렉스 말고도 U 웨이브를 더 포함할 수 있다. 다만, U 웨이브는 QRS 콤플렉스 파형과 비교하여 상향 펄스 및 하향 펄스가 명확하고 규칙적이지 않은 단점이 있다. 따라서 도 9를 계속해서 참조하면, U 웨이브와 QRS 콤플렉스를 모두 사용할 수 있다.

이와 같은 ECG 아날로그 파형으로부터 추출되는 양자화 디지털 코드의 정보 [0043] 값은 클라이언트 사용자별로 유니크한 값을 가지게 되며, 상기 유니크한 값은 본 발명의 사용자 생체 인증 혹은 인식을 위한 정보로 이용될 수 있다.

ECG 신호 통신부(318)는 이동 통신망(Network)을 통한 통신이나 근거리 무선 통신 등 다양한 통신 기능을 가지고 있어 무선 데이터 통신이 가능한 블루투스 모듈, 적외선 통신 모듈, 지그비 모듈 등 무선 통신 모듈을 구비한 키 관리 서버(320)와 실시간 통신할 수 있다.

다시 도 6를 참조하면, 본 실시예의 클라이언트 단말기(310)는 스마트 워치(Smart Watch)를 이용할 수 있다. 즉, 클라이언트 단말기(310)는, 스마트 워치(W), 스마트 워치(W)를 팔목에 고정하는 스마트 밴드(B)를 포함한다.

ECG 측정 센서(312) 즉, 생체 전극은 팔목 안쪽의 피부와 접촉하는 스마트 밴드(B)에 설치될 수 있다. 스마트 밴드(B)는 유연하고 수축 가능한 폐쇄 링 타입일 수 있다. 스마트 밴드(B)는 하드하고 탄성을 가지는 개방 링 타입일 수 있다. 혹은 선택적으로 개방 혹은 폐쇄할 수 있는 체결 타입일 수 있다.

스마트 워치(W)는 스마트폰(smart phone), PDA(personal digital assistant), 핸드 헬드(handheld) PC, 핸드폰, 홈 서버 PC 등이 사용될 수 있다.

스마트 밴드(B)는 심장의 탈분극와 재분극의 영향을 가장 효과적으로 검출할 수 있는 피부에 잘 접촉할 수 있도

록 패치 형태로 제공될 수 있다. 스마트 밴드(B)는 클라이언트의 팔목을 감싸며 생체 전극은 팔목 안쪽에 대응 되도록 한다.

따라서 클라이언트 단말기(310) 구성 중 ECG 측정 센서(312)는 스마트 밴드(B)에 탑재되고, ECG 신호를 수집하고 처리하며 통신하는 ECG 신호 획득부(314), ECG 신호 처리부(316), 및 ECG 신호 통신부(318)는 스마트 워치(W)에 각각 탑재되며, ECG 측정 센서(312)와 ECG 신호 획득부(314)는 스마트 밴드(B)를 통해 유무선으로 상호 통신할 수 있다.

도 8을 참조하면, 본 실시예의 앞서 언급한 방법을 통하여 확정된 양자화 디지털 코드를 사용자키(Private Key)의 암호화에 활용할 수 있다.

본 실시예에서는 데이터를 암호화하는데 있어서 특정 알고리즘을 사용하는 것이 바람직한데, 특별히 이에만 한정되는 것은 아니다. 여기서 데이터 암호화란 특정 알고리즘을 사용하여 데이터를 변형함으로써 데이터의 암호화는 권한 없는 자가 데이터로 접근하는 것을 막는 일종의 자물쇠이다. 이때, 사용되는 특정 알고리즘은 자물쇠를 잠그는 키(Key) 역할을 하게 된다.

반대로, 전술한 암호화 데이터를 재생하기 위해서는, 상기 암호화에 사용된 특정 알고리즘을 해독할 수 있는 수단이 제공되어야 한다. 특정 알고리즘 해독 수단은 자물쇠를 여는 일종의 키(Key) 역할을 하게 된다. 즉, 키(Key)가 제공되면, 상기 키를 사용하여 데이터 암호화에 사용된 알고리즘을 해독하고, 상기 데이터를 원래 형태로 복구화(Decryption) 할 수 있다. 따라서 데이터 암호화 및 복호화에 사용되는 상기한 알고리즘을 키(Key)라 한다.

본 발명의 실시예 3에서는 암호화할 때 사용하는 키와 복호화할 때 사용하는 키가 다른 암호화 기법인 비대칭 암호 시스템(Asymmetric Cryptographic System)을 사용한다. 이러한 비대칭 암호 시스템은 암호화할 때 사용하는 키와 복구화할 때 사용하는 키가 다른 암호화 기법으로서, 공개키 암호 체계라 불리기도 한다.

예를 들어, 비대칭 암호 시스템은 일반적으로 공개키 기반 구조(Public Key Infrastructure; PKI)인 것을 특징으로한다. 두 개의 큰 소수(보통 140자리 이상 수)의 곱과 추가연산을 통하여 공개키와 사용자키를 구성하고, 전자 인증서(digital certificate)를 통해 사용자를 인증(authentication)한다.

이하, 클라이언트 단말기가 ECG를 이용하여 키 관리 서버(KMS)로부터 인증서를 발급받는 과정을 도면을 참조하여 설명한다.

도 10을 참조하면, 상/하향 펄스가 연속적인 곡선으로 표시되는 아날로그 ECG 파형 정보를 양자화 한다. 양자화되어 비연속적인 ECG 정보 값은 유니크한 값을 가지게 된다.

양자화를 통하여 유니크하게 된 ECG 각 파형 정보 값을 이용하여 256비트의 사용자키를 생성한다. 이 정도의 사용자키는 모든 동물를 유니크한 키로 사용할 수 있는 충분한 숫자이다.

사용자키와 공개키로 구성되는 키 쌍을 생성하여 암호화한다. 암호화 결과를 키 관리 서버(320)로 전송한다.

키 관리 서버(320)는 암호화 결과를 복구화하여 공개키를 생성한다. 이때, R.S. A/E.C.C 알고리즘을 이용하여 인증서를 발급한다. 여기서 R.S.A/E.C.C 알고리즘을 이용하여 공개키를 제공함으로써 PKI 인증을 실시한다.

클라이언트 단말기(310)는 인증서를 전송받아 인증 절차에 이용한다. 이와 같이 인증서는 특정 클라이언트 단말기(310)가 해당 공개키를 소유하고 있음을 입증하는 전자 문서이다.

한편, 클라이언트 단말기(310)가 키 관리 서버(320)로부터 전술한 전자 인증서 발급 절차를 통하여 인증을 완료한 후에 전자 인증서를 갱신할 필요성이 있을 때 인증 절차를 새롭게 시작할 수 있다. 이때 타이머(314b)를 통하여 1시간을 설정하고, 그 시점에서 클라이언트 단말기(310)로부터 ECG 정보에 기초하여 사용자키가 키 관리 서버(320)에 수신되지 않으면, 인증 절차를 모두 취소하고 원점에서 인증 절차를 새롭게 실시하도록 하여 보안성을 한 층 강화할 수 있다.

본 발명의 실시예 3의 ECG 생체 인증 단말기는 스마트 워치 형태로 제공하되, 특정 범죄자에게 24시간 착용하여 감시하는 전자 팔찌에 적용될 수 있다. 범죄자 사용자의 ECG 정보가 실시간 혹은 주기적으로 키 관리 서버에 전송됨으로써, 전자 팔찌의 착용 상태를 원격에서 확인할 수 있다.

이상에서 살펴본 바와 같이, 본 발명은 심전도 생체 인증 단말기를 스마트 워치 형태로 제공함으로써, 클라이언트의 팔목에 항상적으로 접촉하는 밴드에 심박을 측정하는 생체 전극을 설치할 수 있고, 아날로그 ECG 파형을 양자화 하여 디지털 코드로 변환 처리하는 기능을 스마트 기기 본체에 구비함으로써 스마트 기기의 본래 기능과 함께 스마트 기기를 이용하여 처리하는 모바일 뱅킹 기타 결제 시 인증에 그대로 활용할 수 있으며, ECG 파형을 처리하여 획득된 디지털 코드를 R.S.A/E.C.C 알고리즘에 활용하여 보안성이 강화되는 구성을 기술적 사상으로 하고 있음을 알 수 있다.

[ 실시예 4] 두 가지 생체 신호를 이용한 생체 인식

도 11은 제4 실시예에 따른 생체(living body) 인증 방법의 흐름도(410)를 도시한 것이다.

본 발명의 제4 실시예에 따른 생체 인증 방법은 다양한 종류의 생체특징을 수집할 수 있는 기능 및 프로세서 등을 갖는 생체 인증 장치에 의해 실행될 수 있다. 예를 들어, 생체 인증 방법의 각 단계는 하기와 같이 설명된다.

먼저, 단계(411)에서 생체 인증 장치는 적어도 두 종류의 생체신호들을 수신한다.

본 실시예 4에서, 생체특징(bio feature)은 생체의 신체 특성(body attribute) 또는 행위 특성(action attribute)을 나타내는 특징(feature)일 수 있다. 예를 들어, 생체특징은 사람얼굴(facial image), 지문(finger print), 장문(friction ridge), 혈관(blood vessel), 홍채(iris), 시망막(retina), 심전도(ECG, electrocardiogram), 뇌전도(EEG, electroencephalogram), 맥박(pulse), 혈압(blood pressure), 가슴 소리

(heart sound), 가슴 또는 복부운동, 인체의 전도성(conductivity of human body) 등의 다양한 특성을 포함한다.

또한, 생체 신호(bio signal)는 예를 들어, 사람얼굴 이미지, 지문 이미지, 장문 이미지, 혈관 이미지, 홍채 이미지, 시망막 이미지, 심전도 신호, 뇌전도 신호, 광용적맥파(PPG, Photo Plethysmo Graphy) 신호, 혈압신호, 가슴 소리 신호, 인체와 연관된 전자기파 신호, 가슴 또는 복부운동 신호, 인체의 전도성 신호 및 기타 생체 특징을 나타내는 신호를 포함 할 수 있다. 다만, 생체특징 및 생체신호를 상술한 바로 한정하는 것은 아니고, 현재 알고 있거나 미래에 개발될 각종 생체특징 및 생체신호가 사용될 수 있다.

본 발명의 제4 실시예에 따르면, 생체신호는 전기신호, 소리신호, 힘 신호(force signal), 전자기신호, 이미지/동영상 신호, 광신호 등 여러 종류의 형태로 수집될 수 있다. 또한, 생체신호를 수집하기 사용되는 센서는 여러 종류의 센서가 사용될 수 있다.

예를 들어, 컬러이미지 센서는 사람얼굴 이미지, 지문 이미지, 장문 이미지, 시망막 이미지 등을 수집하기 위해 사용될 수 있다. 다른 예를 들어, 적외선 이미지 센서는 혈관 이미지 등 적외선 광원에 민감한 생체특징의 이미지를 수집하기 위해 사용될 수 있다. 또 다른 예를 들어, 진동 센서(vibration sensor)는 가슴 또는 복부운동 신호 등 진동 특성(vibration attribute)을 갖고 있는 신호를 수집하기 위해 사용될 수 있다. 이 외에도, 예를 들면, 압력 센서는 혈압신호, 및 가슴 또는 복부운동 신호 등 압력과 연관된 생체신호를 수집하기 위해 사용될 수 있다. 여러 종류의 생체신호는 여러 개의 서로 다른 센서로부터 동시에 각각 수집되거나 또는 여러 종류의 생체신호를 수집할 수 있는 하나로 통합된 센서를 통해 동시에 수집될 수 있다. 예를 들면, 컬러이미지 센서와 광전 센서(photoelectric sensor)가 각각 동시에 사람얼굴 이미지와 PPG신호를 수집할 수 있거나, 컬러 이미지 센서와 광전 센서의 기능을 가지도록 통합된 센서가 동시에 사람얼굴 이미지와 PPG신호를 수집할 수 있다.

일 실시예에 따르면, 시간변화에 따라 연속되는 생체신호 또는 시간상 연관성을 갖는 생체특징의 여러 개의 분산 데이터 포인트(distributed data point)를 획득하기 위해, 각종 생체신호의 수집은 미리 정한 시간(예를 들면, 1분내 심전도 신호 파형 수집, 또는 10초간 여러 개의 사람얼굴 이미지를 수집 등) 동안 지속될 수 있다.

수집된 생체신호는 신호전환회로를 통하여 하기와 같은 처리를 한 후 프로세서로 전송될 수 있다. 일 실시예에 따른 생물 인증 장치는 연속된 아날로그 신호(예를 들면, 심전도 신호, PPG신호 등)를 디지털 신호로 변환하고, 신호에 포함된 잡음을 처리하며(예를 들면, 수집된 홍채 이미지에 대하여 눈꺼풀, 눈썹 등 이미지 잡음을 제거), 신호의 강도, 분포, 변화 등을 처리할 수 있다(예를 들면, 장문 이미지에 대하여 정규화(normalization)처리를 수행). 프로세서는 상술한 처리가 수행된 생체신호를 수신할 수 있다.

그리고, 단계(412)에서 생체 인증 장치는 적어도 두 종류의 생체신호들의 각각으로부터 동일한 종류의 생체적 특징들(physiological feature)을 추출한다.

본 실시예에서, 생체적 특징은 생체(living body)의 생리적 상태(physiological state)의 특징을 나타낼 수 있다. 예를 들어, 생체적 특징은 심장 박동, 호흡, 혈압, 및 체온 등을 포함할 수 있다. 본 실시예 4에서의 생체적 특징은 시간변화에 따른 생체적 특징일 수 있다. 시간변화에 따른 생체적 특징을 사용함으로써, 생체 인증 장치는 허위 생체신호(fake bio signal)를 사용하여, 생체 인증을 부정하게 통과하려는 시도를 방지할 수 있다. 만약 단계(411)에서 두 종류 이상의 생체신호를 수신하면 프로세서는 수신된 생체신호의 각각으로부터 동일한 종류의 생체적 특징들을 추출할 수 있다. 또한, 생체 인증 장치는 각각의 생체신호로부터 여러 종류의 생체적 특징들을 동시에 추출(예를 들면, 여러 종류 생체신호의 각각으로부터 동시에 심장박동과 호흡을 추출)할 수 있다.

또한, 생체 인증 장치는 다양한 방법을 이용하여 생체적 특징을 추출할 수 있다. 일 실시예에 따르면, 생체신호와 생체적 특징 사이의 직접적인 대응관계에 기초하여, 생체 인증 장치는 생체신호로부터 생체적 특징을 획득할 수 있다. 예를 들어, 인체의 호흡률과 맥박률은 비교적 안정된 비례관계(예를 들어, 호흡률:맥박률=1:4)를 나타내므로, 생체 인증 장치는 PPG신호에 기초하여 호흡률을 추정할 수 있다. 일 실시예에 따르면, 생체신호의 일정한 시간 동안 시간변화에 따른 특성(attribute) 및 생체적 특징 사이의 대응관계(corresponding relation)에 기초하여, 생체 인증 장치는 생체적 특징을 획득할 수 있다. 예를 들어, 심장박동과 사람 얼굴 피부 속의 모세혈관의 색상변화는 직접적인 대응관계를 나타내는 바, 생체 인증 장치는 일정한 시간 동안 시간의 순서에 따라 수집된 여러 사람 얼굴 이미지에서 시간에 따라 변화하는 피부색상을 분석하고, 상술한 피부 색상 변화에 기초하여 심장박동을 획득할 수 있다.

본 실시예에 따르면, 추출된 생체적 특징들은 여러 종류의 형식으로 표현될 수 있다. 예를 들어, 생체적 특징은 벡터, 벡터집합(vector set), 및 신호파형(signal waveform) 등의 형식으로 표현될 수 있다. 예를 들어, 추출된 생체적 특징들을 벡터로 표현하면, 벡터의 각각의 원소는 한 개 신호의 수집 시간에 대응할 수 있고, 원소의 값은 생체적 특징의 강도(intensity), 위치, 생체적 특징이 발생하거나 변화하는 순간(time instant) 및 생체적 특징의 기타 상태 등을 나타낼 수 있다.

예를 들어, 생체적 특징은 하기와 같은 벡터 형식으로 표현될 수 있다. 하나의 1차원벡터 A=(a₁, a₂,…., a_N)로 심장박동이 표현될 수 있다. 여기서, N은 샘플추출 수량이고, N은 1 이상이며, a1은 첫번째 샘플추출 타이밍(sample extraction timing)에 대응하고 a₁의 크기는 첫번째 샘플추출 타이밍의 심전도 신호의 강도를 나타낼 수 있으며, a_N은 N번째 샘플추출 타이밍에 대응하고 a_N의 크기는 N번째 샘플추출 타이밍의 심전도 신호 강도를 나타낼 수 있다. 더 나아가, 벡터에서 각각의 원소는 하나의 생체적 특징이 발생하거나 변화하는 순간에도 대응될 수 있다. 예를 들어, 심장박동을 표현하는 벡터 에서 원소 a1은 첫번째 피크(peak)의

시간을 나타내고, a_N은 N번째 피크의 시간을 나타낼 수 있다.

다른 예를 들어, 생체적 특징은 하기와 같은 벡터집합으로 표현될 수 있다. 여기서, 벡터집합에 포함되는 각각의 벡터는 하나의 생체적 특징 발생변화의 순간 및 변화하는 정도에 대응할 수 있다. 예를 들어, 벡터집합 a=(A ₁, A ₂,…, A _M) (여기서 M은 1 이상)으로 심장박동을 표현할 수 있고 첫번째 벡터 A ₁=(a₁₁, a₁₂)에서 a₁₁은 심장박동의 첫번째 피크의 발생순간에 대응할 수 있으며, a₁₂는 첫번째 피크의 심전도 신호강도에 대응할 수 있는 바, a_M1은 심장박동의 M번째 피크의 발생순간에 대응할 수 있으며 a_M2는 M번째 피크의 심전도 신호강도에 대응할 수 있다.

또한, 상술한 예시 외에도, 생체적 특징은 2차원 좌표계 상에서 연속된 신호파형으로 표현될 수 있고, 파형의 변화 추세는 생체적 특징의 강도의 변화 추세에 대응할 수 있다.

그 후 단계(413)에서 생체 인증 장치는 생체특징을 처리함으로써 적어도 두 종류의 생체신호들이 하나의 동일한 생체에서 발생하였는지 여부를 판단한다.

일 실시예에 따르면 생체 인증 장치의 프로세서는, 동일한 생체에서 동시에 수집된 적어도 두 종류의 생체신호들에서 추출된 생체적 특징들의 표현(예를 들어, 벡터 형식의 데이터 등), 및 서로 다른 생체 또는 서로 다른 시간에 수집된 적어도 두 종류의 생체신호들에서 추출된 생체적 특징들의 표현 사이의 차이에 기초하여, 적어도 두 종류의 생체신호들이 하나의 동일한 생체에서 발생하였는지 여부를 판단할 수 있다. 예를 들어, 동일한 생체에서 동시에 수집된 적어도 두 종류의 생체신호들에서 추출된 동일한 종류의 생체적 특징들 사이의 일관도(consistent level), 및 서로 다른 생체 또는 서로 다른 시간에 수집된 적어도 두 종류의 생체신호들에서 추출된 동일한 생체특징 사이의 일관도는 구분이 가능한 차이를 나타낼 수 있다.

예를 들면, 동일한 사람에 대해 서로 다른 시간(예를 들면, 릴렉스 상태의 순간과 긴장상태의 순간)에서 수집된 얼굴 이미지에 기초하여 획득된 심방박동 주파수 사이에는 비교적 큰 차이가 나타날 수 있고, 서로 다른 사람의 얼굴 이미지에 기초하여 획득된 심장박동 주파수 사이에도 비교적 큰 차이가 나타날 수 있다. 그러므로, 생체 인증 장치는 상술한 바와 같이 생체적 특징 간의 차이에 기초하여 적어도 두 종류의 생체신호들이 동일한 생체에서 발생하였는지 여부를 판단할 수 있다. 예를 들어, 차이가 큰 경우에 응답하여, 생체 인증 장치는 수집된 생체신호가 동일한 생체에서 발생된 것이 아니고, 허위로 생성되거나, 모방되거나 또는 복사된 신호인 것으로 판단할 수 있다.

일 실시예에 따르면, 생체 인증 장치가 생체를 인증하거나 식별하기 위하여, 생체 인증 장치는 생체적 특징에 기초하여 사용자에 대한 생체 검측(biological detection)을 수행할 수 있다. 또한, 만약 사용자의 생체에 대하여 센서가 수집한 적어도 두 종류의 생체신호들에 포함된 동일한 종류의 생체적 특징들이 미리 설정된 조건의 일관도를 나타내는 경우, 생체 인증 장치는 사용자가 실제 생체(real living body)인 것으로 인증할 수 있다.

이후, 생체 인증 장치는 추출된 적어도 두 종류의 생체신호들에 포함된 생체적 특징에 대하여 하기와 같은 처리(예를 들어, 형식변환, 특징분석, 유사성분석 등)를 수행할 수 있다.

예를 들면, 생체 인증 장치는 추출된 적어도 두 종류의 생체신호들이 서로 다른 표현 형식을 갖고 있을 때, 추출된 적어도 두 종류의 생체신호들을 동일한 표현 형식을 갖고 있는 신호로 우선적으로 변환(예를 들면, PPG신호에서 추출된 벡터집합 형식으로 표현된 심장박동 및 사람얼굴 이미지에서 추출된 신호파형 형식으로 표현된 심장박동을 모두 1차원 벡터형식으로 표현된 심장박동으로 변환)할 수 있다. 생체 인증 장치는 동일한 형식의 데이터로 변환된 생체적 특징에 기초하여 적어도 두 종류의 생체신호들이 동일한 생체에서 생겼는지 여부를 확인할 수 있다.

다른 예를 들면, 생체 인증 장치는 추출된 생체적 특징들에 대한 특징분석을 수행할 수 있다. 여기서, 생체 인증 장치는 상술한 바와 같이 추출된 적어도 두 종류의 생체신호들이 벡터집합 형식으로 표현될 때, 벡터집합을 행렬로 변환할 수 있고, 행렬의 특징값(feature value) 또는 공분산 행렬(covariance matrix) 등을 계산하여

추출된 생체적 특징들에 대하여 특징분석을 수행할 수 있다.

또 다른 예를 들면, 생체 인증 장치는 추출된 적어도 두 종류의 생체신호 중에 포함된 생체적 특징에 대하여 유사성 또는 차이성 분석을 더 수행할 수 있다. 유사성 또는 차이성 분석에 대한 구체적인 실행 방법은 하기에서 상세히 설명한다.

본 발명의 실시예에 따르면, 생체 인증 장치는 추출된 적어도 두 종류의 생체신호들 중의 생체적 특징에 기초하여, 적어도 두 종류의 생체신호들이 동일한 생체에서 발생하였는지 여부를 판단할 수 있다. 예를 들어, 만약에 추출된 생체적 특징들이 동일한 강도, 주파수 또는 변화 추세를 나타내는 경우, 생체 인증 장치는 상술한 적어도 두 종류의 생체신호들이 동일한 생체에서 발생한 것으로 판단할 수 있다.

일 실시예에 따르면, 생체 인증 장치의 프로세서는 적어도 두 종류의 생체신호들을 수신하고, 적어도 두 종류의 생체신호들의 각각으로부터 동일한 종류의 생체적 특징들을 추출하며, 그 후에 추출된 생체적 특징들을 처리함으로써 이런 생체신호가 동일한 생체에서 생겼는지 여부를 판단할 수 있다. 생체 인증 장치는, 서로 다른 시간에서 복사되거나 서로 다른 생체로부터 복사된 여러 종류 생체특징이 사용될 수 없게 함으로써, 생체특징의 도용 난이도를 현저하게 증가시키고, 인증되거나 식별될 생체가 실제 생체인지 여부에 대해 판단함으로써 신원(identity) 인증의 안전성을 향상시킬 수 있다.

도 12는 본 발명의 제4 실시예에 따른, 생체 인증 장치가 적어도 두 종류의 생체신호들이 동일한 실제 생체에서 생겼는지 여부를 판단하는 예시적 흐름도(420)를 도시한다.

일 실시예에 따르면, 도 12에 도시된 흐름도(420)는 도 11의 단계(413)의 예시적 흐름도를 나타낼 수 있다. 예를 들어, 생체 인증 장치는 추출된 적어도 두 종류의 생체신호들에 포함된 생체적 특징에 대한 유사성 분석 또는 차이성 분석을 통하여 생체 신호가 실제 생체에서 발생하였는지 여부 또는 생체 신호가 동일한 생체에서 발생하였는지 여부 등을 판단할 수 있다.

우선, 단계(421)에서 생체 인증 장치는 생체적 특징의 속성(property)에 기초하여 적어도 두 종류의 생체신호들의 생체적 특징 사이의 일관도(consistent level)를 계산할 수 있다.

일관도는 적어도 두 종류의 생체적 특징들 사이의 일관성(consistency)의 지표(indicator)로서, 다양한 방법에 의해 계산될 수 있다. 예를 들어, 일관도는 유사도 또는 차이도로 나타낼 수 있다. 예를 들어, 추출된 생체적 특징들이 신호파형(signal waveform)의 형식으로 표현될 때, 생체 인증 장치는 생체적 특징의 파형 및 미리 정한 생리적 이벤트(physiological event)가 수집되는 수집시간의 대응관계에 기초하여 일관도를 계산할 수 있다.

여기서, 미리 정한 생리적 이벤트는 생체적 특징의 파형에서 피크(peak) 또는 밸리(valley)에 대응할 수 있다.

생체 인증 장치는 두 종류 생체신호에서 발생하는 생체적 특징의 신호파형에서 피크의 순간 또는 밸리의 순간(time instant)을 각각 검측함으로써, 신호파형과 피크 순간의 수집시간 간의 대응관계 또는 신호파형과 밸리 순간의 수집시간 간의 대응관계를 획득할 수 있다.

예를 들어, 일관도를 차이도로 나타내는 경우, 차이도는 생체적 특징의 파형에서 피크 또는 밸리에 대응하는 수집시간 편차의 분산으로 계산될 수 있다. 다른 예를 들어, 일관도를 유사도로 나타내는 경우, 유사도는 상술한 차이도의 역수(reciprocal)로 계산될 수 있다.

일 실시예에 따르면, 만약에 두 종류 생체신호가 동시에 동일한 생체로부터 수집되면, 피크 순간 또는 밸리 순간에 대응하는 편차는 기본적으로 일정하여 시간의 변화에 따라 변하지 않으며 분산이 비교적 작고, 차이도가 비교적 작으며, 유사도가 비교적 크고, 일관도도 비교적 높게 나타날 수 있다. 만약에 두 종류 생체신호가 서로 다른 시간에 수집되거나 서로 다른 생체에서 수집되면 피크 순간 또는 밸리 순간에 대응하는 편차는 불안정하고 시간의 변화에 따라 격렬하게 변화하며, 분산이 비교적 크고, 차이도가 비교적 크며, 유사도가 비교적 작고, 일관도도 비교적 낮게 나타날 수 있다.

더 나아가, 일관도는 기계학습의 방법을 사용하여 계산될 수 있다. 예를 들면, 생체 인증 장치는 회귀 머신(Returning Machine)을 이용하여 일관도를 계산할 수 있다. 여기서, 회귀 머신은 회귀분석(regression)을 이용하는 기계학습의 학습기로서, 회귀 분석은 주어진 입력으로부터 특정 값을 출력하는 것이고, 해당 학습기에 대하여 지도 학습(supervised learning)에 따라 트레이닝 데이터로부터 유추된 함수가 트레이닝될 수 있다.

생체 인증 장치를 트레이닝시키기 위한 학습 장치는 입력된 생체적 특징 데이터 및 미리 설정된 일관도를 회귀 머신에게 트레이닝시킬 수 있다. 구체적으로, 학습 장치는 인공적으로 발생되거나 수집된 생체적 특징의 데이터 및 인공적으로 설정된 일관도를 샘플집합으로 사용하여 회귀 머신을 트레이닝시킴으로써, 하나의 회귀 머신을 생성할 수 있다.

예를 들어, 학습 장치는 회귀 머신을 트레이닝시킬 때, 동시에 동일한 생체로부터 수집된 생체신호로부터 추출된 생체적 특징들의 데이터에 대하여 비교적 높은 일관도를 설정할 수 있다.

다른 예를 들어, 학습 장치는 서로 다른 시간에 수집되거나 서로 다른 생체의 생체신호로부터 추출된 생체적 특징들에 대하여 비교적 낮은 일관도를 설정할 수 있다.

일 실시예에 따르면, 학습 장치가 회귀 머신을 학습시킨 후, 생체 인증 장치가 서로 다른 생체신호로부터 추출된 생체적 특징들의 벡터 표현 또는 생체적 특징의 신호파형으로부터 고정된 길이의 데이터 포인트를 샘플링할 수 있고, 생체 인증 장치가 샘플링된 데이터 포인트를 회귀 머신에 전달하면, 회귀 머신은 일관도를 출력할 수 있다.

일 실시예에 따르면, 생체 인증 장치는 일관도를 생체적 특징의 시간영역 속성(time domain property), 주파수 영역 속성(frequency domain property) 및 통계 속성(statistical property) 중 적어도 하나에 기초하여 계산할 수 있다.

예를 들어, 시간영역 속성은 생체적 특징에서 미리 정한 생리적 이벤트의 발생순간(예를 들면, 심전도에서 피크 순간, 밸리 순간 등), 변화순간, 지속시간 또는 생체적 특징의 신호파형을 포함할 수 있다. 다른 예를 들어, 주파수영역 속성은 생체적 특징의 신호 주파수 또는 신호 주파수 스펙트럼을 포함할 수 있다. 또 다른 예를 들어, 통계 속성은 시간영역 속성 및 주파수영역 속성 중 적어도 하나의 통계값 등일 수 있다. 다만, 각각의 속성을 상술한 바로 한정하는 것은 아니고, 생체적 특징의 다른 속성도 고려될 수 있으며, 특히 통계 속성은 모든 속성의 통계값으로서 평균, 중간값, 분산, 편차, 및 히스토그램 등을 포함할 수 있다.

그리고, 단계(422)에서 생체 인증 장치는 일관도가 미리 설정된 조건을 만족하는 경우에 응답하여, 적어도 두 종류의 생체신호들이 동일한 실제 생체에서 발생하였는지 여부를 판단할 수 있다.

일 실시예에 따르면, 생체 인증 장치는 일관도에 기초하여 생체신호가 동일한 생체로부터 발생하였는지 여부를 판단할 수 있다. 일반적으로 동일한 순간의 동일한 생체의 생체적 특징들 사이에서는 비교적 일관도가 높게 나타나고, 서로 다른 생체 또는 서로 다른 순간에 수집된 생체적 특징들 사이에서는 비교적 일관도가 낮게 나타날 수 있다. 또한, 상술한 바와 같이, 일관도는 유사도 또는 차이도로서 계산될 수 있다.

또한, 생체 인증 장치는 동일한 시간에 동일한 생체로부터 수집된 적어도 두 종류의 생체신호들로부터 추출된 동일한 종류의 제1 생체적 특징들 사이의 일관도 및 서로 다른 생체에서 또는 서로 다른 시간에 수집된 적어도 두 종류의 생체신호들로부터 추출된 동일한 종류의 제2 생체적 특징들 사이의 일관도 중 적어도 하나에 기초하여, 상기 계산된 일관도가 상기 미리 설정된 조건을 만족하는지 판단할 수 있다.

예를 들어, 동일한 순간, 동일한 생체의 생체적 특징의 일관도에 대한 기준으로서, 임계값(threshold value)이 설정될 수 있다. 만약에 단계(421)에서 계산된 일관도가 미리 설정된 조건을 만족하는 것으로 판단되면(예를 들어, 유사도가 제1 미리 설정 임계값을 초과하거나 차이도가 제2 미리 설정 임계값보다 낮을 때), 생체 인증 장치는 상술한 생체적 특징을 포함한 생체신호가 동일한 생체에서 발생한 것으로 판단할 수 있다. 또한, 생체 인증 장치는 단계(421)에서 계산된 일관도가 미리 설정된 조건을 만족하지 않는 것으로 판단되면, 상술한 생체 특징을 포함한 생체신호가 상이한 생체에서 발생하였거나 상이한 순간에 수집된 것으로 판단할 수 있다. 이와 같이, 복수의 생체신호들 중 하나 이상의 생체신호가 위조 또는 복사된 허위 신호인 경우, 일 실시예에 따른 생체 인증 장치는 이러한 위조 또는 복사된 허위 신호를 사용하여 생체 인증을 통과하는 것을 방지할 수 있다.

일 실시예에 따르면, 임계값은 일정한 수량의 샘플집합을 회귀 머신에 트레이닝시킨 결과에 기초하여 설정될 수있다. 다만, 이로 한정하는 것은 아니고, 임계값은 경험에 기초하여 수동적으로 설정될 수도 있다. 예를 들어, 학습 장치가 샘플집합을 회귀 머신에 트레이닝시킨 결과에 기초하여, 생체 인증 장치가 임계값을 설정하는 과정은 하기에서 상세히 설명한다.

우선 생체 인증 장치는 동일한 생체의 생체적 특징의 일관도 샘플집합 및 서로 다른 생체 또는 서로 다른 시간에 수집된 생체적 특징의 일관도 샘플집합을 선정할 수 있다. 생체 인증 장치는 선정된 샘플집합의 일정한 범위 내에서 여러 개의 일관도를 선정할 수 있다. 생체 인증 장치는 선정된 각각의 일관도에서 동일한 생체의 생체적 특징의 일관도의 분포밀도 또는 분포수량, 및 서로 다른 생체 또는 서로 다른 시간에 수집된 생체적 특징의 일관도의 분포밀도 또는 분포수량을 계산할 수 있다. 생체 인증 장치는 계산된 분포밀도 또는 분포수량에 기초하여 생체의 생체적 특징의 일관도의 분포곡선, 및 서로 다른 생체 또는 서로 다른 시간에 수집된 생체적 특징의 일관도의 분포곡선을 획득할 수 있다. 생체 인증 장치는 두 분포곡선이 서로 교차하면 교차점에 대응되는 일관도를 선택하여, 선택된 일관도를 미리 설정 임계값으로 결정할 수 있다. 또한, 생체 인증 장치는 두 곡선이 교차하지 않으면 동일한 생체의 생체적 특징의 최소 일관도, 및 서로 다른 생체 또는 서로 다른 순간에 수집된 생체적 특징의 최대 일관도 사이의 한 개의 값을 선택하여, 선택된 값을 미리 설정 임계값으로 결정할 수 있다.

도 13은 본 발명의 일 실시예에 따른, 생체 인증 장치가 적어도 두 종류의 생체신호들이 동일한 실제 생체에서 발생하였는지 여부를 판단하는 다른 예시적 흐름도(430)를 도시한다.

일 실시예에 따르면, 도 13에 도시된 흐름도(430)는 도 11의 단계(413)의 다른 예시적 흐름도를 나타낼 수 있다.

먼저, 단계(431)에서 생체 인증 장치는 생체적 특징의 속성에 기초하여 분류기(classifier)를 이용하여 적어도 두 종류의 생체신호들을 분류할 수 있다.

일 실시예에 따르면, 생체 인증 장치의 프로세서는 분류기를 이용하여 적어도 두 종류의 생체신호들을 분류할 수 있다. 분류기는 트레이닝을 위해 획득된 두 유형의 샘플을 사용할 수 있고, 제1 유형의 샘플은 동시에 수집된 동일한 생체의 생체신호로부터 획득된 샘플이고, 제2 유형의 샘플은 서로 다른 시간에 수집된 생체신호들 또는 서로 다른 생체에서 수집된 생체신호들로부터 획득된 샘플일 수 있다. 예를 들어, 샘플의 크기는 트레이닝 시간과 트레이닝 결과의 정밀도에 기초하여 결정될 수 있다. 생체 인증 장치는 분류기에 처리된 생체특징의 속성(예를 들면 정규화된 시간영역 속성, 정규화된 주파수영역 속성 등)을 입력할 수 있다. 예를 들어, 분류기로서 SVM(Support Vector Machine algorithm)이 사용될 수 있다. 일 실시예에 따르면, 분류기의 정밀도를 향상시키기 위하여, 생체 인증 장치는 약한(weak) 분류기의 캐스캐이드(cascade)를 통해 형성된 강한(strong) 분류기를 이용하여 생체신호를 분류할 수 있다.

일 실시예에 따르면 생체적 특징의 속성은 시간영역 속성, 주파수영역 속성, 및 통계 속성 중 적어도 하나를 포함할 수 있다. 시간영역 속성, 주파수영역 속성, 및 통계 속성은 상술한 도 12의 단계(421)에서 설명한 바와 같다.

그리고 단계(432)에서 생체 인증 장치는 분류 결과에 기초하여 적어도 두 종류의 생체신호들이 동일한 생체에서 발생하였는지 여부를 판단할 수 있다.

일 실시예에 따르면, 분류기로부터 출력된 분류 결과가 트레이닝에서 사용된 제1 유형의 샘플과 동일한 유형이면, 생체 인증 장치의 프로세서는 적어도 두 종류의 생체신호들이 동일한 생체에서 발생한 것으로 판단할 수 있다. 분류 결과가 제1 유형의 샘플과 동일한 유형이 아닌 경우, 생체 인증 장치의 프로세서는 적어도 두 종류의 생체신호들이 서로 다른 생체로부터 수집되거나, 서로 다른 시간에서 수집된 것으로 판단할 수 있다.

도 14는 일 실시예에 따른, 생체 인증 방법의 다른 예시적 흐름도(440)를 도시한다.

우선, 단계(441)에서 생체 인증 장치는 적어도 두 종류의 생체신호들을 수신한다.

일 실시예에 따르면, 프로세서는 센서로부터 생체신호를 수신할 수 있다. 이러한 생체신호는 복수의 센서를 이용하여 광학 촬상, 및 신호 검측 등 방법을 통하여 동시에 획득될 수 있다. 다만, 이로 한정하는 것은 아니고 여러 가지 신호 획득 방법을 사용할 수 있는 여러 종류 기능이 통합된 센서를 이용하여 동시에 획득될 수도 있다.

그리고 단계(442)에서 생체 인증 장치는 적어도 두 종류의 생체신호들의 각각으로부터 동일한 종류의 생체적 특징들을 추출한다.

일 실시예에 따르면, 생체 인증 장치는 각각의 생체신호에 대하여 동일한 종류의 생체적 특징들을 각각 추출하고, 생체적 특징과 생체신호의 연관성에 기초하여 생체신호와 생체적 특징의 관계를 분석 및 획득할 수 있다.

예를 들면, 생체신호의 연관성에 대하여, 심장박동 주파수(생체적 특징에 대응함)와 피부 색상(생체신호에 대응함)의 변화는 직접적인 대응관계를 나타낼 수 있다. 생체 인증 장치는 생체신호 및 생체적 특징 간의 대응관계에 기초하여, 생체신호로부터 생체적 특징을 추출할 수 있다. 추출된 생체적 특징들은 여러 종류의 형식으로 표현될 수 있는 바, 예를 들면, 벡터, 벡터집합, 신호파형 등으로 표현될 수 있다.

이어서, 단계(443)에서 생체 인증 장치는 생체적 특징을 처리함으로써 적어도 두 종류의 생체신호들이 동일한 생체에서 발생하였는지 여부를 판단한다.

일 실시예에 따르면, 생체 인증 장치는 생체적 특징을 추출한 후, 상술한 생체적 특징을 처리할 수 있고, 또한 동일한 생체에서 발생하였는지 여부를 판단할 수 있다. 예를 들어, 생체 인증 장치는 생체적 특징에 대한 형식 변환 및 정규화 처리를 수행함으로써, 같은 형식과 표준으로 표현된 데이터를 이용하여 여러 종류의 생체특징의 진위 여부를 판단할 수 있다. 또한, 생체 인증 장치는 생체적 특징에 대한 특징분석과 유사성분석의 결과에 기초하여 생체신호가 동일한 생체에서 발생하였는지 여부를 판단할 수 있다.

도 14에 도시된 단계(441), 단계(442), 및 단계(443)의 실행은 상술한 도 11의 단계(411), 단계(412), 및 단계(413)와 유사하게 실행될 수 있는 바, 설명을 생략한다.

그리고 단계(444)에서 생체 인증 장치는 적어도 두 종류의 생체신호들에 기초하여 생체를 인증하거나 식별한다.

예를 들어, 생체 인증 장치는 적어도 두 종류의 생체신호들이 동일한 생체에서 발생하였는지 여부의 판단결과에 기초하여 생체를 인증하거나 식별할 수 있다.

일 실시예에 따르면, 생체 인증 장치는 상술한 단계(443)에서 판단한 결과에 기초하여 사용자에 대한 인증 또는 식별을 수행할 수 있다. 생체신호는 상술한 생체가 다른 생체와 구별되는 특징정보를 포함할 수 있는 으며, 특징정보는 예를 들어 신원특징정보(identity feature information)를 포함할 수 있다. 예를 들어, 단계(443)에서 생체 인증 장치는 적어도 두 종류의 생체신호들이 동일한 생체에서 발생하였는지 여부를 판단하면서, 생체신호로부터 추출된 신원특징정보에 기초하여 사용자에 대하여 인증 또는 식별을 수행할 수 있다. 예를 들어, 생체 인증 장치는 여러 종류의 생체신호의 각각에 기초하여 인증 또는 식별을 수행할 수 있고, 여러 개의 인증 결과 또는 식별 결과에 기초하여 사용자의 신원을 확정할 수 있다.

도 15는 일 실시예에 따른, 생체 인증 장치가 적어도 두 종류의 생체신호들에 기초하여 인증 또는 식별을 수행하는 예시적 흐름도(450)를 도시한다.

일 실시예에 따르면, 도 15에 도시된 흐름도(450)는 도 14의 단계(444)의 예시적 흐름도를 나타낸다.

먼저, 단계(451)에서 생체 인증 장치는 적어도 두 종류의 생체신호들의 적어도 하나로부터 신원특징정보를 추출한다.

예를 들어, 신원특징정보는 생체와 다른 생체를 구별하기 위해 사용될 수 있는 비교적 큰 식별력(discrimination)를 갖는 정보를 나타낼 수 있다. 일 실시예에 따르면, 일반적인 상황에서, 유일성과 안정성을 나타내는 특징이 신원특징정보로 사용될 수 있다. 예를 들어, 신원특징정보는 사람얼굴 이미지, 지문 이미지, 장문 이미지, 혈관 이미지, 홍채 이미지, 시망막 이미지, 음성신호, 걸음걸이 특징, 싸인 또는 필체특징, 심전도 신호와 뇌전도 신호를 포함할 수 있다. 다만, 신원특징정보를 상술한 바로 한정하는 것은 아니고, 현재 알고 있는 나머지 신원특징정보 또는 미래에 개발될 각종 신원특징정보를 포함할 수 있다. 여기서, 생체 인증 장치는 생체의 신원을 인증 또는 식별하기 위하여 우선적으로 상술한 생체의 신원특징정보를 생체신호로부터 추출할 수 있다.

일 실시예에 따르면, 생체 인증 장치는 다양한 방법으로 신원특징정보를 추출할 수 있다.

생체 인증 장치는 직접 수신한 생체신호를 신원특징정보로 사용할 수 있다. 예를 들어, 사람얼굴 이미지를 신원 인증에 사용될 신원특징정보로서 사용할 수 있다.

또한, 생체 인증 장치는, 생체신호로부터 추출된 특징을 신원특징정보로 사용할 수도 있다. 예를 들어, 생체 인증 장치는 걷고 있는 사람에 대한 연속적 이미지에서 사람이 걷는 자세와 보폭 주파수를 분석함으로써 추출된 걸음걸이 특징을 신원특징정보로 사용할 수 있다.

더 나아가, 생체 인증 장치는 생체신호로부터 추출된 특징에 대해 일정한 시간 동안의 변화 패턴(changing pattern)을 분석하여 양자화(quantize)하여 표현하고, 양자화된 변화 패턴을 신원특징정보로 사용할 수 있다.

예를 들어, 생체 인증 장치는 일정한 시간내의 심전도 신호를 기록하고, 심전도 신호에서 피크의 발생순간의 변화 패턴(예를 들면, 발생간격, 매번 발생시 그전의 피크 값의 차이값)을 양자화하여 신원특징정보로 사용할 수 있다.

일 실시예에 따르면, 여러 종류의 생체신호 중 한 종류 생체신호로부터 추출된 신원특징정보가 인증 또는 식별에 사용될 수 있다. 다른 일 실시예에 따르면, 여러 종류의 생체신호 중 두 종류 이상의 생체신호로부터 추출된 신원특징정보가 인증 또는 식별에 사용될 수 있다. 여기서, 여러 종류의 생체신호로부터 추출된 특징정보는 동일한 유형의 신원특징정보일 수도 있고, 서로 다른 유형의 신원특징정보일 수도 있다.

신원특징정보는 생체의 진위 여부를 판단하기 위해 추출된 생체적 특징들과 같을 수도 있고 다를 수도 있다.

신원특징정보와 생체적 특징이 같은 경우를 가정하면, 생체 인증 장치는 단계(451)를 생략하고, 그전의 도 14의 단계(442)에서 추출된 생체적 특징들을 직접 이용할 수 있다.

그리고, 단계(452)에서 생체 인증 장치는 신원특징정보 및 기등록된 신원특징정보가 매칭하는지 판단할 수 있다.

일 실시예에 따르면, 생체 인증 장치는 추출된 신원특징정보 및 데이터베이스(database) 내에 기 등록된 신원특징정보에 대하여, 두 종류 패턴의 매칭(예를 들어, 인증 및 식별)을 수행할 수 있다. 예를 들어, 인증패턴의 매칭으로서, 생체 인증 장치는 추출된 신원특징정보와 데이터베이스 내에 기등록된 예상 생체의 신원특징정보간의 매칭 여부를 판단할 수 있다. 다른 예를 들어, 식별패턴의 매칭으로서, 생체 인증 장치는 추출된 신원특징정보와 데이터베이스 내에 기등록된 모든 신원특징정보를 순회 조회(traversal search)하여, 추출된 신원특징정보와의 매칭정도가 가장 높은 신원특징정보에 대응되는 생체를 찾을 수 있다.

일 실시예에 따르면, 신원특징정보에 대한 매칭을 수행하기 전, 생체 인증 장치는 추출된 신원특징정보에 대하여 전처리(preprocessing)를 수행할 수 있다. 홍채 식별을 예로 들면, 생체 인증 장치는 우선 수집된 눈 부위 이미지 중 홍채 영역을 추출하여 정규화할 수 있다. 이후, 생체 인증 장치는 정규화된 이미지에 대하여 노이즈 제거 및 강조 처리 등을 수행할 수 있다. 다음으로, 생체 인증 장치는 필터링 등의 방법을 사용하여 홍채의 무늬특징(texture feature)을 추출할 수 있고, 그 후 홍채 데이터베이스의 템플릿 매칭(template matching)을 수행할 수 있다. 다른 예를 들면, 생체 인증 장치는 추출된 홍채 특징 벡터(예를 들어, 홍채 특징의 벡터 표현)와 데이터베이스 내에 저장된 템플릿 벡터 사이의 유사도를 계산하여 템플릿 매칭을 수행할 수 있다. 여기서, 유사도는 예를 들어, 유클리디언 거리(Euclidean distance), 해밍 거리(Hamming distance), 제곱 편차(square deviation), 및 상관계수(correlation coefficient) 등일 수 있다.

이어서 단계(453)에서, 생체 인증 장치는 매칭에 대한 판단결과에 응답하여, 적어도 두 종류의 생체신호들이 동일한 생체에서 발생한 것을 확인하고 생체의 신원을 인증 또는 식별한다.

일 실시예에 따르면, 적어도 두 종류의 생체신호들이 동일한 생체에서 발생한 것이 확인된 경우, 생체 인증 장치는 생체의 신원에 대한 인증 또는 식별의 수행을 허용하고, 더 나아가 상술한 단계(452)의 매칭 결과에 기초하여 생체의 신원을 인증 또는 식별할 수 있다.

예를 들어, 인증패턴의 매칭으로서, 생체 인증 장치는 추출된 신원특징정보와 데이터베이스 내의 대상 생체의 신원특징정보가 서로 일치하는 경우에 응답하여, 추출된 신원특징정보에 대응하는 생체가 대상 생체인 것으로 판단할 수 있다. 또한, 생체 인증 장치는 추출된 신원특징정보와 데이터베이스 내의 대상 생체의 신원특징정보가 서로 일치하지 않는 경우에 응답하여, 추출된 신원특징정보에 대응하는 생체가 대상 생체와 서로 다른 생체인 것으로 판단할 수 있다.

다른 예를 들어, 식별패턴의 매칭으로서, 생체 인증 장치는 데이터베이스 내에서 식별 대상 생체의 신원특징정보와 매칭 정도(matching level)가 가장 높은 신원특징정보에 대응되는 신원(identity)을 식별 대상 생체의 신원으로 식별할 수 있다.

다른 일 실시예에 따르면, 생체 인증 장치는 판단결과에 기초하여, 적어도 두 종류의 생체신호들이 동일한 생체에서 발생하였는지를 확인할 수 있다. 생체 인증 장치는 또한 단계(451)에서 복수의 서로 같거나 다른 유형의 신원특징정보를 추출하여 각각의 신원특징정보에 대하여 상술한 단계(452)를 수행하고 여러 개의 매칭결과에 기초하여 생체의 신원을 인증 또는 식별할 수 있다.

도 14에 도시된 흐름도(440)에서는 도 14에 더하여 적어도 두 종류의 생체신호들에 기초하여 신원인증 또는 식별의 단계(444)를 더 포함하고, 수집된 생체신호가 실제 개체에서 발생하였을 때, 생체 인증 장치는 해당 단계(444)를 통하여 실제 개체의 신원에 대하여 인증과 식별을 수행할 수 있다.

일 실시예에 따른 생체 인증 장치는 허위 생체신호를 판단하고, 생체의 신원을 인증하거나 식별함으로써, 신원인증의 안전성을 강화할 수 있다. 생체 인증 장치는 이러한 신원인증 또는 식별을 수행할 때, 적어도 두 종류의 생체신호들을 동시에 수집할 수 있다. 더 나아가, 생체 인증 장치는 미리 정한 시간 동안 지속되는 신호를 수집함으로써 시간변화에 따른 생체적 특징을 획득할 수 있다.

본 발명의 제4 실시예에 따른, 또 다른 생체 인증 장치의 예를 설명하고자 한다.

본 발명의 제4 실시예에 따른 생체 인증 장치는 적어도 두 종류의 생체신호들을 수신하는 수신부, 상술한 적어도 두 종류의 생체신호들의 각각으로부터 동일한 종류의 생체적 특징들을 추출하는 추출부, 및 생체적 특징을 처리함으로써 적어도 두 종류의 생체신호들이 동일한 생체에서 발생하였는지 여부를 판단하는 판단부를 포함한다.

수신부는 센서로부터 생체신호를 수신할 수 있다. 예를 들어, 이러한 신호는 여러 개의 센서에 의해 광학 촬상, 신호 검측 등 방법을 통하여 획득되거나, 여러 종류 신호 획득 방법을 수행할 수 있는 여러 종류 기능이 통합된 센서에 의해 동시에 획득될 수 있다.

추출부는 생체신호의 각 종류에 대하여 동일한 종류의 생체적 특징들을 각각 추출할 수 있다. 예를 들어, 생체적 특징과 생체신호는 연관성(예를 들면, 심장박동 주파수와 피부 색상의 변화는 직접적인 대응관계를 나타냄)을 나타내므로, 추출부는 이런 연관성에 기초하여 생체신호와 생체적 특징의 관계를 분석하여 생체적 특징을 획득할 수 있다. 추출부는 생체신호와 생체적 특징의 대응관계에 기초하여 생체신호로부터 생체적 특징을 추출할 수 있다.

추출된 생체적 특징들은 여러 종류 형식으로 표현될 수 있다. 생체적 특징은 예를 들면, 벡터, 벡터집합, 신호 파형 등의 형식으로 표현될 수 있다.

판단부는 상술한 생체적 특징에 대한 처리를 수행하고, 적어도 두 종류의 생체신호들이 동일한 생체에서 발생하였는지 여부를 판단할 수 있다. 판단부는 생체적 특징에 대한 형식변환과 정규화 처리를 수행함으로써, 같은 형식과 표준으로 된 데이터에 기초하여 여러 종류의 생체특징의 진위 여부를 판단할 수 있다. 판단부는 생체적 특징에 대한 특징분석과 유사성분석으로도 생체신호가 동일한 생체에서 발생하였는지 여부를 판단할 수 있다.

또한, 판단부는 동일한 생체에서 동시에 수집된 적어도 두 종류의 생체신호들에서 추출된 동일한 종류의 생체적 특징들의 표현(예를 들어, 벡터 형식의 데이터) 사이의 일관도와 서로 다른 생체 또는 서로 다른 시간에 수집된 적어도 두 종류의 생체신호들에서 추출된 동일한 종류의 생체적 특징들의 표현 사이의 일관도는 구분이 가능한 차이를 가지는 점에 기초하여, 판단 동작을 수행할 수 있다.

예를 들어, 판단부는 생체적 특징의 파형과 미리 정한 생리적 이벤트의 수집시간 간의 대응관계에 기초하여 일관도를 계산할 수 있다. 여기서, 상술한 미리 정한 생리적 이벤트는 생체적 특징의 파형에서 피크(peak) 또는 밸리(valley)에 대응할 수 있다. 또한 일관도는 차이도 또는 유사도로 나타낼 수 있고, 차이도는 생체적 특징의 파형에서 피크 또는 밸리에 대응하는 수집시간 편차의 분산으로 계산되고, 유사도는 차이도의 역수로 계산될 수 있다.

다른 예를 들어, 판단부는 회귀 머신을 이용하여 일관도를 계산할 수 있다. 학습 장치는 입력된 생체적 특징 데이터 및 미리 설정된 일관도를 상술한 회귀 머신에 트레이닝시킬 수 있다. 여기서, 판단부는 생체적 특징의 속성에 기초하여 분류기를 이용하여 적어도 두 종류의 생체신호들을 분류할 수 있다. 분류기는 트레이닝을 위해 획득된 두 유형의 샘플을 사용할 수 있다. 제1 유형의 샘플은 동시에 수집된 동일한 생체의 생체 신호로부터 획득된 샘플이고, 제2 유형의 샘플은 서로 다른 시간에 수집된 생체신호들 또는 서로 다른 생체에서 수집된 생체신호들로부터 획득된 샘플일 수 있다. 판단부는 분류 결과에 기초하여 적어도 두 종류의 생체

신호들이 동일한 생체에서 발생하였는지 여부를 판단할 수 있다.

또한, 본 발명의 제4 실시예에 따른 생체 인증 장치는 인증/식별부를 더 포함할 수 있다. 인증/식별부는 적어도 두 종류의 생체신호들에 기초하여 신원을 인증하거나 식별할 수 있다. 인증/식별부는 적어도 두 종류의 생체신호들이 동일한 생체에서 발생하였는지 여부의 판단결과에 기초하여, 신원을 인증하거나 식별할 수 있다. 예를 들어, 인증/식별부는 적어도 두 종류의 생체신호들에서 추출된 신원특징정보와 기등록한 신원특징정보가 매칭하는지 판단할 수 있다. 인증/식별부는 매칭에 대한 판단결과에 응답하여 적어도 두 종류의 생체신호들이 동일한 생체에서 발생한 것을 확인하고 생체의 신원을 인증하거나 식별할 수 있다.

상술한 생체 인증 장치의 수신부, 추출부, 판단부, 및 인증/식별부는 소프트웨어, 하드웨어, 또는 소프트웨어와 하드웨어의 결합을 통해 구현될 수 있다. 수신부, 추출부, 판단부, 및 인증/식별부는 프로세서에 설치될 수 있는 바, 예를 들면, 프로세서가 수신부, 추출부, 판단부, 및 인증/식별부 등을 포함할 수 있다. 또한, 각 부(unit)의 명칭은 상술한 바로 한정되지 아니하는 데, 예를 들면, 수신부는 "적어도 두 종류의 생체신호들을 수신하는 부"로 설명이 될 수 있다.

일 실시예에 따른 생체 인증 방법은 여러 종류의 복합적인 생체특징의 신원인증 시스템에 사용될 수 있는 바,

또 다른 일 실시 형태에 따른, 생체 인증 장치는 센서 및 프로세서를 포함한다.

센서는 적어도 두 종류의 생체신호들을 동시에 수집할 수 있다.

프로세서는 센서로부터 적어도 두 종류의 생체신호들을 수신하고, 적어도 두 종류의 생체신호들의 각각으로부터 동일한 종류의 생체적 특징들을 추출하며, 생체적 특징을 처리하여 적어도 두 종류의 생체신호들이 동일한 생체에서 발생하였는지 여부를 판단할 수 있다.

또한, 상기 생체 인증 장치는 신호전환회로를 더 포함할 수 있다. 일 실시예에 따르면, 센서는 미리 정한 시간 동안 생체신호의 수집을 지속할 수 있고, 시간변화에 따른 연속적인 생체신호 또는 여러 개의 시간상에 연관성이 있는 생체특징의 분산 데이터 포인트를 획득할 수 있다. 신호전환회로는 수집된 생체신호를 프로세서에서 처리 가능한 형식의 데이터로 변환하여 프로세서로 전송할 수 있다. 예를 들어, 신호전환회로는 연속적인 아날로그 신호를 디지털 신호로 변환하고, 신호 내의 노이즈를 처리하거나, 신호의 강도, 분포, 및 변화 등을 처리할 수 있다.

더 나아가, 상기 생체 인증 장치는 메모리를 더 포함할 수 있다. 메모리는 생체신호에 대한 처리 과정에서 사용되는 명령(instruction), 파라미터, 및 데이터 등을 저장하거나, 생체 인증 장치가 운용되면서 획득된 데이터와 결과를 기록할 수 있다.

아울러, 생체 인증 장치는 출력장치를 더 포함할 수 있다. 출력장치는 프로세서에서 처리하여 획득된 결과를 출력할 수 있다. 출력장치는 예를 들면, 사용설명을 디스플레이하거나, 신호의 진위 여부를 디스플레이하거나, 신원 인증 또는 식별 결과를 디스플레이하거나, 기타 장비를 조작하거나, 소프트웨어 등을 구동시킬 수 있다.

상술한 생체 인증 장치는 신원의 인증 또는 식별이 필요한 각종 장비에 적용될 수 있다. 예를 들어, 생체 인증 장치는 사용자가 생체가 맞는지 여부를 판단할 수 있고, 복수의 등록자 중 하나의 생체를 식별하는 데도 사용될 수 있다.

이하에서는 본 발명의 제4 실시예에 따른 생체 인증 장치의 다양한 예를 설명하고자 한다.

본 발명의 제4 실시예에 따른, 또 다른 생체 인증 장치의 예로, 심전도 신호와 PPG신호에 기초하여 신원 인증 기능을 갖는 임의의 스마트 손목시계를 들 수 있다.

스마트 손목시계의 정면과 반대면에 심전계(ECG, Electro Cardio Graphy)의 전극이 센서로서 각각 설치되어 있고, 전극은 심전도 신호를 수집하는데 사용될 수 있다. PPG센서는 PPG신호를 수집할 수 있다. 프로세서는 수집된 심전도 신호와 PPG신호를 수신할 수 있고, 수신된 심전도 신호 및 PPG 신호로부터 심장박동 또는 호흡특징을 추출할 수 있으며, 심장박동 또는 호흡특징을 분석하고, 추출된 심장박동 또는 호흡특징의 일관도에 기초하여 동일한 시간에 동일한 사용자로부터 심전도 신호 및 PPG신호가 수집되었는지 여부를 판단하며, 사용자의 신원에 대하여 검증할 수도 있다. 스크린은 프로세서에 의한 판단과 검증의 결과를 디스플레이할 수 있다.

본 발명의 제4 실시예에 따른, 또 다른 생체 인증 장치의 예로, 사람얼굴 이미지와 심전도 신호에 기초하여 신원 인증 기능을 갖는 스마트폰을 도시한다.

상기 스마트폰의 스크린은 수집된 신호와 처리결과를 디스플레이할 수 있고, 스마트폰의 카메라는 사람얼굴 이미지를 수집할 수 있다. ECG전극은 심전도 신호를 수집할 수 있다. 스마트폰의 프로세서는 수집된 사람얼굴 이미지와 심전도 신호를 수신할 수 있고, 그로부터 심장박동 특징을 추출하며, 추출된 심장박동 특징을 처리하고, 처리 후의 심장박동 특징에 기초하여 사용자의 신원에 대한 진위 여부를 판단하거나 검증할 수 있다.

이러한 기능과 구성은, 사람얼굴 이미지, 심전도 신호와 인장력 센서에 기초하여 신원 인증 기능을 갖는 자동차에 포함될 수 있다.

자동차의 백미러에 장착된 카메라는 사람얼굴 이미지를 수집할 수 있다. 핸들(handle)에 장착된 ECG전극은 심전도 신호를 수집할 수 있다. 인장력 센서는 자동차의 안전벨트에 장착될 수 있고, 인장력 신호를 수집할 수 있다. 프로세서는 수집된 생체신호를 수신할 수 있고, 각각의 신호로부터 심장박동 또는 호흡특징을 각각 추출하며, 추출된 심장박동 또는 호흡특징을 처리하고, 처리된 심장박동 또는 호흡특징의 일관도에 기초하여 생체신호가 동일한 생체에서 발생하였는지 여부를 판단할 수 있다.

또한 사람얼굴 이미지와 지문 이미지 등에 기초하여 신원 인증 기능을 가지는 출입문의 잠금장치 시스템에 적용되는 것도 가능하다. 문 윗측의 카메라는 사람얼굴 이미지를 수집할 수 있다. 잠금장치에 센서가 설치되어 있으며, 상기 센서는 지문 이미지, 정맥 이미지, 및 장문 이미지 등을 수집할 수 있다.

사람얼굴 이미지와 심장박동 센서에 기초한 신원 인증 기능을 가지는 스마트폰에 적용되는 것도 가능한데, 스마트폰의 전면부에 설치된 카메라는 사람얼굴 이미지를 수집할 수 있다. 이어폰에 맥박센서가 설치될 수 있다. 예를 들어, 사용자가 신원인증을 수행할 때, 프로세서는 카메라의 이미지 센서로부터 수집된 사람얼굴 이미지를 수신할 수 있고, 그로부터 심장박동 특징을 추출하며, 이어폰에 설치된 맥박센서는 심장박동 특징을 수집하고, 프로세서는 두 개의 심장박동 특징(예를 들어, 사람얼굴 이미지로부터 추출된 심장박동 특징 및 맥박센서에 의해 수집된 심장박동 특징)을 분석하여, 인증 대상이 되는 생체의 진위 여부를 판단할 수 있다. 스마트폰의 스크린은 수집된 이미지 및 맥박신호를 디스플레이할 수 있다.

필요에 따라, 심전도 신호와 뇌파신호에 기초하여 신원 인증 기능을 가지는 전자팔찌 및 이어폰을 포함하는 시스템에 적용되는 것도 가능하다.

사용자가 신원 인증을 수행할 때, 팔찌에 설치된 ECG 센서는 심전도 신호를 수집하고, 이어폰에 설치된 EEG 센서는 뇌파신호를 수집할 수 있다. 사용자가 신원 인증을 수행할 때, 프로세서는 심전도 신호와 뇌파신호를 수신할 수 있고, 심전도 신호와 뇌파신호의 각각으로부터 심장박동 특징을 추출하며, 무선통신을 통하여 추출된 심장박동특징을 동일한 장비에 전송(예를 들어, 이어폰 또는 전자팔찌 중 어느 하나로 데이터를 취합)하고, 추출된 심장박동이 동일한 생체에서 발생하였는지 여부를 판단하며, 더 나아가 대상 생체에 대하여 신원을 검증하거나 식별할 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소

프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

[ 실시예 5] 심전도 및 지문을 이용한 생체 인식(1)

도 16은 본 발명 제5 실시예에 따른 생체인식 시스템을 나타내는 블럭도이다.

상기 생체인식 시스템은 사용자의 심전도 신호를 측정하는 생체신호 측정부(5100), 측정된 심전도 신호를 처리하는 생체신호 처리부(5110) 및 심전도 신호에 근거하여 사용자를 인식하는 생체인식부(5120)를 포함하고, 생체신호 처리부(5100)는 생체신호 입력부(5200), 노이즈 필터링부(5210), QRS파형 추출필터링부(5221), R파형 추출부(5222) 및 파형 표준화부(5223)를 포함하는 파형 추출부(5220)를 포함하여 구성된다.

또한, 본 발명의 제5 실시예에 따른 생체신호 처리부(5110)는 측정된 심전도 신호에서 19개의 파형 특징을 추출하는 특징 추출부(5230)를 더 포함하여 구성될 수 있다.

생체신호 측정부(5100)에서는 사용자의 심전도 리드Ⅰ 파형을 측정하여 생체신호 입력부(5200)에 전송한다. 심전도 리드Ⅰ 파형은 사용자의 양손을 통해 측정되기 때문에, 사용자의 양손에 각각 부착 또는 접촉될 수 있도록, 다양한 종류의 전극들을 포함하여 구성될 수 있다.

생체신호 측정부(5100)에서 측정된 심전도 신호의 심전도 리드Ⅰ 파형은 생체신호 입력부(5200)에 입력되고, 생체신호 입력부(5200)에 입력된 심전도 리드Ⅰ 파형은 노이즈 필터링부(5210)를 통해 근전도 및 호흡잡음, 전력선 잡음 등의 노이즈(잡음)가 제거된다. 본 발명 실시예 5의 심전도 리드Ⅰ 파형을 이용한 생체인식 알고리즘의 잡음제거를 위한 노이즈 필터링부(5210)는 예를 들면, FIR Bandpass filter를 이용하여 잡음을 제거할 수 있다.

도 17(a)는 원 심전도 리드Ⅰ 파형을 나타내고 P, T 파형을 제거하기 위한 전처리 과정으로 QRS파형 추출필터링부(5221)를 적용하면, 도 17(b)과 같이 심전도 리드Ⅰ 파형의 Q, R, S파형만 남고 나머지 P파형 및 T파형은 모두 사라지는 것을 볼 수 있다. 이렇게 Q, R, S파형만 남은 파형은 파형 추출부(5220)를 통해 간단하게 문턱값

(Thershold)만 정의해서 Q, R, S파형을 추출할 수 있다.

Q, R, S파형 추출을 위한 문턱값 정의는 하기의 식 (3)과 같이 정의할 수 있다. 문턱값은 도 18에 나타낸 바와 같이 최대 정점(리드Ⅰ 파형의 R파형)을 찾고, 그 값을 기준으로 심전도 신호(원신호)에서 R파형의 정점을 찾은 후 원신호 파형을 한 파형씩 추출한다.

식 (3)

TC는 Threshold coefficient(문턱값 계수)이고, Peakmax는 R파형의 정점이다. 예를 들면, TC는 생체신호 측정 하드웨어의 특성에 따라 달라질 수 있는 것으로, 본 실시예에서는 0.6으로 하는 것이 바람직하다.

심전도 리드Ⅰ 파형의 문턱값 정의는 최적화된 필터조합을 이용하여 파형 추출필터링을 하여 일반적으로 정의되는 심전도의 P파형과 T파형이 모두 제거되기 때문에 간단한 문턱값 정의로도 쉽게 파형을 추출할 수 있다.

R파형 추출부(5222)는 심전도 리드Ⅰ 파형의 정점(R 파형)이 추출되면 그에 해당하는 R(리드Ⅰ)파형의 위치를 저장하고, 필터를 거치면서 파형의 왜곡이 일어나 실제 원신호의 R(리드Ⅰ)파 값이 이동되는 경우가 발생하기 때문에 원 심전도 신호에서 다시 R(리드Ⅰ)파를 찾는다.

따라서 저장된 R(리드Ⅰ)파의 위치를 기준으로 원신호에서 ±10샘플을 검사하여 추출된 R(리드Ⅰ)파형 값이 실제 정점인지 확인을 한다.

파형 표준화부(5223)에서는 파형의 특징추출을 용이하게 하고 각각의 파형들을 일정한 구간으로 표준화(Normalization)하여 동일한 파형과 서로 다른 파형들 간의 특징을 확실히 표현한다.

표준화 구간은 0과 1 사이로 진행하였으며, 표준화를 하고 사용자들의 파형을 매칭시켜 보면 그 특징값들의 차이를 쉽게 찾을 수 있을 뿐만 아니라, 추후 파형분류 알고리즘(신경회로망)에 특징값들을 입력할 때 별도의 전처리 작업 없이 바로 입력이 가능하다는 장점이 있다.

본 실시예 5에서는, 입력 파라메타는 특징 추출을 거치지 않고 파형의 진폭(amplitude) 값을 그대로 입력으로 넣는 방법과, 특징 추출을 하는 방법 2가지 모두를 사용할 수 있다. 특징 추출을 거치지 않고 파형의 진폭값을 그대로 입력하는 방법은, 특징 추출 없이 200~250개의 진폭값을 그대로 넣는 것으로, 입력값의 범위는 샘플링 레이트(sampling rate)에 따라 조금씩 다르지만 360Hz의 샘플링 레이트에서 200~250개의 진폭값을 신경회로망의 입력으로 넣어 줄 수 있다. 또한, 도 20은 특징을 추출하는 방법을 나타내는 것으로, 이 경우 19개의 특징점들을 나타낼 수 있다.

특징 추출부(5230)는 파형 검출부(5220)로부터의 파형 정보에 대해 심전도 리드Ⅰ 파형의 특징정보를 추출할 수 있다. 도 19에 나타낸 바와 같이, 심전도 리드Ⅰ 파형은 도 19a의 S파가 최소점이 되는 파형과 도 19b와 같이 S파형이 최소점이 아닌 다른 파형들이 최소점이 되는 심전도 파형으로 구분할 수 있다.

이러한 두 가지 파형을 기준으로 특징값들을 정의하였으며, 이 두가지 파형을 구분하는 방법으로 기저선(Baseline)선을 이용하였고, 그 값이 0.3 이상이면 도 19a와 같은 파형으로, 그 이하면 도 19b의 파형으로 구별하였다.

이를 기반으로 본 발명에서는 도 20에 나타낸 바와 같이 총 19가지의 특징을 선정하여 심전도 리드Ⅰ 파형을 이용한 생체인식 시스템의 특징 파라미터로 정의하였다.

심전도 신호를 이용하여 사용자를 인식하는 생체 인식부(5120)는 특징 추출부(5230)로부터 추출된 특징정보에 미리 설정된 입력 파라메타를 적용하여 측정된 심전도 리드Ⅰ 파형에 대응하는 사용자를 인식할 수 있다.

도 21은 본 발명의 실시예 5에 따른 생체인식 시스템을 이용한 생체인식 방법을 나타내는 흐름도이다. 생체신호 측정부(5100)에서 사용자의 심전도 신호로서 사용자의 심전도 리드Ⅰ 파형을 측정하여 생체신호 입력부(5200)에 입력된다(S5101). 이때, 심전도 리드Ⅰ 파형은 사용자의 양손을 통해 측정된다.

생체신호 입력부(5200)에 입력된 심전도 리드Ⅰ 파형은 노이즈 필터링부(5210)를 통해 근전도 및 호흡잡음, 전력선 잡음 등의 노이즈가 제거되고(S5102), QRS파형 추출필터링부(5221)에서 P파형 및 T파형을 제거하도록 필터링을 수행하고(S5103), 문턱값(Thershold)을 설정함으로써(S5104), 파형 추출부(5220)에서 Q, R, S파형을 추출한다(S5104). 파형 추출을 위한 문턱값 정의는 상술한 식 (3)을 통해 알 수 있다.

R파형 추출부(5222)는 심전도 리드Ⅰ 파형의 정점(R 파형) 추출하여(S5106) 그에 해당하는 R파형의 위치를 저장하고, 노이즈 필터링부(5210)를 거치면서 파형의 왜곡이 일어나 실제 원신호의 R파 값이 이동되는 경우가 발생하기 때문에, 원 심전도 신호에서 다시 R파를 찾아 추출된 R파형 값이 실제 정점인지 확인을 한다.

이후, 파형 표준화부(5223)에서 파형의 특징추출을 용이하게 하고 각각의 파형들을 일정한 구간으로 표준화(Normalization)하여(S5107), 동일한 파형과 서로 다른 파형들 간의 특징을 표현하고, 특징 추출부(5230)에서 특징 정보를 추출하면(S5108), 생체 인식부(5120)에서는 특징 정보에 미리 설정된 입력 파라메타를 적용하여 측정된 심전도 리드Ⅰ 파형에 대응하는 사용자를 인식한다(S5109).

본 발명에 따른 파형 추출 알고리즘의 검증을 위해 1차 30명, 2차 30명 총 60명을 대상으로 심전도 데이터를 수집하였으며, 알고리즘의 성능분석을 위하여 Accuracy(ACC)와 Sensitivity(SN) 그리고 Specificity(SP), Positive predictive accuracy(PPA), Negative predictive accuracy(NPA)의 총 5가지의 성능지표를 이용하였다.

각각의 계산식은 식 (4)와 같다. 다음과 같은 방법으로 본 발명에서는 성능평가를 실시했으며, 평가는 우선 심전도 리드Ⅲ 파형과 리드Ⅰ 파형의 파형추출 성능과 심전도 리드Ⅲ 파형을 이용한 생체인식 인식률, 그리고 리드Ⅰ 파형을 이용한 심전도 생체인식 인식률의 순서로 기술하였다.

식 (4)

여기서, TP, FN, FP, TN은 각각 true positive, false negative, false positive, true negative를 의미한다.

TP는 사용자를 정상적으로 생체인식이 된 경우, 혹은 실제 파형을 정상적으로 추출한 경우이며, FN은 사용자가 아닌데 사용자로 실제 사용자로 잘못 인식된 경우, 혹은 실제 파형이 아님에도 파형으로 추출했을 경우이다.

또한, FP는 사용자인데 사용자가 아닌 것으로 인식될 경우, 혹은 파형를 추출하지 못했을 경우이며, 마지막으로 TN은 실제 사용자가 아닌데 사용자가 아닌 것으로 인식이 될 경우다. 파형 추출성능을 실험할 경우는 TN을 고려하지 않는다. 왜냐하면 실제 파형이 아닌 점을 찾기가 불가능하며, 무수히 많은 심전도 파형의 특정한 점을 파형이 아닌 곳으로 정의하기 힘들기 때문이다. 통상적으로 파형추출 알고리즘을 검증할 때 TP, FN, FP 만을 고려한다.

심전도 리드Ⅰ 파형 검출은 각각의 파형 위치를 도 22의 (a)와 같이 표시되도록 출력한다. 그 후 도 22의 (a)와 같이 파형 한 개씩 검사를 해서 심전도 리드Ⅰ 파형의 위치를 확인하였다. 도 22의 (b)는 심전도 리드Ⅰ 파형을 필터링한 후 심전도 리드Ⅰ의 R파형을 추출하기 위해 전처리한 파형이고, (c)는 심전도 리드Ⅰ 파형을 필터링 한 후의 파형이다.

상기와 같은 파형검출을 통하여 전체 58,242개의 2차 30명분의 데이터를 기반으로 파형검출 성능을 실험한 결과, 99.98%의 민감도와 99.97%의 파형검출 정확도를 나타냈다. 파형검출이 상대적으로 낮았던 일부 사용자들은 운동직후와 측정하면서 사용자가 움직임이면서 파형이 측정 범위를 벗어나 파형이 포화(Saturation)된 상태였으며, 그 포화된 파형이 필터링을 거치면서 왜곡된 파형으로 변형되면서 R파형의 위치가 흔들린 경우였다.

추출된 특징값들, 즉 생체인식을 위한 심전도 파형의 분류를 위해 본 실시예에서는 3층의 다층 퍼셉트론(perceptron)구조를 신경회로망을 이용하였다. 다층 퍼셉트론 신경회로망의 학습 알고리즘으로써 오류 역전파 알고리즘을 사용하였으며, 다층 퍼셉트론은 입력층(input layer)과 출력층(output layer) 사이에 하나 이상의 계층을 갖는 신경 회로망을 말한다.

3층의 다층 퍼셉트론은 도 23과 같이 입력층과 출력층 사이에 하나의 은닉층(hidden layer)을 갖으며, 입력층, 은닉층, 출력층 순으로 차례대로 계산하는 것을 전방향이라 하고, 반대로 오차를 계산하기 위해 출력층, 은닉층, 입력층 순의 역으로 계산하는 것을 역방향이라 한다. 이 역방향으로 인해 오류 역전파 알고리즘이라 불린다.

신경망의 학습 알고리즘으로써 사용한 오류 역전파 알고리즘(error back propagation algorithm)은 일반화된 LMS(Least Mean Square) 알고리즘이다. 이 알고리즘은 원하는 출력값과 실제 출력값과의 차이의 제곱을 가장 최소화하고자 경사 하강 방법을 적용한 알고리즘이다. 이 알고리즘은 입력 노드와 관련 없는 클래스의 모든 노드의 원하는 출력값은 점점 낮아지고 반대인 경우는 높아지게 되고, 학습 과정은 다음과 같다.

1 단계: 모든 노드에 대한 가중치와 임계값을 임의의 작은 수로 초기화한다.

2 단계: 모든 훈련 데이터를 반복적으로 입력한다. 연속적인 입력 벡터 x₀, x₁, ......., x_{n -1}과 차례로 대응되는 원하는 출력값 d₀, d₁,......, d_{m -1}을 입력한다. 만약 패턴분류에만 사용할 경우 입력과 관련된 해당 클래스의 원하는 출력값만을 1로 하고 이를 제외한 모든 출력층의 원하는 출력값을 모두 0으로 한다. 이때 가중치가 불변할 때까지 계속적으로 반복한다.

3 단계: 다음의 시그모이드 활성화 함수를 이용하여 실제 출력값 y₀, y₁,......, y_{m -1}을 차례대로 구한다.

4 단계: 출력층 노드의 값에서 시작해서 거꾸로 첫 번째 은닉층으로 전달하는 반복 알고리즘을 이용하여 가중치를 조절한다.

w_ij(t+1) = w_ij(t)+ηδ_jx_i'

w_ij(t)는 은닉층 노드 i 또는 입력 노드 i로부터의 시간 t에서의 노드 j로의 가중치이며 x_i'는 노드 i의 출력값 또는 입력값을 의미하며 η는 이득률(gain term)을 나타내고, δ_j는 노드 j에 대한 오류(error term)를 나타낸다. 만약 노드 j가 출력 노드이며 d_i가 노드 j의 원하는 출력값이고 y_j가 실제 출력값이라면 δ_j는 다음과 같다.

δ_j = y_j(1-y_j)(d_j-y_j)

만약 노드 j가 은닉층이며 k가 노드 j위에 있는 층의 모든 노드를 나타낸다면 δ_j는 다음과 같다.

이때 모멘텀 변수(momentum term) a가 추가되면 모델의 수렴속도는 더 빨라지며 가중치 변화는 더 완만해진다.

이 과정은 가중치가 거의 변화하지 않을 때까지 즉, δj가 거의 0에 접근할 때까지 반복한다.

5 단계: 2 단계로 이동함으로써 반복한다.

본 발명의 제5 실시예에 따른 오류 역전파 알고리즘의 흐름은 도 24에 나타내었다. 먼저 입력층, 은닉층, 출력층 사이의 모든 연결강도와 오프셋을 초기화하고(S5201), 학습 패턴을 설정한다(S5202). 학습 패턴이 설정되면, 학습 패턴을 이용하여 은닉층 노드와 출력층 노드를 차례대로 계산한다(S5203 및 S5204). 여기까지 전방향에 해당한다.

그리고 출력층 노드와 은닉층 노드의 오차 계산을 하고(S5205 및 S5206), 은닉층과 출력층 사이, 입력층과 은닉층 사이의 연결강도 및 오프셋을 변경한다(S5207 및 S5208). 연결강도 및 오프셋 변경이 완료되면(S5209), 하나의 학습패턴에 대한 학습이 종료되고(S5210), 학습 패턴을 증가시켜(S5211) 다음 학습 패턴의 학습을 같은 방법으로 진행한다. 모든 학습 패턴에 대해서 정해준 학습 반복 횟수만큼 학습이 이루어졌거나 학습 반복 횟수를 채우지 못하더라도 목표 출력 값과 실제 출력 값 사이의 오차가 정해준 값 이하로 떨어졌다고 판단되면(S5212), 알고리즘은 종료된다.

심전도 생체인식 인식률을 검증하기 위해 본 발명에서는 상기와 같은 오류 역전파 알고리즘(error back propagation algorithm)을 이용하였다. 측정된 데이터는 정적인 상태에서 측정된 데이터의 70%를 학습데이터로 사용하였고, 나머지 30%를 테스트 데이터로 활용하였다. 카페인 복용 후, 흡연 후, 음주 후, 운동 후에 측정된 데이터는 모두 테스트 데이터로 실험하였다. 그 이유는 심전도 생체인식의 경우 정적인 상태의 심전도 파형이 기준이 되기 때문이며, 정적인 상태에서의 심전도 데이터를 기준으로 흡연이나 음주, 운동, 카페인 복용 후에도 생체인식이 원활히 이루어져야 하기 때문이다.

심전도 리드Ⅰ 파형의 심전도 생체인식 인식률 검증에서 5~10개 파형을 대표 파형으로 구성한 후 대표 파형을 이용하여 특징추출을 진행하였다. 신경회로망의 학습데이터는 총 60명의 사용자를 대상으로 50명의 정적인 상태에서 측정된 데이터 70%를 학습 데이터로 사용하고, 나머지 30%와 다양한 환경에서 측정된 심전도 데이터를 모두를 테스트 데이터로 사용하였다. 또한 10명의 데이터를 학습데이터에서 제외하여 FN과 TN을 확인하는 데이터로 활용하였다. 그 결과 정적인 상태에서 심전도 생체인식의 성능은 Specificity(SP) 90.49%, Sensitivity(SN) 96.92%, Positive predictive accuracy(PPA) 96.44%, Negative predictive accuracy(NPA) 91.7%, Accuracy(ACC) 95.16%의 특성을 보였다. 카페인 복용 후와 음주 후에 진행된 심전도 측정에서 일부 사용자에게서 심장박동이 빨라지는 현상과 근잡음과 호흡잡음이 증가하는 문제가 있었으나 단채널 심전도 측정 회로와 달리 멀티채널 심전도 측정회로에서는 하드웨어 필터 모듈을 강화하여 잡음상황에 따른 인식률 저하를 조금 낮출 수 있었다. 그러나 여전히 운동 직후에 발생되는 심한 심장박동과 거친 호흡으로부터 발생되는 호흡잡음은 운동후 인식률에 영향을 주었다. 또한 운동 직후 알고리즘적인 문제로 파형 추출범위에 따른 인식률 저하를 들 수 있다.

예를 들면, 도 25에 나타낸 바와 같이, 동일한 시간에 측정된 심전도 파형으로 (a)는 정적인 상태에서 측정된 심전도 그래프, (b)는 운동 직후 측정된 심전도 그래프이다. 그러나 운동 직후의 경우, (a)의 ①과 같이 정적인 상태에서 심전도 리드Ⅰ 파형의 R파 기준으로 앞으로 79 샘플, 뒤로 140 샘플의 파형을 추출하게 되는데, 운동 직후 심장박동이 증가하면서 (b)의 ①번처럼 앞의 T파형과 그 다음으로 측정되는 P파형이 동시에 추출되면서 추출 파형의 변형이 생겨 심전도 생체인식의 인식률에 영향을 주었다. 이를 해결하기 위해 파형 추출간격을 조절할 경우 심전도 파형이 긴 사용자의 파형이 온전히 추출되지 않는 현상이 발생되어 최대한 인식률이 높은 최적화된 파형추출 범위를 선정하여 실험하였다.

전체적으로 심전도 생체인식의 성능평가에서 정적인 상태의 데이터의 양이 많아졌음에도 불구하고 인식률은 약 2%정도의 차이밖에 없었으며, 전체적으로 90.54%의 인식률을 보였다.

이러한 본 발명의 제5 실시예의 다양한 응용분야를 생각할 수 있는데, 예를 들면, 메모리 시트 및 운전자 모니터링을 위한 자동차의 응용분야 혹은 가정에서의 건강 모니터링을 위한 리모콘의 응용분야를 들 수 있는데, 특히 심전도 리드Ⅰ 파형은 사용자의 양손을 통해 측정되도록 측정 전극을 구성할 수 있다.

생체인식 시스템을 자동차에 적용하는 경우, 제1전극은 사용자의 왼손과 접촉되는 핸들의 우측부분에, 제2전극은 사용자의 오른손과 접촉되는 왼측부분에 장착되고, 오른손과 접촉되는 변속기에도 제2전극을 장착한다. 따라서, 자동차 내에서 사용자의 심전도 리드Ⅰ 파형을 측정하여 사용자를 인식할 수 있고, 또한, 운행 중 사용자의 심전도를 측정함으로써 건강상태를 모니터링 할 수 있다.

또한, 가정 내에 구비된 리모콘의 양 측면에 사용자의 한쪽 손이 접촉될 수 있도록 제1전극을 장착하고, 다른 쪽 손이 접촉되도록 끝면에 제 2 전극을 장착함으로써 사용자의 인식을 통한 개인의 신원확인 및 일정기간 사용자의 심전도를 측정하여 건강정보의 구축 및 건강상태의 모니터링을 수행할 수 있다.

도 26은 본 제5 실시예에 따른 심전도 생체인식과 지문인식(멀티 모달 생체인식)을 포함한 생체인식 시스템을 나타내는 블럭도이고, 도 27은 생체인식 방법을 나타내는 흐름도이다. 상기 도면에 제시된 바와 같이, 본 제5 실시예의 생체인식 시스템은 사용자의 심전도 신호를 측정하고, 동시에 사용자의 지문데이터를 취득하는 멀티 측정부(5500), 측정된 심전도 신호를 처리하는 생체신호 처리부(5510), 사용자를 인식하는 생체인식부(5520)를 포함하여 구성된다.

도 26에 나타낸 생체신호 처리부(5510) 및 생체인식부(5520)는 앞서 도 16에 나타낸 생체신호 측정부(5100), 생체신호 처리부(5110) 및 생체 인식부(5120)의 일부 구성과 동일한 구성 및 동작을 수행하는 것으로 그 상세한 설명은 생략한다.

도 26 및 도 27을 참조하여 본 실시예에 따른 생체인식 방법을 설명하면, 먼저, 멀티 측정부(5500)에서 측정한 사용자의 심전도 신호를 입력하고(S5301), 동시에, 사용자의 지문데이터를 취득한다(S5302).

이후, 입력된 심전도 신호는 노이즈(잡음)가 제거되도록 필터링을 한 후(S5303), 노이즈가 제거된 파형에 대해 문턱값(Thershold)을 설정하여(S5304), P파형 및 S파형이 제거된 Q, R, S파형을 추출한다(S5305). 다음에 R파형을 추출하여(S5306) 그에 해당하는 R파형의 위치를 저장하고, 필터링 단계를 거치면서 파형의 왜곡이 일어나 실제 원신호의 R파 값이 이동되는 경우가 발생할 수 있어 원 심전도 신호에서 다시 R파를 찾아 추출된 R파형 값이 실제 정점인지 확인할 수 있다.

이후, 파형의 특징추출을 용이하게 하도록 각각의 파형들을 일정한 구간으로 표준화(Normalization)하고(S5307), 동일한 파형과 서로 다른 파형들 간의 특징을 표현하여, 특징정보를 추출한 후(S5308), 추출된 특징정보에 미리 설정된 입력 파라메타를 적용하여 심전도 신호에 대응하는 사용자를 확인하고, 취득한 지문데이터와 미리 저장된 적어도 하나 이상의 등록 지문데이터를 비교하여 일치여부를 판단함으로써 사용자를 인식한다(S5309).

이러한 생체인식 시스템은 생체신호 측정부와 지문데이터 취득부가 일체로 구성된 멀티 측정부를 포함할 수 있는데, 사용자의 생체신호 및 지문데이터의 인식을 수행하는 생체인식부는 다중바이오 인식 전극으로 사용자의 생체신호 및 지문데이터를 동시에 취득하는 제1멀티전극, 제2멀티전극과 지문데이터를 스캔할 수 있는 제1지문 스캐너 및 제2지문 스캐너와 연결될 수 있다.

상기 멀티전극은 사용자의 지문을 취득하는데 사용되는 프리즘(또는 Glass) 위에 반도체 공정에서 사용되는 포토프로세스(Photo process)를 통해 제조될 수 있다.

프리즘 위에 투명 박막(ITO박막)을 증착하고, ITO 박막 위에 시드 레이어(seed layer)를 증착한다. 이 시드 레이어 위에 Au, Ti, Cr 중 어느 하나로 메탈층을 증착한다. 이 메탈층에는 전극이 필요한 부분과 저항이 감소되어야 하는 부분에, 예를 들면 투명 박막의 상면 테두리에 전극 라인(electrode line)을 형성하여 각 제1멀티전극 및 제2멀티전극을 제작할 수 있다.

프리즘 위에 반도체 공정을 이용하여 심전도 생체인식이 가능한 전극을 증착하기 위해서 프리즘 Cleaning 과정을 진행하는 것이 바람직하다. 상기 Cleaning 공정은 SPM Cleaning을 이용하였으며 공정조건은 황산(H2SO4)와 과산화수소(H2O2)를 4:1 비율로 섞은 후 120℃에서 600초를 Cleaning하였다.

지문인식과 심전도 생체인식이 가능하기 위해서는 전도체 전극을 프리즘 위에 증착해야 한다. 그러나 일반적인 메탈(metal)전극은 불투명하기 때문에 심전도 전극으로는 활용이 가능하여도 지문전극으로는 사용이 불가능하다. 따라서 본 발명에서는 디스플레이패널(Display Pannel)에서 사용되는 ITO(Indium Tin Oxide) 박막을 증착하였다. ITO 박막은 투명하면서도 전도성을 띄고 있어 일반적으로 LCD 디스플레이, PDP 디스플레이, 태양전지 등의 전극으로 활용되고 있다. ITO 박막을 증착하기 위해 실리콘(Silicon) 웨이퍼에 Cleaning이 끝난 프리즘을 열전도 테이프(Thermal tape)로 붙이고, ITO 증착용 스퍼터(Sputter)에 장착하였다. ITO 박막의 두께는 2000Å이다. ITO 투명전극을 약 2000Å 얇은 두께로 박막을 증착한 후 시드 레이어로 크롬(Cr)을 500Å 증착하고, 그 위에 다시 금(Au) 박막을 2000Å 증착하게 된다. ITO 박막과 금 박막이 증착된 프리즘은 빛 투과성 없어져 지문인식용 전극으로 사용될 수 없다. 따라서 지문인식이 필요한 부분의 골드 증착 부분을 일부 제거해야 한다.

지문인식 부분에 증착된 골드를 선택적으로 제거하기 위해 반도체 공정에서 사용되는 PR을 이용하였다. 일반적으로 반도체 공정에서는 스핀코터(Spin coater)를 이용하여 얇게 PR을 증착하지만 본 실시예에서는 스핀 장비를 사용할 수 없었다. 이러한 문제점을 해결하기 위해 스프레이 PR 코팅을 적용하여 PR을 증착하였다. PR의 종류는 DNR 300L-30 Negative PR을 이용하여 부분적으로 PR을 증착하였다.

상기와 같은 PR이 도포된 프리즘에 오픈되어 있는 금 박막을 금 에칭(etching) 용액에 wet 에칭하여 금 박막의 일부를 제거하게 된다. 금을 제거한 후 시드 레이어로 증착한 크롬(Cr)을 금 박막을 제거한 방법과 동일하게 크롬 에칭용액에 wet 에칭하여 크롬을 제거한다. 크롬에 의해 투명도에 많은 영향을 주기 때문에 반드시 크롬을 제거해야 원활한 지문인식이 가능하다.

도 28의 (a)는 멀티전극을 이용하여 측정된 심전도 파형이며, (b)는 일반전극을 이용하여 측정된 심전도 파형이다. 육안으로 보아 두 개의 파형이 차이가 없음을 알 수 있으며, 실제로 두 파형의 차이(멀티전극으로 측정된 파형과 일반전극으로 측정된 심전도 파형)를 확인하기 위해 본 발명에서는 두 파형의 RMSE(Root Mean Square Error)를 이용하였다. RMSE를 구하는 식은 식 (5)와 같다.

식 (5)

여기서, yi는 멀티전극으로부터 측정된 파형값이고, yi^는 일반전극으로부터 측정된 파형값이다. n은 데이터 전체파형의 개수이다.

상기 식 (5)과 같이 두 파형의 RMSE를 구해본 결과 5.68%의 오차가 나왔다. 이는 동일한 전극으로 같은 시간에 측정된 동일인물의 파형에 대해 RMSE를 계산했을 때 2.15%의 오차를 보이는 것과 전체적으로 파형의 잡음들을 고려했을 때, 파형의 왜곡이 없이 거의 유사한 파형이 추출된다고 할 수 있다.

[ 실시예 6] 심전도 및 지문을 이용한 생체 인식(2)

도 29을 참조하면, 인증 장치(6110)는 생체 신호 획득부(6120), 습도 레벨 획득부(6130), 유사도 추출부(6140) 및 인증부(6150)를 포함할 수 있다.

상기 생체 신호 획득부(6120)는 사용자의 복수 개의 생체 신호를 획득할 수 있다. 상기 인증 장치(6110)는 생체 신호 획득부(6120)에서 획득된 복수 개의 생체 신호를 이용하여 사용자가 인증 장치(6120)가 구비된 기기에 접근할 수 있는지 여부를 판단할 수 있다. 인증 장치(6110)가 하나의 생체 신호가 아닌 복수 개의 생체 신호를 이용하여 사용자를 인증함에 따라, 인증 장치(6110)의 보안성이 향상될 수 있다.

일 실시예에서, 생체 신호 획득부(6120)는 사용자의 지문 정보, 심전도(Electrocardiogram: ECG) 정보, 근전도(ElectroMyoGraphy: EMG) 정보, 홍채 정보, 혈관 정보, 정맥 정보, 음성 정보, 얼굴 정보, 손금 정보등을 해당 센서로부터 수신할 수 있다. 일 실시예에서, 생체 신호 획득부(6120)는 습도 레벨에 영향을 받는 복수 개의 생체 신호를 획득할 수 있다. 이하에서는, 편의상 복수 개의 생체 신호 중 지문 정보 및 심전도 정보를 중심으로 인증 장치(6110)를 설명한다. 인증 장치(6110)가 이용하는 생체 신호는 지문 정보 및 심전도 정보에 한정되지 않는다.

생체 신호 획득부(6120)는 지문 특징점 추출부 및 심전도 특징점 추출부를 포함할 수 있다. 지문 특징점 추출부는 지문 센서를 이용하여 지문 정보를 센싱할 수 있다. 지문 센서는 광학식 센서, 반도체 소자 방식 센서, 초음파 방식 센서, 열감지 방식 센서, 비접촉 방식 센서 또는 복합 방식 센서를 포함할 수 있다. 지문 특징점 추출부는 지문 정보의 복수 개의 지문 특징점을 추출할 수 있다. 여기서, 복수 개의 지문 특징점은 지문의 융선, 위 중심점, 아래 중심점, 왼쪽 삼각주, 오른쪽 삼각주, 분기점 또는 단점 중 적어도 두 개를 포함할 수 있다.

지문 특징점 추출부는 지문 센서로부터 수신한 지문 정보의 명암의 구분을 높이고 잡음을 제거할 수 있다. 예를 들어, 지문 특징점 추출부는 지문 정보의 각 융선의 방향 성분을 추출하고, 융선과 골을 구분하여 이를 이진화하며, 각 융선의 굵기를 판단하여 선으로 세선화할 수 있다. 또한, 일 실시예에서, 지문 특징점 추출부는 세

선화된 지문 정보로부터 융선을 추출하고, 융선을 기초로 위 중심점, 아래 중심점, 왼쪽 삼각주, 오른쪽 삼각주, 분기점간의 거리, 단점간의 거리, 분기점 및 단점의 개수 등을 추출할 수 있다.

심전도 특징점 추출부는 심전도 센서를 이용하여 심전도 파형을 추출할 수 있다. 심전도 센서는 복수의 전극, 증폭기 및 디지털 변환기를 포함할 수 있다. 복수의 전극은 사용자의 피부(예를 들어, 손가락)에 접촉하여 사용자의 심전도 신호를 센싱할 수 있다. 증폭기는 복수의 전극에서 센싱된 심전도 신호를 증폭할 수 있다. 일 실시예에서, 증폭기는 아날로그 프론트 엔드(Analog Front End: AFE)로 표현될 수 있다. 디지털 변환기는 증폭된 심전도 신호를 디지털 신호로 변환하여, 심전도 파형을 추출할 수 있다. 이에 따라, 심전도 신호의 신호 대 잡음비(Signal-to-Noise Ratio: SNR)가 향상될 수 있다. 또한, 심전도 특징점 추출부는 전처리 과정을 통하여

심전도 파형의 잡음을 제거할 수 있다. 또한, 심전도 특징점 추출부는 심전도 센서로부터 수신한 심전도 신호로부터 복수 개의 심전도 특징점을 추출할 수 있다. 여기서, 심전도 특징점은 심전도 파형의 PR 세그먼트(PR segment), QRS 컴플렉스(QRX complex), ST 세그먼트(ST segment), T 웨이브(T wave), U 웨이브(U wave), PR 인터벌(PR interval) 또는 QT 인터벌(QT interval) 중 적어도 두 개를 포함할 수 있다.

습도 레벨 획득부(6130)는 습도 센서를 이용하여 사용자의 피부의 습도 레벨을 획득할 수 있다. 습도 센서는 사용자의 피부에서 증발하는 수분의 양을 센싱하여 이를 습도 레벨로 환산할 수 있다. 예를 들어, 습도 센서는 피부의 수분이 다공질 세라믹스나 고분자막으로 흡수됨으로써 발생되는 전기 저항이나 정전 용량의 변화를 이용하여 습도 레벨을 추출할 수 있다. 습도 센서는 피부의 습도 레벨을 센싱할 수 있는 어떠한 센서도 포함할 수 있다. 일 실시예에서, 습도 센서는 지문 센서 및 습전도 센서의 가까이에 위치할 수 있다. 이 경우, 습도 센서, 지문 센서 및 심전도 센서는 각각 사용자의 동일한 손가락으로부터 해당 정보를 획득할 수 있다.

유사도 추출부(6140)는 제1 유사도 및 제2 유사도를 습도 레벨을 기초로 적응적으로조절하여, 혼합 유사도를 추출할 수 있다. 여기서, 제1 유사도는 참조 지문 정보와 생체 신호 획득부(6120)에서 획득된 지문 정보간의 유사도를 나타낼 수 있고, 제2 유사도는 참조 심전도 파형과 생체 신호 획득부(6120)에서 획득된 심전도 파형간의 유사도를 나타낼 수 있다. 참조 지문 정보 및 참조 심전도 파형은 인증 장치(6110)에 미리 등록된 사용자의 지문 정보 및 심전도 파형을 의미할 수 있다. 여기서, 혼합 유사도는 참조 지문 정보 및 참조 심전도 파형에 대응하는 미리 등록된 사용자와 인증을 시도하는 사용자가 일치하는지 여부를 나타낼 수 있다.

일 실시예에서, 인증 장치(6110)는 인증을 시도하는 사용자의 지문 정보 및 심전도 파형을 미리 획득하여, 이를 저장할 수 있다. 또한, 인증 장치(6110)는 외부 장치로부터 미리 등록된 사용자의 지문 정보 및 심전도 파형을 수신할 수 있다.

유사도 추출부(6140)는 생체 신호 획득부(6120)에서 획득한 지문 정보의 복수 개의 지문 특징점과 참조 지문 정보의 복수 개의 지문 특징점이 일치하는지 여부를 판단하여 제1 유사도를 추출할 수 있다. 일 실시예에서, 유사도 추출부(6140)는 단순 패턴 매칭 기법, 통계적 식별 기법 및 구조적 식별 기법 등을 이용하여 제1 유사도를 결정할 수 있다. 여기서, 단순 패턴 매칭 방법은 생체 신호 획득부(6120)에서 획득한 지문 정보의 복수 개의 지문 특징점과 참조 지문 정보의 복수 개의 지문 특징점의 추출 패턴이 동일한지 여부를 비교하여 유사도를 결정하는 기법이고, 통계적 식별 방법은 조합되는 2개의 지문 특징점들의 직접 조합이 불가능한 경우, 생체 신호 획득부(6120)에서 획득한 지문 정보의 특징벡터와 참조 지문 정보의 특징 벡터와의 동시발생확률을 계산하여 유사도를 결정하는 기법이 될 수 있으며, 구조적 식별 기법은 생체 신호 획득부(6120)에서 획득한 지문 정보의 복수 개의 지문 특징점과 참조 지문 정보의 복수 개의 지문 특징점을 구조적으로 해석하고, 그래프화하여, 그래프로부터 유사도를 추출하는 방법을 의미할 수 있다.

또한, 유사도 추출부(6140)는 생체 신호 획득부(6120)에서 획득한 심전도 파형의 복수 개의 심전도 특징점과 참조 심전도 파형의 복수 개의 심전도 특징점과의 거리를 이용하여 제2 유사도를 추출할 수 있다. 일 실시예에서, 유사도 추출부(6140)는 생체 신호 획득부(6120)에서 획득한 심전도 파형의 복수 개의 심전도 특징점 각각과 대응하는 참조 심전도 파형의 복수 개의 심전도 특징점 사이의 유클리디안 놈(euclidean norm), L1 놈, P-놈, 상관 계수(correlation coefficient), 평균 제곱근 편차(Root Mean Square Error: RMSE) 또는 코사인 유사도

(cosine similarity) 중 적어도 하나를 이용하여 제2 유사도를 추출할 수 있다. 생체 신호 획득부(6120)에서 획득한 지문 정보 및 심전도 파형이 참조 지문 정보 및 참조 심전도 파형과 유사할수록 제1 유사도 및 제2 유사도는 증가할 수 있다.

생체 신호 획득부(6120)가 획득하는 지문 정보와 심전도 파형의 품질은 습도 레벨에 의해 가변될 수 있다. 지문정보의 경우, 지문 센서와 접촉하는 사용자의 손가락에 수분이 존재할 때, 지문 센서는 손가락의 수분으로 인하여 지문 정보의 지문 특징점을 정확하게 인식하지 못할 수 있다. 예를 들어, 손가락의 수분에 의해 지문 센서와 접촉하는 손가락의 피부 임피던스(skin impedence)가 감소됨에 따라, 지문 센서는 지문을 정확하게 인식하지 못할 수 있다. 이에 따라, 손가락의 습도 레벨이 높을 경우, 생체 신호 획득부(6120)는 낮은 품질의 지문 정보를 획득할 수 있고, 손가락의 습도 레벨이 낮을 경우, 생체 신호 획득부(6120)는 높은 품질의 지문 정보를 획득할 수 있다.

다른 예로서, 심전도 파형의 경우, 심전도 센서와 접촉하는 사용자의 피부에 수분이 존재할 때, 심전도 센서의 전극과 사용자의 피부 사이의 미세 전류가 보다 잘 흐를 수 있고, 이에 따라, 심전도 센서가 센싱하는 심전도 신호의 품질이 높을 수 있다. 따라서, 손가락의 습도 레벨이 높을 경우, 생체 신호 획득부(6120)는 높은 품질의 심전도 파형을 획득할 수 있고, 손가락의 습도 레벨이 낮을 경우, 생체 신호 획득부(6120)는 낮은 품질의 심전도 파형을 획득할 수 있다.

이와 같이, 습도 레벨에 의해 지문 정보와 심전도 파형의 품질이 가변되는 특성을 고려하여, 유사도 추출부(6140)는 제1 유사도 및 제2 유사도를 적응적으로 조절하여 혼합 유사도를 추출할 수 있다. 일 실시예에서, 유사도 추출부(6140)는 제1 유사도 및 제2 유사도에 습도 레벨에 의해 결정되는 제1 임계값 및 제2 임계값을 적용하여 혼합 유사도를 추출할 수 있다. 또한, 다른 일 실시예에서, 유사도 추출부(6140)는 제1 유사도 및 제2 유사도에 제1 임계값 및 제2 임계값과 함께 제1 가중치 및 제2 가중치를 적용하여 혼합 유사도를 추출할 수 있다.

예를 들어, 유사도 추출부(6140)는 아래의 식 (6)을 이용하여 혼합 유사도를 추출할 수 있다.

식(6)

여기서, Sc는 혼합 유사도를 나타내고, a는 제1 가중치를 나타내고, b는 제2 가중치를 나타내고, S_F는 제1 유사도를 나타내고, S_E는 제2 유사도를 나타내고, T_F는 제1 임계값을 나타내고, T_E는 제2 임계값을 나타내며, r은 램프 함수(ramp function)을 나타낼 수 있다. 유사도 추출부(6140)는 제1 유사도와 제1 임계값의 차이값에 제1 가중치를 적용하고, 제2 유사도와 제2 임계값과의 차이값에 제2 가중치를 적용할 수 있다.

이 때, 램프 함수 r에 의하여, 제1 유사도가 제1 임계값 이하인 경우, 제1 유사도와 제1 임계값의 차이값은 0이 될 수 있다. 또한, 유사도 추출부(6140)는 제1 가중치가 적용된 제1 유사도와 제1 임계값과의 차이값과 제2 가중치가 적용된 제2 유사도와 제2 임계값과의 차이값을 합하여 혼합 유사도를 추출할 수 있다.

일 실시예에서, 유사도 추출부(6140)는 소정의 참조 정보로부터 제1 임계값 및 제2 임계값을 추출할 수 있다.

예를 들어, 유사도 추출부(6140)는 습도 레벨에 따른 제1 임계값, 제2 임계값, 제1 가중치 및 제2 가중치에 대한 정보가 저장된 룩업 테이블을 포함할 수 있다. 이 때, 유사도 추출부(6140)는 습도 레벨에 따른 제1 임계값, 제2 임계값, 제1 가중치 및 제2 가중치에 대한 정보를 미리 계산하여 룩업 테이블에 저장할 수도 있고, 통신 인터

페이스를 이용하여 룩업 테이블 혹은 룩업 테이블의 엔트리 값(예를 들어, 습도 레벨에 따른 제1 임계값, 제2임계값, 제1 가중치 및 제2 가중치)을 외부 장치로부터 수신할 수도 있다. 유사도 추출부(6140)는 룩업 테이블 혹은 룩업 테이블의 엔트리 값을 참조하여 제1 임계값, 제2 임계값, 제1 가중치 및 제2 가중치를 설정할 수 있

다.

다른 일 실시예에서, 유사도 추출부(6140)는 습도 레벨에 따른 미리 저장된 복수 개의 지문 정보 각각의 복수 개의 지문 특징점의 수의 차이 또는 습도 레벨에 따른 복수 개의 지문 정보 각각의 복수 개의 지문 특징점간의 거리의 차이를 이용하여 제1 임계값을 추출할 수 있다. 지문 정보의 복수 개의 지문 특징점의 수 및 복수 개의 지문 특징점간의 거리는 습도 레벨에 따라 다르게 나타날 수 있다. 예를 들어, 습도 레벨이 높은 경우의 복수 개의 지문 특징점의 수는 습도 레벨이 낮은 경우보다 적게 나타나고, 습도 레벨이 높은 경우의 복수 개의 지문 특징점간의 거리는 습도 레벨이 낮은 경우보다 길게 나타날 수 있다. 유사도 추출부(6140)는 습도 레벨에 따른 복수 개의 지문 특징점의 수의 차이 또는 복수 개의 지문 특징점간의 거리의 차이에 대한 정보를 복수 개의 지문 정보 각각에 대하여 미리 획득할 수 있고, 이와 같은 정보를 통계적으로 분석하여 습도 레벨에 따라 제1 유사도가 신뢰성을 가지는 최소의 값을 계산할 수 있고, 계산된 최소의 값을 제1 임계값으로 설정할 수 있다.

또한, 유사도 추출부(6140)는 습도 레벨에 따른 복수 개의 심전도 신호 각각의 신호 대 잡음비(Signal to Noise Ratio: SNR)를 계산하고, 신호 대 잡음비를 이용하여 제2 임계값을 추출할 수 있다. 유사도 추출부(6140)는 미리 저장된 복수 개의 심전도 신호의 습도 레벨에 따른 신호의 세기를 연산할 수 있다. 유사도 추출부(6140)는 복수 개의 심전도 신호의 습도 레벨에 따른 잡음값을 미리 저장할 수 있고, 복수 개의 심전도 신호의 습도 레벨에 따른 잡음값과 신호의 세기를 이용하여, 습도 레벨에 따른 복수 개의 심전도 신호 각각의 신호 대 잡음비를 연산할 수 있다. 예를 들어, 습도 레벨이 높을 경우의 복수 개의 심전도 신호의 세기는 습도 레벨이 낮을 경우의 복수 개의 심전도 신호의 세기보다 클 수 있다. 이에 따라, 습도 레벨이 높을 경우의 복수 개의 심전도 신호의 신호 대 잡음비 역시 습도 레벨이 낮을 경우의 복수 개의 심전도 신호의 신호 대 잡음비보다 클 수 있다.

유사도 추출부(6140)는 습도 레벨에 따른 복수 개의 심전도 신호 각각의 신호 대 잡음비를 통계적으로 분석하여 습도 레벨에 따라 제2 유사도가 신뢰성을 가지는 최소의 값을 계산할 수 있고, 계산된 최소의 값을 제2 임계값으로 설정할 수 있다.

일 실시예에서, 유사도 추출부(6140)는 제1 가중치가 습도 레벨과 음의 상관관계를 갖고, 제2 가중치가 습도 레벨과 양의 상관관계를 가지도록 제1 가중치 및 제2 가중치를 설정할 수 있다. 이는 습도 레벨이 높을수록 지문 정보의 품질이 낮아지고, 심전도 파형의 품질이 높아지는 특성에 따른 것일 수 있다. 이에 따라, 유사도 추출부(6140)는 지문 정보의 품질이 높을수록 혼합 유사도에서 제2 유사도보다 제1 유사도를 많이 반영하고, 심전도 파형의 품질이 높을수록 제1 유사도보다 제2 유사도를 많이 반영할 수 있다. 또한, 유사도 추출부(6140)는 제1 가중치 및 제2 가중치의 합이 습도 레벨에 상관없이 일정하도록, 제1 가중치 및 제2 가중치를 설정할 수 있다.

예를 들어, 유사도 추출부(6140)는 제1 가중치와 제2 가중치의 합이 1이 되도록 제1 가중치 및 제2 가중치를 설정할 수 있다.

인증부(6150)는 혼합 유사도를 이용하여 사용자가 미리 등록된 사용자인지 여부를 인증할 수 있다. 인증부(6150)는 혼합 유사도가 소정의 임계 혼합값보다 클 경우, 사용자를 미리 등록된 사용자로 인증할 수 있고, 혼합 유사도가 소정의 임계 혼합값 이하일 경우, 사용자를 미리 등록되지 않은 사용자로 인증할 수 있다. 일 실시예에

서, 인증부(6150)는 임계 혼합값을 임의로 설정할 수도 있고, 외부 장치의 제어에 의해 임계 혼합값을 설정할 수도 있다.

사용자가 미리 등록된 사용자로 인증될 경우, 인증 장치(6110)는 사용자에게 인증 장치(6110)가 구비된 기기에의 접근 권한을 부여할 수 있다. 사용자가 미리 등록되지 않은 사용자로 인증될 경우, 인증 장치(6110)는 사용자의 인증 장치(6110)가 탑재된 기기에의 접근을 거부할 수 있다. 이와 같이, 혼합 유사도를 이용하여 사용자의 인증을 수행함에 따라, 인증 장치(6110)는 사용자의 피부의 습도 레벨에 강건하고 정확하게 사용자가 미리 등록된 사용자인지 여부를 인증할 수 있다.

도 30은 본 발명의 제6 실시예에 따른 습도 레벨에 따른 지문 정보 및 심전도 파형의 품질을 설명하기 위한 도면으로, 상기 도 30을 참조하면, 인증 장치가 획득하는 지문 정보와 심전도 파형의 품질은 습도 레벨에 의해 가변될 수 있다.

도 30의 예에서, 지문 센서와 접촉하는 손가락에서의 습도 레벨이 낮을 경우(예를 들어, 10%), 인증 장치는 지문 정보(6211)에서와 같이 26개의 지문 특징점을 추출할 수 있다. 또한, 지문 센서와 접촉하는 손가락에서의 습도

레벨이 높을 경우(예를 들어, 80%), 인증 장치는 지문 정보(6212)에서와 같이, 습도 레벨이 낮을 때의 절반인 13개의 지문 특징점을 추출할 수 있다.

또한, 도 30의 예에서, 지문 센서와 접촉하는 손가락에서의 습도 레벨이 낮을 경우(예를 들어, 10%), 심전도 신호의 신호 대 잡음비가 낮아질 수 있고, 이에 따라, 인증 장치는 낮은 품질의 심전도 파형을 획득할 수 있다.

또한, 지문 센서와 접촉하는 손가락에서의 습도 레벨이 높을 경우(예를 들어, 80%), 심전도 신호의 신호 대 잡음비는 높아질 수 있고, 이에 따라, 인증 장치는 높은 품질의 심전도 파형을 획득할 수 있다. 이는 심전도 센서와 접촉하는 사용자의 피부의 수분에 의하여 심전도 센서의 전극과 사용자의 피부 사이의 미세 전류가 보다 잘 흐를 수 있기 때문일 수 있다.

이와 같이, 습도 레벨에 의해 지문 정보와 심전도 파형의 품질이 가변되는 특성을 고려하여, 인증 장치는 참조 지문 정보와 사용자의 지문 정보간의 유사도를 나타내는 제1 유사도 및 참조 심전도 파형과 사용자의 심전도 파형간의 유사도를 나타내는 제2 유사도를 습도 레벨을 기초로 적응적으로 조절함으로써, 사용자가 참조 지문 정보 및 참조 심전도 파형에 대응하는 미리 등록된 사용자와 일치하는지 여부를 나타내는 혼합 유사도를 추출할 수 있고, 혼합 유사도를 이용하여 사용자가 미리 등록된 사용자인지 여부를 인증할 수 있다.

도 31은 본 발명의 제6 실시예에 따른 습도 레벨에 따른 제1 유사도 및 제2 유사도의 임계값을 설명하기 위한 도면으로, 상기 도 31을 참조하면, 그래프(6310)는 제1 유사도의 임계값인 제1 임계값(6320) 및 제2 유사도의 임계값인 제2 임계값(6330)을 나타낼 수 있다. 여기서, 제1 유사도는 참조 지문 정보와 인증을 시도하는 사용자의 지문 정보간의 유사도를 나타낼 수 있고, 제2 유사도는 참조 심전도 파형과 인증을 시도하는 사용자의 심전도 파형간의 유사도를 나타낼 수 있다. 그래프(6310)의 가로축은 습도 레벨을 나타내고, 세로축은 각각 제1 임계값(6320) 및 제2 임계값(6330)의 레벨을 나타낼 수 있다.

습도 레벨에 의해 지문 정보와 심전도 파형의 품질은 가변될 수 있다. 예를 들어, 습도 레벨이 높아질수록 지문 정보의 품질은 낮아지고, 심전도 파형의 품질은 높아질 수 있다. 이러한 지문 정보 및 심전도 파형의 특성을 이용하여, 인증 장치는 제1 임계값(6320) 및 제2 임계값(6330)을 설정할 수 있다.

일 실시예에서, 인증 장치는 습도 레벨에 따른 복수 개의 지문 특징점의 수의 차이 또는 복수 개의 지문 특징점간의 거리의 차이에 대한 정보를 미리 저장된 복수 개의 지문 정보 각각에 대하여 미리 획득할 수 있고, 이와같은 정보를 통계적으로 분석하여 습도 레벨에 따라 제1 유사도가 신뢰성을 가지는 최소의 값을 계산할 수

있고, 계산된 최소의 값을 제1 임계값(6320)으로 설정할 수 있다.

또한, 인증 장치는 습도 레벨에 따른 복수 개의 심전도 신호 각각의 신호 대 잡음비를 계산하고, 습도 레벨에 따른 복수 개의 심전도 신호 각각의 신호 대 잡음비를 통계적으로 분석하여 습도 레벨에 따라 제2 유사도가 신뢰성을 가지는 최소의 값을 계산할 수 있고, 계산된 최소의 값을 제2 임계값(6330)으로 설정할 수 있다.

다른 일 실시예에서, 인증 장치는 그래프(6310)와 같은 제1 임계값 및 제2 임계값에 대한 정보를 미리 저장할 수 있다. 예를 들어, 인증 장치는 습도 레벨에 따른 제1 임계값(6320) 및 제2 임계값(6330)에 대한 정보를 미리 계산하여 룩업 테이블에 저장할 수도 있고, 통신 인터페이스를 이용하여 룩업 테이블 혹은 룩업 테이블의 엔트리 값을 외부 장치로부터 수신할 수도 있다. 인증 장치는 룩업 테이블을 참조하여 제1 임계값(6320) 및 제2 임계값(6330)을 설정할 수 있다.

인증 장치는 제1 유사도 및 제2 유사도에 제1 임계값(6320), 제2 임계값(6330), 제1 가중치 및 제2 가중치를 적용하여 혼합 임계값을 추출하고, 혼합 임계값을 이용하여 사용자를 인증할 수 있다.

일 실시예에서, 인증 장치는 상술한 식 (6)을 이용하여 혼합 임계값을 연산할 수 있다. 예를 들어, 습도 레벨의 최고 레벨이 100%이고, 최저 레벨이 0%이며, 임계 혼합값이 10이라고 가정할 때, 습도 레벨(6341)이 30%이고, 제1 임계값(6321)이 80이고, 제2 임계값(6331)이 40이며, 제1 가중치가 0.8이고, 제2 가중치가 0.2일 수

있다. 이 때, 제1 유사도가 90이며, 제2 유사도가 30일 경우, 혼합 유사도는 8으로 연산될 수 있다. 이 경우, 혼합 유사도는 임계 혼합값보다 작고, 이에 따라, 인증 장치는 사용자를 미리 등록되지 않은 사용자로 인증하여, 사용자의 인증 장치가 구비된 기기로의 접근을 차단할 수 있다. 다른 예로서, 상술한 예와 동일한 가정하에서, 습도 레벨(6342)은 70%이고, 제1 임계값(6322)이 20이고, 제2 임계값(6332)이 60이며, 제1 가중치가 0.2이고, 제2 가중치가 0.8일 수 있다. 이 때, 제1 유사도가 30이며, 제2 유사도가 70일 경우, 혼합 유사도는 10으로 연산될 수 있다. 이 경우, 혼합 유사도는 임계 혼합값보다 크고, 이에 따라, 인증 장치는 사용자를 미리 정해진 사용자로 인증하여, 사용자의 인증 장치가 구비된 기기로의 접근을 허용할 수 있다.

도 32는 본 발명의 제6 실시예에 따른 습도 레벨에 따른 정보를 포함하는 룩업 테이블을 설명하기 위한 도면으로, 상기 도 32를 참조하면, 룩업 테이블(6410)은 제1 임계값(6420), 제2 임계값(6430), 제1 가중치(6440) 및 제2 가중치(6450)에 대한 정보를 포함할 수 있다.

여기서, 제1 임계값(6420)은 참조 지문 정보와 인증을 시도하는 사용자의 지문 정보간의 유사도를 나타내는 제1 유사도가 신뢰성을 가지는 최소의 값을 나타내고, 제2 임계값(6430)은 참조 심전도 파형과 인증을 시도하는 사용자의 심전도 파형간의 유사도를 나타내는 제2 유사도가 신뢰성을 가지는 최소의 값을 나타낼 수 있다. 제1 가중치(6440)는 사용자가 미리 등록된 사용자와 일치하는지 여부를 나타내는 혼합 유사도의 연산에 제1 유사도를 반영하는 비율을 나타내고, 제2 가중치(6450)는 혼합 유사도의 연산에 제2 유사도를 반영하는 비율을 나타낼 수 있다.

인증 장치는 제1 임계값(6420), 제2 임계값(6430), 제1 가중치(6440) 및 제2 가중치(6450)에 대한 정보를 미리 계산하여 룩업 테이블(6410)에 저장할 수도 있고, 통신 인터페이스를 이용하여 룩업 테이블(6410) 혹은 룩업 테이블(6410)의 엔트리 값(각 습도 레벨에 따른 제1 임계값, 제2 임계값, 제1 가중치 및 제2 가중치)을 외부 장치로부터 수신할 수도 있다. 인증 장치는 룩업 테이블 혹은 룩업 테이블의 엔트리 값을 참조하여 제1 임계값(6420), 제2 임계값(6430), 제1 가중치(6440) 및 제2 가중치를 설정할 수 있다. 이와 같이, 인증 장치는 별도의 연산을 수행할 필요 없이 제1 임계값(6420), 제2 임계값(6430), 제1 가중치(6440) 및 제2 가중치를 추출할 수 있고, 이에 따라, 인증 장치가 사용자를 인증하기 위하여 수행하는 연산량이 감소될 수 있고, 인증을 수행하기 위한 연산 속도가 빨라질 수 있다.

도 33은 본 발명의 제6 실시예의 또 다른 실시 형태에 따른 인증 장치를 나타낸 블록도이며, 상기 도 33을 참조하면, 인증 장치(6510)는 지문 센서(6520), 심전도 센서(6530), 습도 센서(6540) 및 프로세서(6550)를 포함할 수 있다.

지문 센서(6520)는 사용자의 지문 정보를 센싱할 수 있다. 일 실시예에서, 지문 센서(6520)는 광학식 센서, 반도체 소자 방식 센서, 초음파 방식 센서, 열감지 방식 센서, 비접촉 방식 센서 또는 복합 방식 센서를 포함할 수 있다.

심전도 센서(6530)는 제1 전극, 제2 전극 및 제3 전극을 이용하여 사용자의 심전도 파형을 센싱할 수 있다. 일 실시예에서, 심전도 센서(6530)는 제1 전극 내지 제3 전극, 증폭기 및 디지털 변환기를 포함할 수 있다. 제1 전극 내지 제3 전극은 사용자의 피부에 접촉하여 사용자의 심전도 신호를 센싱할 수 있다. 증폭기는 제1 전극 내지 제3 전극에서 센싱된 심전도 신호를 증폭할 수 있다. 일 실시예에서, 증폭기는 아날로그 프론트 엔드(AFE)로 표현될 수 있다. 디지털 변환기는 증폭된 심전도 신호를 디지털 신호로 변환하여, 심전도 파형을 추출할 수 있다. 또한, 심전도 센서(6530)는 전처리 과정을 통하여 심전도 파형의 잡음을 제거할 수 있다.

습도 센서(6540)는 사용자의 피부의 습도 레벨을 센싱할 수 있다. 일 실시예에서, 습도 센서(6540)는 사용자의 피부에서 증발하는 수분의 양을 센싱하여 이를 습도 레벨로 환산할 수 있다.

일 실시예에서, 심전도 센서(6530)의 제1 전극, 지문 센서(6520) 및 습도 센서(6540)는 인증 장치(6510) 내의 소정의 영역 내에 위치할 수 있다. 이에 따라, 심전도 센서(6530), 지문 센서(6520) 및 습도 센서(6540)는 사용자의 하나의 손가락을 센싱하여 각각 심전도 파형, 지문 정보 및 습도 레벨을 획득할 수 있다.

프로세서(6550)는 지문 센서(6520)에서 획득한 지문 정보와 참조 지문 정보간의 유사도를 나타내는 제1 유사도 및 심전도 센서(6530)에서 획득한 심전도 파형과 참조 심전도 파형의 유사도를 나타내는 제2 유사도를 습도 레벨을 기초로 적응적으로 조절하여, 지문 센서(6520) 및 심전도 센서(6530)가 센싱한 사용자와 참조 지문 정보 및 참조 심전도 파형에 대응하는 미리 등록된 사용자가 일치하는지 여부를 나타내는 혼합 유사도를 추출할 수 있다. 프로세서(6550)는 지문 센서(6520)에서 획득한 지문 정보의 복수 개의 지문 특징점을 추출하고, 지문 센서(6520)에서 획득한 지문 정보의 복수 개의 지문 특징점과 참조 지문 정보의 복수 개의 지문 특징점이 일치하는지 여부를 판단하여 제1 유사도를 추출할 수 있다. 또한, 프로세서(6550)는 심전도 센서(6530)에서 획득한 심전도 파형의 복수 개의 심전도 특징점을 추출하고, 심전도 센서(6530)에서 획득한 심전도 파형의 복수 개의 심전도 특징점과 참조 심전도 파형의 복수 개의 심전도 특징점과의 거리를 이용하여 제2 유사도를 추출할 수 있다.

프로세서(6550)는 소정의 참조 정보로부터 제1 유사도가 신뢰성을 가지는 최소의 값을 나타내는 제1 임계값 및 제2 유사도가 신뢰성을 가지는 최소의 값을 나타내는 제2 임계값을 추출하거나, 미리 저장된 복수 개의 지문 정보 및 미리 저장된 복수 개의 심전도 파형의 품질과 습도 레벨과의 관계를 고려하여 제1 임계값 및 제2 임계값을 설정할 수 있다.

또한, 프로세서(6550)는 제1 가중치가 습도 레벨과 음의 상관관계를 갖고, 제2 가중치가 습도 레벨과 양의 상관관계를 가지며, 제1 가중치 및 제2 가중치의 합이 습도 레벨에 상관없이 일정하도록 제1 가중치 및 제2 가중치를 설정할 수 있다.

프로세서(6550)는 제1 유사도 및 제2 유사도에 습도 레벨에 의해 결정되는 제1 임계값 및 제2 임계값을 적용하여 혼합 유사도를 추출할 수 있다. 또한, 프로세서(6550)는 제1 유사도 및 제2 유사도에 제1 임계값 및 제2 임계값과 함께 제1 가중치 및 제2 가중치를 적용하여 혼합 유사도를 추출할 수 있다. 예를 들어, 프로세서(6550)는 제1 유사도와 제1 임계값과의 차이값에 제1 가중치를 적용하고, 제2 유사도와 제2 임계값과의 차이값에 제2 가중치를 적용하여 혼합 유사도를 추출할 수 있다.

프로세서(6550)는 혼합 유사도를 이용하여 사용자가 미리 등록된 사용자인지 여부를 인증할 수 있다. 예를 들어, 프로세서(6550)는 혼합 유사도가 소정의 임계 혼합값보다 클 경우, 사용자를 미리 등록된 사용자로 인증할 수 있고, 혼합 유사도가 소정의 임계 혼합값 이하일 경우, 사용자를 미리 등록되지 않은 사용자로 인증할 수 있다.

도 34는 본 발명의 제6 실시예에 따른 인증 장치의 일례를 설명하기 위한 도면으로, 상기 도 34를 참조하면, 모바일 단말(6610)은 심전도 센서, 지문 센서(6630) 및 습도 센서(6640)를 포함할 수 있다. 심전도 센서는 심전도 신호를 센싱하기 위한 양극 전극(6621), 레퍼런스 전극(6622) 및 음극 전극(6623)을 포함할 수 있다. 일 실시예에서, 양극 전극(6621) 및 레퍼런스 전극(6622)은 모바일 단말(6610)의 측면에 위치할 수 있고, 음극 전극(6623), 지문 센서(6630) 및 습도 센서(6630)는 모바일 단말(6610)의 하단에 위치할 수 있다.

사용자가 양극 전극(6621) 및 레퍼런스 전극(6622)에 피부를 접촉하고, 음극 전극(6623), 지문 센서(6630) 및 습도 센서(6640)에 손가락을 접촉하는 경우, 지문 센서(6630), 심전도 센서 및 습도 센서(6640)는 각각 사용자의 지문 정보, 심전도 파형 및 습도 레벨을 센싱할 수 있다. 일 예로, 지문 센서(6630), 심전도 센서 및 습도 센서(6640)는 사용자의 하나의 손가락으로부터 각각 사용자의 지문 정보, 심전도 파형 및 습도 레벨을 센싱할 수 있다.

모바일 단말(6610)은 지문 센서(6630)에서 획득한 지문 정보와 참조 지문 정보간의 유사도를 나타내는 제1 유사도 및 심전도 센서에서 획득한 심전도 파형과 참조 심전도 파형의 유사도를 나타내는 제2 유사도를 습도 레벨을 기초로 적응적으로 조절하여, 지문 센서(6630) 및 심전도 센서가 센싱한 사용자와 참조 지문 정보 및 참조 심전도

파형에 대응하는 미리 등록된 사용자가 일치하는지 여부를 나타내는 혼합 유사도를 추출할 수 있다. 모바일 단말(6610)은 제1 유사도와 제1 임계값과의 차이값에 제1 가중치를 적용하고, 제2 유사도와 제2 임계값과의 차이값에 제2 가중치를 적용하여 혼합 유사도를 추출할 수 있다. 이 경우, 모바일 단말(6610)은 소정의 참조 정보로부터 제1 임계값, 제2 임계값, 제1 가중치 및 제2 가중치를 추출하거나, 미리 저장된 복수 개의 지문 정보 및 미리 저장된 복수 개의 심전도 파형의 품질과 습도 레벨과의 관계를 고려하여 제1 임계값, 제2 임계값, 제1 가중치 및 제2 가중치를 설정할 수 있다.

모바일 단말(6610)은 혼합 유사도를 이용하여 사용자가 미리 등록된 사용자인지 여부를 인증할 수 있다. 예를들어, 모바일 단말(6610)은 혼합 유사도가 소정의 임계 혼합값보다 클 경우, 사용자를 미리 등록된 사용자로 인증하여, 사용자의 모바일 단말(610)에의 접근을 허용할 수 있다.

도 35는 본 발명의 제6 실시예에 따른 또 다른 실시 형태에 따른 인증 장치의 일례를 설명하기 위한 도면으로, 상기 도 35를 참조하면, 웨어러블 단말(6710)은 심전도 센서, 지문 센서(6731) 및 습도 센서(6741)를 포함할 수 있다.

심전도 센서는 심전도 신호를 센싱하기 위한 양극 전극(6722), 레퍼런스 전극(6723) 및 음극 전극(6721)를 포함할 수 있다. 일 실시예에서, 양극 전극(6722) 및 레퍼런스 전극(6723)은 웨어러블 단말(6710)의 후면에 위치할 수 있고, 음극 전극(6721), 지문 센서(6731) 및 습도 센서(6741)는 웨어러블 단말(6710)의 전면에 위치할 수 있다. 사용자가 양극 전극(6722) 및 레퍼런스 전극(6723)에 손목의 피부를 접촉하고, 음극 전극(6721), 지문 센서(6731) 및 습도 센서(6741)에 손가락을 접촉하는 경우, 지문 센서(6731), 심전도 센서 및 습도 센서(6741)는 각각 사용자의 지문 정보, 심전도 파형 및 습도 레벨을 센싱할 수 있다. 일 예로, 지문 센서(6731), 심전도 센서 및 습도 센서(6741)는 사용자의 하나의 손가락으로부터 각각 사용자의 지문 정보, 심전도 파형 및 습도 레벨을 센싱할 수 있다.

도 34의 모바일 단말(6610)과 마찬가지로, 웨어러블 단말(6710)은 지문 센서(6731)로부터 획득한 지문 정보 및 참조 지문 정보간의 유사도를 나타내는 제1 유사도 및 지문 센서(731)로부터 획득한 심전도 파형과 참조 심전도 파형간의 유사도를 나타내는 제2 유사도를 습도 레벨을 기초로 적응적으로 조절하여, 사용자와 참조 지문 정보 및 참조 심전도 파형에 대응하는 미리 등록된 사용자가 일치하는지 여부를 나타내는 혼합 유사도를 추출하고, 혼합 유사도를 이용하여 상기 사용자가 미리 등록된 사용자인지 여부를 인증할 수 있다.

도 36은 본 발명의 제6 실시예의 또 다른 일 실시 형태에 따른 인증 장치의 일례를 설명하기 위한 도면으로, 상기 도 36을 참조하면, 모바일 단말(6810)은 심전도 센서, 지문 센서(6830) 및 습도 센서(6840)를 포함할 수 있다. 심전도 센서는 심전도 신호를 센싱하기 위한 양극 전극(6821), 레퍼런스 전극(6822) 및 음극 전극(6823)을 포함할 수 있다. 일 실시예에서, 양극 전극(6821) 및 레퍼런스 전극(6822)은 모바일 단말(6810)의 측면에 위치할 수 있고, 음극 전극(6823), 지문 센서(6830) 및 습도 센서(6830)는 모바일 단말(6810)의 하단에 위치할 수 있다.

모바일 단말(6810)은 서버(6850)로부터 미리 등록된 사용자의 지문 정보 및 심전도 파형을 나타내는 참조 지문 정보 및 참조 심전도 파형에 대한 정보를 획득할 수 있다. 모바일 단말(6810)은 지문 센서(6830)에서 획득한 지문 정보와 참조 지문 정보간의 유사도를 나타내는 제1 유사도 및 심전도 센서에서 획득한 심전도 파형과 참조 심전도 파형의 유사도를 나타내는 제2 유사도에 습도 레벨에 의해 결정되는 제1 임계값, 제2 임계값, 제1 가중치 및 제2 가중치를 적용하여, 사용자가 미리 등록된 사용자와 일치하는지 여부를 나타내는 혼합 유사도를 추출할 수 있다. 일 실시예에서, 모바일 단말(6810)은 습도 센서(6840)에서 획득한 습도 레벨을 서버(6850)에 전송할 수 있다. 서버(6850)는 습도 레벨에 따른 모바일 단말(6810)로부터 수신한 습도 레벨을 기초로 소정의 참조 정보로부터 제1 임계값, 제2 임계값, 제1 가중치 및 제2 가중치를 추출하거나, 미리 저장된 복수 개의 지문 정보 및 미리 저장된 복수 개의 심전도 파형의 품질과 습도 레벨과의 관계를 고려하여 제1 임계값, 제2 임계값, 제1 가중치 및 제2 가중치를 설정할 수 있고, 제1 임계값, 제2 임계값, 제1 가중치 및 제2 가중치를 모바일 단말(6810)에 전송할 수 있다. 모바일 단말(6810)은 서버(6850)로부터 수신한 제1 임계값, 제2 임계값, 제1 가중치 및 제2 가중치를 제1 유사도 및 제2 유사도에 적용하여 혼합 유사도를 추출할 수 있다.

모바일 단말(6810)은 혼합 유사도를 이용하여 사용자가 미리 등록된 사용자인지 여부를 인증할 수 있다. 예를 들어, 모바일 단말(6810)은 혼합 유사도가 소정의 임계 혼합값보다 클 경우, 사용자를 미리 등록된 사용자로 인증하고, 사용자가 미리 등록된 사용자라는 인증 정보를 서버(6850)에 전송할 수 있다.

일 실시예에서, 서버(6850)는 도 32에서 설명한 룩업 테이블(6410)을 모바일 단말(6810)에 전송할 수도 있고, 룩업 테이블(6410)의 엔트리 값(습도 레벨에 따른 제1 임계값, 제2 임계값, 제1 가중치 및 제2 가중치)을 전송할 수도 있다. 이 경우, 모바일 단말(6810)은 룩업 테이블(6410) 또는 룩업 테이블(6410)의 엔트리 값을 참조하여 습도 센서(6840)에서 획득한 습도 레벨을 기초로 소정의 참조 정보로부터 제1 유사도, 제2 유사도, 제1 가중치 및 제2 가중치를 추출할 수 있다. 모바일 단말(6810)은 추출한 제1 유사도, 제2 유사도, 제1 가중치 및 제2 가중치를 적용하여 혼합 유사도를 추출할 수 있다. 서버(6850)는 모바일 단말(6810)로부터 수신한 인증 정보를 이용하여 사용자의 서버(6850)로의 접근을 허용할 수 있다.

도 37은 본 발명의 제6 실시예에 따른 인증 방법을 나타낸 동작 흐름도이며, 상기 도 37을 참조하면, 인증 장치는 사용자의 지문 정보 및 심전도 파형을 획득할 수 있다(6910).

또한, 인증 장치는 사용자의 피부의 습도 레벨을 획득할 수 있다(6920).

또한, 인증 장치는 참조 지문 정보와 지문 정보간의 유사도를 나타내는 제1 유사도 및 참조 심전도 파형과 심전도 파형간의 유사도를 나타내는 제2 유사도를 연산할 수 있다(6930).

또한, 인증 장치는 제1 유사도 및 제2 유사도를 습도 레벨을 기초로 적응적으로 조절하여, 참조 지문 정보 및 참조 심전도 파형에 대응하는 미리 등록된 사용자와 사용자가 일치하는지 여부를 나타내는 혼합 유사도를 추출할 수 있다(6940).

또한, 인증 장치는 혼합 유사도를 이용하여 사용자가 미리 등록된 사용자인지 여부를 인증할 수 있다(6950).

도 37에 도시된 일 실시예에 따른 인증 방법에는 도 29 내지 도 36을 통해 설명된 내용이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.

도 38은 본 발명의 제6 실시예의 또 다른 일 실시 형태에 따른 인증 방법을 나타낸 동작 흐름도이며, 상기 도 38을 참조하면, 인증 장치는 사용자의 복수 개의 생체 신호를 획득할 수 있다(61010).

또한, 인증 장치는 사용자의 피부의 습도 레벨을 획득할 수 있다(61020).

상기 인증 장치는 복수 개의 생체 신호 각각과, 복수 개의 참조 생체 신호 중 복수 개의 생체 신호 각각에 대응하는 참조 생체 신호간의 유사도를 나타내는, 복수 개의 생체 신호 각각의 개별 유사도를 연산할 수 있다(61030).

또한, 인증 장치는 복수 개의 생체 신호 각각의 개별 유사도를 습도 레벨을 기초로 적응적으로 조절하여, 복수 개의 생체 신호에 대응하는 미리 등록된 사용자와 사용자가 일치하는지 여부를 나타내는 혼합 유사도를 추출할 수 있다(61040).

또한, 인증 장치는 혼합 유사도를 이용하여 사용자가 미리 등록된 사용자인지 여부를 인증할 수 있다(61050).

도 38에 도시된 다른 일 실시예에 따른 인증 방법에는 도 29 내지 도 36을 통해 설명된 내용이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상

의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수의 처리 요소(processing

element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

[ 실시예 7] 심전도를 이용한 사용자 인증 모바일 디바이스 (1)

도 39는 본 발명의 제7 실시예와 관련된 모바일 디바이스를 설명하기 위한 블록도이고, 도 40 및 도 41은 본 발명의 제7 실시예와 관련된 모바일 디바이스의 일 예를 서로 다른 방향에서 바라본 개념도이다.

상기 모바일 디바이스(7100)는 무선 통신부(7110), 입력부(7120), 감지부(7140), 출력부(7150), 인터페이스부(7160), 메모리(7170), 제어부(7180) 및 전원 공급부(7190) 등을 포함할 수 있다. 도 39에 도시된 구성요소들은 모바일 디바이스를 구현하는데 있어서 필수적인 것은 아니어서, 본 실시예에서 설명되는 모바일 디바이스는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.

보다 구체적으로, 상기 구성요소들 중 무선 통신부(7110)는, 모바일 디바이스(7100)와 무선 통신 시스템 사이, 모바일 디바이스(7100)와 다른 모바일 디바이스(7100) 사이, 또는 모바일 디바이스(7100)와 외부서버 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 상기 무선 통신부(7110)는, 모바일 디바이스(7100)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.

이러한 무선 통신부(7110)는, 방송 수신 모듈(7111), 이동통신 모듈(7112), 무선 인터넷 모듈(7113), 근거리 통신 모듈(7114), 위치정보 모듈(7115) 중 적어도 하나를 포함할 수 있다.

입력부(7120)는, 영상 신호 입력을 위한 카메라(7121) 또는 영상 입력부, 오디오 신호 입력을 위한 마이크로폰(microphone, 722), 또는 오디오 입력부, 사용자로부터 정보를 입력받기 위한 사용자 입력부(7123, 예를 들어, 터치키(touch key), 푸시키(mechanical key) 등)를 포함할 수 있다. 입력부(7120)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.

센싱부(7140)는 모바일 디바이스 내 정보, 모바일 디바이스를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센싱부(7140)는 근접센서(7141, proximity sensor), 조도 센서(7142, illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라(7121 참조)), 마이크로폰(microphone, 7122 참조), 배터리 게이지(battery gauge), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다. 한편, 본 실시예에 개시된 모바일 디바이스는, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다.

출력부(7150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부(7151), 음향 출력부(7152), 햅팁 모듈(7153), 광 출력부(7154) 중 적어도 하나를 포함할 수 있다. 디스플레이부(7151)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 모바일 디바이스(7100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(7123)로써 기능함과 동시에, 모바일 디바이스(7100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.

인터페이스부(7160)는 모바일 디바이스(7100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행한다. 이러한 인터페이스부(7160)는, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 중 적어도 하나를 포함할 수 있다. 모바일 디바이스(7000)에서는, 상기 인터페이스부(7160)에 외부 기기가 연결되는 것에 대응하여, 연결된 외부 기기와 관련된 적절할 제어를 수행할 수 있다.

또한, 메모리(7170)는 모바일 디바이스(7100)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(7170)는 모바일 디바이스(7100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 모바일 디바이스(7100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는, 모바일 디바이스(7100)의 기본적인 기능(예를 들어, 전화 착신, 발신 기능, 메시지 수신, 발신 기능)을 위하여 출고 당시부터 모바일 디바이스(7100)상에 존재할 수 있다. 한편, 응용 프로그램은, 메모리(7170)에 저장되고, 모바일 디바이스(7100) 상에 설치되어, 제어부(7180)에 의하여 상기 모바일 디바이스의 동작(또는 기능)을 수행하도록 구동될 수 있다.

제어부(7180)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 모바일 디바이스(7100)의 전반적인 동작을 제어한다. 제어부(7180)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(7170)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.

또한, 제어부(7180)는 메모리(7170)에 저장된 응용 프로그램을 구동하기 위하여, 도 39와 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제어부(7180)는 상기 응용 프로그램의 구동을 위하여, 모바일 디바이스(7100)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.

전원공급부(7190)는 제어부(7180)의 제어 하에서, 외부의 전원, 내부의 전원을 인가 받아 모바일 디바이스(7100)에 포함된 각 구성요소들에 전원을 공급한다. 이러한 전원공급부(190)는 배터리를 포함하며, 상기 배터리는 내장형 배터리 또는 교체가능한 형태의 배터리가 될 수 있다.

상기 각 구성요소들 중 적어도 일부는, 이하에서 설명되는 다양한 실시 예들에 따른 모바일 디바이스의 동작, 제어, 또는 제어방법을 구현하기 위하여 서로 협력하여 동작할 수 있다. 또한, 상기 모바일 디바이스의 동작, 제어, 또는 제어방법은 상기 메모리(7170)에 저장된 적어도 하나의 응용 프로그램의 구동에 의하여 모바일 디바이스 상에서 구현될 수 있다.

이하에서는, 위에서 살펴본 모바일 디바이스(7100)를 통하여 구현되는 다양한 실시 예들을 살펴보기에 앞서, 위에서 열거된 구성요소들에 대하여 도 39를 참조하여 보다 구체적으로 살펴본다.

먼저, 무선 통신부(7110)에 대하여 살펴보면, 무선 통신부(7110)의 방송 수신 모듈(7111)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 상기 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 적어도 두 개의 방송 채널들에 대한 동시 방송 수신 또는 방송 채널 스위칭을 위해 둘 이상의 상기 방송 수신 모듈이 상기 모바일 디바이스(7100)에 제공될 수 있다.

상기 방송 관리 서버는, 방송 신호 및/또는 방송 관련 정보를 생성하여 송신하는 서버 또는 기 생성된 방송 신호 및/또는 방송 관련 정보를 제공받아 단말기에 송신하는 서버를 의미할 수 있다. 상기 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다.

상기 방송 신호는 디지털 방송 신호의 송수신을 위한 기술표준들(또는 방송방식, 예를 들어, ISO, IEC, DVB, ATSC 등) 중 적어도 하나에 따라 부호화될 수 있으며, 방송 수신 모듈(7111)은 상기 기술표준들에서 정한 기술규격에 적합한 방식을 이용하여 상기 디지털 방송 신호를 수신할 수 있다.

상기 방송 관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련된 정보를 의미할 수 있다.

상기 방송 관련 정보는, 이동통신망을 통하여도 제공될 수 있다. 이러한 경우에는 상기 이동통신 모듈(7112)에 의해 수신될 수 있다.

상기 방송 관련 정보는 예를 들어, DMB(Digital Multimedia Broadcasting)의 EPG(Electronic Program Guide) 또는 DVB-H(Digital Video Broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 다양한 형태로 존재할 수 있다. 방송 수신 모듈(7111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(7160)에 저장될 수 있다.

이동통신 모듈(7112)은, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EVDO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다.

상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.

무선 인터넷 모듈(7113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 모바일 디바이스(7100)에 내장되거나 외장될 수 있다. 무선 인터넷 모듈(7113)은 무선 인터넷 기술들에 따른 통신망에서 무선 신호를 송수신하도록 이루어진다.

무선 인터넷 기술로는, 예를 들어 WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등이 있으며, 상기 무선 인터넷 모듈(7113)은 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다.

WiBro, HSDPA, HSUPA, GSM, CDMA, WCDMA, LTE, LTE-A 등에 의한 무선인터넷 접속은 이동통신망을 통해 이루어진다는 관점에서 본다면, 상기 이동통신망을 통해 무선인터넷 접속을 수행하는 상기 무선 인터넷 모듈(7113)은 상기 이동통신 모듈(7112)의 일종으로 이해될 수도 있다.

근거리 통신 모듈(7114)은 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.

이러한, 근거리 통신 모듈(7114)은, 근거리 무선 통신망(Wireless Area Networks)을 통해 모바일 디바이스(7100)와 무선 통신 시스템 사이, 모바일 디바이스(7100)와 다른 모바일 디바이스(7100) 사이, 또는 모바일 디바이스(7100)와 다른 모바일 디바이스(7100, 또는 외부서버)가 위치한 네트워크 사이의 무선 통신을 지원할 수 있다. 상기 근거리 무선 통신망은 근거리 무선 사용자 통신망(Wireless Personal Area Networks)일 수 있다.

여기에서, 다른 모바일 디바이스(7100)는 본 발명의 실시예에 따른 모바일 디바이스(7100)와 데이터를 상호 교환하는 것이 가능한 (또는 연동 가능한) 웨어러블 디바이스(wearable device, 예를 들어, 스마트워치(smartwatch), 스마트 글래스(smart glass), HMD(head mounted display))가 될 수 있다. 근거리 통신 모듈(7114)은, 모바일 디바이스(7100) 주변에, 상기 모바일 디바이스(7100)와 통신 가능한 웨어러블 디바이스를 감지(또는 인식)할 수 있다. 나아가, 제어부(7180)는 상기 감지된 웨어러블 디바이스가 본 발명에 따른 모바일 디바이스(7100)와 통신하도록 인증된 디바이스인 경우, 모바일 디바이스(7100)에서 처리되는 데이터의 적어도 일부를, 상기 근거리 통신 모듈(7114)을 통해 웨어러블 디바이스로 전송할 수 있다. 따라서, 웨어러블 디바이스의 사용자는, 모바일 디바이스(7100)에서 처리되는 데이터를, 웨어러블 디바이스를 통해 이용할 수 있다. 예를 들어, 이에 따르면 사용자는, 모바일 디바이스(7100)에 전화가 수신된 경우, 웨어러블 디바이스를 통해 전화 통화를 수행하거나, 모바일 디바이스(7100)에 메시지가 수신된 경우, 웨어러블 디바이스를 통해 상기 수신된 메시지를 확인하는 것이 가능하다.

위치정보 모듈(7115)은 모바일 디바이스의 위치(또는 현재 위치)를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Positioning System) 모듈 또는 WiFi(Wireless Fidelity) 모듈이 있다. 예를 들어, 모바일 디바이스는 GPS모듈을 활용하면, GPS 위성에서 보내는 신호를 이용하여 모바일 디바이스의 위치를 획득할 수 있다. 다른 예로서, 모바일 디바이스는 Wi-Fi모듈을 활용하면, Wi-Fi모듈과 무선신호를 송신 또는 수신하는 무선 AP(Wireless Access Point)의 정보에 기반하여, 모바일 디바이스의 위치를 획득할 수 있다. 필요에 따라서, 위치정보모듈(7115)은 치환 또는 부가적으로 모바일 디바이스의 위치에 관한 데이터를 얻기 위해 무선 통신부(7110)의 다른 모듈 중 어느 기능을 수행할 수 있다. 위치정보모듈(7115)은 모바일 디바이스의 위치(또는 현재 위치)를 획득하기 위해 이용되는 모듈로, 모바일 디바이스의 위치를 직접적으로 계산하거나 획득하는 모듈로 한정되지는 않는다.

다음으로, 입력부(7120)는 영상 정보(또는 신호), 오디오 정보(또는 신호), 데이터, 또는 사용자로부터 입력되는 정보의 입력을 위한 것으로서, 영상 정보의 입력을 위하여, 모바일 디바이스(7100) 는 하나 또는 복수의 카메라(7121)를 구비할 수 있다. 카메라(7121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(7151)에 표시되거나 메모리(7170)에 저장될 수 있다. 한편, 모바일 디바이스(7100)에 구비되는 복수의 카메라(7121)는 매트릭스 구조를 이루도록 배치될 수 있으며, 이와 같이 매트릭스 구조를 이루는 카메라(7121)를 통하여, 모바일 디바이스(7100)에는 다양한 각도 또는 초점을 갖는 복수의 영상정보가 입력될 수 있다. 또한, 복수의 카메라(7121)는 입체영상을 구현하기 위한 좌 영상 및 우 영상을 획득하도록, 스트레오 구조로 배치될 수 있다.

마이크로폰(7122)은 외부의 음향 신호를 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 모바일 디바이스(7100)에서 수행 중인 기능(또는 실행 중인 응용 프로그램)에 따라 다양하게 활용될 수 있다. 한편, 마이크로폰(7122)에는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.

사용자 입력부(7123)는 사용자로부터 정보를 입력받기 위한 것으로서, 사용자 입력부(7123)를 통해 정보가 입력되면, 제어부(7180)는 입력된 정보에 대응되도록 모바일 디바이스(7100)의 동작을 제어할 수 있다. 이러한, 사용자 입력부(7123)는 기계식(mechanical) 입력수단(또는, 메커니컬 키, 예를 들어, 모바일 디바이스(7100)의 전·후면 또는 측면에 위치하는 버튼, 돔 스위치(dome switch), 조그 휠, 조그 스위치 등) 및 터치식 입력수단을 포함할 수 있다. 일 예로서, 터치식 입력수단은, 소프트웨어적인 처리를 통해 터치스크린에 표시되는 가상 키(virtual key), 소프트 키(soft key) 또는 비주얼 키(visual key)로 이루어지거나, 상기 터치스크린 이외의 부분에 배치되는 터치 키(touch key)로 이루어질 수 있 한편, 상기 가상키 또는 비주얼 키는, 다양한 형태를 가지면서 터치스크린 상에 표시되는 것이 가능하며, 예를 들어, 그래픽(graphic), 텍스트(text), 아이콘(icon), 비디오(video) 또는 이들의 조합으로 이루어질 수 있다.

한편, 센싱부(7140)는 모바일 디바이스 내 정보, 모바일 디바이스를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하고, 이에 대응하는 센싱 신호를 발생시킨다. 제어부(7180)는 이러한 센싱 신호에 기초하여, 모바일 디바이스(7100)의 구동 또는 동작을 제어하거나, 모바일 디바이스(100)에 설치된 응용 프로그램과 관련된 데이터 처리, 기능 또는 동작을 수행 할 수 있다. 센싱부(7140)에 포함될 수 있는 다양한 센서 중 대표적인 센서들의 대하여, 보다 구체적으로 살펴본다.

먼저, 근접 센서(7141)는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선 등을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 이러한 근접 센서(7141)는 앞서 살펴본 터치 스크린에 의해 감싸지는 모바일 디바이스의 내부 영역 또는 상기 터치 스크린의 근처에 근접 센서(7141)가 배치될 수 있다.

상기 근접 센서(7141)의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전 용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 터치 스크린이 정전식인 경우에, 근접 센서(7141)는 전도성을 갖는 물체의 근접에 따른 전계의 변화로 상기 물체의 근접을 검출하도록 구성될 수 있다. 이 경우 터치 스크린(또는 터치 센서) 자체가 근접 센서로 분류될 수 있다.

한편, 설명의 편의를 위해, 터치 스크린 상에 물체가 접촉되지 않으면서 근접되어 상기 물체가 상기 터치 스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(proximity touch)"라고 명명하고, 상기 터치 스크린 상에 물체가 실제로 접촉되는 행위를 "접촉 터치(contact touch)"라고 명명한다. 상기 터치 스크린 상에서 물체가 근접 터치 되는 위치라 함은, 상기 물체가 근접 터치될 때 상기 물체가 상기 터치 스크린에 대해 수직으로 대응되는 위치를 의미한다. 상기 근접 센서(7141)는, 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지할 수 있다. 한편, 제어부(7180)는 위와 같이, 근접 센서(7141)를 통해 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 데이터(또는 정보)를 처리하며, 나아가, 처리된 데이터에 대응하는 시각적인 정보를 터치 스크린상에 출력시킬 수 있다. 나아가, 제어부(7180)는, 터치 스크린 상의 동일한 지점에 대한 터치가, 근접 터치인지 또는 접촉 터치인지에 따라, 서로 다른 동작 또는 데이터(또는 정보)가 처리되도록 모바일 디바이스(7100)를 제어할 수 있다.

터치 센서는 저항막 방식, 정전용량 방식, 적외선 방식, 초음파 방식, 자기장 방식 등 여러 가지 터치방식 중 적어도 하나를 이용하여 터치 스크린(또는 디스플레이부(7151))에 가해지는 터치(또는 터치입력)을 감지한다.

일 예로서, 터치 센서는, 터치 스크린의 특정 부위에 가해진 압력 또는 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는, 터치 스크린 상에 터치를 가하는 터치 대상체가 터치 센서 상에 터치 되는 위치, 면적, 터치 시의 압력, 터치 시의 정전 용량 등을 검출할 수 있도록 구성될 수 있다. 여기에서, 터치 대상체는 상기 터치 센서에 터치를 인가하는 물체로서, 예를 들어, 손가락, 터치펜 또는 스타일러스 펜(Stylus pen), 포인터 등이 될 수 있다.

이와 같이, 터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(7180)로 전송한다. 이로써, 제어부(7180)는 디스플레이부(7151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다. 여기에서, 터치 제어기는, 제어부(7180)와 별도의 구성요소일 수 있고, 제어부(7180) 자체일 수 있다.

한편, 제어부(7180)는, 터치 스크린(또는 터치 스크린 이외에 구비된 터치키)을 터치하는, 터치 대상체의 종류에 따라 서로 다른 제어를 수행하거나, 동일한 제어를 수행할 수 있다. 터치 대상체의 종류에 따라 서로 다른 제어를 수행할지 또는 동일한 제어를 수행할 지는, 현재 모바일 디바이스(7100)의 동작상태 또는 실행 중인 응용 프로그램에 따라 결정될 수 있다.

한편, 앞서 살펴본 터치 센서 및 근접 센서는 독립적으로 또는 조합되어, 터치 스크린에 대한 숏(또는 탭) 터치(short touch), 롱 터치(long touch), 멀티 터치(multi touch), 드래그 터치(drag touch), 플리크 터치(flick touch), 핀치-인 터치(pinch-in touch), 핀치-아웃 터치(pinch-out 터치), 스와이프(swype) 터치, 호버링(hovering) 터치 등과 같은, 다양한 방식의 터치를 센싱할 수 있다.

초음파 센서는 초음파를 이용하여, 감지대상의 위치정보를 인식할 수 있다. 한편 제어부(7180)는 광 센서와 복수의 초음파 센서로부터 감지되는 정보를 통해, 파동 발생원의 위치를 산출하는 것이 가능하다. 파동 발생원의 위치는, 광이 초음파보다 매우 빠른 성질, 즉, 광이 광 센서에 도달하는 시간이 초음파가 초음파 센서에 도달하는 시간보다 매우 빠름을 이용하여, 산출될 수 있다. 보다 구체적으로 광을 기준 신호로 초음파가 도달하는 시간과의 시간차를 이용하여 파동 발생원의 위치가 산출될 수 있다.

한편, 입력부(7120)의 구성으로 살펴본, 카메라(7121)는 카메라 센서(예를 들어, CCD, CMOS 등), 포토 센서(또는 이미지 센서) 및 레이저 센서 중 적어도 하나를 포함한다.

카메라(7121)와 레이저 센서는 서로 조합되어, 3차원 입체영상에 대한 감지대상의 터치를 감지할 수 있다. 포토 센서는 디스플레이 소자에 적층될 수 있는데, 이러한 포토 센서는 터치 스크린에 근접한 감지대상의 움직임을 스캐닝하도록 이루어진다. 보다 구체적으로, 포토 센서는 행/열에 Photo Diode와 TR(Transistor)를 실장하여 Photo Diode에 인가되는 빛의 양에 따라 변화되는 전기적 신호를 이용하여 포토 센서 위에 올려지는 내용물을 스캔한다. 즉, 포토 센서는 빛의 변화량에 따른 감지대상의 좌표 계산을 수행하며, 이를 통하여 감지대상의 위치정보가 획득될 수 있다.

디스플레이부(7151)는 모바일 디바이스(7100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 디스플레이부(7151)는 모바일 디바이스(7100)에서 구동되는 응용 프로그램의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다.

또한, 상기 디스플레이부(7151)는 입체영상을 표시하는 입체 디스플레이부로서 구성될 수 있다.

상기 입체 디스플레이부에는 스테레오스코픽 방식(안경 방식), 오토 스테레오스코픽 방식(무안경 방식), 프로젝션 방식(홀로그래픽 방식) 등의 3차원 디스플레이 방식이 적용될 수 있다.

일반적으로 3차원 입체 영상은 좌 영상(좌안용 영상)과 우 영상(우안용 영상)으로 구성된다. 좌 영상과 우 영상이 3차원 입체 영상으로 합쳐지는 방식에 따라, 좌 영상과 우 영상을 한 프레임 내 상하로 배치하는 탑-다운(top-down) 방식, 좌 영상과 우 영상을 한 프레임 내 좌우로 배치하는 L-to-R(left-to-right, side by side)방식, 좌 영상과 우 영상의 조각들을 타일 형태로 배치하는 체커 보드(checker board) 방식, 좌 영상과 우 영상을 열 단위 또는 행 단위로 번갈아 배치하는 인터레이스드(interlaced) 방식, 그리고 좌 영상과 우 영상을 시간 별로 번갈아 표시하는 시분할(time sequential, frame by frame) 방식 등으로 나뉜다.

또한, 3차원 썸네일 영상은 원본 영상 프레임의 좌 영상 및 우 영상으로부터 각각 좌 영상 썸네일 및 우 영상 썸네일을 생성하고, 이들이 합쳐짐에 따라 하나의 영상으로 생성될 수 있다. 일반적으로 썸네일(thumbnail)은 축소된 화상 또는 축소된 정지영상을 의미한다. 이렇게 생성된 좌 영상 썸네일과 우 영상 썸네일은 좌 영상과 우 영상의 시차에 대응하는 깊이감(depth)만큼 화면 상에서 좌우 거리차를 두고 표시됨으로써 입체적인 공간감을 나타낼 수 있다.

3차원 입체영상의 구현에 필요한 좌 영상과 우 영상은 입체 처리부에 의하여 입체 디스플레이부에 표시될 수 있다. 입체 처리부는 3D 영상(기준시점의 영상과 확장시점의 영상)을 입력 받아 이로부터 좌 영상과 우 영상을 설정하거나, 2D 영상을 입력 받아 이를 좌 영상과 우 영상으로 전환하도록 이루어진다.

음향 출력부(7152)는 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(7110)로부터 수신되거나 메모리(7170)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력부(7152)는 모바일 디바이스(7100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력부(7152)에는 리시버(receiver), 스피커(speaker), 버저(buzzer) 등이 포함될 수 있다.

햅틱 모듈(haptic module)(7153)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(7153)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 될 수 있다. 햅틱 모듈(153)에서 발생하는 진동의 세기와 패턴 등은 사용자의 선택 또는 제어부의 설정에 의해 제어될 수 있다. 예를 들어, 상기 햅틱 모듈(7153)은 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.

햅틱 모듈(7153)은, 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력, 피부 표면에 대한 스침, 전극(electrode)의 접촉, 정전기력 등의 자극에 의한 효과와, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다.

햅틱 모듈(7153)은 직접적인 접촉을 통해 촉각 효과를 전달할 수 있을 뿐만 아니라, 사용자가 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. 햅틱 모듈(7153)은 모바일 디바이스(7100)의 구성 형태에 따라 2개 이상이 구비될 수 있다.

광출력부(7154)는 모바일 디바이스(7100)의 광원의 빛을 이용하여 이벤트 발생을 알리기 위한 신호를 출력한다. 모바일 디바이스(7100)에서 발생 되는 이벤트의 예로는 메시지 수신, 호 신호 수신, 부재중 전화, 알람, 일정 알림, 이메일 수신, 애플리케이션을 통한 정보 수신 등이 될 수 있다.

광출력부(7154)가 출력하는 신호는 모바일 디바이스가 전면이나 후면으로 단색이나 복수색의 빛을 발광함에 따라 구현된다. 상기 신호 출력은 모바일 디바이스가 사용자의 이벤트 확인을 감지함에 의하여 종료될 수 있다.

인터페이스부(7160)는 모바일 디바이스(7100)에 연결되는 모든 외부 기기와의 통로 역할을 한다. 인터페이스부(7160)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 모바일 디바이스(7100) 내부의 각 구성요소에 전달하거나, 모바일 디바이스(7100) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트(port), 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 등이 인터페이스부(7160)에 포함될 수 있다.

한편, 식별 모듈은 모바일 디바이스(7100)의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(user identify module; UIM), 가입자 인증 모듈(subscriber identity module; SIM), 범용 사용자 인증 모듈(universal subscriber identity module; USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(이하 '식별장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 상기 인터페이스부(7160)를 통하여 모바일 디바이스(7100)와 연결될 수 있다.

또한, 상기 인터페이스부(7160)는 모바일 디바이스(7100)가 외부 크래들(cradle)과 연결될 때 상기 크래들로부터의 전원이 상기 모바일 디바이스(7100)에 공급되는 통로가 되거나, 사용자에 의해 상기 크래들에서 입력되는 각종 명령 신호가 상기 모바일 디바이스(7100)로 전달되는 통로가 될 수 있다. 상기 크래들로부터 입력되는 각종 명령 신호 또는 상기 전원은 상기 모바일 디바이스(7100)가 상기 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수 있다.

메모리(7170)는 제어부(7180)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)을 임시 저장할 수도 있다. 상기 메모리(170)는 상기 터치 스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.

메모리(7170)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 모바일 디바이스(7100)는 인터넷(internet)상에서 상기 메모리(7170)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작될 수도 있다.

한편, 앞서 살펴본 것과 같이, 제어부(7180)는 응용 프로그램과 관련된 동작과, 통상적으로 모바일 디바이스(7100)의 전반적인 동작을 제어한다. 예를 들어, 제어부(7180)는 상기 모바일 디바이스의 상태가 설정된 조건을 만족하면, 애플리케이션들에 대한 사용자의 제어 명령의 입력을 제한하는 잠금 상태를 실행하거나, 해제할 수 있다.

또한, 제어부(7180)는 음성 통화, 데이터 통신, 화상 통화 등과 관련된 제어 및 처리를 수행하거나, 터치 스크린 상에서 행해지는 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 수행할 수 있다. 나아가 제어부(7180)는 이하에서 설명되는 다양한 실시 형태들은, 본 발명의 제7 실시예에 따른 모바일 디바이스(7100) 상에서 구현하기 위하여, 앞서 살펴본 구성요소들을 중 어느 하나 또는 복수를 조합하여 제어할 수 있다.

전원 공급부(7190)는 제어부(7180)의 제어에 의해 외부의 전원, 내부의 전원을 인가 받아 각 구성요소들의 동작에 필요한 전원을 공급한다. 전원공급부(7190)는 배터리를 포함하며, 배터리는 충전 가능하도록 이루어지는 내장형 배터리가 될 수 있으며, 충전 등을 위하여 단말기 바디에 착탈 가능하게 결합될 수 있다.

또한, 전원공급부(7190)는 연결포트를 구비할 수 있으며, 연결포트는 배터리의 충전을 위하여 전원을 공급하는 외부 충전기가 전기적으로 연결되는 인터페이스(160)의 일 예로서 구성될 수 있다.

다른 예로서, 전원공급부(7190)는 상기 연결포트를 이용하지 않고 무선방식으로 배터리를 충전하도록 이루어질 수 있다. 이 경우에, 전원공급부(7190)는 외부의 무선 전력 전송장치로부터 자기 유도 현상에 기초한 유도 결합(Inductive Coupling) 방식이나 전자기적 공진 현상에 기초한 공진 결합(Magnetic Resonance Coupling) 방식 중 하나 이상을 이용하여 전력을 전달받을 수 있다.

한편, 이하에서 다양한 실시 예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.

도 40 및 41을 참조하면, 모바일 디바이스(7100)는 바 형태의 단말기 바디를 구비하고 있다. 다만, 본 발명의 실시예는 여기에 한정되지 않고 시계 타입, 클립 타입, 글래스 타입 또는 2 이상의 바디들이 상대 이동 가능하게 결합되는 폴더 타입, 플립 타입, 슬라이드 타입, 스윙 타입, 스위블 타입 등 다양한 구조에 적용될 수 있다. 모바일 디바이스의 특정 유형에 관련될 것이나, 모바일 디바이스의 특정유형에 관한 설명은 다른 타입의 모바일 디바이스에 일반적으로 적용될 수 있다.

여기에서, 단말기 바디는 모바일 디바이스(7100)를 적어도 하나의 집합체로 보아 이를 지칭하는 개념으로 이해될 수 있다.

모바일 디바이스(7100)는 외관을 이루는 케이스(예를 들면, 프레임, 하우징, 커버 등)를 포함한다. 도시된 바와 같이, 모바일 디바이스(7100)는 프론트 케이스(7101)와 리어 케이스(7102)를 포함할 수 있다. 프론트 케이스(7101)와 리어 케이스(7102)의 결합에 의해 형성되는 내부공간에는 각종 전자부품들이 배치된다. 프론트 케이스(7101)와 리어케이스(7102) 사이에는 적어도 하나의 미들 케이스가 추가로 배치될 수 있다.

단말기 바디의 전면에는 디스플레이부(7151)가 배치되어 정보를 출력할 수 있다. 도시된 바와 같이, 디스플레이부(7151)의 윈도우(7151a)는 프론트 케이스(7101)에 장착되어 프론트 케이스(7101)와 함께 단말기 바디의 전면을 형성할 수 있다.

경우에 따라서, 리어 케이스(7102)에도 전자부품이 장착될 수 있다. 리어 케이스(7102)에 장착 가능한 전자부품은 착탈 가능한 배터리, 식별 모듈, 메모리 카드 등이 있다. 이 경우, 리어 케이스(7102)에는 장착된 전자부품을 덮기 위한 후면커버(7103)가 착탈 가능하게 결합될 수 있다. 따라서, 후면 커버(7103)가 리어 케이스(7102)로부터 분리되면, 리어 케이스(7102)에 장착된 전자부품은 외부로 노출된다.

도시된 바와 같이, 후면커버(7103)가 리어 케이스(7102)에 결합되면, 리어 케이스(7102)의 측면 일부가 노출될 수 있다. 경우에 따라서, 상기 결합시 리어 케이스(7102)는 후면커버(7103)에 의해 완전히 가려질 수도 있다. 한편, 후면커버(7103)에는 카메라(7121b)나 음향 출력부(7152b)를 외부로 노출시키기 위한 개구부가 구비될 수 있다.

이러한 케이스들(7101, 7102, 7103)은 합성수지를 사출하여 형성되거나 금속, 예를 들어 스테인레스 스틸(STS), 알루미늄(Al), 티타늄(Ti) 등으로 형성될 수도 있다.

모바일 디바이스(7100)는, 복수의 케이스가 각종 전자부품들을 수용하는 내부 공간을 마련하는 위의 예와 달리, 하나의 케이스가 상기 내부 공간을 마련하도록 구성될 수도 있다. 이 경우, 합성수지 또는 금속이 측면에서 후면으로 이어지는 유니 바디의 모바일 디바이스(7100)가 구현될 수 있다.

한편, 모바일 디바이스(7100)는 단말기 바디 내부로 물이 스며들지 않도록 하는 방수부(미도시)를 구비할 수 있다.

예를 들어, 방수부는 윈도우(7151a)와 프론트 케이스(7101) 사이, 프론트 케이스(7101)와 리어 케이스(7102) 사이 또는 리어 케이스(7102)와 후면 커버(7103) 사이에 구비되어, 이들의 결합 시 내부 공간을 밀폐하는 방수부재를 포함할 수 있다.

모바일 디바이스(7100)에는 디스플레이부(7151), 제1 및 제2 음향 출력부(7152a, 7152b), 근접 센서(7141), 조도 센서(7142), 광 출력부(7154), 제1 및 제2 카메라(7121a, 7121b), 제1 및 제2 조작유닛(7123a, 7123b), 마이크로폰(7122), 인터페이스부(7160) 등이 구비될 수 있다.

이하에서는, 도 40 및 도 41에 도시된 바와 같이, 단말기 바디의 전면에 디스플레이부(7151), 제1 음향 출력부(7152a), 근접 센서(7141), 조도 센서(7142), 광 출력부(7154), 제1 카메라(7121a) 및 제1 조작유닛(7123a)이 배치되고, 단말기 바디의 측면에 제2 조작유닛(7123b), 마이크로폰(7122) 및 인터페이스부(7160)이 배치되며, 단말기 바디의 후면에 제2 음향 출력부(7152b) 및 제2 카메라(7121b)가 배치된 모바일 디바이스(7100)를 일 예로 들어 설명한다.

다만, 이들 구성은 이러한 배치에 한정되는 것은 아니다. 이들 구성은 필요에 따라 제외 또는 대체되거나, 다른 면에 배치될 수 있다. 예를 들어, 단말기 바디의 전면에는 제1 조작유닛(7123a)이 구비되지 않을 수 있으며, 제2 음향 출력부(7152b)는 단말기 바디의 후면이 아닌 단말기 바디의 측면에 구비될 수 있다.

디스플레이부(7151)는 모바일 디바이스(7100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 디스플레이부(7151)는 모바일 디바이스(7100)에서 구동되는 응용 프로그램의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다.

디스플레이부(7151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.

또한, 디스플레이부(7151)는 모바일 디바이스(7100)의 구현 형태에 따라 2개 이상 존재할 수 있다. 이 경우, 모바일 디바이스(7100)에는 복수의 디스플레이부들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.

디스플레이부(7151)는 터치 방식에 의하여 제어 명령을 입력 받을 수 있도록, 디스플레이부(7151)에 대한 터치를 감지하는 터치센서를 포함할 수 있다. 이를 이용하여, 디스플레이부(7151)에 대하여 터치가 이루어지면, 터치센서는 상기 터치를 감지하고, 제어부(7180)는 이에 근거하여 상기 터치에 대응하는 제어명령을 발생시키도록 이루어질 수 있다. 터치 방식에 의하여 입력되는 내용은 문자 또는 숫자이거나, 각종 모드에서의 지시 또는 지정 가능한 메뉴항목 등일 수 있다.

한편, 터치센서는, 터치패턴을 구비하는 필름 형태로 구성되어 윈도우(7151a)와 윈도우(7151a)의 배면 상의 디스플레이(미도시) 사이에 배치되거나, 윈도우(7151a)의 배면에 직접 패터닝되는 메탈 와이어가 될 수도 있다.

또는, 터치센서는 디스플레이와 일체로 형성될 수 있다. 예를 들어, 터치센서는, 디스플레이의 기판 상에 배치되거나, 디스플레이의 내부에 구비될 수 있다.

이처럼, 디스플레이부(7151)는 터치센서와 함께 터치 스크린을 형성할 수 있으며, 이 경우에 터치 스크린은 사용자 입력부(7123, 도 39 참조)로 기능할 수 있다. 경우에 따라, 터치 스크린은 제1조작유닛(7123a)의 적어도 일부 기능을 대체할 수 있다.

제1 음향 출력부(7152a)는 통화음을 사용자의 귀에 전달시키는 리시버(receiver)로 구현될 수 있으며, 제2 음향 출력부(7152b)는 각종 알람음이나 멀티미디어의 재생음을 출력하는 라우드 스피커(loud speaker)의 형태로 구현될 수 있다.

디스플레이부(7151)의 윈도우(7151a)에는 제1 음향 출력부(7152a)로부터 발생되는 사운드의 방출을 위한 음향홀이 형성될 수 있다. 다만, 본 발명은 이에 한정되는 것은 아니고, 상기 사운드는 구조물 간의 조립틈(예를 들어, 윈도우(7151a)와 프론트 케이스(7101) 간의 틈)을 따라 방출되도록 구성될 수 있다. 이 경우, 외관상 음향 출력을 위하여 독립적으로 형성되는 홀이 보이지 않거나 숨겨져 모바일 디바이스(7100)의 외관이 보다 심플해질 수 있다.

광 출력부(7154)는 이벤트의 발생시 이를 알리기 위한 빛을 출력하도록 이루어진다. 상기 이벤트의 예로는 메시지 수신, 호 신호 수신, 부재중 전화, 알람, 일정 알림, 이메일 수신, 애플리케이션을 통한 정보 수신 등을 들수 있다. 제어부(7180)는 사용자의 이벤트 확인이 감지되면, 빛의 출력이 종료되도록 광 출력부(7154)를 제어할 수 있다.

제1 카메라(7121a)는 촬영 모드 또는 화상통화 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(7151)에 표시될 수 있으며, 메모리(7170)에 저장될 수 있다.

제1 및 제2 조작유닛(7123a, 7123b)은 모바일 디바이스(7100)의 동작을 제어하기 위한 명령을 입력 받기 위해 조작되는 사용자 입력부(7123)의 일 예로서, 조작부(manipulating portion)로도 통칭될 수 있다. 제1 및 제2 조작유닛(7123a, 7123b)은 터치, 푸시, 스크롤 등 사용자가 촉각적인 느낌을 받으면서 조작하게 되는 방식(tactile manner)이라면 어떤 방식이든 채용될 수 있다. 또한, 제1 및 제2 조작유닛(7123a, 7123b)은 근접 터치(proximity touch), 호버링(hovering) 터치 등을 통해서 사용자의 촉각적인 느낌이 없이 조작하게 되는 방식으로도 채용될 수 있다.

본 실시예의 도면에서는 제1 조작유닛(7123a)이 터치키(touch key)인 것으로 예시하나, 본 발명이 이에 한정되는 것은 아니다. 예를 들어, 제1 조작유닛(7123a)은 푸시키(mechanical key)가 되거나, 터치키와 푸시키의 조합으로 구성될 수 있다.

제1 및 제2 조작유닛(7123a, 7123b)에 의하여 입력되는 내용은 다양하게 설정될 수 있다. 예를 들어, 제1 조작유닛(7123a)은 메뉴, 홈키, 취소, 검색 등의 명령을 입력 받고, 제2 조작유닛(7123b)은 제1 또는 제2 음향 출력부(7152a, 7152b)에서 출력되는 음향의 크기 조절, 디스플레이부(7151)의 터치 인식 모드로의 전환 등의 명령을 입력 받을 수 있다.

한편, 단말기 바디의 후면에는 사용자 입력부(7123)의 다른 일 예로서, 후면 입력부(미도시)가 구비될 수 있다.

이러한 후면 입력부는 모바일 디바이스(7100)의 동작을 제어하기 위한 명령을 입력 받기 위해 조작되는 것으로서, 입력되는 내용은 다양하게 설정될 수 있다. 예를 들어, 전원의 온/오프, 시작, 종료, 스크롤 등과 같은 명령, 제1 및 제2 음향 출력부(7152a, 7152b)에서 출력되는 음향의 크기 조절, 디스플레이부(7151)의 터치 인식 모드로의 전환 등과 같은 명령을 입력 받을 수 있다. 후면 입력부는 터치입력, 푸시입력 또는 이들의 조합에 의한 입력이 가능한 형태로 구현될 수 있다.

후면 입력부는 단말기 바디의 두께방향으로 전면의 디스플레이부(7151)와 중첩되게 배치될 수 있다. 일 예로, 사용자가 단말기 바디를 한 손으로 쥐었을 때 검지를 이용하여 용이하게 조작 가능하도록, 후면 입력부는 모바일 디바이스 바디의 후면 상단부에 배치될 수 있다. 다만, 본 발명은 반드시 이에 한정되는 것은 아니며, 후면 입력부의 위치는 변경될 수 있다.

이처럼 모바일 디바이스 바디의 후면에 후면 입력부가 구비되는 경우, 이를 이용한 새로운 형태의 유저 인터페이스가 구현될 수 있다. 또한, 앞서 설명한 터치 스크린 또는 후면 입력부가 단말기 바디의 전면에 구비되는 제1 조작유닛(7123a)의 적어도 일부 기능을 대체하여, 단말기 바디의 전면에 제1 조작유닛(7123a)이 미배치되는 경우, 디스플레이부(7151)가 보다 대화면으로 구성될 수 있다.

한편, 모바일 디바이스(7100)에는 사용자의 지문을 인식하는 지문인식센서가 구비될 수 있으며, 제어부(7180)는 지문 인식센서를 통하여 감지되는 지문정보를 인증수단으로 이용할 수 있다. 상기 지문인식센서는 디스플레이부(7151) 또는 사용자 입력부(7123)에 내장될 수 있다.

마이크로폰(7122)은 사용자의 음성, 기타 소리 등을 입력 받도록 이루어진다. 마이크로폰(7122)은 복수의 개소에 구비되어 스테레오 음향을 입력 받도록 구성될 수 있다.

인터페이스부(7160)는 모바일 디바이스(7100)를 외부기기와 연결시킬 수 있는 통로가 된다. 예를 들어, 인터페이스부(7160)는 다른 장치(예를 들어, 이어폰, 외장 스피커)와의 연결을 위한 접속단자, 근거리 통신을 위한 포트[예를 들어, 적외선 포트(IrDA Port), 블루투스 포트(Bluetooth Port), 무선 랜 포트(Wireless LAN Port) 등], 또는 모바일 디바이스(7100)에 전원을 공급하기 위한 전원공급단자 중 적어도 하나일 수 있다. 이러한 인터페이스부(7160)는 SIM(Subscriber Identification Module) 또는 UIM(User Identity Module), 정보 저장을 위한 메모리 카드 등의 외장형 카드를 수용하는 소켓의 형태로 구현될 수도 있다.

단말기 바디의 후면에는 제2카메라(7121b)가 배치될 수 있다. 이 경우, 제2카메라(7121b)는 제1카메라(7121a)와 실질적으로 반대되는 촬영 방향을 가지게 된다.

제2카메라(7121b)는 적어도 하나의 라인을 따라 배열되는 복수의 렌즈를 포함할 수 있다. 복수의 렌즈는 행렬(matrix) 형식으로 배열될 수도 있다. 이러한 카메라는, '어레이(array) 카메라'로 명명될 수 있다. 제2카메라(7121b)가 어레이 카메라로 구성되는 경우, 복수의 렌즈를 이용하여 다양한 방식으로 영상을 촬영할 수 있으며, 보다 나은 품질의 영상을 획득할 수 있다.

플래시(7124)는 제2카메라(7121b)에 인접하게 배치될 수 있다. 플래시(7124)는 제2카메라(7121b)로 피사체를 촬영하는 경우에 피사체를 향하여 빛을 비추게 된다.

단말기 바디에는 제2 음향 출력부(7152b)가 추가로 배치될 수 있다. 제2 음향 출력부(7152b)는 제1 음향 출력부(7152a)와 함께 스테레오 기능을 구현할 수 있으며, 통화시 스피커폰 모드의 구현을 위하여 사용될 수도 있다.

모바일 디바이스 바디에는 무선 통신을 위한 적어도 하나의 안테나가 구비될 수 있다. 안테나는 모바일 디바이스 바디에 내장되거나, 케이스에 형성될 수 있다. 예를 들어, 방송 수신 모듈(7111, 도 39 참조)의 일부를 이루는 안테나는 모바일 디바이스 바디에서 인출 가능하게 구성될 수 있다. 또는, 안테나는 필름 타입으로 형성되어 후면 커버(7103)의 내측면에 부착될 수도 있고, 도전성 재질을 포함하는 케이스가 안테나로서 기능하도록 구성될 수도 있다.

배터리(7191)는 인터페이스부(7160)에 연결되는 전원 케이블을 통하여 전원을 공급받도록 구성될 수 있다. 또한, 배터리(7191)는 무선충전기기를 통하여 무선충전 가능하도록 구성될 수도 있다. 상기 무선충전은 자기유도방식 또는 공진방식(자기공명방식)에 의하여 구현될 수 있다.

한편, 본 도면에서는 후면 커버(7103)가 배터리(7191)를 덮도록 리어 케이스(7102)에 결합되어 배터리(7191)의 이탈을 제한하고, 배터리(7191)를 외부 충격과 이물질로부터 보호하도록 구성된 것을 예시하고 있다. 배터리(7191)가 단말기 바디에 착탈 가능하게 구성되는 경우, 후면 커버(103)는 리어 케이스(102)에 착탈 가능하게 결합될 수 있다.

모바일 디바이스(7100)에는 외관을 보호하거나, 모바일 디바이스(7100)의 기능을 보조 또는 확장시키는 액세서리가 추가될 수 있다. 이러한 액세서리의 일 예로, 모바일 디바이스(7100)의 적어도 일면을 덮거나 수용하는 커버 또는 파우치를 들 수 있다. 커버 또는 파우치는 디스플레이부(7151)와 연동되어 모바일 디바이스(7100)의 기능을 확장시키도록 구성 될 수 있다. 액세서리의 다른 일 예로, 터치 스크린에 대한 터치입력을 보조 또는 확장하기 위한 터치펜을 들 수 있다.

한편, 본 발명의 실시예에서는 모바일 디바이스에서 처리되는 정보를 플렉서블 디스플레이(flexible display)를 이용하여 표시할 수 있다.

도 42는 본 발명의 제7 실시예에 따른 변형 가능한 모바일 디바이스(7200)의 다른예를 설명하기 위한 개념도이다.

도시된 바와 같이, 디스플레이부(7251)는 외력에 의하여 변형 가능하게 구성될 수 있다. 상기 변형은 디스플레이부(7251)의 휘어짐, 구부러짐, 접힘, 비틀림, 말림 중 적어도 하나일 수 있다. 이러한 변형 가능한 디스플레이부(7251)는 '플렉서블 디스플레이부'로 명명될 수 있다. 여기에서, 플렉서블 디스플레이부(7251)는 일반적인 플렉서블 디스플레이와 전자 종이(e-paper) 및 그 조합을 모두 포함할 수 있다. 일반적으로 모바일 디바이스(7200)는 도 39 내지 도 41의 모바일 디바이스(7100)의 특징 또는 그와 유사한 특징을 포함할 수 있다.

일반적인 플렉서블 디스플레이는 기존의 평판 디스플레이의 특성을 유지하면서, 종이와 같이 휘어짐, 구부러짐, 접힘, 비틀림 또는 말림이 가능한 얇고 유연한 기판 위에 제작되어, 가볍고 쉽게 깨지지 않는 튼튼한 디스플레이를 말한다.

또한, 전자 종이는 일반적인 잉크의 특징을 적용한 디스플레이 기술로서, 반사광을 사용하는 점이 기존의 평판 디스플레이와 다른 점일 수 있다. 전자 종이는 트위스트 볼을 이용하거나, 캡슐을 이용한 전기영동(electrophoresis)을 이용하여, 정보를 변경할 수 있다.

플렉서블 디스플레이부(7251)가 변형되지 않는 상태(예를 들어, 무한대의 곡률반경을 가지는 상태, 이하 제1 상태라 한다)에서, 플렉서블 디스플레이부(7251)의 디스플레이 영역은 평면이 된다. 상기 제1 상태에서 외력에 의하여 변형된 상태(예를 들어, 유한의 곡률반경을 가지는 상태, 이하, 제2 상태라 한다)에서는 상기 디스플레이 영역이 곡면이 될 수 있다. 도시된 바와 같이, 상기 제2 상태에서 표시되는 정보는 곡면상에 출력되는 시각 정보가 될 수 있다. 이러한 시각 정보는 매트릭스 형태로 배치되는 단위 화소(sub-pixel)의 발광이 독자적으로 제어됨에 의하여 구현된다. 상기 단위 화소는 하나의 색을 구현하기 위한 최소 단위를 의미한다.

플렉서블 디스플레이부(7251)는 상기 제1 상태에서 평평한 상태가 아닌, 휘어진 상태(예를 들어, 상하 또는 좌우로 휘어진 상태)에 놓일 수 있다. 이 경우, 플렉서블 디스플레이부(251)에 외력이 가해지면, 플렉서블 디스플레이부(7251)는 평평한 상태(혹은 보다 덜 휘어진 상태) 또는 보다 많이 휘어진 상태로 변형될 수 있다.

한편, 플렉서블 디스플레이부(7251)는 터치센서와 조합되어 플렉서블 터치 스크린을 구현할 수 있다. 플렉서블 터치 스크린에 대하여 터치가 이루어지면, 제어부(7180, 도 39 참조)는 이러한 터치입력에 상응하는 제어를 수행 할 수 있다. 플렉서블 터치 스크린은 상기 제1 상태뿐만 아니라 상기 제2 상태에서도 터치입력을 감지하도록 이

루어질 수 있다.

한편, 본 변형 예에 따른 모바일 디바이스(7200)에는 플렉서블 디스플레이부(7251)의 변형을 감지할 수 있는 변형감지 수단이 구비될 수 있다. 이러한 변형감지수단은 센싱부(7140, 도 39 참조)에 포함될 수 있다.

상기 변형감지수단은 플렉서블 디스플레이부(7251) 또는 케이스(7201)에 구비되어, 플렉서블 디스플레이부(7251)의 변형과 관련된 정보를 감지할 수 있다. 여기에서, 변형과 관련된 정보는, 플렉서블 디스플레이부(7251)가 변형된 방향, 변형된 정도, 변형된 위치, 변형된 시간 및 변형된 플렉서블 디스플레이부(7251)가 복원되는 가속도 등이 될 수 있으며, 이 밖에도 플렉서블 디스플레이부(7251)의 휘어짐으로 인하여 감지 가능한 다양한 정보일 수 있다.

또한, 제어부(7180)는 상기 변형감지수단에 의하여 감지되는 플렉서블 디스플레이부(7251)의 변형과 관련된 정보에 근거하여, 플렉서블 디스플레이부(7251) 상에 표시되는 정보를 변경하거나, 모바일 디바이스(7200)의 기능을 제어하기 위한 제어신호를 생성할 수 있다.

한편, 본 변형 예에 따른 모바일 디바이스(7200)는 플렉서블 디스플레이부(7251)를 수용하는 케이스(7201)를 포함할 수 있다. 케이스(7201)는 플렉서블 디스플레이부(7251)의 특성을 고려하여, 외력에 의하여 플렉서블 디스플레이부(7251)와 함께 변형 가능하도록 구성될 수 있다.

아울러, 모바일 디바이스(7200)에 구비되는 배터리(미도시) 또한 플렉서블 디스플레이부(7251)의 특성을 고려하여, 외력에 의하여 플렉서블 디스플레이부(7251)와 함께 변형 가능하도록 구성될 수 있다. 상기 배터리를 구현하기 위하여, 배터리 셀을 위로 쌓은 스택앤폴딩(stack and folding) 방식이 적용될 수 있다.

플렉서블 디스플레이부(7251)의 상태 변형은 외력에 의한 것으로만 국한되지는 않는다. 예를 들어, 플렉서블 디스플레이부(7251)가 제 1 상태를 가지고 있을 때, 사용자 혹은 애플리케이션의 명령에 의해서, 제 2 상태로 변형될 수도 있다.

한편, 모바일 디바이스는 사용자가 주로 손에 쥐고 사용하는 차원을 넘어서, 신체에 착용할 수 있는 웨어러블 디바이스(wearable device)로 확장될 수 있다. 이러한 웨어러블 디바이스에는 스마트 워치(smart watch), 스마트 글래스(smart glass), HMD(head mounted display) 등이 있다. 이하, 웨어러블 디바이스로 확장된 모바일 디바이스의 예들에 대하여 설명하기로 한다.

웨어러블 디바이스는 다른 모바일 디바이스(7100)와 데이터를 상호 교환(또는 연동) 가능하게 이루어질 수 있다. 근거리 통신 모듈(7114)은, 모바일 디바이스(7100) 주변에 통신 가능한 웨어러블 디바이스를 감지(또는 인식)할 수 있다. 나아가, 제어부(7180)는 감지된 웨어러블 디바이스가 모바일 디바이스(7100)와 통신하도록 인증된 디바이스인 경우, 모바일 디바이스(7100)에서 처리되는 데이터의 적어도 일부를, 근거리 통신 모듈(7114)을 통하여 웨어러블 디바

이스로 전송할 수 있다. 따라서, 사용자는 모바일 디바이스(7100)에서 처리되는 데이터를 웨어러블 디바이스를 통하여 이용할 수 있다. 예를 들어, 모바일 디바이스(7100)에 전화가 수신된 경우 웨어러블 디바이스를 통해 전화 통화를 수행하거나, 모바일 디바이스(7100)에 메시지가 수신된 경우 웨어러블 디바이스를 통해 상기 수신된 메시지를 확인하는 것이 가능하다.

도 43은 본 발명의 다른 일 실시 예와 관련된 시계 타입의 모바일 디바이스(7300)의 일 예를 보인 사시도이다.

상기 도 43을 참조하면, 시계 타입의 모바일 디바이스(7300)는 디스플레이부(7351)를 구비하는 본체(7301) 및 본체(7301)에 연결되어 손목에 착용 가능하도록 구성되는 밴드(7302)를 포함한다. 일반적으로 모바일 디바이스(7300)는 도 39 내지 도 41의 모바일 디바이스(7100)의 특징 또는 그와 유사한 특징을 포함할 수 있다.

본체(7301)는 외관을 형성하는 케이스를 포함한다. 도시된 바와 같이, 케이스는 각종 전자부품들을 수용하는 내부 공간을 마련하는 제1케이스(7301a) 및 제2케이스(7301b)를 포함할 수 있다. 다만, 본 발명은 이에 한정되는 것은 아니고, 하나의 케이스가 상기 내부 공간을 마련하도록 구성되어 유니 바디의 모바일 디바이스(7300)가 구현될 수도 있다.

시계 타입의 모바일 디바이스(7300)는 무선 통신이 가능하도록 구성되며, 본체(7301)에는 상기 무선 통신을 위한 안테나가 설치될 수 있다. 한편, 안테나는 케이스를 이용하여 그 성능을 확장시킬 수 있다. 예를 들어, 도전성 재질을 포함하는 케이스가 안테나와 전기적으로 연결되어 그라운드 영역 또는 방사 영역을 확장시키도록 구성될 수 있다.

본체(7301)의 전면에는 디스플레이부(7351)가 배치되어 정보를 출력할 수 있으며, 디스플레이부(7351)에는 터치센서가 구비되어 터치 스크린으로 구현될 수 있다. 도시된 바와 같이, 디스플레이부(7351)의 윈도우(7351a)는 제1케이스(7301a)에 장착되어 제1 케이스(7301a)와 함께 단말기 바디의 전면을 형성할 수 있다.

본체(7301)에는 음향 출력부(7352), 카메라(7321), 마이크로폰(7322), 사용자 입력부(7323) 등이 구비될 수 있다. 디스플레이부(7351)가 터치 스크린으로 구현되는 경우, 사용자 입력부(7323)로 기능할 수 있으며, 이에 따라 본체(7301)에 별도의 키가 구비되지 않을 수 있다.

밴드(7302)는 손목에 착용되어 손목을 감싸도록 이루어지며, 착용이 용이하도록 플렉서블 재질로 형성될 수 있다. 그러한 예로서, 밴드(7302)는 가죽, 고무, 실리콘, 합성수지 재질 등으로 형성될 수 있다. 또한, 밴드(7302)는 본체(7301)에 착탈 가능하게 구성되어, 사용자가 취향에 따라 다양한 형태의 밴드로 교체 가능하게 구성될 수 있다.

한편, 밴드(7302)는 안테나의 성능을 확장시키는 데에 이용될 수 있다. 예를 들어, 밴드에는 안테나와 전기적으로 연결되어 그라운드 영역을 확장시키는 그라운드 확장부(미도시)가 내장될 수 있다.

밴드(7302)에는 파스너(fastener; 7302a)가 구비될 수 있다. 파스너(7302a)는 버클(buckle), 스냅핏(snap-fit)이 가능한 후크(hook) 구조, 또는 벨크로(velcro; 상표명) 등에 의하여 구현될 수 있으며, 신축성이 있는 구간 또는 재질을 포함할 수 있다. 본 도면에서는, 파스너(7302a)가 버클 형태로 구현된 예를 제시하고 있다.

도 44는 본 발명의 또 다른 일 실시 예와 관련된 글래스 타입의 모바일 디바이스(7400)의 일 예를 보인 사시도이다.

글래스 타입의 모바일 디바이스(7400)는 인체의 두부에 착용 가능하도록 구성되며, 이를 위한 프레임부(케이스, 하우징 등)을 구비할 수 있다. 프레임부는 착용이 용이하도록 플렉서블 재질로 형성될 수 있다. 본 도면에서는, 프레임부가 서로 다른 재질의 제1 프레임(7401)과 제2 프레임(7402)을 포함하는 것을 예시하고 있다. 일반적으로 모바일 디바이스(7400)는 도39 내지 도 41의 모바일 디바이스(7100)의 특징 또는 그와 유사한 특징을 포함할 수 있다.

프레임부는 두부에 지지되며, 각종 부품들이 장착되는 공간을 마련한다. 도시된 바와 같이, 프레임부에는 제어모듈(7480), 음향 출력 모듈(7452) 등과 같은 전자부품이 장착될 수 있다. 또한, 프레임부에는 좌안 및 우안 중

적어도 하나를 덮는 렌즈(7403)가 착탈 가능하게 장착될 수 있다.

제어 모듈(7480)은 모바일 디바이스(7400)에 구비되는 각종 전자부품을 제어하도록 이루어진다. 제어 모듈(7480)은 앞서 설명한 제어부(7180)에 대응되는 구성으로 이해될 수 있다. 본 도면에서는, 제어 모듈(7480)이 일측 두부 상의 프레임부에 설치된 것을 예시하고 있다. 하지만, 제어 모듈(7480)의 위치는 이에 한정되지 않는다.

디스플레이부(7451)는 헤드 마운티드 디스플레이(Head Mounted Display, HMD) 형태로 구현될 수 있다. HMD 형태란, 두부에 장착되어, 사용자의 눈 앞에 직접 영상을 보여주는 디스플레이 방식을 말한다. 사용자가 글래스 타입의 모바일 디바이스(7400)를 착용하였을 때, 사용자의 눈 앞에 직접 영상을 제공할 수 있도록, 디스플레이부(7451)는 좌안 및 우안 중 적어도 하나에 대응되게 배치될 수 있다. 본 도면에서는, 사용자의 우안을 향하여 영상을 출력할 수 있도록, 디스플레이부(7451)가 우안에 대응되는 부분에 위치한 것을 예시하고 있다.

디스플레이부(7451)는 프리즘을 이용하여 사용자의 눈으로 이미지를 투사할 수 있다. 또한, 사용자가 투사된 이미지와 전방의 일반 시야(사용자가 눈을 통하여 바라보는 범위)를 함께 볼 수 있도록, 프리즘은 투광성으로 형성될 수 있다.

이처럼, 디스플레이부(7451)를 통하여 출력되는 영상은, 일반 시야와 오버랩(overlap)되어 보여질 수 있다. 모바일 디바이스(7400)는 이러한 디스플레이의 특성을 이용하여 현실의 이미지나 배경에 가상 이미지를 겹쳐서 하나의 영상으로 보여주는 증강현실(Augmented Reality, AR)을 제공할 수 있다.

카메라(7421)는 좌안 및 우안 중 적어도 하나에 인접하게 배치되어, 전방의 영상을 촬영하도록 형성된다. 카메라(7421)가 눈에 인접하여 위치하므로, 카메라(7421)는 사용자가 바라보는 장면을 영상으로 획득할 수 있다.

본 도면에서는, 카메라(7421)가 제어 모듈(7480)에 구비된 것을 예시하고 있으나, 반드시 이에 한정되는 것은 아니다. 카메라(7421)는 상기 프레임부에 설치될 수도 있으며, 복수 개로 구비되어 입체 영상을 획득하도록 이루어질 수도 있다.

글래스 타입의 모바일 디바이스(7400)는 제어명령을 입력 받기 위하여 조작되는 사용자 입력부(7423a, 7423b)를 구비할 수 있다. 사용자 입력부(7423a, 7423b)는 터치, 푸시 등 사용자가 촉각적인 느낌을 가면서 조작하게 되는 방식(tactile manner)이라면 어떤 방식이든 채용될 수 있다. 본 도면에서는, 프레임부와 제어 모듈(7480)에 각각 푸시 및 터치 입력 방식의 사용자 입력부(7423a, 7423b)가 구비된 것을 예시하고 있다.

또한, 글래스 타입의 모바일 디바이스(7400)에는 사운드를 입력 받아 전기적인 음성 데이터로 처리하는 마이크로폰(미도시) 및 음향을 출력하는 음향 출력 모듈(7452)이 구비될 수 있다. 음향 출력 모듈(7452)은 일반적인 음향 출력 방식 또는 골전도 방식으로 음향을 전달하도록 이루어질 수 있다. 음향 출력 모듈(7452)이 골전도 방식으로 구현되는 경우, 사용자가 모바일 디바이스(7400)를 착용시, 음향 출력 모듈(7452)은 두부에 밀착되며, 두개골을 진동시켜 음향을 전달하게 된다.

다음으로, 본 발명에 따른 모바일 디바이스(7100)를 통해 실시 가능한 통신 시스템에 대하여 살펴본다.

먼저, 통신 시스템은, 서로 다른 무선 인터페이스 및/또는 물리 계층을 이용할 수도 있다. 예를 들어, 통신 시스템에 의해 이용 가능한 무선 인터페이스에는, 주파수 분할 다중 접속(Frequency Division Multiple Access,FDMA), 시분할 다중 접속(Time Division Multiple Access, TDMA), 코드 분할 다중 접속(Code Division Multiple Access, CDMA), 범용 이동통신 시스템(Universal Mobile Telecommunications Systems, UMTS)(특히, LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced)), 이동통신 글로벌 시스템(Global System for Mobile Communications, GSM) 등이 포함될 수 있다.

이하에서는, 설명의 편의를 위하여, CDMA에 한정하여 설명하도록 한다. 그러나, 본 발명은, CDMA 무선 통신 시스템뿐만 아니라 OFDM(Orthogonal Frequency Division Multiplexing) 무선 통신 시스템을 포함한 모든 통신 시스템 적용될 수 있음은 자명하다.

CDMA 무선 통신 시스템은, 적어도 하나의 단말기(100), 적어도 하나의 기지국(Base Station, BS (Node B 혹은 Evolved Node B로 명칭될 수도 있다.)), 적어도 하나의 기지국 제어부(Base Station Controllers, BSCs), 이동 스위칭 센터(Mobile Switching Center, MSC)를 포함할 수 있다. MSC는, 일반 전화 교환망(Public Switched Telephone Network, PSTN) 및 BSCs와 연결되도록 구성된다. BSCs는, 백홀 라인(backhaul line)을 통하여, BS와 짝을 이루어 연결될 수 있다. 백홀 라인은, E1/T1, ATM, IP, PPP, Frame Relay, HDSL, ADSL 또는 xDSL 중 적어도 하나에 따라서 구비될 수 있다. 따라서, 복수의 BSCs가 CDMA 무선 통신 시스템에 포함될 수 있다.

복수의 BS 각각은 적어도 하나의 섹터를 포함할 수 있고, 각각의 섹터는, 전방향성 안테나 또는 BS로부`터 방사상의 특정 방향을 가리키는 안테나를 포함할 수 있다. 또한, 각각의 섹터는, 다양한 형태의 안테나를 두 개 이상 포함할 수도 있다. 각각의 BS는, 복수의 주파수 할당을 지원하도록 구성될 수 있고, 복수의 주파수 할당은 각각 특정 스펙트럼(예를 들어, 1.25MHz, 5MHz 등)을 가질 수 있다.

섹터와 주파수 할당의 교차는, CDMA 채널이라고 불릴 수 있다. BS는, 기지국 송수신 하부 시스템(Base Station Transceiver Subsystem, BTSs)이라고 불릴 수 있다. 이러한 경우, 하나의 BSC 및 적어도 하나의 BS를 합하여 칭할 수 있다. 기지국은, 또한 "셀 사이트"를 나타낼 수도 있다. 또는, 특정 BS에 대한 복수의 섹터들 각각은, 복수의 셀 사이트로 불릴 수도 있다.

방송 송신부(Broadcasting Transmitter, BT) 는, 시스템 내에서 동작하는 단말기들(100)에게 방송 신호를 송신한다. 도 39에 도시된 방송 수신 모듈(7111)은, BT에 의해 전송되는 방송 신호를 수신하기 위해 모바일 디바이스(7100) 내에 구비된다.

뿐만 아니라, CDMA 무선 통신 시스템에는 모바일 디바이스(7100)의 위치를 확인하기 위한, 위성 위치 확인 시스템(Global Positioning System, GPS)이 연계될 수 있다. 상기 위성(7300)은, 모바일 디바이스(7100)의 위치를 파악하는 것을 돕는다. 유용한 위치 정보는, 두 개 이하 또는 이상의 위성들에 의해 획득될 수도 있다. 여기에서는, GPS 추적 기술뿐만 아니라 위치를 추적할 수 있는 모든 기술들을 이용하여 모바일 디바이스(7100)의 위치가 추적될 수 있다. 또한, GPS 위성 중 적어도 하나는, 선택적으로 또는 추가로 위성 DMB 전송을 담당할 수도 있다.

모바일 디바이스에 구비된 위치정보 모듈(7115)은 모바일 디바이스의 위치를 탐지, 연산 또는 식별하기 위한 것으로, 대표적인 예로는 GPS(Global Position System) 모듈 및 WiFi(Wireless Fidelity) 모듈을 포함할 수 있다. 필요에 따라서, 위치정보모듈(7115)은 치환 또는 부가적으로 모바일 디바이스의 위치에 관한 데이터를 얻기 위해 무선 통신부(7110)의 다른 모듈 중 어느 기능을 수행할 수 있다.

상기 GPS모듈(7115)은 3개 이상의 위성으로부터 떨어진 거리 정보와 정확한 시간 정보를 산출한 다음 상기 산출된 정보에 삼각법을 적용함으로써, 위도, 경도, 및 고도에 따른 3차원의 현 위치 정보를 정확히 산출할 수 있다. 현재, 3개의 위성을 이용하여 위치 및 시간 정보를 산출하고, 또 다른 1개의 위성을 이용하여 상기 산출된 위치 및 시간 정보의 오차를 수정하는 방법이 널리 사용되고 있다. 또한, GPS 모듈(7115)은 현 위치를 실시간으로 계속 산출함으로써 속도 정보를 산출할 수 있다. 다만, 실내와 같이 위성 신호의 음영 지대에서는 GPS 모듈을 이용하여 정확히 모바일 디바이스의 위치를 측정하는 것이 어렵다. 이에 따라, GPS 방식의 측위를 보상하기 위해, WPS (WiFi Positioning System)이 활용될 수 있다.

와이파이 위치추적 시스템(WPS: WiFi Positioning System)은 모바일 디바이스(7100)에 구비된 WiFi모듈 및 상기 WiFi모듈과 무선신호를 송신 또는 수신하는 무선 AP(Wireless Access Point)를 이용하여, 모바일 디바이스(7100)의 위치를 추적하는 기술로서, WiFi를 이용한 WLAN(Wireless Local Area Network)기반의 위치 측위 기술을 의미한다.

와이파이 위치추적 시스템은 와이파이 위치측위 서버, 모바일 디바이스(7100), 상기 모바일 디바이스(7100)와 접속된 무선 AP, 임의의 무선 AP정보가 저장된 데이터 베이스를 포함할 수 있다.

무선 AP와 접속 중인 모바일 디바이스(7100)는 와이파이 위치 측위 서버로 위치정보 요청 메시지를 전송할 수 있다.

와이파이 위치측위 서버는 모바일 디바이스(7100)의 위치정보 요청 메시지(또는 신호)에 근거하여, 모바일 디바이스(7100)와 접속된 무선 AP의 정보를 추출한다. 상기 모바일 디바이스(7100)와 접속된 무선 AP의 정보는 모바일 디바이스(7100)를 통해 상기 와이파이 위치측위 서버로 전송되거나, 무선 AP에서 와이파이 위치측위 서버로 전송될 수 있다.

상기 모바일 디바이스(7100)의 위치정보 요청 메시지에 근거하여, 추출되는 무선 AP의 정보는 MAC Address, SSID(Service Set IDentification), RSSI(Received Signal Strength Indicator), RSRP(Reference Signal Received Power), RSRQ(Reference Signal Received Quality), 채널정보, Privacy, Network Type, 신호세기(Signal Strength) 및 노이즈 세기(Noise Strength)중 적어도 하나일 수 있다.

와이파이 위치측위 서버는 위와 같이, 모바일 디바이스(7100)와 접속된 무선 AP의 정보를 수신하여, 미리 구축된 데이터베이스로부터 모바일 디바이스가 접속 중인 무선 AP와 대응되는 무선 AP 정보를 추출할 수 있다. 이때, 상기 데이터 베이스에 저장되는 임의의 무선 AP 들의 정보는 MAC Address, SSID, 채널정보, Privacy, Network Type,무선 AP의 위경도 좌표, 무선 AP가 위치한 건물명, 층수, 실내 상세 위치정보(GPS 좌표 이용가능), AP소유자의 주소, 전화번호 등의 정보일 수 있다. 이때, 측위 과정에서 이동형 AP나 불법 MAC 주소를 이용하여 제공되는 무선 AP를 측위 과정에서 제거하기 위해, 와이파이 위치측위 서버는 RSSI 가 높은 순서대로 소정 개수의 무선 AP 정보만을 추출할 수도 있다.

이후, 와이파이 위치측위 서버는 데이터 베이스로부터 추출된 적어도 하나의무선 AP 정보를 이용하여 모바일 디바이스(7100)의 위치정보를 추출(또는 분석)할 수 있다. 포함된 정보와 상기 수신된 무선 AP 정보를 비교하여, 상기 모바일 디바이스(7100)의 위치정보를 추출(또는 분석)한다.

모바일 디바이스(7100)의 위치정보를 추출(또는 분석)하기 위한 방법으로, Cell-ID 방식, 핑거 프린트 방식, 삼각 측량 방식 및 랜드마크 방식 등이 활용될 수 있다.

Cell-ID 방식은 모바일 디바이스가 수집한 주변의 무선 AP 정보 중 신호 세기가 가장 강한 무선 AP의 위치를 모바일 디바이스의 위치로 결정하는 방법이다. 구현이 단순하고 별도의 비용이 들지 않으며 위치 정보를 신속히 얻을 수 있다는 장점이 있지만 무선 AP의 설치 밀도가 낮으면 측위 정밀도가 떨어진다는 단점이 있다.

핑거프린트 방식은 서비스 지역에서 참조위치를 선정하여 신호 세기 정보를 수집하고, 수집한 정보를 바탕으로 모바일 디바이스에서 전송하는 신호 세기 정보를 통해 위치를 추정하는 방법이다. 핑거프린트 방식을 이용하기 위해서는, 사전에 미리 전파 특성을 데이터베이스화할 필요가 있다.

삼각 측량 방식은 적어도 세개의 무선 AP의 좌표와 모바일 디바이스 사이의 거리를 기초로 모바일 디바이스의 위치를 연산하는 방법이다. 모바일 디바이스와 무선 AP사이의 거리를 측정하기 위해, 신호 세기를 거리 정보로 변환하거나, 무선 신호가 전달되는 시간(Time of Arrival, ToA), 신호가 전달되는 시간 차이(Time Difference of Arrival, TDoA), 신호가 전달되는 각도(Angle of Arrival, AoA) 등을 이용할 수 있다.

랜드마크 방식은 위치를 알고 있는 랜드마크 발신기를 이용하여 모바일 디바이스의 위치를 측정하는 방법이다.

열거된 방법 이외에도 다양한 알고리즘이 모바일 디바이스의 위치정보를 추출(또는 분석)하기 위한 방법으로 활용될 수 있다.

이렇게 추출된 모바일 디바이스(7100)의 위치정보는 상기 와이파이 위치측위 서버를 통해 모바일 디바이스(7100)로 전송됨으로써, 모바일 디바이스(7100)는 위치정보를 획득할 수 있다.

모바일 디바이스(7100)는 적어도 하나의 무선 AP 에 접속됨으로써, 위치 정보를 획득할 수 있다. 이때, 모바일 디바이스(7100)의 위치 정보를 획득하기 위해 요구되는 무선 AP의 개수는 모바일 디바이스(7100)가 위치한 무선 통신환경에 따라 다양하게 변경될 수 있다.

앞서 도 39를 통해 살펴본 바와 같이, 본 발명에 따른 모바일 디바이스에는 블루투스(Bluetooth^TM), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wireless USB(Wireless Universal Serial Bus) 등의 근거리 통신 기술이 적용될 수 있다.

이 중, 모바일 디바이스에 구비된 NFC 모듈은 10cm 안팎의 거리에서 단말 간 비접촉식 근거리 무선 통신을 지원한다. NFC 모듈은 카드 모드, 리더 모드 및 P2P 모드 중 어느 하나로 동작할 수 있다. NFC 모듈이 카드 모드로 운용되기 위해서, 모바일 디바이스(100)는 카드 정보를 저장하는 보안 모듈을 더 포함할 수도 있다. 여기서, 보안 모듈이란 UICC(Universal Integrated Circuit Card)(예컨대, SIM(Subscriber Identification Module) 또는 USIM(Universal SIM)), Secure micro SD 및 스티커 등 물리적 매체일 수도 있고, 모바일 디바이스에 임베디드되어 있는 논리적 매체(예컨대, embeded SE(Secure element))일 수도 있다. NFC 모듈과 보안 모듈 사이에는 SWP(Single Wire Protocol)에 기반한 데이터 교환이 이루어질 수 있다.

NFC 모듈이 카드 모드로 운용되는 경우, 모바일 디바이스는 전통적인 IC 카드처럼 저장하고 있는 카드 정보를 외부로 전달할 수 있다.

구체적으로, 신용카드 또는 버스 카드 등 결제용 카드의 카드 정보를 저장하는 모바일 디바이스를 요금 결제기에 근접시키면, 모바일 근거리 결제가 처리될 수 있고, 출입용 카드의 카드 정보를 저장하는 모바일 디바이스를 출입 승인기에 근접 시키면, 출입의 승인 절차가 시작될 수 있다. 신용카드, 교통카드 및 출입카드 등의 카드는 애플릿(applet) 형태로 보안 모듈에 탑재되고, 보안 모듈은 탑재된 카드에 대한 카드 정보를 저장할 수 있다.

여기서, 결제용 카드의 카드 정보는 카드 번호, 잔액, 사용 내역 중 적어도 하나일 수 있고, 출입용 카드의 카드 정보는, 사용자의 이름, 번호(예컨대, 사용자의 학번 또는 사번), 출입 내역 중 적어도 하나일 수 있다.

NFC 모듈이 리더 모드로 운용되는 경우, 모바일 디바이스는 외부의 태그(Tag)로부터 데이터를 독출할 수 있다.

이때, 모바일 디바이스가 태그로부터 수신하는 데이터는 NFC 포럼에서 정하는 데이터 교환 포맷(NFC Data Exchange Format)으로 코딩될 수 있다. 아울러, NFC 포럼에서는 4개의 레코드 타입을 규정한다. 구체적으로, NFC 포럼에서는 스마트 포스터(Smart Poster), 텍스트(Text), URI(Uniform Resource Identifier) 및 일반 제어(General Control) 등 4개의 RTD(Record Type Definition)를 규정한다. 태그로부터 수신한 데이터가 스마트 포스터 타입인 경우, 제어부는 브라우저(예컨대, 인터넷 브라우저)를 실행하고, 태그로부터 수신한 데이터가 텍스트 타입인 경우, 제어부는 텍스트 뷰어를 실행할 수 있다. 태그로부터 수신한 데이터가 URI 타입인 경우, 제어부는 브라우저를 실행하거나 전화를 걸고, 태그로부터 수신한 데이터가 일반 제어 타입인 경우, 제어 내용에 따라 적절한 동작을 실행할 수 있다.

NFC 모듈이 P2P(Peer-to-Peer) 모드로 운용되는 경우, 모바일 디바이스는 다른 모바일 디바이스와 P2P 통신을 수행할 수 있다. 이때, P2P 통신에는 LLCP(Logical Link Control Protocol) 가 적용될 수 있다. P2P 통신을 위해 모바일 디바이스와 다른 모바일 디바이스 사이에는 커넥션(connection)이 생성될 수 있다. 이때, 생성되는 커넥션은 1개의 패킷을 교환하고 종료되는 비접속형 모드(connectionless mode)와 연속적으로 패킷을 교환하는 접속형 지향 모드(connection-oriented mode)로 구분될 수 있다. P2P 통신을 통해, 전자적 형태의 명함, 연락처 정보, 디지털 사진, URL 등의 데이터 및 블루투스, Wi-Fi 연결을 위한 셋업 파라미터 등이 교환될 수 있다. 다만, NFC 통신의 가용 거리는 짧으므로, P2P 모드는 크기가 작은 데이터를 교환하는 것에 효과적으로 활용될 수 있을 것이다.

이하에서는 이와 같이 구성된 모바일 디바이스에서 구현될 수 있는 제어 방법과 관련된 제7 실시예들에 대해 첨부된 도면을 참조하여 살펴보겠다. 본 발명의 실시 형태는 본 발명의 기술적 사상 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 통상의 기술자에게 자명하다.

또한, 본 발명의 제7 실시예들은 모바일 디바이스가 도 39 내지 도 41의 모바일 디바이스(7100)인 경우를 예로 들어 설명하지만, 실시 형태에 따라, 도 42의 모바일 디바이스(7200), 도 43의 모바일 디바이스(7300) 및 도 44의 모바일 디바이스(7400) 중 어느 하나일 수도 있다.

도 45는 본 발명의 제7 실시예에 따른 모바일 디바이스의 구성도이다.

상기 도 45에 도시된 바와 같이 모바일 디바이스(7500)는 통신 모듈(7510), 인터페이스 모듈(7520), 컨트롤러(7530), 디스플레이 모듈(7540), 메모리(7550)를 포함한다.

통신 모듈(7510)는 외부 장치와 데이터를 송수신한다. 여기서, 외부 장치는 외부 서버가 될 수 있다.

인터페이스 모듈(7520)는 사용자로부터 심전도 신호를 수신한다. 인터페이스 모듈(7520)은 심전도 신호를 수신할 수 있는 터치 센서를 포함하고, 사용자가 모바일 디바이스를 양손으로 파지할 때 심전도 신호를 수신한다.

또한, 스마트 시계와 같은 웨어러블 디바이스의 경우, 사용자가 스마트 시계를 착용할 때, 사용자로부터 심전도 신호를 수신할 수 있다.

컨트롤러(7530)는 수신한 심전도 신호를 기초로 제 1 임시 기준 심전도 신호를 생성하고, 생성된 제 1 임시 기준 심전도 신호와 심전도 신호의 유사도를 기초로 제 2 임시 기준 심전도 신호를 생성한다.

심전도 신호는 사용자의 심장과 관련한 근육량에 의해서 결정되는 것으로, 그래프 파형이 사용자마다 다르므로 본인 인증의 기초로 사용할 수 있다.

심전도 신호는 사용자가 건강한 성인 남성의 경우에 수신하기가 쉽고, 여성, 노약자인 경우에는 수신하기가 어렵다.

예를 들여, 성인 남성의 경우에는 심전도 신호의 비트수가 5 정도만 되어도, 기준 심전도 신호를 생성하고 인증을 수행할 수 있는데, 여상, 노약자인 경우에는 심전도 신호의 비트수가 10 내지 20 정도가 필요하다.

컨트롤러(7530)는 생성된 제 2 임시 기준 심전도 신호와 심전도 신호의 에너지 크기의 차이를 기초로 기준 심전도 신호를 등록하고, 수신한 심전도 신호와 기준 심전도 신호의 유사도, 심전도 신호의 비트수를 기초로 제 3 임시 기준 심전도 신호로 생성한다.

여기서, 심전도 신호의 비트는 심장의 수축과 확장의 반복을 의미한다. 즉 심전도 신호의 비트는 심장 박동의 한 주기를 말한다.

컨트롤러(7530)는 생성된 제 3 임시 기준 심전도 신호와 기준 심전도 신호의 유사도를 비교하여 인증을 수행한다.

컨트롤러(7530)는 수신한 심전도 신호를 xy 좌표 평면 상에 중첩하여 표시하고, 심전도 신호의 좌표값의 평균을 구하여 사용자의 제 1 임시 기준 심전도 신호를 생성한다.

예를 들어, 수신한 심전도 신호의 비트수가 30개이면, 컨트롤러(7530)는 30개의 심전도 신호를 xy 좌표 평면 상에 비트 단위로 분리한 후, 중첩하여 표시하고, 심전도 신호의 좌표값의 평균을 구하여 사용자의 제 1 임시 기준 심전도 신호를 생성한다.

컨트롤러(7530)는 제 2 임시 기준 심전도 신호, 제 3 임시 기준 심전도 신호를 생성할 때에도 위의 과정을 반복한다.

컨트롤러(7530)는 수신한 심전도 신호와 기준 심전도 신호의 유사도와 생성된 제 3 임시 기준 심전도 신호와 기준 심전도 신호의 유사도를 서로 상이하게 설정한다.

이는, 처음에는 개략적으로 기준 심전도 신호와 비교 대상으로 삼을 심전도 신호를 실시간으로 메모리에 저장하기 위하여 낮은 유사도로 설정하였고, 나중에는 인증을 수행하기 위하여 높은 유사도로 설정하였다.

사용자가 운동을 하거나, 정신적 충격을 받아 흥분한 상태에서는 심전도 신호의 비트수가 빨라 질 수 있다. 예를 들면, 정상 상태에서는 비트수가 1분에 60 정도이면, 흥분 상태에서는 비트수가 100이 될 수 있다. 또한, 긴장이 풀어진 상태에서는 비트수가 1분에 50이 될 수 있다.

컨트롤러(7530)는 기준 심전도 신호와 유사도를 비교할 때, 비트수에 따라서 적절하게 심전도 신호의 그래프를 스케일링하고, 스케일링된 심전도 신호와 기준 심전도의 유사도를 비교한다.

즉, 컨트롤러(7530)는 비트수가 정상 상태보다 빠른 상태에서는 그래프 파형이 정상 상태에 비하여 좁은 것임을 고려하여 이를 보정하고, 기준 심전도와 유사도를 비교한다. 또한, 컨트롤러(7530)는 비트수가 정상 상태보다 느린 상태에서는 그래프 파형이 정상 상태에 비하여 넓은 것임을 고려하여 이를 보정하고, 기준 심전도와 유사도를 비교한다.

디스플레이 모듈(7540)는 컨트롤러(7530)로부터의 제어 명령에 따라 심전도 신호, 제 1 임시 기준 심전도 신호, 제 2 임시 기준 심전도 신호, 제 3 임시 기준 심전도 신호, 기준 심전도 신호, 심전도 신호의 비트수 중 적어도 하나와 등록 결과, 인증 수행 결과를 화면에 디스플레이한다.

메모리(7550)는 컨트롤러(7530)로부터의 제어 명령에 따라 심전도 신호, 제 1 임시 기준 심전도 신호, 제 2 임시 기준 심전도 신호, 제 3 임시 기준 심전도 신호, 기준 심전도 신호, 심전도 신호의 비트수 중 적어도 하나를 저장한다.

도 46은 본 발명의 제7 실시예의 다른 실시 형태에 따른 모바일 디바이스의 제어 방법의 순서도이다. 본 발명의 다른 실시 형태는 컨트롤러(7530)에 의하여 수행된다.

도 46에 도시된 바와 같이, 먼저 사용자로부터 소정 시간 동안 심전도 신호를 수신한다(S7610).

다음으로, 수신한 심전도 신호를 기초로 제 1 임시 기준 심전도 신호를 생성한다(S7620).

이어, 생성된 제 1 임시 기준 심전도 신호와 심전도 신호의 유사도를 기초로 제 2 임시 기준 심전도 신호를 생성한다(S7630).

구체적으로, 컨트롤러(7530)는 생성된 제 1 임시 기준 심전도 신호와 심전도 신호의 유사도를 비교하여 유사도가 제 1 임계값을 초과하면, 심전도 신호를 메모리에 저장한다.

컨트롤러(7530)는 저장된 심전도 신호를 기초로 제 2 임시 기준 심전도 신호를 생성한다.

생성된 제 2 임시 기준 심전도 신호와 심전도 신호의 에너지 크기의 차이를 기초로 제 2 임시 기준 심전도 신호를 기준 심전도 신호로 등록한다(S7640).

구체적으로, 컨트롤러(7530)는 생성된 제 2 기준 심전도 신호와 심전도 신호의 에너지 크기의 차이를 확인하고, 확인된 에너지 크기의 차이가 제 2 임계값 미만이면, 제 2 임시 기준 심전도 신호를 기준 심전도 신호로 등록한다.

여기서, 심전도 신호의 에너지는 심전도 신호의 진폭으로 대체할 수 있다.

사용자로부터 심전도 신호를 실시간으로 재수신한다(S7650).

수신한 심전도 신호와 기준 심전도 신호의 유사도 및 심전도 신호의 비트수를 기초로 제 3 임시 기준 심전도 신호로 생성한다(S7660).

끝으로, 생성된 제 3 임시 기준 심전도 신호와 기준 심전도 신호의 유사도를 비교하여 인증을 수행한다(S7670).

도 47 및 도 48은 본 발명의 일 실시 예에 따른 모바일 디바이스의 제어 방법의 순서도이다. 본 발명은 컨트롤러(7530)에 의하여 수행된다.

상기 도 7 및 도 8에 도시한 바와 같이, 먼저, 사용자로부터 소정 시간 동안 심전도 신호를 수신한다(S7710).

예를 들어, 인터페이스 모듈(7520)은 30초 동안 사용자로부터 심전도 신호를 수신한다. 여기서, 심전도 신호는 심장 박동 주기 단위인 비트 신호이다.

다음으로, 수신한 심전도 신호를 기초로 제 1 임시 기준 심전도 신호를 생성한다(S7715).

컨트롤러(7530)는 수신된 심전도 신호를 xy 좌표 평면 상에 중첩하여 표시하고, 심전도 신호의 좌표값의 평균을 구하여 사용자의 제 1 임시 기준 심전도 신호를 생성한다.

이어, 생성된 제 1 임시 기준 심전도 신호와 심전도 신호의 유사도를 비교한다(S7720).

유사도가 제 1 임계값 이상이면(S7725), 컨트롤러(7530)는 심전도 신호를 메모리(7550)에 저장한다(S7730).

예를 들면, 컨트롤러(7530)는 유사도가 70% 이상이면, 심전도 신호를 메모리(7550)에 저장한다. 여기서, 유사도가 100%이면, 제 1 임시 기준 심전도 신호와 심전도 신호는 동일한 것이고, 유사도가 0%이면, 제 1 임시 기준 심전도 신호와 심전도 신호는 서로 상이한 것이다.

저장된 심전도 신호를 기초로 제 2 임시 기준 심전도 신호를 생성한다(S7735).

생성된 제 2 임시 기준 심전도 신호와 심전도 신호의 에너지 크기의 차이가 제 2 임계값 미만이면(S7740), 제 2 임시 기준 심전도 신호를 기준 심전도 신호로 등록한다(S7745).

예를 들면, 컨트롤러(7530)는 제 2 임시 기준 심전도 신호와 심전도 신호의 에너지 크기의 차이가 0.1 미만이면, 제 2 임시 기준 심전도 신호를 기준 심전도 신호로 등록한다. 컨트롤러(7530)는 제 2 임시 기준 심전도 신호와 심전도 신호의 에너지 크기의 차이가 0.1 이상이면, 위의 과정을 반복한다.

즉, 처음에는 30개의 심전도 신호의 비트수로 제 2 임시 기준 심전도 신호를생성하고, 유사도가 70% 이상인 것은 25개에 해당하나 에너지 차이가 0.1 이상이므로 계속 위의 과정을 반복한다.

다음으로, 25개의 심전도 신호의 비트수로 제 2 임시 기준 심전도 신호를 생성하고, 유사도가 70%이상인 것은 23개에 해당하나, 에너지 차이가 0.1 이상이므로, 계속 위의 과정을 반복한다.

마찬가지로, 비트수가 23사용자 경우에도 계속 위의 과정을 반복한다. 그리고, 비트수가 19개가 될 때, 유사도가 70%이상이고, 에너지 차이가 0.1 미만이면, 컨트롤러(7530)는 제 2 임시 기준 심전도 신호를 기준 심전도 신호로 등록한다.

여기서, 에너지 크기의 차이는 규준화된 값으로 실험 환경에 따라 달라질 수 있고 0.1에 한정되지 않는다. 0.1의 의미는 제 2 임시 기준 심전도 신호와 심전도 신호의 에너지 크기의 차이의 비율이 매우 작다는 의미이다.

본 발명의 다른 실시 예에 따르면, 컨트롤러(7530)는 n번째 심전도 신호와 n-1번째 심전도 신호의 에너지 차이가 제 2 임계값 미만이면, 이 때의 제 2 임시 기준 심전도 신호를 기준 심전도 신호로 등록할 수 있다.

이상으로, 컨트롤러(7530)는 심전도 신호의 등록 단계를 종료한다.

사용자로부터 실시간으로 심전도 신호를 재수신한다(S7750).

수신한 심전도 신호와 기준 심전도 신호의 유사도를 비교한다(S7755).

컨트롤러(7530)는 유사도가 제 3 임계값 이상이면(S7760), 심전도 신호를 메모리에 저장한다(S7765).

구체적으로, 컨트롤러(7530)는 유사도가 70% 이상이면, 심전도 신호를 메모리(7550)에 저장한다. 컨트롤러(7530)는 유사도가 70% 미만이면, 해당 심전도 신호를 폐기한다.

저장된 심전도 신호의 비트수가 특정 개수에 도달하면, 특정 개수의 심전도 신호를 기초로 제 3 임시 기준 심전도 신호를 생성한다(S7770).

컨트롤러(7530)는 유사도가 70% 이상인 심전도 신호의 비트수가 5개에 도달하면, 5개의 심전도 신호를 기초로 제3 임시 기준 심전도 신호를 생성한다.

여기서, 특정 개수가 5개인 것은 본 발명에 따른 실험에 의할 때, 가장 좋은 결과가 나온 경우에 해당한다. 심전도 신호의 비트수가 3개이면, 인증 시간은 단축될 수 있으나, 정확도가 떨어진다. 그리고, 심전도 신호의 비트수가 7개이면, 정확도는 향상되나 인증 시간이 길어지는 단점이 있다.

생성된 제 3 임시 기준 심전도 신호와 기준 심전도 신호의 유사도를 비교한다(S7775).

컨트롤러(7530)는 유사도가 제 4 임계값 이상이면(S7780), 인증 성공으로 판단한다(S7785).

컨트롤러(7530)는 유사도가 90%이상이면, 인증 성공으로 판단하고, 유사도가 90% 미만이면, 인승 실패로 판단한다.

본 발명의 실시예에 따르면, 처음에는 개략적으로 기준 심전도 신호와 비교 대상으로 삼을 심전도 신호를 실시간으로 메모리에 저장하기 위하여 70%와 같은 낮은 유사도로 설정하였고, 나중에는 인증을 수행하기 위하여 90%와 같은 높은 유사도로 설정하였다.

따라서, 본 발명은 인증에 걸리는 시간을 단축시키고, 인증 정확성을 향상 시킬 수 있다.

도 49는 본 발명의 일 실시 예에 따른 심전도 신호에 기초하여 인증을 수행하는 방법의 개념을 도시한 도면이다.

도 49에 도시된 바와 같이, 등록 단계에서 모바일 디바이스, 웨어러블 디바이스(7910)는 심전도 신호(7920)를 사용자로부터 소정 시간 동안 수신한다. 컨트롤러는 기준 심전도 신호(7940)를 생성하고 등록(7930)을 완료한다.

다음으로, 인증 단계에서, 컨트롤러는 실시간으로 심전도 신호(7950)를 비트 단위로 수신하고, 기준 심전도 신호(7940)와 유사도를 비교하여 인증을 수행한다(7960).

본 발명의 일 실시 예에 따르면, 등록 단계에서는 수신된 심전도 신호를 기초로 임시 기준 심전도 신호를 설정하고, 유사도가 임계값 미만의 심전도 신호를 필터링하며, 나머지 심전도 신호를 토대로 다시 기준 심전도 신호를 생성하고, 인증 단계에서는 실시간으로 수신된 심전도 신호와 기준 심전도 신호의 유사도를 비교하여 인증을 수행함으로써 종래 발명에 비하여 인증 시간이 단축되고 인증 정확도가 향상된다.

본 발명의 다른 일 실시 예에 따르면, 수신한 심전도 신호를 xy 좌표 평면 상에 비트단위로 분리해서 중첩하여 표시하고, 심전도 신호의 좌표값의 평균을 구하여 사용자의 임시 기준 심전도 신호를 생성하고 수신한 심전도 신호와 비교하여 유사도가 임계값 미만인 심전도 신호를 제거함으로써 보다 객관적인 사용자의 기준 심전도 신호를 생성할 수 있다.

본 발명의 또 다른 일 실시 예에 따르면, 수신한 심전도 신호와 기준 심전도 신호의 유사도와 생성된 제 3 임시 기준 심전도 신호와 기준 심전도 신호의 유사도를 서로 상이하게 설정하여 인증 시간을 단축시키고 인증 정확성을 높일 수 있다.

본 발명의 또 다른 일 실시 예에 따르면, 생성된 제 2 기준 심전도 신호와 심전도 신호의 에너지 크기의 차이를 확인하고, 확인된 에너지 크기의 차이가 제 2 임계값 미만이면, 제 2 임시 기준 심전도 신호를 기준 심전도 신호로 등록함으로써, 노약자, 임산부, 여성의 경우에 종래 기술보다 정확한 기준 심전도 신호를 얻을 수 있다.

[ 실시예 8] 심전도를 이용한 사용자 인증 모바일 디바이스 (2)

도 50은 본 발명의 제8 실시예에 따른 모바일 디바이스의 블록 구성도(block diagram)이다.

상기 모바일 디바이스(8100)는 무선 통신부(8110), A/V(Audio/Video) 입력부(8120), 사용자 입력부(8130), 센싱부(8140), 출력부(8150), 메모리(8160), 인터페이스부(8170), 제어부(8180) 및 전원 공급부(8190) 등을 포함할 수 있다. 도 50에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 모바일 디바이스가 구현될 수도 있다.

이하, 상기 구성요소들에 대해 차례로 살펴보고자 하며, 앞서 실시예 7과 동일한 내용은 반복을 피하기 위해 구체적인 설명은 생략하고자 한다.

무선 통신부(8110)는 모바일 디바이스(8100)와 무선 통신 시스템 사이 또는 모바일 디바이스(8100)와 모바일 디바이스(8100)가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부(8110)는 방송 수신 모듈(8111), 이동통신 모듈(8112), 무선 인터넷 모듈(8113), 근거리 통신 모듈(8114), 위치정보 모듈(8115), 인체 통신 모듈(8116) 등을 포함할 수 있다.

방송 수신 모듈(8111)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다.

상기 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 상기 방송 관리 서버는, 방송 신호 및/또는 방송 관련 정보를 생성하여 송신하는 서버 또는 기 생성된 방송 신호 및/또는 방송 관련 정보를 제공받아 단말기에 송신하는 서버를 의미할 수 있다. 상기 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다.

상기 방송 관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다.

상기 방송 관련 정보는, 이동통신망을 통하여도 제공될 수 있다. 이러한 경우에는 상기 이동통신 모듈(8112)에 의해 수신될 수 있다.

상기 방송 관련 정보는 다양한 형태로 존재할 수 있는데, 이는 앞서 실시예 7에서 언급한 바와 동일하다. 물론, 상기 방송 수신 모듈(8111)은, 상술한 디지털 방송 시스템뿐만 아니라 다른 방송 시스템에 적합하도록 구성될 수도 있다.

방송 수신 모듈(8111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(8160)에 저장될 수 있다.

이동통신 모듈(8112)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.

무선 인터넷 모듈(8113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 모바일 디바이스(8100)에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 앞선 실시예 7에서 이미 언급하였으므로, 여기서는 반복 기재를 생략하고자 한다.

근거리 통신 모듈(8114)은 근거리 통신을 위한 모듈을 말하여, 앞서 실시예 7에서 이미 언급하으며, 위치정보 모듈(8115)은 모바일 디바이스의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Position System) 모듈이 있다.

인체 통신 모듈(8116)은 제어부(8180)로부터 수신한 데이터를 인체 통신을 위한 변조를 수행하여 변조된 신호를 신체 접촉된 전극에 출력한다. 또한 인체 통신 모듈(8116)은 신체 접촉된 전극으로부터 수신한 신호를 인체 통신을 위한 복조를 수행하고, 복조된 데이터를 제어부(180)에 전달한다. 인체 통신을 위한 변조는 주파주 변조(frequency modulation, FM)일 수 있다. 인체 통신을 위한 복조는 FM에 대응하는 복조일 수 있다.

도 50을 참조하면, A/V(Audio/Video) 입력부(8120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(8121)와 마이크(8122) 등이 포함될 수 있다. 카메라(8121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(8151)에 표시될 수 있다.

카메라(8121)에서 처리된 화상 프레임은 메모리(8160)에 저장되거나 무선 통신부(8110)를 통하여 외부로 전송될 수 있다. 카메라(8121)는 사용 환경에 따라 2개 이상이 구비될 수도 있다.

마이크(8122)는 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 통화 모드인 경우 이동통신 모듈(8112)을 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크(8122)에는 외부의 음향 신호를 입력받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.

사용자 입력부(8130)는 사용자가 단말기의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(8130)는 키 패드(key pad) 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.

센싱부(8140)는 모바일 디바이스(8100)의 개폐 상태, 모바일 디바이스(8100)의 위치, 사용자 접촉 유무, 모바일 디바이스의 방위, 모바일 디바이스의 가속/감속 등과 같이 모바일 디바이스(8100)의 현 상태를 감지하여 모바일 디바이스(8100)의 동작을 제어하기 위한 센싱 신호를 발생시킨다. 예를 들어 모바일 디바이스(8100)가 슬라이드 폰 형태인 경우 슬라이드 폰의 개폐 여부를 센싱할 수 있다. 또한, 전원 공급부(8190)의 전원 공급 여부, 인터페이스부(8170)의 외부 기기 결합 여부 등을 센싱할 수도 있다. 한편, 상기 센싱부(8140)는 근접 센서(8141), 인체 센서(8142)를 포함할 수 있다.

인체 센서(8142)는 지문 센서(8142a), 광혈류 측정 신호(photoplethysmographic signal, PPG) 센서(이하 PPG 센서)(8142b), 심전도(Electrocardiogram, ECG) 센서(8142c)를 포함할 수 있다.

지문 센서(8142a)는 지문 인식 전극의 신호로부터 지문 인식 정보를 생성한다. 지문 센서(8142a)는 개념적으로 지문 인식 전극을 포함하거나 포함하지 않을 수 있다.

PPG 센서(8142b)는 발광 다이오드에 의해 발광된 빛을 수신하는 수광 다이오드가 제공하는 전류로부터 혈액 운동 측정 신호를 생성한다. PPG 센서(8142b)는 개념적으로 발광 다이오드와 수광 다이오드를 포함하거나 포함하지 않을 수 있다.

심전도 센서(8142c)는 심전도 전극의 신호로부터 심전도 신호를 생성한다. 심전도 센서(8142c)는 개념적으로 심전도 전극을 포함하거나 포함하지 않을 수 있다.

출력부(8150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부(8151), 음향 출력 모듈(8152), 알람부(8153), 및 햅틱 모듈(8154) 등이 포함될 수 있다.

디스플레이부(8151)는 모바일 디바이스(8100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 모바일 디바이스가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 모바일 디바이스(8100)가 화상 통화 모드 또는 촬영 모드인 경우에는 촬영 또는/및 수신된 영상 또는 UI, GUI를 표시한다.

디스플레이부(8151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.

이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 TOLED(Transparant OLED) 등이 있다. 디스플레이부(8151)의 후방 구조 또한 광 투과형 구조로 구성될 수 있다. 이러한 구조에 의하여, 사용자는 단말기 바디의 디스플레이부(8151)가 차지하는 영역을 통해 단말기 바디의 후방에 위치한 사물을 볼 수 있다.

모바일 디바이스(8100)의 구현 형태에 따라 디스플레이부(8151)이 2개 이상 존재할 수 있다. 예를 들어, 모바일 디바이스(8100)에는 복수의 디스플레이부들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.

디스플레이부(8151)와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 함)에, 디스플레이부(8151)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.

터치 센서는 디스플레이부(8151)의 특정 부위에 가해진 압력 또는 디스플레이부(8151)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다.

터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(8180)로 전송한다. 이로써, 제어부(8180)는 디스플레이부(8151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.

도 50을 참조하면, 상기 터치스크린에 의해 감싸지는 모바일 디바이스의 내부 영역 또는 상기 터치 스크린의 근처에 근접 센서(8141)가 배치될 수 있다. 상기 근접 센서(8141)는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서(8141)는 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다.

상기 근접 센서(8141)의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 상기 터치스크린이 정전식인 경우에는 상기 포인터의 근접에 따른 전계의 변화로 상기 포인터의 근접을 검출하도록 구성된다. 이 경우 상기 터치 스크린(터치 센서)은 근접 센서로 분류될 수도 있다.

이하에서는 설명의 편의를 위해, 앞선 실시예 7과 동일하게 "근접 터치(proximity touch)"와 "접촉 터치(contact touch)"를 정의한다. 상기 터치스크린 상에서 포인터로 근접 터치가 되는 위치라 함은, 상기 포인터가 근접 터치될 때 상기 포인터가 상기 터치스크린에 대해 수직으로 대응되는 위치를 의미한다.

상기 근접센서는, 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지한다. 상기 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 정보는 터치 스크린상에 출력될 수 있다.

음향 출력 모듈(8152)은 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(8110)로부터 수신되거나 메모리(8160)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력 모듈(8152)은 모바일 디바이스 (8100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력 모듈(8152)에는 리시버(Receiver), 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.

알람부(8153)는 모바일 디바이스(8100)의 이벤트 발생을 알리기 위한 신호를 출력한다. 모바일 디바이스에서 발생 되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 터치 입력 등이 있다. 알람부(8153)는 비디오 신호나 오디오 신호 이외에 다른 형태, 예를 들어 진동으로 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다. 상기 비디오 신호나 오디오 신호는 디스플레이부(8151)나 음성 출력 모듈(8152)을 통해서도 출력될 수 있어서, 그들(8151,8152)은 알람부(8153)의 일부로 분류될 수도 있다.

햅틱 모듈(haptic module)(8154), 메모리(8160), 인터페이스부(8170)은 각각 앞선 실시예 7의 햅틱 모듈(7153), 메모리(7170), 인터페이스부(7160)과 동일하므로, 반복 설명을 생략한다.

제어부(controller, 8180)는 통상적으로 모바일 디바이스의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다. 제어부(180)는 멀티 미디어 재생을 위한 멀티미디어 모듈(8181)을 구비할 수도 있다. 멀티미디어 모듈(8181)은 제어부(8180) 내에 구현될 수도 있고, 제어부(8180)와 별도로 구현될 수도 있다.

상기 제어부(8180)는 상기 터치스크린 상에서 행해지는 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 행할 수 있다.

전원 공급부(8190)는 제어부(8180)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.

여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.

하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨

트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 그러한 실시예들이 제어부(8180)에 의해 구현될 수 있다.

소프트웨어적인 구현에 의하면, 절차나 기능과 같은 실시예들은 적어도 하나의 기능 또는 작동을 수행하게 하는 별개의 소프트웨어 모듈과 함께 구현될 수 있다. 소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션에 의해 구현될 수 있다. 소프트웨어 코드는 메모리(8160)에 저장되고, 제어부(8180)에 의해 실행될 수 있다.

다음은 도 51 내지 도 56을 참고하여 본 발명의 일 실시예에 따른 모바일 디바이스의 외형을 설명한다.

도 51는 본 발명의 제8 실시예에 따른 모바일 디바이스의 전면도이다.

도 51에 도시된 바와 같이, 본 발명의 일 실시예에 따른 모바일 디바이스(8100)는 전면에 디스플레이부(8151)를 가지고, 4개의 심전도 전극(8171)을 가진다. 4개의 심전도 전극(8171)은 모바일 디바이스(8100)의 좌측 베젤의 위쪽과 아래쪽, 우측 베젤의 위쪽과 아래쪽에 각각 마련된다. 다양한 실시예에서, 전극의 개수와 전극의 위치는 변경될 수 있다.

도 52은 본 발명의 제8 실시예에 따른 모바일 디바이스의 우측면도이다.

도 52에 도시된 바와 같이, 본 발명의 일 실시예에 따른 모바일 디바이스(8100)는 우측 베젤에 2개의 심전도 전극(8171)를 가진다. PPG 센서(8142b)를 위한 발광 다이오드(8172)와 수광 다이오드(8173)가 각 심전도 전극(8171)에 인접하여 위치할 수 있다. 이로써 심전도 측정과 혈액 운동 측정이 동시에 가능하다.

한편, 본 발명의 일 실시예에 따른 모바일 디바이스(8100)는 우측 베젤에 2개의 심전도 전극(8171) 대신에 2개의 지문 인식 전극(8174)를 가질 수 있다. PPG 센서(8142b)를 위한 발광 다이오드(8172)와 수광 다이오드(8173)가 각 지문 인식 전극(8174)에 인접하여 위치할 수 있다. 이로써 지문 측정과 혈액 운동 측정이 동시에 가능하다.

도 52에서, 심전도 전극(8171)의 개수 및 위치, 발광 다이오드(8172)의 개수 및 위치, 수광 다이오드(8173)의 개수 및 위치, 지문 인식 전극(8174)의 개수 및 위치는 변경될 수 있다.

도 53은 본 발명의 제8 실시예에 따른 모바일 디바이스의 우측면도이다.

상기 도 53에 도시된 바와 같이, 본 발명의 일 실시예에 따른 모바일 디바이스(8100)는 우측 베젤에 2개의 지문 인식 전극(8174)를 갖는다. PPG 센서(8142b)를 위한 발광 다이오드(8172)와 수광 다이오드(8173)가 각 지문 인식 전극(8174)에 인접하여 위치할 수 있다. 또한, 심전도 전극(8171)이 각 지문 인식 전극(8174)에 인접하여 위치할 수 있다. 이로써 지문 측정과 혈액 운동 측정과 심전도 측정이 동시에 가능하다.

도 53에서, 심전도 전극(8171)의 개수 및 위치, 발광 다이오드(8172)의 개수 및 위치, 수광 다이오드(8173)의 개수 및 위치, 지문 인식 전극(8174)의 개수 및 위치는 변경될 수 있다.

도 54는 본 발명의 제8 실시예에 따른 모바일 디바이스의 전면도의 하단부를 보여준다. 상기 도 55에 도시된 바와 같이, 본 발명의 일 실시예에 따른 모바일 디바이스(8100)는 전면의 하단부에 2개의 심전도 전극(8171)를 갖는다. PPG 센서(8142b)를 위한 발광 다이오드(8172)와 수광 다이오드(8173)가 각 심전도 전극(8171)에 인접하여 위치할 수 있다. 이로써 심전도 측정과 혈액 운동 측정이 동시에 가능하다.

한편, 본 발명의 일 실시예에 따른 모바일 디바이스(8100)는 전면의 하단부에 2개의 심전도 전극(8171) 대신에 2개의 지문 인식 전극(8174)를 가질 수 있다. PPG 센서(8142b)를 위한 발광 다이오드(8172)와 수광 다이오드(8173)가 각 지문 인식 전극(8174)에 인접하여 위치할 수 있다. 이로써 지문 측정과 혈액 운동 측정이 동시에 가능하다.

도 54에서, 심전도 전극(8171)의 개수 및 위치, 발광 다이오드(8172)의 개수 및 위치, 수광 다이오드(8173)의 개수 및 위치, 지문 인식 전극(8174)의 개수 및 위치는 변경될 수 있다.

도 55은 본 발명의 일 실시예에 따른 모바일 디바이스의 전면도의 하단부를 보여준다. 도 55에 도시된 바와 같이, 본 발명의 일 실시예에 따른 모바일 디바이스(8100)는 전면의 하단부에 2개의 지문 인식 전극(8174)를 가진다. PPG 센서(8142b)를 위한 발광 다이오드(8172)와 수광 다이오드(8173)가 각 지문 인식 전극(8174)에 인접하여 위치할 수 있다. 또한, 심전도 전극(8171)이 각 지문 인식 전극(8174)에 인접하여 위치할 수 있다. 이로써 지문 측정과 혈액 운동 측정과 심전도 측정이 동시에 가능하다.

도 55에서, 심전도 전극(8171)의 개수 및 위치, 발광 다이오드(8172)의 개수 및 위치, 수광 다이오드(8173)의 개수 및 위치, 지문 인식 전극(8174)의 개수 및 위치는 변경될 수 있다.

도 52 내지 도 55에서 심전도 전극(8171) 또는 지문 인식 전극(8174)은 전원 버튼, 홈 버튼, 이벤트 획득 버튼, 다음 이벤트 구간 재생 버튼과 같은 기능 버튼에 형성될 수 있다. 여기서 이벤트 획득 버튼은 녹음 버튼, 사진 촬영 버튼 등에 해당할 수 있다. 다음 이벤트 구간 재생 버튼은 다음 이미지 디스플레이 버튼, 다음 페이지 디스플레이 버튼, 다음 음악 재생 버튼, 다음 동영상 구간 재생 버튼 등에 해당할 수 있다.

도 56은 본 발명의 일 실시예에 따른 모바일 디바이스에 연결되는 인체 감지 악세사리를 보여준다.

상기 도 56에 도시된 인체 감지 액세서리는 모바일 디바이스(8100)의 이어잭에 연결될 수 있다. 특히, 도 56에 도시된 인체 감지 액세서리는 이어잭에 연결되는 이어폰 또는 헤드셋일 수 있다. 도 56에서 보여지는 바와 같이, 인체 감지 액세서리는 2개의 음향 출력 모듈(8152)을 포함할 수 있다. PPG 센서(8142b)를 위한 발광 다이오드(8172)와 수광 다이오드(8173)가 각 음향 출력 모듈(8152)에 인접하여 위치할 수 있다. 이로써 모바일 디바이스(8100)가 혈액 운동 측정 기능을 제공하지 않더라도 사용자는 음악을 들으면서 혈액 운동을 측정할 수 있다.

한편, 인체 감지 액세서리는 2개의 음향 출력 모듈(8152) 대신에 2개의 심전도 전극(8171)을 포함할 수 있다. PPG 센서(8142b)를 위한 발광 다이오드(8172)와 수광 다이오드(8173)가 각 심전도 전극(8171)에 인접하여 위치할 수 있다. 이로써 모바일 디바이스(8100)가 심전도 측정 기능과 혈액 운동 측정 기능을 제공하지 않더라도 사용자는 심전도 측정과 혈액 운동 측정을 동시에 수행할 수 있다.

또한, 인체 감지 액세서리는 2개의 음향 출력 모듈(8152) 대신에 2개의 지문 인식 전극(8174)을 포함할 수 있다.

PPG 센서(8142b)를 위한 발광 다이오드(8172)와 수광 다이오드(8173)가 각 지문 인식 전극(8174)에 인접하여 위치할 수 있다. 이로써 모바일 디바이스(8100)가 지문 측정 기능과 혈액 운동 측정 기능을 제공하지 않더라도 사용자는 지문 측정과 혈액 운동 측정을 동시에 수행할 수 있다.

다음은 도 57을 참고하여 본 발명의 일 실시예에 따른 모바일 디바이스의 회로를 설명한다. 상기 도 57은 본 발명의 일 실시예에 따른 모바일 디바이스의 회로의 일부를 보여주는 블록도이다.

도 57에 도시된 바와 같이, 모바일 디바이스(8100)는 스위치(8310), 노이즈 필터(8200), 아날로그-디지털 변환기(analog-digital converter, ADC)(8210)를 더 포함한다.

복수의 심전도 전극(8171)은 인체로부터 심전도 신호를 수신하는 포트에 해당한다.

스위치(8310)는 제어부(8180)의 제어 신호에 따라 복수의 심전도 전극(8171) 중 2개의 신체 접촉된(bodycontacted) 전극을 심전도 센서(8142c)에 연결하거나 인체 통신 모듈(8116)에 연결한다.

심전도 센서(8142c)는 2개의 신체 접촉된 전극의 신호로부터 아날로그 심전도 신호를 검출한다.

ADC(8210)는 아날로그 심전도 신호를 디지털 심전도 신호로 변환한다.

노이즈 필터(8200)는 디지털 심전도 신호에서 노이즈를 제거하여 필터링된 심전도 신호를 생성한 후, 필터링된 심전도 신호를 제어부(8180)에 전달한다.

인체 통신 모듈(8116)은 제어부(8180)로부터 수신한 데이터를 인체 통신을 위한 변조를 수행하여 변조된 신호를 스위치(8310)를 통해 2개의 신체 접촉된 전극에 출력한다. 또한 인체 통신 모듈(8116)은 2개의 신체 접촉된 전극으로부터 수신한 신호를 인체 통신을 위한 복조를 수행하고, 복조된 데이터를 제어부(8180)에 전달한다. 인체 통신을 위한 변조는 주파주 변조(frequency modulation, FM)일 수 있다. 인체 통신을 위한 복조는 FM에 대응하는 복조일 수 있다.

제어부(8180)는 심전도 센서(8142c)를 통해 수신한 심전도 신호의 패턴과 메모리(8160)에 미리 저장된 사용자의 심전도 패턴을 비교하여 일치하는 경우에 스위치(8310)를 제어하여 스위치(8310)가 인체 통신 모듈(8116)에 연결하도록 할 수 있다.

다음은 도 58 내지 도 61를 참고하여, 본 발명의 제8 실시예의 다양한 실시 형태에 따른 노이즈 필터(8200)를 설명하고자 한다.

심전도 계측 전용 장비와는 달리, 모바일 디바이스(8100)는 여러 노이즈 환경에 노출된다. 예컨데, 모바일 디바이스(8100)를 통하여 심전도를 측정할 때, 문자 메시지나 전화가 올 수 있고, 이 때 알림음, 벨소리, 진동 등이 심전도 신호의 노이즈가 될 수 있다. 또한, 사용자는 이동 중에, 음악 청취 중에, 동영상 감상 중에, 또는 콘서트장에서 자신의 건강을 체크하거나 현재의 감정 상태를 기록하기 위하여 심전도를 측정할 수 있고, 이때 모바일 디바이스(8100)의 흔들림에 의한 노이즈나 음악 재생에 의한 노이즈가 발생할 수 있다. 겨울철 정전기로 인한 노이즈가 발생할 수 있고, 모바일 디바이스(8100)의 충전시 AC 교류 전원의 영향으로 60 Hz 주파수의 노이즈가 발생할 수 있다.

이와 같이 모바일 디바이스(8100)를 통하여 심전도를 측정할 때는 여러 노이즈 환경에 적용될 수 있는 노이즈 필터가 요구된다.

특히, 제어부(8180)가 심전도 센서(8142c)를 통해 심전도를 측정할 때, 문자 메시지나 호의 수신을 감지하면, 제어부(8180)는 알람부(8153)를 끌 수 있다.

이하에서는 다른 노이즈를 제거할 수 있는 필터에 대해 설명한다.

도 58는 본 발명의 일 실시 형태에 따른 노이즈 필터의 블록도이다.

상기 도 58에 도시된 바와 같이, 노이즈 필터(8200)는 노이즈 검출부(8220), 노이즈 제거부(8230)를 포함한다.

노이즈 검출부(8220)는 디지털 심전도 신호에서 노이즈를 검출한다. 검출된 노이즈는 시간 축상의 노이즈 신호이거나 주파수 축상의 노이즈 주파수 패턴일 수 있다.

노이즈 제거부(8230)는 디지털 심전도 신호에서 검출된 노이즈를 제거한다. 특히, 노이즈 검출부(8220)가 노이즈 신호를 검출하면, 노이즈 제거부(8230)는 디지털 심전도 신호에서 노이즈 신호를 차감하는 감산부에 해당할 수 있다. 또한, 노이즈 검출부(8220)가 노이즈 주파수 패턴을 검출하면, 노이즈 제거부(8230)는 디지털 심전도 신호에서 검출된 노이즈 주파수 패턴을 차단하는 노치 필터일 수 있다.

도 59는 본 발명의 일 실시예에 따른 노이즈 필터의 블록도이다.

도 59에 도시된 바와 같이, 노이즈 필터(8200)는 노이즈 검출부(8220), 노이즈 제거부(8230)를 포함한다. 노이즈 검출부(8220)는 하나 이상의 알려진 노이즈 소스 검출부(8221)와 비교부(8222)를 포함한다.

알려진 노이즈 소스 검출부(8221)는 알려진 노이즈 소스를 검출하여 노이즈 소스 신호를 출력한다. 알려진 노이즈 소스 검출부(8222)는 진동 센서, 전자파 센서, 음원 검출부, AC 교류 전원 검출부 등에 해당할 수 있다. 진동 센서는 진동을 감지하여 진동 감지 신호에 해당하는 노이즈 소스 신호를 출력한다. 전자파 센서는 전자파를 감지하여 전자파 감지 신호에 해당하는 노이즈 소스 신호를 출력한다. 음원 검출부는 재생되는 음원을 검출하여 음원 신호에 해당하는 노이즈 소스 신호를 출력한다. AC 교류 전원 검출부는 AC 교류 전원을 검출하여 AC 교류 전원 신호에 해당하는 노이즈 소스 신호를 출력한다.

비교부(8222)는 디지털 심전도 신호와 노이즈 소스 신호를 비교하여 노이즈를 출력한다. 비교부(8222)는 노이즈 신호 또는 노이즈 주파수 패턴을 출력할 수 있다.

도 60은 본 발명의 일 실시예에 따른 노이즈 필터의 블록도이다.

상기 도 60에 도시된 바와 같이, 노이즈 필터(8200)는 노이즈 검출부(8220), 노이즈 제거부(8230)를 포함한다. 노이즈 검출부(8220)는 증폭기(8223)와 포화 구간 검출부(8224)를 포함한다.

증폭기(8223)는 디지털 심전도 신호를 증폭하여 증폭된 디지털 심전도 신호를 생성한다.

포화 구간 검출부(8224)는 증폭된 디지털 심전도 신호에서 포화 구간을 검출하여 검출된 포화 구간에 해당하는 노이즈를 검출한다. 포화 구간 검출부(8224)는 노이즈 신호 또는 노이즈 주파수 패턴을 출력할 수 있다.

도 60과 같은 노이즈 필터를 통해 겨울철 정전기로 인한 노이즈나 모바일 디바이스(8100)의 충전시의 60 Hz 주파수의 노이즈가 제거될 수 있다.

도 61은 본 발명의 또 다른 실시예에 따른 노이즈 필터의 블록도이다.

상기 도 61에 도시된 바와 같이, 복수의 노이즈 필터(8200)가 직렬로 연결될 수 있다. 예컨데, 모바일 디바이스(8100)는 도 59에 도시된 노이즈 필터에 해당하는 1차 필터와 도 62에 도시된 노이즈 필터에 해당하는 2차 필터를 가질 수 있다.

다음은 도 62와 도 63를 참고하여 본 발명의 실시예에 따른 이어잭 타입 광혈류 측정 신호(photoplethysmographic signal, PPG) 센서(이하 PPG 센서)와 이를 지원하는 모바일 디바이스(8100)를 설명한다.

도 62은 본 발명의 실시예에 따른 이어잭 타입 PPG 센서를 보여준다.

상기 도 62에 도시된 바와 같이, 본 발명의 실시예에 따른 이어잭 타입 PPG 센서(8142b)는 발광 다이오드(8172), 수광다이오드(8173), 전류-전압 변환기(current-voltage converter, I-V converter)(8720), 필터(8730), 증폭기(8735), 플러그(8740)를 포함한다. 플러그는 마이크 신호 포트(8740a), 제1 이어 스피커 포트(8740b), 제2 이어 스피커 포트(8740c), 그라운드 포트(8740d)를 포함한다.

발광 다이오드(8172)의 애노드 단자는 제2 이어 스피커 포트(8740c)에 연결되고, 캐소드 단자는 그라운드 포트(8740d)에 연결된다. 수광 다이오드(8173)의 애노드 단자와 캐소드 단자는 전류-전압 변환기(8720)의 2개의 입력 단자에 각각 연결된다. 전류-전압 변환기(8720)의 출력 단자는 필터(8730)의 입력 단자에 연결된다. 필터(8730)의 출력 단자는 증폭기(8735)의 입력 단자에 연결된다. 증폭기(8735)의 출력 단자는 마이크 신호 포트(8740a)에 연결된다.

도 63 본 발명의 일 실시예에 따른 모바일 디바이스의 추가 구성 요소를 보여주는 블록도이다.

상기 도 63에 도시된 바와 같이, 본 발명의 실시예에 따른 모바일 디바이스(8100)는 이어잭(8176), 오디오 서브 시스템(8240), 아날로그-디지털 컨버터(8250), 스위치(8260)를 포함한다. 이어잭(8176)은 마이크 신호 포트(8176a), 제1 이어 스피커 포트(8176b), 제2 이어 스피커 포트(8176c), 그라운드 포트(8176d)를 포함한다.

아날로그-디지털 컨버터(8250)의 입력 단자는 마이크 신호 포트(8176a)에 연결된다. 아날로그-디지털 컨버터(8250)의 출력 단자는 제어부(8180)에 연결된다. 스위치(8260)의 일단은 마이크 신호 포트(8176a)에 연결되고, 타단은 오디오 서브 시스템(8240)의 마이크 신호 입력 단자에 연결된다. 제1 이어 스피커 포트(8176b)와 제2 이어 스피커 포트(8176c)는 오디오 서브 시스템의 2개의 오디오 출력 단자에 각각 연결된다.

이어잭(8176)이 평소에 오디오 용으로 이용되기 위하여, 제어부(8180)는 스위치(8260)가 턴 온되도록 스위치(8260)에 제어 신호를 제공한다.

플러그(8740)가 이어잭(8176)에 삽입되면, 마이크 신호 포트(8740a), 제1 이어 스피커 포트(8740b), 제2 이어 스피커 포트(8740c), 그라운드 포트(8740d)는 각각 마이크 신호 포트(8176a), 제1 이어 스피커 포트(8176b), 제2 이어스피커 포트(8176c), 그라운드 포트(8176d)에 연결된다.

그러면, 제2 이어 스피커 포트(8176c)에 걸린 초기 전압에 의해 발광 다이오드(8172)가 발광한다.

한편, 제1 이어 스피커 포트(8176b)에 걸린 초기 전압에 의해 전류-전압 변환기(8720), 필터(8730), 증폭기(8735)가 비정상적이지만 동작한다. 즉, 수광 다이오드(8173)는 발광 다이오드(8172)가 발광한 빛을 수신하여 전류 신호를 생성한다. 전류-전압 변환기(8720)는 생성된 전류 신호를 초기 전압에 의해 전압 신호로 변환한다. 필터(8730)는 초기 전압에 의해 전압 신호를 필터링하여 필터링된 전압 신호를 생성한다. 증폭기(8735)는 초기 전압에 의해 필터링된 전압 신호를 증폭하여 초기 PPG 신호를 생성한다.

이 초기 PPG 신호는 정확한 혈액 운동 측정 신호는 아니지만, 마이크 신호 포트(8176a)의 DC 레벨을 상승시킨다.

ADC(8250)는 초기 PPG 신호를 디지털로 변환하여 제어부(8180)에 제공한다.

제어부(8180)는 마이크 신호 포트(8176a)의 DC 레벨 상승을 감지하면, PPG 센서(8142b)가 이어잭(8176)에 삽입된 것으로 인식한다. 그리고, 이어잭(8176)이 PPG 센서(8142b) 용으로 이용되기 위하여, 제어부(8180)는 스위치(8260)가 턴 오프되도록 스위치(8260)에 제어 신호를 제공한다.

한편, PPG 센서(8142b)에 안정된 전원을 제공하기 위하여 제어부(8180)는 오디오 서브 시스템(8240)을 제어하여 오디오 서브 시스템(8240)이 제1 이어 스피커 포트(8176b), 제2 이어 스피커 포트(8176c)에 DC 전압을 제공하도록 한다.

PPG 센서(8142b)에 안정된 전원에 제공되면, 제2 이어 스피커 포트(8740c)에 걸린 DC 전압에 의해 발광 다이오드(8172)가 정상적으로 발광한다. 또한, 제1 이어 스피커 포트(8740b)에 걸린 DC 전압에 의해 전류-전압 변환기(8720), 필터(8730), 증폭기(8735)가 정상적이지만 동작한다. 따라서 증폭기(8735)는 마이크 신호 포트(8740a)에 정상적인 혈액 운동 측정 신호를 제공하고, ADC(8250)는 정상적인 혈액 운동 측정 신호를 디지털 신호로 변환하여 제어부(8180)에 제공한다.

다음은 도 64 내지 도 67을 참고하여 본 발명의 실시예에 따른 모바일 디바이스의 모드 변경 방법을 설명한다.

도 64는 본 발명의 제8 실시예에 따른 모드 변경 방법의 흐름도이다.

모바일 디바이스(8100)의 제어부(8180)는 제1 모드(M1)에 있다(S8201). 일 실시예에서, 제1 모드(M1)는 슬립 모드일 수 있다. 일 실시예에서, 제1 모드(M1)는 호의 수신 상태일 수 있다. 일 실시예에서 제1 모드(M1)는 메시지 수신 상태일 수 있다.

제1 모드(M1)에서 제어부(8180)는 심전도 신호의 DC 레벨의 상승을 확인한다(S8203). 통상 사용자가 복수의 심전도 전극(8171) 중 하나에 손을 접촉한 경우에 심전도 신호의 DC 레벨은 상승하지만 심전도 파형은 나타나지 않는다. 사용자가 복수의 심전도 전극(8171) 중 2 이상에 손을 접촉한 경우에 심전도 신호의 DC 레벨의 상승과 심전도 파형이 나타난다.

심전도 신호의 DC 레벨이 상승하면, 제어부(8180)는 신체 접촉 입력에 해당하는 인터럽트가 발생한 것으로 인식하고(S8205), 신체 접촉 입력에 해당하는 인터럽트에 대응하여 제2 모드(M2)로 천이한다(S8207).

제2 모드(M2)에서, 제어부(8180)는 심전도 파형의 검출을 확인한다(S8209). 통상 사용자가 복수의 심전도 전극(8171) 중 2 이상에 손을 접촉한 경우에 심전도 파형이 나타난다.

심전도 파형이 검출되면, 제어부(8180)는 그립(grip) 입력에 해당하는 인터럽트가 발생한 것으로 인식하고(S8211), 그립 입력에 해당하는 인터럽트에 대응하여 제3 모드(M3)로 천이한다(S8213).

제3 모드(M3)에서, 제어부(8180)는 스퀴즈(squeeze) 파형의 검출을 확인한다(S8215). 통상 사용자가 복수의 심전도 전극(8171) 중 2 이상에 손을 접촉하고서 모바일 디바이스(8100)를 꽉 쥔 경우에 근전도 신호가 확대되는 이유 등으로 근전도 파형이 나타난다.

근전도 파형이 검출되면, 제어부(8180)는 스퀴즈 입력에 해당하는 인터럽트가 발생한 것으로 인식하고(S8217), 스퀴즈 입력에 해당하는 인터럽트에 대응하여 제4 모드(M4)로 천이한다(S8219).

제4 모드(M4)에서, 제어부(8180)는 수신된 심전도 신호의 패턴이 사용자의 심전도 신호의 패턴과 일치하는지를 확인한다(S8221).

일치가 확인되면, 제어부(8180)는 사용자 인증에 성공한 것으로 판단하고 제5 모드(M5)로 천이한다(S8223).

도 65은 본 발명의 실시예에 따른 복수의 모드와 심전도 신호와의 관계를 나타내는 그래프이다.

상기 도 65에서 보여지는 바와 같이, 심전도 신호의 DC 레벨이 일정 레벨 이하인 경우, 제어부(8180)는 제1 모드(M1)에 있다.

사용자가 복수의 심전도 전극(8171) 중 하나에 손을 접촉한 경우에 심전도 신호의 DC 레벨은 일정 레벨 이상이 되고, 제어부(8180)는 제1 모드(M1)에서 제2 모드(M2)로 천이한다.

사용자가 복수의 심전도 전극(8171) 중 2 이상에 손을 접촉한 경우에 심전도 파형이 나타나고, 제어부(8180)는 제2 모드(M2)에서 제3 모드(M3)로 천이한다.

사용자가 복수의 심전도 전극(8171) 중 2 이상에 손을 접촉하고서 모바일 디바이스(8100)를 꽉 쥔 경우에 도 65에 나타난 바와 같은 근전도 파형이 나타나고, 제어부(8180)는 제3 모드(M3)에서 제4 모드(M4)로 천이한다.

사용자가 복수의 심전도 전극(8171) 중 2 이상에 손을 접촉한 채로 모바일 디바이스(8100)의 꽉 쥠을 해제한 경우에 다시 심전도 파형이 나타난다. 이때, 제어부(8180)는 사용자 인증을 수행하고, 사용자 인증에 성공하면 제어부(8180)는 제4 모드(M4)에서 제5 모드(M5)로 천이한다.

도 66은 본 발명의 일 실시예에 따른 모드 천이도이다.

상기 도 66에서 보여지는 바와 같이, 제1 모드(M1)에서 심전도 신호의 DC 레벨의 상승이 감지되면, 제어부(8180)는 제2 모드(M2)로 천이한다.

제2 모드(M2)에서 심전도 파형이 나타나면, 제어부(8180)는 제3 모드(M3)로 천이한다. 제2 모드(M2)에서 일정 시간 동안 심전도 신호의 DC 레벨이 저 레벨로 유지되면, 제어부(8180)는 제1 모드(M1)로 천이한다.

제3 모드(M3)에서 근전도 파형이 나타나면, 제어부(8180)는 제4 모드(M4)로 천이한다. 제3 모드(M3)에서 일정 시간 동안 심전도 신호의 DC 레벨이 저 레벨로 유지되면, 제어부(8180)는 제1 모드(M1)로 천이한다. 제3 모드(M3)에서 일정 시간 동안 심전도 파형이 감지되지 않으면, 제어부(8180)는 제2 모드(M2)로 천이한다.

제4 모드에서 심전도 파형이 나타나면, 제어부(8180)는 사용자 인증을 수행하고, 사용자 인증에 성공하면 제5 모드(M5)로 천이한다. 제4 모드(M4)에서 일정 시간 동안 심전도 신호의 DC 레벨이 저 레벨로 유지되면, 제어부(8180)는 제1 모드(M1)로 천이한다. 제4 모드(M4)에서 일정 시간 동안 심전도 파형이 감지되지 않으면, 제어부

(8180)는 제2 모드(M2)로 천이한다.

제5 모드(M5)에서 일정 시간 동안 심전도 신호의 DC 레벨이 저 레벨로 유지되면, 제어부(8180)는 제1 모드(M1)로 천이한다. 제5 모드(M5)에서 일정 시간 동안 심전도 파형이 감지되지 않으면, 제어부(8180)는 제2 모드(M2)로 천이한다.

일 실시예에서, 제3 모드(M3)에서 심전도 신호를 통한 사용자 인증에 성공하고 근전도 파형이 나타나면, 제어부(8180)는 제4 모드(M4)로 천이할 수 있다. 이 경우 사용자 인증이 이루어 졌으므로, 제어부(8180)는 제4 모드(M4)에서 사용자 인증을 재수행하지 않을 수 있다.

이상에서, 제1 모드(M1), 제2 모드(M2), 제3 모드(M3), 제4 모드(M4) 및 제5 모드(M5)가 언급되었지만, 이들 중 일부는 생략될 수 있다. 즉, 일 실시예에서, 제1 모드(M1)가 생략될 수 있다. 일 실시예에서, 제4 모드(M4)가 생략될 수 있다. 일 실시예에서, 제5 모드(M5)가 생략될 수 있다. 일 실시예에서, 제3 모드(M3)와 제4 모드(M4)가 생략될 수 있다.

또한, 이들 모드 중 2 이상의 모드가 결합되어 하나의 모드를 이룰 수 있다. 일 실시예에서, 제1 모드(M1)와 제2 모드(M2)가 결합될 수 있다. 일 실시예에서, 제2 모드(M2)와 제3 모드(M3)가 결합될 수 있다. 일 실시예에서, 제3 모드(M3)와 제4 모드(M4)가 결합될 수 있다.

뿐만 아니라, 일부의 천이 경로는 생략될 수 있다. 예컨데, 제3 모드(M3)에서 제1 모드(M1)로의 천이 경로는 생략될 수 있다.

한 모드에서 다른 모드로 천이하기 위한 조건은 변경될 수 있다.

일 실시예에서, 근전도 파형이 나타나기 이전의 모드와 이후의 모드로 나뉠 수 있다. 이때, 이전의 모드는 단말기 잠김 상태에 해당하고, 이후의 모드는 잠김 해제 상태에 해당한다면, 사용자는 사용자는 단말기를 꽉 쥠으로써 단말기의 잠김 상태를 해제할 수 있다. 또한, 이전의 모드는 슬립 상태에 해당하고, 이후의 모드는 슬립 상태에서 벗어난 상태에 해당한다면, 사용자는 사용자는 단말기를 꽉 쥠으로써 단말기의 슬립 상태를 해제할 수있다. 이전의 모드는 호의 수신 상태에 해당하고, 이후의 모드는 전화 통화 상태에 해당한다면, 사용자는 사용자는 단말기를 꽉 쥠으로써 전화 통화를 할 수 있다. 이전의 모드는 메시지 수신 상태에 해당하고, 이후의 모드는 메시지 표시 상태에 해당한다면, 사용자는 사용자는 단말기를 꽉 쥠으로써 메시지를 확인할 수 있다. 이전의 모드는 어플리케이션의 대기 상태에 해당하고, 이후의 모드는 어플리케이션의 실행 상태에 해당한다면, 사용자는 단말기를 꽉 쥠으로써 어플리케이션을 실행시킬 수 있다. 또한, 이전의 모드는 컨텐츠의 한 구간의 재생 상태에 해당하고, 이후의 모드는 컨텐츠의 다음 구간의 재생 상태에 해당한다면, 사용자는 단말기를 꽉 쥠으로써 페이지를 넘긴다던가 다음 이미지를 디스플레이시키던가 다음 음악을 재생시킬 수 있다.

도 67은 본 발명의 실시예에 따른 심전도 패턴을 보여준다.

상기 도 67에 도시된 바와 같이, 심전도 신호에서는 P 점, Q 점, R 점, S 점, 및 T 점이 나타난다. 이들을 통해, 심전도 신호로부터는 심장 박동율(heart rate), PR 간격, PR 컴플렉스, QRS 콤플렉스, ST 세그먼트, QT 간격과 같은 여러 세그먼트가 추출될 수 있다. 이러한 여러 세그먼트 중 일부는 사람마다 고유하게 나타난다. 따라서, 모바일 디바이스(8100)는 이러한 세그먼트들로부터 심전도 패턴을 구할 수 있고, 얻은 심전도 패턴을 통해 심전도 인증을 수행할 수 있다. 세그먼트가 많을수록 보안이 강화될 수 있다.

다음은 본 발명의 실시예에 따른 모바일 디바이스의 모드 변경 방법의 사용 케이스를 설명한다.

먼저 본 발명의 일 실시예에 따라 잠김 상태를 해제하는 과정을 보여준다.

먼저, 모바일 디바이스(8100)는 제1 모드(M1)에 있으면서 슬립 모드에서 심전도 신호의 DC 레벨 상승을 체크한다. 전극에 신체가 접촉되지 않은 경우, 모바일 디바이스(8100)는 심전도 파형의 존재를 체크할 필요없이 단지 심전도 신호의 DC 레벨의 상승만을 체크하면 되므로, 슬립 모드에서 모바일 디바이스(8100)의 소모 전력을 낮출 수 있다.

사용자가 복수의 심전도 전극(8171) 중 하나에 손가락을 접촉하면, 모바일 디바이스(8100)는 제2 모드(M2)로 천이하여 슬립 모드에서 심전도 파형의 존재를 체크한다.

심전도 파형의 존재가 체크되는 제2 모드(M2)에서 사용자가 모바일 디바이스(100)를 쥐면, 모바일 디바이스(8100)는 제3 모드(M3)로 천이하여 슬립 모드에서 깨어나 잠김 상태 화면을 디스플레이한다. 제2 모드(M2)에서 사용자가 모바일 디바이스 (8100)를 내려 놓은 채 일정 시간이 경과하면, 모바일 디바이스(8100)는 제1 모드(M1)로 천이하여 슬립 모드에서 심전도 신호의 DC 레벨 상승을 체크한다.

잠김 상태 화면이 디스플레이되는 제3 모드(M3)에서 사용자가 모바일 디바이스(8100)를 힘주어 쥐면, 모바일 디바이스(8100) 제4 모드(M4)로 천이하여 심전도 신호를 통한 사용자 인증을 수행한다. 제3 모드(M3)에서 사용자가 모바일 디바이스(8100)를 내려 놓은 채 일정 시간이 경과하면, 모바일 디바이스(8100)는 제1 모드(M1)로 천이하여 슬립 모드에서 심전도 신호의 DC 레벨 상승을 체크한다. 제3 모드(M3)에서 사용자가 모바일 디바이스(8100)를 바로 쥐지 않아 복수의 심전도 전극(8171) 중 하나에만 손가락이 접촉된 채 일정 시간이 경과하면, 모바일 디바이스(8100)는 제2 모드(M1)로 천이하여 슬립 모드에서 심전도 파형의 존재를 체크한다.

제4 모드(M4)에서 사용자 인증에 성공하면, 모바일 디바이스(8100)는 제5 모드(M5)로 천이하여 잠김 상태을 해제한다. 제4 모드(M4)에서 사용자가 모바일 디바이스(8100)를 내려 놓은 채 일정 시간이 경과하면, 모바일 디바이스(8100)는 제1 모드(M1)로 천이한다. 제4 모드(M4)에서 사용자가 모바일 디바이스(8100)를 바로 쥐지 않아 복수의 심전도 전극(8171) 중 하나에만 손가락이 접촉된 채 일정 시간이 경과하면, 모바일 디바이스(8100)는 제2 모드(M1)로 천이한다.

잠김 상태가 해제된 제5 모드(M5)에서 사용자가 모바일 디바이스(8100)를 내려 놓은 채 일정 시간이 경과하면, 모바일 디바이스(8100)는 제1 모드(M1)로 천이한다. 제5 모드(M5)에서 사용자가 모바일 디바이스(8100)를 바로 쥐지 않아 복수의 심전도 전극(8171) 중 하나에만 손가락이 접촉된 채 일정 시간이 경과하면, 모바일 디바이스(8100)는 제2 모드(M2)로 천이한다.

본 발명의 일 실시예에 따라 전화 통화를 수행하는 과정을 설명한다.

먼저, 모바일 디바이스(8100)는 제1 모드(M1)에 있으면서 슬립 모드에서 호를 수신하여 벨소리를 재생하거나 진동을 발생시킨다.

제1 모드(M1)에서 사용자가 복수의 심전도 전극(8171) 중 하나에 손가락을 접촉하면, 모바일 디바이스(8100)는 제2 모드(M2)로 천이하여 슬립 모드에서 깨어나 전화 통화 프로그램을 실행시킨다.

제2 모드(M2)에서 사용자가 모바일 디바이스(8100)를 쥐면, 모바일 디바이스(100)는 제3 모드(M3)로 천이하여 벨소리의 볼륨을 줄이거나 벨소리의 재생을 중단시키거나 진동을 멈춘다.

제3 모드(M3)에서 사용자가 모바일 디바이스(8100)를 힘주어 쥐면, 모바일 디바이스(100) 제4 모드(M4)로 천이하여 심전도 신호를 통한 사용자 인증을 수행한다.

사용자 인증에 성공하면, 모바일 디바이스(8100)는 제5 모드(M5)로 천이하여 전화 통화를 개시한다.

본 발명의 일 실시예에 따라 메시지 내용을 확인하는 과정을 설명한다.

먼저, 모바일 디바이스(8100)는 제1 모드(M1)에 있으면서 슬립 모드에서 메시지를 수신하여 알림음을 재생하거나 진동을 발생시킨다.

제1 모드(M1)에서 사용자가 복수의 심전도 전극(8171) 중 하나에 손가락을 접촉하면, 모바일 디바이스(8100)는 제2 모드(M2)로 천이하여 슬립 모드에서 심전도 파형을 체크한다.

제2 모드(M2)에서 사용자가 모바일 디바이스(8100)를 쥐면, 모바일 디바이스(8100)는 제3 모드(M3)로 천이하여 메시지 수신 알림을 디스플레이한다.

제3 모드(M3)에서 사용자가 모바일 디바이스(8100)를 힘주어 쥐면, 모바일 디바이스(8100) 제4 모드(M4)로 천이하여 심전도 신호를 통한 사용자 인증을 수행한다.

사용자 인증에 성공하면, 모바일 디바이스(8100)는 제5 모드(M5)로 천이하여 수신된 메시지를 디스플레이한다.

도 68은 본 발명의 일 실시예에 따라 심전도 신호로부터 감지된 감정을 통해 평가 대상을 평가하는 방법을 보여주는 래더 다이어그램이다. 평가 대상은 인물, 사진, 댓글, 신문 기사 등에 해당할 수 있다.

상기 도 68는 심전도 신호를 바탕으로 설명하지만, 다른 신체 신호를 바탕으로 구현될 수도 있다.

먼저, 평가 서버(8600)는 모바일 디바이스(8100)에 평가 요청 메시지를 전송한다(S8401).

제어부(8180)는 심전도 신호의 DC 레벨의 상승을 감지한다(S8402). 일 실시예에서 제어부(8180)는 심전도 파형을 감지할 수 있다.

심전도 신호의 DC 레벨의 상승이 감지되면, 모바일 디바이스(8100)의 제어부(8180)는 평가 요청 알림을 디스플레이한다(S8403).

평가 요청 알림의 디스플레이 후, 제어부(8180)는 심전도 파형을 감지한다(S8405). 상기 단계(S8405)는 생략될 수 있다.

제어부(8180)는 평가 대상 요청 사용자 입력을 수신한다(S8409). 평가 대상 요청 사용자 입력은 근전도 파형에 해당할 수 있다.

평가 대상 요청 사용자 입력이 수신되면, 제어부(8180)는 심전도 신호를 감지한다(S8409).

제어부(8180)는 단계(S8409)에서 감지한 심전도 신호로부터 평가 전 감정을 감지한다(S8411).

제어부(8180)는 단계(S8409)에서 감지한 심전도 신호의 패턴과 모바일 디바이스(8100)의 사용자가 등록한 심전도 신호의 패턴의 일치를 확인하여 사용자 인증을 수행한다(S8413).

사용자 인증에 성공하면, 제어부(8180)는 통신 모듈을 통하여 평가 서버(8600)에 평가 대상 요청 메시지를 전송한다(S8415).

일 실시예에서, 단계(S8401) 내지 단계(S8407), 단계(S8413)은 생략되고, 제어부(8180)는 평가 대상 링크의 터치를 감지하여 평가 대상 요청 메시지를 전송할 수도 있다.

평가 서버(8600)는 평가 대상 요청 메시지에 응답하여 평가 대상을 전송한다(S8417).

제어부(8180)는 심전도 신호의 DC 레벨의 상승을 감지한다(S8418). 일 실시예에서 제어부(8180)는 심전도 파형을 감지할 수 있다.

심전도 신호의 DC 레벨의 상승이 감지되면, 제어부(8180)는 수신한 평가 대상을 디스플레이한다(S8419).

평가 대상의 디스플레이 후 제어부(8180)는 심전도 파형를 감지한다(S8421). 상기 단계(S8421)는 생략될 수 있다.

제어부(8180)는 자동 평가 사용자 입력을 수신한다(S8423). 자동 평가 사용자 입력은 근전도 파형에 해당할 수 있다.

상기 제어부(8180)는 심전도 신호를 감지한다(S8425).

상기 제어부(8180)는 단계(S8425)에서 감지한 심전도 신호로부터 평가 후 감정을 감지한다(S8427).

예컨데, 제어부(8180)는 맥박 수 범위에 따라 120 이상(매우 흥분), 90~120(흥분), 50~90(안정), 50 이하(우울) 등으로 사용자의 감정을 결정할 수 있다.

제어부(8180)는 평가 전 감정과 평가 후 감정을 비교하여 평가 결과를 결정한다(S8429). 예컨데, 제어부(8180)는 맥박수의 변화 등을 통해 흥분도 또는 안정도 등을 결정하고, 이를 바탕으로 평가 결과를 결정할 수 있다. 만약 재미있는 동영상이 평가 대상이라면, 동영상의 감상 전의 심박수에 비해 증가된 심박수를 바탕으로 동영상의 재미를 판단할 수 있다.

제어부(8180)는 단계(S8425)에서 감지한 심전도 신호의 패턴과 모바일 디바이스(8100)의 사용자가 등록한 심전도 신호의 패턴의 일치를 확인하여 사용자 인증을 수행한다(S8431).

사용자 인증에 성공하면, 제어부(8180)는 통신 모듈을 통하여 평가 서버(8600)에 평가 결과를 전송한다(S8433).

일 실시예에서, 단계(S8401)와 단계(S8402)는 제1 모드(M1)에 해당하고, 단계(S8403)과 단계(S8405)는 제2 모드(M2)에 해당하고, 단계(S8407)는 제3 모드(M3)에 해당하고, 단계(S8409), 단계(S8411) 및 단계(S8413)는 제4 모드(M4)에 해당하며, 단계(S8415)는 제5 모드(M5)에 해당할 수 있다. 또한, 단계(S8417)와 단계(S8418)는 제1 모드(M1)에 해당하고, 단계(S8419)와 단계(S8421)는 제2 모드(M2)에 해당하고, 단계(S8423)는 제3 모드(M3)에해당하고, 단계(S8425), 단계(S8427), 단계(S8429) 및 단계(S8431)는 제4 모드(M4)에 해당하며, 단계(S8433)는 제5모드(M5)에 해당할 수 있다.

상기 도 68에서 각 단계들과 각 모드들 사이의 관계는 변경될 수 있다. 예를 들면, 단계(S8401)와 단계(S8402)는 제2 모드(M2)에 해당하고, 단계(S8403), 단계(S8405) 및 단계(S8407)는 제3 모드(M3)에 해당하고, 단계(S8409), 단계(S8411) 및 단계(S8413)는 제4 모드(M4)에 해당하며, 단계(S8415)는 제5 모드(M5)에 해당할 수 있다. 또한, 단계(S8417)와 단계(S8418)는 제2 모드(M2)에 해당하고, 단계(S8419), 단계(S8421) 및 단계(S8423)는 제3 모드(M3)에 해당하고, 단계(S8425), 단계(S8427), 단계(S8429) 및 단계(S8431)는 제4 모드(M4)에 해당하며, 단계(S8433)는 제5 모드(M5)에 해당할 수 있다.

다음은 도 69를 참고하여 본 발명의 일 실시예에 따른 모바일 디바이스의 데이터 전송 방법을 설명한다.

상기 도 69은 본 발명의 제8 실시예에 따른 모바일 디바이스의 데이터 전송 방법을 보여주는 흐름도이다.

상기 도 69에서는, 모바일 디바이스(8100)가 제1 디바이스(8400) 및 제2 디바이스(8500)와 통신할 수 있지만, 모바일 디바이스(8100)는 제1 디바이스(8400)와 통신하고자 하는 것으로 가정한다.

먼저, 제어부(8180)는 이벤트의 발생을 감지하고(S8101) 심전도 신호의 수신을 대기한다. 여기서, 이벤트는 호출(call)의 수신, 프로그램의 실행, 전송하고자 하는 파일의 선택, 연결하고자 하는 디바이스의 선택, 통신 방식의 선택 등에 해당할 수 있다. 여기서 프로그램은 연락처 관련 프로그램, 명함 관련 프로그램, 문서 전송 관련 프로그램, 음악 재생 프로그램, 동영상 재생 프로그램 등에 해당할 수 있다. 전송하고자 하는 파일은 연락처, 명함, 문서, 음악 파일, 동영상 파일 등에 해당할 수 있다.

제어부(8180)는 통신 요청 사용자 입력을 수신한다(S8103). 여기서 통신 요청 사용자 입력은 근전도 파형에 해당할 수 있다.

이후, 제어부(8180)는 심전도 센서(8142c)를 통해 심전도 신호를 검출한다(S8105).

제어부(8180)는 심전도 신호로부터 심전도 패턴을 파악하고, 메모리(8160)에 저장된 사용자의 심전도 패턴과 파악된 심전도 패턴의 일치 여부를 확인하여 심전도 인증을 수행한다(S8107).

만약, 메모리에 사용자의 심전도 패턴이 저장되어 있지 않거나 메모리(8160)에 저장된 사용자의 심전도 패턴과 파악된 심전도 패턴이 일치하지 않은 경우에, 제어부(8180)는 패스워드 입력 창을 디스플레이부(8151)에 표시한다(S8111).

제어부(8180)는 패스워드를 수신하고(S8113), 수신한 패스워드와 메모리(8160)에 저장된 패스워드의 일치 여부를 확인하여 패스워드 인증을 수행한다(S8115). 패스워드 인증에 실패한 경우에 제어부(8180)는 데이터의 전송을 종료한다.

한편, 패스워드 인증에 성공한 경우에 제어부(8180)는 파악된 심전도 패턴을 메모리(8160)에 저장하여 심전도 패턴 업데이트를 수행한다(S8117).

이러한 심전도 패턴 업데이트에 대하여 설명한다.

사용자는 모바일 디바이스(8100)의 좌우에 부착된 2개의 전극을 통해 심전도 인증을 수행하지만, 심전도 인증이 실패하면 디스플레이부(8151)에 패스워드 입력창이 표시된다. 사용자는 디스플레이부(8151)의 터치 등을 통해 패스워드를 입력하고, 패스워드 인증이 성공하면 제어부(8180)는 심전도의 패턴을 파악하여 심전도 패턴 업데이트를 수행한다.

심전도 인증에 성공하였거나 패스워드 인증에 성공한 경우에, 모바일 디바이스(8100)의 제어부(8180)는 연결 디바이스 확인 메시지를 주위의 디바이스들에게 전송한다. 일 실시예에서, 모바일 디바이스(8100)의 제어부는 인체 통신 모듈(8116)을 통해 2개의 심전도 전극(8171)에 출력하여 주위의 디바이스에게 연결 디바이스 확인 메시지를 전송할 수 있다. 일 실시예어서, 제어부(8180)는 WLAN 통신 모뎀, Wibro 통신 모뎀, HSDPA 통신 모뎀, 블루투스 통신 모뎀, 적외선 통신 모뎀과 같은 다른 통신 모듈을 통해 연결 디바이스 확인 메시지를 전송할 수 있다. 이때, 주위에 2 이상의 디바이스가 존재하는 경우, 연결 디바이스 확인 메시지는 주위의 모든 디바이스(8400) 모두에 전송될 수 있다.

한편, 연결 디바이스 확인 메시지를 수신한 디바이스는 응답 메시지를 전송하는데, 제1 디바이스(8400)와 제2 디바이스(8500)가 동시에 응답 메시지를 전송한다면 충돌이 발생할 수 있다. 따라서, 제1 디바이스(8400)는 랜덤 함수를 통해 지연 시간을 결정하고, 결정된 지연 시간의 경과 후에 응답 메시지를 모바일 디바이스(8100)에 전송한다. 제2 디바이스(8500) 또한 랜덤 함수를 통해 지연 시간을 결정하고, 결정된 지연 시간의 경과 후에 응답 메시지를 모바일 디바이스(8100)에 전송한다.

주위의 디바이스는 인체 통신 모듈(8116), WLAN 통신 모뎀, Wibro 통신 모뎀, HSDPA 통신 모뎀, 블루투스 통신 모뎀, 적외선 통신 모뎀과 같은 통신 모듈을 통해 응답 메시지를 전송할 수 있다. 주위의 디바이스는 연결 디바이스 확인 메시지가 전송된 통신 방식과 동일한 통신 방식을 이용하여 응답 메시지를 전송할 수도 있고, 연결 디바이스 확인 메시지가 전송된 통신 방식과 다른 통신 방식을 이용하여 응답 메시지를 전송할 수도 있다.

응답 메시지는 디바이스 식별자, 디바이스 타입, 소유자 정보, 통신 능력 정보, 연결 설정 정보를 포함할 수 있다. 디바이스 타입은 디바이스가 헤드셋인지 핸드폰인지 TV인지 컴퓨터인지를 나타내는 정보일 수 있다. 통신 능력 정보는 디바이스가 WLAN 통신, Wibro 통신, HSDPA 통신, 블루투스 통신, 적외선 통신 등 복수의 통신 방식 중에서 어떤 통신 방식을 지원하는 지에 대한 정보에 해당할 수 있다. 연결 설정 정보는 지원하는 통신 방식에 연결하기 위하여 필요한 정보에 해당할 수 있다. 일 실시예에서, 디바이스 식별자, 디바이스 타입, 소유자 정보, 통신 능력 정보 및 연결 설정 정보는 응답 메시지와 별도의 메시지를 통해 전송될 수 있다.

응답 메시지를 수신한 모바일 디바이스(8100)의 제어부(8180)는 다양한 선택을 지원하는 그래픽 사용자 인터페이스(graphical user interface, GUI)를 디스플레이부(151)에 표시하고, 필요한 경우에 사용자 입력을 수신한다.

본 발명의 다양한 실시예에 따른 그래픽 사용자 인터페이스를 설명한다.

제어부(8180)는 검색된 디바이스의 목록을 디스플레이부(8151)에 표시하여, 연결하고자 하는 디바이스의 선택을 사용자에게 제공할 수 있다. 표시되는 목록의 각 아이템은 디바이스 식별자, 디바이스 타입, 소유자 정보, 통신 능력 정보, 연결 설정 정보 중 적어도 하나를 포함할 수 있다.

일 실시예에서, 검색된 디바이스의 개수가 1개인 경우에 제어부(8180)는 검색된 디바이스의 목록을 디스플레이하지 않을 수 있다. 일 실시예에서, 제어부(8180)는 검색된 디바이스의 목록을 디스플레이하지 않는 대신에 이벤트의 종류, 전송하고자 하는 파일 등에 기초하여 사용자의 선택 없이 연결하고자 하는 디바이스를 선택할 수도 있다. 제어부(8180)가 이벤트 발생을 감지할 때, 연결 디바이스가 선택되었다면 연결 디바이스의 선택을 위한 그래픽 사용자 인터페이스의 디스플레이는 생략될 수 있다.

본 발명의 일 실시예에 따른 연결 방식 선택을 위한 그래픽 사용자 인터페이스를 설명한다. 제어부(8180)는 선택된 디바이스가 지원하는 연결 방법과 모바일 디바이스(8100)가 지원하는 연결 방법 중 공통의 연결 방식의 목록을 디스플레이부(8151)에 표시하여, 연결 방식의 선택을 사용자에게 제공할 수 있다. 특히, 제어부(8180)는 이벤트의 종류, 전송하고자 하는 파일 등에 기초하여 요구되는 서비스 품질(quality of service, QoS)을 결정하고, 공통의 연결 방식 중에서 결정된 서비스 품질을 만족하는 연결 방식의 목록을 디스플레이부(8151)에 표시할 수 있다. 제어부(8180)가 이벤트 발생을 감지할 때, 연결 방식이 선택되었다면 연결 방식의 선택을 위한 그래픽 사용자 인터페이스의 디스플레이는 생략될 수 있다.

본 발명의 일 실시예에 따른 파일 선택을 위한 그래픽 사용자 인터페이스를 설명한다. 제어부(8180)는 하나 이상의 파일의 아이콘을 디스플레이부(8151)에 표시하여, 전송하고자 하는 파일의 선택을 사용자에게 제공할 수 있다. 제어부(8180)가 이벤트 발생을 감지할 때, 전송하고자 하는 파일이 선택되었다면 파일 선택을 위한 그래픽 사용자 인터페이스의 디스플레이는 생략될 수 있다.

본 발명의 또 다른 실시예에 따른 파일 선택을 위한 그래픽 사용자 인터페이스를 설명하면, 제어부(8180)는 모바일 디바이스(8100)가 가진 전송가능한 파일의 목록을 표시하는 제1 영역과 연결된 디바이스가 가진 전송가능한 파일의 목록을 표시하는 제2 영역을 포함하는 GUI를 디스플레이할 수 있다. 제1 영역의 파일이 드래그되어 제2 영역에 올려지면, 제어부(8180)는 드래그된 파일을 선택된 연결 방식을 통해 연결된 디바이스에 전송할 수 있다. 제2 영역의 파일이 드래그되어 제1 영역에 올려지면, 제어부(8180)는 드래그된 파일을 선택된 연결 방식을 통해 연결된 디바이스로부터 수신할 수 있다.

본 발명의 일 실시예에 따른 그래픽 사용자 인터페이스는 복수의 영역을 가질 수 있으며, 복수의 영역은 복수의 검색된 디바이스에 각각 대응한다. 각 영역은 대응하는 디바이스의 제어를 위한 그래픽 사용자 인터페이스가 제공될 수 있다. 즉, 연결 방식 선택을 위한 GUI, 전송 파일 선택을 위한 GUI, 볼륨 조절을 위한 GUI 등이 각 영역에 제공될수 있다.

제어부(8180)는 이벤트의 종류, 전송하고자 하는 파일 등에 기초하여 요구되는 서비스 품질(quality of service, QoS)을 결정하고, 결정된 서비스 품질을 만족하는 전송 방식을 선택하여 사용자에게 편의를 제공할 수 있다.

제어부(8180)는 통신 준비 지시 메시지를 선택된 디바이스인 제1 디바이스(8400)에 제공한다. 제어부(8180)는 통신 준비 지시 메시지를 인체 통신 모듈(8116)을 통해 2개의 심전도 전극(8171)에 출력할 수 있다. 연결 방식이 선택된 경우, 제어부(8180)는 선택된 연결 방식을 위한 통신 모듈을 통해 통신 준비 지시 메시지를 선택된 디바이스에 제공할 수 있다.

통신 준비 지시 메시지를 수신하면, 제1 디바이스(8400)는 통신을 준비한다. 통신 준비 지시 메시지는 선택된 연결 방식에 대한 정보를 포함할 수도 있으며, 이 경우 제1 디바이스(8400)는 선택된 연결 방식을 위한 통신 모듈의 전원을 켤 수도 있다.

이후, 모바일 디바이스(8100)의 제어부(8180)는 선택된 디바이스인 제1 디바이스(8400)와 선택된 통신 방식을 위한 통신 모듈을 통해 통신을 수행한다.

다음은 본 발명의 일 실시예의 다양한 사용 케이스를 설명한다.

본 발명의 일 실시예에 따라 상대방의 휴대폰에 연락처를 전송하는 과정은, 연락처 관련 프로그램이 실행되면 이 프로그램은 심전도 인증을 대기한다. 사용자가 손을 2개의 심전도 전극(8171)에 갖다 대면, 연락처 관련 프로그램 또는 이 프로그램과 연계된 심전도 인증 프로그램은 심전도 인증을 수행한다. 이후, 사용자가 상대방과 악수하면, 연락처 관련 프로그램은 2개의 심전도 전극(8171)을 통해 인체 통신 방식을 사용하여 상대방의 휴대폰을 확인한다. 상대방의 휴대폰이 확인되면, 연락처

관련 프로그램은 2개의 심전도 전극(8171)을 통해 인체 통신 방식을 사용하여 상대방의 휴대폰과 연락처를 주고받는다.

본 발명의 일 실시예에 따라 음악을 청취하는 과정을 설명한다. 음악 재생 프로그램이 실행되면 이 프로그램은 심전도 인증을 대기한다. 사용자가 손을 2개의 심전도 전극(8171)에 갖다 대면, 음악 재생 프로그램 또는 이 프로그램과 연계된 심전도 인증 프로그램은 심전도 인증을 수행한다. 이후, 음악 재생 프로그램은 2개의 심전도 전극(8171)을 통해 인체 통신 방식을 사용하여 헤드셋을 확인한다. 헤드셋이 확인되면, 음악 재생 프로그램은 2개의 심전도 전극(8171)을 통해 인체 통신 방식을 사용하여 헤드셋에 음악을 전송한다.

본 발명의 일 실시예에 따른 전화 통화 과정을 설명한다. 휴대폰이 호출(call)을 수신하면, 전화 통화 프로그램은 벨소리 또는 진동 등을 통해 사용자에게 호출 수신을 알리고, 심전도 인증을 대기한다. 사용자가 손을 2개의 심전도 전극(8171)에 갖다 대면, 전화 통화 프로그램 또는 이 프로그램과 연계된 심전도 인증 프로그램은 심전도 인증을 수행한다. 이후, 전화 통화 프로그램은 2개의 심전도 전극(8171)을 통해 인체 통신 방식을 사용하여 헤드셋을 확인한다. 헤드셋이 확인되면, 전화 통화 프로그램은 2개의 심전도 전극(8171)을 통해 인체 통신 방식을 사용하여 상대방의 음성을 헤드셋에 전송하고 사용자의 음성을 헤드셋으로부터 수신한다.

본 발명의 일 실시예에 따라 상대방의 휴대폰에 보안 파일을 전송하는 과정을 살명한다. 파일 전송 프로그램이 실행되면 이 프로그램은 심전도 인증을 대기한다. 사용자가 손을 2개의 심전도 전극(8171)에 갖다 대면, 파일 전송 프로그램 또는 이 프로그램과 연계된 심전도 인증 프로그램은 심전도 인증을 수행한다. 이후, 사용자가 상대방과 악수하면, 파일 전송 프로그램은 2개의 심전도 전극(8171)을 통해 인체 통신 방식을 사용하여 상대방의 휴대폰을 확인한다. 상대방의 휴대폰이 확인되면, 파일 전송 프로그램은 보안 파일의 크기에 기초하여 통신 방식을 결정하는데, 보안 파일의 크기가 커서 인체 통신 방식을 사용할 수 없다면 근거리 통신 방식을 이용하여 상대방의 휴대폰에 보안 파일을 전송한다.

본 발명의 일 실시예에 따라 음악을 청취하는 과정을 설명한다. 음악 재생 프로그램이 실행되면 이 프로그램은 심전도 인증을 대기한다. 사용자가 손을 2개의 심전도 전극(8171)에 갖다 대면, 음악 재생 프로그램 또는 이 프로그램과 연계된 심전도 인증 프로그램은 심전도 인증을 수행한다. 이후, 음악 재생 프로그램은 2개의 심전도 전극(8171)을 통해 인체 통신 방식을 사용하여 헤드셋을 확인한다. 일 실시예에서, 음악 재생 프로그램은 블루투스 통신 방식을 사용하여 헤드셋을 확인할 수 있다. 사용자가 고음질의 음악 청취를 원한다던가 핸드폰을 손에서 놓고 싶다면, 음악 재생 프로그램 은 블루투스 통신 방식과 같은 근거리 통신 방식을 사용하여 헤드셋에 음악을 전송한다.

본 발명의 일 실시예에 따른 전화 통화 과정을 설명한다. 휴대폰이 호출(call)을 수신하면, 전화 통화 프로그램은 벨소리 또는 진동 등을 통해 사용자에게 호출 수신을 알리고, 심전도 인증을 대기한다. 사용자가 손을 2개의 심전도 전극(8171)에 갖다 대면, 전화 통화 프로그램 또는 이 프로그램과 연계된 심전도 인증 프로그램은 심전도 인증을 수행한다. 이후, 전화 통화 프로그램은 2개의 심전도 전극(8171)을 통해 인체 통신 방식을 사용하여 헤드셋을 확인한다. 일실시예에서, 전화 통화 프로그램은 블루투스 통신 방식을 사용하여 헤드셋을 확인할 수 있다. 사용자가 통화 중에 핸드폰을 손에서 놓고 싶다면, 전화 통화 프로그램은 블루투스 통신 방식과 같은 근거리 통신 방식을 사용하여 상대방의 음성을 헤드셋에 전송하고 사용자의 음성을 헤드셋으로부터 수신한다.

본 발명의 일 실시예에 따라 동영상을 시청하는 과정을 설명한다. 동영상 재생 프로그램이 실행되면 이 프로그램은 심전도 인증을 대기한다. 사용자가 손을 2개의 심전도 전극(8171)에 갖다 대면, 동영상 재생 프로그램 또는 이 프로그램과 연계된 심전도 인증 프로그램은 심전도 인증을 수행한다. 이후, 동영상 재생 프로그램은 2개의 심전도 전극(8171)을 통해 인체 통신 방식을 사용하여 TV 또는 모니터를 확인한다. 일 실시예에서, 동영상 재생 프로그램은 무선랜 통신 방식 또는 무선 HDMI(wireless High-Definition Multimedia Interface), 블루투스 통신 방식 등을 사용하여 TV를 확인할 수 있다. 동영상 전송은 큰 대역폭을 요구하므로, 동영상 재생 프로그램은 무선 HDMI 등과 같은 큰 대역폭을 가진 통신 방식을 사용하여 TV에 동영상을 전송한다.

본 발명의 일실시예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.

상기와 같이 설명된 모바일 디바이스는 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

이상의 설명은 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면, 본 발명의 본질적 특성을 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능하다. 따라서, 본 발명에 표현된 실시 예들은 본 발명의 기술적 사상을 한정하는 것이 아니라, 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 권리범위가 한정되는 것은 아니다. 본 발명의 보호범위는 특허청구범위에 의하여 해석되어야 하고, 그와 동등하거나, 균등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

5100, 5500: 생체신호 측정부 5110, 5520: 생체신호 처리부
5120, 5530: 생체인식부 5200: 생체신호 입력부
5210: 노이즈 필터링부 5220: 파형 추출부
5230: 특징 추출부
7100, 7500: 모바일 디바이스 7151: 터치스크린
7180: 제어부 7510: 통신 모듈
7520: 인터페이스 모듈 7530: 컨트롤러
7540: 디스플레이 모듈 7550: 메모리

Claims (3)

1. 적어도 두 가지 이상의 생체 신호들을 수신하는 단계;
   상기 적어도 두 가지 이상의 생체 신호들의 각각으로부터 생체적 특징들을 추출하는 단계; 및
   상기 추출된 생체적 특징들에 기초하여, 상기 적어도 두 가지 이상의 생체 신호들이 동일한 생체에서 발생하였는지 여부를 판단하는 단계;를 포함하는 생체 인증 방법.
   
2. 적어도 두 가지 이상의 생체 신호들을 수신하는 센서; 및
   상기 적어도 두 가지 이상의 생체 신호들의 각각으로부터 생체적 특징들을 추출하고, 상기 생체적 특징에 기초하여, 상기 적어도 두 가지 이상의 생체 신호들이 동일한 생체에서 발생하였는지 여부를 판단하는 프로세서;를 포함하는 생체 인증 장치.
   
3. 적어도 두 가지 이상의 생체 신호들을 수신하는 센서;
   상기 적어도 두 종류의 생체 신호들의 각각으로부터 생체적 특징들을 추출하는 수단; 및
   상기 추출된 생체적 특징에 기초하여, 상기 적어도 두 종류의 생체 신호들이 동일한 생체에서 발생하였는지 여부를 판단하는 서버;를 포함하는 생체 인증 시스템.
   
   

Images