KR20080044982A - 거짓말 탐지 장치 및 거짓말 탐지 방법 - Google Patents

거짓말 탐지 장치 및 거짓말 탐지 방법 Download PDF

Info

Publication number
KR20080044982A
KR20080044982A KR1020060113860A KR20060113860A KR20080044982A KR 20080044982 A KR20080044982 A KR 20080044982A KR 1020060113860 A KR1020060113860 A KR 1020060113860A KR 20060113860 A KR20060113860 A KR 20060113860A KR 20080044982 A KR20080044982 A KR 20080044982A
Authority
KR
South Korea
Prior art keywords
pupil
unit
calculating
size
pixels
Prior art date
Application number
KR1020060113860A
Other languages
English (en)
Other versions
KR100908663B1 (ko
Inventor
이중
김희송
박병욱
이원태
Original Assignee
대한민국(관리부서:행정자치부 국립과학수사연구소장)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 대한민국(관리부서:행정자치부 국립과학수사연구소장) filed Critical 대한민국(관리부서:행정자치부 국립과학수사연구소장)
Priority to KR1020060113860A priority Critical patent/KR100908663B1/ko
Publication of KR20080044982A publication Critical patent/KR20080044982A/ko
Application granted granted Critical
Publication of KR100908663B1 publication Critical patent/KR100908663B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/164—Lie detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A61B3/145—Arrangements specially adapted for eye photography by video means

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Psychiatry (AREA)
  • Pathology (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Multimedia (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

본 발명은 눈을 촬영하는 촬영부(110)와; 상기 촬영부(110) 전방에 설치되어 촬영부(110)로 적외선을 투과하도록 하는 적외선 필터(113)와; 적외선을 조사하는 적외선 광원인 조명부(120)와; 상기 촬영부(110)와 조명부(120)가 눈을 향하도록 고정하고, 상기 촬영부(110)의 위치를 일정하게 유지하도록 하기 위한 고정부(180)를 구비하여 눈의 동공 크기 변화를 측정하여 거짓말을 탐지하는 거짓말 탐지 장치(100) 및 상기 거짓말 탐지 장치로 거짓말을 탐지하는 방법에 관한 것으로, 눈으로부터 동공을 구별할 수 있는 영상을 촬영하는 것이 가능하며, 촬영된 영상으로부터 동공만을 추출하여 동공의 크기를 정확하게 측정하는 것이 가능하고, 동공의 크기를 그래프로 나타내어 측정된 동공의 크기 변화로부터 피측정자의 심리 상태(예를 들면 놀람, 긴장 등)를 파악하여 피측정자가 거짓말을 하고 있는지를 정밀하게 탐지하는 것이 가능하게 되는 효과가 있다.
거짓말, 탐지, 장치

Description

거짓말 탐지 장치 및 거짓말 탐지 방법{Lie Detecting System and Method Detecting Lie therewith}
도 1은 가시광선에서 촬영한 눈을 도시한 사진이다.
도 2는 적외선에서 촬영한 눈을 도시한 사진이다.
도 3은 본 발명의 바람직한 실시 예에 따르는 거짓말 탐지 장치의 구조도이다.
도 4는 본 발명의 바람직한 실시 예에 따르는 거짓말 탐지 장치를 이루는 구성의 일부를 도시한 개략적인 사시도이다.
도 5는 본 발명의 바람직한 실시 예에 따르는 거짓말 탐지 장치의 변형 예를 도시한 개략적인 부분 정면도이다.
도 6 및 도 7은 본 발명에 따르는 거짓말 탐지 장치로 촬영한 눈을 도시한 사진이다.
도 8 내지 도 11은 본 발명에 따르는 거짓말 탐지 장치로부터 동공을 추출하는 과정을 도시한 사진이다.
도 12는 추출한 동공으로부터 동공의 크기를 산출하는 과정을 도시한 사진이다.
도 13 내지 도 17은 동공의 크기를 산출하는 흐름도를 도시한 것이다.
도 18은 도 12에 도시한 동공의 에지를 확대 도시한 것이다.
도 19는 동공을 타원이라고 가정하여 동공 크기를 연산하기 위한 그래프이다.
도 20은 동공의 크기 변화를 그래프로 나타낸 것이다.
* 도면의 주요 부분에 대한 부호의 설명 *
100 : 거짓말 탐지 장치 110 : 촬영부
113 : 적외선 필터 119 : 촬영부 연결선
120 : 조명부 129 : 조명부 연결선
130 : 저장부 140 : 연산부
150 : 입력부 160 : 출력부
170 : 제어부 180 : 고정부
181 : 설치부 185 : 제1 고정수단
189 : 제2 고정수단
본 발명은 거짓말 탐지 장치 및 거짓말 탐지 방법에 관한 것으로, 피측정자 의 동공을 촬영하고 동공의 크기 변화를 추출하여, 동공의 크기 변화로부터 거짓말을 탐지할 수 있는 거짓말 탐지 장치 및 거짓말 탐지 방법에 관한 것이다.
사람은 위기를 모면하거나 자신을 과장하기 위하여, 부당한 이익을 취하는 수단으로 또는 제3자를 보호하기 위하여 의도적으로 거짓말을 하게 된다. 그리고 본의 아니게 무의식적으로 거짓말을 하는 경우도 있으며, 어떠한 사정 등을 정확하게 알지 못하여 거짓말을 하는 경우도 있다. 본의 아니게 무의식적으로 거짓말을 하거나 정확하게 알지 못하여 거짓말을 하는 경우는 타인에게 큰 위협적인 요소가 되지 못하는 경우가 많으나, 의도적으로 거짓말을 하는 경우 특히 형사 사건과 관계가 있는 경우에는 타인과 사회에 커다란 위협이 될 수 있으며, 형사 범죄를 감추는 수단이 되기도 한다.
사람이 의도적으로 거짓말을 하게 되면 스트레스가 발생하고, 죄의식이나 위협에 의하여 거짓말을 하는 경우에는 스트레스 강도도 커지게 되며, 위협 상황에 대처하는 인간의 본능적인 fight-or-flight 반응으로 자율 신경계의 교감신경계의 흥분을 유발하여 위기 상황에 대처하도록 하는 시스템을 가동시킨다.
이러한 심리-생리적 상태를 활용하여 검사 대상자에게 특정의 자극이나 질문을 주고, 이에 대응하는 반사적인 반응으로부터 거짓말로 인한 생리 반응 변화를 측정하게 된다. 종래에는 정서 반응에 민감한 심장 혈관 활동을 측정하여 심리 상태를 추론하여 거짓말 여부를 탐지하거나, 호흡 패턴과 피부 전기 반응으로부터 거짓말 여부를 탐지하였다. 그리고 열상 카메라를 이용하여 검사 대상자의 체온 변 화로부터 거짓말 여부를 검사하였다.
사람의 심리 상태는 눈을 통하여 가장 정확하게 외부로 표출되나, 종래에는 사람의 눈으로부터 심리 상태 변화를 측정하여 거짓말을 하는지 여부를 탐지하는 방법이 마련되어 있지 않았으며, 눈을 측정하여 눈에서 일어나는 변화로부터 거짓말인지 여부를 판별할 수 있는 시스템이나 방법 등이 구체적으로 마련되어 있지 않아 사람의 눈의 변화를 이용하여 거짓말을 탐지할 수 없는 문제점이 있었다.
본 발명은 위와 같은 종래의 거짓말 탐지 방법에 가지고 있는 문제점을 해결하기 위해 제안된 것으로, 피측정자의 눈을 촬영하고 촬영된 눈의 영상으로부터 동공 영역을 추출하고, 동공 영역의 크기 변화로부터 피측정자의 심리 상태를 추론하여 거짓말을 하고 있는지 여부를 탐지할 수 있는 거짓말 탐지 장치 및 거짓말 탐지 방법을 제공하는데 목적이 있는 것이다.
위와 같은 목적을 달성하기 위한 본 발명에 따르는 거짓말 탐지 장치는 눈을 촬영하는 촬영부와; 상기 촬영부 전방에 설치되어 촬영부로 적외선을 투과하도록 하는 적외선 필터와; 적외선을 조사하는 적외선 광원인 조명부와; 상기 촬영부와 조명부가 눈을 향하도록 고정하고, 상기 촬영부의 위치를 일정하게 유지하도록 하기 위한 고정부를 구비하여 눈의 동공 크기 변화를 측정하여 거짓말을 탐지하는 것 을 특징으로 하며,
상기에서 고정부는 머리에 고정하기 위한 제1 고정수단과; 상기 제1 고정수단에 의한 고정을 견고하게 하기 위한 보조 고정수단으로 이루어지는 것을 특징으로 하며,
귀에 고정하기 위한 제2 고정수단을 더 포함하여 구성되는 것을 특징으로 한다.
상기에 있어서 고정부는 촬영부와 조명부가 설치되는 설치부를 더 포함하여 구성되는 것을 특징으로 하며,
상기 촬영부는 관통구멍이 형성된 설치보조구를 구비하며, 상기 설치부는 관통구멍이 형성된 지지구를 구비하여, 상기 관통구멍을 나사 결합하여 촬영부를 설치부에 고정 설치하는 것을 특징으로 하며,
상기 조명부는 관통구멍이 형성된 설치보조기구를 구비하며, 상기 설치부는 관통구멍이 형성된 지지기구를 구비하여, 상기 관통구멍을 나사 결합하여 적외선 광원인 조명부를 설치부에 고정 설치하는 것을 특징으로 한다.
눈의 동공 크기 변화를 측정하여 거짓말을 탐지하는 본 발명에 따르는 거짓말 탐지 장치는 눈을 촬영하는 촬영부와; 상기 촬영부 전방에 설치되어 촬영부로 적외선을 투과하도록 하는 적외선 필터와; 적외선을 조사하는 적외선 광원인 조명부와; 상기 촬영부에서 촬영된 영상, 연산부에서 연산된 결과 및 프로그램을 저장하는 저장부와; 상기 촬영부에서 촬영된 영상, 연산부에서 연산된 결과 등을 출력하는 출력부와; 상기 촬영부와 조명부가 눈을 향하도록 고정하기 위한 고정부를 포 함하여 구성되는 것을 특징으로 한다.
상기의 거짓말 탐지 장치로 눈의 동공 크기 변화를 측정하여 거짓말을 탐지하는 본 발명에 따르는 거짓말 탐지 방법은 고정부에 연결된 조명부로부터 적외선 광원을 조사하면서 적외선 필터가 전방에 구비된 촬영부로서 눈을 촬영하는 단계와; 촬영부에 의하여 촬영된 영상으로부터 노이즈를 제거하는 단계와; 노이즈가 제거된 영상을 반전시키는 단계와; 역치를 부여하여 반전된 이미지를 이진화시키는 단계와; 이진화된 이미지의 픽셀을 연결하고 연결된 픽셀군 영역으로부터 동공 영역을 추출하는 단계와; 동공의 크기를 연산하는 단계와; 촬영된 영상과 연산 결과를 저장하는 단계로 이루어지는 것을 특징으로 한다.
상기에서 동공 영역을 추출하는 단계와 동공의 크기를 연산하는 단계 사이에는, 동공 영역을 추출하는 단계에서 추출된 동공의 에지 픽셀을 추출하는 단계를 더 포함하며,
상기 동공의 크기를 연산하는 단계에서는 동공 영역의 면적(픽셀의 수)에 의하여 동공의 크기를 연산하는 것이 가능하며,
상기 동공의 크기를 연산하는 단계는 동공의 에지 픽셀에서 서로 거리가 가장 먼 에지 픽셀 쌍들을 추출하는 단계와; 거리가 가장 먼 에지 픽셀 쌍들 사이의 각 거리를 구하는 단계와; 상기 거리의 평균을 구하는 단계로 이루어져 동공의 크기를 연산하는 것이 가능하며,
상기 동공의 크기를 연산하는 단계는 동공의 에지 픽셀 중 임의의 두 픽셀을 장축상의 픽셀 쌍으로 가정하여 모든 에지 픽셀 쌍들의 장반경과 중심점을 계산하 는 단계와; 상기 중심점으로부터 상기 두 픽셀 쌍을 제외한 대한 나머지 픽셀까지의 거리들을 계산하는 단계와; 상기 두 픽셀을 제외한 나머지 픽셀들의 상기 장축에 대한 위상각을 계산하는 단계와; 상기 두 픽셀을 제외한 나머지 픽셀 들에 대한 단반경들을 계산하는 단계와; 상기 단반경들의 평균과 표준 편차를 계산하는 단계와; 동공의 에지 픽셀 중 모든 두 픽셀에 대한 상기 단계를 통하여 계산한 단반경의 표준 편차를 비교하여 표준 편차 중 최소의 표준 편차에 해당하는 에지 픽셀에 대한 계산한 장반경과 단반경값들을 동공의 크기로 하는 단계로 이루어져 동공의 크기를 연산하는 것이 가능하며,
상기 동공의 크기를 연산하는 단계는 동공의 에지 픽셀 중 임의의 두 픽셀을 원의 양끝 픽셀 쌍으로 가정하여 모든 에지 픽셀 쌍에 대하여 반지름과 중심점을 계산하는 단계와; 상기 중심점으로부터 상기 두 픽셀 쌍을 제외한 대한 나머지 픽셀까지의 거리(반지름)들을 계산하는 단계와; 상기 거리(반지름)들의 평균과 표준 편차를 계산하는 단계와; 동공의 에지 픽셀 중 모든 두 픽셀에 대한 상기 단계를 통하여 계산한 거리(반지름)의 표준 편차를 비교하여 표준 편차 중 최소의 표준 편차에 해당하는 에지 픽셀에 대한 거리(반지름)를 동공의 크기로 하는 단계로 이루어져 동공의 크기를 연산하는 것이 가능하다.
그리고 상기 동공의 크기를 연산하는 단계는 동공을 이루는 모든 에지 픽셀의 가로 좌표와 세로 좌표의 평균값을 계산하는 단계와; 상기 가로 좌표의 평균값과 세로 좌표의 평균값을 원의 중심이라고 하여 상기 가로 좌표 평균값과 세로 좌표 평균값으로부터 모든 에지 픽셀까지의 거리를 계산하는 단계와; 상기 거리들의 평균값을 계산하고, 상기 평균값을 동공의 크기로 하는 단계로 이루어져 동공의 크기를 연산하는 것이 가능하다.
이하, 본 발명에 따르는 거짓말 탐지 장치 및 거짓말 탐지 방법의 바람직한 실시 예를 첨부 도면을 참조하여 상세하게 설명한다.
도 1은 자연광으로 촬영한 눈을 도시한 사진이며, 도 2는 적외선으로 촬영한 눈을 도시한 사진이며, 도 3은 본 발명의 바람직한 실시 예에 따르는 거짓말 탐지 장치를 도시한 구조도이며, 도 4는 본 발명의 바람직한 실시 예에 따르는 거짓말 탐지 장치를 도시한 일부 사시도이며, 도 5는 본 발명의 바람직한 실시 예에 따르는 거짓말 탐지 장치의 변형 예를 도시한 일부 정면도이다.
도 1에 도시한 바와 같이 눈(1000)은 동공(1100)과, 동공(1100) 주위로 동공(1100)을 감싸는 홍채(1200)를 포함하여 구성된다. 자연광으로 눈을 촬영하면 동공은 검정색이며, 그 주위의 홍채(1200)는 사람간의 편차는 있으나 동양인의 경우 짙은 갈색으로 동공(1100)과 명도 차이가 심하지 않아 그 경계 부분을 명확하게 확인할 수 없게 되며, 동공(1100)에 반사광과 그림자도 비추게 된다. 상기에서 반사광은 조명의 위치를 변경하여 조정할 수 있으나, 그림자는 처리하기 어려운 문제점도 있다.
눈의 동공 크기 변화를 측정하여 거짓말을 탐지하는 본 발명에 따르는 거짓말 탐지 장치(100)는 도 4에 도시한 바와 같이 고정부(180)에 설치되어 눈을 촬영하는 촬영부(110)와, 상기 촬영부(110) 전방에 설치되어 촬영부(110)로 적외선을 투과하도록 하는 적외선 필터(113)와, 고정부(180)에 설치되며 적외선을 조사하는 적외선 광원인 조명부(120)와, 상기 촬영부(110)의 위치를 일정하게 유지하도록 하기 위한 고정부(180)를 포함하여 구성된다.
상기 고정부(180)는 피측정자의 눈으로부터 상기 촬영부(110)가 일정 위치에 고정되도록 하기 위한 것으로서, 피측정자의 머리에 고정하기 위한 제1 고정수단(185)으로 이루지며, 이에 더하여 상기 제1 고정수단(185)에 의한 고정을 견고하게 하기 위한 보조 고정수단(187)을 구비한다. 상기 제1 고정수단(185)과 보조 고정수단(187)은 탄성 부재로 형성하여 피측정자의 머리에 편리하게 착탈할 수 있도록 하는 것이 바람직하며, 상기 고정부(180)는 피측정자의 귀를 이용하여 고정하기 위한 제2 고정수단(189)을 더 구비하는 것도 가능하다.
그리고 도 3 및 도 4에 도시한 바와 같이 상기 고정부(180)는 촬영부(110)와 조명부(120)를 설치하기 위하여 설치부(181)를 구비하는 것이 바람직하다.
상기 촬영부(110)는 촬영부 연결선(119)으로 연결되어 촬영 신호를 전달하며, 조명부(120)는 조명부 연결선(129)으로 도시하지 않은 전원부로 연결되어 전원으로부터 조명부(120)로 전원이 공급된다. 상기에서 촬영부 연결선(119)과 조명부 연결선(129)을 소성 변형 부재로 형성하여 상기 연결선(119, 129)을 소성 변형시켜 상기 촬영부(110)와 조명부(120)의 위치를 고정할 수 있다.
그리고 도 5에 도시한 바와 같이 상기 촬영부(110)에 관통 구멍이 형성된 설치보조구(117)를 구비하도록 하고, 상기 설치부(181)는 관통 구멍이 형성된 지지구(182)를 구비하여, 상기 관통 구멍을 나사(182a) 결합하여 촬영부(110)를 설치 부(181)에 고정 설치하는 것이 바람직하다. 상기와 같이 촬영부(110)를 고정 설치함으로써 피측정자의 눈으로부터 촬영부(110)까지의 거리는 일정하게 유지되며, 촬영부(110)의 촬영 각도도 일정하게 유지시킬 수 있게 된다.
마찬가지로 상기 조명부(120)에 관통 구멍이 형성된 설치보조기구(127)를 구비하도록 하고, 상기 설치부(181)는 관통 구멍이 형성된 지지기구(184)를 구비하여, 상기 관통 구멍을 나사(184a) 결합하여 조명부(120)를 설치부(181)에 고정 설치하는 것이 바람직하다.
상기에서 촬영부(110)와 조명부(120)에 고리(도시하지 않음)를 형성하고, 상기 고리를 설치부(181)에 걸어서 촬영부(110)와 조명부(120)를 고정 설치하는 것도 가능하다.
상기에서 촬영부(110)는 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal-Oxide Semiconductor)를 구비하는 카메라를 예로 들 수 있으며, 조명부(120)는 적외선을 조사하는 적외선 광원이다.
상기와 같은 거짓말 탐지 장치(100)로 눈을 촬영하는 경우에는 조명부(120)에서 적외선을 조사하여 적외선으로 눈을 촬영하며, 촬영부(110) 전방에 적외선을 촬영부(110)로 투과하는 적외선 필터(113)를 구비하므로 도 2에 도시한 바와 같이 홍채(1200)로부터 동공(1100)을 확실하게 구분할 수 있는 영상을 촬영할 수 있게 된다.
본 발명에 따르는 거짓말 탐지 장치(100)는 도 2에서와 같이 촬영된 영상들로부터 동공(1100) 부분을 추출하고 크기를 연산하여 거짓말 여부를 탐지하는 것으 로 도 3에 도시한 바와 같이 고정부(180)에 연결되어 피측정자의 눈으로부터 일정한 거리에서 눈을 촬영하여 영상을 형성하는 촬영부(110)와; 상기 촬영부(110) 전방으로 촬영부(110)로 적외선을 투과하는 적외선 필터(113)와; 고정부(180)에 연결되며 적외선을 조사하는 적외선 광원인 조명부(120)와; 촬영부(110)에 촬영된 영상, 상기 영상으로부터 동공(1100)을 추출하여 동공(1100)의 크기를 계산하는 프로그램, 상기 계산 결과 등을 저장하는 저장부(130)와; 상기 동공(1100)의 크기를 연산하는 연산부(140)와; 촬영된 영상이나 연산 결과 등을 디스플레이하거나 페이퍼로 출력하는 출력부(160)와; 상기 구성들에 연결되어 상기 구성들을 제어하는 제어부(170)를 포함하여 구성된다. 그리고 피측정자에 대한 인적사항, 촬영 명령, 연산 명령, 측정일자 등을 입력하기 위한 입력부(150)를 더 포함한다.
동공의 크기 변화로부터 거짓말을 탐지하는 상기 본 발명에 따르는 거짓말 탐지 장치(100)로 동공의 크기 변화를 추출하는 과정을 설명한다.
도 6 및 도 7은 본 발명에 따르는 거짓말 탐지 장치(100)로 촬영한 영상을 도시한 것이며, 도 8 내지 도 11은 본 발명에 따르는 거짓말 탐지 장치(100)로부터 동공을 추출하는 과정을 도시한 사진이며, 도 12는 추출된 동공으로부터 동공의 크기를 산출하는 과정을 도시한 사진이며, 도 13 내지 도 17은 동공의 크기를 연산하는 과정을 도시한 순서도이며, 도 18은 도 12에 도시한 동공의 에지(1100-1)를 확대 도시한 것이며, 도 19는 동공을 타원이라고 가정하여 동공의 크기를 연산하기 위한 그래프이며, 도 20은 연산된 동공 크기의 변화를 나타낸 그래프의 예를 도시한 것이다.
촬영부(110)로부터 피측정자의 눈(100)을 촬영하면 동공(1100)이 검정색으로 표현되는 도 6과 같은 영상을 획득할 수 있으며(ST-110), 촬영부(110)에 로우패스 필터(도시하지 않음)를 구비하는 경우 영상을 이루는 픽셀(Pixel) 들 사이의 갑작스런 색 변화를 조절하여 도 7과 같은 보다 부드러운 영상을 획득하는 것이 가능하다(ST-120). 따라서 본 발명에 따르는 거짓말 탐지 장치(100)에서 촬영부(110)는 로우패스 필터를 구비하는 것이 바람직하다.
상기 도 7에 도시한 영상에서, 색을 역전시키면 검정색으로 표현되는 동공(1100)은 도 8에 도시한 바와 같이 흰색으로 표현되는 영상이 얻어진다(ST-130). 도 8에 도시한 영상에 역치를 부여하여 0과 255로만 표현하면, 도 9와 같은 영상이 얻어진다(ST-140). 역치에 대하여 보다 상세하게 설명하면 도 8에 도시된 영상에서, 영상을 이루는 픽셀의 색은 0∼255로 나타내며, 0이면 흰색으로 255이면 검정색으로 표현되고, 예들 들어 70이면 옅은 회색, 200이면 진한 회색으로 표현된다. 즉 0에 가까울수록 흰색에 가까운 색상으로 표현되고, 255에 가까울수록 검정색에 가까운 색상으로 표현된다. 본 발명에서 상기 역치를 120에 한정하는 것은 아니며, 다양한 값을 역치로 부여할 수 있음은 물론이다.
상기에서 임의의 값(예를 들면 120)을 역치로 부여하여, 각 픽셀의 색상 값이 120보다 크면 255로 되고, 120 이하이면 0으로 되어, 도 9에 도시한 바와 같이 흰색과 검정색으로만 표현되는 영상으로 변환된다.
도 9에 도시한 영상에서, 도 9에 확대 도시한 바와 같이 흰색 색상의 픽셀로 둘러싸인 검정색 픽셀(Pb)이 있는 경우, 상기 픽셀(Pb)의 색상을 흰색으로 변환하 는 것이 바람직하다.
도 9에 도시한 바와 같이 흰색과 검정색으로 이진화된 영상은 복수개의 흰색 픽셀로 이루어진 영역으로 구성되며, 상기 복수개의 영역으로부터 동공에 해당하는 영역을 추출하면 도 10과 같이 된다(ST-150). 보다 상세하게 설명하면, 이진화된 영상은 복수개의 흰색 픽셀로 이루어진 복수의 영역으로 이루어지며, 상기 각 영역은 면적을 가진다. 따라서 상기 복수의 영역에서 동공의 면적과 유사한 면적을 가지는 영역을 제외한 나머지 영역의 픽셀 색상을 검정색으로 변환하면, 도 10과 같은 영상이 얻어진다. 상기에서 동공의 면적은 눈을 미리 촬영하여 추출할 수 있으며, 프로그램에 상기 미리 추출된 동공의 면적을 소정의 범위로 하여 기준 값으로 입력하면 도 10과 같은 영상을 얻을 수 있다.
도 10에 도시한 영상으로부터 동공의 크기를 연산하여 동공 크기 변화를 추출하고(ST-170), 저장부(130)에 촬영되어 변환된 상기 영상들과 함께 연산 결과를 저장한다(ST-180).
동공의 크기를 연산하기 위하여 도 11 및 도 14에 도시한 에 도시한 바와 같이 동공의 에지(1100-1)를 이루는 픽셀들만을 흰색으로 유지하고, 나머지 픽셀의 색상을 검정색으로 변환하면, 동공의 에지(1100-1)만을 가지는 영상을 얻을 수 있다(ST-160).
이하에서, 상기 영상으로부터 동공의 크기를 연산하는 방법에 대하여 설명한다.
동공의 크기를 연산하는 방법은 여러 가지 방법들이 있을 수 있는바, 몇 가 지 방법에 대하여 상세하게 설명한다.
1) 동공의 크기를 연산하는 제1 방법
도 10에 도시한 바와 같이 추출된 동공(1100)을 이루는 색상이 흰색인 픽셀의 수를 세어서 상기 픽셀 수를 동공(1100)의 크기로 하는 방법으로서, 상기 픽셀 수를 동공의 면적으로 할 수도 있으며, 상기 픽셀 수를 원주율(π)로 나누고, 원주율(π)로 나눈 값의 제곱근을 동공의 반지름으로 하여 동공의 크기를 연산할 수 있다.
2) 동공의 크기를 연산하는 제2 방법
도 13, 도 14, 도 15 및 도 18에 도시한 바와 같이, 동공의 에지(1100-1)를 이루는 각 픽셀에 대하여 나머지 픽셀까지의 거리를 계산하고, 각 픽셀에 대하여 가장 멀리 위치한 픽셀을 추출하며, 상기 가장 멀리 위치한 픽셀 쌍을 추출하고(ST-171), 각 픽셀 쌍에 대한 거리를 구하고(ST-172), 모든 픽셀 쌍에 대한 거리의 평균값을 계산하고(ST-173), 상기 평균값의 반값을 동공의 반지름으로 하여 동공의 크기를 연산할 수 있다.
도 18을 참조하여 보다 상세하게 설명하면, 동공의 에지(1100-1)를 이루는 픽셀을 P1∼Pn이라고 하면, 픽셀 P1에 대하여 픽셀 P1부터 픽셀 P2∼Pn까지의 각각의 거리를 계산하고, 가장 먼 거리에 해당하는 픽셀(예를 들면 Pm)까지의 거리를 계산하고, 픽셀 P2에 대하여 상기와 같이 계산하여 가장 먼 거리에 있는 픽셀까지의 거리를 계산하고, 계속해서 Pn에 대하여 계산하여, 상기 가장 먼 거리들을 합산 하고, 거리들의 개수로 나누고, 다시 그 반값을 동공의 반지름으로 하는 것이다.
3) 동공의 크기를 연산하는 제3 방법
본 방법은 동공을 타원이라고 가정하여 연산하는 방법으로서, 도 13, 도 14, 도 16 및 도 19에 도시한 바와 같이, 임의의 에지 픽셀 쌍(Pl(xl, yl), Pm(xm, ym))에 대하여 가상 장축 장반경(a)과 중심점(x0, y0)을 계산하는 단계(S-1701, ST-1702)와, 상기 중심점(x0, y0)으로부터 상기 픽셀(Pl(xl, yl), Pm(xm, ym))을 제외한 임의의 픽셀(P(x, y))까지의 거리(r)를 계산하는 단계(ST-1703)와, 상기 장축에 대한 임의의 픽셀(P(x, y))의 위상각을 계산하는 단계(ST-1704)와, 상기 임의의 에지 픽셀 쌍(Pl(xl, yl), Pm(xm, ym))과 임의의 픽셀(P(x, y))로 이루어지는 타원의 단반경(b)을 계산하는 단계(ST-1705)와, 상기 임의의 에지 픽셀 쌍(Pl(xl, yl), Pm(xm, ym))에 대한 단반경(b)을 상기 픽셀(Pl(xl, yl), Pm(xm, ym))을 제외한 나머지 모든 픽셀에 대하여 계산하는 단계(ST-1705)와, 상기 계산된 단반경(b)의 평균과 표준편차를 계산하는 단계(S-1706)와, 상기 단계들에 따라서 모든 에지 픽셀 쌍에 대하여 단반경을 계산하고, 단반경의 평균과 표준 편차를 계산하여, 표준 편차의 최소값을 구하고, 상기 최소 표준 편차에 해당하는 장반경과 단반경을 동공의 크기로 하는 것이다(S-1707).
도 19를 참조하여 상기 각 단계에서의 계산식을 상세하게 설명한다. 장반경 을 a라 하고, 단반경을 b라고 할 때,
타원방정식은
Figure 112006084306179-PAT00001
가 되며,
에지 픽셀 쌍(Pl(xl, yl), Pm(xm, ym))을 장축 상의 두 점이라고 가정하여 계산한 장축의 장반경(a)은
Figure 112006084306179-PAT00002
로 계산되며,
중심점(x0, y0)은 각각
Figure 112006084306179-PAT00003
,
Figure 112006084306179-PAT00004
로 계산된다.
그리고 상기 중심점(x0, y0)으로부터 임의의 픽셀(P(x, y))까지의 거리(r)는
Figure 112006084306179-PAT00005
로 계산되며,
타원 방정식에서
Figure 112006084306179-PAT00006
가 되고,
Figure 112006084306179-PAT00007
가 되므로, 이 값들을 타원 방정식에 대입하여 정리하면,
Figure 112006084306179-PAT00008
로 되어 단반경(b)을 계산할 수 있게 된다. 상기에서 임의의 픽셀(P(x, y))의 장축에 대한 위상각(
Figure 112006084306179-PAT00009
)은
Figure 112006084306179-PAT00010
로부터 계산할 수가 있다.
상기와 같이 에지 픽셀 쌍(Pl(xl, yl), Pm(xm, ym))을 장축 상의 두 점이라고 하여, 상기 에지 픽셀 쌍(Pl(xl, yl), Pm(xm, ym))을 제외한 모든 픽셀에 대하여 상기와 같은 방법으로 단축(b)을 계산하고, 계산된 모든 픽셀에 대한 단축(b) 값들의 평균과 표준 편차를 계산한다.
그리고 상기와 같은 절차를 따라서 모든 가능한 에지 픽셀 쌍에 대하여 장반경(a)과 단반경(b)을 계산하고, 단반경(b)의 평균과 표준 편차를 계산하여 가장 작은 값의 표준 편차에 해당하는 장반경(a)과 단반경(b)을 동공의 크기로 하는 것이다.
4) 동공의 크기를 연산하는 제4 방법
도 18에 도시한 동공의 에지(1100-1)를 이루는 모든 픽셀 P1∼Pn의 좌표값에 대하여, 가로축 좌표값들(x1∼xn)의 평균값을 계산하고, 세로축 좌표값들 (y1∼yn)에 대하여 평균값을 계산하여 가로축과 세로축의 평균 좌표값(xm, ym)을 원의 중심이라고 가정하고, 상기 평균 좌표값(xm, ym)으로부터 모든 픽셀 P1∼Pnr까지의 거리를 계산하며, 거리의 평균값을 동공의 반지름으로 하여 동공의 크기를 계산하는 것이다.
상기와 같은 방법에 의하여 촬영부(110)에 의하여 촬영된 영상의 동공(1100)의 크기를 계산할 수 있으며, 피측정자의 동공(1100)을 연속적으로 촬영하고 계산하여 동공의 크기 변화를 도출할 수 있다. 도 12는 동공의 에지(1100-1)를 나타낸 사진이며, 도 12의 우측 사진에서 원(2000)은 상기의 방법들로부터 계산하여 동공의 에지(1100-1)와 같이 나타낸 것이다. 그리고 도 20은 본 발명에 따르는 거짓말 탐지 장치(100)로 상기 방법으로 계산한 동공 크기 변화를 나타낸 그래프(1600)이며, 가로축은 연속 촬영된 영상에 따라 계산한 각 영상 프레임이며, 세로축은 각 영상 프레임에 대하여 계산한 동공의 크기를 나타낸다.
본 발명의 설명에 있어서 도면을 참조하여 설명하였지만, 본 발명의 권리 범위는 이에 한정되는 것은 아니며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 범위의 변형은 본 발명의 권리에 속하는 것으로 해석하여야 한다.
상기와 같은 본 발명에 따른 거짓말 탐지 장치(100) 및 거짓말 탐지 방법은 눈으로부터 동공을 구별할 수 있는 영상을 촬영하는 것이 가능하며, 촬영된 영상으로부터 동공만을 추출하여 동공의 크기를 정확하게 측정하는 것이 가능하고, 동공의 크기를 그래프로 나타내어 측정된 동공의 크기 변화로부터 피측정자의 심리 상태(예를 들면 놀람, 긴장 등)를 파악하여 피측정자가 거짓말을 하고 있는지를 정밀 하게 탐지하는 것이 가능하게 되는 효과가 있다.

Claims (14)

  1. 눈을 촬영하는 촬영부(110)와; 상기 촬영부(110) 전방에 설치되어 촬영부(110)로 적외선을 투과하도록 하는 적외선 필터(113)와; 적외선을 조사하는 적외선 광원인 조명부(120)와; 상기 촬영부(110)와 조명부(120)가 눈을 향하도록 고정하고, 상기 촬영부(110)의 위치를 일정하게 유지하도록 하기 위한 고정부(180)를 구비하여 눈의 동공 크기 변화를 측정하여 거짓말을 탐지하는 것을 특징으로 하는 거짓말 탐지 장치(100).
  2. 제1 항에 있어서, 상기 고정부(180)는 머리에 고정하기 위한 탄성 부재로 이루어진 제1 고정수단(185)과; 상기 제1 고정수단(185)에 의한 고정을 견고하게 하기 위한 탄성 부재로 이루어진 보조 고정수단(187)을 포함하여 구성되는 것을 특징으로 하는 거짓말 탐지 장치(100).
  3. 제2 항에 있어서, 상기 고정부(180)는 귀에 고정하기 위한 제2 고정수단(189)을 더 포함하여 구성되는 것을 특징으로 하는 거짓말 탐지 장치(100).
  4. 제2 항 또는 제3 항 중 어느 한 항에 있어서, 상기 고정부(180)는 촬영부(110)와 조명부(120)가 설치되는 설치부(181)를 더 포함하여 구성되는 것을 특징으로 하는 거짓말 탐지 장치(100).
  5. 제4 항에 있어서, 상기 촬영부(110)는 관통구멍이 형성된 설치보조구(117)를 구비하며, 상기 설치부(181)는 관통구멍이 형성된 지지구(182)를 구비하여, 상기 관통구멍을 나사 결합하여 촬영부(110)를 설치부(181)에 고정 설치하는 것을 특징으로 하는 거짓말 탐지 장치(100).
  6. 제4 항에 있어서, 상기 적외선 광원인 조명부(120)는 관통구멍이 형성된 설치보조기구(127)를 구비하며, 상기 설치부(181)는 관통구멍이 형성된 지지기구(184)를 구비하여, 상기 관통구멍을 나사 결합하여 적외선 광원인 조명부(120)를 설치부(181)에 고정 설치하는 것을 특징으로 하는 거짓말 탐지 장치(100).
  7. 눈의 동공 크기 변화를 측정하여 거짓말을 탐지하는 거짓말 탐지 장치(100)에 있어서, 눈을 촬영하는 촬영부(110)와; 상기 촬영부(110) 전방에 설치되어 촬영부(110)로 적외선을 투과하도록 하는 적외선 필터(113)와; 적외선을 조사하는 적외선 광원인 조명부(120)와; 상기 촬영부(110)에서 촬영된 영상, 연산부(140)에서 연산된 결과, 프로그램을 저장하는 저장부(130)와; 상기 촬영부(110)에서 촬영된 영상, 연산부(140)에서 연산된 결과 등을 출력하는 출력부(160)와; 상기 촬영부(110)와 적외선 광원인 조명부(120)가 눈을 향하도록 고정하기 위한 고정부(180)를 포함하여 구성되는 것을 특징으로 하는 거짓말 탐지 장치(100).
  8. 제7 항의 거짓말 탐지 장치(100)로 눈의 동공 크기 변화를 측정하여 거짓말을 탐지하는 거짓말 탐지 방법에 있어서, 고정부(180)에 연결된 적외선 광원인 조명부(120)로부터 적외선 광원을 조사하면서 적외선 필터(113)가 전방에 구비된 촬영부(110)로서 눈을 촬영하는 단계(ST-110); 촬영부(110)에 의하여 촬영된 영상으로부터 노이즈를 제거하는 단계(ST-120); 노이즈가 제거된 영상을 반전시키는 단계(ST-130); 역치를 부여하여 반전된 이미지를 이진화시키는 단계(ST-140); 이진화된 이미지의 픽셀을 연결하고 연결된 픽셀군 영역으로부터 동공 영역을 추출하는 단계(ST-150); 동공의 크기를 연산하는 단계(170); 촬영된 영상과 연산 결과를 저장하는 단계(180)로 이루어지는 것을 특징으로 하는 거짓말 탐지 방법.
  9. 제8 항에 있어서, 상기 동공 영역을 추출하는 단계(ST-150)와 동공의 크기를 연산하는 단계(170) 사이에는, 동공 영역을 추출하는 단계(ST-150)에서 추출된 동공의 에지 픽셀을 추출하는 단계(ST-160)를 더 포함하는 것을 특징으로 하는 거짓말 탐지 방법.
  10. 제8 항에 있어서, 동공의 크기를 연산하는 단계(170)에서는 동공 영역의 면적(픽셀의 수)에 의하여 동공의 크기를 연산하는 것을 특징으로 하는 거짓말 탐지 방법.
  11. 제9 항에 있어서, 동공의 크기를 연산하는 단계(ST-170)는 동공의 에지 픽셀 에서 서로 거리가 가장 먼 에지 픽셀 쌍들을 추출하는 단계(S-170)와; 거리가 가장 먼 에지 픽셀 쌍들 사이의 각 거리를 구하는 단계(S-171)와; 상기 거리의 평균을 구하는 단계(S-173)로 이루어지는 것을 특징으로 하는 거짓말 탐지 방법.
  12. 제9 항에 있어서, 동공의 크기를 연산하는 단계(ST-170)는 동공의 에지 픽셀 중 임의의 두 픽셀을 장축상의 픽셀 쌍으로 가정하여 모든 에지 픽셀 쌍들의 장반경과 중심점을 계산하는 단계(S-1701)와; 상기 중심점으로부터 상기 두 픽셀 쌍을 제외한 대한 나머지 픽셀까지의 거리들을 계산하는 단계(S-1702)와; 상기 두 픽셀을 제외한 나머지 픽셀들의 상기 장축에 대한 위상각을 계산하는 단계(S-1703)와; 상기 두 픽셀을 제외한 나머지 픽셀 들에 대한 단반경들을 계산하는 단계(S-1704)와; 상기 단반경들의 평균과 표준 편차를 계산하는 단계(S-1705)와; 동공의 에지 픽셀 중 모든 두 픽셀에 대한 상기 단계를 통하여 계산한 단반경의 표준 편차를 비교하여 표준 편차 중 최소의 표준 편차에 해당하는 에지 픽셀에 대한 계산한 장반경과 단반경값들을 동공의 크기로 하는 단계(S-1706)로 이루어지는 것을 특징으로 하는 거짓말 탐지 방법.
  13. 제9 항에 있어서, 동공의 크기를 연산하는 단계(ST-170)는 동공의 에지 픽셀 중 임의의 두 픽셀을 원의 양끝 픽셀 쌍으로 가정하여 모든 에지 픽셀 쌍에 대하여 반지름과 중심점을 계산하는 단계(S-174)와; 상기 중심점으로부터 상기 두 픽셀 쌍을 제외한 대한 나머지 픽셀까지의 거리(반지름)들을 계산하는 단계(S-175)와; 상 기 거리(반지름)들의 평균과 표준 편차를 계산하는 단계(S-176)와; 동공의 에지 픽셀 중 모든 두 픽셀에 대한 상기 단계를 통하여 계산한 거리(반지름)의 표준 편차를 비교하여 표준 편차 중 최소의 표준 편차에 해당하는 에지 픽셀에 대한 거리(반지름)를 동공의 크기로 하는 단계(S-177)로 이루어지는 것을 특징으로 하는 거짓말 탐지 방법.
  14. 제9 항에 있어서, 동공의 크기를 연산하는 단계(ST-170)는 동공을 이루는 모든 에지 픽셀의 가로 좌표와 세로 좌표의 평균값을 계산하는 단계(ST-170(1))와; 상기 가로 좌표의 평균값과 세로 좌표의 평균값을 원의 중심이라고 하여 상기 가로 좌표 평균값과 세로 좌표 평균값으로부터 모든 에지 픽셀까지의 거리를 계산하는 단계(ST-170(2))와; 상기 거리들의 평균값을 계산하고, 상기 평균값을 동공의 크기로 하는 단계(ST-170(3))로 이루어지는 것을 특징으로 하는 거짓말 탐지 방법.
KR1020060113860A 2006-11-17 2006-11-17 거짓말 탐지용 동공측정장치를 이용한 거짓말 탐지용 동공측정방법 KR100908663B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060113860A KR100908663B1 (ko) 2006-11-17 2006-11-17 거짓말 탐지용 동공측정장치를 이용한 거짓말 탐지용 동공측정방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060113860A KR100908663B1 (ko) 2006-11-17 2006-11-17 거짓말 탐지용 동공측정장치를 이용한 거짓말 탐지용 동공측정방법

Publications (2)

Publication Number Publication Date
KR20080044982A true KR20080044982A (ko) 2008-05-22
KR100908663B1 KR100908663B1 (ko) 2009-07-22

Family

ID=39662634

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060113860A KR100908663B1 (ko) 2006-11-17 2006-11-17 거짓말 탐지용 동공측정장치를 이용한 거짓말 탐지용 동공측정방법

Country Status (1)

Country Link
KR (1) KR100908663B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113729708A (zh) * 2021-09-10 2021-12-03 上海理工大学 一种基于眼动技术的谎言评判方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101535524B1 (ko) * 2014-05-30 2015-07-10 대한민국 거짓말 탐지용 자료 제공 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100376415B1 (ko) * 2000-11-27 2003-03-19 주식회사 알파엔지니어링 눈 영상을 이용한 동공추출방법
KR20040107677A (ko) * 2003-06-09 2004-12-23 김덕원 영상 안진기와 전기 안진기를 결합한 안구 운동 측정 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113729708A (zh) * 2021-09-10 2021-12-03 上海理工大学 一种基于眼动技术的谎言评判方法
CN113729708B (zh) * 2021-09-10 2023-06-20 上海理工大学 一种基于眼动技术的谎言评判方法

Also Published As

Publication number Publication date
KR100908663B1 (ko) 2009-07-22

Similar Documents

Publication Publication Date Title
US20200143156A1 (en) Living body detection device, living body detection method, and recording medium
US20230343129A1 (en) Detecting device, detecting method, and recording medium
WO2016159151A1 (ja) 脈波検出装置、及び脈波検出プログラム
JP6329696B2 (ja) 生体情報分析システム
EP3247261A1 (en) Device, system and method for skin detection
KR101426750B1 (ko) 열화상을 이용한 심박수 측정 시스템
JP2010264095A (ja) 心拍数測定装置および心拍数測定方法
JP6784403B2 (ja) 心拍変動の推定方法、心拍変動の推定プログラム及び心拍変動推定システム
KR20110038568A (ko) 시선 위치 추적 장치 및 방법
CN110393504A (zh) 一种瞳孔检测的方法及装置
JP7051083B2 (ja) 心理状態判定方法、判定装置、判定システムおよび判定プログラム
KR100908663B1 (ko) 거짓말 탐지용 동공측정장치를 이용한 거짓말 탐지용 동공측정방법
CN104751156A (zh) 一种可调光的手指静脉图像采集系统
JP6315144B2 (ja) 検知装置、検知方法、および、プログラム
WO2021034931A1 (en) Systems and methods for evaluating pupillary response
KR20140057867A (ko) 열화상을 이용한 스트레스 지수 측정 시스템
WO2018150554A1 (ja) 脈波測定装置、携帯端末装置及び脈波測定方法
CN111382646B (zh) 一种活体识别方法、存储介质及终端设备
JP6292341B2 (ja) 検知装置、検知方法、および、プログラム
Mitsuhashi et al. Noncontact pulse wave detection by two-band infrared video-based measurement on face without visible lighting
JP2005040591A (ja) 生体眼判定方法および生体眼判定装置
JP4527088B2 (ja) 生体眼判定方法および生体眼判定装置
KR102405538B1 (ko) 배경 없이 추출되는 안면인식 체온측정기
JP2007236668A (ja) 撮影装置および認証装置ならびに撮影方法
KR102473744B1 (ko) 가림 안가림 검사 중 획득한 안구 이미지 분석을 통한 사시진단방법

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20061117

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20080124

Patent event code: PE09021S01D

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20081014

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20090625

GRNT Written decision to grant
PR0702 Registration of establishment of national patent

Patent event code: PR07021E01D

Comment text: Registration of Establishment of National Patent

Patent event date: 20090714

PR1002 Payment of registration fee

Payment date: 20090714

End annual number: 20

Start annual number: 1

PG1601 Publication of registration