KR20200013128A - 동공 인식 기반의 연구현장 데이터 수집 및 분석을 통한 연구자 행동 검출 및 연구방향 의사결정 지원 알고리즘 - Google Patents

동공 인식 기반의 연구현장 데이터 수집 및 분석을 통한 연구자 행동 검출 및 연구방향 의사결정 지원 알고리즘 Download PDF

Info

Publication number
KR20200013128A
KR20200013128A KR1020180081128A KR20180081128A KR20200013128A KR 20200013128 A KR20200013128 A KR 20200013128A KR 1020180081128 A KR1020180081128 A KR 1020180081128A KR 20180081128 A KR20180081128 A KR 20180081128A KR 20200013128 A KR20200013128 A KR 20200013128A
Authority
KR
South Korea
Prior art keywords
driver
pupil
recognition
information
normal
Prior art date
Application number
KR1020180081128A
Other languages
English (en)
Inventor
이혜영
크로커 가르시아 길레르몬
Original Assignee
(주)포세듀
주식회사 알스피릿
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)포세듀, 주식회사 알스피릿 filed Critical (주)포세듀
Priority to KR1020180081128A priority Critical patent/KR20200013128A/ko
Publication of KR20200013128A publication Critical patent/KR20200013128A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G06K9/00845—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06K9/00597—
    • G06K9/6218—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0863—Inactivity or incapacity of driver due to erroneous selection or response of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 이상 행위 진단을 위해 초기 수집 그룹에 대한 정보를 기계 학습을 통해 획득하고, AD RANK 기법을 기반으로 실제 운전자의 동공 위치에 대한 측정 정보를 획득하여, 기계학습을 통해 획득 된 정보와 AD RANK 기법을 기반으로 습득된 정보를 비교 분석하여 판별 기준을 생성함으로써, 보다 높은 신뢰도를 가질 수 있다. 또한, 본 발명의 일 실시예에 따르는 실제 운전자의 정보를 획득하고 AD RANK 기법에 기반한 알고리즘은, 실시간으로 수집되는 실제 운전자의 정보만으로도 판단 기준이 되는 영역을 생성하고 이상행위 검출이 가능할 수 있다.

Description

동공 인식 기반의 연구현장 데이터 수집 및 분석을 통한 연구자 행동 검출 및 연구방향 의사결정 지원 알고리즘 {ALGORITHM FOR DETECTING ENGINEER BEHAVIOR AND HELPING DETERMINENT FOR RESEARCH DIRECTION THROUGH COLLECTING AND ANALYZING LAB STATUS DATA BASED ON PUPIL RECOGNITION}
본 발명은 연구현장 데이터들을 수집하여, 시간, 노력 대비 효과/효율적인 연구방향 정립 및 의사결정을 지원하기 위한 기술로서, 기계학습(딥러닝) 내재화를 통한 사용자 프로파일과 행동학습에 따른 맞춤형 분석 플랫폼에 관한 기술이다. 구체적으로, 본 발명은 사용자의 동공인식 기반으로 행동학습을 수행하고, 이상행위를 검출할 수 있다.
최근 증가하는 교통사고 발생 인자 중 전방 주시 태만 또는 운전 조작 미숙 등의 운전자 요인에 의한 사고율이 높고, 특히 졸음운전으로 인한 사고가 대형 교통사고를 야기하는 것으로 보고되고 있다.
졸음 운전은 사회적 비용과 인명피해를 양산하나 정부차원에서 고속도로 전광판에 졸음운전 관련 위험성을 알리는 경고문을 출력할 뿐 강력한 졸음운전 예방책이 없다는 점에서 졸음운전 사고 및 사고로 인한 사회적 피해를 줄이기 위한 기술이 필요하다.
이러한, 졸음 운전 문제를 해결하기 위하여, 미국, 유럽, 일본 등과 같은 선진국에서는 졸음 운전 방지를 위한 캠페인 등 다양한 방법들이 모색되고 있다. 최근에는, 운전자의 졸음 운전을 자동으로 감지하여 운전자에게 경고하는 시스템에 대한 연구가 활발히 진행되고 있다.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 동공 인식 기반으로 사용자의 행동 학습을 수행하기 위한 기술이다.
나아가, 본 발명은 운전자 이상행위 검출과 시험 응시자의 이상행위 검출에 확장 적용가능하며, 기계학습을 통해 다양한 얼굴 크기 및 동공의 거리나 위치에 대한 정보를 수집하고 수집된 정보와 실시간으로 수집되는 운전자의 정보를 비교하여 판단 기준이 되는 영역을 생성하고 판단함으로써, 사용자의 이상행위를 인식하는 기술을 제공하는 것을 목적으로 한다.
또한, 본 발명의 일 실시예에 따르면, 이상 행위 진단을 위해 초기수집그룹을 평준화 뒤 K-Means 분석통한 운전자 별 이상행위 출현빈도 특성 별 그루핑을 수행하고, 개별 운전자들의 데이터들을 통합, K-Means로 클러스터링 뒤 semi-supervised 학습 거리 특성 추출 후 ad Rank(average distance)로 균일화한 뒤 정상/준정상/이상행위로 분류, 분석하여 종래 기술보다 높은 신뢰도를 가지는 방법을 제공하고자 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예에 의한, 운전자 단말에 의해 수행되는 동공 인식 기반의 운전자 이상행위 검출 방법은, 운전자(a) 상기 운전자 단말에 설치된 카메라를 통해 운전자의 동공의 위치 및 얼굴 크기를 인식하는 단계; (b) 상기 기계학습 수행 결과 정보와 상기 운전자의 동공의 위치 및 얼굴 크기를 고려하여, 상기 운전자의 동공 위치에 대한 정상 영역과 비 정상 영역을 정의하는 단계; 및 (c) 상기 카메라를 통하여 상기 운전자의 동공의 위치가 기 설정된 횟수 이상만큼 비 정상 영역에 위치하는 것을 인지한 경우, 상기 운전자 단말로 경고 알림을 제공하는 단계를 포함한다.
또한, 본 발명의 일 실시예에 따르는, 동공 인식 기반의 운전자 이상행위 검출 방법을 수행하는 단말은, 이상행위 방지 프로그램이 저장된 메모리; 및 상기 프로그램을 실행하는 프로세서를 포함하고, 상기 프로세서는, 상기 프로그램에 의해 실행되어, 서버가 동공 위치의 정상 영역과 비 정상 영역에 대한 정보를 기계학습을 통해 습득하고 운전자 단말의 카메라를 통해 운전자의 동공 및 얼굴을 인식하고 상기 운전자의 동공이 비 정상 영역에 위치하는 경우, 이상행위 인덱스를 카운트 하고 상기 이상행위 인덱스의 카운트가 기 설정된 값을 초과하는 경우, 상기 운전자 단말로 경고 알림을 제공한다.
본 발명은 사용자 이상 행위를 동공 인식 기반으로 인식함으로써, 다양하고 넓은 분야에 활용할 수 있다. 예를 들어, 사용자의 행동학습 인식기반의 연구성과 반영, 온라인 시험 중 치팅 인식, 운전자의 비정상 운전행위 인식, 안면인식 기반의 보안 기술 등 다양한 분야에 활용될 수 있다.
본 발명은 이상 행위 진단을 위해 초기 수집 그룹에 대한 정보를 기계 학습을 통해 획득하고, AD RANK 기법을 기반으로 실제 운전자의 동공 위치에 대한 측정 정보를 획득하여, 기계학습을 통해 획득 된 정보와 AD RANK 기법을 기반으로 습득된 정보를 비교 분석하여 판별 기준을 생성함으로써, 보다 높은 신뢰도를 가질 수 있다.
또한, 판별 기준에 따라 이상 행위에 대한 횟수를 카운트하여 알림을 제공하고 해당 알림이 발생하는 경우, 알림에 대한 피드백을 기계학습 훈련 데이터에 반영하고 설정된 횟수 및 상기 정상 영역과 비정상 영역에 관한 영역 정보에 대한 수정을 통해 이상 행위 진단에 대한 오차률을 줄여 신뢰도를 더욱 향상 시킬 수 있다.
아울러, 본 발명의 일 실시예에 따르는 실제 운전자의 정보를 획득하고 AD RANK 기법에 기반한 알고리즘은, 실시간으로 수집되는 실제 운전자의 정보만으로도 판단 기준이 되는 영역을 생성하고 이상행위 여부를 판단하는 것이 가능할 수 있다.
또한, 본 발명의 추가 실시예에 따르는 동공 인식 기반의 운전자 이상행위 검출 방법은 운전자가 운전 중 핸드폰을 사용하거나 졸음 운전을 하는 경우 경고 알림을 발생하여 운전 중 이상행위에 의한 사고 발생률을 낮출 수 있다.
도 1은 본 발명의 일 실시예에 따르는 사용자 행동학습 데이터 분석 및 이상행위 검출 방법을 수행하는 시스템도 이다.
도 2은 발명의 일 실시예에 따르는 사용자 행동학습 데이터 분석 및 이상행위 검출 방법 및 기계학습 순서를 설명하기 위한 순서도 이다.
도 3는 본 발명의 일 실시예에 따르는 동 사용자 행동학습 데이터 분석 및 이상행위 검출 방법의 운전자의 동공 위치 및 얼굴 크기를 획득하고 이상 행위를 판단하는 기준 방법에 대한 예시도 이다.
도 4a 내지 4b는 본 발명의 일 실시예에 따르는 사용자 행동학습 데이터 분석 및 이상행위 검출 방법 중 운전자의 프레임별 동공 위치를 점으로 나타내고 클러스터링 분석한 표이다.
도 5은 본 발명의 일 실시예에 따르는 운전자의 시점에서 보이는 화면에 대한 그리드 디비전 예시도로서, 운전자의 동공 위치에 따라 정상, 준 정상, 비 정상 영역으로 구분하여 나타낸 예시도 이다.
도 6은 본 발명의 일 실시예에 따르는, 캘리브레이션 단계를 설명하기 위한 관련 도면이다.
도 7은 본 발명의 일 실시예에 따르는 동공 인식 기반의 운전자 이상행위 검출 방법을 설명하기 위한 순서도 이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
이하에서 언급되는 "단말"은 네트워크를 통해 서버나 타 단말에 접속할 수 있는 컴퓨터나 휴대용 단말기로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop), VR HMD(예를 들어, HTC VIVE, Oculus Rift, GearVR, DayDream, PSVR 등)등을 포함할 수 있다. 여기서, VR HMD 는 PC용 (예를 들어, HTC VIVE, Oculus Rift, FOVE, Deepon 등)과 모바일용(예를 들어, GearVR, DayDream, 폭풍마경, 구글 카드보드 등) 그리고 콘솔용(PSVR)과 독립적으로 구현되는 Stand Alone 모델(예를 들어, Deepon, PICO 등) 등을 모두 포함한다. 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 스마트폰(smart phone), 태블릿 PC, 웨어러블 디바이스뿐만 아니라, 블루투스(BLE, Bluetooth Low Energy), NFC, RFID, 초음파(Ultrasonic), 적외선, 와이파이(WiFi), 라이파이(LiFi) 등의 통신 모듈을 탑재한 각종 디바이스를 포함할 수 있다.
또한, "네트워크"는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.
본 발명의 여러 가지 일 실시예에 따르는, 동공 인식 기반의 운전자 이상행위 검출 알고리즘이 운전자 이상행위 검출에 활용되는 경우를 설명하도록 한다.
이하 도 1을 참조하여 본 발명의 일 실시예에 따르는 동공 인식 기반의 운전자 이상행위 검출 알고리즘이 적용되는 시스템에 대해 구체적으로 설명한다.
본 발명의 일 실시예에 따르는, 시스템(10)은 서버(100), 운전자 단말(200)을 포함할 수 있으며, 서버(100), 운전자 단말(200)은 유/무선 네트워크를 통해 연결될 수 있다.
운전자 단말(200)은 운전자가 소지하는 디바이스 또는 특정 장소에 설치된 컴퓨팅 장치로서, 이상행위 방지 프로그램이 설치되어 있을 수 있다.
서버(100)는 복수의 운전자 단말로부터 복수의 운전자들의 동공 위치 정보를 수집하여 서버로 전송하고, 서버에서 동공 위치 정보를 K-Means 분석기법을 수행하여 운전자 별 정상 행위 그룹, 준정상 행위 그룹과 이상 행위 그룹을 분류 분석하는 클러스터링 분석을 수행하고 클러스터링 분석을 통해 수집된 정보 내의 각 그룹에 대해 거리 특성을 추출하여 정상 영역, 준정상 영역 및 비 정상 영역으로 분류 분석하는 그리드 디비전을 수행 한뒤, 분석된 정보를 데이터 노멀라이즈하여 운전자 단말(200)로 제공할 수 있다.
또한, 서버(100)는 운전자 단말(200)을 통해 수행된 이력 및 수집된 정보를 수신하여, 해당 이력 및 정보를 기계학습 데이터에 반영하여, 저장된 기준 값에 대한 수정을 수행할 수 있다.
또한, 운전자 단말(200)은 카메라 모듈을 포함할 수 있으며, 카메라 모듈을 통해 운전자의 동공 위치 및 얼굴 크기를 수집하여 인식하기 위해 소정의 시간 동안 영상을 제공할 수 있다. 또는, 운전자 단말(200)은 카메라 모듈과 연결될 수 있으며, 카메라 모듈은 운전자의 동공을 잘 촬영할 수 있는 운전석의 앞 쪽 부분에 설치될 수 있다.
추가 실시예로서, 이때 제공되는 영상은 운전자로 하여금 특정 방향 혹은 가장자리 방향 등을 바라보도록 하는 특정 명령 문구를 포함하여, 운전자의 시선에 대한 정보를 유용히 수집하도록 할 수도 있다. 이를 통해 수집된 운전자의 정보와 사전에 기계학습을 통해 서버(100)에 저장된 정보를 비교 분석하여 운전자에 맞는 정상, 준정상 및 비정상 영역을 정의 하여 이상행위 판단에 대한 기준을 설정할 수 있다.
본 발명의 추가 실시예로서, 경고 알림이 제공되는 경우 해당 경고 알림에 대한 피드백을 서버(100)로부터 요청 받고, 운전자의 입력에 따른 피드백 결과를 서버(100)로 제공할 수도 있다.
경고의 형태는 단말로 경고 알림이 특정 알림음으로 제공되거나, 운전자 단말의 디스플레이 화면이 깜빡거리는 형태의 영상으로 제공될 수 있으며, 알림음과 영상 중 어느 하나 또는 두 가지가 동시에 제공될 수 있으나, 이에 한정하지 않는다.
먼저, 본 발명의 일 실시예에 따라, 복수의 운전자들이 운전을 할 때, 동공이 어떻게 변화하는지 데이터를 수집하고, 기계학습을 수행함으로써 운전 할 때의 평균적인 운전자들의 동공 정보에 대해 미리 획득할 수 있다. 이를 위해 사전적으로 복수의 운전자들에 대한 테스트를 수행하여야 하는데, 도 3를 참조하여 본 발명의 일 실시예에 따르는, 운전자의 동공 위치 및 얼굴 크기에 대한 정보를 수집하는 방법에 대해 구체적으로 설명한다.
도 3는, 운전자가 운전자 단말(200)에 구비 된 카메라를 바라볼 때, 수집되는 프레임의 예시도이다. 카메라는 1초에 약 30 장의 영상 프레임을 촬영하여 운전자 단말(200)로 전달할 수 있는데, 각 영상 프레임마다 나타난 동공과 얼굴에 대한 정보를 기초로 동공 위치 및 얼굴 크기에 대한 정보를 수집할 수 있다.
일반 위치에 운전자가 위치하여 운전자의 동공 위치가 수집되는 경우(410), 동공 사이의 거리가 기준 거리가 될 수 있다.
운전자가 운전자 단말(200)의 카메라로 접근을 하는 경우(420), 도면에 도시 된 바와 같이 얼굴 크기가 커지고, 얼굴의 좌우 동공 사이 거리가 증가하며, 중심점에 근접할 수 있다. 그리고, 운전자가 모니터나 카메라 정면을 바라보는 경우가 정상 행위로 간주될 수 있다.
운전자가 비 정상 행위를 보이는 경우(430), 즉, 고개를 돌리거나 정면이 아닌 하단을 바라보는 경우(예를 들어, 센터페시아를 보거나 아래에 놓여진 스마트폰을 보거나 운전석 정면을 주시하지 않고 다른 방향을 보는 경우), 얼굴의 좌우 동공 사이 거리가 감소하게 되고 중심점에서 멀어지게 되며, 이를 통해 비 정상 행위에 대한 판단이 가능할 수 있다.
한편, 본 발명의 추가 실시예로, 상술한 바와 같은 정보를 수집할 때, 7개의 영역 데이터 정보를 수집하고 분석하여 모델링 할 수 있다.
7개의 영역 데이터 정보는 얼굴의 중심점, 얼굴 인식 사각형 범주, 좌/우 동공에 대한 x축 및 y축 좌표 값 및 운전자 동공 위치에 대해 이전 프레임의 위치와의 차이에 대한 x축 및 y축 좌표 값이 될 수 있다.
이를 통해, 특정 거리에 대한 임계 값을 설정할 수 있으며, 좌/우 동공 사이의 거리가 임계치보다 작은 거나, 좌 또는 우 동공과 중심점 사이의 거리가 임계치보다 커지는 경우, 이상행위로 진단이 가능할 수 있다.
예를 들어, 운전 중 비정상적인 행위를 보인 운전자의 경우 좌우 동공 사이 거리가 감소하면서 얼굴 중심점에서 멀어지게 되어, 이들을 특징적 그룹으로 분류가 가능할 수 있다.
이어서, 운전자들이 운전 할 때의 동공 및 얼굴에 대한 여러 장의 영상 프레임들을 수집하였다면, 도 4a 내지 4b를 참조하여, k-means 기법을 통한 클러스터링 분석 및 그리드 디비전을 수행할 수 있다(S710).
서버는 운전자의 왼쪽 동공의 위치와 오른쪽 동공의 위치를 각기 수집하고, 수집된 동공 위치의 정보를 각 영상 프레임 내 점으로 인식한 후, k-means 기법을 통한 데이터화를 거쳐, 해당 결과물을 도 4a의 상단에 도시된 바와 같이 나타낼 수 있다.
도 4a의 하단에는 프레임 내 동공의 위치 즉, 화면을 분할하였을 때, 운전자가 바라본 위치 별 횟수가 표기되어 있으며, 운전자가 바라본 횟수에 의해 정상 영역, 준 정상 영역, 비 정상 영역이 구분될 수 있다.
즉, 각 영상 프레임마다 운전자가 주로 바라본 영역과 운전자가 가끔 바라본 영역이 구분되어 표시될 수 있는데, 어느 영역이 정상 영역인지, 비 정상 영역인지 명확히 구분하기 어렵다. 이를 위해 그리드 디비전 단계를 수행하며, 영상 프레임을 여러 개의 그리드로 구획하여 규정함으로써, 정상 영역/준정상영역/비정상영역을 구분하는 데에 도움을 줄 수 있다.
구체적으로, 전체 프레임에 대한 좌/우 동공의 출현 빈도를 비율로 표기하고, 각 그리드 별로 출현 빈도를 정의한 후, 어느 그리드가 정상 행위, 준 정상 행위 및 이상 행위에 대응하는 영역인지 클러스터링 분석을 통해 분류할 수 있다.
운전자 단말(200)로부터 수집 된 운전자의 동공 위치 정보와 사전에 기계학습을 통해 서버에 저장되어 있는 정보를 비교 하여 이상 행위 판별 기준을 표준화 하게 되는데, 도 4b에 표기 된 바와 같이, 표기될 수 있으며, 도 4b의 하단에 영역별 표기 된 수치는 도 4a의 출현 빈도에 대한 비율 값과 비교하여 얻어진 결과 값일 수 있다.
예를 들어, 출현 빈도가 15%인 경우, 전체 0.15로 환산하여, '1 - 0.15'로 계산하여 0.85라는 결과값을 획득하게 되고 분할한 영역에 결과값으로 표기할 수 있다. 이러한 방식으로 각 그리드마다 계산된 결과 값에 대해, 0.90미만의 결과 값을 가지는 영역에 대해서 정상 영역으로 판단하고, 0.90이상 0.99이하의 결과 값을 갖는 영역의 경우, 준 정상 영역으로 판단하고, 0.99초과인 결과 값을 갖는 영역의 경우, 비 정상 영역으로 판단 될 수 있다.
도 5 는 그리드 디비전을 수행한 결과에 따라 도출된 정상 영역(가운데의 노란색 영역)/ 준 정상 영역(주황색 영역) / 비정상 영역(가장 자리의 빨간색 영역)에 대한 예시도이다. 운전자를 운전자 단말(200)의 카메라로 1초에 30프레임씩 촬영하여, 각 프레임 내 동공의 위치를 수집하여 특정 시간 동안 수집된 프레임 내 동공의 위치에 따라 영역을 구분하여 나타낸 예시도 이다.
왼쪽 눈의 동공의 위치에 따른 화면(510)을 참조하면, 전체 화면 내 가운데 영역에 영상 프레임 내 동공의 출현빈도가 가장 높아 정상 영역으로 표기 되고, 가장자리 영역에 영상 프레임 내 동공의 출현빈도가 가정 적거나 없어서 비 정상 영역으로 표기 되며, 가운데 영역과 가장자리 영역의 사이 영역에 영상 프레임 내 동공의 출현빈도가 중간 수준으로 측정되어 준 정상 영역으로 표기될 수 있다.
오른쪽 눈의 동공의 위치에 따른 화면(520) 역시 왼쪽 눈의 경우와 마찬가지로 정상영역/준정상영역/비정상영역이 규정될 수 있다.
이때, 특이한 점은, 오른쪽 눈의 동공의 위치에 따른 화면(520)에서는 가장자리 영역 중 일부 영역이 준 정상 영역으로 표기 될 수 있다. 운전자가 운전을 하는 도중 항상 정면만 바라보는 것이 아니라 사이드 미러, 룸 미러 및 시계 등을 바라보는 행위도 발생될 수 있는데, 이러한 행위들은 정상적인 행위 범위에 포함되는 것이라 할 수 있다. 즉, 일반적으로 가운데 영역만 정상 영역 혹은 준 정상영역이어야 할 것으로 예측되나, 기계학습을 통해 수행한 동공위치에 대한 정상 영역 판단 결과, 일부 가장자리 영역도 준 정상 영역에 포함되는 것으로 관측될 수 있다.
즉, 운전자가 가장 많이 바라보는 위치가 정상영역의 범주로 판단되고, 바라보지 않거나, 전체 프레임 중 한 프레임만 나타나는 위치는 비 정상 영역의 범주가 될 수 있다.
이후, 그리드 디비전이 수행된 정보에 대해 데이터 노멀라이즈를 수행할 수 있다(S730). 데이터 노멀라이즈 단계는, 각 운전자마다 동공 사이의 거리, 얼굴의 크기가 각기 다르기 때문에, 클러스터링 및 그리드 디비전을 통해 수집된 결과정보도 모두 다를 수 밖에 없어 이들을 정규화하기 위하여 수행하는 단계이다. 예를 들어, 얼굴이 작은 사람의 정상영역/비정상영역과 얼굴이 큰 사람의 정상영역/비정상영역은 서로 다를 수 밖에 없고, 얼굴이 큰 사람의 정상영역 내에 얼굴이 작은 사람의 비정상영역이 포함되는 결과가 도출될 수도 있다. 이러한 부분을 조정하기 위하여 데이터 노멀라이즈 단계를 수행한다. 데이터 노멀라이즈 단계는, 각각의 데이터들을 평균하거나 정규화하는 기법 들을 통하여 수행될 수 있으나, 반드시 이에 한하지는 않는다.
이러한 과정을 통하여, 복수의 운전자들이 운전 할 때 동공이 향하는 위치에 대한 정보를 기계학습을 통해 획득할 수 있다. 즉, 운전자들이 주로 바라보는 영역은 가운데 영역이며, 그 외의 외곽 영역이나 시야의 가장자리 영역을 바라보는 영역은 주로 바라보는 영역이 아니고, 주요하게 바라보는 영역과 그렇지 않은 영역 간의 경계는 그리드 디비전을 통하여 명확하게 규정할 수 있었다.
이하에서는, 실제 운전을 할 때, 어떠한 순서로 이상행위에 대한 검출이 진행되며, 기계학습을 통해 수집한 정보를 어떻게 반영하는지에 대하여 구체적으로 설명한다.
이하 도 7을 참조하여 본 발명의 일 실시예에 따르는 동공 인식 기반의 운전자 이상행위 검출 방법에 대해 구체적으로 설명한다.
먼저, 운전자 단말(200)에 의해 수행되는 동공 인식 기반의 운전자 이상행위 검출 방법은 서버(100)로부터 운전자의 동공 위치의 정상 영역과 비 정상 영역에 대한 기계학습 수행 결과 정보를 수신할 수 있다(S610).
구체적으로, S610단계에서, 서버(100)의 기계학습은 복수의 운전자들의 동공 위치 정보를 수집하여 서버로 전송하고, 서버에서 동공 위치 정보를 K-Means 분석기법을 수행하여 운전자 별 정상 행위 그룹, 준정상 행위 그룹과 이상 행위 그룹을 분류 분석하는 클러스터링 분석을 수행할 수 있다. 이어서, 클러스터링 분석을 통해 수집된 정보 내의 각 그룹에 대해 거리 특성을 추출하여 정상 영역, 준정상 영역 및 비 정상 영역으로 분류 분석하는 그리드 디비전을 수행 한 뒤, 그리드 디비전 분석된 정보를 데이터 노멀라이즈하여 표준화하고 서버(100)에 저장할 수 있다.
운전자 단말(200)은 해당 학습 정보를 서버(100)로부터 수신하고 추후 단계에서 수집되는 운전자 정보와 비교를 위해 저장할 수 있다.
운전을 시작하기 전에, 운전자 단말(200)에 설치된 카메라를 통해 운전자의 동공의 위치 및 얼굴 크기를 인식할 수 있다(S620).
추가 실시예로서, 운전자의 동공의 위치 및 얼굴의 크기를 인식하기 위해, 소정의 시간 동안 특정 명령 문구를 포함하는 영상을 제공할 수 있으며, 해당 영상에는 운전자의 시선을 정면으로 응시하게 하거나, 나머지 다른 방향을 응시하게 하는 문구를 포함할 수 있다.
이후, 캘리브레이션 단계를 수행할 수 있다(S630). 즉, 캘리브레이션 단계를 수행하여, 기계학습 수행 결과 정보와 운전자의 동공의 위치 및 얼굴 크기를 고려하여, 운전자에 대한 정상 영역과 비 정상 영역을 정의할 수 있다.
기본적으로, 영상 프레임 내에서 운전자의 동공은 점의 형태로 표현될 수 있는데, 여러 개의 영상 프레임에 대한 점들의 정보를 취합할 경우, 점에 대한 군집들이 표현될 수 있다. 이 때, 도 6과 같이 점의 밀집도가 높으면 운전자가 주로 바라본 영역(즉, 정상영역)으로 간주될 수 있고, 점의 밀집도가 낮으면 운전자가 상대적으로 적게 바라본 영역(즉, 준정상영역이나 비정상영역)으로 간주될 수 있다. 따라서, 영상 프레임 내의 점의 밀집도를 파악하는 것이 해당 운전자의 정상/준정상/비정상영역을 규정하는 관건이 될 수 있는 데, 이를 위해, 'Ad Rank' 계산식을 적용할 수 있다.
계산식은 카메라를 통해 획득된 동공 위치 정보를 나타내는 복수의 영상 프레임 내 각 점 별로 다른 점과의 거리 관계에 대한 정보를 나타내는 것으로서, 아래와 같은 계산식으로 정의된다.
Figure pat00001
여기서 Ax는 한 점의 정보를 나타내는 것으로서, 위 수식은 한 점을 기준으로 한 다른 점(A1, A2, .., AN)들간의 거리(예를 들어, d(A1, Ax))의 합을 전체 점의 개수(N)로 나눈 것을 의미한다.
Ad Rank계산식으로 계산된 각 거리 관계에 대한 정보를 랭킹화 할 수 있으며, 랭킹화의 결과를 이용하여 각 점들의 밀집도를 판단할 수 있다.
이때 밀집도는 랭킹화 된 결과값(즉, ad(Ax))이 작을수록 높은 밀집도를 보이고, 결과값이 높을수록 낮은 밀집도를 보이는 것으로 간주될 수 있다.
이어서, 밀집도를 고려하여 운전자의 동공 위치의 정상 영역과 비 정상 영역에 대한 정보를 획득할 수 있다.
밀집도가 높은 영역은 운전자가 자주 바라보는 곳으로 정상적인 행위에 대한 영역이고 밀집도가 낮은 영역일수록 비정상 행위에 대한 영역으로 판단될 수 있다. 이와 같이, 캘리브레이션 단계에서 단일 운전자로부터 수집한 영상 프레임만으로 ad Rank 계산식을 적용하면, 해당 운전자의 정상/비정상 영역을 정의할 수 있다.
다만, 추가적으로, 기계학습 단계를 통하여 수집한 일반 운전자들의 정상/준정상/비정상영역에 대한 정보와 캘리브레이션 단계를 통하여 정의한 해당 운전자의 정상/준정상/비정상 영역에 대한 정보를 함께 고려하여, 해당 운전자의 정상/준정상/비정상 영역에 대한 정보를 정의할 수도 있다. 예를 들어, 해당 운전자에게는 도 5의 우측 눈(520)의 가장자리 일부분(노란색과 빨간색 사이의 주황색 영역들 중 영상 프레임의 가장자리에 해당하는 부분)에 대한 준 정상영역이 비정상영역으로 도출되었다고 하더라도, 해당 부분을 준 정상영역으로 정의할 수도 있다.
운전이 시작된 후, 운전자 단말(200)의 카메라를 통하여 운전자의 동공의 위치가 기 설정된 횟수 이상만큼 비 정상 영역에 위치하는 것을 인지한 경우, 운전자 단말(200)로 경고 알림을 제공할 수 있다(S640).
이때, 운전자 단말(200)의 카메라를 통해 운전자의 동공 위치 정보를 실시간으로 획득할 수 있으며, 운전자의 동공의 위치가 비 정상 영역에 위치하는 경우 이상행위 인덱스를 카운팅하되, 이상행위 인덱스는 동공의 위치가 비정상 영역에 위치하는 프레임을 운전자 단말(200)의 카메라를 통해 확인하는 경우 각 프레임별 1회를 카운팅할 수 있다.
이상행위 인덱스의 카운트 결과값이 기 설정된 값(예를 들어, 10)을 초과하는 경우, 서버로 경고 알림 쿼리를 전송하고, 상기 서버는 운전자 단말(200)로 경고 알림을 제공할 수 있으며, 운전자 단말(200)은 운전자에게 경고 알림을 제공할 수 있다.
이상행위 인덱스를 카운트 하는 기준인 정상 영역과 비 정상 영역에 대한 범위는 카메라를 통해 획득된 영상 프레임의 가운데 부분이 정상 영역을 포함하여 정의될 수 있으며, 영상 프레임의 가장자리 부분이 비 정상 영역을 포함하여 정의될 수 있다.
또한, 정상 영역은 가장 자리 중 일부분을 포함하여 정의될 수 있다.
운전이 종료 된 이후, 서버(100)는 운전자 단말(200)로부터 운전자의 동공 위치 정보 및 상기 이상행위 인덱스를 수신하여, 운전자의 동공 위치의 정상 영역과 비 정상 영역에 대한 기계학습 수행을 반복하되, 해당 정보들을 기계학습 훈련 데이터에 반영하고, 동공 위치의 정상 영역과 비 정상 영역에 대한 정보를 수정할 수 있다. 즉, 해당 운전자의 동공 위치에 대한 정보들을 도 2의 S710, S720, S730 단계들의 훈련데이터로 활용할 수 있다. 이러한 경우, 훈련데이터의 대상이 변화하기 때문에, 최종 기계학습의 결과물도 조금 달라질 수도 있다.
즉, 오프라인 운전 이후 서버로 운전동안 수집된 동공 데이터를 수시 전송하고, 서버에서 분석을 수행하도록 하여, online learning을 지속할 수 있다. 즉, 특정 시점 또는 일정 주기로 데이터를 수집/분석하고 기계학습 데이터에 반영 시킬 수 있다.
본 발명의 추가 실시예로, 운전 도중, 운전자 단말(200)로 경고 알림이 제공되는 경우, 서버(100)는 경고 알림을 운전자 단말(200)로 제공하고 경고 알림에 대한 피드백을 요청할 수 있다.
운전자 단말(200)을 통해 경고 알림에 대한 피드백을 서버(100)가 수신하는 경우, 피드백을 기계학습 훈련 데이터에 반영하여, 기 설정된 횟수 및 상기 정상 영역과 비정상 영역에 관한 영역 정보 중 적어도 하나를 수정할 수 있다.
예를 들어, 특정 운전자에 대한 경고 알림이 운전자 단말(200)로 제공 되는 경우, 운전자는 경고 알림이 발생한 시점을 확인하여 이상행위에 대한 진위 여부를 확인하고 결과를 통해 서버(100)로 제공할 수 있다.
서버(100)는 해당 피드백에서 이상행위가 발생하였다는 정보를 수신하게 되면, 운전 종료 후 수신되는 운전자 동공 위치 정보 및 이상행위 인덱스를 비교하여 정상 영역에 관한 영역을 소정의 넓이 만큼 줄이거나 이상행위 인덱스의 카운팅 횟수를 소정의 횟수 만큼 낮추는 형태의 수정이 진행될 수 있으며, 이상행위가 발생하지 않았다는 정보를 수신하는 경우, 운전 종료 후 수신되는 운전자 동공 위치 정보 및 이상행위 인덱스를 비교하여 정상 영역에 관한 영역을 소정의 넓이 만큼 넓히거나 이상행위 인덱스의 카운팅 횟수를 소정의 횟수 만큼 높이는 형태의 수정이 진행될 수 있다.
또한, 본 발명의 다양한 실시예들 중 동공 인식 기반 사용자 인식(보안기술)에도 동공 인식 기반의 운전자 이상행위 검출 알고리즘이 활용될 수 있다. 예를 들어, 사용자의 동공에 대한 정상영역과 비정상영역을 정의하고, 사용자의 동공이 정상영역과 비정상영역을 이동하는 패턴을 참고하여, 그 사용자가 시스템에 등록된 진정한 사용자에 해당하는지 보안 처리하는 기술에도 활용될 수 있다.
그 외, 본 명세서에서 설명되지 않은, 다양한 분야에 본 발명의 동공 인식 기반의 운전자 이상행위 검출 알고리즘이 활용될 수 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능 한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10: 시스템 100: 서버
200: 운전자 단말
410: 일반 위치의 운전자 얼굴 크기 및 동공의 위치
420: 카메라 근접 시 운전자 얼굴 크기 및 동공의 위치
430: 이상 행위 시 운전자 얼굴 크기 및 동공의 위치
510: 그리드 디비전 분석을 통한 화면 분류 시 왼쪽 동공이 위치하는 영역
520: 그리드 디비전 분석을 통한 화면 분류 시 오른쪽 동공이 위치하는 영역

Claims (10)

  1. 운전자 단말에 의해 수행되는 동공 인식 기반의 운전자 이상행위 검출방법에 있어서,
    (a) 운전자 단말에 연결된 카메라를 통해 운전자의 동공의 위치 및 얼굴 크기를 인식하는 단계;
    (b) 상기 운전자의 동공의 위치 및 얼굴 크기를 고려하여, 상기 운전자의 동공 위치에 대한 정상 영역과 비 정상 영역을 정의하는 단계; 및
    (c) 상기 카메라를 통하여 상기 운전자의 동공의 위치가 기 설정된 횟수 이상만큼 비 정상 영역에 위치하는 것을 인지한 경우, 상기 운전자 단말로 경고 알림을 제공하는 단계;
    를 포함하는,
    동공 인식 기반의 운전자 이상행위 검출 방법.
  2. 제 1 항에 있어서,
    (a-1) 상기 (a) 단계 전에, 서버로부터 상기 운전자의 동공 위치의 정상 영역과 비 정상 영역에 대한 기계학습 수행 결과 정보를 수신하는 단계;를 더 포함하는,
    동공 인식 기반의 운전자 이상행위 검출 방법.
  3. 제 2 항에 있어서,
    상기 (a-1) 단계는,
    (a-1-1) 복수의 운전자들의 동공 위치 정보를 수집하여 상기 서버로 전송하고, 상기 서버에서 상기 동공 위치 정보를 K-Means 분석기법을 수행하여 운전자 별 정상 행위 그룹, 준정상 행위 그룹과 이상 행위 그룹을 분류 분석하는 클러스터링 분석 단계;
    (a-1-2) 상기 서버에서, 상기 클러스터링 분석을 통해 수집된 정보 내의 각 그룹에 대해 거리 특성을 추출하여 정상 영역, 준정상 영역 및 비 정상 영역으로 분류 분석하는 그리드 디비전 단계; 및
    (a-1-3) 서버에서, 상기 그리드 디비전 분석된 정보를 데이터 노멀라이즈하는 단계;
    를 포함하되,
    상기 동공 위치 정보는 상기 카메라를 통하여 촬영된 각각의 영상 프레임 내에서 점으로 표기 되는 것인,
    동공 인식 기반의 운전자 이상행위 검출 방법.
  4. 제 1 항에 있어서,
    상기 (a) 단계는,
    소정의 시간 동안 상기 운전자에게 영상을 제공하는 단계를 포함하며,
    상기 영상은 상기 운전자의 동공 위치를 수집하기 위한 특정 명령 문구를 포함하며,
    상기 명령 문구는,
    상기 운전자의 시선을 정면으로 응시하게 하거나, 나머지 다른 방향을 응시하게 하는 문구를 포함하는 것인,
    동공 인식 기반의 운전자 이상행위 검출 방법.
  5. 제 4 항에 있어서,
    상기 (b) 단계는,
    (b-1) 상기 카메라를 통해 획득된 동공 위치 정보를 나타내는 복수의 영상 프레임 내 각 점 별로 다른 점과의 거리 관계에 대한 정보를 계산하는 단계; 및
    (b-2) 계산된 각 거리 관계에 대한 정보를 랭킹화 하는 단계;
    (b-3) 상기 랭킹화의 결과를 이용하여 각 점들의 밀집도를 판단하는 단계;
    (b-4) 상기 밀집도를 고려하여 상기 운전자의 동공 위치의 정상 영역과 비 정상 영역에 대한 정보를 획득하는 단계;
    를 포함하는,
    동공 인식 기반의 운전자 이상행위 검출 방법.
  6. 제 2 항에 있어서,
    상기 (c) 단계는,
    상기 운전자의 동공의 위치가 비 정상 영역에 위치하는 경우 이상행위 인덱스를 카운팅하고, 상기 이상행위 인덱스의 카운트 결과값이 기 설정된 값을 초과하는 경우, 상기 서버로 경고 알림 쿼리를 전송하고, 상기 서버는 상기 운전자 단말로 경고 알림을 제공하는 단계를 포함하는,
    동공 인식 기반의 운전자 이상행위 검출 방법.
  7. 제 6 항에 있어서,
    상기 (c) 단계 후,
    상기 서버가,
    상기 운전자의 동공 위치 정보 및 상기 이상행위 인덱스를 수신하여, 상기 (a) 단계를 반복 수행하되, 상기 (a-1) 단계에서 활용되는 기계학습 훈련 데이터에 반영하고, 상기 동공 위치의 정상 영역과 비 정상 영역에 대한 정보를 수정하는 단계 및
    상기 피드백을 수신하는 경우,
    상기 피드백을 기계학습 훈련 데이터에 반영하여, 상기 기 설정된 횟수 및 상기 정상 영역과 비정상 영역에 관한 영역 정보 중 적어도 하나를 수정하는 단계
    를 더 포함하는,
    동공 인식 기반의 운전자 이상행위 검출 방법.
  8. 제 2 항에 있어서,
    상기 (b) 단계는,
    상기 (a-1) 단계에서 수행된 기계학습의 결과 정보와 상기 (a) 단계에서 인식된 상기 운전자의 동공의 위치 및 얼굴 크기를 고려하여, 상기 운전자의 동공 위치에 대한 정상 영역과 비 정상 영역을 정의하며,
    상기 정상 영역과 비 정상 영역은,
    상기 영상 프레임의 가운데 부분과 가장 자리 중 일부분을 포함하는 것인,
    동공 인식 기반의 운전자 이상행위 검출 방법.
  9. 제 1 항에 있어서,
    상기 정상 영역과 비 정상 영역은,
    상기 카메라를 통해 획득된 영상 프레임의 가운데 부분이 상기 정상 영역을 포함하여 정의되고,
    상기 영상 프레임의 가장자리 부분이 상기 비정상 영역을 포함하여 정의되는 것인,
    동공 인식 기반의 운전자 이상행위 검출 방법.
  10. 동공 인식 기반의 사용자 이상행위 검출 방법을 수행하는 단말에 있어서,
    이상행위 검출 프로그램이 저장된 메모리; 및
    상기 프로그램을 실행하는 프로세서를 포함하고,
    상기 프로세서는, 상기 프로그램에 의해 실행되어,
    서버가 동공 위치의 정상 영역과 비 정상 영역에 대한 정보를 기계학습을 통해 습득하고 사용자 단말의 카메라를 통해 사용자의 동공 및 얼굴을 인식하고 상기 사용자의 동공이 비 정상 영역에 위치하는 경우, 이상행위 인덱스를 카운트 하고 상기 이상행위 인덱스의 카운트가 기 설정된 값을 초과하는 경우, 상기 사용자 단말로 경고 알림을 제공하는,
    동공 인식 기반의 운전자 이상행위 검출 방법을 수행하는 단말.
KR1020180081128A 2018-07-12 2018-07-12 동공 인식 기반의 연구현장 데이터 수집 및 분석을 통한 연구자 행동 검출 및 연구방향 의사결정 지원 알고리즘 KR20200013128A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180081128A KR20200013128A (ko) 2018-07-12 2018-07-12 동공 인식 기반의 연구현장 데이터 수집 및 분석을 통한 연구자 행동 검출 및 연구방향 의사결정 지원 알고리즘

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180081128A KR20200013128A (ko) 2018-07-12 2018-07-12 동공 인식 기반의 연구현장 데이터 수집 및 분석을 통한 연구자 행동 검출 및 연구방향 의사결정 지원 알고리즘

Publications (1)

Publication Number Publication Date
KR20200013128A true KR20200013128A (ko) 2020-02-06

Family

ID=69569189

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180081128A KR20200013128A (ko) 2018-07-12 2018-07-12 동공 인식 기반의 연구현장 데이터 수집 및 분석을 통한 연구자 행동 검출 및 연구방향 의사결정 지원 알고리즘

Country Status (1)

Country Link
KR (1) KR20200013128A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112052815A (zh) * 2020-09-14 2020-12-08 北京易华录信息技术股份有限公司 一种行为检测方法、装置及电子设备
WO2023038754A1 (en) * 2021-09-10 2023-03-16 Intel Corporation Driver monitoring system (dms) data management
CN116476848A (zh) * 2023-06-15 2023-07-25 深圳市知酷信息技术有限公司 基于大数据的汽车规范操作诊断系统及方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112052815A (zh) * 2020-09-14 2020-12-08 北京易华录信息技术股份有限公司 一种行为检测方法、装置及电子设备
CN112052815B (zh) * 2020-09-14 2024-02-20 北京易华录信息技术股份有限公司 一种行为检测方法、装置及电子设备
WO2023038754A1 (en) * 2021-09-10 2023-03-16 Intel Corporation Driver monitoring system (dms) data management
CN116476848A (zh) * 2023-06-15 2023-07-25 深圳市知酷信息技术有限公司 基于大数据的汽车规范操作诊断系统及方法
CN116476848B (zh) * 2023-06-15 2023-08-22 深圳市知酷信息技术有限公司 基于大数据的汽车规范操作诊断系统及方法

Similar Documents

Publication Publication Date Title
Mandal et al. Towards detection of bus driver fatigue based on robust visual analysis of eye state
CN108182409B (zh) 活体检测方法、装置、设备及存储介质
US20200327311A1 (en) Image clustering method and apparatus, electronic device, and storage medium
Fatima et al. Driver fatigue detection using viola jones and principal component analysis
US11862326B1 (en) Biometric characteristic application using audio/video analysis
Li et al. Modeling of driver behavior in real world scenarios using multiple noninvasive sensors
US20190392145A1 (en) Detection of print-based spoofing attacks
US20170364732A1 (en) Eye tracking via patterned contact lenses
KR20200013128A (ko) 동공 인식 기반의 연구현장 데이터 수집 및 분석을 통한 연구자 행동 검출 및 연구방향 의사결정 지원 알고리즘
Celona et al. A multi-task CNN framework for driver face monitoring
Zhang et al. Eye center localization and gaze gesture recognition for human–computer interaction
Song et al. Profiling bell's palsy based on House-Brackmann score
Dua et al. Evaluation and visualization of driver inattention rating from facial features
US9135562B2 (en) Method for gender verification of individuals based on multimodal data analysis utilizing an individual's expression prompted by a greeting
Suresh et al. Driver drowsiness detection using deep learning
RU2768797C1 (ru) Способ и система для определения синтетически измененных изображений лиц на видео
RU2316051C2 (ru) Способ и система автоматической проверки присутствия лица живого человека в биометрических системах безопасности
Roy Unsupervised sparse, nonnegative, low rank dictionary learning for detection of driver cell phone usage
Akshay et al. Drowsy driver detection using eye-tracking through machine learning
Kannan et al. Driver drowsiness detection and alert system
Shukla et al. An Efficient Approach of Face Detection and Prediction of Drowsiness Using SVM
US11443541B2 (en) Classification of person type in a visual medium
CN114298189A (zh) 疲劳驾驶检测方法、装置、设备及存储介质
KR20190093298A (ko) 동공 인식 기반의 운전자 이상행위 검출 알고리즘
US20230237844A1 (en) Detecting emotional state of a user based on facial appearance and visual perception information

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E601 Decision to refuse application