KR20190063582A - 전달 학습을 통한 운전자의 시선 응시영역 추정 방법 - Google Patents

전달 학습을 통한 운전자의 시선 응시영역 추정 방법 Download PDF

Info

Publication number
KR20190063582A
KR20190063582A KR1020170162479A KR20170162479A KR20190063582A KR 20190063582 A KR20190063582 A KR 20190063582A KR 1020170162479 A KR1020170162479 A KR 1020170162479A KR 20170162479 A KR20170162479 A KR 20170162479A KR 20190063582 A KR20190063582 A KR 20190063582A
Authority
KR
South Korea
Prior art keywords
gaze
area
information
estimating
cnn
Prior art date
Application number
KR1020170162479A
Other languages
English (en)
Other versions
KR102481817B1 (ko
Inventor
라만샤 타입나피스 이만
최민국
권순
정우영
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020170162479A priority Critical patent/KR102481817B1/ko
Publication of KR20190063582A publication Critical patent/KR20190063582A/ko
Application granted granted Critical
Publication of KR102481817B1 publication Critical patent/KR102481817B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G06K9/00845—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06K9/627—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 운전자의 시선 응시영역 추정 방법에 관한 것으로서, 본 발명은 ADAS(Advanced Driver Assistance System) 환경에서의 운전자의 편의 및 상태 분석을 위해, 시뮬레이션 환경으로부터 실측값(ground truth)을 추출하고, 영상으로부터 특징을 추출한 후, 사전훈련 모델(pre-trained model)에 대해 지식 전달 기법을 활용하여 추출된 특징과 응시 영역을 학습할 수 있는 운전자의 시선 응시영역 추정 방법을 제공한다.

Description

전달 학습을 통한 운전자의 시선 응시영역 추정 방법{Method for Estimating Driver's Gaze Zone by Transfer Learning}
본 발명은 운전자의 시선 응시영역 추정 방법에 관한 것으로서, 특히, ADAS(Advanced Driver Assistance System) 환경에서의 운전자의 편의 및 상태 분석을 위해 전달 학습을 통한 운전자의 시선 응시영역 추정 방법에 관한 것이다.
최근 차량에는 HVI(Human Vehicle Interaction) 관련 기술이 많은 진전을 보이고 있으며, 특히, 전기차의 개발이 상용화되어 감에 따라 여기에 자율 주행 기능 등에 있어서 ADAS(Advanced Driver Assistance System) 기능 등과 함께 교통 사고 없이 차량이 안전한 운행이 유지되도록 하기 위한 많은 기술이 개발되고 있다.
특히, 사용자 운전 집중도, 졸음 상태 등에 기초한 알람 등 운전 보조를 위한유용한 정보 전달을 위하여, 운전자의 시선 응시 판단이 중요한 요소이나 이와 관련된 기술이 미흡한 실정이다.
관련 선행 문헌으로서 공개특허공보 제10-2017-0001461호 (2017.01.04) 등이 참조될 수 있다.
따라서, 본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은, ADAS(Advanced Driver Assistance System) 환경에서의 운전자의 편의 및 상태 분석을 위해, 시뮬레이션 환경으로부터 실측값(ground truth)을 추출하고, 영상으로부터 특징을 추출한 후, 사전훈련 모델(pre-trained model)에 대해 지식 전달 기법을 활용하여 추출된 특징과 응시 영역을 학습할 수 있는 운전자의 시선 응시영역 추정 방법을 제공하는 데 있다.
먼저, 본 발명의 특징을 요약하면, 상기의 목적을 달성하기 위한 본 발명의일면에 따른 운전자의 시선 응시영역 추정 방법은, 시뮬레이터에서 피험자의 시선응시 영상별 시선응시 영역정보에 대한 실측값을 추출하여 데이터베이스를 구축하는 단계; 훈련 CNN에서 상기 데이터베이스를 참조하고 상기 훈련 CNN의 동작을 위한 파라미터들을 포함하는 사전훈련 모델을 적용해 운전자에 대한 입력 영상으로부터 제1특징 정보를 추출하는 단계; 및 SVM 분류기에서 상기 훈련 CNN에 의한 제1특징 정보와 함께, 시선응시 영상별 시선 위치에 대한 정보를 추정하는 시선위치 CNN을 통해 이미 획득한 제2특징 정보를 더 이용하여 시선 응시 영역을 추정하는 단계를 포함한다.
상기 운전자의 시선 응시영역 추정 방법은, 추정된 상기 시선 응시 영역을 포함하는 학습 데이터를 상기 데이터베이스에 축적하도록 업데이트하는 단계를 더 포함한다.
상기 시선 응시 영역을 추정하는 단계에서, 영상처리유닛에서 상기 제1특징 정보로부터 헤드 자세와 눈 위치에 대한 정보로부터 추정한 응시 정보를 더 이용하여 상기 SVM 분류기에서 시선 응시 영역을 추정할 수 있다.
상기 시선 응시 영역을 추정하는 단계에서, 미리 결정된, 차량 앞유리의 상부 좌영역, 상부 우영역, 하부 좌영역, 하부 우영역, 또는 차량 앞유리 상단측 후방 미러 부근 영역, 좌우 사이드 미러 부근 영역, 운전대 앞의 계기판 주위 영역, 대시보드 중앙의 콘트롤 패널 주위 영역, 기어 스틱 주위 영역 중 하나 이상의 영역을 추정할 수 있다.
상기 시뮬레이터는 제어장치를 이용해 스크린에 응시명령을 표시하고 피험자의 시선응시에 따른 영상별 시선 응시 영역 정보를 포함하는 학습 데이터를 상기 데이터베이스에 축적할 수 있다.
그리고, 본 발명의 다른 일면에 따른 운전자의 시선 응시영역 추정 시스템은, 시뮬레이터에서 실측되어 추출된 피험자의 시선응시 영상별 시선응시 영역정보를 유지하는 데이터베이스; 상기 데이터베이스를 참조하고 훈련 CNN의 동작을 위한 파라미터들을 포함하는 사전훈련 모델을 적용해 운전자에 대한 입력 영상으로부터 제1특징 정보를 추출하는 상기 훈련 CNN; 및 상기 훈련 CNN에 의한 제1특징 정보와 함께, 시선응시 영상별 시선 위치에 대한 정보를 추정하는 시선위치 CNN을 통해 이미 획득한 제2특징 정보를 더 이용하여 시선 응시 영역을 추정하는 SVM 분류기를 포함한다.
본 발명에 따른 운전자의 시선 응시영역 추정 방법에 따르면, 전달 학습을 통한 시선 응시영역 추출 방법을 이용해 최소의 학습데이터에서 효율을 극대화할 수 있는 사전지식 기반의 학습 기법을 제공할 수 있다. 본 발명을 통해 많은 운전자들의 다양한 상태에 모니터링이 가능하고 이후에 사용자 운전 집중도, 피로도 측정, 졸음 상태 측정, ADAS 정보 전달 여부 판단 등 여러 가지 응용에 효과적으로 활용할 수 있다.
본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는 첨부도면은, 본 발명에 대한 실시예를 제공하고 상세한 설명과 함께 본 발명의 기술적 사상을 설명한다.
도 1은 본 발명의 일 실시예에 따른 전달 학습 기반의 운전자의 시선 응시영역 분류를 위한 추정 시스템의 개념을 설명하기 위한 도면이다.
도 2는 일반적인 iTracker의 CNN을 통한 특징 정보를 추정 과정을 설명하기 위한 도면이다.
도 3은 본 발명의 운전자의 시선 응시 영역의 일례를 나타낸다.
도 4는 본 발명의 일 실시예에 따른 운전자의 시선 응시영역 추정 방법의 흐름도이다.
도 5는 조도 조절이 가능한 암실 환경에서 응시 영역 데이터 수집을 위한 본발명의 시뮬레이터의 구축 예시를 보여준다.
도 6은 본 발명의 운전자 시선 응시 영역 실측 데이터 수집을 위한 SW 인터페이스 예시를 나타낸다.
도 7은 본 발명의 시선 응시 영역 데이터 수집에 대한 피험자 실험 예시를 나타낸다.
도 8은 본 발명의 훈련 CNN을 통해 추정되는 입력 영상에 대한 헤드 자세, 눈 위치의 특징에 대한 예시이다.
도 9는 본 발명의 일 실시예에 따른 전달 학습 기반의 운전자의 시선 응시영역 분류를 위한 추정 시스템의 구체적인 블록도를 나타낸다.
도 10은 본 발명의 일 실시예에 따른 운전자의 시선 응시영역 추정 방법에서 학습-테스트 결과에 대한 예시를 보여준다.
도 11은 본 발명의 일 실시예에 따른 운전자의 시선 응시영역 추정 방법과 AlexNet, SVM 기법 간의 정량적 평가 비교 결과를 나타낸다.
이하에서는 첨부된 도면들을 참조하여 본 발명에 대해서 자세히 설명한다. 이때, 각각의 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타낸다. 또한, 이미 공지된 기능 및/또는 구성에 대한 상세한 설명은 생략한다. 이하에 개시된 내용은, 다양한 실시 예에 따른 동작을 이해하는데 필요한 부분을 중점적으로 설명하며, 그 설명의 요지를 흐릴 수 있는 요소들에 대한 설명은 생략한다. 또한 도면의 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시될 수 있다. 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니며, 따라서 각각의 도면에 그려진 구성요소들의 상대적인 크기나 간격에 의해 여기에 기재되는 내용들이 제한되는 것은 아니다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시 예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
또한, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되는 것은 아니며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
그리고, 하기하는 바와 같은 본 발명의 일 실시예에 따른 운전자의 시선 응시영역 추정 방법의 각 단계나 기능은 컴퓨터 등 장치로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하며, 이와 같은 기록 매체와 컴퓨터 등 장치의 결합으로 기능 수행에 필요한 데이터나 정보를 입력하거나 출력하고 디스플레이하도록 구현할 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치, 하드 디스크, 이동형 저장장치 등의 저장 매체를 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크(예, 인터넷, 이동통신 네트워크 등)로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장된 형태가 가능하며 네트워크를 통해 실행될 수도 있다.
도 1은 본 발명의 일 실시예에 따른 전달 학습 기반의 운전자의 시선 응시영역 분류를 위한 추정 시스템의 개념을 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 운전자의 시선 응시영역 추정 시스템은 얼굴과 눈을 검출되는 입력 영상(10)으로부터의, 좌안, 우안과 얼굴 영상, 및 페이스 그리드(face grid)에 대하여, 사전훈련 모델(pre-trained model)(20)을 적용한 심층(deep) 신경망인 훈련 CNN(Convolutional neural network, 신경망)을 통해 입력 영상에 대한 특징 정보를 추정한다(30). 이와 같이 추정된 특징 정보로부터 헤드 자세(head pose), 눈 위치(eye center) 등의 응시 정보를 추정할 수 있으며, 시선위치 CNN(시선응시 영상별 시선 위치에 대한 정보를 추정하는 CNN)에 의한 특징 정보와 헤드 자세(head pose), 눈 위치(eye center) 등의 응시 정보가 SVM(Support Vector Machine) 분류기(40)의 입력이 되어 해당 분류 알고리즘에 따라 소정의 영역들(예, 10개의 영역) 중 입력 영상에 해당하는 시선 응시 영역(gaze zone)이 추정(50)될 수 있다.
도 2는 일반적인 iTracker의 CNN을 통한 특징 정보를 추정 과정을 설명하기 위한 도면이다.
본 발명의 훈련 CNN을 통한 특징 정보의 추정(30)을 위하여, 간략히 설명하면, 도 2와 같이, 아이폰 등 사용자 단말기(100)에서 시선 위치(gaze)를 추정하는 시선위치 CNN의 방식을 응용한다. 본 발명의 운전자의 시선 응시영역 추정 방법은, 도 2의 제7 풀리 커넥티드(fully connected)(FC7) 정보를 추정하여 시선 위치(x,y)를 제공하는 대신, SVM(Support Vector Machine) 분류기(40)의 분류 기법을 이용하여 입력 영상에 해당하는 시선 응시 영역을 추정(50)하여 제공한다.
도 1, 도 2와 같이, 훈련 CNN을 통한 특징 정보의 추정(30)을 위하여, 입력 영상(10)으로부터의, 좌안, 우안에 대한 영상(예, 224*224 픽셀)에 대하여 각각 사전학습모델(20)에 따른 공유된 가중치(shared weight)를 갖는 커널(kernel), 즉, 훈련 CNN의 동작을 위한 파라미터들을 포함하는 사전훈련 모델을 적용해, 다층(C1~C4)의 콘볼루션 필터링을 처리해 다중 노드(예, 128)의 제1 풀리 커넥티드(FC1) 정보를 생성하고, 얼굴 영상에 대하여도 사전학습모델(20)에 따른 다른 커널을 이용해 다층(C5~C8)의 콘볼루션 필터링을 처리해 다중 노드의 제2 풀리 커넥티드(FC2), 제3 풀리 커넥티드(FC3) 정보를 차례로 생성한다.
소정의 그리드 사이즈(예, 25*25) 상에서 얼굴의 위치를 나타내는 페이스 그리드에 대하여도 필요한 사이즈의 다중 노드의 제4 풀리 커넥티드(FC4), 제5 풀리 커넥티드(FC5) 정보를 차례로 생성한다. 제1 풀리 커넥티드(FC1), 제3 풀리 커넥티드(FC3), 제5 풀리 커넥티드(FC5)는 합성되어, 제7 풀리 커넥티드(FC7) 정보 생성의 기초가 되는 제6 풀리 커넥티드(FC6) 정보가 된다. 제6 풀리 커넥티드(FC6) 정보는 본 발명의 SVM(Support Vector Machine) 분류기(40) 처리를 위한 입력이 되어 시선 응시 영역을 추정(50)하는데 참조된다.
도 3과 같이, 운전자의 시선 응시 영역은, 예를 들어, 10개로 구분될 수 있다. 여기서 이와 같은 응시 영역의 정의는 일례일뿐, 응용 목적에 따라 더 정말하거나 더 러프한 응시 영역으로 구분하여 적용될 수도 있다. 예를 들어, 10개의 시선 응시 영역은, 차량 앞유리를 4등분하여 상부 좌영역(1), 상부 우영역(2), 하부 좌영역(3), 하부 우영역(4)을 포함하고, 차량 앞유리 상단측 후방 미러 부근 영역(5)을 포함하며, 좌우 사이드 미러 부근 영역(6,7)을 포함하고, 운전대 앞의 속도계 등 계기판 주위 영역(8), 대시보드 중앙의 오디오 등 콘트롤 패널 주위 영역(9), 기어 스틱 주위(10) 등을 포함할 수 있다.
이와 같이 피험자의 시선응시 영상별 추정된 시선 응시 영역 정보는 데이터베이스의 시선응시 영상별 시선 응시 영역 정보의 학습 데이터가 업데이트 저장되도록 반영되고, 데이터베이스에 학습된 정보는 훈련 CNN을 통한 특징 정보의 추정(30)에서 다시 참조된다. 예를 들어, 훈련 CNN은 입력영상에 대해 데이터베이스의 영상과 유사한 영상에 대한 학습된 사전훈련 모델의 파라미터로부터 현재의 입력영상에 대해 적용될 사전훈련 모델의 파라미터를 결정할 수 있다.
또한, 훈련 CNN을 통한 특징 정보의 추정(30)에는 iTracker의 시선위치 CNN을 통한 특징 정보 중 제6 풀리 커넥티드(FC6) 정보 등 시선 위치(gaze) 추정에 이용되는 특징 정보를 참조할 수도 있다. 도 2에서 추정된 영상별 시선 위치(x,y)에 대한 정보 역시 리그레션(regression) 과정을 거쳐 시선위치에 대한 오차가 작아지도록 시선응시 영상별 시선 위치에 대한 정보에 대한 데이터베이스에 반영되고 해당 학습 데이터(예, 커널 등에 대한 파라미터 정보 등을 포함함)가 업데이트 저장된다.
도 4는 본 발명의 일 실시예에 따른 운전자의 시선 응시영역 추정 방법의 흐름도이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 운전자의 시선 응시영역 추정 방법은, 시뮬레이션 환경으로부터 자동화된 방법으로 실측값(ground truth)을 추출하여 데이터베이스를 구축하는 과정(S110), 상기 데이터베이스를 참조하여 운전자에 대한 입력 영상으로부터 훈련 CNN을 이용해 특징 정보를 추출하는 과정(S120), 및 훈련 CNN에 의한 특징 정보에 시선위치 CNN(시선응시 영상별 시선 위치에 대한 정보를 추정하는 CNN)을 통한 특징 정보를 더 이용하여 SVM 분류기로 시선 응시 영역을 추정하고 데이터 학습에 이용하는 과정(S130)을 포함한다.
먼저, 시뮬레이션 환경으로부터 자동화된 방법으로 실측값(ground truth)을 추출하여 데이터베이스를 구축하는 과정(S110)에서, 자동화된 데이터 수집 시뮬레이터를 이용하여, 데이터베이스(도 9의 951 참조)에 실측 학습 데이터, 즉, 시선응시 영상별 시선 응시 영역 정보(또는 레이블)를 수집한다.
이를 위하여, 시뮬레이터는 컴퓨터 등 제어장치를 포함하며, 이를 이용해 피험자의 도 3과 같은 구분된 응시 영역에 대한 응시 명령(instruction)을 주고 주어진 인터페이스에 따라 자동화된 방법으로 응시 영역에 대한 실측 시선응시 영상별 시선 응시 영역 정보를 데이터베이스(도 9의 951 참조)에 축적할 수 있다.
도 5는 조도 조절이 가능한 암실 환경에서 응시 영역 데이터 수집을 위한 본발명의 시뮬레이터의 구축 예시를 보여준다.
도 5와 같이, 본 발명의 시뮬레이터는, 도 5와 같이, 응시 명령을 디스플레이하기 위한 스크린(또는 디스플레이 장치)(510), 차량 내부 모습을 재현한 간이 실차 내부 환경(520)을 포함한다. 이외에도 시뮬레이터는, 도시되어 있지 않지만, 스크린(또는 디스플레이 장치)(510)에 응시 명령을 표시해 주기위한 소프트웨어와 해당 소프트웨어(SW)가 실행되는 컴퓨터 등 제어장치를 포함한다. 구분된 응시 영역은 운전 도중 응시 가능한 도 3과 같은 총 10개의 영역으로 정의하여 운전자 시점 기준으로 선택될 수 있다.
본 발명에서는 컴퓨터 등 제어장치를 통해 실행되는 자동화된 ground truth 데이터 수집을 위한 SW 인터페이스를 이용하여, 스크린(또는 디스플레이 장치)(510)에 응시 명령을 주고 해당 응시 영역에 대한 집중을 유도하고 자동화된 환경에서 실측 학습 데이터를 수집 가능하도록 기능을 수행할 수 있다.
도 6과 같이, 운전자 시선 응시 영역 실측 데이터 수집을 위한 SW 인터페이스 예시를 참조하고, 도 7과 같이, 시선 응시 영역 데이터 수집에 대한 피험자 실험 예시를 참조하면, 스크린(또는 디스플레이 장치)(510)에 하나의 점/원을 표시하고 피험자의 헤드나 눈 응시가 해당 점/원을 따라가도록 응시 명령을 줄 수 있으며, 차량 앞유리 상단측 후방 미러 부근 영역(5)을 보거나 Gong(징) 소리가 나면 스크린(또는 디스플레이 장치)(510)를 다시 보도록 응시 명령을 줄 수도 있다.
본 발명의 실효성을 검증하기 위해 총 15명의 피험자에 대해 제어장치를 통해 약 97,400 프레임의 시선 응시 영상과 시선 응시 영역의 데이터를 수집하여, 피험자의 시선응시에 따른 시선응시 영상별 시선 응시 영역 정보를 포함하는 학습 데이터를 데이터베이스(도 9의 951 참조)에 축적하였다. 다만, 필요에 따라 시선응시 영상 중 감은눈(closed eye)에 대한 정보는 수동 또는 제어장치에 의한 자동으로 데이터베이스(도 9의 951 참조)에서 삭제 관리될 수 있다.
다음에, 상기 데이터베이스(도 9의 951 참조)를 참조하여 운전자에 대한 입력 영상으로부터 훈련 CNN(도 9의 952 참조)을 이용해 특징 정보를 추출하는 과정(S120)에서, 데이터베이스(도 9의 951 참조)를 참조하여 도 1과 같은 사전훈련 모델(pre-trained model)(20)을 조정하고 적용한 훈련 CNN(Convolutional neural network, 신경망)을 통해 입력 영상에 대한 특징 정보를 추정한다. 소정의 영상 처리 유닛(도 9의 955)은 이와 같이 추정된 특징 정보로부터 헤드 자세(head pose), 헤드 내의 눈 위치(eye center) 등의 응시 정보를 추정할 수 있다.
도 8은 본 발명의 훈련 CNN을 통해 추정되는 입력 영상에 대한 헤드 자세(예, 3차원 좌표값(x,y,z)), 눈 위치(예, 2차원 좌표값(x,y))의 특징에 대한 예시이다. 이외에도 얼굴 경사(gradient)의 크기나 방향, 얼굴 색상, 눈의 크기와 경사, 눈의 방향(예, x또는 y 방향) 등 다른 응사 정보가 더 추정되고 SVM 분류기에 입력으로 이용될 수 있다.
도 9는 본 발명의 일 실시예에 따른 전달 학습 기반의 운전자의 시선 응시영역 분류를 위한 추정 시스템의 구체적인 블록도를 나타낸다.
도 9와 같이, 본 발명의 운전자의 시선 응시영역 추정 시스템은, 위에서 기술한 바와 같이, 훈련 CNN(952)을 이용해 입력 영상에 대한 특징 정보(910)를 추출하고, 소정의 영상 처리 유닛(955)이 특징 정보(910)로부터 헤드 자세(head pose), 헤드 내의 눈 위치(eye center) 등의 응시 정보(920)를 추정한 후에, 특징 정보(910) 이외에 시선위치 CNN(도 2 참조)(954)을 통한 특징 정보(930) 함께 응시 정보(920)를 SVM 분류기(40)로 입력하여 SVM 분류기(40)가 최종적으로 시선 응시 영역을 추정하게 한다(S130).
여기서 참조되는 시선응시 영상별 시선 위치에 대한 정보를 추정하는 시선위치 CNN(도 2 참조)(954)을 통한 특징 정보(930)로서, 도 2와 같이, iTracker의 시선위치 CNN(954)을 통한 특징 정보 중 제6 풀리 커넥티드(FC6) 정보 등 시선 위치(gaze) 추정에 이용되는 특징 정보가 참조될 수 있다. 시선위치 CNN(954)을 통해 추정된 영상별 시선 위치(x,y)에 대한 정보는, 리그레션 레이어에서 리그레션(regression) 과정을 거쳐 오차가 작아지도록 시선응시 영상별 시선 위치에 대한 정보가 데이터베이스(953)에 반영되고 해당 학습 데이터가 업데이트 저장된다. 데이터베이스(953)에 저장된 시선응시 영상별 시선 위치에 대한 정보의 학습 데이터는, 참조되는 시선위치 CNN(954)을 통해 추정되는 특징 정보(930)가 더욱 정확하도록 시선 위치(gaze)에 대한 특징 정보를 제공할 수 있다.
SVM 분류기(40)는 교사(supervised learning) 기법의 한 종류로서, 커널함수, 군집화 등을 이용하여 빅데이터를 처리하는 알고리즘으로서 잘 알려진 바와 같다. 여기서는 이에 대한 자세한 설명을 생략하며, 다만, SVM 분류기(40)는 위와 같이 입력되는 훈련 CNN(952)으로부터의 특징 정보(910), 시선위치 CNN(954)으로부터의 특징 정보(930), 영상 처리 유닛(955)으로부터의 헤드 자세(head pose), 헤드 내의 눈 위치(eye center) 등에 대한 응시 정보(920)를 입력으로 받아 멀티클래스로 분류하여 위와 같이 미리 정한 복수의 시선 응시 영역들(예, 10개의 영역) 중 어느 하나에 대한 입력인지 여부를 추정하고 학습한다.
위와 같이 SVM 분류기(40)가 최종적으로 시선 응시 영역을 추정하는 방식으로, 추정된 영상별 시선 응시 영역 정보는 데이터베이스(951)의 시선응시 영상별 시선 응시 영역 정보 등의 학습 데이터(사전학습 모델 등을 포함함)가 업데이트 저장되도록 반영된다. 이에 따라 다음 입력 영상에 대한 처리에서, 사전훈련 모델(pre-trained model)(20)을 더욱 정확하게 조정해 나갈 수 있다. 사전훈련 모델(pre-trained model)(20)은 훈련 CNN(952)을 이용해 특징 정보를 추출하는 과정에서 사용하는 커널과 관련된 파라미터를 포함한다.
한편, 응시영역 추출을 위한 피험자 모집에는 물리적인 한계가 따르기 때문에 본 발명에서는 기존의 모델에 따라 학습된 사전지식(prior knowledge), 즉, 시선위치 CNN(954)에서의 특징 정보(930)를 활용한 전달학습 기법을 적용하였다. 테블릿/모바일 상의 시선 위치를 추적하기 위한 위와 같은 iTracker 모델로부터 학습된 수백 여명 이상의 학습 정보를 활용하여 시선 응시 영역 추출을 위한 사전지식으로 활용하였다. 이를 통해 특징 정보 추정에 부족한 데이터량이나 일반화(generalization)의 문제를 일부분 극복해 최소한의 피험자로부터 유용한 학습 정보들을 미세조정하여 학습을 수행할 수 있게 된다.
본 발명의 Pre-trained 모델을 위해 총 150명의 학습 데이터가 제공되는 iTracker의 데이터셋을 활용하였으며, 시선 응시영역 분류를 위한 전달학습을 위해 총 15명의 성별, 나이, 신장 등의 특징을 고려하여 데이터셋을 모집하여 이용하였다. 피험자 데이터 중 10명은 학습을 위해 활용되었으며 나머지 5명은 테스트를 위해 활용되었다. 총 영상 데이터는 학습-테스트를 포함하여 약 97,400 프레임으로 구성되어 있으며 전달학습의 성능을 비교하기 위해 AlexNet을 활용한 시선응시영역 분류기와 SVM 기반의 분류기와 비교 실험을 수행하였다.
도 10은 본 발명의 일 실시예에 따른 운전자의 시선 응시영역 추정 방법에서 학습-테스트 결과에 대한 예시를 보여주고 있으며, 도 11은 본 발명의 일 실시예에 따른 운전자의 시선 응시영역 추정 방법과 AlexNet, SVM 기법 간의 정량적 평가 비교 결과를 나타내고 있다.
도 10의 훈련 모습은 차량 앞유리 쪽의 상부 좌영역(1)에 대한 영역 판단이 이루어지고 있음을 예시적으로 나타내었고 도 10의 테스트 모습에서는 위와 같이 구분된 10개의 시선 응시 영역 이외에 대한 다른 영역이 추정되는 경우를 예시하였다.
도 11과 같이, 본 발명의 테스트 정확도와 유효성(validation) 정확도가,AlexNet와 같은 기존의 딥 러닝(deep learning) 방법이나 SVM과 같은 기존의 기계적 학습(machine learning) 방법에 비하여, 월등히 높게 나타남을 확인하였다. 본 발명의 테스트 정확도는 60% 이상의 높은 정확도를 보이며, 이와 같이 본 발명에서는 시선 위치를 추적하기 위한 위와 같은 iTracker 모델로부터 학습된 수백 여명 이상의 학습 정보를 활용하여 시선 응시 영역 추출을 위한 사전지식으로 활용함으로써, 특징 정보 추정에 부족한 데이터량이나 일반화(generalization)의 문제를 일부분 극복할 수 있는 장점이 있다.
상술한 바와 같이, 본 발명에 따른 운전자의 시선 응시영역 추정 방법은, 전달 학습을 통한 시선 응시영역 추출 방법을 이용해 최소의 학습데이터에서 효율을 극대화할 수 있는 사전지식 기반의 학습 기법을 제공할 수 있다. 본 발명을 통해 많은 운전자들의 다양한 상태에 모니터링이 가능하고 이후에 사용자 운전 집중도, 피로도 측정, 졸음 상태 측정, ADAS 정보 전달 여부 판단 등 여러 가지 응용에 효과적으로 활용할 수 있다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
SVM 분류기(40)
시선응시 영상별 시선 응시 영역 정보의 데이터베이스(951)
시선응시 영상별 시선 위치에 대한 정보의 데이터베이스(953)
훈련 CNN(952)
시선위치 CNN(954)

Claims (6)

  1. 시뮬레이터에서 피험자의 시선응시 영상별 시선응시 영역정보에 대한 실측값을 추출하여 데이터베이스를 구축하는 단계;
    훈련 CNN에서 상기 데이터베이스를 참조하고 상기 훈련 CNN의 동작을 위한 파라미터들을 포함하는 사전훈련 모델을 적용해 운전자에 대한 입력 영상으로부터 제1특징 정보를 추출하는 단계; 및
    SVM 분류기에서 상기 훈련 CNN에 의한 제1특징 정보와 함께, 시선응시 영상별 시선 위치에 대한 정보를 추정하는 시선위치 CNN을 통해 이미 획득한 제2특징 정보를 더 이용하여 시선 응시 영역을 추정하는 단계
    를 포함하는 운전자의 시선 응시영역 추정 방법.
  2. 제1항에 있어서,
    추정된 상기 시선 응시 영역을 포함하는 학습 데이터를 상기 데이터베이스에 축적하도록 업데이트하는 단계
    를 더 포함하는 운전자의 시선 응시영역 추정 방법.
  3. 제1항에 있어서,
    상기 시선 응시 영역을 추정하는 단계에서,
    영상처리유닛에서 상기 제1특징 정보로부터 헤드 자세와 눈 위치에 대한 정보로부터 추정한 응시 정보를 더 이용하여 상기 SVM 분류기에서 시선 응시 영역을 추정하는 운전자의 시선 응시영역 추정 방법.
  4. 제1항에 있어서,
    상기 시선 응시 영역을 추정하는 단계에서,
    미리 결정된, 차량 앞유리의 상부 좌영역, 상부 우영역, 하부 좌영역, 하부 우영역, 또는 차량 앞유리 상단측 후방 미러 부근 영역, 좌우 사이드 미러 부근 영역, 운전대 앞의 계기판 주위 영역, 대시보드 중앙의 콘트롤 패널 주위 영역, 기어 스틱 주위 영역 중 하나 이상의 영역을 추정하는 운전자의 시선 응시영역 추정 방법.
  5. 제1항에 있어서,
    상기 시뮬레이터는 제어장치를 이용해 스크린에 응시명령을 표시하고 피험자의 시선응시에 따른 영상별 시선 응시 영역 정보를 포함하는 학습 데이터를 상기 데이터베이스에 축적하는 운전자의 시선 응시영역 추정 방법.
  6. 시뮬레이터에서 실측되어 추출된 피험자의 시선응시 영상별 시선응시 영역정보를 유지하는 데이터베이스;
    상기 데이터베이스를 참조하고 훈련 CNN의 동작을 위한 파라미터들을 포함하는 사전훈련 모델을 적용해 운전자에 대한 입력 영상으로부터 제1특징 정보를 추출하는 상기 훈련 CNN; 및
    상기 훈련 CNN에 의한 제1특징 정보와 함께, 시선응시 영상별 시선 위치에 대한 정보를 추정하는 시선위치 CNN을 통해 이미 획득한 제2특징 정보를 더 이용하여 시선 응시 영역을 추정하는 SVM 분류기
    를 포함하는 운전자의 시선 응시영역 추정 시스템.
KR1020170162479A 2017-11-30 2017-11-30 전달 학습을 통한 운전자의 시선 응시영역 추정 방법 KR102481817B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170162479A KR102481817B1 (ko) 2017-11-30 2017-11-30 전달 학습을 통한 운전자의 시선 응시영역 추정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170162479A KR102481817B1 (ko) 2017-11-30 2017-11-30 전달 학습을 통한 운전자의 시선 응시영역 추정 방법

Publications (2)

Publication Number Publication Date
KR20190063582A true KR20190063582A (ko) 2019-06-10
KR102481817B1 KR102481817B1 (ko) 2022-12-27

Family

ID=66848054

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170162479A KR102481817B1 (ko) 2017-11-30 2017-11-30 전달 학습을 통한 운전자의 시선 응시영역 추정 방법

Country Status (1)

Country Link
KR (1) KR102481817B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460420A (zh) * 2018-03-13 2018-08-28 江苏实达迪美数据处理有限公司 一种对证件图像进行分类的方法
CN110647800A (zh) * 2019-08-06 2020-01-03 广东工业大学 一种基于深度学习的眼神交流检测方法
CN111428735A (zh) * 2020-03-19 2020-07-17 东南大学 一种基于迁移学习深层网络融合模型的货车品牌分类方法
CN113705580A (zh) * 2021-08-31 2021-11-26 西安电子科技大学 基于深度迁移学习的高光谱图像分类方法
KR20210152720A (ko) * 2020-06-09 2021-12-16 주식회사 에프에스솔루션 이미지 처리 방법, 및 이를 이용하는 장치 및 프로그램
CN114787886A (zh) * 2019-12-18 2022-07-22 索尼集团公司 信息处理装置、信息处理方法、程序和可移动对象

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170099267A (ko) * 2016-02-23 2017-08-31 주식회사 딥이메진 딥러닝 기반 영상 신호의 머리 방향 예측을 통한 시선정보 분석 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170099267A (ko) * 2016-02-23 2017-08-31 주식회사 딥이메진 딥러닝 기반 영상 신호의 머리 방향 예측을 통한 시선정보 분석 시스템

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460420A (zh) * 2018-03-13 2018-08-28 江苏实达迪美数据处理有限公司 一种对证件图像进行分类的方法
CN110647800A (zh) * 2019-08-06 2020-01-03 广东工业大学 一种基于深度学习的眼神交流检测方法
CN110647800B (zh) * 2019-08-06 2022-06-03 广东工业大学 一种基于深度学习的眼神交流检测方法
CN114787886A (zh) * 2019-12-18 2022-07-22 索尼集团公司 信息处理装置、信息处理方法、程序和可移动对象
CN111428735A (zh) * 2020-03-19 2020-07-17 东南大学 一种基于迁移学习深层网络融合模型的货车品牌分类方法
KR20210152720A (ko) * 2020-06-09 2021-12-16 주식회사 에프에스솔루션 이미지 처리 방법, 및 이를 이용하는 장치 및 프로그램
CN113705580A (zh) * 2021-08-31 2021-11-26 西安电子科技大学 基于深度迁移学习的高光谱图像分类方法
CN113705580B (zh) * 2021-08-31 2024-05-14 西安电子科技大学 基于深度迁移学习的高光谱图像分类方法

Also Published As

Publication number Publication date
KR102481817B1 (ko) 2022-12-27

Similar Documents

Publication Publication Date Title
KR20190063582A (ko) 전달 학습을 통한 운전자의 시선 응시영역 추정 방법
JP7011578B2 (ja) 運転行動を監視する方法及びシステム
US9881221B2 (en) Method and system for estimating gaze direction of vehicle drivers
JP2022523730A (ja) 交通エンティティの間を縫っての自律車両のニューラルネットワークベースのナビゲーション
CN110765807B (zh) 驾驶行为分析、处理方法、装置、设备和存储介质
JP6737906B2 (ja) 視覚的且つ動的な運転シーンの知覚的負荷を決定する制御装置、システム及び方法
JP2019535089A (ja) 視覚配分管理を提供するシステムおよび方法
CN110853073A (zh) 确定关注点的方法、装置、设备、系统及信息处理方法
US11840261B2 (en) Ground truth based metrics for evaluation of machine learning based models for predicting attributes of traffic entities for navigating autonomous vehicles
Jha et al. Probabilistic estimation of the driver's gaze from head orientation and position
JP2023525585A (ja) 交通挙動予測のための旋回認識機械学習
Yang et al. Recognition of visual-related non-driving activities using a dual-camera monitoring system
Shen et al. CoCAtt: A cognitive-conditioned driver attention dataset
Das et al. Multimodal detection of drivers drowsiness and distraction
Zhao et al. Real-time multistep time-series prediction of driver’s head pose during IVIS secondary tasks for Human–Machine codriving and distraction warning systems
Jha et al. Driver visual attention estimation using head pose and eye appearance information
CN115641570B (zh) 驾驶行为确定方法、装置、电子设备和存储介质
Engel et al. Detectability prediction in dynamic scenes for enhanced environment perception
Hwu et al. Matching Representations of Explainable Artificial Intelligence and Eye Gaze for Human-Machine Interaction
Bhagat et al. Driver gaze fixation and pattern analysis in safety critical events
WO2021262166A1 (en) Operator evaluation and vehicle control based on eyewear data
Hijaz et al. Driver Visual Focus of Attention Estimation in Autonomous Vehicles
Valcan et al. Eye detection for drivers using convolutional neural networks with automatically generated ground truth data
Sharma et al. A review of driver gaze estimation and application in gaze behavior understanding
Lochbihler et al. Assessing Driver Gaze Location in a Dynamic Vehicle Environment

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant