KR20230102322A - 표지판 시인성 평가 시스템 - Google Patents
표지판 시인성 평가 시스템 Download PDFInfo
- Publication number
- KR20230102322A KR20230102322A KR1020210192356A KR20210192356A KR20230102322A KR 20230102322 A KR20230102322 A KR 20230102322A KR 1020210192356 A KR1020210192356 A KR 1020210192356A KR 20210192356 A KR20210192356 A KR 20210192356A KR 20230102322 A KR20230102322 A KR 20230102322A
- Authority
- KR
- South Korea
- Prior art keywords
- sign
- information
- driver
- gaze
- time
- Prior art date
Links
- 238000011156 evaluation Methods 0.000 claims abstract description 36
- 238000000034 method Methods 0.000 claims description 21
- 238000010801 machine learning Methods 0.000 claims description 13
- 230000000193 eyeblink Effects 0.000 claims description 4
- 210000001747 pupil Anatomy 0.000 claims description 4
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 238000013461 design Methods 0.000 abstract description 5
- 230000007613 environmental effect Effects 0.000 abstract description 2
- 238000013079 data visualisation Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 230000003931 cognitive performance Effects 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- G06Q50/30—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/053—Measuring electrical impedance or conductance of a portion of the body
- A61B5/0531—Measuring skin impedance
- A61B5/0533—Measuring galvanic skin response
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
- G09B9/052—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles characterised by provision for recording or measuring trainee's performance
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Educational Technology (AREA)
- Veterinary Medicine (AREA)
- Tourism & Hospitality (AREA)
- Public Health (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Developmental Disabilities (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Evolutionary Computation (AREA)
- Human Computer Interaction (AREA)
- Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Child & Adolescent Psychology (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
Abstract
본 발명은 표지판 시인성 평가 시스템에 관한 것으로서, 운전자에게 가상의 운전 환경을 제공하는 가상현실 제공 수단; 상기 운전자의 생체 신호 정보 및 시선 정보를 획득하기 위한 수단; 및 상기 운전자에게 상기 표지판에 대한 인식 수준을 묻는 설문을 제공하고, 운전자로부터 설문에 대한 답변을 획득하기 위한 수단을 포함하되, 상기 가상현실 제공 수단은 시인성 평가 대상인 표지판이 설치된 상태의 가상 운전 환경을 운전자에게 제공하며, 운전자가 가상현실 내에서 표지판을 지나치는 순간 상기 설문이 가상현실 환경 내에서 운전자에게 제공되고, 운전자가 설문에 대하여 답변한 표지판에 대한 인식 수준 정보는 상기 생체 신호 정보 및 시선 정보에 주석화 데이터로 저장되는 것을 특징으로 한다.
Description
본 발명은 표지판 시인성 평가 시스템에 관한 것으로서, 더 자세하게는 가상현실 제공 수단 및 모션 제공 수단으로 구성된 주행환경에서 운전자 시선 정보 및 생체 신호 정보를 바탕으로 도로 위 표지판에 대한 운전자 인식 수준을 자동으로 평가하는 표지판 시인성 평가 시스템에 관한 것이다.
도로에 설치된 표지판은 지리적 위치 및 주행정보를 운전자에게 전달하여 운전자의 즉각적 의사결정에 중요한 영향을 미침으로써, 주행안전과 길 찾기에 매우 중요한 역할을 함과 동시에, 상업적 광고를 포함한 다양한 정보를 운전자 및 동승자에게 제공하고 있다. 이하, “표지판”은 운전자에게 도로 및 위치 정보를 제공하기 위한 도로 표지판 뿐만 아니라, 광고용 표지판까지 포괄하는 개념이다.
도로에 설치되는 표지판은 주행 상황에서 운전자에 의해 발견될 수 있고, 시선이 지속적으로 움직이는 상황에서 짧은 시간 내에 이해될 수 설계되어야 하는 바, 표지판의 시인성을 평가하거나 향상하기 위한 장치들이 제안되어 왔다.
특허문헌 1은 표지판이 설치될 이미지를 학습하고, 합성된 이미지를 이용하여 돌출맵(salient map)을 생성한 뒤 이를 이용하여 시선경로를 생성하여 이를 바탕으로 표지판을 배치시키는 기술을 개시하고 있다(도 1 참조). 그러나 표지판의 경우 길 찾기라는 목적 하에서 수행되는 바, 단순 시각적 돌출도에 따른 상향식(bottom up) 인지 뿐만 아니라 특정 표지판을 찾으려는 요구 아래에서 발현되는 하향식 (top down) 인지 역시 종합적으로 고려되어야 하나 이 같은 평가방식은 이를 적절히 모사하지 못하는 한계가 있다. 또한 표지판은 주?보행의 맥락 속에서 사용되며 이 경우 길 찾기, 안전주행 등 다수의 요소가 제한된 작업기억을 두고 경쟁하여 단순히 표지판을 관람하는 행위 이상의 난이도를 요구하게 된다. 결과적으로 특허문헌 1이 개시하는 표지판 평가기술 만으로는 주?보행 맥락을 적절히 포함하여 시인성을 평가하기 힘든 문제가 있다.
특허문헌 2는 알고리즘 기반의 돌출맵 대신 사용자 요소를 평가에 포함시키는 방법으로서 도로전광표지에 대한 운전자 감성요인을 고려하여 인지성능과 선호도를 평가할 수 있도록 하는 방법을 개시하고 있다. 구체적으로는 판독 소요시간과 감성요인을 통해 인지성능 및 선호도를 산출하고, 이를 바탕으로 도로 전광표지의 성능을 평가한다. 특허문헌 2는 운전자 인지요인을 평가에 포함시킨다는 점에서 종래의 기술에 비해 진보성이 있으나 인지요소로 단순 판독 소요시간만을 측정하고 있다. 이 경우 시인성이 좋은 표지판 가운데 더 좋고 덜 좋음을 구분할 수는 있겠으나 정보의 발견(인식), 이해 중 어느 단계에 이르렀는지 구분하기 명확치 않으며 주행 상황 중 쉽게 발견되지 않는 표지판, 해석이 쉽지 않은 표지판 등 특히 문제가 되는 표지판을 평가하고 검출하는 것에는 어려움이 따르는 문제가 있다.
특허문헌 3은 향상된 시인성을 갖는 교통표지 구현 방식을 개시하고 있다. 표지판에 광원을 조사하여 시인성 및 판독성을 향상시키는 방식인데, 기존의 방식에 비하여 가격, 전원공급, 유지보수 등의 문제로 인하여 폭 넓은 적용에는 한계가 있으며 야간에 주변 밝기가 어두워 현저히 저하되는 시인성 향상에는 도움이 될 수 있으나, 주간에 설치 위치나 디자인에 의한 낮은 시인성에는 도움이 되지 않는다.
특허문헌 4는 발광장치 바탕의 시선유도수단을 포함한 광고 장치를 개시하고 있다. 이 방식의 경우 광고장치에 시선을 끄는 발광장치를 추가한 것으로 사용자의 시선을 잡아끌 것으로 예상되나, 이에 대한 정량적 분석, 또는 정량적 분석을 위한 도구나 장치는 함께 제시되어 있지 않다. 또한 발광장치 기반의 시선유도수단이 운전자 주의분산을 야기하여 안전주행을 방해할 가능성이 존재하여 별도의 검증 없이 표지판에 그대로 사용하기에는 어려움이 따른다.
특허문헌 5는 시선추적을 활용하여 광고 주목도를 평가하는 장치 및 방법을 개시하고 있다. 특허문헌 5의 방식 역시 고정된 장소에서의 광고 또는 온라인 광고를 평가하는 상황에는 적합할지 모르나, 광고 평가 환경에 운전자 맥락이 포함되어 있지 않아 주행상황에서 발견하는 표지판이나 광고를 주행안정성과 함께 평가하기에는 어려움이 있다.
본 발명은 전술한 종래기술의 문제점을 해결하기 위한 것으로서, 가상현실 주행 시뮬레이션을 수행하는 운전자로부터 얻어지는 생체 정보, 시선 정보, 그리고 상황인식 수준 설문 정보를 기초로 기계학습함으로써, 가상현실 주행 환경에서 얻어지는 각종 센서 데이터만으로 운전자의 상황인식 수준을 자동으로 평가할 수 있는 시스템을 제공하는 것을 목적으로 한다.
본 발명은 표지판 시인성 평가 시스템에 관한 것으로서, 운전자에게 가상의 운전 환경을 제공하는 가상현실 제공 수단; 상기 운전자의 생체 신호 정보 및 시선 정보를 획득하기 위한 수단; 및 상기 운전자에게 상기 표지판에 대한 인식 수준을 묻는 설문을 제공하고, 운전자로부터 설문에 대한 답변을 획득하기 위한 수단을 포함하되, 상기 가상현실 제공 수단은 시인성 평가 대상인 표지판이 설치된 상태의 가상 운전 환경을 운전자에게 제공하며, 운전자가 가상현실 내에서 표지판을 지나치는 순간 상기 설문이 가상현실 환경 내에서 운전자에게 제공되고, 운전자가 설문에 대하여 답변한 표지판에 대한 인식 수준 정보는 상기 생체 신호 정보 및 시선 정보에 주석화 데이터로 저장되는 것을 특징으로 한다.
그리고, 상기 생체 신호 정보 및 상기 시선 정보는 입력값으로, 상기 인식 수준 정보는 출력 정보로 하여 기계학습함으로써, 운전자의 생체 신호 정보 및 시선 정보만으로 자동으로 인식 수준에 대한 평가가 이루어질 수 있는 것을 또 다른 특징으로 한다.
더 나아가, 상기 인식 수준 정보는 표지판을 인지하지 못하는 단계, 표지판의 존재는 인지하나 그 내용까지는 이해하지 못하는 단계, 그리고 표지판의 존재를 인지했을 뿐만 아니라 그 내용까지 이해하는 단계로 분류되는 것을 특징으로 한다.
마지막으로, 상기 생체 신호 정보는 GSR 피크 수, 누적 GSR 수준, 평균 동공 크기 및 눈 깜박임 수 중에서 선택된 적어도 하나 이상이며, 상기 시선 데이터는 목적 표지판에 시선을 고정한 시간, 목적 표지판을 쳐다본 횟수, 목적 표지판 내 정보에 시선을 고정한 시간, 목적 표지판 내 정보를 쳐다본 횟수, 목적 표지판을 처음 쳐다본 위치, 목적 표지판 내 정보를 처음 쳐다본 위치, 목적 표지판을 쳐다본 후 목적 표지판 내 정보로 시선이 이동하는데 걸린 시간 , 네비게이션에 시선을 고정한 시간, 네비게이션을 쳐다본 횟수, 룸미러에 시선을 고정한 시간, 룸미러를 쳐다본 횟수, 다른 도로표지판에 시선을 고정한 시간, 다른 도로표지판을 쳐다본 횟수, 교통안내표지판에 시선을 고정한 시간, 교통안내표지판을 쳐다본 횟수, 보행자에 시선을 고정한 시간, 보행자를 쳐다본 횟수, 신호체계에 시선을 고정한 시간, 신호체계를 쳐다본 횟수, 도로에 시선을 고정한 시간, 도로를 쳐다본 횟수, 기타 건물 및 가로수에 시선을 고정한 시간, 그리고 기타 건물 및 가로수를 쳐다본 횟수 중에서 선택된 적어도 하나 이상인 것을 특징으로 한다.
본 발명에 따른 표지판 시인성 평가 시스템은 가상현실 주행 시뮬레이션을 수행하는 운전자로부터 얻어지는 생체 정보, 시선 정보, 그리고 상황인식 수준 설문 정보를 기초로 기계학습하고, 기계학습된 이후에는 운전자에게 별도의 설문을 제공받지 않더라도 가상현실 주행 환경에서 얻어지는 각종 센서 데이터만으로 운전자의 상황 인식 수준을 자동으로 정량적으로 평가할 수 있게 함으로써, 각 설치 장소에 걸맞는 표지판 위치, 디자인 등을 다양한 환경요소를 변화해가며 실험할 수 있다.
도 1은 종래 기술에 따른 표지판 시인성 평가 시스템을 도시한 것이다.
도 2는 본 발명에 따른 표지판 시인성 평가 시스템의 하드웨어적 구성을 도시한 것이다.
도 3은 본 발명에 따른 표지판 시인성 평가 시스템의 작동 프로세스를 도시한 순서도이다.
도 4는 본 발명에 따른 표지판 시인성 평가 시스템에서 사용될 수 있는 생체 신호 정보 및 시선 정보의 예시를 도시한 것이다.
도 5는 기계학습을 통하여 생체 신호 정보, 시선 정보, 그리고 시인성 평가 정보 사이의 관계를 학습하는 개념을 도시한 것이다.
도 6은 센서 데이터를 시각화한 패널 화면을, 도 7은 운전자에게 가상현실 환경을 통하여 제공되는 설문지를 도시한 것이다.
도 8 및 도 9는 센서 데이터를 시각화하고, 운전자 인식 수준이 결과물로 제공된 화면을 도시한 것이다.
도 2는 본 발명에 따른 표지판 시인성 평가 시스템의 하드웨어적 구성을 도시한 것이다.
도 3은 본 발명에 따른 표지판 시인성 평가 시스템의 작동 프로세스를 도시한 순서도이다.
도 4는 본 발명에 따른 표지판 시인성 평가 시스템에서 사용될 수 있는 생체 신호 정보 및 시선 정보의 예시를 도시한 것이다.
도 5는 기계학습을 통하여 생체 신호 정보, 시선 정보, 그리고 시인성 평가 정보 사이의 관계를 학습하는 개념을 도시한 것이다.
도 6은 센서 데이터를 시각화한 패널 화면을, 도 7은 운전자에게 가상현실 환경을 통하여 제공되는 설문지를 도시한 것이다.
도 8 및 도 9는 센서 데이터를 시각화하고, 운전자 인식 수준이 결과물로 제공된 화면을 도시한 것이다.
이하 도면을 참조하여 본 발명에 따른 표지판 시인성 평가 시스템의 전체적인 구성을 설명하도록 한다. 본 발명의 실시예에서 제시되는 특정한 구조 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있다. 또한 본 명세서에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 되며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경물, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
도 2를 참조하여 본 발명에 따른 표지판 시인성 평가 시스템의 하드웨어적 구성을 살펴보도록 한다. 가상현실 제공 수단(210)은 표지판 시인성 평가에 참여하는 운전자에게 실제 운전하는 듯한 가상의 영상을 제공하기 위한 장치로서, 통상적으로 HMD(Head Mounted Display)를 통하여 운전자에게 가상 운전 환경을 제공하게 된다. 바람직하게는, HMD에는 운전자의 시선을 추적할 수 있는 시선 추적 수단이 내장되어 있다. 운전자는 차량의 운전석을 모사한 주행 시뮬레이터(220)를 조작함으로써 가상현실 내에서 실제로 운전하는 듯한 경험을 하게 된다. 더 바람직하게는 운전자에게 실제로 운전할 때 느낄 수 있는 관성 및 충격 등을 모사하여 전달할 수 있는 모션 제공 수단(230)을 구비할 수 있다.
가상현실 제공 수단(210), 주행 시뮬레이터(220), 그리고 모션 제공 수단(230)을 포함하는 가상현실 운전 체험 장치는 일반화된 종래기술에 해당하므로, 이와 관련한 구체적인 설명은 생략하도록 한다.
더 나아가, 운전자의 생체 정보 취득을 위한 생체 신호 센서(240)를 더 포함할 수 있는데, 표지판 시인성 평가에 사용될 수 있는 구체적인 생체 신호의 종류와 관련해서는 후술하도록 하겠다.
도 3은 표지판 시인성 평가 시스템의 작동 순서를 도시한 것으로서, 그 자체로 표지판 시인성 평가를 수행하기 위한 과정임과 동시에, 자동으로 표지판 시인성 평가를 수행하도록 하기 위한 기계학습용 데이터를 생성하는 과정으로도 볼 수 있다.
우선 주행 시나리오를 선택하게 되는데(S110), 이는 데이터베이스화된 지리정보를 이용하여 표지판이 설치될 위치의 도로를 선택하고, 다음으로 평가하고자 하는 표지판 디자인을 선택하게 된다(S120). 단계 S110 및 S120을 통하여 결정된 가상환경 정보를 바탕으로 HMD를 통하여 운전자에게 영상을 송출함(S130)과 동시에, 영상에 상응하는 3축 동작을 모션 제공장치에 의하여 운전자에게 제공하게 된다(S140).
위 과정에서 HMD에 내장된 시선 추적 수단을 통하여 운전자의 시선을 지속적으로 추적하여 데이터화함과 동시에, 생체 신호 센서(240)를 통하여 얻어진 운전자의 신체 정보 역시 데이터화하게 된다(S150).
가상현실 내에서 표지판을 지나기 전까지는 설정된 시나리오를 지속적으로 수행하되(S160), 가상현실 내에서 표지판을 지나친 순간(S170) 가상현실 환경 내에서 설문을 제시하게 된다(S180). 도 6은 생체 신호 센서(240)로부터 얻어지는 센서 데이터를 시각화한 화면이며, 도 7은 단계 S180에서 운전자에게 가상환경 상으로 제공되는 설문의 예시를 도시한 것이다. 설문은 상황인식(Situation Awareness)에 대한 Endsley의 모델을 차용하여 표지판 및 광고물에 대한 운전자 인식 수준을 3단계로 분류한다 (0단계: 인지 못함, 1단계: 인지했으나 이해하지 못함, 2단계: 표지판을 인지했으며 그 내용까지 이해함). 분류 모델 학습을 위한 주석화 데이터 확보를 위해 본 발명은 주행 환경에서 센서 데이터와 함께 설문 데이터를 수집하는 도구를 포함한다. 대상 표지판 및 광고물을 지나친 뒤 가상현실 시뮬레이션 내에서 운전자에게 각 단계에 대한 질문을 제시하며, 통과 여부를 통해 시선 및 생체신호 데이터를 자동으로 상황인식 단계로 주석화한다.
예컨대, 피험자가 표지판을 지나친 직후 실시되는 VR 내부 설문에서 목적 표지판을 발견하지 못했다고 응답한 경우(S190) 해당 표지판 구간에서 수집된 타임스탬프의 생체센서 데이터는 시인성 수준 0(인지 못함)으로 자동 주석화되어 저장된다(S200). 피험자가 표지판을 발견했으나, 표지판 내 목적지의 위치에 관한 핵심정보를 맞추지 못한 경우(S210) 해당 표지판 구간에서 수집된 타임스탬프의 생체센서 데이터는 시인성 수준 1로 (인지했으나 이해하지 못함) 자동 주석화되어 저장된다(S220). 피험자가 표지판을 발견하고, 표지판 내 목적지 위치에 관한 핵심정보를 맞추는 경우(S230) 해당 표지판 구간에서 수집된 타임스탬프의 생체센서 데이터는 시인성 수준 2 (표지판을 인지했으며 그 내용까지 이해함)으로 자동 주석화되어 저장된다(S240). 이 밖에도 주변 상황(횡단보도 신호 여부, 횡단보도를 건너는 보행자 수 등)에 대한 추가적인 인식 정도가 보조 자료로 활용할 수 있다.
위 과정을 거치게 되면 시나리오상에서 해당 표지판에 대한 운전자의 상황 인식 정보가 확보된다. 더 나아가, 다른 여러 가지 표지판 시안에 대해서도 위 과정을 반복함으로써, 해당 환경에서의 다양한 표지판 시안들에 대해서 운전자의 상황 인식 정보가 확보될 수 있고, 이를 기초로 가상주행환경에 걸맞는 표지판 디자인의 시안을 추천하게 된다(S250).
위 과정들은 그 자체로 표지판 사인성 평가 도구로 이용될 수 있지만, 위 과정을 통하여 얻어진 생체 신호 정보, 시선 정보, 그리고 이들 생체 신호 정보 및 시선 정보에 맞추어 주석화된 평가 정보를 이용하여 기계학습을 진행함으로써, 추후 별도의 설문 정보 없이도 운전자의 시선 정보 및 생체 신호 정보만으로 표지판 시인성을 평가하는 것이 가능하게 된다. 도 5에 도시된 것과 같이 입력층에는 각종 센서들을 통하여 취득된 생체 신호 정보와 시선 정보들을 입력함과 동시에, 출력으로는 도 3의 프로세스를 통하여 얻어진 시인성 수준 정보(수준 0, 수준 1, 수준 2)을 넣어서 기계학습하게 된다. 세부적으로는 랜덤 포레스트, 엑스트라 트리, GBR 트리, 로지스틱 회귀모델, 서포트 벡터 머신, 다층 퍼셉트론 및 이들의 앙상블 모델로 구성되며 시선?센서 데이터를 입력으로 받기 시작한 뒤, 운전자 주행이 시작되면, 시선?생체신호 데이터를 기계학습 모델에 투입하여 표지판 인식 수준을 출력하는 방식으로 구현된다.
보다 구체적으로는 센서 및 시선에 관한 raw 데이터 뿐만 아니라 가상현실 맥락과 연결지어 자동 생성한 피쳐(feature)를 종합 활용하여 학습 및 평가한다. 도 4에는 기계학습에 이용될 수 있는 피쳐들을 도시하고 있는데, 1)GSR 피크 수, 2)누적 GSR 수준, 3)평균 동공 크기(좌안), 4)평균 동공 크기(우안), 5)눈 깜박임 수(좌안), 6)눈 깜박임 수(우안) 등 생체센서 데이터와 7)목적 표지판에 시선을 고정한 시간, 8)목적 표지판을 쳐다본 횟수, 9)목적 표지판 내 정보(목적지 글씨)에 시선을 고정한 시간, 10)목적 표지판 내 정보(목적지 글씨)를 쳐다본 횟수, 11)목적 표지판을 처음 쳐다본 위치, 12)목적 표지판 내 정보(목적지 글씨)를 처음 쳐다본 위치, 13)목적 표지판을 쳐다본 후 목적 표지판 내 정보로 시선이 이동하는데 걸린 시간 등 목적표지판에 향한 시선 데이터, 14) 네비게이션에 시선을 고정한 시간, 15) 네비게이션을 쳐다본 횟수, 16)룸미러에 시선을 고정한 시간, 17)룸미러를 쳐다본 횟수, 18)다른 도로표지판에 시선을 고정한 시간, 19)다른 도로표지판을 쳐다본 횟수, 20)교통안내표지판에 시선을 고정한 시간, 21)교통안내표지판을 쳐다본 횟수, 22)보행자에 시선을 고정한 시간, 23)보행자를 쳐다본 횟수, 24)신호체계에 시선을 고정한 시간, 25)신호체계를 쳐다본 횟수, 26)도로에 시선을 고정한 시간, 27)도로를 쳐다본 횟수, 28)기타 건물 및 가로수에 시선을 고정한 시간, 29)기타 건물 및 가로수를 쳐다본 횟수 등 시선분산요소에 향한 시선 데이터로 구성된다.
위 기계학습을 통하여, 본 발명에 따른 표지판 시인성 평가 시스템은 생체 데이터 및 시선 데이터와 시인성 평가 단계 사이의 관계에 대한 학습이 이루진 상태가 되므로, 충분한 학습이 이루어진 상태에서는 운전자에게 별도의 설문을 요청하지 않고 생체 신호 및 시선 데이터만을 이용하여 표지판 시인성 평가가 진행됨으로써, 평가의 정확도 및 효율이 높아질 수 있다.
도 8 및 도 9는 운전자 인식 수준 평가 시스템의 시각화를 위한 센서 데이터 시각화 패널과 기계학습 바탕의 표지판 인식 알고리즘 평가 패널의 구현예를 나타낸 것이다. 센서데이터 시각화 패널의 경우 생체신호 뿐만 아니라 가상현실 주행환경, 주행 환경에서 직전에 지나친 표지판의 시인성 수준, 차량 주행 정보 (속도, 가속도 등)을 확인할 수 있도록 하여 실험자가 주변 환경과 주행 맥락에 맞추어 생체신호와 표지판 시인성(운전자 인식 수준)을 해석하는 것이 가능하도록 구현된다. 그리고 현 주행 경로에서 평가 대상의 표지판을 시각적으로 제시하고, 목적 표지, AOI표지(목적 표지 내 원하는 정보가 위치한 개별표지), 교통 표지, 기타 표지, 도로 등 대상물 별로 시선이 체류한 횟수와 시간 등을 시각화한다. 이후 운전자 인식 수준을 3단계로 제시하며 (0단계: 인지 못함, 1단계: 인지했으나 이해하지 못함, 2단계: 표지판을 인지했으며 그 내용까지 이해함) 주행경로 전체를 시각화하며 경로 내에 평가한 표지판들에 대한 운전자 인식 수준 로그를 함께 제공한다.
210: 가상현실 제공 수단
220: 주행 시뮬레이터
230: 모션 제공 수단 240: 생체 신호 센서
250: 센서 데이터 시각화 패널
230: 모션 제공 수단 240: 생체 신호 센서
250: 센서 데이터 시각화 패널
Claims (4)
- 표지판 시인성 평가 시스템에 관한 것으로서,
운전자에게 가상의 운전 환경을 제공하는 가상현실 제공 수단;
상기 운전자의 생체 신호 정보 및 시선 정보를 획득하기 위한 수단; 및
상기 운전자에게 상기 표지판에 대한 인식 수준을 묻는 설문을 제공하고, 운전자로부터 설문에 대한 답변을 획득하기 위한 수단을 포함하되,
상기 가상현실 제공 수단은 시인성 평가 대상인 표지판이 설치된 상태의 가상 운전 환경을 운전자에게 제공하며,
운전자가 가상현실 내에서 표지판을 지나치는 순간 상기 설문이 가상현실 환경 내에서 운전자에게 제공되고,
운전자가 설문에 대하여 답변한 표지판에 대한 인식 수준 정보는 상기 생체 신호 정보 및 시선 정보에 주석화 데이터로 저장되는 것을 특징으로 하는 표지판 시인성 평가 시스템.
- 청구항 1에 있어서, 상기 생체 신호 정보 및 상기 시선 정보는 입력값으로, 상기 인식 수준 정보는 출력 정보로 하여 기계학습함으로써,
운전자의 생체 신호 정보 및 시선 정보만으로 자동으로 인식 수준에 대한 평가가 이루어지는 것을 특징으로 하는 표지판 시인성 평가 시스템.
- 청구항 1 또는 청구항 2에 있어서, 상기 인식 수준 정보는 표지판을 인지하지 못하는 단계, 표지판의 존재는 인지하나 그 내용까지는 이해하지 못하는 단계, 그리고 표지판의 존재를 인지했을 뿐만 아니라 그 내용까지 이해하는 단계로 분류되는 것을 특징으로 하는 표지판 시인성 평가 시스템.
- 청구항 1 또는 청구항 2에 있어서,
상기 생체 신호 정보는 GSR 피크 수, 누적 GSR 수준, 평균 동공 크기 및 눈 깜박임 수 중에서 선택된 적어도 하나 이상이며,
상기 시선 데이터는 목적 표지판에 시선을 고정한 시간, 목적 표지판을 쳐다본 횟수, 목적 표지판 내 정보에 시선을 고정한 시간, 목적 표지판 내 정보를 쳐다본 횟수, 목적 표지판을 처음 쳐다본 위치, 목적 표지판 내 정보를 처음 쳐다본 위치, 목적 표지판을 쳐다본 후 목적 표지판 내 정보로 시선이 이동하는데 걸린 시간 , 네비게이션에 시선을 고정한 시간, 네비게이션을 쳐다본 횟수, 룸미러에 시선을 고정한 시간, 룸미러를 쳐다본 횟수, 다른 도로표지판에 시선을 고정한 시간, 다른 도로표지판을 쳐다본 횟수, 교통안내표지판에 시선을 고정한 시간, 교통안내표지판을 쳐다본 횟수, 보행자에 시선을 고정한 시간, 보행자를 쳐다본 횟수, 신호체계에 시선을 고정한 시간, 신호체계를 쳐다본 횟수, 도로에 시선을 고정한 시간, 도로를 쳐다본 횟수, 기타 건물 및 가로수에 시선을 고정한 시간, 그리고 기타 건물 및 가로수를 쳐다본 횟수 중에서 선택된 적어도 하나 이상인 것을 특징으로 하는 표지판 시인성 평가 시스템.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210192356A KR20230102322A (ko) | 2021-12-30 | 2021-12-30 | 표지판 시인성 평가 시스템 |
| US18/083,637 US20230215193A1 (en) | 2021-12-30 | 2022-12-19 | Sign visibility test system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210192356A KR20230102322A (ko) | 2021-12-30 | 2021-12-30 | 표지판 시인성 평가 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230102322A true KR20230102322A (ko) | 2023-07-07 |
Family
ID=86992083
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210192356A KR20230102322A (ko) | 2021-12-30 | 2021-12-30 | 표지판 시인성 평가 시스템 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20230215193A1 (ko) |
| KR (1) | KR20230102322A (ko) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101117543B1 (ko) | 2010-03-31 | 2012-03-07 | 경북대학교 산학협력단 | 표지판 평가 시스템 |
| KR101349640B1 (ko) | 2012-07-18 | 2014-01-10 | 한국항공대학교산학협력단 | 가변안내표지판의 인지성능 평가장치 및 그 방법 |
| KR101556702B1 (ko) | 2015-05-01 | 2015-10-02 | (주)세광안전 | Led와 레이저빔을 결합한 교통 프린팅 표지판 |
| KR102171634B1 (ko) | 2020-03-20 | 2020-10-29 | 감성훈 | 사용자의 시선 추적을 통한 광고 평가 방법 및 이에 사용되는 관리 서버 |
| KR102287384B1 (ko) | 2019-01-07 | 2021-08-09 | 민은홍 | 시선유도수단을 갖는 광고장치 |
-
2021
- 2021-12-30 KR KR1020210192356A patent/KR20230102322A/ko not_active Application Discontinuation
-
2022
- 2022-12-19 US US18/083,637 patent/US20230215193A1/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101117543B1 (ko) | 2010-03-31 | 2012-03-07 | 경북대학교 산학협력단 | 표지판 평가 시스템 |
| KR101349640B1 (ko) | 2012-07-18 | 2014-01-10 | 한국항공대학교산학협력단 | 가변안내표지판의 인지성능 평가장치 및 그 방법 |
| KR101556702B1 (ko) | 2015-05-01 | 2015-10-02 | (주)세광안전 | Led와 레이저빔을 결합한 교통 프린팅 표지판 |
| KR102287384B1 (ko) | 2019-01-07 | 2021-08-09 | 민은홍 | 시선유도수단을 갖는 광고장치 |
| KR102171634B1 (ko) | 2020-03-20 | 2020-10-29 | 감성훈 | 사용자의 시선 추적을 통한 광고 평가 방법 및 이에 사용되는 관리 서버 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20230215193A1 (en) | 2023-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11501657B2 (en) | Systems and methods for virtual reality based driver training | |
| US11164479B1 (en) | Systems and methods for virtual reality based driver situational awareness recovery training | |
| Sirkin et al. | Toward measurement of situation awareness in autonomous vehicles | |
| Fisher et al. | Handbook of driving simulation for engineering, medicine and psychology: an overview | |
| Mayeur et al. | The effect of the driving activity on target detection as a function of the visibility level: Implications for road lighting | |
| Blana | Driving simulator validation studies: a literature review. | |
| Murphy et al. | Load theory behind the wheel; perceptual and cognitive load effects. | |
| Afrooz et al. | Effects of active and passive exploration of the built environment on memory during wayfinding | |
| EP3211540A1 (en) | Information presentation device, method, and computer program product | |
| Beanland et al. | Do cyclists make better drivers? Associations between cycling experience and change detection in road scenes | |
| JP6513913B2 (ja) | 情報提示装置、方法及びプログラム | |
| Neill et al. | Alternative information signs: Evaluation of driver comprehension and visual attention | |
| Faschina et al. | Driving errors, estimated performance and individual characteristics under simulated and real road traffic conditions–A validation study | |
| Zhou et al. | An evaluation method for visual search stability in urban tunnel entrance and exit sections based on markov chain | |
| Taylor et al. | Reading the situation: The relationship between dyslexia and situational awareness for road sign information | |
| KR20230102322A (ko) | 표지판 시인성 평가 시스템 | |
| Yang et al. | Impact of roadside advertisements near traffic signs on driving safety | |
| Castro | Visual demands and driving | |
| Schneider et al. | Evaluating behavioral validity in traffic simulators | |
| Putri et al. | Drivers' Visual Search Behaviour: Eye Tracking Analysis Approach | |
| Heidinger et al. | Ecosimlab-A Low-Cost Driving Simulator Environment for Examining Human Factors in Vehicle Energy Efficiency | |
| Yamaguchi et al. | Estimation of Drivers’ Gaze Behavior by Potential Attention When Using Human–Machine Interface | |
| Singer et al. | Influence of New Signal Lamps for Automated Vehicles on Other Road Users–Can Virtual Reality be Used to Investigate the Behaviour of Pedestrians? | |
| Singh | Understanding and improving methods for exterior sound quality evaluation of hybrid and electric vehicles | |
| Zhang et al. | Facilitating the effectiveness of signs on roads |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal |