KR20200040320A - 차량, 차량의 제어 방법 및 영상 탐색 장치 - Google Patents
차량, 차량의 제어 방법 및 영상 탐색 장치 Download PDFInfo
- Publication number
- KR20200040320A KR20200040320A KR1020180117032A KR20180117032A KR20200040320A KR 20200040320 A KR20200040320 A KR 20200040320A KR 1020180117032 A KR1020180117032 A KR 1020180117032A KR 20180117032 A KR20180117032 A KR 20180117032A KR 20200040320 A KR20200040320 A KR 20200040320A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- change information
- vehicle
- emotion
- event
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 33
- 230000008451 emotion Effects 0.000 claims abstract description 111
- 239000000284 extract Substances 0.000 claims abstract description 9
- 230000006399 behavior Effects 0.000 claims description 61
- 230000008921 facial expression Effects 0.000 claims description 32
- 230000002996 emotional effect Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000014509 gene expression Effects 0.000 description 9
- 238000010191 image analysis Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 5
- 210000000629 knee joint Anatomy 0.000 description 4
- 206010001497 Agitation Diseases 0.000 description 3
- 210000000544 articulatio talocruralis Anatomy 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 210000002310 elbow joint Anatomy 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 210000002478 hand joint Anatomy 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 210000001503 joint Anatomy 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000001556 precipitation Methods 0.000 description 2
- 210000000323 shoulder joint Anatomy 0.000 description 2
- 210000003857 wrist joint Anatomy 0.000 description 2
- 208000032140 Sleepiness Diseases 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000002683 foot Anatomy 0.000 description 1
- 210000004936 left thumb Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 210000004935 right thumb Anatomy 0.000 description 1
- 230000037321 sleepiness Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B60K2370/11—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0872—Driver physiology
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B60W2420/42—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/30—Driving style
Landscapes
- Engineering & Computer Science (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
일 실시예에 따른 차량은, 차량 주변을 촬영하고, 영상을 획득하는 카메라, 차량과 관련된 이벤트의 발생을 감지하는 센서, 상기 카메라에 의해 획득된 영상 및 상기 이벤트와 관련된 트래킹 데이터를 저장하는 저장부 및 상기 이벤트와 관련된 일정 시간 동안의 영상을 추출하고, 상기 추출된 일정 시간 동안의 영상에 포함된 인물들의 감정 변화 정보 또는 행동 패턴 변화 정보 중 적어도 하나를 획득하고, 상기 감정 변화 정보 또는 상기 행동 패턴 변화 정보 중 적어도 하나를 갖는 인물들에 대한 트래킹 데이터를 생성하는 제어부를 포함할 수 있다.
Description
본 발명은 차량, 차량의 제어 방법 및 영상 탐색 장치에 관한 것으로서, 구체적으로 차량에 발생하는 이벤트와 관련된 영상을 탐색하는 기술에 관한 것이다.
현대 사회에서 자동차는 가장 보편적인 이동 수단으로서 자동차를 이용하는 사람들의 수는 증가하고 있다. 자동차 기술의 발전으로 인해 과거보다 장거리의 이동이 용이하고, 생활이 편해지는 등 생활에 많은 변화가 발생하고 있다.
최근에는 차량에 블랙박스가 장착되어 차량에 충격이 가해지는 등의 이벤트가 발생하는 경우, 해당 이벤트와 관련된 영상을 획득할 수 있다. 그런데 종래 기술은 차량에 발생한 이벤트와 관련된 영상에 다수의 사람이 포함되어 있을 때, 발생한 이벤트가 어떤 사람에 의한 것인지 쉽게 확인할 수 없는 문제가 있다.
본 발명은 차량에 발생한 이벤트와 관련된 영상에서 감정의 변화 또는 행동 패턴의 변화를 보이는 인물을 검출하고, 검출된 인물에 대한 트래킹 정보를 영상에 표시할 수 있는 차량, 차량의 제어 방법 및 영상 탐색 장치를 제공한다.
일 실시예에 따른 차량은 차량 주변을 촬영하고, 영상을 획득하는 카메라; 차량과 관련된 이벤트의 발생을 감지하는 센서; 상기 카메라에 의해 획득된 영상 및 상기 이벤트와 관련된 트래킹 데이터를 저장하는 저장부; 및 상기 이벤트와 관련된 일정 시간 동안의 영상을 추출하고, 상기 추출된 일정 시간 동안의 영상에 포함된 인물들의 감정 변화 정보 또는 행동 패턴 변화 정보 중 적어도 하나를 획득하고, 상기 감정 변화 정보 또는 상기 행동 패턴 변화 정보 중 적어도 하나를 갖는 인물들에 대한 트래킹 데이터를 생성하는 제어부; 를 포함 할 수 있다.
또한, 상기 차량은, 상기 이벤트와 관련된 일정 시간 동안의 영상을 표시하는 사용자 인터페이스부; 를 더 포함할 수 있다.
또한, 상기 제어부는, 상기 트래킹 데이터를 상기 추출한 영상에 추가하고, 상기 트래킹 데이터가 포함된 영상이 표시되도록 상기 사용자 인터페이스부를 제어할 수 있다.
또한, 상기 트래킹 데이터는, 상기 인물들의 감정 변화 정보, 행동 패턴 변화 정보 및 프로파일 정보 중 적어도 하나를 포함할 수 있다.
또한, 상기 제어부는, 상기 이벤트와 관련하여 추출한 영상의 시간 정보 및 상기 트래킹 데이터를 목록화한 파일을 생성할 수 있다.
또한, 상기 제어부는, 상기 인물들의 얼굴 표정을 기초로 상기 인물들의 감정 변화 정보를 획득하고, 상기 인물들의 관절 움직임 데이터를 기초로 상기 인물들의 행동 패턴 변화 정보를 획득할 수 있다.
또한, 상기 제어부는, 상기 인물들의 얼굴 표정과 관련된 감정 인자를 추출하고, 상기 이벤트와 관련된 일정 시간 동안 상기 감정 인자의 변화량을 산출하여 상기 감정 변화 정보를 획득할 수 있다.
또한, 상기 제어부는, 상기 이벤트와 관련된 일정 시간 동안 상기 인물들의 관절 움직임 데이터의 변화량을 산출하여 상기 행동 패턴 변화 정보를 획득할 수 있다.
또한, 상기 제어부는, 상기 추출한 영상이 표시되도록 상기 사용자 인터페이스부를 제어하되, 상기 감정 변화 정보 또는 상기 행동 패턴 변화 정보 중 적어도 하나를 갖는 인물들이 포함된 부분은 미리 설정된 속도만큼 느리게 표시되도록 상기 사용자 인터페이스부를 제어할 수 있다.
또한, 상기 사용자 인터페이스부는, 특정 감정 또는 특정 행동 패턴 중 적어도 하나에 관한 탐색 정보를 입력 받고, 상기 제어부는, 상기 입력된 탐색 정보에 대응하는 정보를 갖는 인물을 검출할 수 있다.
일 실시 예에 따른 차량의 제어 방법은, 차량 주변을 촬영하고, 영상을 획득하는 단계; 차량과 관련된 이벤트의 발생을 감지하는 단계; 상기 획득된 영상 중 상기 이벤트와 관련된 일정 시간 동안의 영상을 추출하는 단계; 상기 추출된 일정 시간 동안의 영상에 포함된 인물들의 감정 변화 정보 또는 행동 패턴 변화 정보 중 적어도 하나를 획득하는 단계; 및 상기 감정 변화 정보 또는 상기 행동 패턴 변화 정보 중 적어도 하나를 갖는 인물들에 대한 트래킹 데이터를 생성하는 단계;를 포함할 수 있다.
또한, 차량의 제어 방법은, 상기 이벤트와 관련된 일정 시간 동안의 영상을 표시하는 단계;를 더 포함할 수 있다.
또한, 상기 영상을 표시하는 단계는, 상기 추출한 영상에 상기 생성된 트래킹 데이터를 추가하는 단계; 및 상기 트래킹 데이터가 포함된 영상을 표시하는 단계; 를 더 포함할 수 있다.
또한, 상기 트래킹 데이터는, 상기 인물들의 감정 변화 정보, 행동 패턴 변화 정보 및 프로파일 정보 중 적어도 하나를 포함할 수 있다.
또한, 차량의 제어 방법은, 상기 이벤트와 관련하여 추출한 영상의 시간 정보 및 상기 트래킹 데이터를 목록화한 파일을 생성하는 단계; 를 더 포함할 수 있다.
또한, 상기 인물들의 감정 변화 정보 또는 행동 패턴 변화 정보 중 적어도 하나를 획득하는 단계는, 상기 인물들의 얼굴 표정을 기초로 상기 인물들의 감정 변화 정보를 획득하는 단계 또는 상기 인물들의 관절 움직임 데이터를 기초로 상기 인물들의 행동 패턴 변화 정보를 획득하는 단계 중 적어도 하나를 포함할 수 있다.
또한, 상기 인물들의 감정 변화 정보를 획득하는 단계는, 상기 인물들의 얼굴 표정과 관련된 감정 인자를 추출하고, 상기 이벤트와 관련된 일정 시간 동안 상기 감정 인자의 변화량을 산출하는 단계;를 더 포함할 수 있다.
또한, 상기 인물들의 행동 패턴 변화 정보를 획득하는 단계는, 상기 이벤트와 관련된 일정 시간 동안 상기 인물들의 관절 움직임 데이터의 변화량을 산출하는 단계;를 더 포함할 수 있다.
또한, 차량의 제어 방법은, 상기 추출한 영상을 표시하되, 상기 감정 변화 정보 또는 상기 행동 패턴 변화 정보 중 적어도 하나를 갖는 인물들이 포함된 부분은 미리 설정된 속도만큼 느리게 표시하는 단계;를 더 포함할 수 있다.
또한, 차량의 제어 방법은, 특정 감정 또는 특정 행동 패턴 중 적어도 하나에 관한 탐색 정보를 입력 받는 단계; 및 상기 입력된 탐색 정보에 대응하는 정보를 갖는 인물을 검출하는 단계; 를 더 포함할 수 있다.
일 실시예에 따른 영상 탐색 장치는 차량 주변을 촬영하고, 영상을 획득하는 카메라; 차량과 관련된 이벤트의 발생을 감지하는 센서; 상기 카메라에 의해 획득된 영상 및 상기 이벤트와 관련된 트래킹 데이터를 저장하는 저장부; 및 상기 이벤트와 관련된 일정 시간 동안의 영상을 추출하고, 상기 추출된 일정 시간 동안의 영상에 포함된 인물들의 감정 변화 정보 또는 행동 패턴 변화 정보 중 적어도 하나를 획득하고, 상기 감정 변화 정보 또는 상기 행동 패턴 변화 정보 중 적어도 하나를 갖는 인물들에 대한 트래킹 데이터를 생성하는 제어부;를 포함한다.
개시된 차량, 차량의 제어 방법 및 영상 탐색 장치는, 차량에 발생한 이벤트와 관련된 영상에서 감정의 변화 또는 행동 패턴의 변화를 보이는 인물을 검출하고, 검출된 인물에 대한 트래킹 정보를 영상에 표시할 수 있다.
따라서 영상에서 이벤트와 관련된 인물을 탐색하는데 걸리는 시간을 단축시키고, 탐색의 정확도를 보다 높일 수 있다.
도 1은 일 실시예에 따른 차량 또는 영상 탐색 장치의 제어 블록도이다.
도 2 는 일 실시예에 따라 사용자 인터페이스부에 표시되는 영상을 설명하는 도면이다.
도 3은 일 실시예에 따라 트래킹 데이터를 목록화한 파일을 설명하는 도면이다.
도 4는 얼굴 표정과 감정 인자 간의 상관 관계를 보여주는 도면이다.
도 5는 감정 변화 정보의 획득에 이용되는 감정 모델을 설명하기 위한 도면이다.
도 6은 행동 패턴 변화 정보의 획득에 이용되는 관절 움직임 데이터를 설명하는 도면이다.
도 7은 일 실시예에 따른 차량의 제어 방법 또는 영상 탐색 장치의 제어 방법을 설명하는 순서도이다.
도 2 는 일 실시예에 따라 사용자 인터페이스부에 표시되는 영상을 설명하는 도면이다.
도 3은 일 실시예에 따라 트래킹 데이터를 목록화한 파일을 설명하는 도면이다.
도 4는 얼굴 표정과 감정 인자 간의 상관 관계를 보여주는 도면이다.
도 5는 감정 변화 정보의 획득에 이용되는 감정 모델을 설명하기 위한 도면이다.
도 6은 행동 패턴 변화 정보의 획득에 이용되는 관절 움직임 데이터를 설명하는 도면이다.
도 7은 일 실시예에 따른 차량의 제어 방법 또는 영상 탐색 장치의 제어 방법을 설명하는 순서도이다.
본 명세서에 기재된 실시 예와 도면에 도시된 구성은 개시된 발명의 바람직한 일 예이며, 본 출원의 출원 시점에 있어서 본 명세서의 실시 예와 도면을 대체할 수 있는 다양한 변형 예들이 있을 수 있다.
또한, 본 명세서에서 사용한 용어는 실시 예를 설명하기 위해 사용된 것으로, 개시된 발명을 제한 및/또는 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에서, "포함하다", "구비하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않으며, 본 명세서에서 사용한 "제 1", "제 2" 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되지는 않는다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.
도 1은 일 실시예에 따른 차량(10) 또는 영상 탐색 장치(10)의 제어 블록도이다.
도 1을 참조하면, 차량(10) 또는 영상 탐색 장치(10)는 카메라(210), 센서(220), 통신부(230), 제어부(240), 저장부(250) 및 사용자 인터페이스 장치(270)를 포함할 수 있다.
카메라(210)는 차량(10) 주변을 촬영하고, 영상을 획득할 수 있다. 구체적으로, 카메라(210)는 차량(10) 전방, 측방, 후방에 있는 객체로서 사람 또는 인물을 촬영하여 영상 데이터를 획득할 수 있다. 카메라(210)는 이미지 또는 영상을 획득할 수 있는 장치를 모두 포함하는 개념이고, 차량(10)의 전면유리에 설치될 수 있으며, 설치 위치 및 개수에 제한은 없다. 카메라(210)에 의해 획득된 영상은 제어부(240)로 전송되어 영상에 포함된 인물의 감정 변화 정보 또는 행동 패턴 변화 정보 중 적어도 하나를 획득하는데 이용된다.
차량(10) 또는 영상 탐색 장치(10)는 각종 센서(220)를 포함할 수 있다. 예를 들면, 차량(10) 또는 영상 탐색 장치(10)는 전방, 후방 또는 측방의 충돌을 감지하고, 충돌 상태를 검출하는 충돌 감지 센서를 포함할 수 있다. 또한 차량(10) 또는 영상 탐색 장치(10)는 전방, 후방 또는 측방의 물체를 감지하는 근접 센서, 강수 여부 및 강수량을 감지하는 레인 센서, 차량의 휠의 속도를 검출하는 속도 센서, 차량의 횡 가속도를 검출하는 횡가속도 센서, 차량의 각속도의 변화를 검출하는 요레이트 센서, 자이로 센서, 스티어링 휠의 회전과 차량의 주행 방향을 검출하는 방향 센서를 포함할 수 있다. 센서(220)는 차량(10)의 범퍼, 후드, 도어 등 다양한 위치에 설치될 수 있다.
통신부(230)는 외부 장치와 통신하여 데이터를 송수신할 수 있다. 또한, 통신부(230)는 외부 장치로부터 얼굴 표정과 감정 인자 간의 상관 관계 정보, 감정모델, 얼굴 표정 인식을 위한 학습 데이터, 행동 패턴 인식을 위한 학습 데이터 등을 수신할 수 있다.
통신부(230)는 다양한 통신 기술을 이용할 수 있다. 통신부(230)는 차량 간(Vehicle-to-Vehicle, V2V) 통신, Wi-Fi, 무선 근거리 통신망(WLAN), 초광대역 이동 통신(Ultra-mobile broadband, UMB), GPS, LTE(Long Term Evolution) 등의 통신 기술을 이용하여 외부 장치와 데이터를 송수신할 수 있다. 이에 한정되는 것은 아니며, 외부 장치와 통신할 수 있는 방식이면 모두 적용될 수 있다.
제어부(240)는 차량(10) 내의 각종 장치에 제어 신호를 전송할 수 있다. 제어부(240)는 전자 제어 유닛(ECU)을 의미할 수 있다. 비록 제어부(240)라고 표현하였으나, 이는 넓은 의미로 해석되기 위한 표현일 뿐 이에 제한되지 않는다.
또한, 제어부(240)는 차량(10) 또는 영상 탐색 장치(10)의 작동을 제어하는 프로그램이 저장된 적어도 하나의 메모리 및 저장된 프로그램을 실행하는 적어도 하나의 프로세서를 포함한다. 제어부(240)에 포함되는 메모리와 프로세서는 하나의 칩에 집적되는 것도 가능하고, 물리적으로 분리되는 것도 가능하다. 제어부(240)의 상세 구성에 대해서는 후술하도록 한다.
저장부(250)는 차량(10) 또는 영상 탐색 장치(10)의 제어와 관련된 각종 데이터를 저장할 수 있다. 저장부(250)는 차량(10) 또는 영상 탐색 장치(10)을 제어하기 위한 알고리즘 데이터를 저장할 수 있고, 제어부(240)는 이러한 제어 알고리즘에 따라 차량(100)에 구비된 각종 장치를 제어하는 제어 신호를 송출할 수 있다.
또한, 저장부(250)는 카메라(210)에 의해 획득된 영상, 차량(10)에 발생한 이벤트와 관련된 트래킹 데이터, 얼굴 표정과 감정 인자 간의 상관 관계 정보 및 감정모델을 저장할 수 있다. 또한, 저장부(250)는 인물의 감정 정보 및 행동 패턴 정보를 획득하는데 이용되는 학습 데이터를 저장할 수도 있다. 학습 데이터는 기계 학습(Machine Learning) 또는 딥러닝(Deep Learning) 기법을 통해 수집된 차량(10)의 이벤트 발생과 관련된 영상 또는 이미지를 의미할 수 있다.
카메라(210)에 의해 획득된 영상에 포함된 다수 인물들의 얼굴 표정 또는 행동 패턴은 학습 데이터를 기초로 분류될 수 있다. 기계 학습(Machine Learning) 또는 딥러닝(Deep Learning) 기법을 통해 학습 데이터를 생성하는 것은 공지 기술이므로 자세한 설명은 생략한다.
저장부(250)는 각종 정보를 저장하기 위해 캐쉬, ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 및 플래쉬 메모리(Flash memory)와 같은 비휘발성 메모리 소자 또는 RAM(Random Access Memory)과 같은 휘발성 메모리 소자 또는 하드디스크 드라이브(HDD, Hard Disk Drive), CD-ROM과 같은 저장 매체 중 적어도 하나로 구현될 수 있으나 이에 한정되지는 않는다. 저장부(250)는 별개의 칩으로 구현된 메모리일 수 있고, 프로세서와 단일 칩으로 구현될 수도 있다.
사용자 인터페이스 장치(260)는 음악 재생 기능, 라디오 기능, 비디오 기능, 내비게이션 기능 및 기타 부가 기능을 수행하기 위한 입출력 장치이다. 사용자 인터페이스 장치(270)는 사용자로부터 정보를 입력 받고 입력된 정보에 대응하는 결과를 출력할 수 있다.
또한, 사용자 인터페이스 장치(270)는 차량(10)에 발생한 이벤트와 관련된 영상을 표시할 수 있다. 사용자 인터페이스 장치(270)는 제어부(240)의 제어에 따라 이벤트와 관련된 일정 시간 동안의 영상을 표시할 수 있고, 트래킹 데이터가 포함된 영상을 표시할 수도 있다. 도 2에 도시된 바와 같이, 사용자 인터페이스 장치(270)는 특정 인물에 대한 식별 표시를 할 수 있고, 특정 인물과 관련된 트래킹 데이터(프로파일 정보, 감정 변화 정보, 행동 변화 정보)를 표시할 수 있다.
또한, 사용자 인터페이스 장치(270)는 제어부(240)의 제어에 따라 이벤트와 관련된 일정 시간 동안의 영상을 표시할 때, 감정 변화 정보 또는 행동 패턴 변화 정보 중 적어도 하나를 갖는 인물들이 포함된 부분의 영상을 미리 설정된 속도만큼 느리게 표시할 수 있다.
사용자 인터페이스 장치(270)는 차량(10)의 대시 보드에 설치될 수 있으나, 설치 위치에 제한은 없다.
사용자 인터페이스 장치(270)는 디스플레이를 포함할 수 있다. 디스플레이는 다양한 패널로 구현될 수 있다. 디스플레이 패널은 발광 다이오드(Light Emitting Diode: LED) 패널, 유기 발광 다이오드(Organic Light Emitting Diode: OLED) 패널 또는 액정 디스플레이(Liquid Crystal Display) 패널일 수 있고, 터치 패널로 구현될 수 있다.
한편, 사용자 인터페이스 장치(270)는 사용자로부터 특정 감정 또는 특정 행동 패턴 중 적어도 하나에 관한 탐색 입력을 수신할 수 있다. 제어부(240)는 사용자 인터페이스 장치(270)로부터 입력 신호를 수신하고, 차량(10)에 발생한 이벤트와 관련된 영상에서 입력된 탐색 정보에 대응하는 정보를 갖는 인물을 검출할 수 있다.
이하 본 발명의 제어부(240)의 동작을 구체적으로 설명한다. 제어부(240)는 영상 분석부(241), 이벤트 판단부(242), 트래킹 데이터 생성부(243)를 포함한다.
영상 분석부(241)는 카메라(210)로부터 영상을 수신하고, 이벤트와 관련된 영상을 추출할 수 있다. 영상 분석부(241)는 이벤트와 관련된 일정 시간 동안의 영상을 추출할 수 있다.
또한, 영상 분석부(241)는 카메라(210)로부터 수신한 영상에 포함된 인물들을 식별할 수 있다. 또한, 영상 분석부(241)는 식별된 인물들의 얼굴 표정을 인식할 수 있다. 영상 분석부(241)는 저장부(250)에 저장되어 있는 학습 데이터를 이용하여 인물들의 얼굴 표정을 인식할 수 있다.
또한, 영상 분석부(241)는 식별된 인물들의 관절 움직임 데이터를 추출할 수 있고, 추출한 관절 움직임 데이터와 저장부(250)에 저장되어 있는 학습 데이터를 이용하여 식별된 인물들의 행동 패턴을 인식할 수 있다. 예를 들어, 특정 인물에 차량(10)에 충돌한 경우, 영상 분석부(241)는 특정 인물의 관절 움직임 데이터를 추출하고, 저장부(250)에 저장되어 있는 관절 움직임 데이터와 연관된 행동 패턴에 대한 학습 데이터를 비교하여, 특정 인물의 행동 패턴을 인식할 수 있다.
관절 움직임 데이터를 추출하는 것에 대해서는 도 6에서 자세히 설명한다.
이벤트 판단부(242)는 차량(10)에 충돌이 감지된 경우 충돌 상태 정보를 획득할 수 있다. 즉, 센서(220)에 의해 차량(10)의 충돌 정보, 차량(10)에 가해지는 충격 정보를 기초로 차량(10)에 발생한 이벤트를 판단할 수 있다. 이벤트 판단부(242)는 차량(10)에 발생한 이벤트의 종류를 판단할 수 있다. 예를 들면, 이벤트 판단부(242)는 주차 중 충돌 발생인지, 주행 중 충돌 발생인지 등을 판단할 수 있다.
트래킹 데이터 생성부(243)는 영상 처리부(241)에 의해 식별된 인물들의 얼굴 표정을 이용하여 인물들의 감정 변화 정보를 획득할 수 있다. 구체적으로, 트래킹 데이터 생성부(243)는 얼굴 표정과 감정 인자 간 상관 관계 정보 및 감정 모델를 이용하여 탑승자의 감정 정보를 획득할 수 있다. 얼굴 표정과 감정 인자 간의 상관 관계 및 감정 모델은 이하 도 4 및 도 5에서 자세히 설명된다.
트래킹 데이터 생성부(243)는 인물들의 얼굴 표정과 관련된 감정 인자를 추출하고, 차량(10)에 발생한 이벤트와 관련된 일정 시간 동안의 감정 인자의 변화량을 산출하여 인물들의 감정 변화 정보를 획득할 수 있다.
예를 들어, 도 4를 참조할 때, 이벤트 발생 전에 획득된 영상에서 특정 인물의 얼굴 표정이 표정3이면, 표정 3으로부터 추출되는 두려운(Fear) 감정 인자의 수치가 0.645로 나타날 수 있다. 또한, 이벤트 발생 후 획득된 영상에서 특정 인물의 얼굴 표정이 표정2이면, 표정2로부터 추출되는 두려운(Fear) 감정 인자의 수치가 0.878로 나타날 수 있다. 즉, 이벤트 발생 전후, 특정 인물의 두려운 감정 인자의 수치가 0.233(36%) 증가한 것으로 나타날 수 있다. 이 경우, 이벤트와 관련된 일정 시간 동안 해당 인물의 감정 변화 정보는 두려운 감정이 36% 증가한 것으로 획득될 수 있다.
또한, 트래킹 데이터 생성부(243)는 이벤트와 관련된 일정 시간 동안 영상에 포함된 인물들의 관절 움직임 데이터의 변화량을 산출하여 행동 패턴 변화 정보를 획득할 수 있다.
예를 들어, 도 6을 참조하면, 트래킹 데이터 생성부(243)는 영상 분석부(241)로부터 이벤트 발생 전후의 머리(510), 목(520) 및 경추 관절(551)에 대한 움직임 데이터를 수신하여 관절 움직임 데이터의 변화량을 산출할 수 있다.
구체적으로, 이벤트 발생 전과 후에 머리(510), 목(520) 및 경추 관절(551)에 각각 설정된 특징점의 위치가 산출될 수 있고, 3개의 점에 의해 형성되는 각도가 산출될 수 있다. 트래킹 데이터 생성부(243)는 이벤트 발생 전과 후의 특징점의 위치 및 각도를 비교하여 특징점들의 위치 변화량과 각도 변화량을 산출할 수 있다. 특징점들의 위치 변화량과 각도 변화량은 행동 패턴의 변화를 추측하는데 이용될 수 있다.
또한, 특징점들의 위치 변화량과 각도 변화량에 대응하는 행동 패턴 변화 정보가 학습 데이터로서 저장부(250)에 저장되어 있을 수 있다. 트래킹 데이터 생성부(243)는 관절 움직임 데이터의 변화량에 대응하는 행동 패턴 변화에 대한 학습 데이터를 비교하여, 특정 인물의 행동 패턴 변화 정보를 획득할 수 있다.
또한, 트래킹 데이터 생성부(243)는 영상에 포함된 인물들의 성별, 나이, 인상착의를 식별하고, 프로파일 정보를 획득할 수 있다.
따라서 트래킹 데이터 생성부(243)에 의해 생성되는 트래킹 데이터에는 영상에 포함된 인물들의 감정 변화 정보, 행동 패턴 변화 정보 및 프로파일 정보 중 적어도 하나가 포함될 수 있다.
한편, 트래킹 데이터 생성부(243)는 영상에 포함된 다수의 인물들 각각에 대해 획득한 트래킹 데이터를 목록화한 파일을 생성할 수 있다. 이에 대해서는 도 3에서 보다 구체적으로 설명한다.
도 2 는 일 실시예에 따라 사용자 인터페이스부에 표시되는 영상을 설명하는 도면이다.
도 2를 참조하면, 제어부(240)는 카메라(210)가 획득한 영상을 수신하고, 이벤트와 관련된 일정 시간 동안의 영상을 추출할 수 있다. 제어부(240)는 추출한 일정 시간 동안의 영상에 포함된 인물들을 식별할 수 있고, 그 인물들의 감정 변화 정보 또는 행동 패턴 변화 정보 중 적어도 하나를 획득할 수 있다. 제어부(240)는 감정 변화 정보 또는 상기 행동 패턴 변화 정보 중 적어도 하나를 갖는 인물들에 대한 트래킹 데이터를 생성하여 추출한 영상에 추가할 수 있다.
제어부(240)는 트래킹 데이터가 포함된 영상이 표시되도록 사용자 인터페이스부(260)를 제어할 수 있다. 그에 따라 사용자 인터페이스부(260)의 화면에는, 특정 인물의 식별 표시와 함께 특정 인물의 프로파일 정보(성별/나이), 감정 변화 정보, 행동 변화 정보가 표시될 수 있다.
도 3은 일 실시예에 따라 트래킹 데이터를 목록화한 파일을 설명하는 도면이다.
도 3을 참조하면, 제어부(240)는 영상에 포함된 다수의 인물들 각각에 대해 획득한 트래킹 데이터를 목록화한 파일을 생성할 수 있다. 도 3에 도시된 바와 같이, 트래킹 데이터가 목록화 된 파일에는 영상이름(AA0001.avi), 파일명(AA001_p.xlsx), 인물 식별번호(P001, P002, P003), 추출된 영상의 시작시간 및 종료시간, 식별된 인물들 각각의 감정 변화 정보, 행동 변화 정보, 프로파일 정보가 포함될 수 있다. 또한, 트래킹 데이터가 목록화 된 파일의 내용은 사용자 인터페이스부(260)에 표시될 수 있다.
다수의 인물들에 대한 트래킹 데이터를 목록화 함으로써, 영상을 탐색하는 사용자는 영상에 포함된 인물들의 정보를 보다 빠르게 확인할 수 있다.
도 4는 얼굴 표정과 감정인자 간의 상관 관계 정보를 도시한 표이다.
도 4를 참조하면, 다양한 표정과 감정 인자간의 상관 관계 정보가 도시되어 있다
도 4에서, 표정1은 혐오스러운(Disgust) 감정인자나 화난(Anger) 감정 인자와의 상관관계 값이 각각 0.875, 0.775로서, 혐오스러운 감정 인자나 화난 감정 인자와 높은 관련성을 갖는 것을 알 수 있다. 따라서, 표정1에 따른 감정은, 화난 감정 또는 혐오스러운 감정이라고 판단할 수 있다.
즐거운(Joy) 감정 인자의 경우 표정1과의 상관 관계 값이 상대적으로 낮은 값(0.353)이므로, 즐거운 감정 인자는 표정1과 관련성이 적다고 할 수 있다.
표정2는, 화난(Anger) 감정 인자나 두려운(Fear) 감정 인자와의 상관 관계 값이 각각 0.864, 0.878으로서, 다른 감정 인자보다 화난 감정인자나 두려운 감정 인자와 높은 관련성을 가지고 있음을 알 수 있다. 따라서, 표정2에 따른 감정은, 화난 감정이나 두려운 감정이라고 판단할 수 있다.
이와 같이, 트래킹 데이터 생성부(243)는 얼굴 표정과 감정 인자 간 상관 관계 정보를 이용하여 인물의 감정 정보와 감정 변화 정보를 획득할 수 있다. 도 4에 나타나 있는 정보들은 실험에 의해 나타난 결과일 뿐이므로, 실험 환경에 따라 다양하게 나타날 수 있다.
도 5는 감정모델을 도시한 도면이다.
도 5를 참조하면, 감정 모델은 얼굴 표정에 따라 나타나는 감정을 그래프 상에 분류해 놓은 것이다. 감정 모델은 미리 설정된 감정축을 기준으로 감정을 분류한다. 감정축1은 긍정도 또는 부정도가 될 수 있고, 감정축2는 흥분도 또는 활성도가 될 수 있다.
얼굴 표정에 따른 감정이 높은 긍정도와 높은 흥분도를 갖는 경우, 해당 감정은 감정1 또는 감정2로 분류될 수 있다. 반대로 얼굴 표정에 따른 감정이 음(-)의 긍정도 즉, 부정도를 갖고 높은 흥분도를 갖는 경우, 해당 감정은 감정3 또는 감정4로 분류될 수 있다.
이러한 감정모델은 러셀(Russell)의 감정모델일 수 있다. 러셀(Russell)의 감정모델은 x축과 y축 기반의 2차원 그래프로 표시되며, 기쁨(0도), 흥분(45도), 각성(90도), 고통(135도), 불쾌(180), 우울(225도), 졸림(270도), 이완(315도) 위치의 8개 영역으로 감정을 구분한다. 또한, 8개 영역은 총 28개 감정으로 구분되어 있으며 8개 영역에 속하는 유사 감정들로 분류되어 있다.
이와 같이, 제어부(240)는 얼굴 표정과 감정 인자 간 상관 관계 정보 및 감정 모델을 이용하여 영상에 포함된 인물들의 감정 정보를 획득할 수 있다.
도 6은 행동 패턴 변화 정보의 획득에 이용되는 관절 움직임 데이터를 설명하는 도면이다.
도 6을 참조하면, 제어부(240)는 영상에 포함되어 있는 인물의 관절에 대응하는 관절 특징점을 설정하고, 관절 특징점 간의 관계를 기초로 대상체의 관절 위치 변화량 및 관절 각도 변화량을 산출하여 대상체의 관절 움직임 데이터를 추출할 수 있다.
구체적으로, 제어부(240)는 인체의 말단과 절지 부분에 관절 특징점을 설정한다. 예를 들면, 관절 특징점은 머리(510), 목(520), 우측 어깨 관절(531), 우측 팔꿈치 관절(532), 우측 손목 관절(533), 우측 손 관절(534), 우측 손 말단(535), 우측 엄지 손가락 관절(536), 좌측 어깨 관절(541), 좌측 팔꿈치 관절(542), 좌측 손목 관절(543), 좌측 손 관절(544), 좌측 손 말단(545), 좌측 엄지 손가락 관절(546), 경추 관절(551), 척추 관절(552), 골반 측 척추 관절(553), 우측 골반 관절(561), 우측 무릎 관절(562), 우측 발목 관절(563), 우측 발 말단(564), 좌측 골반 관절(571), 좌측 무릎 관절(572), 좌측 발목 관절(573), 좌측 발 말단(574)에 설정될 수 있다. 이러한 관절 특징점이 설정되는 위치는 특정 실시예에 한정되지 않고, Inverse Kinematics 알고리즘 등을 이용하여 다양하게 설정될 수 있다.
제어부(240)는 인체의 관절에 대응하는 관절 특징점을 설정하고, 관절 특징점 간의 관계를 기초로 관절 위치 변화량 및 관절 각도 변화량을 산출하여 인물의 관절 움직임 데이터를 추출할 수 있다. 예를 들면, 골반 관절(561, 571), 무릎 관절(562, 572) 및 발목 관절(563, 573)의 관계를 기초로 무릎 관절의 위치 변화량 및 각도 변화량을 산출할 수 있다.
제어부(240)는 상술한 관절 움직임 데이터의 변화량을 기초로 행동 패턴 변화 정보를 획득할 수 있다.
도 7은 일 실시예에 따른 차량 또는 영상 탐색 장치의 제어 방법을 설명하는 순서도이다.
도 7을 참조하면, 제어부(240)는 카메라(210)로부터 차량 주변의 영상을 획득하고(601), 센서(220)로부터 이벤트 발생 여부에 대한 정보를 수신할 수 있다(602). 이벤트가 발생하지 않은 경우, 제어부(240)는 차량 주변이 계속 촬영되도록 카메라(210)를 제어한다. 이벤트가 발생한 경우, 제어부(240)는 이벤트 발생 전의 영상과 이벤트 발생 후의 영상이 저장부(250)에 저장되도록 할 수 있다(603). 제어부(240)는 이벤트 발생 전의 영상과 이벤트 발생 후의 영상에서 일정 시간 동안의 영상을 추출하여 저장부(250)에 저장할 수 있다(604).
이후, 제어부(240)는 추출된 영상 내에 포함된 인물들의 감정 변화 정보 또는 행동 패턴 변화 정보 중 적어도 하나를 획득한다(605). 또한, 제어부(240)는 감정 변화 정보 또는 행동 패턴 변화 정보 중 적어도 하나를 갖는 인물들에 대한 트래킹 데이터를 생성한다(606). 제어부(240)는 사용자 인터페이스부(260)를 통해 특정 감정 또는 특정 행동 패턴 중 적어도 하나에 관한 탐색 정보의 입력 여부를 확인할 수 있다(607). 제어부(240)는 탐색 정보 입력이 없는 경우, 생성한 트래킹 데이터를 추출한 영상에 추가하고, 트래킹 데이터가 포함된 영상이 표시될 수 있도록 사용자 인터페이스부(260)를 제어한다(608).
한편, 탐색 정보 입력이 있는 경우, 제어부(240)는 입력된 탐색 정보에 대응하는 정보를 갖는 인물을 검출하고(609), 검출된 인물에 대한 트래킹 데이터가 포함된 영상이 표시되도록 사용자 인터페이스부(260)를 제어한다(610).
상술한 바와 같이, 일 실시예에 따른 차량, 차량의 제어 방법 및 영상 탐색 장치는, 차량에 발생한 이벤트와 관련된 영상에서 감정의 변화 또는 행동 패턴의 변화를 보이는 인물을 검출하고, 검출된 인물에 대한 트래킹 정보를 영상에 표시할 수 있다.
따라서 영상에서 이벤트와 관련된 인물을 탐색하는데 걸리는 시간을 단축시키고, 탐색의 정확도를 보다 높일 수 있다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
1: 차량
210: 카메라
220: 센서
230: 통신부
240: 제어부
250: 저장부
260: 사용자 인터페이스 장치
210: 카메라
220: 센서
230: 통신부
240: 제어부
250: 저장부
260: 사용자 인터페이스 장치
Claims (21)
- 차량 주변을 촬영하고, 영상을 획득하는 카메라;
차량과 관련된 이벤트의 발생을 감지하는 센서;
상기 카메라에 의해 획득된 영상 및 상기 이벤트와 관련된 트래킹 데이터를 저장하는 저장부; 및
상기 이벤트와 관련된 일정 시간 동안의 영상을 추출하고, 상기 추출된 일정 시간 동안의 영상에 포함된 인물들의 감정 변화 정보 또는 행동 패턴 변화 정보 중 적어도 하나를 획득하고, 상기 감정 변화 정보 또는 상기 행동 패턴 변화 정보 중 적어도 하나를 갖는 인물들에 대한 트래킹 데이터를 생성하는 제어부; 를 포함하는 차량. - 제1항에 있어서,
상기 이벤트와 관련된 일정 시간 동안의 영상을 표시하는 사용자 인터페이스부; 를 더 포함하는 차량. - 제2항에 있어서,
상기 제어부는,
상기 트래킹 데이터를 상기 추출한 영상에 추가하고, 상기 트래킹 데이터가 포함된 영상이 표시되도록 상기 사용자 인터페이스부를 제어하는 차량. - 제1항에 있어서,
상기 트래킹 데이터는,
상기 인물들의 감정 변화 정보, 행동 패턴 변화 정보 및 프로파일 정보 중 적어도 하나를 포함하는 차량. - 제1항에 있어서,
상기 제어부는,
상기 이벤트와 관련하여 추출한 영상의 시간 정보 및 상기 트래킹 데이터를 목록화한 파일을 생성하는 차량. - 제1항에 있어서,
상기 제어부는,
상기 인물들의 얼굴 표정을 기초로 상기 인물들의 감정 변화 정보를 획득하고, 상기 인물들의 관절 움직임 데이터를 기초로 상기 인물들의 행동 패턴 변화 정보를 획득하는 차량. - 제6항에 있어서,
상기 제어부는,
상기 인물들의 얼굴 표정과 관련된 감정 인자를 추출하고, 상기 이벤트와 관련된 일정 시간 동안 상기 감정 인자의 변화량을 산출하여 상기 감정 변화 정보를 획득하는 차량. - 제6항에 있어서,
상기 제어부는,
상기 이벤트와 관련된 일정 시간 동안 상기 인물들의 관절 움직임 데이터의 변화량을 산출하여 상기 행동 패턴 변화 정보를 획득하는 차량. - 제2항에 있어서,
상기 제어부는,
상기 추출한 영상이 표시되도록 상기 사용자 인터페이스부를 제어하되, 상기 감정 변화 정보 또는 상기 행동 패턴 변화 정보 중 적어도 하나를 갖는 인물들이 포함된 부분은 미리 설정된 속도만큼 느리게 표시되도록 상기 사용자 인터페이스부를 제어하는 차량. - 제2항에 있어서,
상기 사용자 인터페이스부는,
특정 감정 또는 특정 행동 패턴 중 적어도 하나에 관한 탐색 정보를 입력 받고,
상기 제어부는,
상기 입력된 탐색 정보에 대응하는 정보를 갖는 인물을 검출하는 차량. - 차량 주변을 촬영하고, 영상을 획득하는 단계;
차량과 관련된 이벤트의 발생을 감지하는 단계;
상기 획득된 영상 중 상기 이벤트와 관련된 일정 시간 동안의 영상을 추출하는 단계;
상기 추출된 일정 시간 동안의 영상에 포함된 인물들의 감정 변화 정보 또는 행동 패턴 변화 정보 중 적어도 하나를 획득하는 단계; 및
상기 감정 변화 정보 또는 상기 행동 패턴 변화 정보 중 적어도 하나를 갖는 인물들에 대한 트래킹 데이터를 생성하는 단계;를 포함하는 차량의 제어 방법. - 제11항에 있어서,
상기 이벤트와 관련된 일정 시간 동안의 영상을 표시하는 단계;를 더 포함하는 차량의 제어 방법. - 제12항에 있어서,
상기 영상을 표시하는 단계는,
상기 추출한 영상에 상기 생성된 트래킹 데이터를 추가하는 단계; 및
상기 트래킹 데이터가 포함된 영상을 표시하는 단계; 를 더 포함하는 차량의 제어 방법. - 제11항에 있어서,
상기 트래킹 데이터는,
상기 인물들의 감정 변화 정보, 행동 패턴 변화 정보 및 프로파일 정보 중 적어도 하나를 포함하는 차량의 제어방법. - 제11항에 있어서,
상기 이벤트와 관련하여 추출한 영상의 시간 정보 및 상기 트래킹 데이터를 목록화한 파일을 생성하는 단계; 를 더 포함하는 차량의 제어방법. - 제11항에 있어서,
상기 인물들의 감정 변화 정보 또는 행동 패턴 변화 정보 중 적어도 하나를 획득하는 단계는,
상기 인물들의 얼굴 표정을 기초로 상기 인물들의 감정 변화 정보를 획득하는 단계 또는 상기 인물들의 관절 움직임 데이터를 기초로 상기 인물들의 행동 패턴 변화 정보를 획득하는 단계 중 적어도 하나를 포함하는 차량의 제어 방법. - 제16항에 있어서,
상기 인물들의 감정 변화 정보를 획득하는 단계는,
상기 인물들의 얼굴 표정과 관련된 감정 인자를 추출하고, 상기 이벤트와 관련된 일정 시간 동안 상기 감정 인자의 변화량을 산출하는 단계;를 더 포함하는 차량의 제어 방법. - 제16항에 있어서,
상기 인물들의 행동 패턴 변화 정보를 획득하는 단계는,
상기 이벤트와 관련된 일정 시간 동안 상기 인물들의 관절 움직임 데이터의 변화량을 산출하는 단계;를 더 포함하는 차량의 제어 방법. - 제12항에 있어서,
상기 추출한 영상을 표시하되, 상기 감정 변화 정보 또는 상기 행동 패턴 변화 정보 중 적어도 하나를 갖는 인물들이 포함된 부분은 미리 설정된 속도만큼 느리게 표시하는 단계;를 더 포함하는 차량의 제어방법. - 제12항에 있어서,
특정 감정 또는 특정 행동 패턴 중 적어도 하나에 관한 탐색 정보를 입력 받는 단계; 및
상기 입력된 탐색 정보에 대응하는 정보를 갖는 인물을 검출하는 단계; 를 더 포함하는 차량의 제어 방법. - 차량 주변을 촬영하고, 영상을 획득하는 카메라;
차량과 관련된 이벤트의 발생을 감지하는 센서;
상기 카메라에 의해 획득된 영상 및 상기 이벤트와 관련된 트래킹 데이터를 저장하는 저장부; 및
상기 이벤트와 관련된 일정 시간 동안의 영상을 추출하고, 상기 추출된 일정 시간 동안의 영상에 포함된 인물들의 감정 변화 정보 또는 행동 패턴 변화 정보 중 적어도 하나를 획득하고, 상기 감정 변화 정보 또는 상기 행동 패턴 변화 정보 중 적어도 하나를 갖는 인물들에 대한 트래킹 데이터를 생성하는 제어부; 를 포함하는 영상 탐색 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180117032A KR102486161B1 (ko) | 2018-10-01 | 2018-10-01 | 차량, 차량의 제어 방법 및 영상 탐색 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180117032A KR102486161B1 (ko) | 2018-10-01 | 2018-10-01 | 차량, 차량의 제어 방법 및 영상 탐색 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200040320A true KR20200040320A (ko) | 2020-04-20 |
| KR102486161B1 KR102486161B1 (ko) | 2023-01-10 |
Family
ID=70467065
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180117032A KR102486161B1 (ko) | 2018-10-01 | 2018-10-01 | 차량, 차량의 제어 방법 및 영상 탐색 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102486161B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102340715B1 (ko) * | 2020-07-13 | 2021-12-16 | 김익수 | 스마트 IoT 연필꽂이 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101003697B1 (ko) * | 2010-01-28 | 2010-12-29 | 팅크웨어(주) | 모의 주행 영상의 재생 제어 장치 및 방법 |
| KR101460902B1 (ko) * | 2013-07-03 | 2014-11-20 | 한국과학기술원 | 차량 주변의 도난 징후 감지를 위한 지능형 블랙박스 시스템 및 그 동작 방법 |
| JP2016149063A (ja) * | 2015-02-13 | 2016-08-18 | オムロン株式会社 | 感情推定装置及び感情推定方法 |
| KR101696801B1 (ko) * | 2016-10-21 | 2017-01-16 | 이형각 | 사물 인터넷(IoT) 카메라 기반의 통합 영상 감시 시스템 |
| JP2017138694A (ja) * | 2016-02-02 | 2017-08-10 | ソニー株式会社 | 映像処理装置及び映像処理方法 |
-
2018
- 2018-10-01 KR KR1020180117032A patent/KR102486161B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101003697B1 (ko) * | 2010-01-28 | 2010-12-29 | 팅크웨어(주) | 모의 주행 영상의 재생 제어 장치 및 방법 |
| KR101460902B1 (ko) * | 2013-07-03 | 2014-11-20 | 한국과학기술원 | 차량 주변의 도난 징후 감지를 위한 지능형 블랙박스 시스템 및 그 동작 방법 |
| JP2016149063A (ja) * | 2015-02-13 | 2016-08-18 | オムロン株式会社 | 感情推定装置及び感情推定方法 |
| JP2017138694A (ja) * | 2016-02-02 | 2017-08-10 | ソニー株式会社 | 映像処理装置及び映像処理方法 |
| KR101696801B1 (ko) * | 2016-10-21 | 2017-01-16 | 이형각 | 사물 인터넷(IoT) 카메라 기반의 통합 영상 감시 시스템 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102340715B1 (ko) * | 2020-07-13 | 2021-12-16 | 김익수 | 스마트 IoT 연필꽂이 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102486161B1 (ko) | 2023-01-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107665330B (zh) | 在车辆中检测头部姿势的系统、方法和计算机可读介质 | |
| EP3488382B1 (en) | Method and system for monitoring the status of the driver of a vehicle | |
| Chan et al. | A comprehensive review of driver behavior analysis utilizing smartphones | |
| JP7011578B2 (ja) | 運転行動を監視する方法及びシステム | |
| US10137889B2 (en) | Method for smartphone-based accident detection | |
| US10088846B2 (en) | System and method for intended passenger detection | |
| US10589664B2 (en) | System and method for automatically activating turn indicators in a vehicle | |
| WO2019161766A1 (en) | Method for distress and road rage detection | |
| US20190232974A1 (en) | Method for customizing motion characteristics of an autonomous vehicle for a user | |
| CN110291478A (zh) | 驾驶员监视和响应系统 | |
| JP4803490B2 (ja) | 運転者状態推定装置及び運転支援装置 | |
| Wang et al. | A survey on driver behavior analysis from in-vehicle cameras | |
| JP2017199303A (ja) | 識別装置、識別方法、識別プログラムおよび記録媒体 | |
| JP2019195377A (ja) | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム | |
| CN114423343A (zh) | 认知功能推测装置、学习装置及认知功能推测方法 | |
| CN110858300A (zh) | 车辆乘员的眼睛注视跟踪 | |
| JP2016115117A (ja) | 判定装置および判定方法 | |
| JP6572538B2 (ja) | 下方視判定装置および下方視判定方法 | |
| KR102486161B1 (ko) | 차량, 차량의 제어 방법 및 영상 탐색 장치 | |
| JP7068156B2 (ja) | 情報処理装置及びプログラム | |
| US10706301B2 (en) | Detection device, learning device, detection method, learning method, and recording medium | |
| Dongare et al. | Eye gaze tracking and eyes off the road detection for traffic safety on raspberry Pi | |
| JP7450754B2 (ja) | 画像解析から得られたフィンガープリントを用いた、画像フレーム全体に亘る脆弱な道路利用者の追跡 | |
| Mihai et al. | Using dual camera smartphones as advanced driver assistance systems: Navieyes system architecture | |
| Dababneh et al. | Driver vigilance level detection systems: A literature survey |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |