KR20190119291A - 차량용 모니터링 방법 및 장치 - Google Patents

차량용 모니터링 방법 및 장치 Download PDF

Info

Publication number
KR20190119291A
KR20190119291A KR1020180042543A KR20180042543A KR20190119291A KR 20190119291 A KR20190119291 A KR 20190119291A KR 1020180042543 A KR1020180042543 A KR 1020180042543A KR 20180042543 A KR20180042543 A KR 20180042543A KR 20190119291 A KR20190119291 A KR 20190119291A
Authority
KR
South Korea
Prior art keywords
state
user
alarm signal
vehicle
images
Prior art date
Application number
KR1020180042543A
Other languages
English (en)
Other versions
KR102069735B1 (ko
Inventor
소니 비벡
라마 아베드
Original Assignee
주식회사 아르비존
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아르비존 filed Critical 주식회사 아르비존
Priority to KR1020180042543A priority Critical patent/KR102069735B1/ko
Priority to PCT/KR2018/014060 priority patent/WO2019098729A1/ko
Publication of KR20190119291A publication Critical patent/KR20190119291A/ko
Application granted granted Critical
Publication of KR102069735B1 publication Critical patent/KR102069735B1/ko

Links

Images

Classifications

    • H04N5/23238—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H04N5/2257—
    • H04N5/23219—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 서버가 차량을 모니터링하는 방법에 관한 것으로, 제1 및 제2 카메라로부터 제1 및 제2 영상을 각각 획득하는 단계, 상기 제1 및 제2 영상을 스티칭(Stitching)하여 360도 파노라마 영상을 생성하는 단계를 포함하고, 상기 제1 및 제2 영상은 광각 영상인 것을 특징으로 한다.

Description

차량용 모니터링 방법 및 장치{METHOD AND APPARATUS FOR MONITORING OF VEHICLE}
본 발명은 차량용 모니터링 방법에 관한 것으로, 보다 구체적으로 파노라마 영상을 생성하여 차량 내외부를 모니터링하는 차량용 모니터링 방법에 관한 것이다.
운전자는 한정된 시야각을 갖기 때문에 차량의 주변 상황을 인식하기 위해서는 고개를 돌리거나 블랙박스를 이용할 수 있다. 기존의 블랙박스는 약 120도의 시야각을 가지기 때문에 블랙박스의 시야각을 벗어난 부분에서 발생하는 상황은 파악할 수 없다. 이와 같이 시야각의 제한을 갖는 카메라의 한계를 극복하기 위하여 일정 거리를 두고 두 개의 카메라를 이용하여 파노라마 영상을 제공함으로써 시야각을 확장할 수 있다.
파노라마 영상은 지하철이나 건물 벽에 부착되어 광고로도 사용될 뿐 아니라 감시 카메라, 블랙박스에도 사용될 수 있다. 감시 카메라 또는 블랙박스의 경우 보다 넓은 시야를 확인하기 위해 파노라마 영상을 이용한다. 또한 파노라마 영상은 차량의 주변 환경을 재구성하여 차량 인식, 추적 및 보행자 인식에 있어서, 협소한 시야각을 갖는 단일 카메라의 단점을 보완할 수 있다.
그러나 기존의 파노라마 영상은 카메라 및 렌즈가 고정되어 있기 때문에 설정된 부분만을 촬영할 수 있어 파노라마 영상의 사각지대의 촬영을 위해 블랙박스를 중복으로 설치해야 한다는 단점이 있다. 이러한 단점을 해결하기 위한 종래의 기술에는 한국 등록특허 제10-13742116호의 차량용 블랙박스 시스템이 있다. 상기 발명은 하나의 카메라를 회전시켜 얻어지는 각도 데이터에 따라 분류된 영상 데이터를 이용하여 파노라마 영상을 생성할 수 있다. 그러나 하나의 카메라를 이용하기 때문에 파노라마 영상을 획득하기 위해 카메라를 회전시켜 각도에 따른 영상 데이터를 얻어야 한다는 번거로움이 있다.
본 발명은 전술한 문제를 해결하기 위한 것으로, 듀얼 카메라를 이용하여 파노라마 영상을 생성하는 것을 일 목적으로 한다.
또한 본 발명은 회전 가능한 듀얼 카메라를 이용하여 차량의 외부와 내부를 동시에 촬영할 수 있도록 하는 것을 일 목적으로 한다.
또한 본 발명은 차량 내부의 영상에서 사용자의 얼굴을 식별하여 졸음 운전을 방지할 수 있도록 하는 것을 일 목적으로 한다.
또한 본 발명은 파노라마 영상을 이용하여 사용자가 확인할 수 없는 사각 지대의 상황을 판단함으로써 사고의 발생을 미연에 방지할 수 있도록 한다.
이러한 목적을 달성하기 위한 본 발명은 서버가 차량을 모니터링하는 방법에 있어서, 제1 및 제2 카메라로부터 제1 및 제2 영상을 각각 획득하는 단계, 상기 제1 및 제2 영상을 스티칭(Stitching)하여 360도 파노라마 영상을 생성하는 단계를 포함하고, 상기 제1 및 제2 영상은 광각 영상인 것을 일 특징으로 한다.
또한 상기 360도 파노라마 영상을 생성하는 단계는, 상기 제1 및 제2 영상으로부터 제1 및 제2 특징점을 각각 추출하는 단계, 상기 제1 및 제2 특징점 중 대응되는 위치의 특징점 쌍을 설정하는 단계, 상기 특징점 쌍을 이용하여 상기 제1 및 제2 영상을 공간적으로 보정하는 단계, 상기 보정된 제1 및 제2 영상을 병합하여 파노라마 영상을 생성하는 단계를 포함하는 것을 일 특징으로 한다.
나아가 상기 파노라마 영상에서 사용자의 얼굴을 식별하는 단계, 상기 얼굴에서 눈과 입을 포함하는 얼굴 특징점을 추출하는 단계, 상기 얼굴 특징점을 분석하여 상기 사용자의 제1 상태를 판단하는 단계를 포함하고, 상기 사용자의 제1 상태는 수면 상태, 졸음 상태 또는 정상 상태 중 하나인 것을 일 특징으로 한다.
또한 상기 사용자의 제1 상태가 수면 상태일 경우 강한 경보 신호, 졸음 상태일 경우 약한 경보 신호를 제공하고, 상기 경보 신호는 실내등 점등, 핸들 진동 또는 음성 명령 중 적어도 하나를 포함하는 것을 일 특징으로 한다.
나아가 상기 사용자로부터 상기 경보 신호에 대한 응답을 수신하는 단계, 상기 응답을 분석하여 상기 사용자의 제2 상태를 판단하는 단계, 상기 제2 상태를 이용하여 상기 경보 신호를 제어하는 단계를 포함하고, 상기 제2 상태는 인지 상태, 각성 상태 중 하나인 것을 일 특징으로 한다.
또한 상기 사용자의 제2 상태가 각성 상태인 것으로 판단되면 상기 경보 신호를 중단하고, 상기 사용자의 제2 상태가 인지 상태인 것으로 판단되면, 기 설정된 임의의 시간마다 경보 신호를 제공하고, 상기 응답이 수신되지 않은 경우 인지 불능 상태인 것으로 보고 상기 경보 신호를 지속하는 것을 일 특징으로 한다.
나아가 상기 사용자의 제1 상태가 수면 또는 졸음일 경우, 상기 차량의 사각 지대에 임의의 차량이 존재하는 지 판단하는 단계, 상기 차량에 부착된 센서를 이용하여 차선의 변경 시도 여부를 판단하는 단계, 상기 사각 지대에 임의의 차량이 존재하고 차선 변경 시도가 발생하면, 핸들을 제어하는 단계를 포함하는 것을 일 특징으로 한다.
또한 본 발명은 서버가 차량을 모니터링하는 시스템에 있어서, 제1 및 제2 영상을 획득하는 제1 및 제2 카메라를 포함하는 카메라부, 상기 제1 및 제2 영상을 스티칭(Stitching)하여 360도 파노라마 영상을 생성하는 파노라마 영상 생성부를 포함하고, 상기 제1 및 제2 영상은 광각 영상인 것을 일 특징으로 한다.
나아가 상기 파노라마 영상 생성부는, 상기 제1 및 제2 영상으로부터 제1 및 제2 특징점을 각각 추출하고, 상기 제1 및 제2 특징점 중 대응되는 위치의 특징점 쌍을 설정하고, 상기 특징점 쌍을 이용하여 상기 제1 및 제2 영상을 공간적으로 보정하고, 상기 보정된 제1 및 제2 영상을 병합하여 파노라마 영상을 생성하는 것을 일 특징으로 한다.
또한 상기 파노라마 영상에서 사용자의 얼굴을 식별하고, 상기 얼굴에서 눈과 입을 포함하는 얼굴 특징점을 추출하고, 상기 얼굴 특징점을 분석하여 상기 사용자의 제1 상태를 판단하는 사용자 상태 인식부, 상기 사용자의 제1 상태가 수면 상태일 경우 강한 경보 신호, 졸음 상태일 경우 약한 경보 신호를 제공하는 경보 신호 출력부, 상기 사용자로부터 상기 경보 신호에 대한 응답을 수신하고, 상기 응답을 분석하여 상기 사용자의 제2 상태를 판단하는 음성 제어부, 상기 제2 상태를 이용하여 상기 경보 신호를 제어하는 경보 신호 제어부를 더 포함하고, 상기 사용자의 제1 상태는 수면 상태, 졸음 상태 또는 정상 상태 중 하나이고, 상기 경보 신호는 실내등 점등, 핸들 진동 또는 음성 명령 중 적어도 하나를 포함하고, 상기 제2 상태는 인지 상태, 각성 상태 중 하나인 것을 일 특징으로 한다.
나아가 상기 경보 신호 제어부는, 상기 사용자의 제2 상태가 각성 상태인 것으로 판단되면 상기 경보 신호를 중단하고, 상기 사용자의 제2 상태가 인지 상태인 것으로 판단되면, 기 설정된 임의의 시간마다 경보 신호를 제공하고, 상기 응답이 수신되지 않은 경우 인지 불능 상태인 것으로 보고 상기 경보 신호를 지속하는 것을 일 특징으로 한다.
또한 상기 차량 제어부는, 상기 사용자의 제1 상태가 수면 또는 졸음일 경우, 상기 차량의 사각 지대에 임의의 차량이 존재하는 지 판단하고, 상기 차량에 부착된 센서를 이용하여 차선의 변경 시도 여부를 판단하고, 상기 사각 지대에 임의의 차량이 존재하고 차선 변경 시도가 발생하면, 핸들을 제어하는 것을 일 특징으로 한다.
전술한 바와 같은 본 발명에 의하면, 듀얼 카메라를 이용하여 파노라마 영상을 생성할 수 있다.
또한 본 발명은 회전 가능한 듀얼 카메라를 이용하여 차량의 외부와 내부를 동시에 촬영할 수 있다.
또한 본 발명은 차량 내부의 영상에서 사용자의 얼굴을 식별하여 졸음 운전을 방지할 수 있다.
또한 본 발명은 파노라마 영상을 이용하여 사용자가 확인할 수 없는 사각 지대의 상황을 판단함으로써 사고의 발생을 미연에 방지할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 차량용 모니터링 시스템을 도시한 도면이다.
도 2는 본 발명의 일 실시 예에 의한 차량용 모니터링 시스템의 구성을 도시한 도면이다.
도 3은 본 발명의 일 실시 예에 의한 차량용 모니터링 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시 예에 의한 졸음 운전 방지 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 예에 의한 경보 신호 관리 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 의한 차선 변경 제어 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시 예에 의한 파노라마 영상을 생성하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시 예에 의한 사용자의 얼굴 특징점을 추출하는 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시 예에 의한 사용자의 눈 특징점을 분석하는 구성을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시 예에 의한 차량의 사각 지대를 설명하기 위한 도면이다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다.
도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용되며, 명세서 및 특허청구의 범위에 기재된 모든 조합은 임의의 방식으로 조합될 수 있다. 그리고 다른 식으로 규정하지 않는 한, 단수에 대한 언급은 하나 이상을 포함할 수 있고, 단수 표현에 대한 언급은 또한 복수 표현을 포함할 수 있음이 이해되어야 한다.
본 명세서에서 사용되는 용어는 단지 특정 예시적 실시 예들을 설명할 목적을 가지고 있으며 한정할 의도로 사용되는 것이 아니다. 본 명세서에서 사용된 바와 같은 단수적 표현들은 또한, 해당 문장에서 명확하게 달리 표시하지 않는 한, 복수의 의미를 포함하도록 의도될 수 있다. 용어 "및/또는," "그리고/또는"은 그 관련되어 나열되는 항목들의 모든 조합들 및 어느 하나를 포함한다. 용어 "포함한다", "포함하는", "포함하고 있는", "구비하는", "갖는", "가지고 있는" 등은 내포적 의미를 갖는 바, 이에 따라 이러한 용어들은 그 기재된 특징, 정수, 단계, 동작, 요소, 및/또는 컴포넌트를 특정하며, 하나 이상의 다른 특징, 정수, 단계, 동작, 요소, 컴포넌트, 및/또는 이들의 그룹의 존재 혹은 추가를 배제하지 않는다. 본 명세서에서 설명되는 방법의 단계들, 프로세스들, 동작들은, 구체적으로 그 수행 순서가 확정되는 경우가 아니라면, 이들의 수행을 논의된 혹은 예시된 그러한 특정 순서로 반드시 해야 하는 것으로 해석돼서는 안 된다. 추가적인 혹은 대안적인 단계들이 사용될 수 있음을 또한 이해해야 한다.
또한, 각각의 구성요소는 각각 하드웨어 프로세서로 구현될 수 있고, 위 구성요소들이 통합되어 하나의 하드웨어 프로세서로 구현될 수 있으며, 또는 위 구성요소들이 서로 조합되어 복수 개의 하드웨어 프로세서로 구현될 수도 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 차량용 모니터링 시스템을 도시한 도면이다. 차량용 모니터링 시스템은 360도 회전 가능한 두 개의 카메라(110, 120)를 포함하고 있는 것을 특징으로 한다. 본 발명은 카메라의 렌즈로 사각이 180도를 넘는 어안 렌즈를 사용하여 약 190도의 광각 영상을 획득할 수 있다. 어안 렌즈는 직선왜곡을 거의 보정하지 않는 초광각 역초점 렌즈로, 180도 또는 그 이상의 시야를 갖는 화상을 어떠한 한정된 범위 내에 마이너스의 왜곡을 갖게 결상시키는 렌즈이다. 어안 렌즈는 깊은 피사계 심도를 가질 수 있으며 원근감을 극대화시킬 수 있다. 따라서 감시 카메라 등에 사용되어 넓은 지역을 감시할 수 있도록 하고, 최소의 장비로 최대의 감시 효과를 얻을 수 있다.
제1 카메라(110)와 제2 카메라(120)는 360도 회전 가능하여 차량의 외부와 내부를 선택적으로 촬영할 수 있다. 차량의 외부를 선택하여 차량 주변의 환경을 보다 용이하게 판단할 수 있으며, 차량의 내부를 선택하여 차량 내부에서 발생하는 불가피한 사고를 예방하거나 사용자의 얼굴을 인식하여 졸음 운전을 방지할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 차량용 모니터링 시스템의 구성을 도시한 도면이다. 차량용 모니터링 시스템(10)은 카메라부(100), 센서부(200), 파노라마 영상 생성부(300), 사용자 상태 인식부(400), 경보 신호 출력부(500), 음성 제어부(800), 저장부(900) 그리고 통신부(1000)를 포함할 수 있다.
카메라부(100)는 도 1에 도시되어 있는 바와 같이 제1 카메라(110)와 제2 카메라(120)를 포함할 수 있으며, 제1 영상 제어부(130), 제2 영상 제어부(140)를 더 포함할 수 있다.
제1 영상 제어부(130)는 제1 카메라(110)로부터 제1 영상을 획득할 수 있고, 제2 영상 제어부(140)는 제2 카메라(120)로부터 제2 영상을 획득할 수 있다. 보다 구체적으로 제1 영상 제어부(130) 및 제2 영상 제어부(140)는 CMOS(Complementary Metal Oxide Semiconductor) 및 ISP(Image Signal Processor)를 사용하여 영상 이미지를 추출할 수 있다. CMOS는 빛을 전하로 변환하여 영상 이미지를 얻어내는 기술로, 각 픽셀마다 아날로그/컨버터가 존재하여 데이터를 처리할 수 있다. 제1 영상 제어부(130) 및 제2 영상 제어부(140)는 CMOS를 채택함으로써 fps(frame per second)를 증가시키고, 후면에 빛을 조사하는 방식인 BSI(Backside Illumination)를 사용할 수 있다. 또한 제1 영상 제어부(130) 및 제2 영상 제어부(140)는 높은 DR(Dynamic range), 높은 SNR(signal to noise ratio), 그리고 최대 2.2 마이크로미터 크기의 픽셀을 이용하여 높은 화질의 영상을 획득할 수 있다. CMOS로부터 영상을 획득하면, 제1 영상 제어부(130) 및 제2 영상 제어부(140)는 ISP 칩을 이용하여 영상에 대한 광학계 보정 처리, 결함보정 그리고 화소 단위의 영상 처리를 포함하는 화상처리를 수행할 수 있다.
센서부(200)는 GPS 센서(210), 자이로 센서(220) 그리고 속도 센서(230)를 포함할 수 있다. 차량용 모니터링 시스템(10)은 센서부(200)를 이용하여 차량의 진행 방향을 예측하고 현재 속도 및 위치를 파악할 수 있도록 한다. 예를 들어, 사용자의 사각 지대에 차량이 있을 경우 차량용 모니터링 시스템(10)은 자이로 센서(220)를 이용하여 사용자가 차선을 변경하고자 하는 지의 여부를 판단할 수 있다. 이 경우 차량용 모니터링 시스템(10)은 차량을 제어하여 차선을 변경하지 못하게 함으로써 사각 지대에 위치한 차량과의 사고를 미연에 방지할 수 있다.
파노라마 영상 생성부(300)는 제1 영상 제어부(130)로부터 얻어진 제1 영상과 제2 영상 제어부(140)로부터 얻어진 제2 영상을 스티칭(Stitching)하여 파노라마 영상을 생성할 수 있다. 스티칭(Stitching)은 두 영상을 조합하여 하나의 영상을 생성하는 기술이다.
파노라마 영상 생성부(300)는 제1 영상과 제2 영상으로부터 제1 특징점과 제2 특징점을 추출하고, 제1 특징점과 제2 특징점 중 대응되는 위치의 특징점 쌍을 설정하고, 설정된 특징점 쌍을 이용하여 제1 영상 및 제2 영상을 공간적으로 보정하고, 제1 영상 및 제2 영상을 병합하여 파노라마 영상을 생성할 수 있다. 보다 구체적으로 파노라마 영상 생성부(300)는 제1 영상과 제2 영상에서 하나 이상의 특징점을 검출할 수 있다. 이 특징점은 제1 영상과 제2 영상에서 대응되는 위치에 위치한 특징점을 특징점 쌍으로 설정하여, 하나 이상의 특징점 쌍을 설정할 수 있다. 즉 특징점 쌍은 제1 영상의 특징점 중 하나와 제2 영상의 특징점 중 하나를 포함할 수 있다.
파노라마 영상 생성부(300)는 특징점 쌍에 대한 광속 보정(Bundle Adjustment)를 수행함으로써 제1 영상과 제2 영상을 공간적으로 보정할 수 있다. 광속 보정은 특징점을 이전 프레임에서의 위치와 현재 프레임에 존재하는 위치의 차이를 참조하여 특징점 쌍의 위치를 최적화할 수 있다. 파노라마 영상 생성부(300)는 특징점 쌍의 위치를 최적화함으로써 제1 영상과 제2 영상을 보정할 수 있다.
파노라마 영상 생성부(300)는 제1 영상과 제2 영상에 대한 보정에 기초하여 제1 영상과 제2 영상을 병합하여 파노라마 영상을 생성할 수 있다. 보다 명확한 이해를 위하여 도 7을 참조하면, 파노라마 영상 생성부(300)는 제1 영상과 제2 영상에서 특징점을 각각 추출하고, 추출된 특징점에서 대응되는 위치에 각각 존재하는 제1 영상의 특징점과 제2 영상의 특징점을 매칭하여 설정된 특징점 쌍을 이용하여 파노라마 영상을 생성할 수 있다.
사용자 상태 인식부(400)는 차량의 내부를 촬영한 영상에서 생성된 파노라마 영상에서 사용자의 얼굴을 식별할 수 있다. 도 8을 참조하면, 사용자 상태 인식부(400)는 사용자의 얼굴에서 눈과 입을 포함하는 얼굴 특징점을 추출하여 사용자의 제1 상태를 판단할 수 있다. 제1 상태는 수면 상태, 졸음 상태 그리고 정상 상태를 포함할 수 있다. 사용자의 제1 상태를 판단하기 위한 방법에는, 예를 들어, 사용자의 정상 상태의 얼굴에 대한 얼굴 특징점을 저장해두고 현재 사용자의 얼굴에서 추출된 얼굴 특징점과 비교하는 방법이 있다. 이러한 방법은 얼굴 특징점을 분석하여 눈동자의 픽셀 정보, 눈의 깜빡임, 얼굴의 각도, 흔들림 등을 통하여 사용자의 상태를 지속적으로 판단할 수 있다. 도 9를 참조하면, 사용자의 눈에 위치하는 얼굴 특징점을 추출하여 눈동자의 영역을 파악하여 사용자의 제1 상태를 판단할 수 있다. 이러한 방법은 본 발명을 설명하기 위한 하나의 예일 뿐, 이 외의 방법이 사용될 수도 있다.
경보 신호 출력부(500)는 음성 출력부(510), 실내등 점등부(520), 핸들 진동부(530) 그리고 디스플레이부(540)를 포함할 수 있다. 경보 신호 출력부(500)는 사용자 상태 인식부(400)가 판단한 사용자의 제1 상태에 따라 사용자에게 음성, 실내등 점등, 핸들 진동 그리고 디스플레이 알림 중 하나 이상을 제공할 수 있다. 경보 신호 출력부(500)는 사용자의 제1 상태가 수면 상태일 경우 강한 경보 신호를, 졸음 상태일 경우 약한 경보 신호를 제공할 수 있다. 강한 경보 신호와 약한 경보 신호의 차이는 경보 신호 출력부(500)가 제공하는 기능의 강도에 있다.
또한 경보 신호 출력부(500)는 사용자에게 음성 메시지를 제공할 수 있으며, 음성 메시지는 사용자가 응답을 할 수 있는 질의의 형태를 가질 수 있다.
음성 제어부(800)는 사용자의 경보 신호 출력부(500)를 통해 제공된 음성 메시지에 대한 응답을 수신할 수 있다. 이 때, 음성 제어부(800)는 응답을 분석하여 사용자의 제2 상태를 판단할 수 있다. 예를 들어, 제2 상태는 사용자의 응답 내용, 사용자의 목소리 등을 통해 판단할 수 있다. 제2 상태는 인지 상태 그리고 각성 상태를 포함할 수 있다. 각성 상태는 사용자가 음성 메시지에 대해 정확하게 응답하였으며, 사용자의 목소리 또한 명확한 경우를 의미하고, 인지 상태는 사용자로부터 응답은 수신하였으나 그 응답이 음성 메시지와 적절하게 대응되지 않았을 경우를 의미한다. 예를 들어, 경보 신호 출력부(500)가 사용자에게 '1+3은 무엇인가요?'라는 음성 메시지를 제공하였을 경우, 음성 제어부(800)는 4라는 응답을 수신하면 사용자의 제2 상태를 각성 상태로 판단할 수 있다. 만약 4 이외의 응답을 수신하거나, 4라는 응답을 수신하였으나 그 응답을 수신하기까지 딜레이가 기 설정된 시간을 초과한 경우 사용자의 제2 상태를 인지 상태라고 판단할 수 있다.
또 다른 실시 예로, 경보 신호 출력부(500)가 사용자에게 '지금 컨디션이 어떠신가요?'라는 음성 메시지를 제공하였을 경우, 음성 제어부(800)는 사용자가 '졸리다.'는 응답을 수신할 수 있다. 이 때, 음성 제어부(800)는 '졸리다'라는 문장을 분석하여 사용자의 제2 상태가 인지 상태라고 판단할 수 있다.
경보 신호 제어부(600)는 사용자의 제2 상태를 각성 상태인 것으로 판단하면 경보 신호 출력부(500)가 제공하는 경보 신호를 중단할 수 있다. 또한 경보 신호 제어부(600)는 사용자의 제2 상태를 인지 상태인 것으로 판단하면 경보 신호 출력부(500)가 제공하는 경보 신호를 중단하고, 기 설정된 임의의 시간마다 경보 신호를 다시 제공할 수 있다. 이 때, 경보 신호를 제공할 때마다 음성 메시지를 사용자에게 제공하여 다시 사용자의 제2 상태를 분석할 수 있다.
만약 경보 신호 출력부(500)가 제공한 음성 메시지에 대한 사용자의 응답이 수신되지 않았을 때, 경보 신호 제어부(600)는 사용자가 인지 불능 상태인 것으로 판단하고 경보 신호 출력부(500)의 경보 신호를 지속적으로 제공할 수 있다.
이와 같이 경보 신호 출력부(500)와 경보 신호 제어부(600)를 통해 사용자의 상태에 적절한 경보 신호를 제공함으로써 사용자가 졸음 운전을 방지하거나 지속하지 않도록 도움을 줄 수 있다.
차량 제어부(700)는 사용자 상태 인식부(400)가 판단한 사용자의 제1 상태가 수면 상태 또는 졸음 상태일 경우, 차량의 사각 지대에 임의의 차량이 존재하는 지 판단할 수 있다. 도 10을 참조하면, 사각 지대는 차량 전후방의 110~150도 이외의 모든 구간을 의미한다. 사용자가 수면 상태 또는 졸음 상태일 경우 차량의 주변 상황에 대한 정확한 인식 및 그에 대한 적절한 반응을 보이기 어렵기 때문에 차량 제어부(700)는 사용자의 상태에 따라 차량을 제어할 수 있다. 보다 구체적으로, 차량 제어부(700)는 차량의 사각 지대에 임의의 차량이 존재하면, 센서부(200)로부터 사용자가 차선을 변경하고자 하는 지의 여부를 판단할 수 있다. 만일 사용자의 제1 상태가 수면 상태 또는 졸음 상태일 때, 센서부(200)가 차선 변경에 대한 사용자의 시도를 파악했을 때 차량 제어부(700)는 핸들을 제어하여 차량이 차선을 변경할 수 없도록 한다. 이를 통해 사용자가 적절하지 못한 판단으로 사각 지대에 차량이 있음에도 불구하고 차선을 변경하는 등의 액션으로 인해 발생할 수 있는 사고를 미연에 방지할 수 있다.
저장부(900)는 제1 영상 제어부(130)와 제2 영상 제어부(140)를 통해 얻어진 제1 영상과 제2 영상을 저장할 수 있다. 또한, 저장부(900)는 제1 영상과 제2 영상을 병합하여 생성된 파노라마 영상을 저장하여, 사용자가 원할 때 언제든지 과거의 주행 영상을 획득할 수 있도록 한다.
통신부(1000)는 무선 통신을 통해 파노라마 영상을 모바일 기기에 전송하여 모바일 기기로도 파노라마 영상을 확인할 수 있도록 한다.
이하에서는 도 3 내지 도 6을 참조하여 본 발명의 일 실시 예에 의한 차량용 모니터링 방법을 설명한다. 차량용 모니터링 방법에 관한 설명에서 전술한 차량용 모니터링 시스템과 중복되는 세부 실시 예는 생략될 수 있다.
도 3은 본 발명의 일 실시 예에 의한 차량용 모니터링 방법을 설명하기 위한 도면이다. 도 3을 참조하면, 차량용 모니터링 시스템(이하, 시스템)은 제1 카메라로부터 제1 영상을 획득(S10)하고, 제2 카메라로부터 제2 영상을 획득(S11)할 수 있다.
제1 영상 및 제2 영상을 획득하면, 시스템은 제1 영상에서 제1 프레임을 추출(S20)하고, 제2 영상에서 제2 프레임을 추출(S21)할 수 있다.
제1 프레임 및 제2 프레임이 추출되면, 시스템은 제1 프레임에서 제1 특징점을 추출(S30)하고, 제2 프레임에서 제2 특징점을 추출(S31)할 수 있다.
시스템은 추출된 제1 특징점을 이용하여 제1 영상을 보정(S40)하고, 제2 특징점을 이용하여 제2 영상을 보정(S41)할 수 있다. 보다 구체적으로, 시스템은 제1 특징점과 제2 특징점 중 대응되는 위치의 특징점 쌍을 설정할 수 있다. 특징점 쌍은 제1 영상의 특징점 중 하나와 제2 영상의 특징점 중 하나를 포함할 수 있다. 시스템은 설정된 특징점 쌍을 이용하여 제1 영상 및 제2 영상을 공간적으로 보정할 수 있다.
시스템은 제1 영상과 제2 영상을 보정한 후, 보정된 제1 영상과 제2 영상을 병합하여 파노라마 영상을 생성할 수 있다(S50).
도 4는 본 발명의 일 실시 예에 의한 졸음 운전 방지 방법을 설명하기 위한 도면이다. 도 4를 참조하면, 시스템은 차량의 내부를 촬영한 파노라마 영상에서 사용자의 얼굴을 검출할 수 있다(S100).
시스템은 사용자의 얼굴에 포함된 눈과 입의 정보를 포함하는 하나 이상의 얼굴 특징점을 추출할 수 있다(S110). 추출된 얼굴 특징점은 사용자의 제1 상태를 판단하기 위한 것으로, 사용자의 제1 상태는 수면 상태, 졸음 상태 그리고 정상 상태를 포함할 수 있다.
시스템은 사용자의 정상 상태의 얼굴의 얼굴 특징점을 저장해두고 현재 사용자의 얼굴에 포함된 얼굴 특징점과 비교하여 사용자의 제1 상태를 판단할 수 있다(S120).
시스템은 사용자의 제1 상태가 수면 상태라고 판단하면(S130), 사용자에게 강한 경보 신호를 제공할 수 있다(S135). 경보 신호는 음성, 실내등 점등, 핸들 진동 그리고 디스플레이 알림 중 하나 이상을 포함할 수 있다.
시스템은 사용자의 제1 상태가 졸음 상태라고 판단하면(S140), 사용자에게 약한 경보 신호를 제공할 수 있다(S145). 강한 경보 신호와 약한 경보 신호는 경보 신호의 강도에 대한 차이에 따라 구분될 수 있다.
시스템은 사용자의 제1 상태가 정상 상태라고 판단하면(S150), 경보 신호를 제공하지 않고 사용자의 제1 상태를 다시 판단하여 사용자의 제1 상태를 지속적으로 확인할 수 있다.
도 5는 본 발명의 일 실시 예에 의한 경보 신호 관리 방법을 설명하기 위한 도면이다. 도 5를 참조하면, 차량용 모니터링 시스템(이하, 시스템)은 사용자의 제1 상태를 판단하여 수면 상태이거나 졸음 상태일 경우 경보 신호를 제공할 수 있다(S200).
시스템은 사용자에게 경보 신호를 제공한 후, 질의의 형태를 갖는 음성 메시지를 제공할 수 있다(S210).
사용자는 시스템으로부터 수신한 음성 메시지에 대한 적절한 응답 메시지를 음성으로 시스템에 송신할 수 있다(S220).
시스템은 사용자로부터 수신한 응답 메시지를 인식할 수 있다(S230). 만약 사용자가 시스템에 응답 메시지를 송신하였으나 시스팀에 음성 메시지를 인식하지 못하는 경우, 또는 사용자가 시스템에 응답 메시지를 송신하지 못하였을 경우에는 음성 메시지를 사용자에게 다시 제공할 수 있다.
시스템은 수신한 응답 메시지를 분석(S240)하여 사용자의 제2 상태를 판단할 수 있다.
시스템은 사용자의 제2 상태가 인지 상태(S250)라고 판단하면, 시스템은 경보 신호를 중단하고 기 설정된 임의의 시간 마다 경보 신호를 제공(S255)하여 사용자가 졸음 상태에 빠지지 않도록 방지할 수 있다. 예를 들어 시스템은 인지 상태의 사용자가 각성 상태에 도달하기 전까지 5분에 한 번씩 경보 신호를 제공할 수 있다.
시스템은 사용자의 제2 상태가 각성 상태라고 판단하면, 경보 신호를 중단할 수 있다(S260).
도 6은 본 발명의 일 실시 예에 의한 차선 변경 제어 방법을 설명하기 위한 도면이다. 도 6을 참조하면, 차량용 모니터링 시스템(이하, 시스템)은 사용자의 제1 상태를 판단할 수 있다(S300).
시스템은 사용자의 제1 상태가 졸음 상태 또는 수면 상태인지 판단할 수 있다(S310). 사용자의 제1 상태가 졸음 상태 또는 수면 상태이면 차량의 사각 지대에 임의의 차량이 존재하는 지 확인할 수 있다(S320). 사용자의 제1 상태가 각성 상태이면 시스템은 사용자의 제1 상태가 졸음 상태 또는 수면 상태라고 판단될 때까지 사용자의 제1 상태를 지속적으로 판단할 수 있다.
시스템은 차량의 사각 지대에 임의의 차량이 존재하는 것을 확인하면(S330), 사용자가 차선 변경을 시도하는 지의 여부를 판단할 수 있다. 사용자가 차선 변경을 시도하면(S340), 시스템은 핸들을 제어(S350)하여 차량이 차선을 변경할 수 없도록 한다. 이러한 구성을 통해 시스템은 졸음 상태 또는 수면 상태의 사용자가 차선을 변경하고자 하거나, 차량이 차선을 이탈하려고 할 때 핸들을 제어하여 차량이 기존 차선을 계속 유지할 수 있도록 한다. 따라서 졸음 상태 또는 수면 상태의 사용자에게 발생 가능한 사고를 미연에 방지할 수 있다는 효과가 있다.
본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

Claims (12)

  1. 서버가 차량을 모니터링하는 방법에 있어서,
    제1 및 제2 카메라로부터 제1 및 제2 영상을 각각 획득하는 단계;
    상기 제1 및 제2 영상을 스티칭(Stitching)하여 360도 파노라마 영상을 생성하는 단계를 포함하고,
    상기 제1 및 제2 영상은 광각 영상인 것을 특징으로 하는 차량용 모니터링 방법.
  2. 제1항에 있어서,
    상기 360도 파노라마 영상을 생성하는 단계는,
    상기 제1 및 제2 영상으로부터 제1 및 제2 특징점을 각각 추출하는 단계;
    상기 제1 및 제2 특징점 중 대응되는 위치의 특징점 쌍을 설정하는 단계;
    상기 특징점 쌍을 이용하여 상기 제1 및 제2 영상을 공간적으로 보정하는 단계;
    상기 보정된 제1 및 제2 영상을 병합하여 파노라마 영상을 생성하는 단계를 포함하는 차량용 모니터링 방법.
  3. 제1항에 있어서,
    상기 파노라마 영상에서 사용자의 얼굴을 식별하는 단계;
    상기 얼굴에서 눈과 입을 포함하는 얼굴 특징점을 추출하는 단계;
    상기 얼굴 특징점을 분석하여 상기 사용자의 제1 상태를 판단하는 단계를 포함하고,
    상기 사용자의 제1 상태는 수면 상태, 졸음 상태 또는 정상 상태 중 하나인 차량용 모니터링 방법.
  4. 제3항에 있어서,
    상기 사용자의 제1 상태가 수면 상태일 경우 강한 경보 신호, 졸음 상태일 경우 약한 경보 신호를 제공하고,
    상기 경보 신호는 실내등 점등, 핸들 진동 또는 음성 명령 중 적어도 하나를 포함하는 것을 특징으로 하는 차량용 모니터링 방법.
  5. 제4항에 있어서,
    상기 사용자로부터 상기 경보 신호에 대한 응답을 수신하는 단계;
    상기 응답을 분석하여 상기 사용자의 제2 상태를 판단하는 단계;
    상기 제2 상태를 이용하여 상기 경보 신호를 제어하는 단계를 포함하고,
    상기 제2 상태는 인지 상태, 각성 상태 중 하나인 차량용 모니터링 방법.
  6. 제5항에 있어서,
    상기 사용자의 제2 상태가 각성 상태인 것으로 판단되면 상기 경보 신호를 중단하고,
    상기 사용자의 제2 상태가 인지 상태인 것으로 판단되면, 기 설정된 임의의 시간마다 경보 신호를 제공하고,
    상기 응답이 수신되지 않은 경우 인지 불능 상태인 것으로 보고 상기 경보 신호를 지속하는 것을 특징으로 하는 차량용 모니터링 방법.
  7. 제3항에 있어서,
    상기 사용자의 제1 상태가 수면 또는 졸음일 경우, 상기 차량의 사각 지대에 임의의 차량이 존재하는 지 판단하는 단계;
    상기 차량에 부착된 센서를 이용하여 차선의 변경 시도 여부를 판단하는 단계;
    상기 사각 지대에 임의의 차량이 존재하고 차선 변경 시도가 발생하면, 핸들을 제어하는 단계를 포함하는 차량용 모니터링 방법.
  8. 서버가 차량을 모니터링하는 시스템에 있어서,
    제1 및 제2 영상을 획득하는 제1 및 제2 카메라를 포함하는 카메라부;
    상기 제1 및 제2 영상을 스티칭(Stitching)하여 360도 파노라마 영상을 생성하는 파노라마 영상 생성부를 포함하고,
    상기 제1 및 제2 영상은 광각 영상인 것을 특징으로 하는 차량용 모니터링 시스템.
  9. 제8항에 있어서,
    상기 파노라마 영상 생성부는,
    상기 제1 및 제2 영상으로부터 제1 및 제2 특징점을 각각 추출하고, 상기 제1 및 제2 특징점 중 대응되는 위치의 특징점 쌍을 설정하고, 상기 특징점 쌍을 이용하여 상기 제1 및 제2 영상을 공간적으로 보정하고, 상기 보정된 제1 및 제2 영상을 병합하여 파노라마 영상을 생성하는 것을 특징으로 하는 차량용 모니터링 시스템.
  10. 제8항에 있어서,
    상기 파노라마 영상에서 사용자의 얼굴을 식별하고, 상기 얼굴에서 눈과 입을 포함하는 얼굴 특징점을 추출하고, 상기 얼굴 특징점을 분석하여 상기 사용자의 제1 상태를 판단하는 사용자 상태 인식부;
    상기 사용자의 제1 상태가 수면 상태일 경우 강한 경보 신호, 졸음 상태일 경우 약한 경보 신호를 제공하는 경보 신호 출력부;
    상기 사용자로부터 상기 경보 신호에 대한 응답을 수신하고, 상기 응답을 분석하여 상기 사용자의 제2 상태를 판단하는 음성 제어부;
    상기 제2 상태를 이용하여 상기 경보 신호를 제어하는 경보 신호 제어부를 더 포함하고,
    상기 사용자의 제1 상태는 수면 상태, 졸음 상태 또는 정상 상태 중 하나이고, 상기 경보 신호는 실내등 점등, 핸들 진동 또는 음성 명령 중 적어도 하나를 포함하고, 상기 제2 상태는 인지 상태, 각성 상태 중 하나인 것을 특징으로 하는 차량용 모니터링 시스템.
  11. 제10항에 있어서,
    상기 경보 신호 제어부는,
    상기 사용자의 제2 상태가 각성 상태인 것으로 판단되면 상기 경보 신호를 중단하고, 상기 사용자의 제2 상태가 인지 상태인 것으로 판단되면, 기 설정된 임의의 시간마다 경보 신호를 제공하고, 상기 응답이 수신되지 않은 경우 인지 불능 상태인 것으로 보고 상기 경보 신호를 지속하는 것을 특징으로 하는 차량용 모니터링 시스템.
  12. 제10항에 있어서,
    상기 차량 제어부는,
    상기 사용자의 제1 상태가 수면 또는 졸음일 경우, 상기 차량의 사각 지대에 임의의 차량이 존재하는 지 판단하고, 상기 차량에 부착된 센서를 이용하여 차선의 변경 시도 여부를 판단하고, 상기 사각 지대에 임의의 차량이 존재하고 차선 변경 시도가 발생하면, 핸들을 제어하는 것을 특징으로 하는 차량용 모니터링 시스템.
KR1020180042543A 2017-11-16 2018-04-12 차량용 모니터링 방법 및 장치 KR102069735B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180042543A KR102069735B1 (ko) 2018-04-12 2018-04-12 차량용 모니터링 방법 및 장치
PCT/KR2018/014060 WO2019098729A1 (ko) 2017-11-16 2018-11-16 차량용 모니터링 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180042543A KR102069735B1 (ko) 2018-04-12 2018-04-12 차량용 모니터링 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20190119291A true KR20190119291A (ko) 2019-10-22
KR102069735B1 KR102069735B1 (ko) 2020-02-11

Family

ID=68420374

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180042543A KR102069735B1 (ko) 2017-11-16 2018-04-12 차량용 모니터링 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102069735B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230065550A (ko) * 2021-11-05 2023-05-12 주식회사 씨너렉스 이동 장치의 원격제어를 위한 영상 보정 방법
KR20230078846A (ko) * 2021-11-26 2023-06-05 재단법인 지능형자동차부품진흥원 다중 센서를 이용한 자율 주행 차량의 전방위 인지 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002053080A (ja) * 2000-06-01 2002-02-19 Nippon Lsi Card Co Ltd 自動車の内外状況監視装置及びシステム並びにこれら装置を用いた安全運転証明方法
JP2008212298A (ja) * 2007-03-01 2008-09-18 Toyota Central R&D Labs Inc 眠気判定装置及びプログラム
JP2012252497A (ja) * 2011-06-02 2012-12-20 Nissan Motor Co Ltd 車両用運転支援装置及び車両用運転支援方法
KR20150146071A (ko) * 2014-06-20 2015-12-31 주식회사 만도 2채널 광각 렌즈 카메라를 이용한 차량 영상 기록 장치 및 방법
KR20170081939A (ko) * 2016-01-05 2017-07-13 삼성전자주식회사 영상 촬영 전자 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002053080A (ja) * 2000-06-01 2002-02-19 Nippon Lsi Card Co Ltd 自動車の内外状況監視装置及びシステム並びにこれら装置を用いた安全運転証明方法
JP2008212298A (ja) * 2007-03-01 2008-09-18 Toyota Central R&D Labs Inc 眠気判定装置及びプログラム
JP2012252497A (ja) * 2011-06-02 2012-12-20 Nissan Motor Co Ltd 車両用運転支援装置及び車両用運転支援方法
KR20150146071A (ko) * 2014-06-20 2015-12-31 주식회사 만도 2채널 광각 렌즈 카메라를 이용한 차량 영상 기록 장치 및 방법
KR20170081939A (ko) * 2016-01-05 2017-07-13 삼성전자주식회사 영상 촬영 전자 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230065550A (ko) * 2021-11-05 2023-05-12 주식회사 씨너렉스 이동 장치의 원격제어를 위한 영상 보정 방법
KR20230078846A (ko) * 2021-11-26 2023-06-05 재단법인 지능형자동차부품진흥원 다중 센서를 이용한 자율 주행 차량의 전방위 인지 장치 및 방법

Also Published As

Publication number Publication date
KR102069735B1 (ko) 2020-02-11

Similar Documents

Publication Publication Date Title
CN104573623B (zh) 人脸检测装置、方法
JP5437855B2 (ja) 障害物検知装置およびそれを備えた障害物検知システム、並びに障害物検知方法
IT201900011403A1 (it) Detecting illegal use of phone to prevent the driver from getting a fine
JP5071198B2 (ja) 信号機認識装置，信号機認識方法および信号機認識プログラム
US11244173B2 (en) Image display apparatus
US20160264051A1 (en) Night Driving System and Method
US20050163383A1 (en) Driver's eye image detecting device and method in drowsy driver warning system
WO2015129280A1 (ja) 画像処理装置および画像処理方法
KR102069735B1 (ko) 차량용 모니터링 방법 및 장치
JP2009265722A (ja) 顔向き検知装置
JP2008053901A (ja) 撮像装置および撮像方法
JP4552636B2 (ja) ドライバモニタシステムおよびその処理方法
JP2006341713A (ja) ヘッドライト照射方向変更システム、及びヘッドライト照射方向変更方法
JP2018106239A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP2009251761A (ja) 運転支援システム
JP5541099B2 (ja) 道路区画線認識装置
KR102010407B1 (ko) 스마트 리어뷰 시스템
JP6649063B2 (ja) 車両後方表示装置及び表示制御装置
JP2009278185A (ja) 画像認識装置
US20200111227A1 (en) Orientation detection apparatus for vehicle, image processing system, vehicle, and orientation detection method for vehicle
JPWO2015115103A1 (ja) 画像処理装置、カメラシステム、および画像処理方法
KR20160064601A (ko) 차량 내의 객체 검출 장치 및 이의 방법
WO2018123547A1 (ja) 車両用視認装置
KR20170075523A (ko) 차량용 주변 감시 장치 및 방법
CN110758237A (zh) 电子装置及行车安全提醒方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right