KR20180058046A - 차량 주행 정보를 이용한 이미지 분석 방법, 장치, 시스템, 프로그램 및 저장 매체 - Google Patents

차량 주행 정보를 이용한 이미지 분석 방법, 장치, 시스템, 프로그램 및 저장 매체 Download PDF

Info

Publication number
KR20180058046A
KR20180058046A KR1020160156668A KR20160156668A KR20180058046A KR 20180058046 A KR20180058046 A KR 20180058046A KR 1020160156668 A KR1020160156668 A KR 1020160156668A KR 20160156668 A KR20160156668 A KR 20160156668A KR 20180058046 A KR20180058046 A KR 20180058046A
Authority
KR
South Korea
Prior art keywords
pattern
optical flow
image
information
optical
Prior art date
Application number
KR1020160156668A
Other languages
English (en)
Other versions
KR102631964B1 (ko
Inventor
이승원
김동균
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020160156668A priority Critical patent/KR102631964B1/ko
Priority to US16/463,315 priority patent/US10909693B2/en
Priority to PCT/KR2017/013443 priority patent/WO2018097627A1/ko
Priority to CN201780072644.3A priority patent/CN109983469B/zh
Publication of KR20180058046A publication Critical patent/KR20180058046A/ko
Application granted granted Critical
Publication of KR102631964B1 publication Critical patent/KR102631964B1/ko

Links

Images

Classifications

    • G06K9/00791—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • G06K9/481—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N5/225—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 차량 주행 정보를 이용한 이미지 분석 방법, 장치, 시스템, 프로그램 및 기록매체에 관한 것으로서, 본 발명의 일 실시예에 따른 차량 내 통신망을 통해 카메라 및 제어기와 연동되는 장치에서의 이미지 분석 방법은 차량 주행을 제어하는 적어도 하나의 제어기로부터 차량 주행 정보를 수신하는 단계와 상기 카메라에 의해 촬영된 영상 정보를 수신하는 단계와 상기 차량 주행 정보에 기반하여 추정된 제1 광류 패턴을 생성하는 단계와 상기 영상 정보에 기반하여 계산된 제2 광류 패턴을 생성하는 단계와 상기 제1 광류 패턴 및 상기 제2 광류 패턴에 기반하여 전경 움직임 패턴을 식별하는 단계를 포함할 수 있다. 따라서, 본 발명은 차량 주행 정보를 이용하여 보다 정확하게 카메라 촬영된 영상을 분석할 수 있는 장점이 있다.

Description

차량 주행 정보를 이용한 이미지 분석 방법, 장치, 시스템, 프로그램 및 저장 매체{Method, Apparatus, System, Program and Recording Medium for Analyzing Image using Vehicle Driving Information}
본 발명은 영상 분석에 관한 것으로서, 상세하게, 차량 주행 중 차량의 주행 정보에 기반하여 예측된 광류 패턴과 카메라 촬영된 영상 정보에 기반하여 산출된 광류 패턴을 이용하여 움직임 패턴을 분석하는 것이 가능한 이미지 분석 방법, 장치, 시스템, 프로그램 및 기록 매체에 관한 것이다.
자동차 등의 차량에는, 이동 수단으로서의 기능을 넘어서 사용자로 하여금 보다 안정적이면서도 편안한 주행 상태를 제공할 수 있도록 하는 각종 편의 수단으로서의 기능이 요구되고 있다.
최근에는, 주행 안전을 위한 다양한 운전자 주행 안전 보조 시스템이 차량에 탑재되고 있는 실정이다.
주행중인 도로상에서는 자차 운전자의 부주의뿐만 아니라 다른 차량 운전자의 부주의한 운전에 기인한 위험 상황이 발생될 수 있으며, 그에 따라, 대형 사고가 발생될 수 있다.
종래에는 카메라 및 라이다(Lidar)를 이용하여 주행 중에 차량 전방의 물체를 감지할 수 있고, 충돌 가능성이 있는 경우, 음성 및 시각 경고로서 운전자가 브레이크를 조작하게 하거나, 속도를 줄이도록 하는 사전 충돌 방지 시스템 등의 첨단 운전자 보조 시스템이 차량에 장착되었다. 하지만, 라이다는 고가의 장비로서, 최고급 차량에 옵션으로 장착되고 있다.
또한, 현재 일부 차량에서는 차량 앞에 있는 물체를 분류하는데 CMOS(Complementary Metal-Oxide-Semiconductor, 상보성 금속 산화막 반도체) 카메라가 사용되고 있다. 그런데, CMOS 카메라만으로는 자동 긴급 제동을 하기에 충분히 신뢰할 만한 정보를 획득할 수 없는 단점이 있었다.
도 1에 도시된 바와 같이, 종래의 카메라를 이용한 물체 감지 방법은 화상 캡쳐 유닛-즉, 카메라-이 구비된 이미지 센서에 의해 캡쳐된 영상을 수신하면, 광류 벡터 계산 유닛으로 촬영된 영상을 전달한다. 광류 벡터 계산 유닛은 수신된 영상으로부터 특징점을 추출하고, 이를 매칭하여 광류 벡터를 계산한다.
움직임 분류 유닛은 계산된 광류 벡터에 기반하여 전경 움직임과 배경 움직임을 식별하였다.
즉, 종래에는 카메라에 의해 촬영된 영상 정보만을 이용하여 차량 전방의 움직이는 물체를 구분하였다. 하지만, 카메라 촬영된 영상 정보만을 이용한 광류 분류 방법은 광류 벡터 계산 시 오류 발생 확률이 높을 뿐만 아니라 카메라의 물리적 배치 상태에 따라 그 정확도가 급격히 떨어지는 문제점이 있었다.
또한, 종래의 카메라만을 이용한 이미지 분석 방법은 차량 움직임에 의한 광류 벡터를 구별하기 위해 많은 연산이 필요하고, 그에 따른 처리 지연 및 연산 오류로 움직임 분류가 정확하지 않은 문제점이 있었다.
따라서, 보다 정확한 이미지 분석을 통해 보다 정확하게 차량 전방의 움직이는 물체를 식별하기 위한 이미지 분석 장치가 요구되고 있는 실정이다.
본 발명은 상술한 종래 기술의 문제점을 해결하기 위해 고안된 것으로, 본 발명의 목적은 차량 주행 정보를 이용한 이미지 분석 방법, 이미지 분석 장치, 그를 이용한 이미지 분석 시스템, 이미지 분석 방법을 실현시키기 위한 프로그램, 해당 프로그램이 기록된 기록 매체를 제공하는 것이다.
본 발명의 다른 목적은 차량의 움직임 정보에 기반하여 예측된 광류 패턴과 카메라 촬영된 영상 정보에 기반하여 산출된 광류 패턴을 이용하여 움직임 패턴을 분석하는 것이 가능한 이미지 분석 방법 및 장치를 제공하는 것이다.
본 발명의 또 다른 목적은 차량의 움직임 정보에 기반하여 예측된 광류 패턴과 카메라 촬영된 영상 정보에 기반하여 산출된 광류 패턴을 비교하여 전경 움직임과 배경 움직임을 식별하고, 식별된 배경 움직임에 기반하여 카메라를 자동 교정하는 것이 가능한 이미지 분석 방법 및 장치를 제공하는 것이다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명은 차량 주행 정보를 이용한 이미지 분석 방법 및 장치와 해당 이미지 분석 장치를 포함하는 이미지 분석 시스템을 제공한다.
본 발명의 일 실시예에 따른 차량 내 통신망을 통해 카메라 및 제어기와 연동되는 장치에서의 이미지 분석 방법은 차량 주행을 제어하는 적어도 하나의 제어기로부터 차량 주행 정보를 수신하는 단계와 상기 카메라에 의해 촬영된 영상 정보를 수신하는 단계와 상기 차량 주행 정보에 기반하여 추정된 제1 광류 패턴을 생성하는 단계와 상기 영상 정보에 기반하여 계산된 제2 광류 패턴을 생성하는 단계와 상기 제1 광류 패턴 및 상기 제2 광류 패턴에 기반하여 전경 움직임 패턴을 식별하는 단계를 포함할 수 있다.
여기서, 상기 차량 주행 정보는 핸들 조향 각도 정보 및 차량 속도 정보를 포함하되, 상기 제1 광류 패턴을 생성하는 단계는 상기 핸들 조향 각도에 기반하여 광류 벡터의 방향을 추정하는 단계와 상기 차량 속도 정보에 기반하여 상기 광류 벡터의 크기를 추정하는 단계와 상기 추정된 방향과 크기에 기반하여 상기 광류 벡터를 추정하는 단계와 상기 추정된 광류 벡터를 소정 이미지 평면에 매핑하여 상기 제1 광류 패턴을 생성하는 단계를 포함할 수 있다.
또한, 상기 이미지 평면은 상기 카메라에 대응하여 미리 설정된 소정 설정 파라메터에 기반하여 결정될 수 있다.
여기서, 상기 설정 파라메터는 상기 카메라의 지향 각도, 상기 카메라의 배치 방향 중 적어도 하나를 포함할 수 있다.
또한, 상기 제2 광류 패턴을 생성하는 단계는 상기 영상 정보로부터 영상 프레임을 추출하는 단계와 연속된 두 개의 상기 영상 프레임을 이용하여 광류 벡터를 계산하는 단계와 상기 계산된 광류 벡터를 소정 이미지 평면에 매핑하여 제2 광류 패턴을 생성하는 단계를 포함할 수 있다.
또한, 상기 이미지 평면은 상기 영상 정보 및 상기 카메라에 대응하여 미리 설정된 소정 설정 파라메터 중 어느 하나에 기반하여 결정될 수 있다.
또한, 상기 움직임 패턴은 상기 제1 광류 패턴과 제2 광류 패턴의 서로 대응되는 위치에서의 광류 벡터 차이 값에 기반하여 식별될 수 있다.
여기서, 상기 차이 값이 소정 기준 범위 이내이면, 해당 광류 벡터가 배경 움직임 패턴으로 확정 또는 분류될 수 있다.
또한, 상기 차이 값이 상기 기준 범위를 벗어나면, 해당 광류 벡터가 상기 전경 움직임 패턴으로 확정 또는 분류될 수 있다.
또한, 상기 움직임 패턴에 대한 상기 확정 결과에 기반하여 배경 움직임 패턴과 전경 움직임 패턴이 생성될 수 있다.
여기서, 상기 배경 움직임 패턴에 기반하여 상기 카메라의 설정 파라메터가 교정될 수 있다.
또한, 상기 전경 움직임 패턴에 기반하여 움직이는 객체가 식별될 수 있다.
본 발명의 다른 일 실시예에 따른 차량 내 통신망을 통해 카메라 및 제어기와 연동되는 이미지 분석 장치는 상기 차량 내 통신망을 통해 차량 주행 정보 및 영상 정보를 수신하는 통신부와 상기 차량 주행 정보에 기반하여 추정된 제1 광류 패턴 및 상기 영상 정보에 기반하여 계산된 제2 광류 패턴을 생성하는 광류 패턴 생성부와 상기 제1 광류 패턴 및 상기 제2 광류 패턴에 기반하여 움직임 패턴을 식별하는 움직임 패턴 식별부를 구비하고, 상기 움직임 패턴은 전경 움직임 패턴 및 배경 움직임 패턴을 포함할 수 있다.
여기서, 상기 차량 주행 정보는 해당 차량의 주행을 제어하는 적어도 하나의 제어기로부터 수신되고, 핸들 조향 각도 정보 및 차량 속도 정보를 포함하되, 상기 광류 패턴 생성부는 상기 핸들 조향 각도에 기반하여 광류 벡터의 방향을 추정하는 광류 방향 추정부와 상기 차량 속도 정보에 기반하여 상기 광류 벡터의 크기를 추정하는 광류 크기 추정부와 상기 추정된 방향과 크기에 기반하여 상기 광류 벡터를 추정하는 광류 벡터 추정부와 상기 추정된 광류 벡터를 소정 이미지 평면에 매핑하여 상기 제1 광류 패턴을 생성하는 제1 영상 평면 매핑부가 구비된 제1 광류 패턴 생성부를 포함할 수 있다.
여기서, 상기 이미지 평면은 상기 카메라에 대응하여 미리 설정된 소정 설정 파라메터에 기반하여 결정될 수 있다.
또한, 상기 설정 파라메터는 상기 카메라의 지향 각도, 상기 카메라의 배치 방향 중 적어도 하나를 포함할 수 있다.
또한, 상기 광류 패턴 생성부는 상기 영상 정보로부터 영상 프레임을 추출하는 영상 프레임 추출부와 연속된 두 개의 상기 영상 프레임을 이용하여 광류 벡터를 계산하는 광류 벡터 계산부와 상기 계산된 광류 벡터를 소정 이미지 평면에 매핑하여 상기 제2 광류 패턴을 생성하는 제2 영상 평면 매칭부가 구비된 제2 광류 패턴 생성부를 포함할 수 있다.
여기서, 상기 이미지 평면은 상기 영상 정보 및 상기 카메라에 대응하여 미리 설정된 소정 설정 파라메터 중 어느 하나에 기반하여 결정될 수 있다.
또한, 상기 움직임 패턴 식별부는 상기 제1 광류 패턴과 제2 광류 패턴의 서로 대응되는 위치에서의 광류 벡터 차이 값을 비교하는 광류 패턴 비교부와 상기 차이 값이 소정 기준 범위 이내이면, 해당 광류 벡터를 상기 배경 움직임 패턴으로 확정하는 배경 움직임 확정부와 상기 차이 값이 상기 기준 범위를 벗어나면, 해당 광류 벡터를 상기 전경 움직임 패턴으로 확정하는 전경 움직임 확정부를 포함할 수 있다.
또한, 상기 식별 결과에 기반하여 상기 움직임 패턴 식별부가 배경 움직임 패턴과 전경 움직임 패턴을 생성하되, 상기 이미지 분석 장치는 상기 배경 움직임 패턴에 기반하여 상기 카메라의 설정 파라메터가 교정되는 카메라 교정부와 상기 전경 움직임 패턴에 기반하여 움직이는 객체가 검출하는 객체 검출부 중 적어도 하나를 더 포함할 수 있다.
본 발명의 또 다른 일 실시예에 따른 이미지 분석 시스템은 구비된 적어도 하나의 이미지 센서를 이용하여 주행 중인 차량의 영상 정보를 수집하는 화상 촬영 장치 및 차량 내 통신망을 통해 차량 주행 정보 및 상기 영상 정보를 수신하는 통신부와 상기 차량 주행 정보에 기반하여 추정된 제1 광류 패턴 및 상기 영상 정보에 기반하여 계산된 제2 광류 패턴을 생성하는 광류 패턴 생성부와 상기 제1 광류 패턴 및 상기 제2 광류 패턴에 기반하여 움직임 패턴을 식별하는 움직임 패턴 식별부가 구비된 이미지 분석 장치를 구비하고, 상기 움직임 패턴은 전경 움직임 패턴 및 배경 움직임 패턴을 포함하는 것을 특징으로 한다.
본 발명의 또 다른 일 실시예에 따른 차량 내 통신망이 구비된 차량은 구비된 적어도 하나의 이미지 센서를 이용하여 주행 중인 차량의 영상 정보를 수집하는 화상 촬영 장치와 차량 주행 정보를 수집하는 적어도 하나의 제어기와 상기 차량 내 통신망을 통해 상기 차량 주행 정보 및 상기 영상 정보가 수신되면, 상기 차량 주행 정보에 기반하여 추정된 제1 광류 패턴 및 상기 영상 정보에 기반하여 계산된 제2 광류 패턴을 생성하고, 상기 제1 광류 패턴 및 상기 제2 광류 패턴에 기반하여 전경 움직임 패턴을 식별하는 움직임 패턴 식별부를 포함할 수 있다.
본 발명의 또 다른 일 실시예에 따른 이미지 분석 장치는 적어도 하나의 프로세서와 상기 적어도 하나의 프로세서가 실행하는 프로그램을 저장하는 적어도 하나의 메모리를 포함하는 차량용 이미지 분석 장치는 상기 적어도 하나의 프로세서가 차량 내 통신망을 통해 차량 주행 정보와 영상 정보를 수신하고, 상기 차량 주행 정보에 기반하여 추정된 제1 광류 패턴을 생성하고, 상기 영상 정보에 기반하여 계산된 제2 광류 패턴을 생성하고, 상기 제1 광류 패턴 및 상기 제2 광류 패턴에 기반하여 움직임 패턴을 식별하여 전경 움직임 패턴 및 배경 움직임 패턴을 생성하도록 하는 것을 특징으로 한다.
본 발명의 또 다른 일 실시예는 상기한 이미지 분석 방법을 실현시키기 위한 프로그램 및 상기 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공될 수 있다.
상기 본 발명의 양태들은 본 발명의 바람직한 실시예들 중 일부에 불과하며, 본원 발명의 기술적 특징들이 반영된 다양한 실시예들이 당해 기술분야의 통상적인 지식을 가진 자에 의해 이하 상술할 본 발명의 상세한 설명을 기반으로 도출되고 이해될 수 있다.
본 발명에 따른 방법 및 장치에 대한 효과에 대해 설명하면 다음과 같다.
본 발명은 차량 주행 정보를 이용한 이미지 분석 방법, 이미지 분석장치, 그를 이용한 이미지 분석 시스템을 제공하는 장점이 있다.
또한, 본 발명은 차량의 움직임 정보에 기반하여 예측된 광류 패턴과 카메라 촬영된 영상 정보에 기반하여 산출된 광류 패턴을 이용하여 움직임 패턴을 식별함으로써, 차량 전방의 움직이는 객체를 보다 정확하게 식별할 수 있는 이미지 분석 방법 및 장치를 제공하는 장점이 있다.
또한, 본 발명은 차량의 움직임 정보에 기반하여 예측된 광류 패턴과 카메라 촬영된 영상 정보에 기반하여 산출된 광류 패턴을 비교하여 전경 움직임과 배경 움직임을 식별하고, 식별된 배경 움직임에 기반하여 카메라를 자동 교정하는 것이 가능한 이미지 분석 방법 및 장치를 제공하는 장점이 있다.
본 발명에서 얻을 수 있는 장점 및 효과는 이상에서 언급한 장점 및 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
이하에 첨부되는 도면들은 본 발명에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 본 발명에 대한 실시예들을 제공한다. 다만, 본 발명의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시예로 구성될 수 있다.
도 1은 종래 기술에 따른 차량에 탑재된 카메라를 이용하여 이미지를 분석하는 장치의 구성을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 차량 통신 네트워크의 도식적인 블록도이다.
도 3은 본 발명의 다른 일 실시예에 따른 차량 내 통신 네트워크의 구조를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 이미지 분석 시스템을 설명하기 위한 블록도이다.
도 5는 본 발명의 일 실시예에 따른 이미지 분석 장치의 구성을 설명하기 위한 블록도이다.
도 6은 본 발명의 일 실시예에 따른 이미지 분석 장치의 세부 구성을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 제1 광류 패턴 생성부의 세부 구성을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 제2 광류 패턴 생성부의 세부 구성을 설명하기 위한 블록도이다.
도 9는 본 발명의 일 실시예에 따른 움직임 패턴 식별부의 세부 구성을 설명하기 위한 블록도이다.
도 10은 본 발명의 일 실시예에 따른 이미지 분석 장치에서의 차량 주행 상태 정보를 이용한 이미지 분석 방법을 설명하기 위한 순서도이다.
도 11 내지 도 13은 본 발명의 일 실시예에 따른 이미지 분석 방법의 세부 수행 절차를 설명하기 위한 순서도이다.
도 14는 본 발명의 일 실시예에 따른 이미지 분석 시스템에서의 차량 주행 상태 정보에 기반한 이미지 분석 절차를 설명하기 도면이다.
도 15는 본 발명의 다른 일 실시예에 따른 이미지 분석 장치의 구성을 설명하기 위한 블록도이다.
이하, 본 발명의 실시예들이 적용되는 장치 및 다양한 방법들에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성 요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성 요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 2는 본 발명의 일 실시예에 따른 차량 통신 네트워크의 도식적인 블록도이다.
도 2를 참조하면, 본 발명에 따른 고속 CAN 네트워크는 크게 차량용 게이트웨이(Gateway, 100), 제1 내지 제n 제어기, CAN 버스(120), OBD(130), 텔레매틱스 단말(140) 중 적어도 하나를 포함하여 구성될 수 있다.
차량용 게이트웨이(100)는 CAN 네트워크상에 연결된 제어기들에 대한 인증 절차를 통해 해당 제어기가 안전한 제어기인지 여부를 판단할 수 있다. 또한, 차량용 게이트웨이(100)는 텔래매틱스 단말(140) 및 ODB(130)와 유선 또는 무선으로 연결될 수 있다.
특히, 차량용 게이트웨이(100)는 텔래매틱스 단말(140) 또는 ODB(130)로부터의 소정 제어 신호에 따라 차량에 탑재된 제어기-즉, ECU-들에 설치된 소프트웨어 버전 정보를 수집하고, 이를 텔래매틱스 단말(140) 또는 ODB(130)에 전송할 수 있다. 또한, 차량용 게이트웨이(100)는 텔래매틱스 단말(140) 또는 ODB(130)의 소프트웨어 업데이트 요청이 수신되면 해당 제어기를 위한 소프트웨어 파일을 텔래매틱스 단말(140) 또는 ODB(130)로부터 수신하여 해당 제어기에 설치할 수도 있다.
CAN 주선 버스(120)는 Twisted pair wire를 사용하며, 2개의 선은 서로 다른 신호(CAN_HI, CAN_LO)에 의해 구동된다. CAN 주선 버스의 양 종단에는 종단 저항(121)이 구비될 수 있다. CAN 주선 버스(120)상의 전송 속도는 버스의 길이-즉, 주선의 길이-에 따라 달라질 수 있다.
제1 내지 제N 제어기는 CAN 주선 버스(120)상의 소정의 CAN 조인트 컨넥터(Joint Connector) 또는 CAN 허브(Hub)-미도시-와 CAN 지선 버스(123)를 통해 연결될 수 있으며, 이론적으로 하나의 CAN 네트워크에 연결될 수 있는 최대 제어기의 개수는 2032이다. 또한, 하나의 CAN 허브에는 복수개의 제어기가 CAN 지선 버스(123)를 통해 연결될 수 있다.
이하에서는 도면 번호 110 내지 115를 참조하여 일반적인 CAN 네트워크에 연결되는 제어기의 구조를 살펴보기로 한다.
제1 제어기(110)는 CAN 드라이버(111), CAN 컨트롤러(113), 마이크로컨트롤러(Microcontroller, 115)로 구성될 수 있다.
CAN 드라이버(111)는 소정 CAN 컨넥터 또는 CAN 허브를 통해 CAN BUS(120)와 연결되며, 제어기의 물리 계층을 구성한다. CAN 드라이버(111)는 CAN BUS(120)의 장애를 감지하고 이를 관리하는 기능 및 메시지의 송수신 기능을 제공할 수 있다.
CAN 컨트롤러(113)는 CAN 프로토콜 메시지를 송수신하고 수신된 메시지에 대한 메시지 필터링 기능을 수행한다. 또는, CAN 컨트롤러(113)는 재전송 제어를 위한 메시지 버퍼 및 마이크로컨트롤러(115)와의 인터페이스 기능을 제공한다.
마이크로컨트롤러(115)는 CPU가 탑재될 수 있으며, 상위 계층 프로토콜을 제공하고 다양한 응용들을 제공할 수 있다.
상기한 도 1에는 도시되어 있지는 않으나, 제어기는 우선 순위 정보 및 설치된 소프트웨어 버전 정보, 센싱 정보 등이 기록된 소정 메모리를 포함할 수 있다.
여기서, 메모리는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장 매체를 포함할 수 있다.
도 3은 본 발명이 적용되는 차량 통신 네트워크의 도식적인 블록도이다.
도 3에 도시된 바와 같이, 차량 통신 네트워크는 하나의 차량용 게이트웨이에서 상이한 버스 통신 프로토콜을 지원하는 전자 제어 장치-이하, 간단히 ECU(Electronic Control Unit)라 명함-들간의 프로토콜 변환을 제공함으로써, 서로 통신이 가능하게 할 수 있다.
이하에서는 차량용 게이트웨이에 연결될 수 있는 버스 통신 프로토콜과 해당 버스 통신 프로토콜을 사용하는 ECU들에 대해 간단히 설명하기로 한다.
일 예로, 차량용 버스 통신 프로토콜은
(1) 차량 진단 및 전기 구성 요소들을 위해 일반적으로 사용되는 J1850 및/또는 OBDII 버스;
(2) 엔진 제어, 변속기 제어, 실내 온도 제어(climate control)와 같은 차량 시스템들을 위해 일반적으로 사용되고, 드라이브-바이-와이어(drive-by-wire), 전기 제어 유닛(ECU)을 위해서도 사용될 수 있는 인텔리버스(Intellibus);
(3) 조향 제어 시스템들, 브레이킹 시스템들 및 엔진 관리 시스템들을 위해 일반적으로 사용되는 고속(high-speed) 계측 제어기 통신망(고속 CAN 버스);
(4) 안전 관련 전기 기기들을 위해 일반적으로 사용되는 분산 시스템 인터페이스(DSI, distributed system interface) 및/또는 보쉬-지멘스-테믹(BST, Bosch-Siemens-Temic);
(5) 안전에 중요한 전기 기기 어플리케이션들을 위해 일반적으로 사용되는 바이트플라이트(byteflight);
(6) 인텔리전트(intelligent) 작동기들 및/또는 인텔리전트 센서들을 위해 일
반적으로 사용되는 로컬(local) 내부 연결 네트워크(LIN, local interconnect network);
(7) 창문들, 미러(mirror)들, 좌석들 및/또는 실내 온도 조절기와 같은 저속 전기 기기들을 위해 일반적으로 사용되는 저속 계측 제어기 통신망(CAN) 및/또는 모토로라 인터커넥터(MI, Motorola® interconnect);
(8) 오디오 헤드 유닛, 증폭기, CD 플레이어, DVD 플레이어, 셀룰러 연결, 블루투스(Bluetooth) 연결, 주변 컴퓨터 연결들, 뒷좌석 엔터테인먼트(rear seat entertainment) 유닛들, 라디오, 디지털 스토리지(storage), 및/또는 GPS 네비게이션 시스템과 같은 차량 내의 멀티미디어 전기 기기들을 지원하는데 일반적으로 사용되는 모바일 미디어 링크(MML, mobile media link), 도메스틱 디지털 데이터(domestic digital data, D2B), 스마트와이어X(smartwireX), IEBus(inter-equipment bus), 및/또는 모스트(MOST, media oriented systems transport);
(9) 천정형 영상표시기(heads up display), 기구 패널 디스플레이(instrument panel display)들, 다른 디지털 디스플레이들, 운전자 지원 디지털 비디오 카메라(driver assist digital video camera)들을 지원하기 위해 일반적으로 사용되는 저전압 차등 신호(LVDS, Low-Voltage Differential Signaling);
(10) 안전 중요 특성들 및/또는 바이-와이어(by-wire) 어플리케이션들을 위해 사용될 수 있는 플렉스레이(FlexRay);
(11) 기기와의 일대일 통신 연결을 통해 가용 대역폭에 대한 효율성이 높아 고장 진단 시스템(OBD, On-Board Diagnostics), 인포테인먼트 시스템 및 카메라를 이용한 서라운드 뷰와 같은 기능을 포함하는 운전자 지원 시스템(DAS, Driver Assistance System) 등과의 연동을 위해 사용되는 이더넷(Ethenet) 등을 포함할 수 있다.
상기한 예에서의 상이한 버스 통신 프로토콜들을 사용하는 ECU 또는 전자 부품들이 서로 통신할 수 있게 하기 위해서는 적어도 하나의 차량용 게이트웨이가 차량 네트워크에 포함될 수 있다. 예를 들어, 안전 관련된 이슈에 있어서, 브레이킹 ECU 및 엔진 제어 ECU 및/또는 변속기 제어 ECU가 서로 통신할 필요가 있을 수 있다. 이때, 게이트웨이는 상이한 통신 프로토콜을 지원하는 ECU들 간의 통신을 용이하게 하기 위해 프로토콜 변환 기능을 제공할 수 있다.
본 발명에 따른 차량용 게이트웨이는 소정 진단 통신 인터페이스(Diagnostics Communication Interface) 모듈이 구비될 수 있으며, 진단 통신 인터페이스 모듈을 통해 외부 진단기와 통신할 수 있다. 여기서, 진단 통신 인터페이스 모듈은 이더넷(Ethernet) 통신 기능, 블루투스(Bluetooth) 통신 기능, Wi-Fi 통신 기능, NFC(Near-Field Connection) 통신 기능. WCDMA(Wideband Code Division Multiple Access) 통신 기능, LTE(Long Term Evolution) 통신 기능, LTE-Advanced 통신 기능 중 적어도 어느 하나의 기능을 제공할 수 있다.
도 4는 본 발명의 일 실시예에 따른 이미지 분석 시스템을 설명하기 위한 블록도이다.
도 4를 참조하면, 이미지 분석 시스템(400)은 차량 주행 제어 장치(410), 화상 촬영 장치(420), 영상 출력 장치(430), 차량 내 통신망(440) 및 이미지 분석 장치(440)를 포함하여 구성될 수 있다.
차량 주행 제어 장치(410)는 차량 주행 중 실시간으로 주행 상태 정보를 수집할 수 있다. 여기서, 주행 상태 정보는 주행 속도 정보, 핸들 조향 각도 정보, 브레이크 조작 상태 정보, 크루즈 기능 설정 상태 정보 중 적어도 하나를 포함할 수 있다.
차량 주행 제어 장치(410)는 차량 내 통신망(440)을 통해 수집된 주행 상태 정보를 주기적으로 또는 특정 이벤트 발생시마다 이미지 분석 장치(450)에 전송할 수 있다. 일 예로, 차량 주행 제어 장치(410)는 엔진 관리 ECU, 브레이크 제어 ECU, 속도 측정 센서, 조향 제어 ECU 등을 포함할 수 있으나, 이에 한정되지는 않으며, 차량의 현재 주행 상태 정보 수집이 가능한 장치이면 족하다. 일 예로, 차량 주행 제어 장치(410)는 GPS(Global Positioning System) 장치, 네비게이션(Navigation) 장치 등도 포함될 수 있다.
화상 촬영 장치(420)는 구비된 이미지 센서-예를 들면, 카메라-를 통해 획득된 영상 정보를 차량 내 통신망(440)을 통해 이미지 분석 장치(450)로 전송할 수 있다. 차량에는 복수의 이미지 센서가 탑재되어 다양한 각도 및 방향에서의 영상 정보를 취득할 수 있으며, 이를 이미지 분석 장치(450)에 전송할 수 있다. 이때, 이미지 센서 별 카메라 렌즈의 지향 각도 및 배치 방향 등-이하, 설명의 편의를 위해, 카메라 설정 정보 또는 카메라 설정 파라메터라 명하기로 함-은 상이하게 설정될 수 있으며, 변경 가능하다. 일 예로, 카메라 렌즈의 지향 각도는 3축(x/y/z) 좌표 평면에서 각 축의 지향 각도를 의미할 수 있으나, 이에 한정되지는 않는다. 또한, 카메라의 배치 "?향?? 차량에서의 해당 카메라의 배치 위치-예를 들면, 전방, 좌측면, 우측면, 후방 등을 포함할 수 있음-를 식별하기 위한 정보일 수 있다.
영상 출력 장치(430)는 차량 내 통신망(440)을 통해 이미지 분석 장치(450)에 의해 처리된 영상을 출력할 수 있다. 영상 출력 장치(430)는 차량에 탑재되는 AVN(Audio Video Navigation) 시스템에 구비된 디스플레이 장치가 사용될 수 있으나, 이에 한정되지는 않으며, 별도의 영상 출력 장치가 차량 내 특정 영역에 배치되어 장착될 수도 있다.
이미지 분석 장치(450)는 차량 주행 상태 정보 및 영상 정보에 기반한 이미지 분석을 통해 전경 움직임 패턴과 배경 이미지 패턴을 식별할 수 있다.
또한, 이미지 분석 장치(450)는 식별된 전경 움직임 패턴에 기반하여 차량 전방의 움직이는 객체를 식별할 수 있으며, 객체 식별 결과를 차량 내 통신망(440)을 통해 영상 출력 장치(430)에 전송할 수 있다. 다른 일 예로, 이미지 분석 장치(450)는 객체 식별 결과에 따라 위험 상황을 감지하면, 차량 일측에 구비된 스피커 또는(및) 알람 램프(미도시) 등을 통해 소정 경고 알람이 출력되도록 제어할 수도 있다.
또한, 이미지 분석 장치(450)는 식별된 배경 움직임 패턴에 기반하여 해당 카메라의 설정 파라메터를 추정할 수 있으며, 추정된 카메라 설정 파라메터와 실제 설정된 카메라 설정 파라메터를 비교하여, 해당 카메라의 설정 파라메터를 교정할 수 있다. 차량에 장착된 카메라는 외부 물리적인 충격 등에 의해 카메라의 지향 각도나 방향 등이 변경될 수 있다. 이 경우, 현재 카메라 설정 정보와 현재 카메라의 지향 방향이 서로 상이할 수 있다. 따라서, 정확한 이미지 분석을 위해서는 현재 카메라의 지향 방향에 대응되도록 현재 카메라 설정 정보를 보정하는 것이 중요할 수 있다.
다른 실시예로, 현재 카메라 설정 정보와 현재 카메라의 지향 방향이 서로 상이한 경우, 이미지 분석 장치는 카메라의 배치 위치 및 지향 방향이 현재 카메라 설정 정보에 매칭되도록 제어할 수도 있다.
본 실시예에 따른 화상 촬영 장치(420)에 구비되는 카메라는 일 예로, 카메라(10)는 쓰리디 스테레오 카메라(3D Stereo Camera)일 수 있으나, 이에 한정되지는 않는다.
쓰리디 스테레오 카메라는 구비된 2대의 카메라를 통해 입체 영상을 생성할 수 있다. 쓰리디 스테레오 카메라는 카메라 배치 방식과 주시점 제어 방식에 따라 분류될 수 있다. 카메라 배치 방식에는 평행식과 직교식이 있다. 사람의 눈에서 대상 물체까지의 거리를 주시 거리라 하는데, 이와 마찬가지로 입체 카메라로 촬영할 때 카메라로부터 대상 물체까지의 거리를 주시 거리라 한다. 이때, 주시 거리를 어떻게 산출하고 제어하느냐에 따라 수평식, 교차식, 수평 이동식 등으로 분류될 수도 있다.
평행식 카메라는 카메라 2대를 나란히 배치해 구조가 간단하지만, 렌즈와 본체 크기에 비해 사람 눈의 간격인 65mm 이내로 카메라 간격을 좁히는데 한계가 있다.
직교식 카메라는 두개의 카메라를 수직으로 배치하고, 카메라 앞에 광선 분리기(half-mirror or beam splitter)이 배치되어, 렌즈를 통해 투과되고 반사되는 좌우 영상이 촬영되는 구조를 가진다. 또한, 직교식 카메라는 두 카메라를 65mm보다 더 작은 간격을 두고 배치시킬 수 있고, 근접 입체 촬영이 가능한 장점이 있다. 하지만, 직교식 카메라는 기구물이 커지고, 정교하게 제작하기 힘든 단점이 있다.
수평식 카메라은 두 카메라를 나란히 배치하고 수평으로 카메라 간격만 조절된다. 주시점 제어 기능은 제공하지 않는 가장 단순한 방식이라 만들기 쉽지만, 가까운 거리에 있는 장면이나 고배율 줌이 필요한 장면에서 시차가 과도하게 발생하여 눈의 피로를 유발하는 단점이 있다.
교차식 카메라는 사람의 눈동자가 주시 거리를 조정하기 위해 회전하는 것처럼 카메라를 회전시켜 주시점을 조절하는 방식으로 구조가 단순하다. 하지만, 교차식 카메라는 거리와 시차의 관계가 왜곡될 수 있는 문제가 있고, 영상이 직사각형 형태가 아닌 사다리꼴 형태로 보이는 키스톤 왜곡이 발생해 피로감을 줄 수 있는 단점이 있다.
수평 이동식 카메라는 두 카메라를 수평식처럼 평행하게 배열한 다음, 주시점을 조절하기 위해 카메라와 렌즈 사이의 간격을 벌려 움직이는 방법을 사용한다. 이러한 방식은 교차식에서 발생하는 거리와 시차 왜곡 문제를 해결해 비교적 고화질의 입체 영상 촬영이 가능한 장점이 있다. 하지만, 수평 이동식 카메라는 렌즈와 카메라 본체를 나누어 만들어야 하는 어려움이 있다.
이미지 분석 장치(450)의 세부 구성 및 동작 방식은 후술할 도 5 내지 14의 설명을 통해 보다 명확해질 것이다.
도 5는 본 발명의 일 실시예에 따른 이미지 분석 장치의 구성을 설명하기 위한 블록도이다.
도 5를 참조하면, 이미지 분석 장치(450)는 제어부(510), 통신부(510), 광류 패턴 분석부(520), 움직임 패턴 식별부(530), 카메라 교정부(540), 객체 검출부(550) 및 메모리(560)를 포함하여 구성될 수 있다.
상기 도 5에 개시된 이미지 분석 장치(450)의 구성 요소들은 반드시 필수적인 구성 요소들은 아니어서, 그보다 작은 구성 요소들을 포함하여 구성되거나 그보다 많은 구성 요소들을 포함하여 구성될 수도 있음을 주의해야 한다.
제어부(510)는 이미지 분석 장치(510)의 전체적인 동작을 제어하고, 입력 및 출력을 제어할 수 있다. 또한, 제어부(510)는 하부 모듈-예를 들면, 통신부(510), 광류 패턴 분석부(520), 움직임 패턴 식별부(530), 카메라 교정부(540), 객체 검출부(550) 등을 포함함-의 입출력 데이터 및 상태를 관리할 수도 있다.
통신부(510)는 차량 내 통신망(440)을 통해 송수신되는 메시지(또는 신호 또는 패킷)을 처리할 수 있다. 통신부(510)는 메시지 또는 패킷을 변조하는 변조기 및 수신된 신호를 복조하여 패킷 또는 메시지를 생성하는 복조기 등을 포함하여 구성될 수 있다. 상기 변조기 및 복조기는 상기한 도 2의 CAN 드라이버와 같이 하드웨어 또는(및) 소프트웨어 모듈로 구성되어 탑재될 수 있다.
통신부(510)는 차량 주행 제어 장치(410)로부터 차량 주행 상태 정보가 수신되면, 제어부(510)에 전달할 수 있다.
또한, 통신부(510)는 화상 촬영 장치(420)로부터 영상 정보가 수신되면, 제어부(510)에 전달할 수 있다.
광류 패턴 생성부(520)는 제어부(510)로부터 차량 주행 상태 정보 및 영상 정보를 수신할 수 있다. 광류 패턴 생성부(520)는 차량의 주행상태, 배경 또는 전경 등의 분류 및 판단을 위한 정보를 생성할 수 있다. 판단을 위한 정보는 광류 패턴, 정보의 이동량, 방향 등 일 수 있고 판단 기준의 속도 방향 길이 등의 속성값 일 수 있다.
광류 패턴 생성부(510)는 차량 주행 상태 정보에 기반하여 예측된 제1 광류 패턴을 생성하고, 영상 정보에 기반하여 계산된 제2 광류 패턴을 생성할 수 있다.
움직임 패턴 식별부(530)는 제1 광류 패턴과 제2 광류 패턴을 비교하여 전경 움직임 패턴과 배경 움직임 패턴을 식별할 수 있다. 여기서, 전경 움직임은 전방 차량이나 보행자와 같이 차량 주행 중 광류 벡터가 시간에 따라 일정한 패턴을 가지지 않는 움직임을 의미할 수 있다. 즉, 전경 움직임은 실제 움직이는 객체의 움직임을 의미할 수 있다. 반면, 배경 움직임은 가이드 레일이나 도로면과 같이 차량 주행 중 광류 벡터가 시간에 따라 일정한 패턴을 가지는 움직임을 의미할 수 있다. 즉, 배경 움직임은 챠량 주행에 따른 정지된 객체의 움직임을 의미할 수 있다.
카메라 교정부(540)는 상기 식별된 배경 움직임 패턴에 기반하여 카메라의 설정 파라메터를 추정하고, 추정된 파라메터와 실제 설정된 파라메터를 비교하여 해당 카메라의 설정 정보 보정이 필요한지 여부를 판단할 수 있다. 판단 결과, 보정이 필요하면, 카메라 교정부(540)는 갱신할 설정 정보-이하 설명의 편의를 위해 교정 설정 정보라 명함-를 산출하여 생성할 수 있다. 제어부(510)는 생성된 교정 설정 정보가 포함된 소정 제어 신호를 화상 촬영 장치(420)에 전송하여 카메라의 지향 각도 및 위치를 교정할 수 있다.
카메라 교정은 영상 뷰(View) 변환 시 정확한 뷰 화면을 획득하기 위해 매우 중요하다. 일 예로, 전방 뷰 화면에서 탑뷰 화면으로 변환 시 카메라 설정이 정상적이지 않은 경우, 잘못되거나 외곡된 탑뷰 화면이 출력될 수 있다.
객체 검출부(550)는 전경 이미지 패턴에 기반하여 움직이는 객체를 식별할 수 있다. 식별된 객체에 대한 정보는 카메라 촬영된 영상에 매핑된 후, 영상 출력 장치(430)에 전달되어 출력될 수도 있다.
또한, 객체 검출부(550)는 객체 식별 결과에 따라 위험 상황을 감지한 경우, 이를 제어부(510)에 전달하여 소정 경고 알람이 출력되도록 제어할 수도 있다. 일 예로, 경고 알람은 스피커, 비퍼, 진동기, LED 조명 등의 알람 수단을 이용하여 출력될 수 있으나, 이에 한정되지는 않는다.
메모리(560)에는 현재 카메라 설정 정보가 기록되어 유지될 수 있으며, 카메라 설정 정보가 정상적으로 교정된 경우, 제어부(510)는 현재 카메라 설정 정보를 교정된 카메라 설정 정보로 갱신할 수 있다.
상기 이미지 분석 장치(450)를 구성하는 구성 요소들의 세부 동작은 후술할 도면들의 설명을 통해 보다 명확해질 것이다.
도 6은 본 발명의 일 실시예에 따른 이미지 분석 장치의 세부 구성을 설명하기 위한 도면이다.
도 6을 참조하면, 통신부(510)는 제1 수신부(610) 및 제2 수신부(620)를 포함하여 구성될 수 있다.
제1 수신부(610)는 차량 주행 제어 장치(410)로부터 차량 주행 상태 정보가 수신되면, 제어부(510)에 전달할 수 있다.
제2 수신부(610)는 화상 촬영 장치(420)로부터 영상 정보 또는 영상 신호가 수신되면 이를 복호하여, 제어부(510)에 전달할 수 있다. 이 경우, 제2 수신부(610)는 수신된 영상 정보로부터 영상 프레임을 추출할 수도 있다. 다른 일 예로, 제2 수신부(610)는 직접 영상 프레임을 화상 촬영 장치(420)로부터 수신할 수도 있다.
광류 패턴 생성부(520)는 제1 광류 패턴 생성부(630)와 제2 광류 패턴 생성부(640)를 포함하여 구성될 수 있다.
제1 광류 패턴 생성부(630)는 차량 주행 상태 정보에 기반하여 추정된 제1 광류 패턴을 생성할 수 있다. 일 예로, 제1 광류 패턴 생성부(630)는 핸들 조향 각도 정보에 기반하여 광류 벡터의 방향을 추정하고, 차량 속도 정보에 기반하여 광류 벡터의 크기를 추정할 수 있다. 연이어, 제1 광류 패턴 생성부(630)는 추정된 방향과 크기에 기반하여 광류 벡터를 추정한 후, 추정된 광류 벡터를 이미지 평면에 매핑하여 제1 광류 패턴을 생성할 수 있다.
제2 광류 패턴 생성부(640)는 영상 정보를 이용하여 제2 광류 패턴을 생성할 수 있다.
일 예로, 제2 광류 패턴 생성부(640)는 영상 정보로부터 영상 프레임을 획득하고, 획득된 연속적인 영상 프레임을 비교하여 광류 벡터를 계산할 수 있다. 이후, 계산된 광류 벡터를 이미지 평면에 매핑하여 제2 광류 패턴을 생성할 수 있다.
도 7은 본 발명의 일 실시예에 따른 제1 광류 패턴 생성부의 세부 구성을 설명하기 위한 도면이다.
도 7을 참조하면, 제1 광류 패턴 생성부(630)는 광류 방향 추정부(710), 광류 크기 추정부()720), 광류 벡터 추정부(730) 및 제1 영상 평면 매칭부(740)를 포함하여 구성될 수 있다.
광류 방향 추정부(710)는 핸들 조향 각도 정보에 기반하여 광류 벡터의 방향을 추정할 수 있다. 다른 일 예로, 광류 방향 추정부(710)는 핸들 조향 각도 정보뿐만 아니라 GPS 정보를 이용하여 광류 벡터의 방향을 추정할 수 있다.
광류 크기 추정부(720)는 차량 속도 정보에 기반하여 광류 벡터의 크기를 추정할 수 있다.
광류 벡터 추정부(730)는 상기 추정된 방향과 크기에 기반하여 정규화된 광류 벡터를 생성할 수 있다.
제1 영상 평면 매칭부(740)는 정규화된 광류 벡터를 이미지 평면에 매칭하여 제1 광류 패턴을 생성할 수 있다. 여기서, 이미지 평면은 카메라의 현재 설정 정보에 기반하여 결정되는 평면일 수 있다. 즉, 카메라가 차량에 장착된 위치, 카메라의 지향 방향 및 각도 등에 의해 이미지 평면이 결정될 수 있다.
도 8은 본 발명의 일 실시예에 따른 제2 광류 패턴 생성부의 세부 구성을 설명하기 위한 블록도이다.
도 8을 참조하면, 제2 광류 패턴 생성부(640)는 영상 프레임 추출부(810), 광류 벡터 계산부(820) 및 제2 영상 평면 매칭부(830)를 포함하여 구성될 수 있다.
영상 프레임 추출부(810)는 영상 정보로부터 연속된 영상 프레임을 추출할 수 있다.
광류 벡터 계산부(820)는 두개의 연속된 영상 프레임에 대해 해당 픽셀 또는 해당 픽셀 그룹의 광류 변화에 기반하여 광류 벡터를 계산할 수 있다.
제2 영상 평면 매칭부(830)는 계산된 광류 벡터를 이미지 평면에 매칭하여 제2 광류 패턴을 생성할 수 있다.
도 9는 본 발명의 일 실시예에 따른 움직임 패턴 식별부의 세부 구성을 설명하기 위한 블록도이다.
도 9를 참조하면, 움직임 패턴 식별부(530)는 광류 패턴 비교부(910), 전경 움직임 식별부(920), 배경 움직임 식별부(930)를 포함하여 구성될 수 있다.
광류 패턴 비교부(910)는 제1 광류 패턴과 제2 광류 패턴의 서로 대응되는 위치에서의 광류 벡터 비교할 수 있다.
광류 패턴 비교부(910)는 비교 결과, 광류 벡터의 차이 값이 소정 기준 범위 이내인 경우, 해당 광류 벡터를 배경 움직임에 대응되는 광류 벡터로 분류 또는 확정할 수 있다.
반면, 광류 패턴 비교부(910)는 비교 결과, 광류 벡터의 차이 값이 소정 기준 범위를 초과하는 경우-즉, 기준 범위를 벗어나는 경우-, 해당 광류 벡터를 전경 움직임에 대응되는 광류 벡터로 분류 또는 확정할 수 있다.
전경 움직임 식별부(920)는 상기 분류된 전경 움직임에 대응되는 광류 벡터를 이용하여 전경 움직임 패턴을 생성할 수 있다.
배경 움직임 식별부(930)는 상기 분류된 배경 움직임에 대응되는 광류 벡터를 이용하여 배경 움직임 패턴을 생성할 수 있다.
도 10은 본 발명의 일 실시예에 따른 이미지 분석 장치에서의 차량 주행 상태 정보를 이용한 이미지 분석 방법을 설명하기 위한 순서도이다.
도 10을 참조하면, 이미지 분석 장치는 화상 촬영 장치로부터 영상 정보를 수신하고, 수신된 영상 정보에 기반하여 제2 광류 패턴을 생성할 수 있다(S1010 및 S1020).
이미지 분석 장치는 차량 주행을 제어하는 적어도 하나의 ECU로부터 차량 주행 상태 정보가 수신되면, 수신된 차량 주행 상태 정보에 기반하여 추정된 제1 광류 패턴을 생성할 수 있다(S1030 및 S1040).
이미지 분석 장치는 제1 광류 패턴과 제2 광류 패턴에 기반하여 움직임 패턴을 식별할 수 있다(S1050). 여기서, 움직임 패턴은 전경 움직임 패턴과 배경 이미지 패턴을 포함할 수 있다.
이미지 분석 장치는 식별된 전력 움직임 패턴을 이용하여 움직이는 객체를 식별할 수 있다(S1060).
또한, 이미지 분석 장치는 식별된 배경 움직임 패턴을 이용하여 카메라 설정 정보를 교정할 수 있다(S1070).
도 11 내지 도 13은 본 발명의 일 실시예에 따른 이미지 분석 방법의 세부 수행 절차를 설명하기 위한 순서도이다.
도 11을 참조하면, 상기한 도 10의 1040 단계는 하기 4개의 단계로 세분화될 수 있다.
이미지 분석 장치는 차량 주행 상태 정보에 포함된 핸들 조향 각도 정보에 기반하여 광류 벡터의 방향을 추정할 수 있다(S1110).
이미지 분석 장치는 차량 주행 상태 정보에 포함된 차량 주행 속도 정보에 기반하여 광류 벡터의 크기를 추정할 수 있다(S1120). 물론, 상기 1110 단계와 1120 단계의 수행 순서는 역전될 수도 있음을 주의해야 한다.
이미지 분석 장치는 추정된 방향과 크기에 기반하여 광류 벡터를 추정할 수 있다(S1130). 여기서, 추정되는 광류 벡터는 방향과 크기만을 가지는 정규화된 벡터 값을 가지므로, 실제 카메라 촬영된 뷰 평면과는 상이할 수 있다.
이미지 분석 장치는 추정된 광류 벡터를 해당 이미지 평면에 매핑하여 제1 광류 패턴을 생성할 수 있다(S1140). 여기서, 이미지 평면은 해당 카메라의 설정 정보에 기반하여 결정될 수 있다.
차량 주행 속도 정보는 주행 중 차량의 속도를 센싱하는 센서에 의해 수집된 후 이미지 분석 장치에 수신될 수 있다. 차량 속도 센서는 기계식과 전기식이 있을 수 있으며, 전자는 오직 속도계에만 쓰이는데 대하여 후자는 속도계와 전자 장치 양쪽에 사용될 수 있다.
일 예로, 기계식에서는 트랜스미션의 출력축의 회전을 플렉시블한 축에 의해 속도계의 구동축까지 전달하여 속도계 지침을 움직인다. 따라서, 기계식 차량 속도 센서는 속도계 지침의 움직임을 감지하여 차량의 현재 주행 속도를 측정할 수 있다. 한편, 전기식 차량 속도 센서는 전자 픽업, 홀 소자, 리드 스위치, 자기 저항 소자 등을 이용하여 트랜스미션 출력 축의 회전을 검출함으로써 현재 주행 속도를 측정할 수 있다.
상기한 차량 속도 센서는 모두 바퀴 속도에 대응한 속도를 검출하므로, 바퀴가 잠금 설정(Locking)되거나 슬립(Sliping)하고 있을 경우에는 차체의 속도가 센서의 측정 값과 상이할 수 있다. 따라서, 보다 정확한 차량 주행 속도 측정을 위해 레이저나 초음파를 이용하여 노면의 움직임 속도를 측정하여 실제 차량 주행 속도를 추정할 수도 있다.
도 12를 참조하면, 상기한 도 10의 단계 1020은 하기 3개의 세부 단계를 포함할 수 있다.
이미지 분석 장치는 수신된 영상 정보로부터 영상 프레임을 추출할 수 있다(S1210).
이미지 분석 장치는 시계열적으로 연속된 두 개의 영상 프레임을 이용하여 광류 벡터를 계산할 수 있다(S1220).
이미지 분석 장치는 계산된 광류 벡터를 해당 이미지 평면에 매핑하여 제2 광류 패턴을 생성할 수 있다(S1230). 여기서, 이미지 평면은 해당 카메라에 대응하여 미리 설정된 소정 설정 정보(또는 설정 파라메터)에 기반하여 결정될 수 있으나, 이는 하나의 실시예에 불과하여, 다른 일 예로, 화상 촬영 장치로부터 수신된 영상 정보에 기반하여 또는 영상 정보를 더 이용하여 결정될 수도 있다.
도 13을 참조하면, 상기한 도 10의 1050 단계는 하기의 1310 단계 내지 1350 단계를 포함할 수 있다.
이미지 분석 장치는 제1 광류 패턴과 제2 광류 패턴의 서로 대응되는 위치에서의 광류 벡터를 비교할 수 있다(S1350).
이미지 분석 장치는 광류 벡터의 차이 값이 소정 기준 범위 이내의 값인지 비교할 수 있다(S1320).
비교 결과, 기준 범위 이내이면, 이미지 분석 장치는 해당 광류 벡터를 배경 움직임으로 확정할 수 있다(S1330).
반면, 비교 결과, 기준 범위를 초과하면, 이미지 분석 장치는 해당 광류 벡터를 전경 움직임으로 확정할 수 있다(S1340).
이미지 분석 장치는 상기한 1330 단계 내지 1340 단계의 확정 결과에 기반하여 배경 움직임 패턴과 전경 움직임 패턴을 생성할 수 있다(S1350).
이때, 생성된 전경 움직임 패턴은 카메라 촬영된 영상에 매핑된 후 상기 이미지 분석 장치와 연동되는 영상 출력 장치를 통해 출력될 수도 있다.
도 14는 본 발명의 일 실시예에 따른 이미지 분석 시스템에서의 차량 주행 상태 정보에 기반한 이미지 분석 절차를 설명하기 도면이다.
도 14를 참조하면, 차량 제어기들에 의해 측정 또는 수집된 차량 주행 정보는 차량 내 통신망을 통해 이미지 분석 장치에 전달될 수 있다(S1401).
이미지 분석 장치는 수집된 차량 주행 정보에 기반하여 광류 벡터를 추정한 후, 추정된 광류 벡터를 해당 이미지 평면에 매핑하여 제1 광류 패턴을 생성할 수 있다(S1402 내지 S1403).
한편, 카메라에 의해 촬영된 영상 정보는 차량 내 통신망을 통해 이미지 분석 장치에 전달될 수 있다(S1404).
이미지 분석 장치는 수신된 영상 정보로부터 영상 프레임을 추출하고, 연속된 두 개의 영상 프레임을 이용하여 광류 벡터를 계산할 수 있다(S1405). 이미지 분석 장치(1405)는 계산된 광류 벡터를 이미지 평면에 매핑하여 제2 광류 패턴을 생성할 수 있다(S1406).
상기 1401 단계 내지 1403 단계와 상기 1404 단계 내지 1406 단계는 시간적으로 서로 동기화되어 수행될 수 있다.
이미지 분석 장치는 제1 광류 패턴과 제2 광류 패턴을 비교하여 움직임 패턴을 식별할 수 있다(S1407). 이때, 이미지 분석 장치는 비교 결과에 기반하여 전경 움직임 패턴과 배경 움직임 패턴을 식별할 수 있다(S1408 및 S1409)
도 15는 본 발명의 다른 일 실시예에 따른 이미지 분석 장치의 구성을 설명하기 위한 블록도이다.
도 15를 참조하면, 이미지 분석 장치(1500)는 통신 어셈블리(1510), 프로세서 어셈블리(1520), 메모리(1530), 전원 어셈블리(1540)를 포함하여 구성될 수 있다.
전원 어셈블리(1540)는 해당 장치의 동작에 필요한 전원을 관리하고, 통신 어셈블리(1510)는 차량 내 통신망을 통해 다른 제어기와의 통신 인터페이스를 제공할 수 있다. 일 예로, 통신 어셈블리(1510)는 DSP(Digital Signal Processor), ASIC(Application Specific Integrated Circuit) 등을 포함하여 구성될 수 있다.
프로세서 어셈블리(1520)는 장치의 전체적이 동작을 제어하기 위한 응용 프로그램이 탑재될 수 있으며, 적어도 하나의 마이크로 프로세서를 포함하여 구성될 수 있다. 프로세서 어셈블리(1520)의 동작에 필요한 응용 소프트웨어 및 펌웨어는 메모리(1530)에 유지되며, 장치 전원 인가 시 해당 프로세서에 로딩되어 실행될 수 있다.
또한, 이미지 분석 장치(1500)는 메모리(1530)에 저장된 OS(operating system)에 기초하여 작동할 수 있다. 이미지 분석 장치(1500)의 메모리 (1530)에 기억된 운영 체제의 예를 들면 Windous ServerTM, Mac 0 S XTM, UnixTM, LinuxTM, FreeBSDTM 등을 포함할 수 있으나, 이에 한정되지는 않는다.
메모리(1530)에는 응용 프로그램과 같은 프로세스 어셈블리(1520)에 의해 실행되는 인스트럭션-즉, 프로그램-이 저장될 수 있다. 메모리(1530)에 저장되는 응용 프로그램은 하나 또는 하나 이상의 모듈을 포함할 수 있다. 이때, 각 모듈은 일련의 인스트럭션 그룹에 대응될 수 있다. 또한, 프로세스 어셈블리(1520)는 인스트럭션을 실행하도록 구성되어 상기한 도 10 내지 도 13에 개시된 방법들을 수행할 수 있다.
일 예로, 프로세스 어셈블리(1520)는 통신 어셈블리(1510)를 통해 화상 촬영 장치로부터 영상 정보를 수신하고, 수신된 영상 정보에 기반하여 제2 광류 패턴을 생성할 수 있다.
또한, 프로세스 어셈블리(1520)는 통신 어셈블리(1510)를 통해 차량 주행을 제어하는 적어도 하나의 ECU로부터 차량 주행 상태 정보를 수신하고, 수신된 차량 주행 상태 정보에 기반하여 추정된 제1 광류 패턴을 생성할 수 있다.
프로세스 어셈블리(1520)는 제1 광류 패턴과 제2 광류 패턴에 기반하여 움직임 패턴을 식별할 수 있다. 여기서, 움직임 패턴은 전경 움직임 패턴과 배경 이미지 패턴을 포함할 수 있다.
프로세스 어셈블리(1520)는 식별된 전력 움직임 패턴을 이용하여 움직이는 객체를 식별하고, 식별된 배경 움직임 패턴을 이용하여 카메라 설정 정보를 교정할 수 있다.
본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다.
따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (25)

  1. 차량 내 통신망을 통해 카메라 및 제어기와 연동되는 장치에서의 이미지 분석 방법에 있어서,
    차량 주행을 제어하는 적어도 하나의 제어기로부터 차량 주행 정보를 수신하는 단계;
    상기 카메라에 의해 촬영된 영상 정보를 수신하는 단계;
    상기 차량 주행 정보에 기반하여 추정된 제1 광류 패턴을 생성하는 단계;
    상기 영상 정보에 기반하여 계산된 제2 광류 패턴을 생성하는 단계;
    상기 제1 광류 패턴 및 상기 제2 광류 패턴에 기반하여 전경 움직임 패턴을 식별하는 단계
    를 포함하는 이미지 분석 방법.
  2. 제1항에 있어서,
    상기 차량 주행 정보는 핸들 조향 각도 정보 및 차량 속도 정보를 포함하되,
    상기 제1 광류 패턴을 생성하는 단계는
    상기 핸들 조향 각도에 기반하여 광류 벡터의 방향을 추정하는 단계;
    상기 차량 속도 정보에 기반하여 상기 광류 벡터의 크기를 추정하는 단계;
    상기 추정된 방향과 크기에 기반하여 상기 광류 벡터를 추정하는 단계; 및
    상기 추정된 광류 벡터를 소정 이미지 평면에 매핑하여 상기 제1 광류 패턴을 생성하는 단계
    를 포함하는, 이미지 분석 방법.
  3. 제2항에 있어서,
    상기 이미지 평면은 상기 카메라에 대응하여 미리 설정된 소정 설정 파라메터에 기반하여 결정되는, 이미지 분석 방법.
  4. 제3항에 있어서,
    상기 설정 파라메터는 상기 카메라의 지향 각도, 상기 카메라의 배치 방향 중 적어도 하나를 포함하는, 이미지 분석 방법.
  5. 제1항에 있어서,
    상기 제2 광류 패턴을 생성하는 단계는
    상기 영상 정보로부터 영상 프레임을 추출하는 단계;
    연속된 두 개의 상기 영상 프레임을 이용하여 광류 벡터를 계산하는 단계; 및
    상기 계산된 광류 벡터를 소정 이미지 평면에 매핑하여 제2 광류 패턴을 생성하는 단계
    를 포함하는, 이미지 분석 방법.
  6. 제5항에 있어서,
    상기 이미지 평면은 상기 영상 정보 및 상기 카메라에 대응하여 미리 설정된 소정 설정 파라메터 중 어느 하나에 기반하여 결정되는, 이미지 분석 방법.
  7. 제1항에 있어서,
    상기 움직임 패턴은
    상기 제1 광류 패턴과 제2 광류 패턴의 서로 대응되는 위치에서의 광류 벡터 차이 값에 기반하여 식별되는, 이미지 분석 방법.
  8. 제7항에 있어서,
    상기 차이 값이 소정 기준 범위 이내이면, 해당 광류 벡터를 배경 움직임 패턴으로 확정하는, 이미지 분석 방법.
  9. 제8항에 있어서,
    상기 차이 값이 상기 기준 범위를 벗어나면, 해당 광류 벡터를 상기 전경 움직임 패턴으로 확정하는, 이미지 분석 방법.
  10. 제9항에 있어서,
    상기 확정 결과에 기반하여 배경 움직임 패턴과 전경 움직임 패턴을 생성하는, 이미지 분석 방법.
  11. 제10항에 있어서,
    상기 배경 움직임 패턴에 기반하여 상기 카메라의 설정 파라메터가 교정되는, 이미지 분석 방법.
  12. 제10항에 있어서,
    상기 전경 움직임 패턴에 기반하여 움직이는 객체가 식별되는, 이미지 분석 방법.
  13. 차량 내 통신망을 통해 카메라 및 제어기와 연동되는 이미지 분석 장치에 있어서,
    상기 차량 내 통신망을 통해 차량 주행 정보 및 영상 정보를 수신하는 통신부;
    상기 차량 주행 정보에 기반하여 추정된 제1 광류 패턴 및 상기 영상 정보에 기반하여 계산된 제2 광류 패턴을 생성하는 광류 패턴 생성부; 및
    상기 제1 광류 패턴 및 상기 제2 광류 패턴에 기반하여 움직임 패턴을 식별하는 움직임 패턴 식별부
    를 포함하고, 상기 움직임 패턴은 전경 움직임 패턴 및 배경 움직임 패턴을 포함하는, 이미지 분석 장치.
  14. 제13항에 있어서,
    상기 차량 주행 정보는 해당 차량의 주행을 제어하는 적어도 하나의 제어기로부터 수신되고, 핸들 조향 각도 정보 및 차량 속도 정보를 포함하되,
    상기 광류 패턴 생성부는,
    상기 핸들 조향 각도에 기반하여 광류 벡터의 방향을 추정하는 광류 방향 추정부;
    상기 차량 속도 정보에 기반하여 상기 광류 벡터의 크기를 추정하는 광류 크기 추정부;
    상기 추정된 방향과 크기에 기반하여 상기 광류 벡터를 추정하는 광류 벡터 추정부; 및
    상기 추정된 광류 벡터를 소정 이미지 평면에 매핑하여 상기 제1 광류 패턴을 생성하는 제1 영상 평면 매핑부
    가 구비된 제1 광류 패턴 생성부
    를 포함하는, 이미지 분석 장치.
  15. 제14항에 있어서,
    상기 이미지 평면은 상기 카메라에 대응하여 미리 설정된 소정 설정 파라메터에 기반하여 결정되는, 이미지 분석 장치.
  16. 제15항에 있어서,
    상기 설정 파라메터는 상기 카메라의 지향 각도, 상기 카메라의 배치 방향 중 적어도 하나를 포함하는, 이미지 분석 장치.
  17. 제13항에 있어서,
    상기 광류 패턴 생성부는,
    상기 영상 정보로부터 영상 프레임을 추출하는 영상 프레임 추출부;
    연속된 두 개의 상기 영상 프레임을 이용하여 광류 벡터를 계산하는 광류 벡터 계산부; 및
    상기 계산된 광류 벡터를 소정 이미지 평면에 매핑하여 상기 제2 광류 패턴을 생성하는 제2 영상 평면 매칭부
    가 구비된 제2 광류 패턴 생성부
    를 포함하는, 이미지 분석 장치.
  18. 제17항에 있어서,
    상기 이미지 평면은 상기 영상 정보 및 상기 카메라에 대응하여 미리 설정된 소정 설정 파라메터 중 어느 하나에 기반하여 결정되는, 이미지 분석 장치.
  19. 제13항에 있어서,
    상기 움직임 패턴 식별부는
    상기 제1 광류 패턴과 제2 광류 패턴의 서로 대응되는 위치에서의 광류 벡터 차이 값을 비교하는 광류 패턴 비교부;
    상기 차이 값이 소정 기준 범위 이내이면, 해당 광류 벡터를 상기 배경 움직임 패턴으로 확정하는 배경 움직임 확정부; 및
    상기 차이 값이 상기 기준 범위를 벗어나면, 해당 광류 벡터를 상기 전경 움직임 패턴으로 확정하는 전경 움직임 확정부
    를 포함하는, 이미지 분석 장치.
  20. 제13항에 있어서,
    상기 식별 결과에 기반하여 상기 움직임 패턴 식별부가 배경 움직임 패턴과 전경 움직임 패턴을 생성하되,
    상기 장치는
    상기 배경 움직임 패턴에 기반하여 상기 카메라의 설정 파라메터가 교정되는 카메라 교정부; 및
    상기 전경 움직임 패턴에 기반하여 움직이는 객체가 검출하는 객체 검출부;
    중 적어도 하나를 더 포함하는 이미지 분석 장치.
  21. 구비된 적어도 하나의 이미지 센서를 이용하여 주행 중인 차량의 영상 정보를 수집하는 화상 촬영 장치와
    차량 내 통신망을 통해 차량 주행 정보 및 상기 영상 정보를 수신하는 통신부;
    상기 차량 주행 정보에 기반하여 추정된 제1 광류 패턴 및 상기 영상 정보에 기반하여 계산된 제2 광류 패턴을 생성하는 광류 패턴 생성부; 및
    상기 제1 광류 패턴 및 상기 제2 광류 패턴에 기반하여 움직임 패턴을 식별하는 움직임 패턴 식별부
    가 구비된 이미지 분석 장치를 포함하고,
    상기 움직임 패턴은 전경 움직임 패턴 및 배경 움직임 패턴을 포함하는 것을 특징으로 하는, 이미지 분석 시스템.
  22. 차량 내 통신망이 구비된 차량에 있어서,
    구비된 적어도 하나의 이미지 센서를 이용하여 주행 중인 차량의 영상 정보를 수집하는 화상 촬영 장치;
    차량 주행 정보를 수집하는 적어도 하나의 제어기; 및
    상기 차량 내 통신망을 통해 상기 차량 주행 정보 및 상기 영상 정보가 수신되면, 상기 차량 주행 정보에 기반하여 추정된 제1 광류 패턴 및 상기 영상 정보에 기반하여 계산된 제2 광류 패턴을 생성하고, 상기 제1 광류 패턴 및 상기 제2 광류 패턴에 기반하여 전경 움직임 패턴을 식별하는 이미지 분석 장치
    를 포함하는, 차량.
  23. 적어도 하나의 프로세서와
    상기 적어도 하나의 프로세서가 실행하는 프로그램을 저장하는 적어도 하나의 메모리를 포함하고,
    상기 적어도 하나의 프로세서가
    차량 내 통신망을 통해 차량 주행 정보와 영상 정보를 수신하면,
    상기 차량 주행 정보에 기반하여 추정된 제1 광류 패턴을 생성하고,
    상기 영상 정보에 기반하여 계산된 제2 광류 패턴을 생성하고,
    상기 제1 광류 패턴 및 상기 제2 광류 패턴에 기반하여 움직임 패턴을 식별하고, 상기 식별 결과에 따라 전경 움직임 패턴 및 배경 움직임 패턴을 생성하는 것을 특징으로 하는, 이미지 분석 장치.
  24. 저장 매체에 기록되며, 프로세서에 의해 로딩되어 실행되는 것을 통하여, 제1항 내지 제12항 중 어느 한 항에 기재된 이미지 분석 방법을 실현하는 것을 특징으로 하는 프로그램.
  25. 제24항에 기재된 프로그램이 기록된 컴퓨터 판독가능한 저장매체.
KR1020160156668A 2016-11-23 2016-11-23 차량 주행 정보를 이용한 이미지 분석 방법, 장치, 시스템, 프로그램 및 저장 매체 KR102631964B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020160156668A KR102631964B1 (ko) 2016-11-23 2016-11-23 차량 주행 정보를 이용한 이미지 분석 방법, 장치, 시스템, 프로그램 및 저장 매체
US16/463,315 US10909693B2 (en) 2016-11-23 2017-11-23 Image analysis method, device, system, and program, which use vehicle driving information, and storage medium
PCT/KR2017/013443 WO2018097627A1 (ko) 2016-11-23 2017-11-23 차량 주행 정보를 이용한 이미지 분석 방법, 장치, 시스템, 프로그램 및 저장 매체
CN201780072644.3A CN109983469B (zh) 2016-11-23 2017-11-23 使用车辆驾驶信息的图像分析方法、装置、系统和程序以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160156668A KR102631964B1 (ko) 2016-11-23 2016-11-23 차량 주행 정보를 이용한 이미지 분석 방법, 장치, 시스템, 프로그램 및 저장 매체

Publications (2)

Publication Number Publication Date
KR20180058046A true KR20180058046A (ko) 2018-05-31
KR102631964B1 KR102631964B1 (ko) 2024-01-31

Family

ID=62196003

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160156668A KR102631964B1 (ko) 2016-11-23 2016-11-23 차량 주행 정보를 이용한 이미지 분석 방법, 장치, 시스템, 프로그램 및 저장 매체

Country Status (4)

Country Link
US (1) US10909693B2 (ko)
KR (1) KR102631964B1 (ko)
CN (1) CN109983469B (ko)
WO (1) WO2018097627A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6620715B2 (ja) * 2016-10-20 2019-12-18 株式会社デンソー 画像認識装置
KR102394153B1 (ko) * 2017-09-11 2022-05-09 주식회사 만도 통합형 ｅｃｕ
WO2020170462A1 (ja) * 2019-02-22 2020-08-27 公立大学法人会津大学 動画像距離算出装置および動画像距離算出用プログラムを記録したコンピュータ読み取り可能な記録媒体
US11153010B2 (en) 2019-07-02 2021-10-19 Waymo Llc Lidar based communication
CN112232111B (zh) * 2020-09-01 2024-04-26 杭州鸿泉物联网技术股份有限公司 商砼车搅拌筒转向监测方法、系统、电子设备与存储介质
KR20220147412A (ko) * 2021-04-27 2022-11-03 삼성전자주식회사 이미지 센서 모듈, 이미지 처리 시스템 및 이미지 센서 모듈의 동작 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030210807A1 (en) * 2002-05-09 2003-11-13 Satoshi Sato Monitoring device, monitoring method and program for monitoring
KR20060075311A (ko) * 2004-12-28 2006-07-04 삼성전자주식회사 옵티컬 플로우를 이용한 차량 감시 장치 및 방법

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1727089A3 (en) * 1999-11-26 2007-09-19 MobilEye Technologies, Ltd. System and method for estimating ego-motion of a moving vehicle using successive images recorded along the vehicle's path of motion
JP4166982B2 (ja) * 2002-01-15 2008-10-15 日立工機株式会社 セーバソー
JP2006285923A (ja) * 2005-04-05 2006-10-19 Nissan Motor Co Ltd コマンド入力装置
TWI355615B (en) * 2007-05-11 2012-01-01 Ind Tech Res Inst Moving object detection apparatus and method by us
CN101303732B (zh) * 2008-04-11 2011-06-22 西安交通大学 基于车载单目相机的运动目标感知与告警方法
CN101739550B (zh) * 2009-02-11 2012-02-22 北京智安邦科技有限公司 运动目标检测方法及系统
KR101183781B1 (ko) * 2009-12-22 2012-09-17 삼성전자주식회사 실시간 카메라 모션 추정을 이용한 물체 검출/추적 방법 및 단말
KR101180887B1 (ko) 2010-09-08 2012-09-07 중앙대학교 산학협력단 이상행위 검출장치 및 방법
DE102011056997A1 (de) * 2010-12-23 2012-08-09 Samsung Electronics Co., Ltd. Vorrichtung zur digitalen Bildstabilisierung
JP5460635B2 (ja) * 2011-03-31 2014-04-02 本田技研工業株式会社 画像処理判定装置
CN102622764A (zh) * 2012-02-23 2012-08-01 大连民族学院 一种基于移动相机平台的目标跟踪方法
CN102881002B (zh) * 2012-07-11 2014-12-17 天津大学 基于运动信息和矩阵填充的视频背景恢复方法
KR101921610B1 (ko) * 2012-08-31 2018-11-23 에스케이 텔레콤주식회사 촬영영상으로부터 객체를 감시하기 위한 장치 및 방법
CN104662585B (zh) * 2012-09-25 2017-06-13 Sk电信有限公司 设置事件规则的方法和使用该方法的事件监测装置
US9256791B2 (en) * 2012-12-04 2016-02-09 Mobileye Vision Technologies Ltd. Road vertical contour detection
US20140253785A1 (en) * 2013-03-07 2014-09-11 Mediatek Inc. Auto Focus Based on Analysis of State or State Change of Image Content
KR101512557B1 (ko) 2013-07-05 2015-04-22 현대다이모스(주) 영상정보를 이용한 4wd 차량의 주행제어장치 및 방법
CN104575003B (zh) * 2013-10-23 2017-07-18 北京交通大学 一种基于道路监控视频的车辆速度检测方法
KR101698781B1 (ko) * 2013-12-16 2017-02-01 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량
KR101537559B1 (ko) 2013-12-30 2015-07-20 전자부품연구원 객체 검출 장치, 차량용 객체 검출 장치 및 이들의 방법
CN106461774B (zh) * 2014-02-20 2019-04-23 御眼视觉技术有限公司 基于雷达提示视觉成像的高级驾驶员辅助系统
CN105279771B (zh) * 2015-10-23 2018-04-10 中国科学院自动化研究所 一种视频中基于在线动态背景建模的运动目标检测方法
US10699136B2 (en) * 2016-01-29 2020-06-30 Faraday & Future Inc. System and method for camera-based detection of object heights proximate to a vehicle
US10616516B2 (en) * 2016-09-30 2020-04-07 Planet Labs Inc. Systems and methods for implementing time delay integration imaging techniques in conjunction with distinct imaging regions on a monolithic charge-coupled device image sensor

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030210807A1 (en) * 2002-05-09 2003-11-13 Satoshi Sato Monitoring device, monitoring method and program for monitoring
KR20060075311A (ko) * 2004-12-28 2006-07-04 삼성전자주식회사 옵티컬 플로우를 이용한 차량 감시 장치 및 방법

Also Published As

Publication number Publication date
US20190279374A1 (en) 2019-09-12
KR102631964B1 (ko) 2024-01-31
CN109983469A (zh) 2019-07-05
WO2018097627A1 (ko) 2018-05-31
US10909693B2 (en) 2021-02-02
CN109983469B (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
KR102631964B1 (ko) 차량 주행 정보를 이용한 이미지 분석 방법, 장치, 시스템, 프로그램 및 저장 매체
US10019004B2 (en) Device, method, and program for detecting object
US11288777B2 (en) Image processing device, image processing method, and program
US6310546B1 (en) Stereo type vehicle monitoring apparatus with a fail-safe function
CN109196557A (zh) 图像处理装置、图像处理方法和车辆
WO2019044571A1 (ja) 画像処理装置、および画像処理方法、プログラム、並びに移動体
Orhan et al. Road hazard detection and sharing with multimodal sensor analysis on smartphones
CN109070801B (zh) 使用后置相机的拖车角度检测
US11978261B2 (en) Information processing apparatus and information processing method
CN111033559A (zh) 用于图像模糊校正的图像处理、图像处理方法和程序
CN111448529A (zh) 信息处理装置、移动物体、控制系统、信息处理方法以及程序
CN116783462A (zh) 一种自动驾驶系统的性能测试方法
US11195292B2 (en) Information processing apparatus and method, vehicle, and information processing system
CN111480057A (zh) 图像处理装置、图像处理方法和程序
JP6564127B2 (ja) 自動車用視覚システム及び視覚システムを制御する方法
EP2913999A1 (en) Disparity value deriving device, equipment control system, movable apparatus, robot, disparity value deriving method, and computer-readable storage medium
WO2019111529A1 (ja) 画像処理装置および画像処理方法
CN115918101A (zh) 摄像装置、信息处理装置、摄像系统和摄像方法
US20220319013A1 (en) Image processing device, image processing method, and program
US20220172490A1 (en) Image processing apparatus, vehicle control apparatus, method, and program
JP2001116527A (ja) 立体物検出方法及び装置
US20220130024A1 (en) Image processing device, image processing method, and image processing system
WO2020090320A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
KR20200072590A (ko) 자동 주차 기능을 위한 주차선 이탈 감지 방법 및 장치
JP2011149810A (ja) 障害物検知警報装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right