KR20040047905A - 차량 시트 점유를 감지하기 위한 시스템 및 방법 - Google Patents

차량 시트 점유를 감지하기 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20040047905A
KR20040047905A KR10-2004-7005379A KR20047005379A KR20040047905A KR 20040047905 A KR20040047905 A KR 20040047905A KR 20047005379 A KR20047005379 A KR 20047005379A KR 20040047905 A KR20040047905 A KR 20040047905A
Authority
KR
South Korea
Prior art keywords
data
image
camera
data processing
processing apparatus
Prior art date
Application number
KR10-2004-7005379A
Other languages
English (en)
Inventor
울리히 바그너
토르스텐 쾰러
Original Assignee
지멘스 악티엔게젤샤프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 지멘스 악티엔게젤샤프트 filed Critical 지멘스 악티엔게젤샤프트
Publication of KR20040047905A publication Critical patent/KR20040047905A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Air Bags (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 이미지 데이터를 처리하기 위한 시스템에 관한 것으로, 추가로 처리되는 데이터를 생성하는 동안 두 개 이상의 카메라(12, 14)의 이미지 데이터를 처리하기 위한 제 1 데이터 처리 장치(10), 및 추가로 처리되는 데이터를 추가로 처리하기 위한 제 2 데이터 처리 장치(16)를 포함한다. 제 1 데이터 처리 장치(10)의 기능은 상기 기능을 위해 특별히 설계된 하드웨어를 실질적으로 기초로 하며, 제 2 데이터 처리 장치(16)는 상기 기능을 위해 특별히 설계된 소프트웨어를 실질적으로 기초로 한다.

Description

차량 시트 점유를 감지하기 위한 시스템 및 방법{SYSTEM AND METHOD FOR DETECTING VEHICLE SEAT OCCUPANCY}
이러한 타입의 시스템 및 이러한 타입의 방법은 승객 보호 시스템과 관련하여 특히 자동차에서 이용된다. 여기서, 예를 들면, 서로로부터 일정한 거리에 배치된 두 개의 카메라로부터의 이미지 데이터는 3차원 이미지 정보를 얻도록 하는 방식으로 처리된다. 이미지 정보를 기초로 하여, 그때 예를 들면, 시트의 점유 특히 전방 승객 시트를 분류하는 것이 가능하며, 에어백의 전개 행위는 예를 들면 이를 기초로하여 영향을 받을 수 있다. 다른 적용은 예를 들면 차선 감지에 의해 차량을 제어하는 운전자를 보조하는데 관련된다.
이미지 데이터의 프로세싱은 적어도 부분적인 계산이 매우 요구된다. 한편, 이러한 방식에서만이 확실한 이미지 정도를 생성시킬 수 있으며 운전 안전성과 관련된 다양한 적용은 시간이 매우 중요하기 때문에, 높은 처리 속도가 달성되는것이 필요하다.
원하는 높은 처리 속도를 달성하기 위해, 이미지 테이터 프로세싱이 하드웨어에서 처리되는 것이 종래 특허 출원에서 이미 제안되었다. 예를 들면, FPGA[집적회로 제작에 활용되는 프로그램 가능한 논리회로칩(field programmable gate array)] 및/또는 ASIC[주문형 집적회로(application-specific integrated circuit)]가 이러한 목적을 위해 이용된다. 이러한 데이터 처리 장치는, 디지털 동기 로직 설계에 의해, 매우 평행하게 작동할 수 있다. 이러한 방식으로, 상당히 감소된 시스템 클록 속도로 부분적으로 작동하는 동안 높은 크기의 순서인 처리 속도를 달성하는 것이 가능하다.
따라서, 하드웨어에서 이미지 데이터 프로세싱의 실행이 처리 속도 및 관련된 문제에 대해 시스템에서 상당한 개선을 초래하지만, 하드웨어 실행 때문에 가요성이 상실된다. 그러나, 이 같은 가요성은 다양한 적용 및/또는 특정한 환경 또한 이미지 데이터 처리 시스템 및 이와 관련된 방법의 최적화에 대한 중요한 변수에 대한 시스템의 조정에 대한 것이다.
이에 대해, 독일 특허 DE 34 25 946호는 예를 들면 한 쌍의 광학 센서 장치를 구비한 거리계를 공개하고 있으며, 제 1 데이터 처리 장치의 기능은 특히 상기 기능을 위해 구성되는 하드웨어를 실질적으로 기초로 하며, 제 2 데이터 처리 장치의 기능은 특히 상기 기능을 위해 구성되는 소프트웨어를 실질적으로 기초로 한다. 그러나, 제 1 데이터 처리 장치에서 최대 정합의 값이 결정되어, 예를 들면 바람직하게는 가요적으로, 계산 기능의 비 임계적 피크 값을 제거하는 것이 가능하지 않으면서 추가적인 프로세싱의 목적을 위해 제 2 데이터 처리 장치로 전달되며, 하드웨어 회로에서 실행의 경우 계산 기능은 거의 달성되지 않거나 많은 비용만을 초래하여 일반적으로 비경제적이다.
본 발명은 다른 처리되어야 하는 데이터를 생성하는 동안, 적어도 두 개의 카메라로부터 이미지 데이터를 처리하기 위한 제 1 데이터 처리 장치, 및 다른 처리되어야 하는 데이터를 추가로 처리하기 위한 제 2 데이터 처리 장치를 포함하는, 이미지 데이터를 처리하기 위한 시스템 및 방법에 관한 것이다. 제 1 데이터 처리 장치의 기능은 실질적으로 상기 기능을 위해 특별하게 설계되는 하드웨어를 기초로 하며, 제 2 데이터 처리 장치의 기능은 실질적으로 상기 기능을 위해 특별하게 구성되는 소프트웨어를 기초로 한다.
도 1은 본 발명에 따른 시스템의 개략적인 블록도이고,
도 2는 본 발명에 따른 방법을 설명하는 흐름도이다.
본 발명의 목적은 종래 기술의 단점을 제거하고 특히 이미지 테이터를 처리하기 위한 시스템 및 방법을 제공하는 것으로, 상기 시스템 및 방법은 높은 정도의 가요성으로 결합된 높은 데이터 처리 속도를 제공한다.
이러한 목적은 독립항의 특징에 의해 달성된다.
본 발명의 유용한 실시예는 종속항에 기재되어 있다.
본 발명은 포괄적인 시스템에 조립되며, 제 1 데이터 처리 장치의 기능은 추가적으로 처리되는 데이터로서 상관 곡선의 생성을 포함하고 제 2 데이터 처리 장치의 기능은 제 1 데이터 처리 장치에 의해 생성된 상관 곡선의 분석을 포함한다. 이러한 방식으로, 높은 정도의 가요성이 요구되는 평가 시간을 제외하고 평가 시간과 관련하여 적게 요구되는 단계가 프로세서 또는 제어기에서 실행되는 동안, 하드웨어의 특정한 개선을 통한 평가 시간과 관련하여 요구되는 프로세싱을 실현하는 것이 가능하다. 상이한 카메라로부터의 데이터 사이의 비교의 결과를 기초로 하여 상관 곡선의 생성이 평가 시간과 관련하여 매우 요구된다. 그러나, 원칙적으로,이러한 상관 곡선의 계산은 다양한 시스템에서 동일하게 수행될 수 있다. 선호하는 해결책은 특정한 하드웨어를 이용하여 이러한 계산을 수행하는 것이다. 이와 대조적으로, 상관 곡선의 프로세싱, 예를 들면 3차원 이미지의 깊이 정도를 제공하도록 상관 곡선에서 극한 값을 서치하는 것은 평가 시간과 관련하여 특별히 요구되지 않는다. 그러나, 시스템이 상이한 적용 분야에 적용할 수 있도록 이러한 포인트에서 충분히 가요적인 것이 특히 바람직하다. 이는 소프트웨어 프로세싱을 기초로 하여 달성된다.
본 발명에 따른 시스템은 특히 유용한 방식으로 더 개선되며 제 1 데이터 처리 장치의 기능은 이미지 테이터를 예비 처리된 데이터로의 예비 프로세싱을 포함하고 상관 곡선은 예비 처리된 데이터로부터 생성된다. 이 같은 예비 처리는 예를 들면 평가 시간과 관련하여 요구되는 센서스 변환을 포함하고 그 결과로서 높은 처리 속도의 장점이 프로세싱에서 발휘된다. 상관 곡선으로의 예비 처리된 데이터의 추가적인 프로세싱은 또한 평가 시간과 관련하여 요구되어, 이러한 기능이 또한 제 1 처리 장치에 의해 착수된다.
또한 제 1 데이터 처리 장치가 함께 입체 카메라(stereo camera)를 형성하는 두 개의 카메라로부터 데이터를 수신하는 본 발명의 구성내에 제공되는 것이 유용할 수 있어, 각각의 카메라로부터의 데이터는 다중 이미지 영역으로 세분되고 제 1 카메라의 이미지 영역의 데이터는 제 2 카메라의 인접한 이미지 영역의 데이터와 비교되어, 그 결과 상관 곡선이 비교되는 제 1 카메라의 각각의 이미지 영역에 대해 생성된다. 예를 들면, 제 1 카메라가 좌측 카메라로 가정하는 경우, 그때 좌측의 예비 처리되는 이미지의 각각의 이미지 영역은 우측의 예비 처리된 이미지의 바로 인접한 다중 예를 들면 24 이미지 영역, 즉 제 2 카메라의 이미지와 비교될 수 있다. 각각의 개별 비교는 대응하는 이미지 영역의 정합을 특징으로 하는 값으로 복귀된다. 좌측의, 즉 다중 본 실시예에서는 24의 이미지의 각각의 영역에 대해, 비교 결과가 생성된다. 비교 결과의 순서는 상관 곡선으로서 또는 상관 함수로서 작용한다. 결론적으로, 상관 곡선은 좌측 이미지의 각각의 이미지 영역에 대해 생성된다. 실시예에서 설명된 바와 같이, 제 1 카메라가 좌측 카메라로서 그리고 우측 카메라로서 우측 카메라가 할당되는 위치에서, 용어 "좌-우 상관(left-right correlation)"이 이용된다.
본 발명의 범위내에서, 각각의 카메라가 다중 이미지로 세분되고 제 2 카메라의 이미지 영역이 제 1 카메라의 인접한 이미지 영역의 데이터와 비교되어, 그 결과 상관 곡선이 비교되는 제 2 카메라의 각각의 이미지 영역에 대해 생성하도록 서로 입체 카메라를 형성하는 두 개의 카메라로부터 데이터를 수용하도록 제 1 데이터 처리 장치에 대해 유용한 방식으로도 가능하다. 제 1 카메라가 다시 좌측 카메라이고 제 2 카메라가 다시 우측 카메라인 경우, "우-좌 상관"이 본 발명에서 설명된 방법의 경우 설명된다. 이는 "좌-우 상관"에 부가하거나 대신 수행될 수 있다. 두 개의 상관이 수행되는 경우, 3차원 이미지의 질이 상관 곡선의 양 세트의 비교 분석을 통하여 상당히 개선될 수 있다. 이러한 비교 분석은 또한 제 2 데이터 처리 장치에 의해, 즉 제어기에 의해 가요적인 방식으로 수행되는 것이 바람직하다.
또한, 본 발명에 따른 시스템은 제 1 데이터 처리 장치에 의해 생성된 상관 곡선의 제 2 데이터 처리 장치에 의한 분석이 3차원 이미지의 생성을 포함한다. 이러한 3차원 이미지의 또는 이러한 3차원 이미지들의 분석이 표시되고, 트리거되어 자동차의 다양한 진행에 영향을 끼칠 수 있다.
또한 상관 곡선의 분석을 기초로 하여, 분류가 자동차에서의 시트 점유로 이루어지는 것이 특히 바람직하다. 이는 전방 승객 에어백의 전개 행위에 대해 특히 유용하다.
또한 상관 곡선의 분석을 기초로 하여, 운전자가 자동차를 제어하는데 도움이 되는 것이 유용하다. 차선 감지, 사고 방지, 정지 및 출발 등과 같은 기능이 여기서 지지된다.
본 발명은 포괄적인 방법으로 이루어지는데, 제 1 데이터 처리 장치의 기능은 추가로 처리되는 데이터로서 상관 곡선의 생성을 포함하고 제 2 데이터 처리 장치의 기능은 제 1 데이터 처리 장치에 의해 생성된 상관 곡선의 분석을 포함한다. 이러한 방식으로, 본 발명에 따른 시스템의 특징 및 장점은 또한 방법의 구성내에서 달성된다. 이는 또한 후술되는 본 발명에 따른 방법의 바람직한 실시예에 적용된다.
이 방법은 제 1 데이터 처리 장치의 기능이 이미지 데이터의 예비 처리된 데이터의 예비 프로세싱을 포함하고 상관 곡선은 예비 처리된 데이터로부터 생성되는 특히 유용한 방식으로 추가로 개선된다.
또한 제 1 데이터 처리 장치는 함께 입체 카메라를 형성하는 두 개의 카메라로부터 데이터를 수용하고, 각각의 카메라의 데이터는 다중 이미지 영역으로 세분되고 제 1 카메라의 이미지 영역의 데이터는 제 2 카메라의 인접한 이미지 영역의 데이터와 비교되어, 이러한 비교의 결과 상관 곡선은 비교되는 제 1 카메라의 각각의 이미지 영역에 대해 생성되는 유용한 방식으로 제공된다.
본 발명에 따른 방법의 구성내에서 유용하게는 제 1 데이터 처리 장치가 함께 입체 카메라를 형성하는 두 개의 카메라로부터 데이터를 수용하고, 각각의 카메라의 데이터가 다중 이미지 영역으로 세분되고 제 2 카메라의 이미지 영역의 데이터가 제 1 카메라의 인접한 영역 이미지 영역의 데이터와 비교하고 그 비교 결과 상관 곡선이 비교되는 제 카메라의 각각의 이미지 영역에 대해 생성될 수 있다.
더욱이, 본 발명에 따른 방법은 제 1 데이터 처리 장치에 의해 생성된 상관 곡선의 제 2 데이터 처리 장치에 의한 분석이 3차원 이미지의 생성과 비교되도록 설계되는 것이 유용하다.
또한 본 방법의 경우 상관 곡선의 분석을 기초로 하여 분류가 자동차에서의 시트 점유로 이루어지는 것이 바람직하다.
더욱이, 본 방법은 상관 곡선을 기초로 하여 운전자가 자동차를 제어하는데 도움이 된다.
본 방법은 상당한 장점이 상이한 데이터 처리 시스템을 이용하여 실행을 위한 평가 시간과 관련하여 적게 요구되는 알고리즘 및 평가 시간과 관련하여 요구되는 알고리즘을 분리함으로써 달성될 수 있다. 종래 기술의 시스템에서, 전체 이미지 생성 알고리즘은 제어기에서 완전히 또는 ASIC 및/또는 FGPA에서 완전히 미리실행되었다. 본 발명을 기초로 하여, 평가 시간과 관련하여 그리고 이용가능한 가요성이 없는 평가 시간에 대해 요구되는 알고리즘은 ASIC 및/또는 FPGA에서 하드웨어에 의해 실행된다. 또한 가요적으로 설계되는 것이 유용한 평가 시간이 적게 요구되는 알고리즘은 제어기에 의해 실행된다.
본 발명은 지금부터 첨부된 도면을 참조하여 예에 의해 바람직한 실시예를 이용하여 설명된다.
도 1은 본 발명에 따른 시스템의 개략적인 블록도를 보여준다. 소통되는 데이터를 위한 제 1 데이터 처리 장치(10)에 연결되는 두 개의 카메라(12, 14) 또는 카메라 장치가 제공된다. 제 1 데이터 처리 장치(10)는 추가적으로 소통하기 위한 제 2 데이터 처리 장치(16)로 연결되는데, 이 제 2 데이터 처리 장치(16)는 예를 들면 자동차의 CAN 버스(18)와 연결된다.
따라서 시스템은 두 개의 데이터 처리 장치(10, 16)로 분리되고, 각각의 처리 기능은 프로세싱과 연결되는 계산 작업에 따라 데이터 처리 장치(10, 16)로 할당된다. 결론적으로, 평가 시간과 관련하여 요구되는 알고리즘은 데이터 처리 장치(10) 보다 실질적으로 더 높은 처리 속도를 제공할 수 있는 데이터 처리 장치(10)에서 처리되고, 평가 시간과 관련하여 적게 요구되는 알고리즘은 데이터처리 장치(16)에서 실행된다. 특히, 소정의 적용분야에 일반적으로 가요적이지 않는 알고리즘이 실행되고, 데이터 처리 장치(16)에서 매우 많은 매개 변수가 가능하게는 적용분야에 최적으로 적용될 수 있는 알고리즘이 실행된다. 이러한 방식으로, 본 발명에 따른 시스템을 기초로 하여 두 개의 문제점이 동시에 해결된다. 첫째, 요구되는 알고리즘이 하드웨어 실행을 기초로 한 "빠른" 데이터 처리 장치에서 실행되기 때문에, 높은 처리 속도가 달성된다. 이에 비해, 비록 소프트웨어 실행에 의한 높은 정도의 가요성이 있지만, 평가 시간과 관련하여 적게 요구되는 알고리즘이 "느린" 데이터 처리 장치(16)에서 실행된다.
제 1 데이터 처리 장치(10)는 ASIC 또는 FPGA로서 형성되는 것이 특히 유용하다. ASIC는 매우 높은 처리 속도가 달성될 수 있도록, 평가 시간과 관련하여 요구되는, 상관 곡선의 계산에 대해 최적화될 수 있다. 가요적인 적용 분야가 제 2 데이터 처리 장치(16)에 의해 후속적으로 착수되기 때문에, 각각의 경우 상이한 적용분야에 대해 상이한 ASIC들을 설계하는 것이 필요하지 않다.
비교가능한 이유에 대해, 제 1 데이터 처리 장치(10)가 FPGA가 되는 것이 특히 유용하다. FPGA의 재프로그래밍 조차 비용이 든다. 그러나, FPGA가 상관 곡선의 계산에 전적으로 충당되기 때문에, 상이한 적용분야가 요구되는 경우, 이 같은 재프로그래밍은 더 이상 필요하지 않다. 동시에, 높은 처리 속도가 FPGA에 의한 실행때문에 달성된다.
이러한 내용에서, 제 2 데이터 처리 장치(16)가 프로세서 또는 제어기로서 설계되는 것이 특히 유용하다.
따라서, 제 2 데이터 처리 장치(16)로서 무작위로 재프로그램가능한 제어기를 이용함으로써 전체 시스템의 가요성을 제공하는 것이 가능하다. 이러한 제어기의 평가 속도는 상관 곡선을 분석하기에 충분한데, 예를 들면, 상관 곡선의 극한 값을 결정하거나 서로 상관 곡선의 상이한 세트를 서로 비교하기에 충분하다.
구체적으로, 함께 입체 카메라(12, 14)를 형성하는, 카메라(12, 14)에 의해 공급되는 이미지 데이터는 데이터 처리 장치(10)에 의해 첫번째로 예비 처리되는데, 예를 들면 평가와 관련하여 요구되는 센서스 변환이 실행된다. 그리고나서 각각의 카메라의 이미지 데이터의 상관이 데이터 처리 장치(10)에서 후속된다. 이는 예를 들면 좌측 카메라(12)의 이미지의 각각의 이미지 영역이 우측 카메라(14)의 이미지의 다중의 바로 인접한 이미지 영역과 비교되도록 수행된다. 각각의 개별 비교는 대응하는 결과의 정합을 특징으로 하는 값으로 복귀된다. 결론적으로, 우측 이미지, 다중, 예를 들면 24의 각각의 영역에 대해 비교 결과가 생성된다. 비교 결과의 이러한 순서는 상관 곡선 또는 상관 기능이라 지칭된다. 따라서 상관 곡선이 좌측 이미지의 각각의 이미지 영역에 대해 생성된다. 이러한 방법으로 실행된 방법은 "좌-우 상관"을 나타낸다. 또한 "우-좌 상관"을 수행하도록 유사한 방식으로 가능하다. 이는 "좌-우 상관" 대신 또는 부가하여 수행될 수 있다.
상관 곡선의 극한 값은 제 2 데이터 처리 장치(16)에서 결정된다. 상관 곡선의 다중 세트, 예를 들면 "좌-우 상관" 및 "우-좌 상관"이 이용가능한 위치에서, 데어터 처리 장치(16)의 생성된 3차원 이미지의 질이 세트를 비교함으로써 상당히 개선될 수 있다.
도 2는 본 발명에 따른 방법을 설명하는 흐름도를 보여준다.
단계(S01)에서 이미지 데이터 정보는 입체 카메라에 의해 제공된다.
이러한 이미지 데이터 정보는 ASIC 및/또는 FPGA에서의 상관 곡선을 생성하도록 단계(S02)에서 추가적으로 처리된다.
상관 곡선은 단계(S03)에서 분석되며, 평가 시간과 관련하여 특히 요구되지 않는, 이러한 분석이 제어기에서 착수된다.
단계(S04)에서, 3차원 이미지는 제어기에서 생성된다.
이미지로부터 얻을 수 있는 이러한 이미지 또는 정보가 차량의 CAN 버스[CAN 버스(18) 도 1 참조]를 경유하여 후속적으로, 예를 들면 자동차의 중앙 제어 유닛으로 전달될 수 있다.
상기 상세한 설명, 도면 그리고 청구범위에 공개된 본 발명의 특징은 본 발명의 실행에 대해 개별적으로 그리고 조합하여 필수적일 수 있다. 본 발명은 자동차의 시트 점유를 분류하기 위해 및/또는 자동차를 제어하는 운전자를 보조하기 위해 특히 적절하다.

Claims (14)

  1. 두 개 이상의 카메라(12, 14)로부터 이미지 데이터를 처리하고, 추가적으로 처리되는 데이터를 생성하기 위한 제 1 데이터 처리 장치(10)와,
    추가적으로 처리되는 데이터를 추가적으로 처리하기 위한 제 2 제이터 처리 장치(16)를 포함하고,
    상기 제 1 데이터 처리 장치(10)의 기능은 실질적으로 상기 기능을 위해 특별히 구성되는 하드웨어를 기초로 하고,
    상기 제 2데이터 처리 장치(16)의 기능은 실질적으로 상기 기능을 위해 특별히 구성되는 소프트웨어를 기초로 하는, 이미지 데이터를 처리하는 시스템에 있어서,
    상기 제 1 데이터 처리 장치(10)의 기능은 추가로 처리되는 데이터로서 상관 곡선의 생성을 포함하고,
    상기 제 2 데이터 처리 장치(16)의 기능은 상기 제 1 데이터 처리 장치(10)에 의해 생성된 상관 곡선의 분석을 포함하는 것을 특징으로 하는,
    이미지 데이터를 처리하는 시스템.
  2. 제 1 항에 있어서,
    상기 제 1 데이터 처리 장치(10)의 기능은 이미지 데이터를 예비 처리된 데이터로의 예비 프로세싱을 포함하고,
    상기 예비 처리된 데이터로부터 상관 곡선이 생성되는 것을 특징으로 하는,
    이미지 데이터를 처리하는 시스템.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 제 1 데이터 처리 장치(10)는 함께 입체 카메라를 형성하는, 두 개의 카메라(12, 14)로부터 데이터를 수용하고,
    각각의 카메라(12, 14)의 데이터는 다중 이미지 영역으로 세분되고,
    상기 제 1 카메라(12)의 이미지 영역의 데이터는 상기 제 2 카메라(14)의 인접한 이미지 영역의 데이터와 비교되고, 상기 비교에 의해, 상관 곡선이 비교되는 상기 제 1 카메라(12)의 각각의 이미지 영역에 대해 생성되는 것을 특징으로 하는,
    이미지 데이터를 처리하는 시스템.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 제 1 데이터 처리 장치(10)는 함께 입체 카메라를 형성하는, 두 개의 카메라로부터 데이터를 수용하며,
    상기 각각의 카메라(12, 14)의 데이터는 다중 이미지 영역으로 세분되며,
    상기 제 2 카메라(14)의 이미지 영역의 데이터는 상기 제 1 카메라(12)의 인접한 이미지 영역의 데이터와 비교되고, 상기 비교에 의해 상관 곡선이 상기 비교되는 상기 제 2 카메라(14)의 각각의 이미지 영역에 대해 생성되는 것을 특징으로 하는,
    이미지 데이터를 처리하는 시스템.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 제 1 데이터 처리 장치(10)에 의해 생성된 상기 상관 곡선의 상기 제 2 데이터 처리 장치(12)에 의한 분석은 3차원 이미지의 생성을 포함하는 것을 특징으로 하는,
    이미지 데이터를 처리하는 시스템.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 상관 곡선의 분석을 기초로 하여, 자동차의 시트 점유가 분류되는 것을 특징으로 하는,
    이미지 데이터를 처리하는 시스템.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 상관 곡선의 분석을 기초로 하여, 운전자가 자동차를 제어하는데 도움이 되는 것을 특징으로 하는,
    이미지 데이터를 처리하는 시스템.
  8. 제 1 데이터 처리 장치(10)로 두 개 이상의 카메라(12, 14)로부터 이미지 데이터를 처리하고, 추가로 처리되는 데이터가 생성되며,
    제 2 데이터 처리 장치(16)로 추가로 처리되는 데이터가 추가로 처리되며,
    상기 제 1 데이터 처리 장치(10)의 기능은 실질적으로 상기 기능을 위해 특별히 구성되는 하드웨어를 기초로 하고,
    상기 제 2 데이터 처리 장치(16)의 기능은 실질적으로 상기 기능을 위해 특별히 구성되는 소프트웨어를 기초로 하는, 이미지 데이터를 처리하는 방법에 있어서,
    상기 제 1 데이터 처리 장치(10)의 기능은 추가로 처리되는 데이터로서 상관 곡선의 생성을 포함하며,
    상기 제 2 데이터 처리 장치(16)의 기능은 상기 제 1 데이터 처리 장치(10)에 의해 생성되는 상관 곡선의 분석을 포함하는 것을 특징으로 하는,
    이미지 데이터를 처리하는 방법
  9. 제 8 항에 있어서,
    상기 제 1 데이터 처리 장치(10)의 기능은 이미지 데이터를 예비 처리된 데이터로의 예비 프로세싱을 포함하고,
    상관 곡선은 상기 예비 처리된 데이터로부터 생성되는 것을 특징으로 하는,
    이미지 데이터를 처리하는 방법.
  10. 제 8 항 또는 제 9 항에 있어서,
    상기 제 1 데이터 처리 장치(10)는 함께 입체 카메라를 형성하는, 두 개의카메라(12, 14)로부터 데이터를 수용하며,
    상기 각각의 카메라(12, 14)의 데이터는 다중 이미지 영역으로 분할되며,
    상기 제 1 카메라(12)의 이미지 영역의 데이터가 상기 제 2 카메라(14)의 인접한 이미지 영역의 데이터와 비교되며, 상기 비교에 의해 상관 곡선이 비교되는 상기 제 1 카메라(12)의 각각의 이미지 영역에 대해 생성되는 것을 특징으로 하는,
    이미지 데이터를 처리하는 방법.
  11. 제 8 항 내지 제 10 항 중 어느 한 항에 있어서,
    상기 제 1 데이터 처리 장치(10)는 함께 입체 카메라를 형성하는, 두 개의 카메라(12, 14)로부터 데이터를 수용하고,
    상기 각각의 카메라(12, 14)의 데이터는 다중 이미지 영역으로 세분되며,
    상기 제 2 카메라(14)의 이미지 영역의 데이터가 상기 제 1 카메라(12)의 인접한 이미지 영역의 데이터와 비교되며, 상기 비교에 의해 상관 곡선이 비교되는 상기 제 2 카메라(14)의 각각의 이미지 영역에 대해 생성되는 것을 특징으로 하는,
    이미지 데이터를 처리하는 방법.
  12. 제 8 항 내지 제 11 항 중 어느 한 항에 있어서,
    상기 제 1 데이터 처리 장치(10)에 의해 생성된 상관 곡선의 상기 제 2 데이터 처리 장치(16)의 분석은 3차원 이미지를 생성하는 것을 포함하는 것을 특징으로 하는,
    이미지 데이터를 처리하는 방법.
  13. 제 8 항 내지 제 12 항 중 어느 한 항에 있어서,
    상기 상관 곡선의 분석을 기초로 하여 자동차의 시트 점유가 분류되는 것을 특징으로 하는,
    이미지 데이터를 처리하는 방법.
  14. 제 8 항 내지 제 13 항 중 어느 한 항에 있어서,
    상기 상관 곡선의 분석을 기초로 하여 운전자가 자동차를 제어하는데 도움이 되는 것을 특징으로 하는,
    이미지 데이터를 처리하는 방법.
KR10-2004-7005379A 2001-10-18 2002-10-16 차량 시트 점유를 감지하기 위한 시스템 및 방법 KR20040047905A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE10151417.4 2001-10-18
DE10151417A DE10151417A1 (de) 2001-10-18 2001-10-18 System und Verfahren zum Verarbeiten von Bilddaten
PCT/DE2002/003922 WO2003035433A1 (de) 2001-10-18 2002-10-16 System und verfahren zum erfassen der sitzbelegung eines kraftfahrzeuges

Publications (1)

Publication Number Publication Date
KR20040047905A true KR20040047905A (ko) 2004-06-05

Family

ID=7702903

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2004-7005379A KR20040047905A (ko) 2001-10-18 2002-10-16 차량 시트 점유를 감지하기 위한 시스템 및 방법

Country Status (6)

Country Link
US (1) US20040247158A1 (ko)
EP (1) EP1436173B1 (ko)
JP (1) JP2005506625A (ko)
KR (1) KR20040047905A (ko)
DE (2) DE10151417A1 (ko)
WO (1) WO2003035433A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7715591B2 (en) * 2002-04-24 2010-05-11 Hrl Laboratories, Llc High-performance sensor fusion architecture
US8560179B2 (en) * 2003-02-20 2013-10-15 Intelligent Mechatronic Systems Inc. Adaptive visual occupant detection and classification system
US20040220705A1 (en) * 2003-03-13 2004-11-04 Otman Basir Visual classification and posture estimation of multiple vehicle occupants
DE102004050809A1 (de) * 2004-10-15 2006-04-20 X3D Technologies Gmbh Anordnung zur dreidimensional wahrnehmbaren Darstellung
US7561732B1 (en) * 2005-02-04 2009-07-14 Hrl Laboratories, Llc Method and apparatus for three-dimensional shape estimation using constrained disparity propagation
KR100630842B1 (ko) * 2005-06-08 2006-10-02 주식회사 현대오토넷 스테레오 영상 정합을 이용한 자동차의 탑승자 자세 판별시스템 및 그 방법
WO2012170898A2 (en) * 2011-06-09 2012-12-13 Utah State University Research Foundation Systems and methods for sensing occupancy
DE102017217156B4 (de) * 2017-09-27 2021-12-23 Robert Bosch Gmbh Verfahren und Vorrichtung zur Ansteuerung eines Fahrerassistenzsystems unter Verwendung eines Stereokamerasystems mit einer ersten und einer zweiten Kamera
CN113050993A (zh) 2019-12-27 2021-06-29 中兴通讯股份有限公司 基于激光雷达的检测方法、装置及计算机可读存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6020111A (ja) * 1983-07-14 1985-02-01 Fuji Electric Corp Res & Dev Ltd 距離測定装置
US6757009B1 (en) * 1997-06-11 2004-06-29 Eaton Corporation Apparatus for detecting the presence of an occupant in a motor vehicle
JP4172554B2 (ja) * 1998-03-12 2008-10-29 富士重工業株式会社 ステレオカメラの調整装置
DE19852653A1 (de) * 1998-11-16 2000-05-18 Bosch Gmbh Robert Vorrichtung zum Erfassen der Belegung eines Fahrzeugsitzes
JP3587506B2 (ja) * 1999-08-30 2004-11-10 富士重工業株式会社 ステレオカメラの調整装置
JP3261115B2 (ja) * 1999-09-22 2002-02-25 富士重工業株式会社 ステレオ画像処理装置

Also Published As

Publication number Publication date
JP2005506625A (ja) 2005-03-03
DE50203113D1 (de) 2005-06-16
EP1436173A1 (de) 2004-07-14
WO2003035433A1 (de) 2003-05-01
EP1436173B1 (de) 2005-05-11
DE10151417A1 (de) 2003-05-08
US20040247158A1 (en) 2004-12-09

Similar Documents

Publication Publication Date Title
US11046273B2 (en) Seat belt status determining system and method
US11014562B2 (en) Support device
EP1759932B1 (en) Method of classifying vehicle occupants
EP1925506B1 (en) Occupant detection apparatus, operation device control system, seat belt system, and vehicle
EP1985505A2 (en) Occupant information detection system, occupant restraint system, and vehicle
JP5841049B2 (ja) 自動車用ビジョンシステムおよびビジョンメソッド
US5900807A (en) Collision detection device
US20120004811A1 (en) Method and control device for triggering passenger protection means for a vehicle
KR20040047905A (ko) 차량 시트 점유를 감지하기 위한 시스템 및 방법
JP7280874B2 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP2004310522A (ja) 車両用画像処理装置
CN115082877A (zh) 图像处理装置、图像处理方法和非暂时性存储介质
US11458892B2 (en) Image generation device and image generation method for generating a composite image
US11763577B2 (en) Method, control unit and computer program to determine a head orientation and/or head position of a vehicle occupant
US20060138758A1 (en) Device for controlling a retaining system
KR102366874B1 (ko) 고령 운전자를 위한 후방 경보 장치 및 방법
JP7042604B2 (ja) 運転支援装置、及び運転支援方法
EP3176725A1 (en) Method and device for detecting a braking application of a vehicle
JP2018154157A (ja) 乗員保護装置及び方法
WO2021029167A1 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
EP4316912A1 (en) Vehicle camera, camera system, video processing method, software, and vehicle incorporating the same
JP7298323B2 (ja) 外部環境認識装置
US20220009439A1 (en) Enhanced occupant collision safety system
EP3279830B1 (en) A vision system and method for a motor vehicle
JP2023149233A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid