KR20050082678A - The passenger recognition system which uses the stereo camera - Google Patents
The passenger recognition system which uses the stereo camera Download PDFInfo
- Publication number
- KR20050082678A KR20050082678A KR1020040011207A KR20040011207A KR20050082678A KR 20050082678 A KR20050082678 A KR 20050082678A KR 1020040011207 A KR1020040011207 A KR 1020040011207A KR 20040011207 A KR20040011207 A KR 20040011207A KR 20050082678 A KR20050082678 A KR 20050082678A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- passenger
- vehicle
- unit
- occupant
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
본 발명은 차량 탑승자를 인식하는 기술에 관한 것이다.The present invention relates to a technique for recognizing a vehicle occupant.
이같은 본 발명은, 입체 영상(3D depth)의 정보를 추출하는 알고리듬을 통해 부피 정보를 추출하여 탑승자의 클래스를 구별하고, 탑승자의 위치 및 자세 정보를 획득하기 위해 신체부위(머리, 팔, 몸, 다리)의 모델링 및 인식, 트래킹을 가능하게 하는 스테레오 카메라를 이용한 탑승자 인식 시스템을 구성함으로써, 탑승자의 클래스 및 탑승자세에 따라 에어백의 전개 유무를 효과적으로 판단할 수 있도록 함은 물론, 차선 인식, 졸음 운전, 충돌방지, 주차에 도움을 줄 수 있도록 하는 등 차량의 주행 안정성 확보를 위한 기술 개발을 가능하게 하여 탑승자의 안전을 도모할 수 있도록 하는 스테레오 카메라를 이용한 탑승자 인식 시스템을 제공한다.The present invention is to extract the volume information through an algorithm for extracting the information of the 3D depth to distinguish the class of the occupant, and to obtain the body position (head, arm, body, By configuring a passenger recognition system using a stereo camera that enables modeling, recognition, and tracking of legs, it is possible to effectively determine whether an airbag is deployed according to the class and attitude of the passenger, as well as lane recognition and drowsy driving. It provides a passenger recognition system using a stereo camera that enables the development of technology to secure driving stability of the vehicle, such as helping to prevent collisions and parking.
Description
본 발명은 차량 탑승자를 인식하는 기술에 관한 것으로서, 특히 스테레오 카메라를 이용한 탑승자의 클래스 구별 및 탑승 자세 판별을 통해 에어백 전개 유무를 효과적으로 판단할 수 있도록 함은 물론, 차선 인식, 졸음 경보, 충돌방지, 주차 도움을 줄 수 있는 등 차량의 주행 안정성 확보를 위한 기술 개발을 가능하게 하여 탑승자의 주행 안정성 확보를 가능하게 하는 스테레오 카메라를 이용한 탑승자 인식 시스템에 관한 것이다.The present invention relates to a technology for recognizing a vehicle occupant, and in particular, to effectively determine whether an airbag is deployed by classifying a passenger and determining a riding attitude using a stereo camera, as well as lane recognition, drowsiness alert, collision prevention, The present invention relates to a passenger recognition system using a stereo camera that enables the development of technology for securing driving stability of a vehicle, such as parking assistance, to enable securing of driving stability of a vehicle.
종래 탑승자 인식 시스템은 접촉식 센서가 제공되고 있다.Conventional occupant recognition systems are provided with contact sensors.
그러나, 상기와 같은 접촉식 센서는 탑승자의 클래스 구별 및 자세 등을 판별하는데에 상당한 제약이 따를 수 밖에 없었다.However, such a touch sensor was subject to significant restrictions in determining the class distinction and attitude of the occupants.
즉, 종래 접촉식 센서는 단지 탑승자가 접촉되었을 때만 탑승자의 탑승여부를 인식할 수 있을 뿐, 그 탑승자의 클래스 구별은 물론, 탑승 자세가 어떠한지를 정확하게 판별하지는 못하였다.That is, the conventional touch sensor can only recognize whether or not the occupant is riding when only the occupant is in contact, and can not accurately classify the occupancy of the occupant, as well as classifying the occupant's class.
이에따라, 종래에는 차선 인식, 졸음 경보, 충돌방지, 주차 도움, 에어백의 전개 유무를 판단하는 차량의 안전시스템에 탑승자 인식 시스템을 적용할 경우, 보다 정확한 정보 제공이 이루어지지 못하면서 오히려 탑승자의 안전을 위협하는 경우가 발생되었다.Accordingly, when the occupant recognition system is applied to a vehicle safety system that determines lane detection, drowsiness warning, collision prevention, parking assistance, and airbag deployment in the related art, more accurate information cannot be provided, but rather threatens occupant safety. There was a case.
따라서, 본 발명은 상기와 같은 종래의 문제점을 해결하기 위해 안출된 것으로서 본 발명은, 입체 영상(3D depth)의 정보를 추출하는 알고리듬을 통해 부피 정보를 추출하여 탑승자의 클래스를 구별하고, 탑승자의 위치 및 자세 정보를 획득하기 위해 신체부위(머리, 팔, 몸, 다리)의 모델링 및 인식, 트래킹을 가능하게 하는 스테레오 카메라를 이용한 탑승자 인식 시스템을 구성함으로써, 탑승자의 클래스 및 탑승자세에 따라 에어백의 전개 유무를 효과적으로 판단할 수 있도록 함은 물론, 차선 인식, 졸음 운전, 충돌방지, 주차에 도움을 줄 수 있도록 하는 등 차량의 주행 안정성 확보를 위한 기술 개발을 가능하게 하여 탑승자의 안전을 도모할 수 있도록 하는 스테레오 카메라를 이용한 탑승자 인식 시스템을 제공하려는데 그 목적이 있다.Accordingly, the present invention has been made to solve the conventional problems as described above, the present invention is to extract the volume information through an algorithm for extracting the information of the 3D depth to distinguish the class of the occupant, A passenger recognition system using a stereo camera that enables modeling, recognition, and tracking of body parts (head, arms, body and legs) to obtain position and posture information is provided. In addition to making it possible to effectively determine whether a vehicle is deployed, it is possible to improve the safety of passengers by enabling the development of technology to secure driving stability of vehicles, such as lane recognition, drowsy driving, collision prevention, and parking assistance. The purpose of the present invention is to provide a passenger recognition system using a stereo camera.
이하, 첨부된 도면에 의거하여 본 발명의 바람직한 일실시예를 설명하면 다음과 같다.Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings.
도 1은 본 발명의 일실시예로 스테레오 카메라를 이용한 탑승자 인식 시스템의 구성도 이다.1 is a block diagram of a passenger recognition system using a stereo camera according to an embodiment of the present invention.
도 1에 도시된 바와같이, 차량내에는 차량내의 영상을 촬영하는 다수개의 CMOS(Complementary Metal Oxide Semiconductor)카메라(10)와, 디지털 신호 처리 프로세서(DSP; Digital Signal Processor) 기반의 영상처리 보드를 구성하되,As illustrated in FIG. 1, a plurality of complementary metal oxide semiconductor (CMOS) cameras 10 for photographing images in a vehicle and a digital signal processor (DSP) based image processing board are configured in the vehicle. But
상기 영상처리보드에는, The image processing board,
카메라 캘리브레이션 데이터 및 차량에서 취할 수 있는 탑승자의 자세 모델링 정보 및 차량내부 정보를 저장시킨 영상메모리부(20);An image memory unit 20 which stores camera calibration data, vehicle attitude modeling information that can be taken in a vehicle, and internal vehicle information;
상기 CMOS카메라(10)로부터 촬영된 영상으로부터 입체 영상의 맵(3D depth map)을 구성한 후 그 구성된 영상 맵으로부터 배경화면을 제거하여 탑승자의 입체 영상만을 추출하는 영상추출부(30);An image extracting unit (30) for constructing a 3D depth map from the image photographed by the CMOS camera (10), and then extracting only a stereoscopic image of the occupant by removing a background image from the configured image map;
상기 영상추출부(30)에 의해 추출된 탑승자의 입체 영상으로부터 탑승자의 각 신체부위를 영상메모리부(20)의 모델링 정보를 검색하여 인식하는 제 1 영상인식부(40);A first image recognition unit 40 recognizing each body part of the occupant by searching modeling information of the image memory unit 20 from the stereoscopic image of the occupant extracted by the image extracting unit 30;
상기 제 1 영상인식부(40)로부터 인식된 탑승자의 각 신체부위를 조합한 후 탑승자의 부피정보(예; 신체사이즈)를 인식하는 제 2 영상인식부(50); 및,A second image recognizing unit 50 for recognizing a passenger's volume information (eg, body size) after combining each body part of the passenger recognized by the first image recognizing unit 40; And,
상기 제 2 영상인식부(50)로부터 인식된 탑승자의 부피정보에 따라 탑승자의 차량내 위치 및 그 탑승 자세를 판단하는 탑승자 인식부(60); 를 구성함을 특징으로 한다.A rider recognition unit 60 for determining a position of the occupant in the vehicle and its riding posture according to the volume information of the occupant recognized by the second image recognition unit 50; Characterized in that the configuration.
다른 일면에 따라, 상기 CMOS카메라(10)에는,According to another aspect, the CMOS camera 10,
차량내의 조도가 낮을 때 원하는 영상 취득이 가능하도록 적외선 센서(70)를 연결 구성함을 특징으로 한다.When the illumination in the vehicle is low, it characterized in that the infrared sensor 70 is connected to configure the desired image acquisition.
이와같이 구성된 본 발명의 일실시예에 대한 작용을 첨부된 도 1을 참조하여 설명하면 다음과 같다.Referring to Figure 1 attached to the operation of an embodiment of the present invention configured as described above are as follows.
먼저, 차량내에 다수개가 설치된 CMOS카메라(10)를 작동시키면, 상기 CMOS카메라(10)는 차량내의 영상을 촬영한 후 이를 디지털 신호 처리 프로세서(DSP) 기반의 영상처리보드로 전송한다.First, when a plurality of CMOS cameras 10 installed in a vehicle are operated, the CMOS camera 10 captures an image in the vehicle and transmits the same to a digital signal processing processor (DSP) based image processing board.
그러면, 상기 영상처리보드내의 영상추출부(30)에서는 상기 CMOS카메라(10)에 의해 촬영된 영상을 입체 영상의 맵(3D depth map)을 구성한 후 그 구성된 입체 영상의 맵으로부터 배경화면을 제거하여 탑승자의 입체 영상만을 추출한다.Then, the image extracting unit 30 in the image processing board forms a 3D depth map of the image photographed by the CMOS camera 10, and then removes a background image from the map of the composed stereoscopic image. Only stereoscopic images of passengers are extracted.
이때, 상기 영상처리보드내의 제 1 영상인식부(40)는 영상메모리부(20)를 검색하여, 상기 영상추출부(30)로부터 추출된 탑승자의 입체 영상에서 탑승자의 각 신체부위 정보를 인식하게 된다.In this case, the first image recognition unit 40 in the image processing board searches the image memory unit 20 to recognize each body part information of the occupant in the stereoscopic image of the occupant extracted from the image extracting unit 30. do.
즉, 상기 영상메모리부(20)에는 차량에서 취할 수 있는 탑승자의 조도별 신체사이즈 및 자세의 모델링 정보가 저장되어 있는 바,That is, the image memory unit 20 stores the modeling information of the body size and posture of each passenger's illumination that can be taken in the vehicle,
상기 영상메모리부(20)에 저장된 정보의 검색을 통해 제 1 영상인식부(40)는 CMOS카메라(10)에 의해 촬영되어 추출된 탑승자의 실제 영상으로부터 그 탑승자의 신체부위 정보를 인식할 수 있게 되는 것이다.Through retrieval of the information stored in the image memory unit 20, the first image recognition unit 40 may recognize the body part information of the passenger from the actual image of the passenger photographed and extracted by the CMOS camera 10. Will be.
이때, 상기 영상처리보드내의 제 2 영상인식부(50)는 상기 제 1 영상인식부(40)로부터 인식된 탑승자의 각 신체부위를 조합한 후 탑승자의 부피정보 즉, 탑승자의 신체사이즈를 인식한 후 이를 탑승자 인식부(60)로 출력하게 되는 바,In this case, the second image recognition unit 50 in the image processing board combines each body part of the passenger recognized by the first image recognition unit 40 and recognizes the passenger's volume information, that is, the body size of the passenger. After it is output to the passenger recognition unit 60,
상기 탑승자 인식부(60)는 탑승자의 부피정보에 따라 탑승자의 차량내 위치는 물론 그 탑승자세를 판단할 수 있게 되는 것이다.The occupant recognition unit 60 may determine the occupant position as well as the position of the occupant in the vehicle according to the occupant volume information.
일예로, CMOS카메라(10)로부터 촬영된 영상으로부터 운전자의 차량내 위치가 조수석이고 탑승자 정보가 어른일때 차량의 대쉬보드 쪽과 머리의 위치가 너무 가까울 경우, 상기 탑승자 인식부(60)는 그 자세를 신속하게 판단하여 사고 발생시 에어백 전개를 금지하여 에어백의 전개에 의한 상해를 미연에 방지할수 있게 되는 것이다.For example, when the driver's in-vehicle position is the passenger seat and the occupant information is too close from the image captured by the CMOS camera 10, the position of the dashboard side of the vehicle and the head is too close. It is possible to prevent the injury caused by the deployment of the airbag by prohibiting the deployment of the airbag in the event of an accident.
또한, 상기 탑승자 인식부(60)가 어린이를 인식하였을 경우 역시 에어백 전개를 금지하여 에어백에 의한 상해를 미연에 방지할 수 있도록 한 것이다.In addition, when the occupant recognition unit 60 recognizes the child, it is also to prohibit the deployment of the airbag to prevent injury by the airbag in advance.
여기서, 상기 CMOS카메라(10)에는 적외선 센서(70)를 각각 구비함으로써, 차량내의 조도가 낮을 경우에 있어서도 차량내 탑승자의 영상정보를 보다 쉽게 취득할 수 있도록 하였다.In this case, each of the CMOS cameras 10 includes infrared sensors 70 so that image information of the occupants in the vehicle can be more easily acquired even when the illumination in the vehicle is low.
이상에서 설명한 바와같이 본 발명은 입체 영상의 정보를 추출하는 알고리듬을 통해 부피 정보를 추출하여 탑승자의 클래스를 구별하고, 탑승자의 위치 및 자세 정보를 획득하기 위해 신체부위의 모델링 및 인식, 트래킹을 가능하게 하는 스테레오 카메라를 이용한 탑승자 인식 시스템을 구성함으로써, 탑승자의 클래스 및 탑승자세에 따라 에어백의 전개 유무를 효과적으로 판단할 수 있도록 함은 물론, 차선 인식, 졸음 운전, 충돌방지, 주차에 도움을 줄 수 있도록 하는 등 차량의 주행 안정성 확보를 위한 기술 개발을 가능하게 하여 탑승자의 안전을 도모하는 효과를 제공한다.As described above, the present invention can extract the volume information through an algorithm for extracting the information of the stereoscopic image to distinguish the class of the occupant, and to model, recognize, and track the body part in order to obtain the position and posture information of the occupant. By constructing a passenger recognition system using a stereo camera, it is possible to effectively determine whether an airbag is deployed according to the class and attitude of the passenger, as well as assist in lane recognition, drowsy driving, collision prevention, and parking. It enables the development of technology for securing the driving stability of the vehicle, such as to provide the effect of promoting the safety of the occupants.
본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와같은 변경은 청구범위 기재의 범위내에 있게 된다.The present invention is not limited to the above-described specific preferred embodiments, and various modifications can be made by any person having ordinary skill in the art without departing from the gist of the present invention claimed in the claims. Of course, such changes are within the scope of the claims.
도 1은 본 발명의 일실시예로 스테레오 카메라를 이용한 탑승자 인식 시스템의 구성도.1 is a block diagram of a passenger recognition system using a stereo camera as an embodiment of the present invention.
*도면의 주요 부분에 대한 부호의 설명** Description of the symbols for the main parts of the drawings
10; CMOS카메라 20; 영상메모리부10; CMOS camera 20; Image memory section
30; 영상추출부 40; 제 1 영상인식부30; An image extractor 40; First image recognition unit
50; 제 2 영상인식부 60; 탑승자 인식부50; A second image recognition unit 60; Passenger recognition section
70; 적외선센서70; Infrared sensor
Claims (2)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020040011207A KR100571038B1 (en) | 2004-02-20 | 2004-02-20 | The passenger recognition system which uses the stereo camera |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020040011207A KR100571038B1 (en) | 2004-02-20 | 2004-02-20 | The passenger recognition system which uses the stereo camera |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20050082678A true KR20050082678A (en) | 2005-08-24 |
| KR100571038B1 KR100571038B1 (en) | 2006-04-13 |
Family
ID=37269047
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020040011207A KR100571038B1 (en) | 2004-02-20 | 2004-02-20 | The passenger recognition system which uses the stereo camera |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100571038B1 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100753115B1 (en) * | 2006-06-13 | 2007-08-29 | 한국원자력연구원 | Apparatus and method for recognizing a person in the car |
| KR100779739B1 (en) * | 2006-06-01 | 2007-11-26 | 인제대학교 산학협력단 | Vehicle occupant head distance extraction method using stereo-vision |
| KR100821924B1 (en) * | 2007-04-19 | 2008-04-16 | 주식회사 현대오토넷 | Passenger head detection system and method thereof |
| KR100862052B1 (en) * | 2007-06-05 | 2008-10-09 | 안상호 | Ir video camera apparatus for smart airbag with active type ir-led and ir distance sensor |
| KR101212411B1 (en) * | 2006-03-08 | 2012-12-13 | 주식회사 현대오토넷 | A Passenger Detection System For Automobile And Method thereof |
| US8340398B2 (en) | 2006-12-02 | 2012-12-25 | Electronics And Telecommunications Research Institute | Correlation extract method for generating 3D motion data, and motion capture system and method for easy composition of humanoid character on real background image using the same |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130004824A (en) | 2011-07-04 | 2013-01-14 | 현대자동차주식회사 | Vehicle control system |
-
2004
- 2004-02-20 KR KR1020040011207A patent/KR100571038B1/en not_active IP Right Cessation
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101212411B1 (en) * | 2006-03-08 | 2012-12-13 | 주식회사 현대오토넷 | A Passenger Detection System For Automobile And Method thereof |
| KR100779739B1 (en) * | 2006-06-01 | 2007-11-26 | 인제대학교 산학협력단 | Vehicle occupant head distance extraction method using stereo-vision |
| KR100753115B1 (en) * | 2006-06-13 | 2007-08-29 | 한국원자력연구원 | Apparatus and method for recognizing a person in the car |
| US8340398B2 (en) | 2006-12-02 | 2012-12-25 | Electronics And Telecommunications Research Institute | Correlation extract method for generating 3D motion data, and motion capture system and method for easy composition of humanoid character on real background image using the same |
| KR100821924B1 (en) * | 2007-04-19 | 2008-04-16 | 주식회사 현대오토넷 | Passenger head detection system and method thereof |
| KR100862052B1 (en) * | 2007-06-05 | 2008-10-09 | 안상호 | Ir video camera apparatus for smart airbag with active type ir-led and ir distance sensor |
Also Published As
| Publication number | Publication date |
|---|---|
| KR100571038B1 (en) | 2006-04-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109758167B (en) | Driver state detection device | |
| US11461595B2 (en) | Image processing apparatus and external environment recognition apparatus | |
| CN109478324B (en) | Image processing apparatus and external recognition apparatus | |
| US11518401B2 (en) | Vehicular driving assist with driver monitoring | |
| KR101945706B1 (en) | Method and apparatus for monitoring state of driver through analysis of driving pattern | |
| US9239380B2 (en) | Driver assistance system for avoiding collisions of a vehicle with pedestrians | |
| WO2018092265A1 (en) | Driving assistance device and driving assistance method | |
| CN110633615B (en) | Monitoring system for number of passengers | |
| CN110682913B (en) | Monitoring system | |
| US20180072270A1 (en) | Vehicle surround security system | |
| US9870513B2 (en) | Method and device for detecting objects from depth-resolved image data | |
| WO2016185653A1 (en) | Protection control apparatus | |
| TWI744876B (en) | Image recognition device, solid-state imaging device and image recognition method | |
| CN117994763A (en) | Vision system and method for motor vehicle | |
| JP2009301494A (en) | Image processing unit and image processing method | |
| JP2008181423A (en) | Pedestrian recognition device and pedestrian recognition method | |
| JP2007153035A (en) | Occupant sitting judgement system | |
| ES2293268T3 (en) | DEVICE FOR CLASSIFICATION OF AT LEAST ONE OBJECT IN THE ENVIRONMENT OF A VEHICLE. | |
| JP2019189101A (en) | Occupant information determination device | |
| KR100571038B1 (en) | The passenger recognition system which uses the stereo camera | |
| WO2020013035A1 (en) | Anomaly determination device | |
| JP2014146267A (en) | Pedestrian detection device and driving support device | |
| US20190111937A1 (en) | Vehicle control system with driver profile | |
| CN111907524A (en) | Vehicle and control method thereof | |
| WO2018066456A1 (en) | Vehicle-mounted storage device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20130329 Year of fee payment: 8 |
|
| FPAY | Annual fee payment |
Payment date: 20140326 Year of fee payment: 9 |
|
| FPAY | Annual fee payment |
Payment date: 20160323 Year of fee payment: 11 |
|
| LAPS | Lapse due to unpaid annual fee |