KR100571038B1 - 스테레오 카메라를 이용한 탑승자 인식 시스템 - Google Patents

Abstract

본 발명은 차량 탑승자를 인식하는 기술에 관한 것이다.

이같은 본 발명은, 입체 영상(3D depth)의 정보를 추출하는 알고리듬을 통해 부피 정보를 추출하여 탑승자의 클래스를 구별하고, 탑승자의 위치 및 자세 정보를 획득하기 위해 신체부위(머리, 팔, 몸, 다리)의 모델링 및 인식, 트래킹을 가능하게 하는 스테레오 카메라를 이용한 탑승자 인식 시스템을 구성함으로써, 탑승자의 클래스 및 탑승자세에 따라 에어백의 전개 유무를 효과적으로 판단할 수 있도록 함은 물론, 차선 인식, 졸음 운전, 충돌방지, 주차에 도움을 줄 수 있도록 하는 등 차량의 주행 안정성 확보를 위한 기술 개발을 가능하게 하여 탑승자의 안전을 도모할 수 있도록 하는 스테레오 카메라를 이용한 탑승자 인식 시스템을 제공한다.

스테레오 카메라, 영상인식부, 영상추출부, 인식 시스템

Description

스테레오 카메라를 이용한 탑승자 인식 시스템{The passenger recognition system which uses the stereo camera}

도 1은 본 발명의 일실시예로 스테레오 카메라를 이용한 탑승자 인식 시스템의 구성도.

*도면의 주요 부분에 대한 부호의 설명*

10; CMOS카메라 20; 영상메모리부

30; 영상추출부 40; 제 1 영상인식부

50; 제 2 영상인식부 60; 탑승자 인식부

70; 적외선센서

본 발명은 차량 탑승자를 인식하는 기술에 관한 것으로서, 특히 스테레오 카메라를 이용한 탑승자의 클래스 구별 및 탑승 자세 판별을 통해 에어백 전개 유무를 효과적으로 판단할 수 있도록 함은 물론, 차선 인식, 졸음 경보, 충돌방지, 주차 도움을 줄 수 있는 등 차량의 주행 안정성 확보를 위한 기술 개발을 가능하게 하여 탑승자의 주행 안정성 확보를 가능하게 하는 스테레오 카메라를 이용한 탑승자 인식 시스템에 관한 것이다.

종래 탑승자 인식 시스템은 접촉식 센서가 제공되고 있다.

그러나, 상기와 같은 접촉식 센서는 탑승자의 클래스 구별 및 자세 등을 판별하는데에 상당한 제약이 따를 수 밖에 없었다.

즉, 종래 접촉식 센서는 단지 탑승자가 접촉되었을 때만 탑승자의 탑승여부를 인식할 수 있을 뿐, 그 탑승자의 클래스 구별은 물론, 탑승 자세가 어떠한지를 정확하게 판별하지는 못하였다.

이에따라, 종래에는 차선 인식, 졸음 경보, 충돌방지, 주차 도움, 에어백의 전개 유무를 판단하는 차량의 안전시스템에 탑승자 인식 시스템을 적용할 경우, 보다 정확한 정보 제공이 이루어지지 못하면서 오히려 탑승자의 안전을 위협하는 경우가 발생되었다.

따라서, 본 발명은 상기와 같은 종래의 문제점을 해결하기 위해 안출된 것으로서 본 발명은, 입체 영상(3D depth)의 정보를 추출하는 알고리듬을 통해 부피 정보를 추출하여 탑승자의 클래스를 구별하고, 탑승자의 위치 및 자세 정보를 획득하기 위해 신체부위(머리, 팔, 몸, 다리)의 모델링 및 인식, 트래킹을 가능하게 하는 스테레오 카메라를 이용한 탑승자 인식 시스템을 구성함으로써, 탑승자의 클래스 및 탑승자세에 따라 에어백의 전개 유무를 효과적으로 판단할 수 있도록 함은 물론, 차선 인식, 졸음 운전, 충돌방지, 주차에 도움을 줄 수 있도록 하는 등 차량의 주행 안정성 확보를 위한 기술 개발을 가능하게 하여 탑승자의 안전을 도모할 수 있도록 하는 스테레오 카메라를 이용한 탑승자 인식 시스템을 제공하려는데 그 목적이 있다.

이하, 첨부된 도면에 의거하여 본 발명의 바람직한 일실시예를 설명하면 다음과 같다.

도 1은 본 발명의 일실시예로 스테레오 카메라를 이용한 탑승자 인식 시스템의 구성도 이다.

도 1에 도시된 바와같이, 차량내에는 차량내의 영상을 촬영하는 다수개의 CMOS(Complementary Metal Oxide Semiconductor)카메라(10)와, 디지털 신호 처리 프로세서(DSP; Digital Signal Processor) 기반의 영상처리 보드를 구성하되,

상기 영상처리보드에는,

카메라 캘리브레이션 데이터 및 차량에서 취할 수 있는 탑승자의 자세 모델링 정보 및 차량내부 정보를 저장시킨 영상메모리부(20);

상기 CMOS카메라(10)로부터 촬영된 영상으로부터 입체 영상의 맵(3D depth map)을 구성한 후 그 구성된 영상 맵에 규빅 모델을 적용하여 배경화면을 제거하여 탑승자의 입체 영상만을 추출하는 영상추출부(30);

상기 영상추출부(30)에 의해 추출된 탑승자의 입체 영상으로부터 탑승자의 각 신체부위를 영상메모리부(20)의 모델링 정보를 검색하여 인식하는 제 1 영상인식부(40);

상기 제 1 영상인식부(40)로부터 인식된 탑승자의 각 신체부위를 조합한 후 SVM(Supper Vector Machine)인식기를 이용하여 탑승자의 부피정보(예; 신체사이즈)를 인식하는 제 2 영상인식부(50); 및,

상기 제 2 영상인식부(50)로부터 인식된 탑승자의 부피정보에 따라 탑승자의 차량내 위치 및 그 탑승 자세를 판단하는 탑승자 인식부(60); 를 구성함을 특징으로 한다.

다른 일면에 따라, 상기 CMOS카메라(10)에는,

차량내의 조도가 낮을 때 원하는 영상 취득이 가능하도록 적외선 센서(70)를 연결 구성함을 특징으로 한다.

이와같이 구성된 본 발명의 일실시예에 대한 작용을 첨부된 도 1을 참조하여 설명하면 다음과 같다.

먼저, 차량내에 다수개가 설치된 CMOS카메라(10)를 작동시키면, 상기 CMOS카메라(10)는 차량내의 영상을 촬영한 후 이를 디지털 신호 처리 프로세서(DSP) 기반의 영상처리보드로 전송한다.

그러면, 상기 영상처리보드내의 영상추출부(30)에서는 상기 CMOS카메라(10)에 의해 촬영된 영상을 입체 영상의 맵(3D depth map)을 구성한 후 그 구성된 입체 영상의 맵으로부터 배경화면을 제거하여 탑승자의 입체 영상만을 추출한다.

이때, 상기 영상처리보드내의 제 1 영상인식부(40)는 영상메모리부(20)를 검색하여, 상기 영상추출부(30)로부터 추출된 탑승자의 입체 영상에서 탑승자의 각 신체부위 정보를 인식하게 된다.

즉, 상기 영상메모리부(20)에는 차량에서 취할 수 있는 탑승자의 조도별 신 체사이즈 및 자세의 모델링 정보가 저장되어 있는 바,

상기 영상메모리부(20)에 저장된 정보의 검색을 통해 제 1 영상인식부(40)는 CMOS카메라(10)에 의해 촬영되어 추출된 탑승자의 실제 영상으로부터 그 탑승자의 신체부위 정보를 인식할 수 있게 되는 것이다.

이때, 상기 영상처리보드내의 제 2 영상인식부(50)는 상기 제 1 영상인식부(40)로부터 인식된 탑승자의 각 신체부위를 조합한 후 SVM(Supper Vector Machine)인식기를 이용하여 탑승자의 부피정보 즉, 탑승자의 신체사이즈를 인식한 후 이를 탑승자 인식부(60)로 출력하게 되는 바,

상기 탑승자 인식부(60)는 탑승자의 부피정보에 따라 탑승자의 차량내 위치는 물론 그 탑승자세를 판단할 수 있게 되는 것이다.

일예로, CMOS카메라(10)로부터 촬영된 영상으로부터 운전자의 차량내 위치가 조수석이고 탑승자 정보가 어른일때 차량의 대쉬보드 쪽과 머리의 위치가 너무 가까울 경우, 상기 탑승자 인식부(60)는 그 자세를 신속하게 판단하여 사고 발생시 에어백 전개를 금지하여 에어백의 전개에 의한 상해를 미연에 방지할수 있게 되는 것이다.

또한, 상기 탑승자 인식부(60)가 어린이를 인식하였을 경우 역시 에어백 전개를 금지하여 에어백에 의한 상해를 미연에 방지할 수 있도록 한 것이다.

여기서, 상기 CMOS카메라(10)에는 적외선 센서(70)를 각각 구비함으로써, 차량내의 조도가 낮을 경우에 있어서도 차량내 탑승자의 영상정보를 보다 쉽게 취득할 수 있도록 하였다.

이상에서 설명한 바와같이 본 발명은 입체 영상의 정보를 추출하는 알고리듬을 통해 부피 정보를 추출하여 탑승자의 클래스를 구별하고, 탑승자의 위치 및 자세 정보를 획득하기 위해 신체부위의 모델링 및 인식, 트래킹을 가능하게 하는 스테레오 카메라를 이용한 탑승자 인식 시스템을 구성함으로써, 탑승자의 클래스 및 탑승자세에 따라 에어백의 전개 유무를 효과적으로 판단할 수 있도록 함은 물론, 차선 인식, 졸음 운전, 충돌방지, 주차에 도움을 줄 수 있도록 하는 등 차량의 주행 안정성 확보를 위한 기술 개발을 가능하게 하여 탑승자의 안전을 도모하는 효과를 제공한다.

본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와같은 변경은 청구범위 기재의 범위내에 있게 된다.

Claims (2)

1. 차량내에는 차량내의 영상을 촬영하는 다수개의 CMOS카메라와, 디지털 신호 처리 프로세서 기반의 영상처리 보드를 구성하되,

   상기 영상처리보드에는,

   카메라 캘리브레이션 데이터 및 차량에서 취할 수 있는 탑승자의 자세 모델링 정보 및 차량내부 정보를 저장시킨 영상메모리부;

   상기 CMOS카메라로부터 촬영된 영상으로부터 입체 영상의 맵을 구성한 후 그 구성된 영상 맵에 규빅 모델을 적용하여 배경화면을 제거하여 탑승자의 입체 영상만을 추출하는 영상추출부;

   상기 영상추출부에 의해 추출된 탑승자의 입체 영상으로부터 탑승자의 각 신체부위를 영상메모리부의 모델링 정보를 검색하여 인식하는 제 1 영상인식부;

   상기 제 1 영상인식부로부터 인식된 탑승자의 각 신체부위를 조합한 후 SVM(Supper Vector Machine)인식기를 이용하여 탑승자의 부피정보를 인식하는 제 2 영상인식부; 및,

   상기 제 2 영상인식부로부터 인식된 탑승자의 부피정보에 따라 탑승자의 차량내 위치 및 그 탑승 자세를 판단하는 탑승자 인식부; 로 구성함을 특징으로 하는 스테레오 카메라를 이용한 탑승자 인식 시스템.
2. 제 1 항에 있어서, 상기 CMOS카메라에는,

   차량내의 조도가 낮을 때 원하는 영상 취득이 가능하도록 적외선 센서를 연 결 구성함을 특징으로 하는 스테레오 카메라를 이용한 탑승자 인식 시스템.

Images