KR20190075714A

KR20190075714A - 스틸 이미지 추출을 통한 고해상도 영상 획득 시스템

Info

Publication number: KR20190075714A
Application number: KR1020170177528A
Authority: KR
Inventors: 손관우
Original assignee: 손관우
Priority date: 2017-12-21
Filing date: 2017-12-21
Publication date: 2019-07-01

Abstract

본 발명은 스틸 이미지 추출을 통한 고해상도 영상 획득 시스템에 관한 것으로서, 더욱 상세하게는 복수의 차량이 진출입하는 시설물 및 렌트카 등의 서비스 제공 업체에서 차량 진입시 1,300만 화소의 고해상도 카메라를 활용하여 출입하는 차량의 외관상태 정보를 획득하여 차량의 출입시, 차량의 파손여부를 확인할 수 있는 스틸 이미지 추출을 통한 고해상도 영상 획득 시스템에 관한 것이다.
본 발명은 고가의 HW 플랫폼이 아닌 저가의 CPU를 장착한 platform에서 1,300만 화소의 이상의 영상 저장 가능하며, 이의 활용을 통해 해상도로 저장된 영상을 통한 연속적으로 이동하는 피사체를 고해상도로 촬영할 수 있어 차량 손상 여부 파악을 위한 촬영 장치 등 다양한 응용 분야에 기여할 수 있다.

Description

스틸 이미지 추출을 통한 고해상도 영상 획득 시스템{High resolution image acquisition system through still image extraction}

본 발명은 스틸 이미지 추출을 통한 고해상도 영상 획득 시스템에 관한 것으로서, 더욱 상세하게는 복수의 차량이 진출입하는 시설물 및 렌트카 등의 서비스 제공 업체에서 차량 진입시 1,300만 화소의 고해상도 카메라를 활용하여 출입하는 차량의 외관상태 정보를 획득하여 차량의 출입시, 차량의 파손여부를 확인할 수 있는 스틸 이미지 추출을 통한 고해상도 영상 획득 시스템에 관한 것이다.

주차장 등에서 보관 차량의 손실 발생 시 그 책임 문제로 차주와 주차장 측의 분쟁이 급증하고 있고, 최근 차량의 고급화에 따라 그 처리 비용이 상당한 금액규모로 이어지기 때문에 그 분쟁이 심각한 국면에 이르는 경우가 빈번하다.

이러한 이유로 최근 주차장 등에서 차량 보관 전에 차량의 상태를 촬영하여, 분쟁 발생 시 증거 자료로 사용하려는 수요가 크게 증가하고 있다. 이러한 목적을 위해서 차량이 특정 입구를 통과할 때 차량의 측면 등을 동영상 촬영한다. 이러한 목적의 촬영을 위해서는 영상을 확대하여 작은 흠집을 찾아 내야 하는 것을 고려하여야 하기 때문에 고해상도 카메라가 요구된다.

종래 사용되고 있는 시스템의 경우, HD(1280*720) 또는 FULL HD(1920*1080)로는 차량의 면적대비 픽셀수의 한계로 인하여 차량의 큰 파손부분은 영상으로 식별 및 확인 가능하나 미세한 파손부분은 현실적으로 식별이 불가능한 문제가 있다.

대한민국 등록특허 제10-1249138호 대한민국 등록특허 제10-1509753호 대한민국 공개특허 제10-2015-0074297호 대한민국 등록특허 제10-1782542호

본 발명은 상기와 같은 종래의 문제를 해결하기 위한 것으로서, 1,300만 화소 센서를 활용하여 특정위치의 H.264 동영상(1920*1080)과 스틸이미지(4196*3120)를 동시에 데이터를 획득하며, 획득한 스틸이미지는 기존에 사용되는 FULL HD(1920*1080) 최대해상도 대비 6배 이상의 고해상도 이미지(4196*3120)를 획득할 수 있는 스틸 이미지 추출을 통한 고해상도 영상 획득 시스템을 제공하는데 그 목적이 있다.

또한, 본 발명은 이동하는 차량을 촬영하는 특수 상황에서 선명한 촬영을 위해 ERS 셔터를 가진 카메라에 독자적인 연속 Mechanicla Shutter를 적용하여 1/2000 이하의 셔터 속도를 구현할 수 있는 스틸 이미지 추출을 통한 고해상도 영상 획득 시스템을 제공하는데 그 목적이 있다.

고가의 HW 플랫폼이 아닌 저가의 CPU를 장착한 platform에서 1,300만 화소의 이상의 영상 저장 가능하며, 이의 활용을 통해 해상도로 저장된 영상을 통한 연속적으로 이동하는 피사체를 고해상도로 촬영할 수 있어 차량 손상 여부 파악을 위한 촬영 장치 등 다양한 응용 분야에 기여할 수 있는 스틸 이미지 추출을 통한 고해상도 영상 획득 시스템을 제공하는데 그 목적이 있다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 스틸 이미지 추출을 통한 고해상도 영상 획득 시스템은 차량이 출입할 수 있게 형성된 구조물에 설치되어 통과 차량의 전면, 후면, 좌우 측면을 각각 촬영하는 복수의 카메라모듈을 포함하는 촬영부와; 상기 구조물에 설치되어 차량의 출입을 감지하는 차량감지센서와; 상기 촬영부에 조명광을 제공하는 조명부와; 상기 카메라모듈에 각각 구비되어 상기 카메라모듈에서 촬영된 원본 영상을 처리하는 영상처리프로세서와; 상기 영상처리프로세서에서 처리된 영상을 HD급 H.264 동영상 포맷의 동영상 파일과, 13메가픽셀 JPEG 영상 포맷의 정지영상 파일로 분리시키는 영상분리부와; 상기 영상분리부에서 출력되는 동영상 파일과 정지영상 파일이 저장되는 저장부와; 상기 저장부에 저장된 영상을 원격 전송하는 전송부;를 구비하는 것을 특징으로 한다.

상기 영상분리부는 상기 동영상 파일로부터 설정된 시간마다 정지영상을 추출하여 정지영상 파일을 생성하고, 상기 정지영상 파일들의 파일명은 상기 동영상 파일의 시간정보를 이용하여 상기 동영상 파일의 시간 정보가 상기 정지영상 파일들의 색인정보로 사용되는 것을 특징으로 한다.

상기 정지영상 파일들은 상기 동영상 파일보다 높은 해상도로 저장되는 것을 특징으로 한다.

상기 동영상 파일과 상기 정지영상 파일들은 상기 저장부에 하나의 독립 폴더에 저장되는 것을 특징으로 한다.

상기 동영상 파일과 상기 정지영상 파일들은 원격 서버의 독립 공간에 FTP 전송방식으로 일괄 전송되는 것을 특징으로 한다.

상기 촬영부는 ERS 셔터를 가진 카메라에 회전 셔터 휠을 적용하여 매 영상이 1/2000초 이하의 셔터 속도로 촬영할 수 있게 된 것을 특징으로 한다.

본 발명에 따른 스틸 이미지 추출을 통한 고해상도 영상 획득 시스템은 1,300만 화소 센서를 활용하여 특정위치의 H.264 동영상(1920*1080)과 스틸이미지(4196*3120)를 동시에 데이터를 획득하며, 획득한 스틸이미지는 기존에 사용되는 FULL HD(1920*1080) 최대해상도 대비 6배 이상의 고해상도 이미지(4196*3120)를 획득할 수 있다.

또한, 본 발명은 이동하는 차량을 촬영하는 특수 상황에서 선명한 촬영을 위해 ERS 셔터를 가진 카메라에 독자적인 연속 Mechanicla Shutter를 적용하여 1/2000 이하의 셔터 속도를 구현할 수 있다.

또한, 본 발명은 고가의 HW 플랫폼이 아닌 저가의 CPU를 장착한 platform에서 1,300만 화소의 이상의 영상 저장 가능하며, 이의 활용을 통해 해상도로 저장된 영상을 통한 연속적으로 이동하는 피사체를 고해상도로 촬영할 수 있어 차량 손상 여부 파악을 위한 촬영 장치 등 다양한 응용 분야에 기여할 수 있다.

도 1은 본 발명에 따른 스틸 이미지 추출을 통한 고해상도 영상 획득 시스템의 기본동작을 설명하는 블록도.
도 2는 본 발명에 따른 스틸 이미지 추출을 통한 고해상도 영상 획득 시스템의 상세동작을 설명하는 블록도.
도 3은 본 발명에 따른 스틸 이미지 추출을 통한 고해상도 영상 획득 시스템의 셔터 동작을 설명하는 블록도.

이하, 첨부된 도면을 참조하면서 본 발명의 바람직한 실시 예에 따른 스틸 이미지 추출을 통한 고해상도 영상 획득 시스템에 대하여 상세하게 설명한다.

도 1 내지 도 3에는 본 발명에 따른 스틸 이미지 추출을 통한 고해상도 영상 획득 시스템이 도시되어 있다. 도 1 내지 도 3을 참조하면, 본 발명에 따른 스틸 이미지 추출을 통한 고해상도 영상 획득 시스템은 촬영부(10)와, 차량감지센서(20)와, 조명부(30)와, 영상처리프로세서(40)와, 영상분리부(50)와, 저장부(60)와, 전송부(70)와, 관리부(80)와, 컨트롤러를 포함한다.

촬영부(10)는 차량이 출입할 수 있게 형성된 구조물의 출입로 측에 설치되어 통과 차량의 전면, 후면, 좌우 측면을 각각 촬영하는 복수의 카메라모듈을 포함하여 구성된다. 촬영부(10)는 차량의 전면을 촬영하는 제1 카메라모듈, 차량의 후면을 촬영하는 제2 카메라모듈, 차량의 좌측을 촬영하는 제3 카메라모듈, 차량의 우측을 촬영하는 제4 카메라모듈을 포함하여 구성될 수 있으며, 이에 더해 차량의 하측 및 상측을 각각 촬영하는 제5 및 제6 카메라모듈을 더 포함하여 구성될 수도 있다. 각 카메라모듈에는 1300만 화소의 CMOS 이미지센서가 탑재된다.

카메라모듈에서 촬영된 영상은 기본적으로 UHD 및 1,300만 화소의 JPEG 포맷으로 출력되며, 실시간 JPEG 엔코딩 처리된다. 그리고, 카메라모듈은 전자롤링셔터(Electronic Rolling Shutter) 기반의 고속 휠 셔터를 적용하여 매 영상을 1/2000초 이하의 셔터 속도로 연속 촬영한다. 카메라모듈(10)의 셔터 동작은 차량감지센서(20)의 차량감지와 연동하여 작동하며, 동기제어기(15)에 의해 모터제어기(16) 및 BLDD모터(17)의 동작이 카메라모듈(10)의 촬영 동작과 동기를 이룬다.

차량에 대한 제1 카메라모듈 내지 제4 카메라모듈 각각의 촬영 범위는 앞서 설명한 바와 다르게 서로 중복되지 않은 범위 내에서 서로 다른 부분을 촬영할 수 있도록 배치할 수도 있다.

차량감지센서(20)는 구조물의 일 측에 설치되어 출입로에 차량의 출입을 감지하며, 감지정보를 컨트롤러에 송출한다.

조명부(30)는 촬영부(10)에 조명광을 제공하는 것으로서, 구조물 또는 카메라모듈의 일 측에 설치되어 촬영부(10)의 촬영방향으로 조명광을 조사한다. 조명부(30)는 후술하는 차량감지센서(20)에 의해 차량의 출입이 감지되는 경우에만 컨트롤러에 의해 작동하도록 설정되는 것이 바람직하다. 조명부는 고휘도 LED를 탑재한 투광기 등을 적용할 수 있다.

영상처리프로세서(40)는 카메라모듈에 각각 구비되어 카메라모듈에서 촬영된 원본 영상을 처리하는 것으로서, Adaptive Tone Mapping, Local Tone Mapping, Scene Mode Detection and Control, JPEG 엔코더, 4Lane MIPI Interface 기능 활용이 가능하고, Dual 32bit RISC 프로세서를 탑재하여 1,300만 화소의 영상을 JPEG로 압축하여 초당 30fps의 속도로 출력하며, 4개의 1Giga 속도의 MIPI 출력을 이용하여 JPEG 또는 비압축 영상으로 고속 전송할 수 있는 것을 적용하였다.

영상처리프로세서(40)는 이미지센서에 출력되는 원본 영상(Bayer Image)에 color 조정, 노이즈 절감, 영상 format 변화를 수행하는 소자로서 ISP(Image Signal Processor)라고 한다. ISP는 모든 영상 센서에 필수적으로 포함되며, ISP 성능에 따라 출력되는 화질에 큰 차이가 발생하며, ISP의 가장 기본적인 기능은 감마교정, 색상 교정, 이미지 효과, 이미지 스케일, AWE, AE, AF 등과 같은 기능으로 고기능 ISP는 촬영 화면을 감지하여 전체 적인 이미지의 느낌을 조정하는 고기능 adaptive 기능까지를 포함한다. 또한, 기능 확대되는 경우에는 DSP와 SoC 형태로 Backend Chip으로 독립적으로 구현되며 사물인식, 추적, 손 떨림 방지기능, 저조도 보상기능 등의 여러 기능을 포함한다.

영상처리프로세서(40)는 1,300만 화소의 실시간 영상 처리 및 JPEG 엔코팅을 하기 위해 Dual RISC 코어를 탑재한 ISP를 적용하며, 높은 해상도를 구현하기 위해 위에 언급한 Adaptive Tone Mapping, Local Tone Mapping 및 Auto Scene control과 같은 높은 수준의 Image Processing Engine이 탑재된다.

영상분리부(50)는 영상처리프로세서(40)에서 처리된 영상을 HD급 H.264 동영상 포맷의 동영상 파일과, 13메가픽셀 JPEG 영상 포맷의 정지영상 파일로 각각 분리되게 처리한다. 이를 위해 영상분리부(50)는 동영상과 정지영상을 동시에 처리하기 위하여 2개의 독립 경로를 가지는 영상처리 pipeline으로 구성된다.

또한, 영상분리부(50)는 동영상 파일로부터 설정된 시간마다 정지영상을 추출하여 정지영상 파일을 생성하는데, 동영상은 MP4 파일 포맷을 가진 HD 및 Full HD 급의 영상으로 구성되고, 정지영상은 1,300만 화소 급으로 구성된다.

그리고, 정지영상 파일들의 파일명은 동영상 파일의 시간정보를 이용하여 동영상 파일의 시간 정보가 정지영상 파일들의 색인정보로 사용되게 설정된다. 또한, 정지영상 파일들은 동영상 파일보다 높은 해상도로 저장되며, 동영상 파일과 정지영상 파일들은 저장부(60)에 하나의 독립 폴더에 저장된다. 또한, 동영상 파일과 정지영상 파일들은 원격 서버의 독립 공간에 FTP 전송방식으로 일괄 전송된다.

저장부(60)에는 영상분리부(50)에서 출력되는 동영상 파일과 정지영상 파일이 저장되고, 전송부(70)는 동영상 파일 및 정지영상 파일을 관리부(80) 또는 영상 관제부(90)로 원격 전송한다.

한편, 관리부(80)는 실시간 획득된 고해상도 영상을 분석하여 진출입 차량의 번호판 영역 추출 및 인식 등을 수행하여 영상의 메타 정보를 인덱싱하여 메타데이터 DB에 저장 및 관리한다. 또한, 시간 정보를 활용하여 정지영상 파일들의 색인정보 검색하며, 파일관리모듈과 연동하여 접속을 관리한다.

한편, 입차시에 촬영된 이미지와 출차시에 촬영된 이미지의 비교를 통하여 그 차이점을 분석하는 이미지 비교 분석 알고리즘이 탑재된다. 일 예로, OpenCV를 활용한 Template maching 알고리즘 구현 및 이를 통한 이미지 프로세싱을 진행할 수 있다.

관리부(80)는 실시간 획득된 고해상도 영상을 분석하여 진출입 차량의 번호판 영역 추출 및 인식 등을 수행하고, 여기서 얻어진 영상의 메타 정보를 인덱싱하여 메타데이터 데이터베이스에 저장처리한다. 실시간 영상 데이터는 클라이언트 데스크톱, 스토리지 등의 요청에 의해 전송되며, 각 클라이언트는 재생 및 압축/저장을 수행한다. 검색 클라이언트 데스크톱 등의 요청(진출입 차량의 번호 및 시간 구간)은 웹서비스를 통해 메타데이터 데이터베이스로 전달되고, 해당 결과 프레임 정보가 오면, 각 검색 클라이언트는 해당 프레임 전송을 영상 스토리지에 요청하고 이를 받아 재생한다.

이하, 상술한 바와 같은 구성을 갖는 본 발명에 따른 스틸 이미지 추출을 통한 고해상도 영상 획득 시스템의 작용을 첨부된 도면을 참조하면서 더욱 상세하게 설명한다.

제1 내지 제4카메라모듈의 CMOS 이미지센서를 통해 획득한 원본 영상은 영상처리프로세서(40)에 의하여 MJPEG 영상으로 변환된다. 그리고, 영상처리프로세서(40)에서 출력되는 MJPEG 영상은 영상분리부(50)에 입력되어 2개의 스트림으로 분리된다.

영상분리부(50)에서 포맷-사이즈 변환기에 입력된 영상 스트림은 원본 영상보다 작은 사이즈의 영상 크기를 갖는 MP4 동영상포맷으로 변환된다. 포맷-사이즈변환기에서 출력되는 동영상은 저장부(60) 및 전송부(70)에 입력된다. 이때, 저장부(60)는 동영상에 대한 저장명령이 있으면 입력영상을 저장한다. 그리고, 전송부(70) 무선전송 명령이 있으면 설정된 주소로 영상을 송출한다.

영상분리부(50)에서 출력되는 영상은 정지영상 저장명령이 있으면 JPEG 형태로 저장부(60)에 저장된다. 차량에 대해 하나의 폴더가 생성되고 폴더에는 차량이 통과하는 동안의 동영상을 저장하는 동영상 파일과 소정의 시간 간격으로 촬영된 제1 정지영상 내지 제N 정지영상이 저장된다. 다른 카메라모듈에 의해 촬영된 영상들에 대해서도 각각 동일한 처리 및 저장이 이루어진다.

제1 정지영상 내지 제N 정지영상 파일은 동영상 파일에 표시된 시간 정보를 바탕으로 색인이 이루어진다. 동영상 파일을 재생하는 도중에, 특정 시간 또는 지점을 선택하면 제1 정지영상 내지 제N 정지영상 중에서 해당 시간 정보 또는 지점에 대응 또는 근접한 정지영상이 표시된다.

이상에서 설명한 본 발명에 따른 스틸 이미지 추출을 통한 고해상도 영상 획득은 첨부된 도면을 참조로 설명하였으나 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다.

따라서, 본 발명의 진정한 기술적 보호의 범위는 첨부된 청구범위의 기술적 사상에 의해서만 정해져야 할 것이다.

10 : 촬영부
20 : 차량감지센서
30 : 조명부
40 : 영상처리프로세서(ISP)
50 : 영상분리부
60 : 저장부
70 : 전송부
80 : 관리부

Claims

차량이 출입할 수 있게 형성된 구조물에 설치되어 통과 차량의 전면, 후면, 좌우 측면을 각각 촬영하는 복수의 카메라모듈을 포함하는 촬영부와;
상기 구조물에 설치되어 차량의 출입을 감지하는 차량감지센서와;
상기 촬영부에 조명광을 제공하는 조명부와;
상기 카메라모듈에 각각 구비되어 상기 카메라모듈에서 촬영된 원본 영상을 처리하는 영상처리프로세서와;
상기 영상처리프로세서에서 처리된 영상을 HD급 H.264 동영상 포맷의 동영상 파일과, 13메가픽셀 JPEG 영상 포맷의 정지영상 파일로 분리시키는 영상분리부와;
상기 영상분리부에서 출력되는 동영상 파일과 정지영상 파일이 저장되는 저장부와;
상기 저장부에 저장된 영상을 원격 전송하는 전송부;를 구비하는 것을 특징으로 하는 스틸 이미지 추출을 통한 고해상도 영상 획득 시스템.
제1항에 있어서,
상기 영상분리부는 상기 동영상 파일로부터 설정된 시간마다 정지영상을 추출하여 정지영상 파일을 생성하고,
상기 정지영상 파일들의 파일명은 상기 동영상 파일의 시간정보를 이용하여 상기 동영상 파일의 시간 정보가 상기 정지영상 파일들의 색인정보로 사용되는 것을 특징으로 하는 스틸 이미지 추출을 통한 고해상도 영상 획득 시스템.
제1항에 있어서,
상기 정지영상 파일들은 상기 동영상 파일보다 높은 해상도로 저장되는 것을 특징으로 하는 스틸 이미지 추출을 통한 고해상도 영상 획득 시스템.
제1항에 있어서,
상기 동영상 파일과 상기 정지영상 파일들은 상기 저장부에 하나의 독립 폴더에 저장되는 것을 특징으로 하는 스틸 이미지 추출을 통한 고해상도 영상 획득 시스템.
제1항에 있어서,
상기 촬영부는 ERS 셔터를 가진 카메라에 회전 셔터 휠을 적용하여 매 영상이 1/2000초 이하의 셔터 속도로 촬영할 수 있게 된 것을 특징으로 하는 스틸 이미지 추출을 통한 고해상도 영상 획득 시스템.