KR20200064866A - 롤링셔터를 이용한 객체 속도검출장치 및 방법 - Google Patents

Abstract

롤링셔터(rolling shutter)를 이용한 객체 속도검출 장치 및 방법을 개시한다. 실시예에 따른 롤링셔터(rolling shutter)를 이용한 객체 속도검출 장치는 차량 번호판을 포함하는 이동객체의 높이(high), 폭(width), 거리 별 상대적 크기, 글자 및 숫자의 크기, 자간, 세로길이 가로길이를 포함하는 객체규격정보를 저장하는 데이터베이스; 이동객체가 감지된 경우, 롤링셔터를 제어하여 이동객체를 촬영하는 촬영모듈; 촬영된 화면을 분석하여 화면에 포함된 이동객체의 규격정보를 확정하는 영상처리모듈; 및 확정된 규격정보를 이용하여 객체 화면에 포함된 숫자 또는 글자의 왜곡량을 분석하고 분석된 왜곡량을 통해 이동객체의 속도를 산출하는 산출모듈; 을 포함한다.

Description

롤링셔터를 이용한 객체 속도검출장치 및 방법{APPARATUS AND METHOD FOR OBJECT SPEED DETECTION USING ROLLING SHUTTER}

이동물체 속도검출 장치 및 방법에 관한 것으로 구체적으로, 롤링셔터(Rolling shutter)의 노출시간 누적에 의해 발생되는 객체 왜곡 현상을 이용하여 이동객체의 속도를 검출하는 장치 및 방법에 관한 것이다.

본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.

롤링 셔터(rolling shutter)는 스틸 카메라로 찍는 정적인 사진이나 비디오 카메라로 촬영하는 동영상의 개별 프레임이 한 번에 하나의 전체 화면 스냅샷으로 찍히는 것이 아닌, 수평으로나 수직으로 빠르게 씬(scene)을 주사함으로써 상이 포착되는 현상을 말한다. 즉, 롤링 셔터(rolling shutter)는 장면 이미지의 모든 부분이 정확히 즉각적으로 촬영되지 않은 것이다. 그러나 롤링 셔터 촬영 후 재생 시에는 마치 전체 프레임이 한 번에 캡쳐된 것처럼 씬의 전체 이미지가 한 번에 표시된다. 도 1은 일반적인 이미지 센서의 화소(픽셀)가 2차원 행렬구조로 배열된 것을 나타내며, 1행의 1열부터 시작하여 열 단위 및 행 단위로 순차적으로 증가되어 가며 각각 화소의 신호는 영상신호로 출력된다. 이미지 센서에 따라서는 열과 행이 역순으로 바뀌어 출력되게 할 수도 있다.

도 3에 도시된 바와 같이 롤링 셔터는 라인 별로 시차를 두고 노출이 이루어지고, 첫 라인부터 라인단위로 시차가 누적되기 때문에, 움직이는 객체의 경우 영상에 왜곡이 발생하게 된다. 또한, 롤링셔터는 빠르게 움직이는 물체나 빠른 불빛 깜빡임의 예측 가능한 왜곡을 만들어낸다. 롤링셔터의 반대 개념은 전체 프레임을 한 번에 포착하는 것을 의미하는 글로벌 셔터(global shutter)이다.

도 2는 글로벌 셔터의 영상 센서로 획득한 영상 및 글로벌 셔터 노출의 타이밍 차트를 나타낸 도면이다. 도 2를 참조하면, 글로벌 셔터 영상 센서 사용시, 회전하는 선풍기 날개 객체가 왜곡 없이 영상촬영 되고, 노출시간이 화소의 행(pixel row) 별 노출시간이 일정한 것을 확인할 수 있다.

롤링 셔터 방식은 CMOS 센서를 사용하는 수많은 디지털 스틸 및 비디오 카메라에서 볼 수 있고 롤링셔터의 효과는 극심하게 움직이는 환경이나 빠른 불빛 깜빡임에서 가장 잘 눈에 띈다. 일부 CMOS 센서가 글로벌 셔터를 사용하기도 하지만, 소비자 시장에서 볼 수 있는 대부분 제품은 롤링 셔터를 사용하고 있다. 롤링 셔터는 워블(Wobble), 스큐(Skew), 공간 에일리어싱(Spatial aliasing), 템포럴 에일리어싱(Temporal aliasing) 등의 효과를 창출할 수 있고, 각 효과에 대해 보다 상세히 설명하도록 한다.

워블(Wobble)은 '젤로 효과' (jello effect)로 불린다. 워블은 카메라를 손으로 잡고 원거리를 촬영하거나 움직이는 차량에서 촬영할 때 등의 카메라가 흔들릴 때 발생한다. 롤링 셔터는 이미지를 부자연스럽게 흔들리게 만든다. 스큐(Skew)는 카메라나 물체나 한 쪽에서 다른 쪽으로 이동하면 이미지가 대각선으로 한 방향이나 다른 방향으로 굽으며, 수 차례 이미지의 다른 부분을 노출시킨다. 스큐는 상기에 기술된 워블 현상의 사소한 징후이다. 공간 엘리어싱(Spatial aliasing)은 수직으로 인접한 픽셀에서 카메라나 물체의 움직임이 너무 빠를 때 샘플링 이론에 위반되는 현상이다. 한 예로 빠르게 회전하는 프로펠러의 이미징을 들 수 있다. 카메라에 의해 프레임이 읽히는 속도와 동일하거나 거의 동등한 프로펠러 회전에 의해 각 날의 스미어(smear)가 발생한다.

도 3은 회전하는 선풍기 날개 영상을 롤링 셔터 방식으로 획득하였을 때 발생하는 공간 엘리어싱 현상과 롤링 셔터 노출의 타이밍 도표를 나타낸 도면이다. 도 3을 참조하면, 회전하는 선풍기 날개는 롤링 셔터 촬영 시 시계 방향으로 회전하는 팬에 대해 수직으로 관찰되는 왼쪽의 날은 평상시보다 더 가늘게 보이는 반면, 오른쪽의 날은 더 두껍게 보이며 가운데에 연결되어 있지 않은 것처럼 보인다. 또한, 롤링 셔터의 타이밍 도표로 화소의 행이 증가될수록 노출시간이 누적되는 것을 알 수 있다.

템포럴 에일리어싱(Temporal aliasing, 부분 노출 포함)은 카메라 플래시가 노출 시간의 일부 동안에만 반짝이면 플래시 조명은 주어진 프레임의 일부 줄의 픽셀에만 존재할 수 있다. 이를테면 사진의 상단 1/3은 플래시에 의해 밝게 빛나는 반면, 사진의 하단 2/3은 어둡고 빛이 없어 보이는데 이는 CMOS의 해당 부분이 시퀀스 처리되는 시점에 플래시가 꺼졌기 때문이다. 프레임의 두 명확한 부분 간의 차이는 낯설어 보일 수 있다. 비슷한 문제는 형광등, 스트로브 효과, 조명, 또 매우 빠른 움직임이나 매우 빠른 불빛 버스트가, CMOS 칩이 프레임을 연속으로 기록하는 시간 중에 나타난다.

종래에는 차량, 야구공 등 이동 객체의 속도 검출 시 글로벌 셔터 방식으로 촬영된 영상을 분석하기 때문에, 2개 이상의 영상 프레임을 통해 객체의 이동 속도를 검출해야만 했다. 이는 영상에 포함된 객체의 속도 분석 시 영상에서 복수개의 프레임을 캡쳐하고 캡쳐된 프레임 각각을 분석하는 데이터 처리과정을 거쳐야만 한다.

1. 한국 특허공개 제10-2016-0137342호(2016.11.30) 2. 한국 특허공개 제 10-2015-0136746호(2015.12.08)

롤링 셔터 방식으로 촬영 시 발생하는 왜곡 및 화소의 행(row) 별 누적 노출시간을 이용하여 이동중인 객체의 속도를 검출하는 장치와 방법을 제안한다. 차량 번호판, 야구공 등 규격화된 이동객체의 길이, 크기 등 객체규격정보를 미리 저장하고 이를 이용하여 롤링 셔터에 의해 발생하는 규격정보의 왜곡량을 산출하여 이동객체의 상대속도를 하나의 영상 프레임(화면)으로 파악할 수 있도록 한다.

실시예에 따른 롤링셔터(rolling shutter)를 이용한 이동객체 속도검출 방법은 (A) 촬영모듈에서 이동객체가 감지된 경우, 롤링셔터(Rolling shutter)를 제어하여 이동객체를 촬영하는 단계; (B) 영상처리모듈에서 촬영된 화면을 분석하여 화면에 포함된 이동객체의 규격정보를 확정하는 단계; (C) 산출모듈에서 확정된 규격정보를 이용하여 객체 화면에 포함된 숫자 또는 글자의 왜곡량을 분석하는 단계; 및 (D) 산출모듈에서 분석된 왜곡량을 이용하여 이동객체의 속도를 산출하는 단계; 를 포함한다.

다른 실시예에 따른 롤링셔터(rolling shutter)를 이용한 객체 속도검출 장치에 있어서, 차량 번호판을 포함하는 이동객체의 높이(high), 폭(width), 거리 별 상대적 크기, 글자 및 숫자의 크기, 자간, 세로길이 가로길이를 포함하는 객체규격정보를 저장하는 데이터베이스; 이동객체가 감지된 경우, 롤링셔터를 제어하여 이동객체를 촬영하는 촬영모듈; 촬영된 화면을 분석하여 화면에 포함된 이동객체의 규격정보를 확정하는 영상처리모듈; 및 확정된 규격정보를 이용하여 객체 화면에 포함된 숫자 또는 글자의 왜곡량을 분석하고 상기 분석된 왜곡량을 통해 이동객체의 속도를 산출하는 산출모듈; 을 포함한다.

이상에서와 같은 롤링셔터를 이용한 객체 속도검출장치 및 방법은 왜곡된 영상을 이용하여 이동객체의 속도를 검출하므로 하나의 영상 프레임만으로 정확하고 빠르게 이동객체 속도를 검출할 수 있다. 또한, 속도 검출에 단 하나의 영상 프레임만을 이용하기 때문에 이동객체의 속도 검출에 소요되는 데이터 처리과정을 대폭 줄일 수 있다. 또한, 차량뿐만 아니라 야구공 등 실제 크기를 알 수 있거나 규격이 정해진 객체의 이동속도를 정확히 검출할 수 있다.

또한, 롤링셔터(Rolling Shutter) 방식의 이미지 센서를 사용하여 상대적으로 이동 속도에 의한 왜곡이 클 경우 본 제안과 같이 단, 1개의 영상 프레임만을 가지고 빠르게 이동 속도를 검출할 수도 있고, 이동 속도가 상대적으로 적어 왜곡이 작을 경우에는 속도 검출의 오차가 커질 수 있으므로 2개 이상의 영상 프레임을 통해 이동 속도를 검출하는 방식으로 선택적으로 적용할 수도 있다.

차량뿐만 아니라 아니라 이동 객체의 실제 크기를 알 수 있거나 상대 거리를 파악할 수 있는 물체의 경우에도 실시예에 의해 단 한 장의 영상 프레임에 포함된 객체 검출 및 영상 왜곡 분석을 통해 상대적 이동 속도 검출을 용이하게 수행할 수 있다.

본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.

도 1은 이미지 센서 화소(픽셀)의 2차원 행렬구조 배치를 나타낸 도면
도 2는 글로벌 셔터의 영상 센서로 획득한 영상 및 글로벌 셔터 노출의 타이밍 차트를 나타낸 도면
도 3은 회전하는 선풍기 날개 영상을 롤링 셔터 방식으로 획득하였을 때 발생하는 공간 엘리어싱 현상과 롤링 셔터 노출의 타이밍 도표를 나타낸 도면
도 4는 실시예에 따른 롤링셔터를 이용한 이동객체 속도 검출장치의 이용 예를 나타낸 도면
도 5는 실시예에 따른 롤링셔터를 이용한 이동객체 속도 검출 장치의 데이터 처리 구성을 나타낸 도면
도 6은 실시예에 따른 롤링셔터를 이용한 이동객체 속도 검출 장치의 보다 구체적인 데이터 처리구성을 나타낸 도면
도 7은 실시예에 따른 분석모듈의 데이터 처리과정을 자세히 설명하기 위한 도면
도 8은 실시예에 따른 이동객체 속도 검출방법을 차량 번호판 촬영에 적용한 과정을 설명하기 위한 도면
도 9는 실시예에 따른 차량 속도 검출방법의 데이터 처리과정을 나타낸 도면
도 10은 가속운동 또는 좌우 진동하는 물체의 롤링셔터 영상 실시예를 나타낸 도면

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 도면부호는 동일 구성 요소를 지칭한다.

본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 4는 실시예에 따른 롤링셔터를 이용한 이동객체 속도 검출장치의 이용 예를 나타낸 도면이다.

실시예에서는 롤링 셔터 방식으로 촬영 시 롤링셔터의 누적노출시간에 의해 발생하는 이동객체의 왜곡현상을 이용하여 이동중인 객체의 속도를 검출하는 장치와 방법을 제안한다. 구체적으로, 실시예를 차량 속도 검출에 이용하는 경우, 첫번째 통과 지점 A와 두 번째 통과 지점 B 사이에서 촬영이 이루어진다. 이때, 카메라와 차량의 거리 및 이동객체의 실측 크기인 차량 번호판 규격은 이미 저장된 정보이기 때문에, 셔터 동작 시간 동안 세부객체인 차량 번호판에 포함된 글자와 숫자의 가로길이와 세로길이를 파악하여 이동객체 및 세부객체의 왜곡량을 산출할 수 있다. 실시예에서는 차량 번호판의 에지 및 번호판에 포함된 세부객체인 숫자와 글자의 왜곡량을 기 저장된 차량 번호판 규격정보와 비교하여 분석하고 이를 통해 이동객체인 차량의 속도를 검출함으로써, 롤링셔터를 통해 획득된 이미지를 이용하여 하나의 촬영화면으로 이동객체의 상대속도 및 이동방향을 산출할 수 있다.

실시예에 따른 롤링셔터를 이용한 이동객체속도 감지 장치는 차량 등 이동체의 속도 감지뿐만 아니라 야구공의 구속 감별 및 다양한 이동 물체의 속도를 빠르고 정확하게 파악할 수 있도록 한다. 특히, 실시예에서는 차량뿐만 아니라 객체의 실제 크기나 객체와 카메라 사이의 거리를 이미 알고 있거나 알 수 있는 상황에서, 단 한 장의 이미지만으로 객체 속도검출 및 영상 왜곡 분석을 수행하고 객체의 상대적 이동 속도를 파악할 수 있도록 한다.

도 5는 실시예에 따른 롤링셔터를 이용한 이동객체 속도 검출 장치의 데이터 처리 구성을 나타낸 도면이다.

도 5를 참조하면, 실시예에 따른 이동객체 속도 검출장치는 데이터베이스(110), 영상처리모듈(150) 및 분석모듈(170)을 포함하여 구성될 수 있다. 본 명세서에서 사용되는 '모듈' 이라는 용어는 용어가 사용된 문맥에 따라서, 소프트웨어, 하드웨어 또는 그 조합을 포함할 수 있는 것으로 해석되어야 한다. 예를 들어, 소프트웨어는 기계어, 펌웨어(firmware), 임베디드코드(embedded code), 및 애플리케이션 소프트웨어일 수 있다. 또 다른 예로, 하드웨어는 회로, 프로세서, 컴퓨터, 집적 회로, 집적 회로 코어, 센서, 멤스(MEMS; Micro-Electro-Mechanical System), 수동 디바이스, 또는 그 조합일 수 있다.

데이터베이스(110)에는 촬영되는 객체의 규격정보를 저장한다. 실시예에서 객체규격정보는 차량 번호판, 야구공 등을 포함하는 다양한 이동객체의 세부적인 규격정보이다. 예컨대, 차량 번호판의 높이(high), 폭(width), 거리 별 상대적 크기, 객체에 포함된 글자 및 숫자의 가로길이, 세로길이 등을 객체 규격 별로 수집한 데이터가 될 수 있다. 또한, 야구공의 경우 야구공의 실측 부피, 단면 및 거리 별 야구공 단면의 지름, 넓이 등 촬영되는 객체와 카메라간 거리를 알 수 있도록 하는 객체의 세부 크기(size) 정보이다. 또한, 객체가 차량 번호판의 경우, 숫자 각각의 넓이, 자간, 글씨의 굵기, 글자 및 숫자의 가로 세로 길이 등이 객체규격정보에 포함될 수 있다.

촬영모듈(130)은 카메라에 이동객체가 감지된 경우, 카메라의 롤링셔터 동작을 제어하고, 롤링셔터를 이용하여 이동객체를 촬영한다.

영상처리모듈(150)은 촬영된 화면을 분석하여 상기 화면에 포함된 이동객체의 규격정보를 확정한다.

산출모듈(170)은 확정된 규격정보를 이용하여 객체 화면에 포함된 숫자 또는 글자의 왜곡량을 분석한다. 실시예에서 산출모듈(170)은 촬영된 화면을 영상처리 하여 화면에 포함된 객체의 규격을 식별하고, 식별된 규격정보를 기반으로 이동객체에 포함된 글자 및 숫자의 왜곡량을 산출한다. 실시예에서 왜곡량은 객체의 실측 크기(size) 및 규격 정보 별 글자 및 숫자의 실측 크기와 롤링셔터에 의해 촬영된 화면에서 측정된 객체 크기 및 객체에 포함된 글자와 숫자의 측정 크기를 비교한 것으로, 실측 크기에 대한 객체 측정 크기 변화량을 나타내는 값이 될 수 있다. 산출모듈(170)은 확정된 규격정보를 기반으로 산출된 왜곡량을 기반으로 이동객체의 상대속도를 산출한다.

도 6은 실시예에 따른 롤링셔터를 이용한 이동객체 속도 검출 장치의 보다 구체적인 데이터 처리구성을 나타낸 도면이다.

도 6을 참조하면, 이동객체 속도 검출장치의 촬영모듈(130)은 롤링셔터(131) 및 제어부(133)를 포함하여 구성될 수 있고, 영상처리모듈(150)은 라인검출부(151) 및 길이산출부(153)를 포함하여 구성될 수 있고, 분석모듈(170)은 왜곡분석부(171) 및 속도산출부(173)를 포함하여 구성될 수 있다.

데이터베이스(110)에는 이동객체정보, 객체 규격정보 및 객체 별 상대적 거리에 따른 규격정보가 저장된다.

이동객체 정보는 속도 측정을 위해 롤링 셔터 방식으로 촬영될 수 있는 다양한 객체정보이다. 예컨대, 차량번호판, 야구공, 기차 표지판, 오토바이 번호판 등 상대속도 측정이 요구되는 다양한 객체가 포함될 수 있다.

객체규격정보는 이동객체에서 분석되는 영역 및 이동객체의 실측 사이즈 정보이다. 예컨대, 차량번호판은 차량번호판의 실측 가로, 세로길이 및 번호판에 포함되는 숫자 및 글자의 가로 세로 크기와 라인의 굵기 등이 객체 규격정보에 포함될 수 있다. 다른 예로 객체가 야구공일 경우 객체 규격정보는 야구공의 실측 지름 및 단면의 실제 넓이 등이 포함될 수 있다. 객체 별 상대거리에 따른 규격정보는 객체의 실측 크기를 기반으로 카메라와 객체 거리에 따른 객체의 크기 정보이다. 실시예에서는 이동 객체의 실측 크기를 이미 알고 있기 때문에, 카메라에서 인식되는 객체의 상대적 크기와 왜곡량을 통해 카메라와 객체 사이의 거리를 파악할 수 있고 이를 이용하여 객체의 상대속도를 파악할 수 있도록 한다.

촬영모듈(130)의 롤링셔터(131)는 촬영모듈로 근접한 이동객체가 감지되면 제어부(133)로부터 전달받은 촬영제어신호를 통해 롤링셔터를 동작시키고, 이동객체 영상을 촬영한다.

영상처리모듈(150)의 라인검출부(151)는 이동객체가 촬영된 화면에서 수직으로 표시되는 세부객체를 검출한다. 예컨대, 세부객체는 촬영된 화면에 포함된 숫자, 글자 및 객체 에지(edge)의 가로길이와 세로길이 등을 포함할 수 있다. 구체적으로 세부객체는 차량 번호판의 경우 차량 번호와 글자에 포함되는 세로길이, 차량 번호 판의 높이 등이 될 수 있다.

실시예의 영상분석과정을 설명하기 위한 도 8의 B를 참조하면, 롤링셔터 방식으로 촬영된 영상에서는 노출시간이 누적되어 첫번째 라인(line 1) 과 n 번째 라인이 화면으로 생성된다.

길이산출부(153)는 촬영된 화면에 포함된 글자, 숫자의 가로길이, 세로길이를 포함하는 세부객체 각각의 길이를 산출한다. 앞서 설명한 예를 이어서 설명하면, 길이 산출부(153)는 첫번째 라인(line 1)과 n 번째 라인(line n)에 의해 생성되는 화면에 포함된 숫자들의 세로길이를 산출한다. 실시예에서는 차량 번호판의 세로길이인 A, 차량 번호판 글자의 세로길이인 B 등을 세부객체로 검출하고 세부객체 각각의 길이를 파악한다.

분석모듈(170)의 왜곡분석부(171)는 롤링셔터에 의해 촬영된 영상에 포함된 세부객체의 크기와 곡률, 형태를 파악하고, 이를 기 저장된 규격정보와 비교하여 세부객체의 왜곡량을 분석한다. 예컨대, 도 7을 참조하면, 롤링셔터 방식으로 영상을 촬영하는 경우, 도 7의 C)와 같이 수직 막대가 기울어진 것과 같이 왜곡된 영상이 획득된다. 실시예에서는 왜곡된 객체의 왜곡 정도(d)를 왜곡된 객체 크기를 각각 측정하고, 기 저장된 이동객체의 규격정보를 이용하여 산출하고 이를 이용하여 물체의 속도를 검출한다.

속도산출부(173)는 롤링셔터의 동작 시점, 초점거리를 포함하는 속도산출요소 및 객체 규격정보 왜곡량을 이용하여 이동객체의 속도를 연산한다. 실시예에서 카메라인 촬영모듈의 영상 신호는 도1에 도시된 2차원 행렬로 이루어진 이미지 센서의 출력으로 획득할 수 있다. 이미지 센서의 출력은 셔터 시간(Shutter time) 또는 노출 시간(Exposure Time) 에 비례하여 신호의 세기가 결정된다. 노출시간이 길어질수록 큰 영상 신호를 얻을 수 있다.

또한, 속도산출부(173)는 객체의 실측크기(real size)에 대한 롤링셔터로 촬영한 화면으로부터 측정된 객체의 크기의 변화량인 규격정보 변화율을 이용하여 이동객체의 속도를 연산할 수 있다. 실시예에서 속도산출부(173)는 롤링셔터의 동작 시점, 동작 시간, 초점거리를 포함하는 속도산출요소 및 분석된 객체 규격정보의 왜곡량과 객체 및 세부의 실측 크기 및 규격정보 변화율을 포함하는 속도산출요소를 이용하여 이동객체의 속도를 산출할 수 있다.

글로벌 셔터 (Global shutter)는 영상 신호를 얻어내는 이미지 센서의 전체가 동시에 노출을 시작하고 동시에 노출을 끝낼 수 있다. 도 2의 B)에 표시된 노출 시작(Exposure Start) 에서 전체 행(Pixel Row)의 노출이 시작되고, 노출정지(Exposure Stop)에서 끝난다. 이미지 센서에서 행(Row)은 통상 라인(Line)으로 지칭된다. 글로벌 셔터는 촬영 시 전체 행(라인)의 노출 시작과 끝이 같은 시각에 이루어진다. 롤링셔터(Rolling shutter) 방식의 이미지 센서에서는 노출의 시작과 끝이 라인 별로 시차를 두고 이루어진다. 첫 라인부터 라인단위로 시차가 누적되기 때문에 특히 움직이는 물체의 경우 도 3에 도시된 바와 같이, 영상에 심각한 왜곡이 발생한다.

도 7은 실시예에 따른 분석모듈의 데이터 처리과정을 자세히 설명하기 위한 도면이다.

도 7을 참조하면, 가)와 같이 속도 v로 움직이는 물체를 촬영하는 경우, 글로벌 셔터를 사용할 하는 경우 B)와 같은 영상이 촬영되고, 롤링셔터(Rolling Shutter) 방식의 이미지 센서는 C)와 같이 수직 막대가 기울어진 것과 같이 왜곡된 영상이 획득된다. 실시예에서는 롤링셔터에 의한 이러한 영상 왜곡을 적극적으로 이용하여, 물체의 속도를 측정하는 방법을 제안한다. 구체적으로, 실시예를 이용하면 막대 영상의 기울어진 정도에 따라 막대의 움직이는 속도를 계산할 수 있다.

실시예에 따른 객체 속도 검출장치에서 한 라인을 읽어내는데 걸리는 시간(t line), 막대의 실제 길이(H), 카메라 초점 거리 (f), 이미지 센서 화소의 크기 (s), 화소 수(m)는 이미 파악된 수치이거나 영상 프레임에서 추출될 수 있다. 이를 이용하면 영상 내에서의 막대의 높이는 수식 1에 의해 산출될 수 있다.

수식1: 막대의 높이(h) = 이미지 센서 화소의 크기(s) x 영상 화소 수 (m)

카메라와 막대까지의 거리(L)은 수학식 2에의해 산출될 수 있다.

수학식 2: 막대까지의 거리(L) = f x H/h = f x H/ (s x m)

(f: 카메라 초점거리, H: 막대의 실제 길이, h: 막대의 높이, s: 이미지 센서 화소의 크기, m: 화소 수)

막대의 이동거리(D)는 수학식 3에 의해 산출될 수 있다.

수학식 3 막대 이동 거리 (D) = L x d/m

(L: 카메라와 막대까지의 거리, d: 첫번째 라인과 n번째 라인 사이의 거리, m: 화소 수)

수학식 1내지 3에 의해 결론적으로 막대의 속도 v는

수학식 4: 막대의 속도(v) = D / t line 과 같이 계산하여 얻을 수 있다.

(D: 막대이동거리, t line: 한 라인을 읽어내는데 걸리는 시간)

종래에는 이동물체가 담긴 최소 2개의 영상으로 객체(차량)의 이동 속도를 계산할 수 있었으나 실시예에서는 이동 물체가 담긴 단, 하나의 영상으로 이동 객체의 속도를 추출할 수 있다.

수직 막대가 상하 방향으로 움직인다면 도 7의 다) 와 같은 왜곡이 아니라 수직 막대의 높이 방향으로 늘어나는 형태의 왜곡 영상이 얻어진다. 이동 속도를 검출할 물체의 이동 방향에 따라 왜곡의 형태가 달라지므로 실시예에서는 카메라의 촬영 방향인 이미지 센서의 행렬방향의 왜곡을 검출하기 쉬운 방향으로 변경하여 사용할 필요가 있다. 실시예에서는 차량 번호 인식 및 속도 검지용으로 실시할 경우에는 차량 이동 방향의 정면 또는 후면 방향으로 카메라를 설치하되, 카메라 영상의 수평과 수직을 변환하여 적용할 수 있다. 수평과 수직 변환은 영상 프레임, 즉 이미지를 90도 회전 변환하는 과정으로 행(row) 방향을 수직으로, 열(column) 방향을 수평으로 변환하는 것이다. 90도 회전 변환이 수행되면 행은 열로, 열은 행으로 변환된다.

도 8은 실시예에 따른 이동객체 속도 검출방법을 차량 번호판 촬영에 적용한 과정을 설명하기 위한 도면이다.

도 8을 참조하면, 차량이 카메라 방향으로 전진하는 경우 롤링셔터의 누적 노출 시간에 의해 도 8의 B)와 같이 번호판 우측으로 갈수록 커지는 영상을 얻을 수 있다. 실시예를 통해서는 번호판의 좌측 시작부분의 세로길이와 우측 끝 부분의 세로길이, 그리고 각 번호의 영상크기를 영상신호분석을 통해 추출하고 규격정보와 비교해 왜곡량을 산출하여 차량의 이동 속도를 검출할 수 있다. 단, 왜곡량 분석 시 차량번호판 번호 및 문자의 배열위치에 따른 형태를 분석하고 번호판 규격 및 실제 번호의 크기도 특정해야 한다. 실시예에서는 데이터베이스에 저장된 객체규격정보에 차량번호판 번호 및 문자의 배열위치, 형태, 규격 등이 포함된다.

구체적으로 도 8에 도시된 실시예에서는 차량 속도를 검출하는 경우, 차량 번호판의 실측 크기인 라인 a의 길이와 롤링셔터에 의해 촬영된 화면에서 측정된 세부객체의 라인 A의 길이 비교하여 왜곡량을 파악하고, 세부객체 왜곡량과 차량이 인식된 시점에서 롤링셔터가 동작된 시점까지의 시간을 통해 차량 상대속도를 산출한다. 또한, 차량 번호판의 경우 번호판 경계선 라인의 크기 비교뿐만 아니라, 번호판 안의 숫자나 글씨의 실제 가로길이(b), 세로길이(d)와 롤링셔터에 의해 촬영된 프레임에서 측정된 숫자의 또는 세로길이(B) 가로길이(D)의 왜곡량을 촬영시간에 대해 산출하여 차량 상대속도를 연산할 수 있다.

만일 실시예에 따른 객체 속도 검출장치에서 한 라인을 읽어내는데 걸리는 시간(t line), 차량 번호판 실제 길이(a), 카메라 초점 거리(f), 이미지 센서 화소의 크기(s), 화소 수(m)는 이미 파악된 수치이거나 영상 프레임에서 추출된 경우, 이를 이용하면 롤링 셔터로 촬영된 프레임 내에서의 번호판의 높이(A)는 수식 1에 의해 산출될 수 있다.

수학식5: 번호판의 높이(a)= 이미지 센서 화소의 크기(s) x 영상 화소 수 (m)

카메라와 번호판까지의 거리(L)은 수학식 6에의해 산출될 수 있다.

수학식 6: 카메라와 번호판까지의 거리(L) = f x H/h = f x H/ (s x m)

(f: 카메라 초점거리, a: 번호판의 실제 높이, A: 롤링셔터로 촬영한 번호판 높이, s: 이미지 센서 화소의 크기, m: 화소 수)

번호판의 이동거리(D)는 수학식 3에 의해 산출될 수 있다.

수학식 7 번호판의 이동 거리 (D) = L x d/m

(L: 카메라와 번호판까지의 거리, d: 첫번째 라인과 n번째 라인 사이의 거리, m: 화소 수)

수학식 4내지 7에 의해 결론적으로 번호판의 속도 v는

수학식 8: 번호판의 속도(v) = D / t line 과 같이 계산하여 얻을 수 있다.

(D: 번호판이동거리, t line: 한 라인을 읽어내는데 걸리는 시간)

실시예에서는 카메라와 번호판까지의 거리(L) 및 번호판의 높이(a)는 이미 저장된 데이터이기 때문에, 기 저장된 카메라와 번호판까지의 거리 및 번호판의 실측데이터, 세부객체의 규격데이터 및 상기 수학식 등을 이용하여 차량 이동속도를 연산할 수 있다. 또한, 실시예에서 미리 저장된 카메라와 번호판까지의 거리 및 번호판의 실측 높이를 이용하는 경우, 번호판 측정길이와 실측길이의 변화량 및 왜곡율은 차량 속도에 비례하는 상수로 산출될 수 있다.

실시예에서는 규격정보 변화율과 왜곡률의 범위(range) 및 수치 각각을 특정 속도에 매칭하는 경우, 롤링셔터에 의해 촬영된 객체의 규격정보 변화율 또는 왜곡률을 산출하고 산출된 규격정보 변화율과 왜곡률에 대응하는 객체의 속도를 파악할 수 있도록 한다.

이하에서는 객체속도 검출 방법에 대해서 차례로 설명한다. 실시예에 따른 객체속도 검출 방법의 작용(기능)은 객체속도 검출 장치 및 시스템상의 기능과 본질적으로 같은 것이므로 도 1 내지 도 8과 중복되는 설명은 생략하도록 한다.

도 9는 실시예에 따른 차량 속도 검출방법의 데이터 처리과정을 나타낸 도면이다.

S10 단계에서는 촬영모듈인 카메라에서 차량 영상을 촬영한다.

S20 단계에서는 카메라로 촬영된 영상을 입력하고 S30 단계에서는 입력된 영상의 신호 처리를 수행하여 이동객체의 규격을 식별한다. S30 단계는 롤링 셔터에 의해 촬영된 이미지의 왜곡을 보정하는 이미지 프로세싱 과정을 포함할 수 있다. 예컨대, 롤링 셔터로 객체 촬영 후 공간 엘리어싱(Spatial aliasing)이나 스미어(smear) 등 이미지 변형 및 붕괴 현상이 나타난 경우, 실시예에서는 이미지 전처리 과정(preprocessing)을 통해 촬영된 이미지의 변형을 일정수준 보정하는 작업을 수행할 수 있다.

S40 단계에서는 영상 신호 처리 이후 차량 번호판의 번호를 추출한다.

번호 추출이 완료되면, S50 단계에서는 번호판을 분석한다.

S60 단계예서는 분석된 라인의 왜곡량을 파악하여 차량 속도를 산출한다.

실시예에서 분석된 왜곡량을 이용하여 이동객체의 속도는 이하 설명되는 수학식을 통해 산출될 수 있다.

실시예에서 롤링셔터에 의해 촬영되는 시간인 셔터 동작시간을 t_line, 이동 객체에 대응되는 규격정보의 라인 길이는 H, 촬영모듈인 카메라의 초점거리는 f, 이미지 센서 화소의 크기는 s, 이미지의 화소 수는 m인 경우, 롤링셔터에 의해 촬영된 화면 내에서 객체의 높이는 수학식 5: h= s x m 으로 산출된다.

이때, 카메라와 이동객체까지의 거리 L은 수학식 6: L=f x H/ h으로 산출되고, 객체의 이동거리 D는 수학식 7: D= L x d/m으로 산출될 수 있다.

이에 따라, 촬영된 이동 객체의 속도 v는 수학식 8: v = D/t_line 으로 산출될 수 있다.

도 10은 가속운동 또는 좌우 진동하는 물체의 롤링셔터 영상 예를 나타낸 도면이다.

지금까지 하나의 영상으로 등속 운동하는 물체의 속도 검출 과정을 설명하였지만, 이 방법 이외에도 실시예에서는 도 10에 도시된 A)와 같이, 영상에서 곡선 형태의 왜곡이 일어나는 경우, 이동객체의 가속도를 추정할 수 있다. 구체적으로 도 10의 A를 참조하면, 시간경과에 해당하는 위치인 영상내의 라인 위치에 따라, 실시예에서는 막대 영상의 틀어지는 위치가 시간의 제곱에 비례하여 증가하는 곡선 형태의 왜곡이 일어날 수 있다. 이 경우, 롤링셔터로 획득된 영상으로 막대의 가속도를 추정할 수 있다. 도 10의 A에 도시된 막대는 실시예에서 이동객체인 차량 번호판, 야구공 등에 해당될 수 있다.

또한, 도10의 B)에 도시된 바와 같이, 객체가 좌우로 진동하는 경우에는 진동의 진폭과 주파수도 롤링셔터 방식으로 촬영된 영상에 의해 추출할 수 있게 된다. 이와 같이, 롤링(rolling shutter)로 생성된 영상의 왜곡을 적극적으로 이용하면 단, 하나의 영상에서 피사체의 운동 가속도나 진동 특성도 계산해 낼 수 있다. 반면 가속도나 진동 특성의 경우, 글로벌 셔터(Global shutter) 영상에서는 최소 몇 장 에서 몇 십장의 영상(이미지)이 있어야만 추출 가능하다.

한편, 위에서 언급한 이동객체인 물체(롤링셔터 피사체)의 운동은 역으로 적용하여, 물체는 정지해 있고 카메라가 움직이는 경우, 카메라의 운동이나 진동 특성들을 검출하는 데에도 쓰일 수 있다. 예컨대, 롤링셔터가 구비된 카메라의 운동 및 진동에 의해 생성된 영상을 분석하여 카메라의 상대속도, 속력, 가속도 및 좌우 진동 특성 등을 파악할 수 있다. 본 명세서에서는 물체가 움직이고, 카메라는 정지해 있는 상태에서 롤링셔터에 의해 획득된 영상으로 물체의 상대속도를 검출하는 실시예를 주로 설명하였다. 하지만, 물체가 정지해 있고 카메라가 움직이는 경우에는, 카메라가 정지해 있고 물체가 움직이는 경우와 방향만 다른 동일한 속력이 발생하고 롤링셔터의 누적 노출 시간 또한 카메라가 정지하고 물체가 움직이는 경우와 다를 바가 없기 때문에, 물체가 정지하고 카메라가 움직이는 경우에도 실시예를 충분히 적용할 수 있다.

뿐만 아니라, 물체와 카메라가 모두 움직이고 물체와 카메라중 어느 하나의 속도를 이미 알고 있는 경우에도, 본 실시예를 적용하여 파악되지 않은 물체 또는 카메라의 속도를 검출할 수 있다. 물체와 카메라가 모두 움직이는 경우에는 실시예에서 롤링셔터 영상 획득 후, 전처리 작업을 통해 움직이는 카메라 또는 물체의 상대속력만큼 픽셀을 평행이동(shift) 시킨 후 영상 분석을 통해 검출되지 않은 카메라 또는 물체의 속도를 파악할 수 있도록 한다.

이상에서와 같은 롤링셔터를 이용한 객체 속도검출장치 및 방법은 왜곡된 영상을 이용하여 이동객체의 속도를 검출하므로 하나의 영상 프레임만으로 정확하고 빠르게 이동객체 속도를 검출할 수 있다. 또한, 속도 검출에 단 하나의 영상 프레임만을 이용하기 때문에 이동객체의 속도 검출에 소요되는 데이터 처리과정을 대폭 줄일 수 있다. 또한, 차량뿐만 아니라 야구공 등 실제 크기를 알 수 있거나 규격이 정해진 객체의 이동속도를 정확히 검출할 수 있다.

또한, 롤링셔터(Rolling Shutter) 방식의 이미지 센서를 사용하여 상대적으로 이동 속도에 의한 왜곡이 클 경우 본 제안과 같이 단 하나의 영상 프레임만을 가지고 객체의 이동 속도를 빠르게 검출할 수도 있고, 이동 속도가 상대적으로 적어 왜곡이 작을 경우에는 속도 검출의 오차가 커질 수 있으므로 2개 이상의 영상 프레임을 통해 이동 속도를 검출하는 방식으로 선택적으로 적용할 수도 있다.

차량뿐만 아니라 아니라 이동 객체의 실제 크기를 알 수 있거나 상대 거리를 파악할 수 있는 물체의 경우에도 실시예에 의해 단 한 장의 영상 프레임에 포함된 객체 검출 및 영상 왜곡 분석을 통해 상대적 이동 속도 검출을 용이하게 수행할 수 있다.

개시된 내용은 예시에 불과하며, 특허청구범위에서 청구하는 청구의 요지를 벗어나지 않고 당해 기술분야에서 통상의 지식을 가진 자에 의하여 다양하게 변경 실시될 수 있으므로, 개시된 내용의 보호범위는 상술한 특정의 실시예에 한정되지 않는다.

Claims (10)

1. 롤링셔터(rolling shutter)를 이용한 이동객체 속도검출 방법에 있어서,
   (A) 촬영모듈에서 이동객체가 감지된 경우, 롤링셔터(Rolling shutter)를 제어하여 상기 이동객체를 촬영하는 단계;
   (B) 영상처리모듈에서 촬영된 화면을 분석하여 상기 화면에 포함된 이동객체의 규격정보를 확정하는 단계;
   (C) 산출모듈에서 확정된 규격정보를 이용하여 객체 화면에 포함된 숫자 또는 글자의 왜곡량을 분석하는 단계;
   (D) 산출모듈에서 상기 분석된 왜곡량을 이용하여 이동객체의 속도를 산출하는 단계; 를 포함하는 객체속도 검출방법.
   
2. 제 1항에 있어서, 상기 (C) 산출모듈에서 확정된 규격정보를 이용하여 객체 화면에 포함된 숫자 또는 글자의 왜곡량을 분석하는 단계; 는
   상기 이동객체가 촬영된 화면에서 숫자, 글자 및 객체 에지(edge)의 가로길이와 세로길이를 포함하는 세부객체크기를 측정하는 단계;
   상기 측정된 세부객체크기와 기 저장된 객체 규격정보의 차이를 통해 왜곡량을 산출하는 단계; 를 포함하는 것을 특징으로 하는 객체속도 검출방법.
   
3. 제 2항에 있어서, 상기 측정된 세부객체크기와 기 저장된 객체 규격정보의 차이를 비교하여 왜곡량을 산출하는 단계; 는
   상기 롤링셔터에 의해 촬영된 화면에 포함된 글자 및 숫자의 가로길이, 세로길이, 자간, 글자 및 숫자의 크기, 곡률 및 형태를 포함하는 세부객체 크기의 측정량을 규격정보와 비교하여 왜곡량을 분석하는 것을 특징으로 하는 객체속도 검출방법.
   
4. 제 1항에 있어서, 상기 (D) 산출모듈에서 상기 분석된 왜곡량을 이용하여 이동객체의 속도를 산출하는 단계; 는
   상기 롤링셔터의 동작 시점, 초점거리, 이미지 센서의 화소수 및 화소크기를 포함하는 속도산출요소 및 상기 분석된 글자 및 숫자의 왜곡량을 이용하여 이동객체의 속도를 연산하는 것을 특징으로 하는 객체속도 검출방법.
   
5. 제 1항에 있어서, 상기 (D) 산출모듈에서 상기 분석된 왜곡량을 이용하여 이동객체의 속도를 산출하는 단계; 는
   롤링셔터에 의해 촬영되는 시간인 셔터 동작시간을 t_line, 이동 객체에 대응되는 규격정보의 라인 길이는 H, 촬영모듈인 카메라의 초점거리는 f, 이미지 센서 화소의 크기는 s, 이미지의 화소 수는 m인 경우,
   롤링셔터에 의해 촬영된 화면 내에서
   객체의 높이는 수학식 1: h= s x m 으로 산출되고,
   카메라와 이동객체까지의 거리 L은 수학식 2: L=f x H/ h으로 산출되고
   객체의 이동거리 D는 수학식 3: D= L x d/m으로 산출되고,
   객체의 속도 v는 v = D/t_line 으로 산출되는 것을 특징으로 하는
   객체속도 검출방법.
   
6. 제 1항에 있어서, 상기 롤링셔터(rolling shutter)를 이용한 이동객체 속도검출 방법은
   데이터베이스에 차량 번호판을 포함하는 규격화된 이동객체의 높이(high), 폭(width), 거리 별 상대적 크기, 객체에 포함된 글자 및 숫자의 가로길이, 세로길이, 자간, 글씨의 굵기를 포함하는 객체규격정보를 미리 저장하는 것을 특징으로 하는 객체속도 검출방법.
   
7. 롤링셔터(rolling shutter)를 이용한 객체 속도검출 장치에 있어서,
   차량 번호판을 포함하는 이동객체의 높이(high), 폭(width), 거리 별 상대적 크기, 글자 및 숫자의 크기, 자간, 세로길이 가로길이를 포함하는 객체규격정보를 저장하는 데이터베이스;
   이동객체가 감지된 경우, 롤링셔터를 제어하여 이동객체를 촬영하는 촬영모듈;
   촬영된 화면을 분석하여 상기 화면에 포함된 이동객체의 규격정보를 확정하는 영상처리모듈; 및
   확정된 규격정보를 이용하여 객체 화면에 포함된 숫자 또는 글자의 왜곡량을 분석하고 상기 분석된 왜곡량을 통해 이동객체의 속도를 산출하는 산출모듈; 을 포함하는 객체속도 검출장치.
   
8. 제 7항에 있어서, 상기 영상처리모듈은
   상기 이동객체가 촬영된 화면에서 숫자, 글자 및 객체 에지(edge)의 가로길이와 세로길이를 포함하는 세부객체를 검출하는 라인검출부; 및
   상기 화면에서 검출된 세부객체 각각의 길이를 산출하는 길이산출부; 를 포함하는 것을 특징으로 하는 객체속도 검출장치.
   
9. 제 7항에 있어서, 상기 산출모듈은
   상기 검출된 세부객체 각각의 길이와 객체 규격정보에 포함되는 라인 각각의 길이의 차이를 산출하고 산출된 차이를 기반으로 왜곡량을 분석하는 왜곡분석부; 및
   상기 롤링셔터의 동작 시점, 초점거리, 화소수, 화소의 크기를 포함하는 속도산출요소 및 상기 분석된 왜곡량을 이용하여 이동객체의 속도를 연산하는 속도산출부; 를 포함하는 것을 특징으로 하는 객체속도 검출장치.
   
10. 제 7항에 있어서, 상기 산출모듈은
    롤링셔터에 의해 촬영되는 시간인 셔터 동작시간을 t_line, 이동 객체에 대응되는 규격정보의 라인 길이는 H, 촬영모듈인 카메라의 초점거리는 f, 이미지 센서 화소의 크기는 s, 이미지의 화소 수는 m인 경우,
    롤링셔터에 의해 촬영된 화면 내에서
    객체의 높이는 수학식 1: h= s x m 으로 산출되고,
    카메라와 이동객체까지의 거리 L은 수학식 2: L=f x H/ h으로 산출되고
    객체의 이동거리 D는 수학식 3: D= L x d/m으로 산출되고,
    객체의 속도 v는 v = D/t_line 으로 산출되는 것을 특징으로 하는
    객체속도 검출장치.
    
    

Images