KR101877969B1 - 스마트 블랙박스 영상 전송관리 시스템 - Google Patents

스마트 블랙박스 영상 전송관리 시스템 Download PDF

Info

Publication number
KR101877969B1
KR101877969B1 KR1020180009580A KR20180009580A KR101877969B1 KR 101877969 B1 KR101877969 B1 KR 101877969B1 KR 1020180009580 A KR1020180009580 A KR 1020180009580A KR 20180009580 A KR20180009580 A KR 20180009580A KR 101877969 B1 KR101877969 B1 KR 101877969B1
Authority
KR
South Korea
Prior art keywords
image
event
frame
transmission
inter
Prior art date
Application number
KR1020180009580A
Other languages
English (en)
Inventor
권혁길
박철수
Original Assignee
에이에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에이에스 주식회사 filed Critical 에이에스 주식회사
Priority to KR1020180009580A priority Critical patent/KR101877969B1/ko
Application granted granted Critical
Publication of KR101877969B1 publication Critical patent/KR101877969B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/008Registering or indicating the working of vehicles communicating information to a remotely located station
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/02Registering or indicating driving, working, idle, or waiting time only
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • G07C5/085Registering performance data using electronic data carriers
    • G07C5/0866Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Discrete Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명에 따른 스마트 블랙박스 영상 전송관리 시스템은, 차량에 장착되어 영상을 촬영하는 촬영모듈; 촬영된 영상을 저장하는 저장모듈; 저장된 상기 영상을 인트라 코딩 프레임과 상기 인트라 코딩 프레임에 종속되는 복수의 인터 코딩 프레임으로 그룹핑한 복수개의 섹터로 분할 처리하는 영상 처리모듈; 상기 영상 및 상기 차량에 부착된 센서로부터 제공된 센싱정보를 분석하여 상기 차량의 이벤트 발생여부 및 이벤트시점을 판단하는 이벤트 판단모듈; 이벤트 발생여부에 따라 상기 이벤트시점을 포함하는 영상을 외부 단말로 전송하는 전송모듈;을 포함하는 것을 특징으로 한다.

Description

스마트 블랙박스 영상 전송관리 시스템{Smart Video Transmission System for Vehicle Blackbox}
본 발명은 스마트 블랙박스 영상 전송관리 시스템에 관한 것으로서, 더욱 상세히는 블랙박스를 통해 일반 주행 시 촬영된 일반영상을 운전자 또는 제 3자가 보유한 단말에 전송받아 확인할 때 또는 이벤트 발생 시 촬영된 이벤트영상을 운전자 또는 제 3자가 보유한 단말에 전송할 때 한정된 무선통신망을 효율적으로 활용하여 영상을 제공할 수 있도록 한 스마트 블랙박스 영상 전송관리 시스템에 관한 것이다.
일반적으로 블랙박스(Black Box)란 주로 비행기에서 사용되던 장치로써 비행기가 추락하거나 사고 또는 특수한 이벤트가 발생하였을 경우 당시의 상황을 알기 위하여 비행기의 고도 및 속도, 동작 상태, 조종석의 음성 정보, 관제탑과의 교신 등을 기록하여 사고의 원인 규명을 위한 단서로 사용되고 있다.
최근에는 이러한 기술을 차량에 적용하여 자동차 사고의 원인을 규명하는데에도 적극적으로 활용되고 있는 추세이다.
대부분의 자동차 사고의 경우, 사고 현장의 증거물들을 충분히 획득하기가 어렵기 때문에 사고 가해자와 피해자를 명확히 구분하기가 어렵고, 정확한 사고 원인을 규명하기가 힘들어진다.
사고 분석에서 목격자의 진술이 큰 부분을 차지하지만, 목격자의 확보가 어려운 경우가 대부분이다.
이러한 문제들을 해결하기 위해서 세계 각국에서는 정보 기관과 차량 제조 회사들의 주도로 운행 중 발생하는 각종 상황들을 저장해 두었다가 사고 발생 시 그 정보를 토대로 사고 분석과 책임 소재를 원만히 해결해 줄 수 있는 블랙박스 장치에 대한 연구가 활발하게 진행되고 있으며, 블랙박스의 중요성과 활용성이 검증됨에 따라 사용 또한 증가하는 추세이다.
상기와 같은 문제점을 해결하기 위하여, 특허 공개번호 제10-2007-0110809호에 차량용 블랙박스가 제시된 바 있다.
상기 차량용 블랙박스는 종방향 가속도 변화만을 감지하는 종방향 가속도 변화 감지 수단과, 횡방향 가속도 변화만을 감지하는 횡방향 가속도 변화 감지 수단, 상기 종방향 가속도 변화 감지 수단 또는 횡방향 가속도 변화 감지 수단에 의해 종방향 또는 횡방향 가속도 변화가 소정값 이상일 때 영상을 촬영하는 카메라를 포함하고, 상기 종/횡방향 가속도 변화 감지 수단의 신호에 의해 촬영되는 결과로 사고 차량의 사고 경위를 도출할 수 있다.
하지만, 종래의 블랙박스는 주차중인 차량에 충격이 가해졌을 때 차량 소유주에게 어떠한 통보도 없이 사고 영상만을 촬영하기 때문에 차량 소유주가 직접 촬영된 영상을 확인하기 전에는 차량 손상을 인지하지 못하고 지나칠 수 있다는 문제점이 있었다.
다음으로 특허 등록번호 제10-1676278호‘블랙박스 사고 영상의 스마트폰 전송 시스템 및 방법’에서는, 주차 중 차량에 충격이 가해졌을 때 블랙박스에 의해 촬영된 사고 영상을 해당 차량 소유주의 스마트폰으로 전송하는 블랙박스 사고 영상의 스마트폰 전송 시스템 및 방법을 개시하였다.
이와 같은 방법은 사고 발생 시 운전자에게 사고 상황을 확인할 수 있는 영상을 실시간으로 제공한다는 점은 좋으나, 주차와 같은 특정한 상황에 한정되어 있어 실제 주행에 해당 기술이 활용되기는 어렵다는 단점이 있다.
본 발명은 상기 기술의 문제점을 극복하기 위해 안출된 것으로, 차량에 설치된 블랙박스를 통해 일반 주행에서 다양한 센서 감지나 사용자 조작에 의한 이벤트 발생 시 촬영된 영상을 운전자나 제 3자가 보유한 단말로 제공하는 것을 주요 목적으로 한다.
본 발명의 다른 목적은, 외부 단말을 통해 영상제공을 요청받는 경우, 먼저 영상의 인트라 코딩 프레임을 단말에 전송하여 선택하도록 함으로써 효율적인 데이터 전송방식을 제공한다.
본 발명의 또 다른 목적은, 이벤트 발생 시 이벤트 시점을 기준으로 다양한 방법을 통해 영상을 분할하여 블랙박스의 고장 이전에 빠르게 필요한 영상부터 우선적으로 외부 단말로 전송하는 구성을 제공한다.
본 발명의 또 다른 목적은, 제공하는 이미지 자체의 용량을 줄일 수 있도록 이미지에서 특정 부분을 텍스트화 하거나 중복된 부분을 삭제하여 전송할 수 있는 구성을 제공한다.
상기 목적을 달성하기 위하여, 본 발명에 따른 스마트 블랙박스 영상 전송관리 시스템은, 차량에 장착되어 영상을 촬영하는 촬영모듈; 촬영된 영상을 저장하는 저장모듈; 저장된 상기 영상을 인트라 코딩 프레임(Intra Coding Frame)과 상기 인트라 코딩 프레임에 종속되는 복수의 인터 코딩 프레임(Inter Coding Frame)으로 그룹핑한 복수개의 섹터로 분할 처리하는 영상 처리모듈; 상기 영상 및 상기 차량에 부착된 센서로부터 제공된 센싱정보를 분석하여 상기 차량의 이벤트 발생여부 및 이벤트시점을 판단하는 이벤트 판단모듈; 이벤트 발생여부에 따라 상기 이벤트시점을 포함하는 영상을 외부 단말로 전송하는 전송모듈;을 포함하는 것을 특징으로 한다.
나아가, 상기 영상 처리모듈은, 상기 이벤트시점이 포함된 섹터와 상기 섹터의 전후에 위치된 섹터들을 포함하는 이벤트영상을 추출하는 이벤트영상 추출부와, 상기 이벤트영상에 포함된 섹터들을 순차적으로 상기 전송모듈에 제공하는 순차 제공부를 더 포함하는 것을 특징으로 한다.
더하여, 상기 순차 제공부는, 상기 이벤트영상에 포함된 섹터들로부터 이벤트시점 이전의 상기 인트라 코딩 프레임을 순차적으로 상기 전송모듈에 제공하고, 상기 인트라 코딩 프레임에 종속된 상기 인터 코딩 프레임을 순차적으로 상기 전송모듈에 제공하는 우선 제공파트를 더 포함하는 것을 특징으로 한다.
덧붙여, 상기 영상 처리모듈은, 상기 이벤트시점이 포함된 섹터와 상기 섹터의 전후에 위치된 섹터들을 포함하는 이벤트영상을 추출하는 이벤트영상 추출부와, 상기 이벤트시점이 포함된 섹터의 전후에 위치한 섹터들을 순차적으로 번갈아 상기 전송모듈에 제공하는 교번 제공부를 더 포함하는 것을 특징으로 한다.
본 발명에 따른 스마트 블랙박스 영상 전송관리 시스템에 의하면,
1) 차량에 설치된 블랙박스를 통해 일반 주행 시 및 이벤트 시 촬영된 영상을 운전자나 제 3자가 보유한 단말 또는 서버로 제공하는 영상 전송 시스템을 제공하고,
2) 영상을 인트라 코딩 프레임과 인터 코딩 프레임으로 분할하여 저장하고, 영상을 요청하는 외부단말에 인트라 프레임을 전송하며, 외부 단말로부터 원하는 인트라 코딩 프레임을 선택받으면, 이 인트라 코딩 프레임에 종속된 인터 코딩 프레임을 추가로 제공함으로써 불필요한 데이터 전송을 방지하며,
3) 이벤트 시점을 기준으로 다양한 방법을 통해 영상을 분할하여 블랙박스의 고장 이전에 빠르게 필요한 영상부터 우선적으로 외부 단말로 전송하고,
4) 나아가, 제공하는 이미지 자체의 용량을 줄일 수 있도록 이미지에서 이미지를 구분 및 인지할 수 있는 특정한 영역, 개체 등을 텍스트화 함으로써 최소한의 전송용량으로 영상을 제공할 수 있도록 한다.
도 1은 본 발명의 스마트 블랙박스 영상 전송관리 시스템에 대한 개략적인 구성을 나타낸 개념도.
도 2는 스마트 블랙박스 영상 전송관리 시스템의 상세 구성을 나타낸 블록도.
도 3은 스마트 블랙박스 영상 전송관리 시스템에서 이벤트영상을 외부 단말로 전송하는 과정을 도시한 순서도.
도 4는 영상 제공방법을 보다 상세하게 도시한 순서도.
도 5는 각 영상 제공 방법의 실제 프레임 전송 예시를 도시한 개념도.
도 6은 스마트 블랙박스 영상 전송관리 시스템에서 이벤트 발생 우려 시 촬영된 영상을 외부 단말로 전송하는 과정을 도시한 순서도.
도 7은 영상 제공 방법의 실제 프레임 전송 예시를 도시한 개념도.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하도록 한다. 첨부된 도면은 축척에 의하여 도시되지 않았으며, 각 도면의 동일한 참조 번호는 동일한 구성 요소를 지칭한다.
도 1은 본 발명의 스마트 블랙박스 영상 전송관리 시스템에 대한 개략적인 구성을 나타낸 개념도이고, 도 2는 스마트 블랙박스 영상 전송관리 시스템의 상세 구성을 나타낸 블록도이다.
도 1과 2를 참조하여 설명하면, 스마트 블랙박스 영상 전송관리 시스템은, 차량에 장착되어 영상을 촬영하는 촬영모듈(100)과, 촬영된 영상을 저장하는 플래시 메모리나 하드디스크, sd카드와 같은 저장매체가 구비된 저장모듈(200) 및, 이 저장모듈(200)에 저장된 영상을 프레임 및 복수개의 프레임이 그룹화된 섹터 단위로 분할 처리하는 영상 처리모듈(300)과, 영상을 실시간 분석하여 차량의 이벤트 여부를 판단하는 이벤트 판단모듈(400) 및, 이벤트 여부에 따라 기 지정된 외부 단말(600)로 분할된 영상의 프레임 일부를 전송하는 전송모듈(500)로 구성된다.
먼저, 이러한 기술의 전제로서, 본 발명에서의 블랙박스(10)는 차량의 OBD, ECU, GPS 등과 연동하여 차량의 센싱정보를 모두 제공받을 수 있는 기능을 갖추고 있으며, 영상 촬영이 가능하고, 후술하겠지만 무선통신을 사용해 외부 단말(600)로 촬영된 영상의 제공이 가능한 것을 의미한다.
여기서 촬영모듈(100)은 기본적으로 블랙박스(10)에 장착된 카메라를 의미하되, 이 카메라는 차량의 진행방향인 전방을 촬영하는 것을 기본으로 하되 별도로 차량의 실내, 후방이나 측방을 촬영할 수 있는 보조 카메라가 더 포함될 수도 있음은 물론이다. 특히 촬영모듈(100)의 경우 운전자가 수동조작이나 운전자의 명령에 의해 실내를 촬영하거나 혹은 전방, 후방, 측방을 촬영하는 ‘스냅샷’기능을 더 구비할 수 있으며, 이러한 스냅샷 기능을 통해 차량에 장착된 블랙박스(10)의 촬영모듈(100)을 매개로 일반 카메라와 같은 셀카(self)촬영, 풍경촬영 등의 용도로도 활용 가능함은 물론이다.
따라서, 보다 용이한 촬영을 위해서는 블랙박스(10) 내부에 촬영모듈(100)은 촬영 시기를 지정할 수 있도록 프로그래밍 된 별도의 구동부(미도시) 구성이 포함될 수 있는 디지털 방식의 카메라를 활용하는 것이며, 이 때 해당 구동부에는 ‘상시 촬영’, ‘주차 시 촬영’, ‘이벤트 발생 시 촬영’ 등으로 그 촬영시기가 제어될 수 있되, 여기서 이벤트는 후술할 내용에서 상세하게 안내하겠지만, 급작스러운 가속이나 브레이크 동작 등이 발생한 경우, 차량에 임계치 이상의 충격이 발생한 경우 등 차량의 주행이나 사고와 관련된 것을 의미할 수도 있고, 나아가 차량의 주행 이외에도 앞서 언급하였던 사용자의 터치조작이나 버튼조작 등과 같은 사용자 요청에 의한 조작을 통해서도 구동이 가능토록 구성될 수 있음은 물론이다.
또한, 영상 처리모듈(300)의 경우, 기본적으로 영상을 촬영한다는 것이 결국에는 아주 짧은 시간 간격으로 연속 촬영된 프레임을 빠른 속도로 넘기면서 볼 때 마치 실제 움직임처럼 보이도록 한 것이며, 따라서 영상을 촬영하게 되면, 1초에 x개의 프레임으로 나누어 확인할 수 있는 것이다. 이러한 설정은 카메라의 촬영 시 fps(frames per second)로 확인할 수 있는 것이다.
즉, 전체 영상을 관리단위로 잡지 않고, 프레임단위로 쪼갰을 때 쪼개어진 각각의 프레임을 기준으로 영상을 분할관리토록 한다.
이를 위해서 영상 처리모듈(300)은 바람직하게는 영상을 시간 순서에 따라 복수개의 프레임으로 분리하되, 일정 시간마다 위치하는 프레임을 인트라 코딩 프레임(Intra Coding Frame : 일반적으로 MPEG 영상 포맷의 I프레임과 유사)으로 지정(부호화)하고, 어느 하나의 상기 인트라 코딩 프레임을 기준으로 시간 순서에 따라 다음 인트라 코딩 프레임까지 위치하는 복수개의 프레임들을 각각 인터 코딩 프레임(Inter Coding Frame : 일반적으로 MPEG 영상 포맷의 P프레임 및 B프레임과 유사)으로 지정(부호화)하여 기준으로 지정된 상기 인트라 코딩 프레임에 종속시키게 되면, 이 인트라 코딩 프레임과 인트라 코딩 프레임에 종속된 복수개의 인터 코딩 프레임을 묶은 섹터(그룹)을 형성할 수 있게 된다.
이것은 MPEG 영상포맷에서 활용되는 방식과 유사한 구성으로서, 특정 시간마다 혹은 특정 개수의 프레임을 묶어 섹터를 형성하되, 이 섹터에서 가장 앞선 시간에 위치하는 프레임을 인트라 코딩 프레임으로 지정(부호화)하고, 섹터의 나머지 프레임들은 인터 코딩 프레임으로 지정(부호화)하여 시간 순서상 앞에 위치한 인트라 코딩 프레임에 이 인터 코딩 프레임들을 종속시켜 하나의 그룹처럼 활용할 수 있게 지정하는 것이다. 물론 여기서 인트라 코딩 프레임으로 지정한 부분은 MPEG 방식의 I프레임이라 할 수 있으며, 인터 코딩 프레임도 마찬가지로 MPEG 방식의 P프레임 혹은 P프레임+B프레임 으로 변형하여 활용 및 이해가 가능함은 물론이다.
예를 들면, 하나의 섹터는 하나의 인트라 코딩 프레임과 복수의 인터 코딩 프레임으로 구성되되, I프레임(이하 I), P프레임(이하 P), B프레임(이하 B)라 가정하였을 때 이를 좀 더 상세하게 설명하면, IPPPPPP.... 와 같은 섹터가 구성될 수도 있으며, 나아가 IBBPBBPBBP.... 와 같은 섹터가 구성될 수도 있다. 여기서 섹터의 길이는 일반적으로 사용자가 지정 가능한데, 바로 영상분야에서 프레임 레이트를 조절한다는 것이 바로 이러한 구성을 의미하는 것이라 하겠다.
이렇게 섹터 및 프레임을 나누어 구성하게 되면, 기존의 모든 프레임들을 다 개별로 관리할 때 보다 훨씬 유연하게 프레임들의 관리가 가능할 뿐만 아니라, 각 인트라 코딩 프레임에 종속된 인터 코딩 프레임은 일반적으로 거의 유사한 데이터를 포함하고 있기 때문에(보통 영상촬영이 30fps나 60fps로 이루어지며, 인트라 코딩 프레임의 경우에도 일반적으로 이와 대비되는 30 또는 60프레임마다 인트라 코딩 프레임을 구비토록 구성한다.) 인트라 코딩 프레임을 인트라 코딩 프레임과 인터 코딩 프레임의 대표로서 활용할 수 있게 구성이 가능하다. 이 때 인트라 코딩 프레임을 활용하는 방법은, 인트라 코딩 프레임을 고정된 사진과 같이 저장한 스냅샷이나 인트라 코딩 프레임에 포함된 객체들을 판단하여(이미 포토샵과 같은 공지된 기술에 이러한 식별 기술이 알려져 있다.) 텍스트 등으로 저장한 메타 데이터, 혹은 인트라 코딩 프레임 그 자체를 활용할 수 있음은 물론이다.
나아가 이벤트 판단모듈(400)은 이러한 영상을 분석하여 차량의 이벤트 여부를 판단하는 것으로서, 여기서 이벤트란 차량 사고나 운전 중 특수한 조작(급커브, 급가속, 급제동, 사용자 음성 인식이나 조작 등으로 인한 촬영 요청, 스마트폰이나 리모콘 등 스마트 블랙박스(10)와 연계할 수 있는 제어장치에서의 요청 등)이나 특수한 액션(급발진, 미끄러짐 등)이 발생한 상황을 의미하며 이 때, 영상분석은 일반적으로 알려진 포토샵 등의 이미지 분석장치에서 활용되는 이미지 분석기법을 활용하는 것으로서, 촬영된 영상에서 붉은색이나 노란색이 갑자기 증가하고 연기 등이 발생하면 화재가 발생한 것으로, 영상의 특정 부분이 어느 순간부터 일그러진다면 파손이 발생한 것으로 인지하여 이벤트 여부를 판단할 수 있게 되는 것이다. 또한, 자동차 자체에서도 수 많은 센서장치와 연동된 OBD 기능을 통해 차량의 엔진 구동상태나 외부에서 받는 충격, 기울기, 엑셀구동여부, 브레이크 구동여부, 핸들구동여부 등의 정보도 더 얻을 수 있으므로 이러한 정보와 연계하여 이벤트 여부를 판단할 수도 있음은 물론이다. 또한 이벤트가 발생한 경우에 촬영된 영상은 블랙박스(10)에 저장된 이후 스마트폰이나 기타 외부 단말(600)로 제공될 수도 있지만, 경우에 따라서(예를 들면 사용자가 직접 버튼을 누르거나, 블랙박스(10)나 촬영모듈(100)에 구비된 디스플레이를 터치 조작하거나 혹은 음성인식 등을 시도하는 등의 경우는 사용자 필요에 의한 조작이므로 이러한 특수 액션들을 별도로 기억해두었다가 특수 액션이 발생하였을 때 등이 고려될 수 있는 것이다.) 블랙박스(10)에 저장과 동시에 스마트폰이나 기타 외부 단말(600)에도 전송되도록 구성 가능함은 물론이다.
마지막으로 전송모듈(500)은 이벤트 발생 시 촬영된 영상의 일부(이벤트 시점과 가까운 시점에서 촬영된 영상)를 운전자의 휴대전화 등의 단말기나 미리 지정된 특정 외부 단말(600)(예를 들면 운전자의 집 컴퓨터, 혹은 보험사 서버 등)로 전송하는 기능 및 일반상태에서도 운전자나 제 3자가 운전습관을 확인하는 등의 목적으로 촬영된 영상을 제공받고자 할 때에 이렇게 지정된 외부 단말(600)로 영상의 프레임 일부를 전송하는 것이다. 이 전송모듈(500)은 실시간 전송 혹은 영상의 저장 및 인코딩 등의 짧은 텀을 두고 영상을 외부 단말(600)로 전송할 수 있는 것이며, LTE, Bluetooth, RFID, Wi-fi, Wi-di등 다양한 무선통신방법으로 외부 단말(600)과 통신이 가능한 것을 의미한다.
다만, 이 전송모듈(500)을 통해 저장된 전체 영상을 모두 외부 단말(600)로 보내게 된다면 보통 초당 100Mbps정도(약 13MB/s)의 데이터를 전송할 수 있는 LTE망을 활용할 때, 일반적으로 블랙박스(10)가 64GB의 메모리를 사용한다고 치면, 이 모든 영상을 한번에 단말에 전송하는 경우, 최대 속도일 때 약 4,923초 = 82분 정도의 시간이 필요하다. 따라서, 이러한 전체 영상의 전송이 지속되면 엄청난 데이터 트래픽을 유발하기 때문에 바람직하지 못할뿐더러, 그 통신요금도 무시할 수 없는 수준이고 전송 중 단말기 파손(또는 손상)으로 정상동작을 할수 없어 데이터 전송완료를 못할 수 있기 때문에 영상을 전체 전송하지 않고, 중요한 키 프레임인 인트라 코딩 프레임을 먼저 보내고 이후 남은 종속된 프레임을 나누어 전송토록 구성하는 것이다.
나아가 최종적으로 외부 단말(600)에서는 이렇게 전송된 I프레임(이하 I), P프레임(이하 P), B프레임(이하 B)을 수집하고, 이를 시간 순서에 따라 재배열하게 된다. 이러한 재배열은 바람직하게는 각 프레임에 포함된 exif값 등의 메타 데이터를 포함하는 촬영정보에서 얻어낼 수 있으며,(이러한 촬영정보의 포함은 영상/이미지 촬영 분야에서 일반적인 구성이므로 상세한 설명은 제외하도록 한다.) 따라서 시간 순서대로 프레임을 재배열한 후 이를 연결하여 출력하는 것으로서 인코딩 된 데이터를 디코딩하여 사용자에게 출력할 수 있게 되는 것이다.
여기에서 이미지는 복수의 프레임으로 구성된 섹터로 나누어 두었기 때문에, 이 섹터와 인트라 코딩 프레임 및 인터 코딩 프레임을 활용하여 전송용량을 줄이거나 혹은 영상의 특정 부분을 먼저 전송하고, 이후에 나머지 부분들을 제공하여 블랙박스(10)가 효율적으로 영상을 제공할 수 있도록 하는 것이다. 이러한 방법에 대해 살펴보면 다음과 같다. (여기서 주기적으로 삽입되는 인트라 코딩 프레임은 장면전환 감지기술 (scene change detection)기술에 의거하여 가변적으로 인트라 코딩 프레임을 삽입할 수도 있는데, 이 경우 장면전환에 따라 삽입된 인트라 코딩 프레임을 전송에 포함할 수 있다.)
도 3은 스마트 블랙박스 영상 전송관리 시스템에서 이벤트영상을 외부 단말로 전송하는 과정을 도시한 순서도이고, 도 4는 영상 제공방법을 보다 상세하게 도시한 순서도이며, 도 5는 각 영상 제공 방법의 실제 프레임 전송 예시를 도시한 개념도이다.
앞으로 설명될 내용은 도 1 내지 5의 내용을 모두 포함하는 것으로서, 이들 도면을 모두 참조하면서 차량 등에 장착된 블랙박스(10)에서 이벤트 발생 시 영상을 외부 단말로 전송하는 구성에 대해 설명하면 다음과 같다. 먼저, 이벤트 판단모듈(400)에는 인트라 코딩 프레임 및 인터 코딩 프레임을 분석하여(앞서 설명한 바와 같이 공지된 이미지 분석기술이 활용될 수 있다.) 객체(object : 차량이나 보행자, 장애물 등)를 추출하고, 각 객체별로 크기변화, 위치변화 및 색상변화를 통해 차량의 파손여부, 화재발생 여부, 급가속 여부, 급제동 여부 및 충돌여부 중 적어도 하나 이상을 판단하고, 나아가 파손, 화재, 급가속, 급제동 및 충돌 중 어느 하나가 발생한 시점을 이벤트시점으로 지정할 수 있는 구성을 갖춘 것이라 하겠다.
이에 따라 영상 처리모듈(300)에도 이 이벤트시점을 기준으로 이벤트시점이 포함된 섹터와, 이 섹터의 전후에서 일정 시각동안 촬영된 섹터들을 추출하여 이를 이벤트영상으로 지정하는 이벤트영상 추출부(301)와, 지정된 이벤트영상의 섹터들을 전송모듈(500)에 순차적으로 제공하여 외부 단말(600)이 시간 순서에 따라 이벤트영상을 받아볼 수 있도록 하는 순차 제공부(302)의 구성이 더 포함될 수 있다.
즉, 이벤트시점이 판단되었을 때, 전체 영상을 모두 외부 단말(600)로 보내지 않고, 이벤트시점으로부터 특정 시각 이전으로부터 특정 시각 이후까지의 영상을 잘라 외부 단말(600)로 자동 전송토록 함으로써 블랙박스(10)의 고장 이전에 최대한 신속하게 증거가 될 수 있는 영상들을 외부 단말(600)로 전송토록 구성한다.
그러나, 이벤트시점은 곧 이벤트가 발생한 시점이라는 점을 감안할 때, 블랙박스(10)가 파손되어 고장나기 이전에 이벤트영상을 빠르게 외부 단말(600)로 전송할 수 있는 구성이 더 고려될 필요가 있다. 이를 위해 영상 처리모듈(300)에는, 이벤트영상을 이벤트시점이 포함된 섹터를 기준으로 해당 섹터의 바로 이전시점(혹은 이후시점)에 위치한 섹터, 바로 이후시점(혹은 이전시점)에 위치한 섹터, 다시 이전시점에 위치한 섹터로부터 바로 이전시점(혹은 이후시점)에 위치한 섹터.....로 지그재그 순서로 제공하는 교번 제공부(303)의 구성을 더 포함할 수 있다. 즉, 이벤트영상의 섹터들을 시간순서로 배열하였을 때, 이벤트시점이 포함된 섹터를 중앙에 두어 이를 기준으로 이벤트시점으로부터 직전 혹은 직후에 위치한 섹터를 번갈아 보내고, 다시 그 다음 직전 혹은 직후에 위치한 섹터들을 번갈아 보냄으로서 이벤트시점으로부터 가까운 순서에 따라 섹터들을 교대로 외부 단말(600)로 제공하는 것이다.
여기서 섹터를 보내는 방법은 도 5를 통해 쉽게 이해할 수 있는데, 기존의 인트라 코딩 프레임 종속된 인터 코딩 프레임 다음 인트라 코딩 프레임 다음 인트라 코딩 프레임에 종속된 인터 코딩 프레임..... 과 같은 방법으로 전송되는 순차제공(도 5의 순차제공 (1))을 기본으로 하되, 긴박한 상황(예를 들면 화재나 강력한 충돌, 추돌 등에 의해 블랙박스가 고장날 우려가 있는 상황 혹은 사용자가 별도로 요청하는 경우 등에서) 이벤트가 발생한 이벤트시점을 기준으로 그 이전의 인트라 코딩 프레임을 순차적으로 제공한 후 종속된 인터 코딩 프레임을 순차로 제공하는 우선 제공파트(305)를 더 구비하는 구성도 가능하다. 즉, 이벤트영상에서 이벤트시점 이전의 인트라 코딩 프레임 다음 인트라 코딩 프레임 - ..... - 인트라 코딩 프레임에 종속된 인터 코딩 프레임 다음 인트라 코딩 프레임에 종속된 인터 코딩 프레임 - .... 으로 전송(도 5의 순차제공 (2))하는 것이다.
다음으로 교번 제공부(303)를 상세하게 설명하면, 11시에 이벤트가 발생했다고 가정하고, 이 때 기 지정된 규칙에 따라 이벤트영상을 이벤트시점으로부터 이전 30초와 이후 30초를 외부 단말(600)로 제공토록 지정된 블랙박스(10)라고 가정한다. 블랙박스(10)가 이벤트시점을 판단하게 되면, 이전에 촬영된 30초 분량의 영상과, 이후 촬영될 30초 분량의 영상을 준비해야 한다. 이 때, 이후 촬영될 영상은 아직 촬영 이전이므로 제공되는 최초의 섹터는 바람직하게는 이벤트시점으로부터 과거 직전 시간에 촬영된 영상이 포함된 섹터라고 할 수 있지만, 최근 1080p 60fps 영상으로 촬영되는 블랙박스(10)의 경우, 실시간 촬영 속도와 LTE를 통한 데이터 전송속도가 거의 비등하므로 이벤트시점으로부터 이후의 시간에 촬영된 영상이 포함된 섹터가 실시간으로 전송될 수도 있음은 물론이다.
여기서 다시, 본 예시에서 블랙박스(10)는 하나의 섹터를 1초 분량으로 준비하였다고 가정하였을 때, 전체 프로세스를 설명하면, 이벤트시점으로부터 1초 이전까지의 섹터를 먼저 외부 단말(600)로 보내고, 전송이 끝나면 다시 이벤트시점으로부터 1초 이후까지의 섹터를 외부 단말(600)로 보낸다. 나아가, 이 전송이 끝나면 이벤트시점으로부터 1초 이전의 시점에서 2초 이전의 시점까지의 섹터를 외부 단말(600)로 보내는 것을 반복하는 지그재그식 교번 전송을 전체 이벤트영상이 모두 외부 단말(600)로 전송될 때까지 지속하는 것이다.(도 5의 교번제공 (2))
이러한 방식의 장점은 블랙박스(10)의 파손이 우려될 때 이벤트시점과 가까운 이벤트영상을 먼저 외부 단말(600)로 보내게 됨으로써 최대한 이벤트 시점에서의 상황을 판단하기 용이한 순서대로 외부 단말(600)에 데이터가 저장되어 추후 증거자료로서 활용할 때에 블랙박스(10)가 데이터 전송 중 고장이 나더라도 저장된 이벤트영상이 최대한 이벤트 발생시점과 가까운 영상이기 때문에 이를 증거로서 활용하기 용이하다는 장점을 갖게 된다.
나아가 섹터는 인트라 코딩 프레임과 인터 코딩 프레임으로 나뉘어져 있다고 하였는데, 이러한 프레임들을 활용하는 분할 제공부(304)의 구성(도 5의 분할제공)도 더 고려될 수 있다. 이 분할 제공부(304)는 이벤트영상에 포함된 각 섹터들의 인트라 코딩 프레임을 전송모듈(500)로 순차 제공하고, 인트라 코딩 프레임의 전송 이후 다시 각 섹터마다 인트라 코딩 프레임에 종속된 복수의 인터 코딩 프레임들을 전송모듈(500)로 순차 제공하도록 구성한 것이다. 일반적으로 각 섹터가 1초 정도의 길이를 가지므로, 인트라 코딩 프레임을 먼저 보내게 되면 1초정도의 텀을 갖는 영상을 확인할 수 있게 된다. 즉, 긴박한 상황에서 빠르게 인트라 코딩 프레임을 먼저 외부 단말(600)로 전송한 후에도 블랙박스(10)가 구동 가능하다면 나머지 인터 코딩 프레임들을 보내도록 하여 최대한 이벤트영상을 빠르게 남길 수 있는 방법을 갈구한 구성이라 하겠다.
나아가 교번 제공부(303)는 분할 제공부(304)의 특징을 적용할 수도 있다. 즉, 블랙박스(10)가 고장우려가 있는 긴박한 상황 등에 적합한 것으로서, (도 5의 교번제공 (1)) 이벤트시점으로부터 지그재그 교번 방식으로 영상을 전송하는 구성과 유사한 것이되, 섹터 전체를 전송하지 않고 섹터의 인트라 코딩 프레임들을 먼저 지그재그 교번 방식으로 전송한 후 나머지 인터 코딩 프레임들을 동일한 지그재그 교번 방식으로 전송하는 것이다. 일반적으로, 섹터의 길이가 1초 정도로 그리 길지 않기 때문에 인트라 코딩 프레임만을 수신하더라도 어느 정도 이벤트 상황의 파악이 가능하고, 전송용량이 인터 코딩 프레임을 포함하는 전체 섹터를 보낼 때와 대비하면 수십 분의 1 수준으로 줄어들어 매우 빠른 속도로 전송이 가능하다는 장점을 갖는다. 그러므로 이러한 방식을 적용하게 된다면 블랙박스(10)가 미처 이벤트에 견디지 못한 경우에도 신속하게 인트라 코딩 프레임만이라도 외부 단말(600)로 데이터를 제공하도록 함으로써 증거자료로서 활용할 수 있도록 하는 것이다. 이러한 구성은 두 제공부의 장점을 모두 갖출 수 있어 이벤트 발생 시 블랙박스(10)의 파손우려가 높은 상황에 매우 유용하게 활용될 수 있을 것이다.
더 나아가 전송모듈(500)에서 실제로 외부 단말(600)과 연동하여 영상을 주고받을 때의 외부 단말(600)로 영상이 전송되는 속도를 측정하는 속도 판단부(501)를 더 구비할 수도 있다. 이러한 전송속도 측정은 통신속도 측정기와 같은 공지된 어플리케이션을 활용해 통신망에서 전송속도를 판단할 수 있는 것이되, 이 때, 영상 처리모듈(300)에서는 먼저 인트라 코딩 프레임을 먼저 전송하여 수신속도를 관측하고, 이 수신속도를 기반으로 영상의 섹터마다 포함된 인터 코딩 프레임의 개수를 차등 제어하는 섹터길이 제어부(308)의 구성을 통해 수신속도가 늦은 경우에는 전체 영상을 모두 전송치 않고 인터 코딩 프레임의 개수를 조절하여 제공함으로써 전송속도가 매우 낮은 상황에서도 프레임 수를 줄인 영상제공을 통해 큰 문제없이 영상을 받아볼 수 있도록 하는 것이다. 다만, 이 때 인터 코딩 프레임 자체의 용량이 줄어드는 것은 오히려 화질이 나빠지는 결과를 불러올 수 있으므로, 화질은 그대로 유지하되, 프레임의 수만 줄이는 것을 원칙으로 한다.
도 6은 스마트 블랙박스 영상 전송관리 시스템에서 이벤트 발생 우려 시 촬영된 영상을 외부 단말로 전송하는 과정을 도시한 순서도이고, 도 7은 영상 제공 방법의 실제 프레임 전송 예시를 도시한 개념도이다.
앞으로 설명될 내용은 앞선 도면들의 내용을 모두 포함하는 것으로서, 이들 도면을 모두 참조하면서 블랙박스(10)에서 이벤트 발생 우려가 감지되는 경우 영상을 외부 단말(600)로 전송하는 구성에 대해 설명하면 다음과 같다.
차량에 장착된 센서는 차량의 엑셀 구동, 브레이크 구동, 핸들 구동, 클락션 구동 등을 감지할 수 있되(BOD등을 통해 알 수 있다.) 이렇게 감지된 정보들을 바탕으로 급변속여부, 급제동여부, 급커브여부, 클락션 사용여부 중 적어도 어느 하나를 포함하는 위험 센싱정보를 제공할 수 있다. 이 때, 이벤트 판단모듈(400)에서는 이 위험 센싱정보를 기반으로 차량의 위험 주행패턴을 산출하는 위험 주행패턴 산출부(401)를 더 구비할 수 있다. 위험 주행패턴이란 말 그대로 해당 차량이 급변속하거나 급제동하는 경우, 급커브를 하는 경우, 또는 클락션을 계속해서 사용하는 경우 등 일반적이지 않은 운전행태를 보였을 때를 의미하는데, 보통 급작스러운 상황이 닥쳐 이러한 급변속이나 급제동, 급커브, 클락션 사용을 하였더라도 일반적인 운전자는 그 이후에도 일정 시간동안 흥분된 상태로 운전을 하기 마련이다. 따라서, 이러한 위험 주행패턴이 산출되면, 실제 위험 센싱정보의 판단을 통해 차량의 위험 주행패턴이 발생하였는지 여부, 위험 주행패턴 발생시점, 위험 주행패턴 종료시점 및 위험 주행패턴 지속시간을 판단하는 위험주행 판단부(402)의 구성도 더 갖추어 실질적인 위험 주행이 이루어졌는지를 감시 가능하다. 여기서 종료시점을 판단하는 것은 약간의 유연한 판단기준이 필요한데, 급변속이나 급제동 같은 경우에는 특정 시점에만 변속이나 제동이 나타나는 경우가 있어 짧은 시간을 지나 종료되었다고 판단할 수도 있으며, 급커브나 클락션 사용 역시도 마찬가지로 짧은 시간동안만 지속되었다고 판단될 수 있기 때문이다. 그러나 실질적으로 차량을 운전하는 운전자는 이러한 급변속, 급제동, 급커브, 클락션 사용 시 해당 조작 이후에도 어느 정도 시간동안 긴장된 마음가짐이 유지된다는 것은 자명하다. 따라서, 급변속이나 급제동, 급커브, 클락션 사용 이후에도 다양한 차량의 센싱정보를 통해(예를 들면 평소에는 정속운전을 하는 사람인데, 급커브 이후에 10 내지 20초간 정속운전을 하지 못하는 경우) 실질적인 종료시점을 판단할 수도 있음은 물론이다.
특히 이러한 위험 주행패턴이 발생하면, 위험 센싱정보를 통해 확인할 수 있듯이 이벤트가 발생할 우려가 매우 높다는 것을 알 수 있으므로, 이러한 위험 주행패턴이 발생된 시점으로부터 이벤트가 발생하는 것을 기다리지 않고 미리 촬영된 블랙박스(10)의 영상을 전송토록 하는 것도 혹시 모를 이벤트가 발생하였을 때, 블랙박스(10)가 파손되어 영상을 미처 보내지 못하는 경우를 대비할 수 있게 된다.
따라서, 이러한 위험 주행패턴이 발생된 것을 판단하면, 위험 주행패턴 발생시점이 포함된 섹터로부터 위험 주행패턴 종료시점이 포함된 섹터까지 즉 위험 주행패턴 지속시간 동안의 섹터들로 구성된 촬영된 영상을 모두 전송모듈(500)로 제공하는 위험 예측 제공부(309)의 구성이 더 포함될 수 있음은 물론이다.
나아가, 이 위험 주행패턴의 발생시점과 종료시점이 계속해서 기록되다보면, 평균적인 위험 주행패턴의 지속시간을 파악할 수 있다. 이러한 기록을 위해, 먼저 이벤트 판단모듈(400)에는 앞서 분석된 위험 주행패턴에서 차량에 탑재된 GPS등을 활용하여 해당 위험 주행패턴이 발생하였을 때의 차량의 위치, 운전하고 있는 경로, 교통상황을 분석한 외부상황 정보를 생성하는 외부상황 파악부(403)의 구성이 더 포함될 수 있다. 즉, 위험 주행패턴이 관측될 때마다 실제 차량의 위치와 차량의 운전경로, 교통상황 등을 기록한 외부상황 정보를 생성한 것이며, 이를 추후 동일한 상황에서 위험 주행패턴을 감지하였을 때 활용하기 위한 하나의 룩업 테이블과 같이 활용하는 구성이라 하겠다.
나아가, 차량의 주행 시 상기 외부상황 정보와 비교하여 일치하는지 여부를 판단하는 주행 판단부(404) 구성을 통해, 해당 운전자가 위험운전을 할 것으로 예상되는 지역을 미리 예측하여 이 지점을 지날 때에 미리 외부 단말(600)로 영상을 보내도록 한다. 이에 따라 주행 판단부(404)에서 일치된 것으로 판단하면 이미 기록된 위험 주행패턴 지속시간을 통해 실질적으로 블랙박스(10)에서 영상의 전송 준비 및 어느 정도의 영상을 앞으로 촬영해야 할 것인가도 미리 판단 할 수 있는 구성을 갖추는 것이다.
따라서, 이벤트가 발생하는 경우에 이벤트를 판단한 시점에서 블랙박스(10)를 통해 영상을 외부 단말(600)로 보내게 되면 혹시 모를 강한 충격이나 화재로 인해 블랙박스(10)가 제대로 구동하지 못하여 영상을 정상적으로 전송하지 못할 수 있으므로, 미리 이벤트 발생 우려가 높은 지역을 파악해 두었다가 이 지역을 지나려고 할 때 영상을 보내도록 구성하는 학습/예측을 통한 영상전송 구성을 갖출 수 있도록 구성한 것이다.
그러므로, 영상 처리모듈(300)에는 외부상황 정보가 일치하는 것으로 판단되면, 이 위험 주행패턴 지속시간을 기반으로 섹터에 포함된 인터 코딩 프레임의 개수를 차등 제어하는 프레임 길이 제어부(310)의 구성이 더 포함될 수 있다. 즉, 인터 코딩 프레임의 개수를 제어한다는 것은, 원래 섹터가 1초에 1개의 인트라 코딩 프레임과 59개의 인터 코딩 프레임으로 구성된 것이라고 가정할 때, 위험 주행패턴 지속시간이 아직 많이 남아있다면 영상을 최대한 자세하게 촬영하여 외부 단말(600)로 전송해야겠지만, 위험 주행패턴이 발생하였다고 해서 이벤트가 난다는 보장이 있는 것은 아니기 때문에 불필요한 영상들의 크기를 키우면 이벤트가 나지 않은 수많은 시점에 영상이 전송되어 외부 단말(600)의 저장용량이나 전송 트래픽에 무리가 갈 수 있다. 이를 방지하기 위해 인터 코딩 프레임의 개수를 줄이는, 다시 말해 촬영되는 프레임의 발생 주기를 낮춰 용량을 감소시키는 제어를 수행하는 것이다.
여기서 인터 코딩 프레임의 경우 mpeg 코딩 방식으로 설명하면 P프레임과 B프레임을 혼합한 의미를 갖는데, 여기서 P프레임은 각각의 프레임들이 이어져 압축되어 있어 복수의 P프레임 중 중간에 끼인 P프레임이 손실되면 그 이후에 위치하는 P프레임을 해독할 수 없다는 단점을 갖지만, B프레임은 이러한 P프레임과 달리 개별성을 갖는 프레임으로서 B프레임은 몇 개가 제거되던 영상을 복원하는 데에 거의 영향을 미치지 않는다. 따라서 이러한 인터 코딩 프레임에서 개수를 줄일 때에는 되도록 B프레임에 해당하는 프레임들을 위주로 줄여나가는 것으로 이해할 수 있다.
다시 설명으로 돌아가, 외부 단말(600)에도 이 외부 단말(600)에서 영상이 저장되는 저장매체의 잔여 저장용량을 파악할 수 있는 용량파악 어플리케이션(601)이 구비될 수 있으며, 이를 통해 파악된 잔여 저장용량을 기반으로, 영상 처리모듈(300)의 전송비 제어부(311)에서는 각 섹터마다 포함된 인터 코딩 프레임의 전송비를 차등 제어할 수도 있다.
즉, 다시 거꾸로 올라가 생각해보면, 기본적으로 영상이 촬영되면 블랙박스(10) 내부의 저장모듈(200)에 저장된다. 이 저장된 영상을 다시 외부 단말(600)로 제공하게 되는 것이며, 따라서, 블랙박스(10) 내부에도 저장모듈(200)의 용량이 가능한 한도까지는 촬영된 영상은 그대로 저장되어있다. 이에 따라 기본적으로 블랙박스(10) 내부의 저장모듈(200)에 저장되는 영상의 용량제어는 앞선 구성에서 인터 코딩 프레임의 수량을 제어하는 것으로 조절하는 것으로 끝낼 수 있지만, 다른 문제점은 바로 외부 단말(600)도 이러한 저장매체를 포함하고 있으며, 그 저장매체도 용량의 한계를 가지고 있다는 점이다. 따라서 이 외부 단말(600)의 저장매체의 잔여 저장용량을 지속적으로 파악하여 잔여 저장용량이 낮을수록 실제로 보내는 인터 코딩 프레임의 전송비율을 점점 낮추어 드문드문 보내도록 함으로써 전송과 저장의 밸런스를 맞추는 구성이라고 하겠다.
여기서, 전송비 제어부(311)는, 다음의 수학식 1을 사용하여, 인터 코딩 프레임의 전송비를 차등 제어하게 된다.
수학식 1.
Figure 112018009009102-pat00001
여기서 Q는 인터 코딩 프레임의 전송비, S는 외부 단말(600)의 잔여 저장용량, S‘는 인터 코딩 프레임의 평균 저장용량, m은 인터 코딩 프레임의 수, n은 위험 주행패턴 지속시간에 따라 개수가 변경된 인터 코딩 프레임의 수의 차이 값, A는 위험 주행패턴 지속시간, α는 인터 코딩 프레임의 평균 저장용량에서 표준편차를 의미한다.
즉, 전송비는 경우에 따라 0%부터 100%를 초과하는 값까지 나올 수도 있으나, 100%를 초과하는 값이 나오면 초과분을 버리고 100%로 전송하는 것을 기본으로 하는 것이 바람직하다. 또한, S는 외부 단말(600)의 잔여 저장용량으로서, 이 잔여 저장용량을 기준으로 하여 전송비를 계산하는 것을 확인할 수 있다. 본 수학식은 Fletcher & Rossing의 전력전송 시 효율에 따른 전송비를 구하는 공식에서 유래된 것으로서, 이 공식은 전체 영역과 특정 라인의 전압 및 저항의 비교를 전체와 특정 라인에서 측정된 값을 대비하여 전송비를 구하는 공식을 제공하였는데, 여기서 착안하여 전체와 특정 라인의 비교를 인터 코딩 프레임의 변경상황으로 치환하되, 기존의 공식에 추가로 외부 단말(600)의 잔여 저장용량과 인터 코딩 프레임의 평균 저장용량에서의 표준편차를 하나의 보정요소로서 추가한 것이다.
이 S의 수치는 실시간으로 달라질 수 있으므로, 바람직하게는 Q를 측정할 때 함께 측정되어야 할 것이다. 분자에 위치한 구성들에 대해 보다 상세하게 살펴보면, 위험 주행패턴 지속시간에 따라 개수가 변경된 인터 코딩 프레임의 수의 차이값을 인터 코딩 프레임의 수로 나누었는데, 여기서 인터 코딩 프레임의 수는 다시 말해 현재 Q를 측정하는 시점이자, 인터 코딩 프레임이 위험 주행패턴 지속시간에 따라 차등 변경된 시점의 인터 코딩 프레임 수를 의미한다. 이는 곧 외부 단말(600)의 잔여 저장용량을 인터 코딩 프레임의 수량 변경에 따라 그 전송률이 제어될 수 있는 것이다. 다만, α는 인터 코딩 프레임의 평균 저장용량에서 표준편차이며, 이를 통해 기존의 전력전송 공식과 달리 거의 품질변화가 없는 전력과는 다르게 다이나믹하게 변경되는 인터 코딩 프레임이 평균만으로 제대로 고려될 수 없다는 점을 활용하는 것으로서, 항상 다른 값이 나타날 수밖에 없는 인터 코딩 프레임의 특성 때문에 표준편차를 더 고려한 것이다. 나아가 m+n을 구하면 위험 주행패턴 지속시간에 따라 차등 변경 이전의 시점에서의 인터 코딩 프레임의 수를 알 수 있으므로, 이 변경에 따라 비례한 Q값을 얻을 수 있는 공식이라 하겠다.
이때 인터 코딩 프레임은(Inter Coding Frame) 앞선 설명에서도 한번 언급하였듯이 유사한 구성을 갖는 MPEG 코딩방식에서 설명하면 P프레임(Predicted Frame) 및 B프레임(Bidirectional Frame)을 어우르는 것으로서, P프레임은 이전에 나온 키프레임의 정보를 바탕으로 구성된 프레임으로 화질과 용량은 중간정도인 것을 의미하고, B프레임은 전/후의 I 프레임 및 P 프레임의 정보를 바탕으로 구성된 프레임으로 화질과 용량은 모두 제일 작은 것을 의미하며, 여기서 B프레임은 자유롭게 삭제가 가능한 것을 특징으로 한다고 하였다. 따라서, P프레임만 존재하는 경우에는 그 수를 줄이기 어렵겠지만, B프레임의 경우 P프레임과 달리 제거가 가능한 프레임이기 때문에, 이러한 B프레임에 해당하는 프레임들을 제거하는 것으로 인터 코딩 프레임의 프레임 수를 줄이는 것으로 이해할 수 있을 것이다.
나아가, 본 식에서 인터 코딩 프레임의 평균 저장용량의 경우 일반적으로 공지된 바와 같이 저장모듈(200)에서 저장되거나 가공될 때에 자동으로 측정 및 기록이 가능하지만, 별도의 이러한 평균 저장용량을 측정하는 별도의 평균 저장용량 측정부(미도시) 또는 평균 저장용량을 기록한 별도의 저장용량 데이터베이스(미도시)가 더 구비될 수도 있으며, 또한 표준편차를 구하는 경우에도 앞선 평균 저장용량에 대한 정보를 읽어 들여 빠르게 연산할 수 있는 마이크로 프로세서 정도만 더 포함되면 가능함은 물론이다. 이들은 공지된 자명한 기술이 많기 존재하기 때문에 이러한 공지기술을 활용하여 얼마든지 대체되어 적용 가능한 부분이라 할 수 있다.
도 7을 참조하여, 이 식을 활용하는 예를 들면 다음과 같다. 외부 단말(600)의 잔여 저장용량이 100MB이고, 인터 코딩 프레임의 평균 저장용량은 10KB이며, 인터 코딩 프레임의 수는 20, 잔여 위험 주행패턴 시간에 따라 개수가 변경된 인터 코딩 프레임의 수의 차이값은 10, 위험 주행패턴 지속시간은 5초, 인터 코딩 프레임 저장용량의 평균 표준편차는 5KB라고 가정하면, 본 수학식 1을 통해 다음과 같이 계산된다. (일반적으로 720p 화질의 20초 분량의 영상은 약 40MB, 1080p 화질의 20초 분량의 영상은 약 100MB 정도(60fps, h.264코덱, mp4)이지만 이것은 평상시 정적과 가까운 상태를 나타낸 것이고, 이벤트 발생 우려가 큰 상황에서는 화면에 다양한 화소가 존재하여 그 용량이 증가하는 것으로 알려져 있으며, 블랙박스(10)의 유사 분야에서 이러한 위급 상황 발생 시의 영상촬영이 대략 5초 내지 1분 정도인 것을 감안하여 기본 계산단위는 MB, 초 로 활용한다.)
Q = {(2(20/(10+20))+100*0.005/5*0.01)/100}*100
= (12/100)*100
= 12%
로 도출될 수 있다.
즉, 12%정도의 전송비로 인터 코딩 프레임을 전송하는 것이 가장 바람직하다는 것이되, 여기서 다시 도출된 전송비가 10%였다고 쉽게 가정하면, 약 10분의 1 수준의 인터 코딩 프레임만 제공하는 것으로서, 예를 들어 인터 코딩 프레임이 abcdefghij의 10개로 구성될 때에 가장 바람직하게는 이 중 어느 하나만을 보내도록 하는 것이다. 물론 다른 예로서 인터 코딩 프레임이 abcdefgh의 8개로 이루어졌고 전송비가 50%였다고 가정하면, a,c,e,g 혹은 b,d,f,h 와 같이 최대한 동일한 프레임 간격을 두고 추출되는 것이 이러한 프레임의 수신 이후 각 인터 코딩 프레임들을 모아 영상으로 보았을 때 가장 자연스럽게 보여질 수 있는 구성이라 할 수 있음은 물론이다.
지금까지 설명한 바와 같이, 본 발명에 따른 스마트 블랙박스 영상 전송관리 시스템의 구성 및 작용을 상기 설명 및 도면에 표현하였지만 이는 예를 들어 설명한 것에 불과하여 본 발명의 사상이 상기 설명 및 도면에 한정되지 않으며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 변화 및 변경이 가능함은 물론이다.
10: 블랙박스 100: 촬영모듈
200: 저장모듈 300: 영상 처리모듈
301: 이벤트영상 추출부 302: 순차 제공부
303: 교번 제공부 304: 분할 제공부
305: 우선 제공파트 308: 섹터길이 제어부
309: 위험 예측 제공부 310: 프레임 길이 제어부
311: 전송비 제어부 400: 이벤트 판단모듈
401: 위험 주행패턴 산출부 402: 위험주행 판단부
403: 외부상황 파악부 404: 주행 판단부
500: 전송모듈 501: 속도 판단부
600: 외부 단말 601: 용량파악 어플리케이션
700: 우선 제공파트

Claims (10)

  1. 스마트 블랙박스 영상 전송관리 시스템으로서,
    차량에 장착되어 영상을 촬영하는 촬영모듈;
    촬영된 영상을 저장하는 저장모듈;
    저장된 상기 영상을 인트라 코딩 프레임(Intra Coding Frame)과 상기 인트라 코딩 프레임에 종속되는 복수의 인터 코딩 프레임(Inter Coding Frame)으로 그룹핑한 복수개의 섹터로 분할 처리하는 영상 처리모듈;
    상기 영상 및 상기 차량에 부착된 센서로부터 제공된 센싱정보를 분석하여 상기 차량의 이벤트 발생여부 및 이벤트시점을 판단하는 이벤트 판단모듈;
    이벤트 발생여부에 따라 상기 이벤트시점을 포함하는 영상을 외부 단말로 전송하는 전송모듈;을 포함하되,
    상기 영상 처리모듈은,
    상기 이벤트시점이 포함된 섹터와 상기 섹터의 전후에 위치된 섹터들을 포함하는 이벤트영상을 추출하는 이벤트영상 추출부와, 상기 이벤트영상에 포함된 섹터들을 순차적으로 상기 전송모듈에 제공하는 순차 제공부를 포함하는 것을 특징으로 하는, 스마트 블랙박스 영상 전송관리 시스템.
  2. 삭제
  3. 제 1항에 있어서,
    상기 순차 제공부는,
    상기 이벤트영상에 포함된 섹터들로부터 이벤트시점 이전의 상기 인트라 코딩 프레임을 순차적으로 상기 전송모듈에 제공하고, 상기 인트라 코딩 프레임에 종속된 상기 인터 코딩 프레임을 순차적으로 상기 전송모듈에 제공하는 우선 제공파트를 더 포함하는 것을 특징으로 하는, 스마트 블랙박스 영상 전송관리 시스템.
  4. 제 1항에 있어서,
    상기 영상 처리모듈은,
    상기 이벤트시점이 포함된 섹터와 상기 섹터의 전후에 위치된 섹터들을 포함하는 이벤트영상을 추출하는 이벤트영상 추출부와, 상기 이벤트시점이 포함된 섹터의 전후에 위치한 섹터들을 순차적으로 번갈아 상기 전송모듈에 제공하는 교번 제공부를 더 포함하는 것을 특징으로 하는, 스마트 블랙박스 영상 전송관리 시스템.
  5. 제 1항에 있어서,
    상기 영상 처리모듈은,
    상기 이벤트시점이 포함된 섹터와 상기 섹터의 전후에 위치된 섹터들을 포함하는 이벤트영상을 추출하는 이벤트영상 추출부와, 상기 이벤트영상에 포함된 각 섹터들의 인트라 코딩 프레임을 상기 전송모듈로 순차 제공하고 상기 인트라 코딩 프레임의 전송 이후 상기 섹터마다 상기 인트라 코딩 프레임에 종속된 복수의 인터 코딩 프레임들을 상기 전송모듈로 순차 제공하는 분할 제공부를 더 포함하는 것을 특징으로 하는, 스마트 블랙박스 영상 전송관리 시스템.
  6. 제 5항에 있어서,
    상기 전송모듈은,
    상기 외부 단말로 제공되는 인트라 코딩 프레임의 전송속도를 판단하는 속도 판단부를 더 포함하고,
    상기 영상 처리모듈은,
    상기 전송속도를 기반으로 상기 인터 코딩 프레임의 용량은 유지하되, 상기 인터 코딩 프레임의 개수는 가감 제어하는 섹터길이 제어부를 더 포함하는 것을 특징으로 하는, 스마트 블랙박스 영상 전송관리 시스템.
  7. 제 1항에 있어서,
    상기 센싱정보는,
    상기 차량의 급변속여부, 급제동여부, 급커브여부, 클락션 사용여부 중 적어도 어느 하나를 포함하는 위험 센싱정보이고,
    상기 이벤트 판단모듈은,
    상기 위험 센싱정보를 기반으로 상기 차량의 위험 주행패턴을 산출하는 위험 주행패턴 산출부와, 상기 위험 주행패턴의 발생여부와 위험 주행패턴 발생시점, 위험 주행패턴 종료시점 및 위험 주행패턴 지속시간을 판단하는 위험주행 판단부를 더 포함하며,
    상기 영상 처리모듈은,
    상기 위험 주행패턴 발생시점이 포함된 섹터로부터 상기 위험 주행패턴 종료시점이 포함된 섹터까지의 영상을 상기 전송모듈에 제공하는 위험 예측 제공부를 더 포함하는 것을 특징으로 하는, 스마트 블랙박스 영상 전송관리 시스템.
  8. 제 7항에 있어서,
    상기 이벤트 판단모듈은,
    상기 위험 주행패턴에서 상기 차량의 위치, 경로, 교통상황을 분석한 외부상황 정보를 생성하는 외부상황 파악부와, 상기 차량의 주행 시 상기 외부상황 정보와 일치하는지 여부를 판단하는 주행 판단부를 더 포함하고,
    상기 영상 처리모듈은,
    상기 외부상황 정보의 일치 시 상기 위험 주행패턴 지속시간을 기반으로 상기 섹터에 포함된 상기 인터 코딩 프레임의 개수를 차등 제어하는 프레임 길이 제어부를 더 포함하는 것을 특징으로 하는, 스마트 블랙박스 영상 전송관리 시스템.
  9. 제 8항에 있어서,
    상기 외부 단말은,
    상기 외부 단말의 저장매체의 잔여 저장용량을 파악하는 용량파악 어플리케이션을 더 포함하고,
    상기 영상 처리모듈은,
    상기 외부 단말의 잔여 저장용량 및 상기 위험 주행패턴 지속시간을 기반으로 상기 인터 코딩 프레임 전체에서 전송될 상기 인터 코딩 프레임의 수인 전송비를 차등 제어하는 전송비 제어부를 더 포함하는 것을 특징으로 하는, 스마트 블랙박스 영상 전송관리 시스템.
  10. 제 9항에 있어서,
    상기 전송비 제어부는,
    다음의 수학식 1을 사용하여, 상기 인터 코딩 프레임의 전송비를 차등 제어하는 것을 특징으로 하는, 스마트 블랙박스 영상 전송관리 시스템.
    수학식 1.
    Figure 112018009009102-pat00002

    (여기서 Q는 인터 코딩 프레임의 전송비, S는 외부 단말의 잔여 저장용량, S‘는 인터 코딩 프레임의 평균 저장용량, m은 인터 코딩 프레임의 수, n은 위험 주행패턴 지속시간에 따라 개수가 변경된 인터 코딩 프레임의 수의 차이 값, A는 위험 주행패턴 지속시간, α는 인터 코딩 프레임의 평균 저장용량에서 표준편차를 의미한다.)
KR1020180009580A 2018-01-25 2018-01-25 스마트 블랙박스 영상 전송관리 시스템 KR101877969B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180009580A KR101877969B1 (ko) 2018-01-25 2018-01-25 스마트 블랙박스 영상 전송관리 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180009580A KR101877969B1 (ko) 2018-01-25 2018-01-25 스마트 블랙박스 영상 전송관리 시스템

Publications (1)

Publication Number Publication Date
KR101877969B1 true KR101877969B1 (ko) 2018-07-12

Family

ID=62919739

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180009580A KR101877969B1 (ko) 2018-01-25 2018-01-25 스마트 블랙박스 영상 전송관리 시스템

Country Status (1)

Country Link
KR (1) KR101877969B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020080566A1 (ko) * 2018-10-17 2020-04-23 엘지전자 주식회사 전자 제어 장치 및 통신 장치
KR20200080090A (ko) * 2018-12-26 2020-07-06 한양대학교 에리카산학협력단 블랙박스 및 이의 영상 전송 방법
WO2022092398A1 (ko) * 2020-10-30 2022-05-05 에이치엔티 일렉트로닉스(주) 차량 카메라를 이용한 감시 방법 및 그 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150074867A (ko) * 2013-12-24 2015-07-02 주식회사 케이티 영상 변화 추출에 기반한 다채널 영상 분석 시스템 및 그 방법
KR101559647B1 (ko) * 2014-01-06 2015-10-13 재단법인 다차원 스마트 아이티 융합시스템 연구단 이벤트 영상을 부분적으로 암호화하는 방법 및 시스템
KR20160071569A (ko) * 2014-12-11 2016-06-22 삼성전자주식회사 비디오 장치에서의 영상 처리 방법 및 그에 따른 비디오 장치
KR20170032776A (ko) * 2015-09-15 2017-03-23 삼성전자주식회사 선택적으로 영상을 암호화하는 영상 처리 장치 및 영상 처리 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150074867A (ko) * 2013-12-24 2015-07-02 주식회사 케이티 영상 변화 추출에 기반한 다채널 영상 분석 시스템 및 그 방법
KR101559647B1 (ko) * 2014-01-06 2015-10-13 재단법인 다차원 스마트 아이티 융합시스템 연구단 이벤트 영상을 부분적으로 암호화하는 방법 및 시스템
KR20160071569A (ko) * 2014-12-11 2016-06-22 삼성전자주식회사 비디오 장치에서의 영상 처리 방법 및 그에 따른 비디오 장치
KR20170032776A (ko) * 2015-09-15 2017-03-23 삼성전자주식회사 선택적으로 영상을 암호화하는 영상 처리 장치 및 영상 처리 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020080566A1 (ko) * 2018-10-17 2020-04-23 엘지전자 주식회사 전자 제어 장치 및 통신 장치
KR20200080090A (ko) * 2018-12-26 2020-07-06 한양대학교 에리카산학협력단 블랙박스 및 이의 영상 전송 방법
KR102134536B1 (ko) * 2018-12-26 2020-07-15 한양대학교 에리카산학협력단 블랙박스 및 이의 영상 전송 방법
WO2022092398A1 (ko) * 2020-10-30 2022-05-05 에이치엔티 일렉트로닉스(주) 차량 카메라를 이용한 감시 방법 및 그 시스템

Similar Documents

Publication Publication Date Title
US8830046B2 (en) In-vehicle device for recording moving image data
KR101877969B1 (ko) 스마트 블랙박스 영상 전송관리 시스템
EP3073449A1 (en) Apparatus and method for recording data associated with a vehicle
JP2010134745A (ja) ドライブレコーダ及びドライブレコーダの映像記録方法
WO2016170934A1 (ja) ドライブレコーダ
WO2018042921A1 (ja) ドライブレコーダ
US20180359445A1 (en) Method for Recording Vehicle Driving Information and Creating Vehicle Record by Utilizing Digital Video Shooting
CN204883867U (zh) 一种具有行车记录仪的车载智能hud系统
US20150201165A1 (en) Surveillance of a railway track
US11895432B2 (en) Recording control apparatus, recording control method, and recording control program
US20190228228A1 (en) Driving condition recording device
JP6293013B2 (ja) 映像送信装置、映像送信方法及び映像送信プログラム
JP5896263B2 (ja) 画像記録制御方法および車載画像記録装置
JP5142822B2 (ja) ドライブレコーダ
JP2013080518A (ja) 車載用動画像データ記録装置
US20140267724A1 (en) Recording system and method for vehicle
JP5404453B2 (ja) 車両監視装置
KR20070028863A (ko) 차량 사고 정보 기록장치
JP2023051997A (ja) 車載映像記録装置及びその制御方法
CN111710168A (zh) 基于5g传输的违停车牌抓拍和监控方法及系统、设备
CN104408930B (zh) 一种连续闯红灯报警系统及方法
CN112639893A (zh) 车辆用记录控制装置、车辆用拍摄装置、车辆用记录控制方法及程序
CN109480375B (zh) 智能识别逆行的安全头盔的控制方法
JP2013236356A (ja) 映像伝送機能を有する車両用カメラ
US20150070497A1 (en) Recording apparatus for vehicles and method of recording

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant